CN113551661A - 位姿识别、轨迹规划方法、装置、系统、存储介质及设备 - Google Patents

Abstract

本申请涉及位姿识别、轨迹规划方法、装置、系统、存储介质及设备。其中，位姿识别方法包括：获取或生成当目标物被执行器抓取后的所述目标物的初始位姿信息；获取或生成所述执行器目标位姿信息；基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息。采用本发明的技术方案通过将基于当目标物被执行器抓取后的目标物的初始位姿信息与执行器位姿信息相结合,可以提高目标位姿信息识别或轨迹规划的速度。

Description

位姿识别、轨迹规划方法、装置、系统、存储介质及设备

技术领域

本申请涉及基于自动化设备技术领域，特别是涉及位姿识别、轨迹规划方法、装置、系统、存储介质及设备。

背景技术

随着科技水平的提高，整个社会都向着智能化、自动化的方向发展。

基于图像的目标物的位姿识别是增强现实、虚拟现实、自动化领域的关键。

但目前，在某些需要精确识别位姿的情况下，位姿识别过程往往需要较长时间，基于位姿识别的轨迹规划也因此需要较长时间，因此存在难以与执行器快速配合反应等等的问题。

发明内容

有鉴于此，本发明提供一种位姿识别、轨迹规划方法、装置、系统、存储介质及设备。

本发明提供一种目标物的位姿识别方法，所述位姿识别方法包括：

获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

获取或生成所述执行器目标位姿信息；

基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息。

进一步，所述位姿识别方法还包括：优化所述目标位姿信息。

本发明提供一种目标物的轨迹规划方法，所述轨迹规划方法包括：

获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

获取或生成所述执行器目标位姿信息；基于所述执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

生成所述目标物的目标位姿信息；

基于所述目标物的目标位姿信息生成第二轨迹规划指令，以控制所述执行器执行第二动作。

进一步，所述获取或生成所述执行器目标位姿信息；和/或所述生成第一轨迹规划指令与所述获取或生成所述目标物的初始位姿信息同步。

进一步，所述生成所述目标物的目标位姿信息为：

基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息。

进一步，所述轨迹规划方法还包括：优化所述目标物的目标位姿信息。

本发明提供一种目标物的轨迹规划方法，所述轨迹规划方法包括：

获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

获取或生成所述执行器目标位姿信息；

基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息；

基于所述目标物的目标位姿信息生成第三轨迹规划指令，以控制所述执行器执行第三动作。

进一步，所述获取或生成所述执行器目标位姿信息与所述获取或生成所述目标物的初始位姿信息同步。

进一步，所述轨迹规划方法还包括：

生成第四轨迹规划指令，以控制所述执行器执行第四动作。

进一步，所述轨迹规划方法还包括：

优化所述目标物的目标位姿信息；和/或

基于所述目标物的目标位姿信息生成第四轨迹规划指令，以控制所述执行器执行第四动作。

本发明提供一种目标物的轨迹规划方法，所述轨迹规划方法包括：

获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

与所述获取或生成所述初始位姿信息同步，获取所述执行器目标位姿信息；基于所述执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

在所述执行器根据所述第一轨迹规划指令执行所述第一动作过程中，基于得到的所述初始位姿信息，结合所述执行器目标位姿信息生成所述目标物的目标位姿信息；基于所述目标物的目标位姿信息更新所述第一轨迹规划指令。

进一步，所述轨迹规划方法还包括：

生成第四轨迹规划指令，以控制所述执行器执行第四动作。

进一步，所述轨迹规划方法还包括：

优化所述目标物的目标位姿信息；和/或

基于所述目标物的目标位姿信息生成第四轨迹规划指令，以控制所述执行器执行第四动作。

本发明提供一种目标物的位姿识别装置，所述位姿识别装置包括：

初始获取或生成模块，用于获取或生成当目标物被执行器抓取后的所述目标物的初始位姿信息；

执行器获取或生成模块，用于获取或生成所述执行器目标位姿信息；

目标生成模块，用于基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息。

本发明提供一种目标物的轨迹规划装置，所述轨迹规划装置包括：

初始获取或生成模块，用于获取或生成当目标物被执行器抓取后的所述目标物的初始位姿信息；

执行器获取或生成模块，用于获取或生成所述执行器目标位姿信息；

第一轨迹生成模块，用于基于所述执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

位姿信息生成模块，用于生成所述目标物的目标位姿信息；

第二轨迹生成模块，用于基于所述目标物的目标位姿信息生成第二轨迹规划指令，以控制所述执行器执行第二动作；或

初始获取或生成模块，用于获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

执行器获取或生成模块，用于获取或生成所述执行器目标位姿信息；

目标生成模块，用于基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息；

第三轨迹生成模块，用于基于所述目标物的目标位姿信息生成第三轨迹规划指令，以控制所述执行器执行第三动作；或

初始获取或生成模块，用于获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

第一轨迹生成模块，用于与所述获取或生成所述初始位姿信息同步，获取所述执行器目标位姿信息；基于所述执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

第一轨迹更新模块，用于在所述执行器根据所述第一轨迹规划指令运动过程中，基于得到的所述初始位姿信息，结合所述执行器目标位姿信息生成所述目标物的目标位姿信息；基于所述目标物的目标位姿信息更新所述第一轨迹规划指令。

本发明提供一种系统，所述系统包括图像传感器、执行器和控制装置；

所述控制装置分别通信连接所述图像传感器和所述执行器；

所述控制装置，用于实现上面任一项所述的目标物的位姿识别方法；和/或上面任一项所述的目标物的轨迹规划方法。

本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上面任一项所述的目标物的位姿识别方法；和/或上面任一项所述的目标物的轨迹规划方法。

本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上面任一项所述的目标物的位姿识别方法；和/或上面任一项所述的目标物的轨迹规划方法。

通过基于当目标物被执行器抓取后的目标物的初始位姿信息，再结合执行器目标位姿信息,可以快速获得目标物的目标位姿信息，因此，通过与执行器目标位姿信息结合来求取目标物的目标位姿信息的方法，可以提高整体的目标物的目标位姿信息识别的速度。

另外，通过基于当目标物被执行器抓取后的目标物的初始位姿信息，再结合执行器目标位姿信息,可以提高执行器的轨迹规划的速度，进而提高系统反应的速度。

另外，通过基于执行器目标位姿信息求取的目标物的目标位姿信息的基础上，进行某些时间较长的高精度位姿信息优化算法，以进一步求取高精度的目标物的目标位姿信息，既可以提高最终的目标位姿信息识别和/或轨迹规划的精度；也可以提高整体的目标物的目标位姿信息识别的速度和/或轨迹规划的速度，进而提高系统反应的速度；再者，由于该高精度的位姿信息是基于某个非高精度的目标位姿信息基础上进一步求取得到，因此相对直接采用优化算法求取的高精度目标位姿信息，可以节省优化时间，提高优化效率。

附图说明

图1A为一个实施例中系统的第一结构框图；图1B为一个实施例中系统的局部放大第二结构框图；图1C为一个实施例中系统的局部放大第三结构框图；

图1D为一个实施例中系统的局部放大第四结构框图；

图2为一个实施例中位姿识别方法的第一流程示意图；

图3为一个实施例中位姿识别中的初始位姿识别方法的第一流程示意图；

图4为一个实施例中位姿识别中的初始位姿识别方法的第二流程示意图；

图5为一个实施例中位姿识别中的初始位姿识别方法的第三流程示意图；

图6为一个实施例中位姿识别中的初始位姿识别方法的第四流程示意图；

图7为一个实施例中位姿识别中的初始位姿识别方法的第五流程示意图；

图8为一个实施例中位姿识别方法的第二流程示意图；

图9为一个实施例中位姿识别中的优化方法的第一流程图；

图10A为一个实施例中轨迹规划方法的第一流程示意图；图10B为一个实施例中轨迹规划方法的第二流程示意图；

图11A为一个实施例中轨迹规划方法的第三流程示意图；图11B为一个实施例中轨迹规划方法的第四流程示意图；图11C为一个实施例中轨迹规划方法的第五流程示意图；

图12A为一个实施例中轨迹规划方法的第六流程示意图；图12B为一个实施例中轨迹规划方法的第七流程示意图；图12C为一个实施例中轨迹规划方法的第八流程示意图；

图13为一个实施例中轨迹规划方法的第四流程示意图；

图14为一个实施例中轨迹规划方法的第五流程示意图；

图15为一个实施例中轨迹规划方法的第六流程示意图；

图16A为一个实施例中位姿识别装置的第一结构框图；图16B为一个实施例中位姿识别装置的第二结构框图；图16C为一个实施例中位姿识别装置的第三结构框图；

图17为一个实施例中位姿识别装置的第四结构框图；

图18A为一个实施例中轨迹规划装置的第一结构框图；图18B为一个实施例中轨迹规划装置的第二结构框图；图18C为一个实施例中轨迹规划装置的第三结构框图；图18D为一个实施例中轨迹规划装置的第四结构框图；

图19为一个实施例中轨迹规划装置的第五结构框图；

图20为一个实施例中轨迹规划装置的第六结构框图；

图21为一个实施例中计算机设备的第一结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1A所示，在一个实施例中，本申请提供的位姿识别、轨迹规划方法，可以应用于图1A或1B所示的系统中，该系统中可以包括图像传感器500、执行器600和/或控制装置400，图像传感器500和执行器600通过有线或者无线的方式与控制装置400进行通信。其中，执行器600可以但不限于是各种机器人、某些自动控制的机架设备等等各种自动化设备。

具体的，机器人可以包括但不限于：工业机器人或人形机器人。其中，工业机器人包括：串联机器人或者并联机器人，其中，串联机器人是指由多个驱动单元和连接件串联而成，比如：四轴机械手或六轴机械手；而并联机器人是指由多个驱动单元和连接件并联而成，比如：Delta机器人。为方便理解，本具体实施例下面以执行器600为机械手600为例进一步详细说明，进一步，在一个实施例中，机械手600的末端设置末端执行器610，通过末端执行器610抓取目标物。

需要说明的是，后面实施例提到的执行器坐标系可以是指以机械手600的末端建立的坐标系，比如：以机械手600的末端的输出端的法兰盘的中心为原点建立的坐标系；或者当机械手600的末端设置末端执行器610(比如：夹爪)时，以位于机械手的末端执行器建立坐标系，比如：以末端执行器的中心为原点建立的坐标系。除此之外，执行器还可以涉及基坐标系，即以执行器的基座为坐标系的原点等等。

具体的，控制装置400可以为可编程逻辑控制器(Programmable LogicController，PLC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、计算机设备(Personal Computer，PC)、工业控制计算机(Industrial Personal Computer，IPC)、数字信号处理器(Digital Signal Processer，DSP)、微控制单元(Microcontroller unit，MCU)或服务器等等。控制装置根据预先固定的程序，结合人工输入的信息、参数或者外部的图像传感器采集的数据等生成程序指令。有关控制装置的具体限定可以参见下面实施例中有关目标物的位姿识别和/或目标物的轨迹规划方法的限定。

具体的，图像传感器可以包括但不限于：照相机、摄像机、扫描仪或其他带有相关功能的设备(手机、电脑)等等。图像传感器采集的图像数据可以但不限于是：2D图像数据(比如：RGB图像、黑白图像或灰度图像)、3D图像数据(比如：深度图像或点云图像)。

需要说明的是，图像传感器500可以根据需要设置于执行器600外(如图1A所示)，或者设置于执行器上。

在一个实施例中，如图2所示，提供一种位姿识别方法，以该方法应用于图1A或1B中的系统为例，该方法包括以下步骤：

步骤S110获取或生成当目标物被执行器抓取后的目标物的初始位姿信息；步骤S120获取或生成执行器目标位姿信息；

步骤S130基于执行器目标位姿信息和初始位姿信息生成目标物的目标位姿信息。

通过基于当目标物被执行器抓取后的目标物的初始位姿信息，再结合执行器目标位姿信息,可以快速获得目标物的目标位姿信息(尽管该目标位姿信息可能是非高精度的)，因此，通过与执行器目标位姿信息结合来求取目标物的目标位姿信息的方法，相对于直接针对目标物求取目标位姿信息，可以提高整体的目标物的目标位姿信息识别的速度。

为方便理解，下面对上面实施例所述的方法步骤进一步详细描述。

步骤S110获取或生成当目标物被执行器抓取后的目标物的初始位姿信息；

具体的，该初始位姿信息可以根据不同的需要和应用场景通过不同的方法获取或生成，比如：根据获取的初始图像(如：该初始图像可以通过上述图像传感器采集并发送给控制装置)基于图像识别的方法识别出；或者基于通过位置传感器采集的信息得到；或者直接从存储器或者服务器等等直接获取预设的已知初始位姿信息(比如：执行器以某预设姿态抓取预设姿态的目标物)等等。进一步，以基于图像识别的方法识别位姿信息为例，优选的，可以基于某些高精度的位姿信息识别方法识别，比如：可以参照下面实施例中图9所述的目标位姿信息优化方法，这样后续与执行器目标位姿信息结合时，可以相对提高最终得到的目标位姿信息识别的精度。

为方便理解，下面以基于图像识别的方法识别初始位姿信息为例进一步详细说明。通过控制装置生成的指令控制执行器抓取目标物后，图像传感器可以采集该状态的目标物的初始图像并将该初始图像直接发送给控制装置、或发送给存储器或者服务器；控制装置获取图像传感器实时发送的初始图像或者从存储器或者服务器获取上述初始图像；控制装置基于获取的初始图像识别出目标物的初始位姿信息。

具体的，位姿信息可以为针对目标物的预设坐标系的3d坐标(即6d姿态信息xyzuvw)描述，刚体在3维空间的运动可以用3d坐标(共6个自由度)描述，具体的，可以分为旋转和平移，各为3个自由度。刚体在3维空间的平移是普通的线性变换，可以使用一个3x1的向量描述平移位置；而旋转姿态常用的描述方式包括但不限于：旋转矩阵、旋转向量、四元数、欧拉角和李代数。

需要说明的是，目标物的初始位姿信息为在某个预设坐标系下的位姿信息，由于执行器相关的各个坐标系之间预先进行过标定(比如：图像传感器坐标系和执行器坐标系、基坐标系和执行器坐标系之间预先进行过标定)，基于各个坐标系之间的转换关系，可以根据需要将某个坐标系下的位姿信息转换为预设坐标系下的位姿信息。比如：基于图像生成图像传感器坐标系下的目标物的初始位姿信息，再基于图像传感器坐标系与执行器坐标系之间预先进行标定的坐标转换关系，可以将图像传感器坐标系下的目标物的初始位姿信息转换为执行器坐标系(以末端执行器中心为坐标系原点)下的初始位姿信息。

具体的，可以预先设定以目标物关联的关键特征(比如：目标物的重心)作为目标物坐标系原点，以该关键点的位姿信息代表目标物的位姿信息，则上述初始位姿信息即是指该关键点的位姿信息。同理，目标物的目标位姿信息也可以指该关键点的目标位姿信息。

需要说明的是，基于初始图像识别的目标物的初始位姿信息可以采用现在已有或将来开发的各种方式实现，比如：基于传统的视觉处理方法或基于人工智能的方法，下面分别进行进一步详细的说明。

基于传统的视觉处理方法识别目标物的初始位姿信息可以包括但不限于如下方法步骤：

如图3所示，在一个实施例中，步骤S110包括：

步骤S111获取当目标物被执行器抓取后的初始图像；

步骤S112将初始图像与预先存储的图像库中的多张模板图像进行匹配，其中，每张模板图像配备对应位姿信息分类结果；

位姿识别的目的是获得一个物体相对于相机的姿态，想象一个以物体为中心，半径任意的球面，把相机放在这个球面上移动，并对物体拍照，物体的姿态即与图像传感器在球面上的位置有关。

把这个球面离散化，图中每一个点都是一个视角，每一个视角都对应了一个位姿信息。通过这样的离散化，因此把原本连续的姿态估计问题转换为一个分类问题，即我们只需要估计出物体的姿态属于哪一个视角即可。

步骤S113获取与初始图像匹配的模板图像的对应位姿信息；

根据上面所述，我们可以将在每个离散点对目标物进行拍照后的图像作为模板图像预先存储在图像库中，把初始图像与图像库中的模板图像进行匹配，则与初始图像匹配的那张模板图像对应的位姿信息，即为目标物的初始位姿信息。

采用这种方法的位姿识别的精度取决于离散化程度，球面被分割得越精细，精度越高。

步骤S114以对应位姿信息作为初始位姿信息。

如图4所示，在一个实施例中，步骤S110包括：

步骤S211获取当目标物被执行器抓取后的初始图像；

步骤S212识别初始图像中的目标物关联的关键点和/或关键线；

关键点和/或关键线的2d坐标，其中，关键线的2d坐标是由多个连续的关键点的2d坐标组合而成；或模型可以直接输出标注关键点后的图像数据；或输出概率预测图基于概率预测图识别关键点和/或关键线。

具体的，该关键点可以为归属目标物上的关键点；或者为归属包围目标物的包围框的关键点，下面对上述两种情况分别进行详细描述：

在一个实施例中，该关键点识别结果为归属包围目标物的包围框的关键点的位姿识别结果。具体的，可以为包围目标物的3d包围框的8个顶点,即关键点在2d图像上的投影点的2d坐标，或者模型可以直接输出标注投影点后的图像数据；在一个实施例中，除上述8个顶点外还可以加上目标物的中心点(即一共9个关键点)。

步骤S213基于关键点和/或关键线，生成目标物的初始位姿信息。

如图5所示，在一个实施例中，步骤S110包括：

步骤S311获取当目标物被执行器抓取后的初始图像；

步骤S312识别初始图像中的目标物的概率预测图；

步骤S313基于概率预测图识别目标物关联的关键点和/或关键线；

步骤S314基于关键点和/或关键线，生成目标物的初始位姿信息。

概率预测图，即对图像数据的每一个像素都进行预测，概率预测图的颜色所表示的含义目前主要有两种。每一个像素点都会预测一个关键点相对于这个像素本身的方向，概率预测图的颜色就代表了这个方向。

在另一个例子中，每一个像素点都会预测当前像素是关键点的可能性。可能性越大，预测值就越高。需要注意的是，通常在关键点附近的像素点的预测值都会很高。

具体的，根据概率预测图，确定关键点方法可以包括但不不限于如下方法：

在获得概率预测图之后，需要将概率预测图转换为关键点。将概率预测图转换为关键点的方法与上述概率预测图的含义相关。当概率预测图的预测为方向时，可以采用投票的方式，以指向某位置的像素点的数量最多的位置为该图像数据的关键点。具体的，一张图像数据可以确定一个关键点，而多个关键点需要对；当概率预测图的预测为关键点可能性时，我们可以取预测值最高的那个像素点作为关键点，或者对预测值很高的那个区域求一个加权平均。

由于基于概率预测图的方法进行目标物的位姿识别，这种方法相对直接输出关键点的方法通常会有更高的精度，并且训练难度也会降低。

在一个实施例中，步骤S110也可以基于人工智能的方法实现，即可以包括如下方法步骤：

如图6所示，在一个实施例中，步骤S110可以包括如下方法步骤：

步骤S411获取当目标物被执行器抓取后的初始图像；

步骤S413将初始图像输入位姿识别模型，输出目标物的初始位姿信息；或

如图7所示，在一个实施例中，步骤S110可以包括如下方法步骤：

步骤S412获取当目标物被执行器抓取后的初始图像；

步骤S414将初始图像输入位姿识别模型，输出目标物的预处理结果；

步骤S416基于预处理结果，生成目标物的初始位姿信息。

具体的，可以基于位姿识别模型直接输出初始位姿信息；也可以基于位姿识别模型输出预处理结果，比如：上面实施例提到的概率预测图、关键点和/或关键线信息等等，再基于预处理结果识别出目标物的初始位姿信息。

具体的，该位姿识别模型可以包括但不限于卷积神经网络(CNN)，常见的CNN模型可以包括但不限于：LeNet，AlexNet，ZFNet，VGG，GoogLeNet，Residual Net，DenseNet，R-CNN，SPP-NET，Fast-RCNN，Faster-RCNN，YOLO，SSD，BB8,YOLO-6D，Deep-6dPose，PoseCNN,Hourglass,CPN以及其他现在已知或将来开发的网络模型结构。

具体的，训练方法可以采用监督学习、半监督学习或无监督学习等等现在已有或者将来开发的训练方法。以监督学习为例，以图像数据集作为输入，以三维位姿信息作为标注，对位姿识别模型的初始模型进行训练，从而得到位姿识别模型。

步骤S120获取或生成执行器目标位姿信息；

需要说明的是，上述“获取或生成执行器目标位姿信息”可以发生在上述“获取或生成目标物的初始位姿信息”之前或之后；或与上述“获取或生成目标物的初始位姿信息”同步。

有关步骤S120的其它相关描述可以参见后面实施例中步骤S220中的描述。

步骤S130基于执行器目标位姿信息和初始位姿信息生成目标物的目标位姿信息；

在一个实施例中，根据步骤S110，可以获得目标物在执行器坐标系下的初始位姿信息，由于末端执行器在抓取目标物后，末端执行器相对目标物之间的位置相对固定，因此目标物在执行器坐标系下的位姿信息固定不变，因此根据执行器目标位姿信息，及目标物在执行器坐标系下的初始位姿信息，可以生成目标物的目标位姿信息。

由于上述目标物的目标位姿信息是基于执行器位姿信息转换而来，该目标位姿信息通常是非高精度的，因此在某些需要目标物高精度位姿信息识别的情况下，往往难以满足需求,因此，该位姿识别方法还可以包括优化目标物的位姿信息的步骤。如图8所示，在一个实施例中，步骤S130之后，还可以包括如下方法步骤：

步骤S140优化目标物的目标位姿信息。

具体的，上述优化方法，可以采用现在已有或将来开发的任意方法。

如图9所示，在一个实施例中可以采用非线性的优化方法进行优化，该优化方法S140可以包括如下方法步骤：

步骤S141获取目标位姿信息；

根据上面实施例所述，目标位姿信息可以是指目标物关联的某个关键点(比如：目标物的重心)的位姿信息。

步骤S142根据目标位姿信息，计算出目标物的3D模型上的3d关键点在图像数据中的投影；

步骤S143将投影与图像数据中的关键点的位姿信息进行比较，得到重投影误差；

步骤S144以最小化重投影误差为目标，更新目标物的位姿信息，得到当前更新结果；

在一个实施例中，可以利用非线性优化算法，最小化重投影误差为目标，对问题进行求解。其中，非线性优化算法包括但不限于：牛顿法，高斯牛顿法，列文伯格-马夸尔特法。

步骤S145以当前更新结果代替目标物的位姿识别结果，重复S152-S154的步骤，直到重投影误差符合预设要求(比如：小于某个预设的阈值)，从而得到目标物的位姿识别结果。

通过基于执行器目标位姿信息求取的目标物的目标位姿信息的基础上，进行某些时间较长的高精度位姿信息优化算法，以进一步求取高精度的目标物的目标位姿信息，既可以提高最终的目标位姿信息识别的精度；也可以提高整体的目标物的目标位姿信息识别的速度和/或轨迹规划的速度，进而提高系统反应的速度；再者，由于该高精度的位姿信息是基于某个非高精度的目标位姿信息基础上进一步求取得到，因此相对直接采用优化算法求取的高精度目标位姿信息，可以节省优化时间，提高优化效率。

在一个实施例中，如图10A所示，提供一种基于上述位姿识别方法的轨迹规划方法，以该方法应用于图1A中的系统为例，该方法包括以下步骤：

步骤S210获取或生成当目标物被执行器抓取后的目标物的初始位姿信息；有关步骤S210可以参见上面的实施例中的步骤S110，在此不再重复赘述；

步骤S220获取或生成执行器目标位姿信息；基于执行器目标位姿信息生成第一轨迹规划指令，以控制执行器执行第一动作；

具体的，可以从存储器或者服务器等等获取已知的执行器目标位姿信息；或者基于某些算法生成执行器目标位姿信息，比如：基于当前时刻之前的某个时刻获取的目标图像，基于目标图像提取目标的位姿信息，进而根据目标的位姿信息以某些预设参数(比如：距离该目标的位姿信息一定距离和/或角度)生成执行器的目标位姿信息；或者直接基于目标图像结合上述预设参数生成执行器的目标位姿信息。

进一步，上述从存储器或者服务器等等获取已知的执行器目标位姿信息中，执行器目标位姿信息可以为预先存储的已知的信息，也可以是如上面实施例所述，基于当前时刻之前的某个时刻生成的已知的信息。

需要说明的是，上述“获取或生成执行器目标位姿信息；基于执行器目标位姿信息生成第一轨迹规划指令”可以发生在上述“获取或生成目标物的初始位姿信息”之前或之后；或与上述“获取或生成目标物的初始位姿信息”同步。

在一个优选实施例中，采用同步的方式，这样可以减少等待时间(比如：等待初始位姿信息获取或生成的时间)，提高系统的反应速度。具体的，同步可以是指当目标物被执行器抓取后，与“获取或生成初始位姿信息”同步“获取或生成执行器目标位姿信息”和/或“基于执行器目标位姿信息生成第一轨迹规划指令”。需要说明的是，“同步”并不一定要求必须完全对应在某一相同时刻开始，而是为了强调“执行器目标位姿信息的获取或生成”和/或“基于执行器目标位姿信息生成第一轨迹规划指令”不需要等待得到初始位姿信息后才开始。

另外，通过与获取或生成初始位姿信息同步“获取或生成执行器目标位姿信息”和/或“基于执行器目标位姿信息生成第一轨迹规划指令”，可以采用一些计算时间相对较长但可生成高精度位姿信息的方法生成初始位姿信息，从而帮忙提高后续目标物的目标位姿信息识别的精度，因此在提高系统反应速度的同时，还能保证目标物的目标位姿信息识别的精度，进而提高基于此的后续的轨迹规划精度。

需要说明的是，上述第一轨迹规划指令的生成方法可以基于现在已有或将来开发的任意方法生成，比如：人工智能的方法、传统的轨迹规划方法等等。

在一个实施例中，以基于人工智能的方法为例，可以将执行器目标位姿信息或者目标位姿信息与某些参数、图像的组合输入预先训练好的轨迹规划模型，然后输出第一轨迹规划指令。

具体的，轨迹规划模型可以采用监督学习、模仿学习或强化学习等等现在已有或将来开发的模型训练方法进行训练。

在一个实施例中，以传统的轨迹规划方法为例，以执行器抓取目标物后执行器的位姿作为起点(比如：起点的位姿信息可以根据此时执行器的各个关节的编码器发送的各个关节运动变量反馈信息，基于正向运动学计算求得)，执行器目标位姿信息为终点，根据起点和终点生成对应的第一轨迹规划指令。

具体的，上述第一轨迹规划指令可以是指抓取目标物后控制执行器由起点到动作终点形成的路径的各个离散点的位姿信息，或者是为使得执行器可以实现上述路径，执行器各个关节随时间变化的位移、速度/角速度和加速度/角加速度等等。

为方便理解，示例性的，进一步详细说明。如图1A-1D所示，以抓取目标物M1，带动目标物M1装配到目标物M2上的待装配区域M21为例，假设执行器目标位姿信息为在控制执行器抓取目标物M1之前，根据获取的待装配区域的图像识别出的待装配区域的位姿信息生成的已知的执行器目标位姿信息，比如：执行器目标位置信息可以为根据预设的与待装配区域的位姿信息关联参数得到(比如：高于待装配区域某个预设距离)，则在控制执行器600抓取目标物M1后(如图1A所示)，根据上面实施例所述的方法生成的第一轨迹规划指令控制执行器执行第一动作，即控制执行器600带动目标物M1移动到目标物M2的待装配区域M21的附近(如图1B或1C所示)。需要说明的是，根据不同需要和场景可以生成对应的轨迹规划指令，从而控制执行器完成相应的动作。后面实施例还会有其它的实例说明。

步骤S230生成目标物的目标位姿信息；

具体的，目标物的目标位姿信息识别可以基于各种现在已有或将来开发的方法，比如：基于执行器带动目标物完成第一动作后，通过图像传感器采集目标物的图像，基于图像识别出此时目标物的目标位姿信息；

如图10B所示，在另一个优选实施例中，上述目标物的目标位姿信息是基于执行器目标位姿信息和初始位姿信息生成；

在一个实施例中，基于执行器目标位姿信息和初始位姿信息(比如：目标物在执行器坐标系下的位姿信息)可以得到目标物的目标位姿信息。

有关步骤S230的其它描述可以参见上面的实施例中的步骤S130，在此不再赘述。

步骤S240基于目标物的目标位姿信息生成第二轨迹规划指令，以控制执行器执行第二动作。

继续如图1A-1D所示，为方便理解，可以继续基于上面的实例进一步说明，在执行器抓取目标物M1后，基于第一轨迹规划指令控制执行器600带动目标物M2运动到待装配区域M21附近(如图1B或1D所示)后；可以基于此时生成的目标物的目标位姿信息(比如：基于此时采集的目标物的图像生成目标物的目标位姿信息，或者基于执行器和初始位姿信息得到的位姿信息)，结合待装配区域的位姿信息或图像，或者某些装配参数等等，生成第二轨迹规划指令，以控制执行器执行将目标物M1装配到目标物M2的待装配区域M21上(如图1C所示)的第二动作，则第二轨迹规划指令为基于目标物的目标位姿信息生成的控制执行器带动目标物M1装配到目标物M2上的轨迹规划指令。具体的，第二轨迹规划指令的生成也可以基于人工智能、传统的轨迹规划、视觉伺服等等现在已有或将来开发的方法实现。具体生成方法可以参照第一轨迹规划指令中的相关描述，在此不再赘述。

通过将基于当目标物被执行器抓取后的目标物的初始位姿信息与执行器位姿信息相结合进行第一轨迹规划,可以提高第一轨迹规划的速度，从而可以提高整个执行器的轨迹规划的速度，并提高系统的反应速度。

如图13所示，进一步，在一个实施例中，根据上面实施例所述，当上述目标物的目标位姿信息是基于执行器位姿信息转换而来，基于执行器目标位姿信息生成的过程中存在的误差，以及执行器自身存在的机械误差等等问题，因此该目标物的目标位姿信息往往是非高精度的，因此在某些需要目标物高精度位姿信息识别的情况下，往往难以满足需求，因此在步骤S230之后，还可以包括如下方法步骤：

步骤S250优化目标位姿信息。

有关优化目标位姿信息的方法参见上面的实施例，在此不再重复赘述。

通过基于执行器目标位姿信息求取的目标物的目标位姿信息的基础上，进行某些时间较长的高精度位姿信息优化算法，以进一步求取高精度的目标物的目标位姿信息，既可以提高最终的目标位姿信息识别的精度；也可以提高整体的目标物的目标位姿信息识别的速度和/或轨迹规划的速度，进而提高系统反应的速度；再者，由于该高精度的位姿信息是基于某个非高精度的目标位姿信息基础上进一步求取得到，因此相对直接采用优化算法求取的高精度目标位姿信息，可以节省优化时间，提高优化效率。

如图11A所示，在一个实施例中，轨迹规划方法可以包括以下方法步骤：

步骤S310获取或生成当目标物被执行器抓取后的目标物的初始位姿信息；

步骤S320获取或生成执行器目标位姿信息；

步骤S330基于执行器目标位姿信息和初始位姿信息生成目标物的目标位姿信息；

步骤S340基于目标物的目标位姿信息生成第三轨迹规划指令，以控制执行器执行第三动作。

即第三轨迹规划的指令是需要基于生成目标物的目标位姿信息后生成的。同样上述第三轨迹规划指令可以基于人工智能、传统的轨迹规划、视觉伺服等等的方法实现。

需要说明的是，获取或生成执行器目标位姿信息可以发生在上述获取或生成目标物的初始位姿信息之前或之后；或与上述获取或生成目标物的初始位姿信息同步。

为方便理解，下面以具体实施例进一步详细说明，如图1D所示，在控制执行器600抓取目标物M1后，由于执行器600抓取的目标物的角度可能会影响整个装配动作，比如：抓取角度不符合装配要求，需要调整目标物的角度才能完成后续的装配动作，因此需要基于目标物的目标位姿信息、待装配区域位姿信息或图像及目标物装配参数等等对应生成第三轨迹规划指令。

需要说明的是，根据第三轨迹规划指令可以控制执行器执行整个目标动作；或者执行整个目标动作中的其中一部分动作。继续以将目标物M1装配到目标区域M21为例，该第三轨迹规划指令可以为控制执行器带动目标物M1移动到装配区域M21附近的动作；也可以为基于目标物的目标位姿信息，再结合装配区域的位姿信息等等生成的直接将目标物M1装配到目标区域M21的动作。

如图14所示，进一步，在一个实施例中，上述目标物的目标位姿信息是基于执行器位姿信息转换而来，因此在某些需要目标物高精度位姿信息识别的情况下，往往难以满足需求，因此步骤S330之后，还可以包括如下方法步骤：

步骤S350优化目标物的目标位姿信息。

基于优化后的目标物的目标位姿信息进行轨迹规划，可以提高轨迹规划的精度。

有关轨迹规划方法、优化目标位姿信息的方法等等参见上面的实施例，在此不再赘述。

为方便理解，下面以第三动作为执行器带动目标物M1移动到装配区域M21附近的动作为例，进一步详细说明。

如图11B所示，在一个实施例中，该轨迹规划方法还包括如下方法步骤：

步骤S360生成第四轨迹规划指令，以控制所述执行器执行第四动作。

需要说明的是，该步骤S360可以直接基于步骤S330生成的目标物的目标位姿信息生成，或者通过某些算法生成，比如：基于通过图像传感器采集的目标物的图像识别得到目标物的目标位姿信息。

如上面实施例所述，在控制执行器执行完第三动作之后，可能目标物并未完成最终的动作要求，因此，可能需要根据目标物的目标位姿信息进一步生成第四轨迹规划指令。比如：以上面实施例所述的目标物M1装配到待装配区域M21上为例，第三动作之后，执行器带动目标物M1来到目标区域M21附近，则基于目标物的位姿信息和目标区域的位姿信息或图像等等信息，进一步生成第四轨迹规划指令，从而实现带动目标物装配到目标区域的动作。

如图11C所示，在一个实施例中，以目标物的目标位姿信息基于步骤S330的方法生成为例，该轨迹规划方法还包括如下方法步骤：

步骤S350优化目标物的目标位姿信息；

步骤S360基于目标物的目标位姿信息生成第四轨迹规划指令，以控制所述执行器执行第四动作。

进一步，在一个实施例中，上述第三动作可以为控制执行器600带动目标物M1移动到待装配区域附近，则基于该目标位姿进一步生成第四轨迹规划指令，以控制执行器执行带动目标物装配到目标区域的第四动作，由于目标物的位姿信息为非高精度的，在某些情况下，为了准确完成该装配动作，在步骤S360之前，可以包括步骤S350优化目标物的目标位姿信息的步骤，这样基于高精度的位姿信息可以提高轨迹规划的精度。

如图12A所示，在一个实施例中，轨迹规划方法可以包括以下方法步骤：

步骤S410获取或生成当目标物被执行器抓取后的目标物的初始位姿信息；

步骤S420与获取或生成初始位姿信息同步，获取执行器目标位姿信息，基于执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

步骤S430在执行器根据第一轨迹规划指令运动过程中，基于得到的初始位姿信息和执行器目标位姿信息生成目标物的目标位姿信息，基于目标物的目标位姿信息更新第一轨迹规划指令。

具体的，在上述获取或生成初始位姿信息同步(即无需等待初始位姿信息的获取或生成)，生成第一轨迹规划指令；然后在执行器根据第一轨迹规划指令运动过程中，根据得到初始位姿信息，结合执行器目标位姿信息生成目标物的目标位姿信息(比如：在完成M1和M2的装配场景下，需要结合目标物在执行器坐标系下的初始位姿信息，调整抓取的角度后，以完成装配动作)，根据目标物的目标位姿信息更新第一轨迹规划指令。

在一个实施例中，可以判断是否得到初始位姿信息(即上述获取和生成初始目标位姿信息的过程是否完成)；若是，根据得到的目标物的初始位姿信息更新第一轨迹规划指令；若否，继续执行第一轨迹规划指令。

由于无需等待初始位姿信息获取或生成后再进行第一轨迹规划，因此提高了整个系统的反应速度。

如图15所示，在一个实施例中，上述目标物的目标位姿信息是基于执行器位姿信息转换而来，因此在某些需要目标物高精度位姿信息识别的情况下，往往难以满足需求，因此步骤S430还可以包括优化目标位姿信息的方法步骤，基于优化后的目标位姿信息生成第一轨迹规划指令，可以提高轨迹规划指令的精度。

有关优化目标位姿信息的方法参见上面的实施例，在此不再重复赘述。

需要说明的是，根据第一轨迹规划指令可以控制执行器执行整个目标动作，或者执行整个目标动作中的其中一部分动作。继续以将目标物M1装配到目标区域M21为例，该第三轨迹规划指令可以为控制执行器带动目标物M1移动到装配区域M21附近的动作；也可以为基于目标物的目标位姿信息，再结合装配区域的位姿信息等等生成的直接将目标物M1装配到目标区域M21的动作。

为方便理解，下面以第一动作为执行器带动目标物M1移动到装配区域M21附近的动作为例，进一步详细说明。

如图11B所示，在一个实施例中，该轨迹规划方法还包括如下方法步骤：

步骤S440生成第四轨迹规划指令，以控制所述执行器执行第四动作。

需要说明的是，该步骤S360可以直接基于步骤S330生成的目标物的目标位姿信息生成，或者通过某些算法生成，比如：基于通过图像传感器采集的目标物的图像识别得到目标物的目标位姿信息。

如上面实施例所述，在控制执行器执行完第一动作之后，可能目标物并未完成最终的动作要求，因此，可能需要根据目标物的目标位姿信息进一步生成第四轨迹规划指令。比如：以上面实施例所述的目标物M1装配到待装配区域M21上为例，第一动作之后，执行器带动目标物M1来到目标区域M21附近，则基于目标物的位姿信息和目标区域的位姿信息或图像等等信息，进一步生成第四轨迹规划指令，从而实现带动目标物装配到目标区域的动作。

如图12C所示，在一个实施例中，该轨迹规划方法还包括如下方法步骤：

步骤S450优化目标物的目标位姿信息；

步骤S440基于所述目标物的目标位姿信息生成第四轨迹规划指令，以控制所述执行器执行第四动作。

进一步，在一个实施例中，上述第三动作可以为控制执行器600带动目标物M1移动到待装配区域附近，则基于该目标位姿进一步生成第四轨迹规划指令，以控制执行器执行带动目标物装配到目标区域的第四动作，由于目标物的位姿信息为非高精度的，在某些情况下，为了准确完成该装配动作，在步骤S360之前，可以包括步骤S350优化目标物的目标位姿信息的步骤，这样基于高精度的位姿信息可以提高轨迹规划的精度。

应该理解的是，虽然图1-图15的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图15的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图16A、16B或16C所示，提供一种位姿识别装置，该位姿识别装置包括：

初始获取或生成模块110，用于获取或生成当目标物被执行器抓取后的目标物的初始位姿信息；

执行器获取或生成模块120，用于获取或生成述执行器目标位姿信息；基于执行器目标位姿信息生成轨迹规划指令，以控制所述执行器运动到目标位置处；

目标生成模块130，用于基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息。

如图17所示，在一个实施例中，位姿识别装置还包括：

目标优化模块140，用于优化目标位姿信息，以生成高精度的优化目标位姿信息。

进一步，在一个实施例中，目标优化模块140包括：

目标获取单元，用于获取目标位姿信息；

投影生成单元，用于根据目标位姿信息，计算出目标物的3D模型上的3d关键点在图像数据中的投影；

误差计算单元，用于将投影与初始图像中的关键点的位置进行比较，得到重投影误差；

结果更新单元，用于以最小化重投影误差为目标，更新目标物的目标位姿信息，得到当前更新结果；

结果重复单元，以当前更新结果代替目标物的目标位姿信息，重复S152-S154的步骤直到重投影误差满足预设的阈值要求，从而得到目标物的优化位姿信息。

在一个实施例中，初始获取或生成模块包括：

图像获取单元，用于获取当目标物被执行器抓取后的初始图像；

位姿识别单元，用于将所述初始图像输入位姿识别模型，输出所述目标物的初始位姿信息。或

图像获取单元，用于获取当目标物被执行器抓取后的初始图像；

预处理生成单元，用于将初始图像输入位姿识别模型，输出目标物的预处理结果；

位姿生成单元，用于根据预处理结果，生成目标物的初始位姿信息。或

图像获取单元，用于获取当目标物被执行器抓取后的初始图像；

图像匹配单元，用于将所述初始图像与预先存储的图像库中的多张模板图像进行匹配，其中，每张所述模板图像配备对应位姿信息；

位姿获取单元，用于获取与所述初始图像匹配的所述模板图像的所述对应位姿信息；

位姿确定单元，用于以所述对应位姿信息作为所述初始位姿信息；或

图像获取单元，用于获取当目标物被执行器抓取后的初始图像；

关键识别单元，用于识别所述初始图像中的所述目标物关联的关键点和/或关键线；

位姿生成单元，用于基于所述关键点和/或关键线，生成所述目标物的所述初始位姿信息。或

图像获取单元，用于获取当目标物被执行器抓取后的初始图像；

概率识别单元，用于识别初始图像中的目标物的概率预测图；

关键提取单元，用于基于预测图提取目标物关联的关键点和/或关键线；

位姿生成单元，用于基于所述关键点和/或关键线，生成目标物的初始位姿信息。

在一个实施例中，如图18A、18B或18C所示，提供一种轨迹规划装置，该轨迹规划装置包括：

初始获取或生成模块210，用于获取或生成当目标物被执行器抓取后的目标物的初始位姿信息；

执行器获取或生成模块220，用于获取或生成所述执行器目标位姿信息；

第一轨迹生成模块230，用于基于执行器目标位姿信息生成第一轨迹规划指令，以控制执行器执行第一动作。

目标生成模块240，用于基于执行器目标位姿信息和初始位姿信息生成目标物的目标位姿信息；

第二轨迹生成模块250，用于基于目标位姿信息生成第二轨迹规划指令，以控制执行器执行第二动作。

如图18D所示，进一步，在一个实施例中，轨迹规划装置还包括目标优化模块260，用于优化目标位姿信息，以生成高精度的优化目标位姿信息。

在一个实施例中，如图19所示，提供一种轨迹规划装置，该轨迹规划装置包括：

初始获取或生成模块310，用于获取或生成当目标物被执行器抓取后的目标物的初始位姿信息；

执行器获取或生成模块320，用于获取或生成执行器目标位姿信息；

目标生成模块330，用于基于执行器目标位姿信息和初始位姿信息生成目标物的目标位姿信息；

第三轨迹生成模块340，用于基于目标物的目标位姿信息生成第三轨迹规划指令，以控制执行器执行第三动作。

进一步，在一个实施例中，轨迹规划装置还包括目标优化模块350，用于优化目标位姿信息，以生成高精度的优化目标位姿信息。

进一步，在一个实施例中，轨迹规划装置还包括：

第四轨迹生成模块，用于生成第四轨迹规划指令，以控制所述执行器执行第四动作。

进一步，在一个实施例中，轨迹规划装置还包括：

目标优化模块，用于优化目标物的目标位姿信息；

第四轨迹生成模块，用于基于所述目标物的目标位姿信息生成第四轨迹规划指令，以控制所述执行器执行第四动作。

在一个实施例中，如图20所示，提供一种轨迹规划装置，该轨迹规划装置包括：

初始获取或生成模块410，用于获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

第一轨迹生成模块420，用于与所述获取或生成初始位姿信息同步，获取执行器目标位姿信息，基于执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

第一轨迹更新模块430，用于在执行器根据第一轨迹规划指令运动过程中，基于得到的初始位姿信息和执行器目标位姿信息生成目标物的目标位姿信息，基于目标物的目标位姿信息更新第一轨迹规划指令。

进一步，在一个实施例中，第一轨迹更新模块430还包括：目标优化单元，用于优化目标位姿信息。

进一步，在一个实施例中，轨迹规划装置还包括：

第四轨迹生成模块，用于生成第四轨迹规划指令，以控制所述执行器执行第四动作。

进一步，在一个实施例中，轨迹规划装置还包括：

目标优化模块，用于优化目标物的目标位姿信息；

第四轨迹生成模块，用于基于所述目标物的目标位姿信息生成第四轨迹规划指令，以控制所述执行器执行第四动作。

关于上述各个位姿识别装置、轨迹规划装置的具体限定可以参见上文中对于位姿识别方法、轨迹规划方法的限定，在此不再赘述。上述各个位姿识别装置、轨迹规划装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图21所示，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述位姿识别方法和/或轨迹规划方法的步骤。

在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述位姿识别方法和/或轨迹规划方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，上述各个执行器、控制装置和/或传感器等等，即可以是真实环境下的真实执行器、控制装置和/或传感器，也可以是仿真平台下的虚拟执行器、控制装置和/或传感器，通过仿真环境以达到连接真实执行器、控制装置和/或传感器的效果。将依赖虚拟环境完成行为训练后的控制装置，移植到真实环境下，对真实的执行器、控制装置和/或传感器等等进行控制或者再训练，可以节省训练过程的资源和时间。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未将上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的属于只是为了描述具体的实施方式的目的，不是用于限制本发明。

本发明的权利要求书和说明书及上述附图中的术语“第一”、“第二”、“第三”、“S110”、“S120”“S130”等等(如果存在)是用来区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换或在某些情况下同时发生，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如：包括了一系列步骤或者模块的过程、方法、系统、产品或机器人不必限于清楚地列出的那些步骤或者模块，而是包括没有清楚地列出的或对于这些过程、方法、系统、产品或机器人固有的其它步骤或模块。

需要说明的是，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的结构和模块并不一定是本发明所必须的。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种目标物的位姿识别方法，其特征在于，所述位姿识别方法包括：

获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

获取或生成所述执行器目标位姿信息；

基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息。

2.根据权利要求1所述的目标物的位姿识别方法，其特征在于，所述位姿识别方法还包括：优化所述目标物的目标位姿信息。

3.一种目标物的轨迹规划方法，其特征在于，所述轨迹规划方法包括：

获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

获取或生成所述执行器目标位姿信息；基于所述执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

生成所述目标物的目标位姿信息；

基于所述目标物的目标位姿信息生成第二轨迹规划指令，以控制所述执行器执行第二动作。

4.根据权利要求3所述的目标物的轨迹规划方法，其特征在于，所述获取或生成所述执行器目标位姿信息；和/或所述生成第一轨迹规划指令与所述获取或生成所述目标物的初始位姿信息同步。

5.根据权利要求3或4所述的目标物的轨迹规划方法，其特征在于，所述生成所述目标物的目标位姿信息为：

基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息。

6.根据权利要求6所述的目标物的轨迹规划方法，其特征在于，所述轨迹规划方法还包括：优化所述目标物的目标位姿信息。

7.一种目标物的轨迹规划方法，其特征在于，所述轨迹规划方法包括：

获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

获取或生成所述执行器目标位姿信息；

基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息；

基于所述目标物的目标位姿信息生成第三轨迹规划指令，以控制所述执行器执行第三动作。

8.根据权利要求7所述的目标物的轨迹规划方法，其特征在于，所述获取或生成所述执行器目标位姿信息与所述获取或生成所述目标物的初始位姿信息同步。

9.一种目标物的轨迹规划方法，其特征在于，所述轨迹规划方法包括：

获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

与所述获取或生成所述初始位姿信息同步，获取所述执行器目标位姿信息；基于所述执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

在所述执行器根据所述第一轨迹规划指令执行所述第一动作过程中，基于得到的所述初始位姿信息，结合所述执行器目标位姿信息生成所述目标物的目标位姿信息；基于所述目标物的目标位姿信息更新所述第一轨迹规划指令。

10.根据权利要求7、8或9所述的目标物的轨迹规划方法，其特征在于，所述轨迹规划方法还包括：

优化所述目标物的目标位姿信息；和/或

基于所述目标物的目标位姿信息生成第四轨迹规划指令，以控制所述执行器执行第四动作。

11.根据权利要求7、8或9所述的目标物的轨迹规划方法，其特征在于，所述轨迹规划方法还包括：

生成第四轨迹规划指令，以控制所述执行器执行第四动作。

12.一种目标物的位姿识别装置，其特征在于，所述位姿识别装置包括：

初始获取或生成模块，用于获取或生成当目标物被执行器抓取后的所述目标物的初始位姿信息；

执行器获取或生成模块，用于获取或生成所述执行器目标位姿信息；

目标生成模块，用于基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息。

13.一种目标物的轨迹规划装置，其特征在于，所述轨迹规划装置包括：

初始获取或生成模块，用于获取或生成当目标物被执行器抓取后的所述目标物的初始位姿信息；

执行器获取或生成模块，用于获取或生成所述执行器目标位姿信息；

第一轨迹生成模块，用于基于所述执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

位姿信息生成模块，用于生成所述目标物的目标位姿信息；

第二轨迹生成模块，用于基于所述目标物的目标位姿信息生成第二轨迹规划指令，以控制所述执行器执行第二动作；或

初始获取或生成模块，用于获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

执行器获取或生成模块，用于获取或生成所述执行器目标位姿信息；

目标生成模块，用于基于所述执行器目标位姿信息和所述初始位姿信息生成所述目标物的目标位姿信息；

第三轨迹生成模块，用于基于所述目标物的目标位姿信息生成第三轨迹规划指令，以控制所述执行器执行第三动作；或

初始获取或生成模块，用于获取或生成当所述目标物被执行器抓取后的所述目标物的初始位姿信息；

第一轨迹生成模块，用于与所述获取或生成所述初始位姿信息同步，获取所述执行器目标位姿信息；基于所述执行器目标位姿信息生成第一轨迹规划指令，以控制所述执行器执行第一动作；

第一轨迹更新模块，用于在所述执行器根据所述第一轨迹规划指令运动过程中，基于得到的所述初始位姿信息，结合所述执行器目标位姿信息生成所述目标物的目标位姿信息；基于所述目标物的目标位姿信息更新所述第一轨迹规划指令。

14.一种系统，其特征在于，所述系统包括图像传感器、执行器和控制装置；

所述控制装置分别通信连接所述图像传感器和所述执行器；

所述控制装置，用于实现权利要求1或2所述的目标物的位姿识别方法；和/或权利要求3-11任一项所述的目标物的轨迹规划方法。

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1或2所述的目标物的位姿识别方法；和/或权利要3-11任一项所述的目标物的轨迹规划方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1或2所述的目标物的位姿识别方法；和/或权利要求3-11任一项所述的目标物的轨迹规划方法。

Images