CN112836558A - 机械臂末端调整方法、装置、系统、设备及介质 - Google Patents

机械臂末端调整方法、装置、系统、设备及介质 Download PDF

Info

Publication number
CN112836558A
CN112836558A CN201911168958.0A CN201911168958A CN112836558A CN 112836558 A CN112836558 A CN 112836558A CN 201911168958 A CN201911168958 A CN 201911168958A CN 112836558 A CN112836558 A CN 112836558A
Authority
CN
China
Prior art keywords
information
geometric
mechanical arm
pose
tail end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911168958.0A
Other languages
English (en)
Inventor
王鹏
王毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Technology Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN201911168958.0A priority Critical patent/CN112836558A/zh
Publication of CN112836558A publication Critical patent/CN112836558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Abstract

本申请实施例公开了一种机械臂末端调整方法、装置、系统、设备和介质。所述方法包括：获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，三维信标放置在工作面上，三维信标中包括存在信息编码的区域，从信息编码中提取三维信标的结构信息，识别三维信标在目标图像上的形状信息，根据结构信息和形状信息，确定机械臂末端相对于工作面的第一位姿数据，基于第一位姿数据，调整机械臂末端至目标位姿，从而可以使用三维信标方便且准确的得到机械臂末端相对于工作面的位姿，可以根据工作面的位姿进行灵活调整，而且机械臂末端的操作流畅性高，提高机械臂末端的控制精度。

Description

机械臂末端调整方法、装置、系统、设备及介质
技术领域
本申请涉及机械臂末端调整技术领域，具体涉及一种机械臂末端调整方法、一种机械臂末端调整装置、一种机械臂末端调整系统、一种计算机设备、一种计算机可读存储介质。
背景技术
随着机器人技术的发展，机械臂被广泛的用于各个领域。例如，在工业机器人领域中，常使用机械臂完成工件抓取等操作。一般，机械臂由基座、动力关节、连杆和末端工具等组成。机械臂整体的运动控制往往被技术人员关注，但对机械臂末端的调整往往集中在位置调整，较少关注机械臂末端位姿的调整。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的机械臂末端调整方法、机械臂末端调整装置、机械臂末端调整系统、计算机设备以及计算机可读存储介质。
依据本申请的一个方面，提供了一种机械臂末端调整方法，所述方法包括：
获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域；
从所述信息编码中提取所述三维信标的结构信息；
识别所述三维信标在所述目标图像上的形状信息；
根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据；
基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
可选地，所述三维信标包括至少四个几何体，所述结构信息包括所述至少四个几何体中每个几何体的中心在三维坐标系中的物理坐标；所述形状信息包括所述至少四个几何体中每个几何体在所述目标图像上的中心位置信息；
所述根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据，包括：
获取所述图像采集器相对于所述机械臂末端的第二位姿数据，以及所述三维信标相对于所述工作面的第三位姿数据；
根据所述第二位姿数据、第三位姿数据、物理坐标和中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据。
可选地，所述第二位姿数据包括所述机械臂末端坐标系与图像采集器坐标系之间的第二坐标转换关系，所述第三位姿数据包括所述三维信标坐标系与所述工作面坐标系之间的第三坐标转换关系，所述根据所述第二位姿数据、第三位姿数据、物理坐标和中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据，包括：
根据所述物理坐标和中心位置信息，计算所述图像采集器坐标系与三维信标坐标系之间的第四坐标转换关系；
根据所述第二坐标转换关系、第三坐标转换关系和第四坐标转换关系，计算所述机械臂末端坐标系与工作面坐标系的第一坐标转换关系，作为所述第一位姿数据。
可选地，所述三维信标包括至少四个几何体，所述形状信息包括所述至少四个几何体中每个几何体在所述目标图像上的中心位置信息，所述识别所述三维信标在所述目标图像上的形状信息，包括：
识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息；
根据所述中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到边缘点信息；
根据所述边缘点信息，对所述中心位置信息和尺寸信息进行修正；
根据修正后的中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到修正后的边缘点信息；
根据修正后的边缘点信息，对所述修正后的中心位置信息和修正后的尺寸信息进行修正；
迭代执行直至达到设定次数，得到最后一次修正后的所述至少四个几何体中每个几何体的中心位置信息。
可选地，所述识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息，包括以下至少一种：
检测所述目标图像中与几何体的形状匹配的连通区域，确定所述连通区域的所述中心位置信息和尺寸信息；
或，采用支持缩放的几何体模板匹配所述目标图像上的所述至少四个几何体中的每个几何体，得到所述每个几何体的所述中心位置信息和尺寸信息；
或，根据所述目标图像中点与线的对偶性识别所述至少四个几何体中的每个几何体，得到所述至少四个几何体中每个几何体的所述中心位置信息和尺寸信息。
可选地，在所述采用支持缩放的几何体模板匹配所述目标图像上的所述至少四个几何体中的每个几何体，得到所述每个几何体的所述中心位置信息和尺寸信息之前，所述方法还包括：
从所述信息编码中提取所述支持缩放的几何体模板的索引信息；
根据所述索引信息，查找所述支持缩放的几何体模板。
可选地，在所述基于所述第一位姿数据，调整所述机械臂末端至目标位姿之前，所述方法还包括：
从所述信息编码中提取所述目标位姿对应的目标数据；
所述基于所述第一位姿数据，调整所述机械臂末端至目标位姿包括：
根据所述第一位姿数据和目标数据，生成所述机械臂末端的调整指令；
按照所述调整指令，调整所述机械臂末端至所述目标位姿。
相应的，本申请还提供了一种机械臂末端调整装置，包括：
图像获取模块，用于获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域；
信息提取模块，用于从所述信息编码中提取所述三维信标的结构信息；
信息识别模块，用于识别所述三维信标在所述目标图像上的形状信息；
位姿确定模块，用于根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据；
位姿调整模块，用于基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
可选地，所述三维信标包括至少四个几何体，所述结构信息包括所述至少四个几何体中每个几何体的中心在三维坐标系中的物理坐标；所述形状信息包括所述至少四个几何体中每个几何体在所述目标图像上的中心位置信息；
所述位姿确定模块包括：
第三位姿获取子模块，用于获取所述图像采集器相对于所述机械臂末端的第二位姿数据，以及所述三维信标相对于所述工作面的第三位姿数据；
第一位姿确定子模块，用于根据所述第二位姿数据、第三位姿数据、物理坐标和中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据。
可选地，所述第二位姿数据包括所述机械臂末端坐标系与图像采集器坐标系之间的第二坐标转换关系，所述第三位姿数据包括所述三维信标坐标系与所述工作面坐标系之间的第三坐标转换关系，所述第一位姿确定子模块包括：
第四坐标计算单元，用于根据所述物理坐标和中心位置信息，计算所述图像采集器坐标系与三维信标坐标系之间的第四坐标转换关系；
第一坐标计算单元，用于根据所述第二坐标转换关系、第三坐标转换关系和第四坐标转换关系，计算所述机械臂末端坐标系与工作面坐标系的第一坐标转换关系，作为所述第一位姿数据。
可选地，所述三维信标包括至少四个几何体，所述形状信息包括所述至少四个几何体中每个几何体在所述目标图像上的中心位置信息，所述信息识别模块包括：
信息识别子模块，用于识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息；
边缘点查找子模块，用于根据所述中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到边缘点信息；
修正子模块，用于根据所述边缘点信息，对所述中心位置信息和尺寸信息进行修正；
边缘点查找子模块，用于根据修正后的中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到修正后的边缘点信息；
修正子模块，用于根据修正后的边缘点信息，对所述修正后的中心位置信息和修正后的尺寸信息进行修正；
中心得到子模块，用于迭代执行直至达到设定次数，得到最后一次修正后的所述至少四个几何体中每个几何体的中心位置信息。
可选地，所述信息识别子模块包括以下至少一种：
第一信息确定单元，用于检测所述目标图像中与几何体的形状匹配的连通区域，确定所述连通区域的所述中心位置信息和尺寸信息；
或，第二信息确定单元，用于采用支持缩放的几何体模板匹配所述目标图像上的所述至少四个几何体中的每个几何体，得到所述每个几何体的所述中心位置信息和尺寸信息；
或，第三信息确定单元，用于根据所述目标图像中点与线的对偶性识别所述至少四个几何体中的每个几何体，得到所述至少四个几何体中每个几何体的所述中心位置信息和尺寸信息。
可选地，所述装置还包括：
信息提取模块，用于在所述采用支持缩放的几何体模板匹配所述目标图像上的所述至少四个几何体中的每个几何体，得到所述每个几何体的所述中心位置信息和尺寸信息之前，从所述信息编码中提取所述支持缩放的几何体模板的索引信息；
模块查找模块，用于根据所述索引信息，查找所述支持缩放的几何体模板。
可选地，所述装置还包括：
目标数据提取模块，用于在所述基于所述第一位姿数据，调整所述机械臂末端至目标位姿之前，从所述信息编码中提取所述目标位姿对应的目标数据；
所述位姿调整模块包括：
指令生成子模块，用于根据所述第一位姿数据和目标数据，生成所述机械臂末端的调整指令；
位姿调整子模块，用于按照所述调整指令，调整所述机械臂末端至所述目标位姿。
相应的，本申请还提供了一种机械臂末端调整系统，所述系统包括：机械臂，机械臂末端上的图像采集器，三维信标；
所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域；
所述图像采集器用于采集所述三维信标的目标图像；
所述机械臂用于从所述信息编码中提取所述三维信标的结构信息；识别所述三维信标在所述目标图像上的形状信息；根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据；基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
可选地，所述三维信标包括至少四个几何体，所述至少四个几何体的中心不都在同一平面上；所述信息编码位于所述至少四个几何体中的三个几何体的底部所在平面上的任一区域。
可选地，所述三维信标包括四个几何体，第一几何体的中心与第四几何体的中心之间的连线与第二几何体、第三几何体和第四几何体的中心所在的平面垂直，第二几何体的中心与第四几何体的中心之间的连线与第三几何体的中心与第四几何体的中心之间的连线垂直；所述第二几何体、第三几何体和第四几何体的底部位于一个平板上，所述平板与所述工作面接触；在不使用所述三维信标时，所述第一几何体可通过旋转放置在与所述平板接触的位置。
相应的，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法。
相应的，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述方法。
依据本申请实施例，通过获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，三维信标放置在工作面上，三维信标中包括存在信息编码的区域，从信息编码中提取三维信标的结构信息，识别三维信标在目标图像上的形状信息，根据结构信息和形状信息，确定机械臂末端相对于工作面的第一位姿数据，基于第一位姿数据，调整机械臂末端至目标位姿，从而可以使用三维信标方便且准确的得到机械臂末端相对于工作面的位姿，可以根据工作面的位姿进行灵活调整，而且机械臂末端的操作流畅性高，提高机械臂末端的控制精度。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请实施例一的一种机械臂末端调整方法实施例的流程图；
图2示出了根据本申请实施例二的一种机械臂末端调整方法实施例的流程图；
图3示出了基于卡尺工具的椭圆形或圆形的边缘点查找方法的示意图；
图4示出了圆形的精确定位过程的示意图；
图5示出了根据本申请实施例三的一种机械臂末端调整装置实施例的结构框图；
图6示出了根据本申请实施例四的一种机械臂末端调整系统实施例的示意图；
图7示出了本申请实施例所述的一种三维信标的示意图；
图8示出了本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1，示出了根据本申请实施例一的一种机械臂末端调整方法实施例的流程图，该方法具体可以包括以下步骤：
步骤101，获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域。
机械臂用于实现在空间中抓放物体等操作的机械电子装置，或者用于实现其他任意适用的操作的机械电子装置，本申请实施例对此不作限制。机械臂具有和人手臂相似的功能，机械臂末端上通常安装有末端工具，例如，灵巧手、夹持器等。
在本申请实施例中，机械臂末端上安装有图像采集器，图像采集器包括但不限于单目工业相机、智能相机等用于采集图像的设备。图像采集器可以固定在机械臂末端，一般在机械臂末端的平行处，也可以通过控制与机械臂末端发生相对运动，本申请实施例对此不作限制。图像采集器的内参数、外参数和畸变参数等已知或通过标定方式获取。
在本申请实施例中，三维信标是用于对机械臂的工作面的位姿进行标识的信标，在使用时，需要将三维信标放置在工作面上，三维信标中包括存在信息编码的区域。例如，一种三维信标可以设计为包括四个球体，并且第一球体的中心与第四球体的中心之间的连线与第二球体、第三球体和第四球体的中心所在的平面垂直，第二球体的中心与第四球体的中心之间的连线与第三球体的中心与第四球体的中心之间的连线垂直，或者通过更换上述的球体为其他便于在图像中识别的形状、增加球体个数等方式设计不同的三维信标，具体可以包括任意适用的三维信标，本申请实施例对此不做限制。
其中，工作面是指需要机械臂进行操作的一个面，可以是被操作的物体的某个表面，也可以是放置物体的某个面。例如，一种工作面可以是机械臂的工作平台，该工作平台所处的平面与机械臂基底所处的平面可以是同一个平面，即工作平台坐标系与机械臂底座坐标系严格平行，另一种工作面可以是机械臂的工作平台上放置的物体的某个表面，该表面所处的平面可以是与机械臂基底所处的平面成一定角度。
其中，信息编码是按一定规律分布某种特定图形记录信息的一种编码方式，具体形式可以包括一维码、二维码等标准的信息编码，也可以包括自制的信息编码，本申请实施例对此不作限制。信息编码可以把图片、声音、文字、签字、指纹、网址、特定代码等可以数字化的信息进行编码。
在本申请实施例中，在机械臂末端静止或运动的状态下，图像采集器可以实时采集到一定范围内的图像，并将采集到的图像发送至机械臂或者机械臂的控制设备。将图像采集器采集到的存在三维信标的图像，记为目标图像。
步骤102，从所述信息编码中提取所述三维信标的结构信息。
在本申请实施例中，三维信标是立体的，三维信标可以有形状上的多种结构，描述三维信标结构的结构信息可以从三维信标上的信息编码中提取得到。其中，结构信息包括三维信标中各个部分的形状、大小、位置等信息，或者其他任意适用的信息，本申请实施例对此不作限制。
例如，图像采集器拍摄到三维信标的目标图像，对目标图像中的二维码进行识别，从中提取到三维信标的结构信息，该结构信息中包括三维信标的坐标系模式(左/右手坐标系)以及该坐标系下组成三维信标的四个球体的物理坐标和球体半径。
在本申请实施例中，图像采集时，在工作面上放置一个三维信标，三维信标中的信息编码允许在图像采集时部分被遮挡，但信息编码可被正确读取，若无法成功提取到需要的信息，则反馈需要二次采集，并给出提示信息，如告警等。
步骤103，识别所述三维信标在所述目标图像上的形状信息。
在本申请实施例中，在采集三维信标的图像时，由于机械臂末端上的图像采集器相对于三维信标的位姿的不同，而不同的角度会使得三维信标在目标图像上显示出不同的形状。形状信息用于描述三维信标在目标图像上的形状，形状信息包括在目标图像上的三维信标的各个部分的形状、大小、位置等信息，或者其他任意适用的信息，本申请实施例对此不作限制。
在本申请实施例中，根据目标图像，识别其中的三维信标，可以获取到形状信息，具体可以采用多种识别方式，例如，三维信标包括至少四个几何体(球体、或圆柱体等)，形状信息包括至少四个几何体中每个几何体在目标图像上的中心位置信息，可以识别至少四个几何体中每个几何体在目标图像中的中心位置信息和尺寸信息，或者为了更加精确，还可以再根据识别得到的中心位置信息和尺寸信息，查找每个几何体在目标图像中的边缘点，得到边缘点信息，然后根据边缘点信息，对中心位置信息和尺寸信息进行修正，再根据修正后的中心位置信息和尺寸信息，查找每个几何体在目标图像中的边缘点，得到修正后的边缘点信息，根据修正后的边缘点信息，对修正后的中心位置信息和修正后的尺寸信息进行修正，迭代执行直至达到设定次数，得到最后一次修正后的每个几何体的中心位置信息，或者其他任意适用的实现方式，本申请实施例对此不做限制。
步骤104，根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据。
在本申请实施例中，根据结构信息，可以得到三维信标在三维空间中的结构，根据形状信息，可以得到三维信标在目标图像中显示的形状，两者之间的对应关系取决于图像采集器相对于三维信标的位姿。利用几何关系的原理进行计算，根据结构信息和形状信息，可以确定图像采集器相对于三维信标的位姿。而图像采集器相对于机械臂末端的位姿，以及三维信标相对于工作面的位姿是固定的，或者可以预先获取到的。显然，根据几何关系，确定图像采集器相对于三维信标的位姿、图像采集器相对于机械臂末端的位姿以及三维信标相对于工作面的位姿之后，就可以据此确定机械臂末端相对于工作面的位姿。
在本申请实施例中，第一位姿数据用于描述机械臂末端相对于工作面的位姿，第一位姿数据包括描述机械臂末端坐标系与工作面坐标系之间相对关系的数据，例如，机械臂末端坐标系与工作面坐标系之间的位置角，或者其他任意适用的第一位姿数据，本申请实施例对此不做限制。根据结构信息和形状信息，确定第一位姿数据的实现方式可以包括多种，例如，获取图像采集器相对于机械臂末端的第二位姿数据，以及三维信标相对于工作面的第三位姿数据，根据第二位姿数据、第三位姿数据、至少四个几何体中每个几何体的中心在三维坐标系中的物理坐标和至少四个几何体中每个几何体在目标图像上的中心位置信息，确定机械臂末端相对于工作面的第一位姿数据，或者其他任意适用的实现方式，本申请实施例对此不做限制。
步骤105，基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
在本申请实施例中，目标位姿包括预先设定的目标位姿、或获取的目标位姿等，或者其他任意适用的目标位姿，本申请实施例对此不做限制。例如，预先设定的或者接收到的目标位姿可以是机械臂末端相对于工作面水平。
在本申请实施例中，基于第一位姿数据，调整机械臂末端至目标位姿的实现方式可以包括多种，例如，先根据第一位姿数据和目标位姿生成调整指令，通过调整指令控制机械臂末端从当前的位姿调整至目标位姿，或者其他任意适用的实现方式，本申请实施例对此不做限制。
依据本申请实施例，通过获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，三维信标放置在工作面上，三维信标中包括存在信息编码的区域，从信息编码中提取三维信标的结构信息，识别三维信标在目标图像上的形状信息，根据结构信息和形状信息，确定机械臂末端相对于工作面的第一位姿数据，基于第一位姿数据，调整机械臂末端至目标位姿，从而可以使用三维信标方便且准确的得到机械臂末端相对于工作面的位姿，可以根据工作面的位姿进行灵活调整，而且机械臂末端的操作流畅性高，提高机械臂末端的控制精度。
参照图2，示出了根据本申请实施例二的一种机械臂末端调整方法实施例的流程图，该方法具体可以包括以下步骤：
步骤201，获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域。
在本申请实施例中，此步骤的具体实现方式可以参照前述实施例中的描述，此处不另赘述。
步骤202，从所述信息编码中提取所述三维信标的结构信息。
在本申请实施例中，此步骤的具体实现方式可以参照前述实施例中的描述，此处不另赘述。
步骤203，识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息。
在本申请实施例中，三维信标包括至少四个几何体，形状信息包括至少四个几何体中每个几何体在目标图像上的中心位置信息，中心位置信息用于表征在目标图像中每个几何体的中心所在的位置，例如，球体的中心在目标图像上的坐标。尺寸信息用于表征在目标图像中每个几何体的尺寸相关的信息，例如，球体在目标图像上成像为圆形时，尺寸信息为圆形的半径，成像为椭圆形时(出现变形)，尺寸信息为椭圆形的轴长(长轴和短轴)。
在本申请实施例中，在图像中识别每个几何体，并确定每个几何体的中心位置信息、尺寸信息等形状信息时，存在一些识别方法无法直接得到准确的形状信息的问题。需要对识别到的中心位置信息和尺寸信息进行修正。
在本申请的一种可选实施例中，识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息的实现方式可以包括多种。
一种实现方式为：检测目标图像中与几何体的形状匹配的连通区域，确定连通区域的中心位置信息和尺寸信息。检测目标图像中与几何体的形状匹配的连通区域，可以基于连通域特征进行检测，连通域特征用于表征图像中各个连通区域的特征，连通域特征包括连通域面积、椭圆长轴、椭圆短轴、圆形度等。
以四个球体组成的三维信标为例的具体实施中，先通过图像预处理，获取球体的理想的圆形或椭圆形的二值化图像，其中，理想的圆形或椭圆形，即为二值化图像中可见较为清晰的圆形或椭圆形。在二值化图像中根据Blob分析(Blob Analysis，连通域分析)的方法获取圆形的中心和半径，或者椭圆形的中心和轴长。其中，通过孔洞填充将圆形或椭圆形中杂斑区域填充，可通过限定连通域面积、椭圆长轴、椭圆短轴、圆形度等连通域特征，筛选出目标连通域(圆形区域或椭圆形区域)，并计算该连通域的质心和轴长(或半径)，从而得到中心位置信息和尺寸信息。
另一种实现方式为：基于支持缩放的几何体模板匹配目标图像上的每个几何体，得到中心位置信息和尺寸信息。几何体模板就是一副已知的小图像，而模板匹配就是在一副大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过一定的算法可以在图中找到目标，确定其坐标位置。本申请中的几何体模版是基于形状特征，即只考虑目标的形状，且支持大小的缩放。以四个球体组成的三维信标为例的具体实施中，需要先提前设定椭圆形或圆形的模版，通过模版在目标图像中匹配，匹配到椭圆形或圆形，计算出椭圆形的中心和轴长，或圆形的中心或半径，从而得到中心位置信息和尺寸信息。此种方法抗光照干扰能力更强。
在本申请的一种可选实施例中，在基于支持缩放的几何体模板匹配目标图像上每个几何体，得到中心位置信息和尺寸信息之前，还包括：从所述信息编码中提取所述支持缩放的几何体模板的索引信息；根据所述索引信息，查找所述支持缩放的几何体模板。其中，索引信息用于查找模版存放的位置。例如，该基于支持缩放的几何体模板存储在特定的文件中，从信息编码中提取索引信息，根据索引信息，找到该特定的文件，从而提取到该几何体模版。
另一种实现方式为：根据目标图像中点与线的对偶性识别至少四个几何体中的每个几何体，得到至少四个几何体中每个几何体的中心位置信息和尺寸信息。利用点与线的对偶性，将原始图像空间的给定的曲线通过曲线表达形式变为参数空间的一个点。这样就把原始图像中给定曲线的检测问题转化为寻找参数空间中的峰值问题。也即把检测整体特性转化为检测局部特性。比如直线、椭圆、圆、弧线等。例如，通过霍夫变换(HoughTransform)法检测图像中的圆形或椭圆形等几何图形从而得到中心位置信息和尺寸信息。
步骤204，根据所述中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到边缘点信息。
在本申请实施例中，根据中心位置信息和尺寸信息在目标图像中进行查找，查找每个几何体在目标图像中的边缘点，得到描述边缘点的位置的信息，记为边缘点信息。
例如，如图3所示的基于卡尺工具的椭圆形或圆形的边缘点查找方法的示意图，根据识别的圆心(即中心位置信息)和半径(即尺寸信息)，在目标图像中以初始的圆轮廓处依次放置一定数量的卡尺，从而获取边缘点，得到边缘点信息。卡尺工具的执行过程包括：确定边缘检测方向(以圆心为端点的射线方向)，高斯滤波，执行投影处理，执行微分处理，设置边缘敏感度、边缘极性、边缘的位置，边缘执行亚像素处理等。
步骤205，根据所述边缘点信息，对所述中心位置信息和尺寸信息进行修正。
在本申请实施例中，通过查找得到边缘点信息后，根据边缘点拟合成几何体在目标图像上的形状，例如，球体在目标图像上是椭圆形或圆形，然后根据拟合得到的形状，重新确定几何体的中心、尺寸，也即是，对中心位置信息和尺寸信息进行修正，得到修正后的中心位置信息和尺寸信息。
步骤206，根据修正后的中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到修正后的边缘点信息。
在本申请实施例中，根据修正后的中心位置信息和尺寸信息在目标图像中进行查找，重新查找每个几何体在目标图像中的边缘点，得到修正后的边缘点信息。例如，再基于卡尺工具查找边缘点。
步骤207，根据修正后的边缘点信息，对所述修正后的中心位置信息和修正后的尺寸信息进行修正。
在本申请实施例中，边缘点信息修正后，再对中心位置信息和尺寸信息再次进行修正。例如，可以根据边缘点拟合成几何体在目标图像上的形状，然后根据拟合得到的形状，重新确定几何体的中心、尺寸，也即是，对修正后的中心位置信息和尺寸信息再进行修正。
步骤208，迭代执行直至达到设定次数，得到最后一次修正后的所述至少四个几何体中每个几何体的中心位置信息。
在本申请实施例中，为了得到更加精确的几何体的中心位置信息，可以迭代执行上述修正的过程直至达到设定次数，也即是说，对中心位置信息和初始尺寸信息修正后，再根据修正后的中心位置信息和初始尺寸信息，重新确定几何体在目标图像中的边缘点信息，再根据重新确定的边缘点信息，修正中心位置信息和尺寸信息，迭代执行直至达到设定次数后，将最后一次修正得到的中心位置信息，确定为至少四个几何体中每个几何体的中心位置信息。
例如，如图4所示的圆形的精确定位过程的示意图，当几何体为球体时，球体在目标图像上的成像为圆形，通过识别可以得到圆形的粗略的初始圆心和初始半径。根据初始圆心和初始半径，基于卡尺工具进行边缘检测，若未检测到边缘，则结束整个过程，若检测到边缘，则根据检测到的初始边缘点信息，进行圆形的回归拟合，若回归拟合的结果为未检测到圆形，则结束整个过程，若回归拟合的结果为检测到圆形，则判断检测次数是否达到设定次数，若未达到设定次数，则对初始圆心和初始半径进行更新，再根据更新后的初始圆心和初始半径重复上述过程，直至达到设定次数，得到精确的圆心、半径和边缘点，从而得到精确的中心位置信息。
步骤209，获取所述图像采集器相对于所述机械臂末端的第二位姿数据，以及所述三维信标相对于所述工作面的第三位姿数据。
在本申请实施例中，图像采集器相对于机械臂末端的位姿数据是固定的或预先可以确定的，记为第二位姿数据。图像采集器绑定在机械臂末端附近并跟随移动情况下，通过手眼标定确定图像采集器坐标系与机械臂末端坐标系的第二位姿数据。若图像采集器固定在机械臂末端，其相对位置固定，则该第二位姿数据仅需一次标定即可一直使用。手眼标定求解算法可以选用解析法或非线性优化法。通常，三维信标放置于工作面上，默认与工作面坐标系一致，因此，第三位姿数据是可以固定的。
例如，图像采集器的坐标系(记为O2)相对于机械臂末端的坐标系(记为O3)的转换矩阵(记为[R2,t2]，其中，R2为旋转矩阵，t2为平移矩阵)为定值，作为第二位姿数据。三维信标放置在工作面上，三维信标的坐标系相对于工作面的坐标系也是固定的或预先可以确定的，则三维信标的坐标系(记为O1)相对于工作面的坐标系(记为O0)的转换矩阵(记为[R0,t0]，其中，R0为旋转矩阵，t0为平移矩阵)为定值，作为第三位姿数据。
步骤210，根据所述第二位姿数据、第三位姿数据、至少四个几何体中每个几何体的中心在三维坐标系中的物理坐标和至少四个几何体中每个几何体在目标图像上的中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据。
在本申请实施例中，三维信标包括至少四个几何体，结构信息包括至少四个几何体中每个几何体的中心在三维坐标系中的物理坐标，形状信息包括至少四个几何体中每个几何体在目标图像上的中心位置信息。根据每个几何体的物理坐标和在目标图像中的中心位置信息，通过几何关系的计算，可以确定出图像采集器相对于三维信标的位姿。具体可以根据物理坐标和中心位置信息，计算图像采集器坐标系与三维信标坐标系之间的第三坐标转换关系，或者其他任意适用的确定方式，本申请实施例对此不做限制。
根据图像采集器相对于机械臂末端的位姿，三维信标相对于工作面的位姿，以及图像采集器相对于三维信标的位姿，可以推导出机械臂末端相对于工作面的位姿，从而计算出机械臂末端相对于工作面的第一位姿数据。
在本申请实施例中，可选地，根据所述第二位姿数据、第三位姿数据、物理坐标和中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据的一种实现方式中，包括：根据所述物理坐标和中心位置信息，计算所述图像采集器坐标系与三维信标坐标系之间的第三坐标转换关系，根据所述第二坐标转换关系、第三坐标转换关系和第四坐标转换关系，计算所述机械臂末端坐标系与工作面坐标系的第一坐标转换关系，作为所述第一位姿数据。
其中，第二位姿数据包括机械臂末端坐标系与图像采集器坐标系之间的第二坐标转换关系，第三位姿数据包括三维信标坐标系与工作面坐标系之间的第三坐标转换关系。位姿数据可以用坐标转换关系来表示，明确四个坐标系，机械臂末端坐标系、图像采集器坐标系、三维信标坐标系和工作面坐标系。坐标转换关系用于对坐标系之间进行转换。
根据物理坐标和中心位置信息，可以计算图像采集器坐标系与三维信标坐标系之间的第四坐标转换关系。例如，图像采集器坐标系与三维信标坐标系之间的转换矩阵(记为[R1,t1]，其中，R1为旋转矩阵，t1为平移矩阵)，作为第四坐标转换关系。
例如，使用PnP(Perspective-n-Point，n点透视成像)算法计算图像采集器坐标系与三维信标坐标系之间的转换矩阵，该算法是一种在已知n个3D空间点以及它们的投影位置时估计相机所在的位姿的算法。
根据第二坐标转换关系、第三坐标转换关系和第四坐标转换关系，计算机械臂末端坐标系与工作面坐标系的第一坐标转换关系，作为第一位姿数据。在得到图像采集器坐标系相对于机械臂末端坐标系的第二坐标转换关系，三维信标的坐标系相对于工作面的坐标系的第三坐标转换关系，图像采集器坐标系相对于三维信标坐标系的第四坐标转换关系之后，可以推导出机械臂末端坐标系相对于工作面坐标系的第一坐标转换关系，作为第一位姿数据。例如，第一坐标转换关系的一种数学表示形式为机械臂末端坐标系与工作面坐标系之间的转换矩阵(记为[R,t]＝[[R1,t1][R2,t2]]-1[R0,t0])。
第一坐标转换关系的另一种数据表示形式为，根据机械臂末端坐标系与工作面坐标系之间的转换矩阵，计算出机械臂末端坐标系与工作面坐标系之间各个坐标轴的旋转角度，作为第一坐标转换关系的另一种数学表示形式。机械臂末端的坐标系相对于工作面的坐标系的X轴的欧拉角(旋转角度)为θ，Y轴的欧拉角(旋转角度)为δ，Z轴的欧拉角(旋转角度)为ω，若机械臂末端坐标系与工作面坐标系之间转换矩阵中的旋转矩阵为：
Figure BDA0002288205650000181
据此，求取欧拉角为：
Figure BDA0002288205650000182
步骤211，从所述信息编码中提取所述目标位姿对应的目标数据。
在本申请实施例中，信息编码中还可以提取出目标数据，目标数据与目标位姿相对应，目标数据可以是描述目标位姿的数据，也可以是携带有描述目标位姿的数据的指令，或者其他任意适用的数据，本申请实施例对此不做限制。
步骤212，根据所述第一位姿数据和目标数据，生成所述机械臂末端的调整指令。
在本申请实施例中，根据第一位姿数据和目标数据，可以生成机械臂末端的调整指令，该调整指令可以将机械臂末端从当前的位姿调整到目标位姿。
步骤213，按照所述调整指令，调整所述机械臂末端至所述目标位姿。
在本申请实施例中，按照调整指令，控制机械臂末端进行位姿的调整，直至调整到目标位姿。
依据本申请实施例，通过获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，三维信标放置在工作面上，三维信标中包括存在信息编码的区域，从信息编码中提取三维信标的结构信息，识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息，根据所述中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到边缘点信息，根据所述边缘点信息，对所述中心位置信息和尺寸信息进行修正，根据修正后的中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到修正后的边缘点信息，根据修正后的边缘点信息，对所述修正后的中心位置信息和修正后的尺寸信息进行修正，迭代执行直至达到设定次数，得到最后一次修正后的所述至少四个几何体中每个几何体的中心位置信息，获取所述图像采集器相对于所述机械臂末端的第二位姿数据，以及所述三维信标相对于所述工作面的第三位姿数据，根据所述第二位姿数据、第三位姿数据、物理坐标和中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据，从所述信息编码中提取所述目标位姿对应的目标数据，根据所述第一位姿数据和目标数据，生成所述机械臂末端的调整指令，按照所述调整指令，调整所述机械臂末端至所述目标位姿，从而可以使用三维信标方便且准确的得到机械臂末端相对于工作面的位姿，可以根据工作面的位姿进行灵活调整，而且机械臂末端的操作流畅性高，提高机械臂末端的控制精度。
参照图5，示出了根据本申请实施例三的一种机械臂末端调整装置实施例的结构框图，具体可以包括：
图像获取模块301，用于获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域；
信息提取模块302，用于从所述信息编码中提取所述三维信标的结构信息；
信息识别模块303，用于识别所述三维信标在所述目标图像上的形状信息；
位姿确定模块304，用于根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据；
位姿调整模块305，用于基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
在本申请实施例中，可选地，所述三维信标包括至少四个几何体，所述结构信息包括所述至少四个几何体中每个几何体的中心在三维坐标系中的物理坐标；所述形状信息包括所述至少四个几何体中每个几何体在所述目标图像上的中心位置信息；
所述位姿确定模块包括：
第三位姿获取子模块，用于获取所述图像采集器相对于所述机械臂末端的第二位姿数据，以及所述三维信标相对于所述工作面的第三位姿数据；
第一位姿确定子模块，用于根据所述第二位姿数据、第三位姿数据、物理坐标和中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据。
在本申请实施例中，可选地，所述第二位姿数据包括所述机械臂末端坐标系与图像采集器坐标系之间的第二坐标转换关系，所述第三位姿数据包括所述三维信标坐标系与所述工作面坐标系之间的第三坐标转换关系，所述第一位姿确定子模块包括：
第四坐标计算单元，用于根据所述物理坐标和中心位置信息，计算所述图像采集器坐标系与三维信标坐标系之间的第四坐标转换关系；
第一坐标计算单元，用于根据所述第二坐标转换关系、第三坐标转换关系和第四坐标转换关系，计算所述机械臂末端坐标系与工作面坐标系的第一坐标转换关系，作为所述第一位姿数据。
在本申请实施例中，可选地，所述三维信标包括至少四个几何体，所述形状信息包括所述至少四个几何体中每个几何体在所述目标图像上的中心位置信息，所述信息识别模块包括：
信息识别子模块，用于识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息；
边缘点查找子模块，用于根据所述中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到边缘点信息；
修正子模块，用于根据所述边缘点信息，对所述中心位置信息和尺寸信息进行修正；
边缘点查找子模块，用于根据修正后的中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到修正后的边缘点信息；
修正子模块，用于根据修正后的边缘点信息，对所述修正后的中心位置信息和修正后的尺寸信息进行修正；
中心得到子模块，用于迭代执行直至达到设定次数，得到最后一次修正后的所述至少四个几何体中每个几何体的中心位置信息。
在本申请实施例中，可选地，所述信息识别子模块包括以下至少一种：
第一信息确定单元，用于检测所述目标图像中与几何体的形状匹配的连通区域，确定所述连通区域的所述中心位置信息和尺寸信息；
或，第二信息确定单元，用于采用支持缩放的几何体模板匹配所述目标图像上的所述至少四个几何体中的每个几何体，得到所述每个几何体的所述中心位置信息和尺寸信息；
或，第三信息确定单元，用于根据所述目标图像中点与线的对偶性识别所述至少四个几何体中的每个几何体，得到所述至少四个几何体中每个几何体的所述中心位置信息和尺寸信息。
在本申请实施例中，可选地，所述装置还包括：
信息提取模块，用于在所述采用支持缩放的几何体模板匹配所述目标图像上的所述至少四个几何体中的每个几何体，得到所述每个几何体的所述中心位置信息和尺寸信息之前，从所述信息编码中提取所述支持缩放的几何体模板的索引信息；
模块查找模块，用于根据所述索引信息，查找所述支持缩放的几何体模板。
在本申请实施例中，可选地，所述装置还包括：
目标数据提取模块，用于在所述基于所述第一位姿数据，调整所述机械臂末端至目标位姿之前，从所述信息编码中提取所述目标位姿对应的目标数据；
所述位姿调整模块包括：
指令生成子模块，用于根据所述第一位姿数据和目标数据，生成所述机械臂末端的调整指令；
位姿调整子模块，用于按照所述调整指令，调整所述机械臂末端至所述目标位姿。
依据本申请实施例，通过获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，三维信标放置在工作面上，三维信标中包括存在信息编码的区域，从信息编码中提取三维信标的结构信息，识别三维信标在目标图像上的形状信息，根据结构信息和形状信息，确定机械臂末端相对于工作面的第一位姿数据，基于第一位姿数据，调整机械臂末端至目标位姿，从而可以使用三维信标方便且准确的得到机械臂末端相对于工作面的位姿，可以根据工作面的位姿进行灵活调整，而且机械臂末端的操作流畅性高，提高机械臂末端的控制精度。
参照图6，示出了根据本申请实施例四的一种机械臂末端调整系统实施例的示意图，具体可以包括：
所述系统包括：机械臂8，机械臂末端9上的图像采集器10，三维信标11；
所述三维信标放置在工作面12上，所述三维信标中包括存在信息编码的区域；
所述图像采集器用于采集所述三维信标的目标图像；
所述机械臂用于从所述信息编码中提取所述三维信标的结构信息；识别所述三维信标在所述目标图像上的形状信息；根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据；基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
在本申请的一种实施例中，可选地，所述三维信标包括至少四个几何体，所述至少四个几何体的中心不都在同一平面上；所述信息编码位于所述至少四个几何体中的三个几何体的底部所在平面上的任一区域。
其中，几何体包括球体、圆柱体、立方体等，或其他任意适用的几何体，本申请实施例对此不做限制。为了能够使用至少四个几何体的中心确定一个三维的坐标系，需要该三维信标中的几何体的中心不都在同一平面上。
信息编码位于至少四个几何体中的三个几何体的底部所在平面上的任一区域，例如，四个球体中的三个球体的底部位于一个平板上，平板的中间区域印制有二维码。
在本申请的一种实施例中，可选地，所述三维信标包括四个几何体，第一几何体的中心与第四几何体的中心之间的连线与第二几何体、第三几何体和第四几何体的中心所在的平面垂直，第二几何体的中心与第四几何体的中心之间的连线与第三几何体的中心与第四几何体的中心之间的连线垂直；所述第二几何体、第三几何体和第四几何体的底部位于一个平板上，所述平板与所述工作面接触；在不使用所述三维信标时，所述第一几何体可通过旋转放置在与所述平板接触的位置。
例如，图7示出了本申请实施例所述的一种三维信标的示意图，参照图7，一种比较典型的三维信标可以设计为包括四个球体，第一球体1的中心与第四球体4的中心之间的连线与第二球体2、第三球体3和第四球体4的中心所在的平面垂直，第二球体2的中心与第四球体4的中心之间的连线与第三球体3的中心与第四球体4的中心之间的连线垂直，第二球体2、第三球体3和第四球体4的底部位于一个平板6上，所述平板上的任一区域5存在信息编码；所述第一球体1可通过旋转放置在与所述平板接触的位置7。在不使用三维信标时，第一球体可通过旋转放置在与平板接触的位置，减少存放三维信标时占用的空间，以便于存放。
其中，四个球体的反光率低于设定阈值，以避免在目标图像上因球体反光而产生反光点，从而提高对三维信标的形状信息进行识别时的识别率。信息编码还携带有三维信标的用途信息。用途信息可以用于让使用者确定该三维信标可适用的场景或工作面等。
结构信息可以包括三维信标的坐标系模式，坐标系模式包括左手坐标系、右手坐标系，在对机械臂进行控制时，需要用三维坐标系对机械臂进行描述，当机械臂的坐标系模式为右手坐标系，则三维信标也应选用右手坐标系，当机械臂的坐标系模式为左手坐标系，则三维信标也应选用左手坐标系，若坐标系间存在不匹配，则会出现调整后，机械臂末端无法达到预期调整目的的异常情况。在从信息编码中提取到三维信标的坐标系模式后，可以先判断三维信标的坐标系模式与机械臂的坐标系模式是否一致，若不一致，则提示机械臂的使用者三维信标的坐标系模式选用错误，需要更换三维信标。
依据本申请实施例，通过获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，三维信标放置在工作面上，三维信标中包括存在信息编码的区域，从信息编码中提取三维信标的结构信息，识别三维信标在目标图像上的形状信息，根据结构信息和形状信息，确定机械臂末端相对于工作面的第一位姿数据，基于第一位姿数据，调整机械臂末端至目标位姿，从而可以使用三维信标方便且准确的得到机械臂末端相对于工作面的位姿，可以根据工作面的位姿进行灵活调整，而且机械臂末端的操作流畅性高，提高机械臂末端的控制精度。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图8为本申请实施例提供的一种电子设备的结构框图。如图8所示，该电子设备800可以包括一个或多个处理器801以及与处理器801连接的一个或多个存储器802。电子设备800还可以包括输入接口803和输出接口804，用于与另一装置或系统进行通信。被处理器801的CPU执行的程序代码可存储在存储器802中。
电子设备800中的处理器801调用存储在存储器802的程序代码，以执行上述实施例中的机械臂末端调整方法。
处理器为上述服务器的控制中心，并提供处理装置，用于执行指令，进行中断操作，提供计时功能以及多种其他功能。处理器可为单核(单CPU)处理器或多核(多CPU)处理器。除非另有声明，描述为用于执行任务的例如处理器或存储器的部件可实现为通用部件，其暂时用于在给定时间执行任务，或实现为专门制造用于执行该任务的特定部件。此处所用的术语“处理器”指一个或多个装置，电路和/或处理核，用于处理数据，例如计算机程序指令。
上述服务器中的上述元件可通过总线彼此连接，总线例如数据总线、地址总线、控制总线、扩展总线和局部总线之一或其任意组合。
根据本申请的一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，存储介质可以是只读存储器(Read-Only Memory，ROM)，或是可读写的，例如硬盘、闪存。所述计算机程序被处理器执行时实现前述实施例的机械臂末端调整方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种机械臂末端调整方法、装置、系统、电子设备及介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种机械臂末端调整方法，其特征在于，所述方法包括：
获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域；
从所述信息编码中提取所述三维信标的结构信息；
识别所述三维信标在所述目标图像上的形状信息；
根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据；
基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
2.根据权利要求1所述的方法，其特征在于，所述三维信标包括至少四个几何体，所述结构信息包括所述至少四个几何体中每个几何体的中心在三维坐标系中的物理坐标；所述形状信息包括所述至少四个几何体中每个几何体在所述目标图像上的中心位置信息；
所述根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据，包括：
获取所述图像采集器相对于所述机械臂末端的第二位姿数据，以及所述三维信标相对于所述工作面的第三位姿数据；
根据所述第二位姿数据、第三位姿数据、物理坐标和中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据。
3.根据权利要求2所述的方法，其特征在于，所述第二位姿数据包括所述机械臂末端坐标系与图像采集器坐标系之间的第二坐标转换关系，所述第三位姿数据包括所述三维信标坐标系与所述工作面坐标系之间的第三坐标转换关系，所述根据所述第二位姿数据、第三位姿数据、物理坐标和中心位置信息，确定所述机械臂末端相对于所述工作面的第一位姿数据，包括：
根据所述物理坐标和中心位置信息，计算所述图像采集器坐标系与三维信标坐标系之间的第四坐标转换关系；
根据所述第二坐标转换关系、第三坐标转换关系和第四坐标转换关系，计算所述机械臂末端坐标系与工作面坐标系的第一坐标转换关系，作为所述第一位姿数据。
4.根据权利要求1所述的方法，其特征在于，所述三维信标包括至少四个几何体，所述形状信息包括所述至少四个几何体中每个几何体在所述目标图像上的中心位置信息，所述识别所述三维信标在所述目标图像上的形状信息，包括：
识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息；
根据所述中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到边缘点信息；
根据所述边缘点信息，对所述中心位置信息和尺寸信息进行修正；
根据修正后的中心位置信息和尺寸信息，查找所述至少四个几何体中每个几何体在所述目标图像中的边缘点，得到修正后的边缘点信息；
根据修正后的边缘点信息，对所述修正后的中心位置信息和修正后的尺寸信息进行修正；
迭代执行直至达到设定次数，得到最后一次修正后的所述至少四个几何体中每个几何体的中心位置信息。
5.根据权利要求4所述的方法，其特征在于，所述识别所述至少四个几何体中每个几何体在所述目标图像中的中心位置信息和尺寸信息，包括以下至少一种：
检测所述目标图像中与几何体的形状匹配的连通区域，确定所述连通区域的所述中心位置信息和尺寸信息；
或，采用支持缩放的几何体模板匹配所述目标图像上的所述至少四个几何体中的每个几何体，得到所述每个几何体的所述中心位置信息和尺寸信息；
或，根据所述目标图像中点与线的对偶性识别所述至少四个几何体中的每个几何体，得到所述至少四个几何体中每个几何体的所述中心位置信息和尺寸信息。
6.根据权利要求5所述的方法，其特征在于，在所述采用支持缩放的几何体模板匹配所述目标图像上的所述至少四个几何体中的每个几何体，得到所述每个几何体的所述中心位置信息和尺寸信息之前，所述方法还包括：
从所述信息编码中提取所述支持缩放的几何体模板的索引信息；
根据所述索引信息，查找所述支持缩放的几何体模板。
7.根据权利要求1所述的方法，其特征在于，在所述基于所述第一位姿数据，调整所述机械臂末端至目标位姿之前，所述方法还包括：
从所述信息编码中提取所述目标位姿对应的目标数据；
所述基于所述第一位姿数据，调整所述机械臂末端至目标位姿包括：
根据所述第一位姿数据和目标数据，生成所述机械臂末端的调整指令；
按照所述调整指令，调整所述机械臂末端至所述目标位姿。
8.一种机械臂末端调整装置，其特征在于，所述装置包括：
图像获取模块，用于获取机械臂末端上的图像采集器采集的三维信标的目标图像，其中，所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域；
信息提取模块，用于从所述信息编码中提取所述三维信标的结构信息；
信息识别模块，用于识别所述三维信标在所述目标图像上的形状信息；
位姿确定模块，用于根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据；
位姿调整模块，用于基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
9.一种机械臂末端调整系统，其特征在于，所述系统包括：机械臂，机械臂末端上的图像采集器，三维信标；
所述三维信标放置在工作面上，所述三维信标中包括存在信息编码的区域；
所述图像采集器用于采集所述三维信标的目标图像；
所述机械臂用于从所述信息编码中提取所述三维信标的结构信息；识别所述三维信标在所述目标图像上的形状信息；根据所述结构信息和形状信息，确定所述机械臂末端相对于所述工作面的第一位姿数据；基于所述第一位姿数据，调整所述机械臂末端至目标位姿。
10.根据权利要求9所述的系统，其特征在于，所述三维信标包括至少四个几何体，所述至少四个几何体的中心不都在同一平面上；所述信息编码位于所述至少四个几何体中的三个几何体的底部所在平面上的任一区域。
11.根据权利要求10所述的系统，其特征在于，所述三维信标包括四个几何体，第一几何体的中心与第四几何体的中心之间的连线与第二几何体、第三几何体和第四几何体的中心所在的平面垂直，第二几何体的中心与第四几何体的中心之间的连线与第三几何体的中心与第四几何体的中心之间的连线垂直；所述第二几何体、第三几何体和第四几何体的底部位于一个平板上，所述平板与所述工作面接触；在不使用所述三维信标时，所述第一几何体可通过旋转放置在与所述平板接触的位置。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7一个或多个的方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7一个或多个的方法。
CN201911168958.0A 2019-11-25 2019-11-25 机械臂末端调整方法、装置、系统、设备及介质 Pending CN112836558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911168958.0A CN112836558A (zh) 2019-11-25 2019-11-25 机械臂末端调整方法、装置、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168958.0A CN112836558A (zh) 2019-11-25 2019-11-25 机械臂末端调整方法、装置、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN112836558A true CN112836558A (zh) 2021-05-25

Family

ID=75922999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168958.0A Pending CN112836558A (zh) 2019-11-25 2019-11-25 机械臂末端调整方法、装置、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN112836558A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114083532A (zh) * 2021-11-09 2022-02-25 广州富港生活智能科技有限公司 一种机械臂控制方法及装置
CN114199130A (zh) * 2021-12-13 2022-03-18 江西边际科技有限公司 一种惯性位姿自调节矫正的光学信息特征提取设备
CN114523471A (zh) * 2022-01-07 2022-05-24 中国人民解放军海军军医大学第一附属医院 基于关联标识的误差检测方法及机器人系统
CN114536399A (zh) * 2022-01-07 2022-05-27 中国人民解放军海军军医大学第一附属医院 基于多个位姿标识的误差检测方法及机器人系统
CN114750153A (zh) * 2022-04-13 2022-07-15 上海电气集团股份有限公司 机器人机械臂的运动控制系统、协作机器人及存储介质
CN115589531A (zh) * 2022-09-13 2023-01-10 深圳市拓普智造科技有限公司 目标场景的拍摄方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN108748081A (zh) * 2018-07-09 2018-11-06 薛敏强 一种标记识别无轨转料机械臂及其工作方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统
CN110298878A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种目标物体三维位姿的确定方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793936A (zh) * 2012-10-31 2014-05-14 波音公司 用于增强现实的自动化参考框架校准
CN110298878A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 一种目标物体三维位姿的确定方法、装置及电子设备
CN108748081A (zh) * 2018-07-09 2018-11-06 薛敏强 一种标记识别无轨转料机械臂及其工作方法
CN109658460A (zh) * 2018-12-11 2019-04-19 北京无线电测量研究所 一种机械臂末端相机手眼标定方法和系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114083532A (zh) * 2021-11-09 2022-02-25 广州富港生活智能科技有限公司 一种机械臂控制方法及装置
CN114199130A (zh) * 2021-12-13 2022-03-18 江西边际科技有限公司 一种惯性位姿自调节矫正的光学信息特征提取设备
CN114199130B (zh) * 2021-12-13 2023-06-06 江西边际科技有限公司 一种惯性位姿自调节矫正的光学信息特征提取设备
CN114523471A (zh) * 2022-01-07 2022-05-24 中国人民解放军海军军医大学第一附属医院 基于关联标识的误差检测方法及机器人系统
CN114536399A (zh) * 2022-01-07 2022-05-27 中国人民解放军海军军医大学第一附属医院 基于多个位姿标识的误差检测方法及机器人系统
CN114536399B (zh) * 2022-01-07 2023-04-25 中国人民解放军海军军医大学第一附属医院 基于多个位姿标识的误差检测方法及机器人系统
CN114750153A (zh) * 2022-04-13 2022-07-15 上海电气集团股份有限公司 机器人机械臂的运动控制系统、协作机器人及存储介质
CN114750153B (zh) * 2022-04-13 2024-03-19 上海电气集团股份有限公司 机器人机械臂的运动控制系统、协作机器人及存储介质
CN115589531A (zh) * 2022-09-13 2023-01-10 深圳市拓普智造科技有限公司 目标场景的拍摄方法、系统及存储介质
CN115589531B (zh) * 2022-09-13 2023-10-20 深圳市拓普智造科技有限公司 目标场景的拍摄方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN112836558A (zh) 机械臂末端调整方法、装置、系统、设备及介质
JP5863440B2 (ja) 情報処理装置および方法
JP5393531B2 (ja) 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN112837371A (zh) 基于3d匹配的物体抓取方法、装置及计算设备
CN113042939B (zh) 基于三维视觉信息的工件焊缝定位方法及系统
CN110246127A (zh) 基于深度相机的工件识别与定位方法和系统、分拣系统
JP4709668B2 (ja) ３次元物体認識システム
US11625842B2 (en) Image processing apparatus and image processing method
CN110930442B (zh) 基于标定块的机器人手眼标定中关键点位置确定方法与装置
JP2018136896A (ja) 情報処理装置、システム、情報処理方法、および物品の製造方法
CN112801977B (zh) 一种基于深度学习的装配体零件相对位姿估计监测方法
CN112907683B (zh) 一种点胶平台的相机标定方法、装置及相关设备
CN104460505A (zh) 工业机器人相对位姿估计方法
US10591289B2 (en) Method for measuring an artefact
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
JP2018169660A (ja) オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム
CN110298879B (zh) 一种待抓取物体位姿的确定方法、装置及电子设备
CN113172636B (zh) 一种自动手眼标定方法、装置及存储介质
CN111767912B (zh) 标记点识别方法、装置、设备和存储介质
JP6863946B2 (ja) 画像処理装置
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
JP2019105588A (ja) 情報処理装置、システム、情報処理方法及びプログラム
CN116523984B (zh) 一种3d点云定位及配准方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310052 5 / F, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information