CN112164112A - 一种获取机械臂位姿信息的方法及装置 - Google Patents
一种获取机械臂位姿信息的方法及装置 Download PDFInfo
- Publication number
- CN112164112A CN112164112A CN202010961067.7A CN202010961067A CN112164112A CN 112164112 A CN112164112 A CN 112164112A CN 202010961067 A CN202010961067 A CN 202010961067A CN 112164112 A CN112164112 A CN 112164112A
- Authority
- CN
- China
- Prior art keywords
- information
- acquiring
- target object
- image
- position related
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 27
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种获取机械臂位姿信息的方法及装置，用以实现建立图像坐标与机械臂位姿信息的对应关系，以便在实际运行过程中较快速的获得机械臂位姿信息。所述方法，包括：获取包括目标物体的图像；其中，由机械臂抓持所述目标物体；对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息；获取机械臂的位姿信息；建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
Description
技术领域
本发明涉及计算机及通信技术领域，特别涉及一种获取机械臂位姿信息的方法及装置。
背景技术
随着人工智能技术的发展，机器人和机械臂技术发展迅速。机械臂可以较好的模拟人类行为，代替人类完成一些工作。摄像头相当于机械臂的眼睛，机械臂在工作过程中要依赖摄像头拍摄到的图像。根据目标物体在图像中的位置得到该目标物体在实际场景中的位置，进而计算得到机械臂的位姿信息，机械臂采用该位姿信息抓取目标物体。但是，上述过程计算量较大，且可能存在较大误差。对机械臂的实际运行造成影响。
发明内容
本发明提供一种获取机械臂位姿信息的方法及装置，用以实现建立图像坐标与机械臂位姿信息的对应关系，以便在实际运行过程中较快速的获得机械臂位姿信息。
本发明提供一种获取机械臂位姿信息的方法，包括：
获取包括目标物体的图像；其中，由机械臂抓持所述目标物体；
对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息；
获取机械臂的位姿信息；
建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例建立了所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系，在建立对应关系的过程中，大幅度减少了计算量。并且使得在使用过程中查找对应关系即可，也大幅度减少了计算量，获取结果更快捷。
可选的，所述方法至少还包括下列之一：
控制机械臂更换所述目标物体；
控制机械臂按照预设的角度步长旋转所述目标物体；
控制机械臂按照预设的距离步长和方向移动所述目标物体；
以及
再次获取包括目标物体的图像，直至建立图像特征信息和位置相关信息、与位姿信息的对应关系。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例遍历各种目标物体，遍历多个角度，遍历多个位置，使对应关系尽可能详细。有助于在使用过程中获取到的机械臂的位姿信息更准确。
可选的，位置相关信息至少包括下列之一：所述目标物体的位置坐标信息和所述目标物体的区域坐标信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例用多种坐标信息来表征目标物体的位置，尽可能使位置定位简单且准确。
本发明提供一种获取机械臂位姿信息的方法，包括：
获取包括目标物体的图像；
对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息；
将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系；
获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例通过查找对应关系即可获得机械臂的位姿信息，大幅度减少了计算量。
可选的，所述将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配，包括：
获取所述第一图像特征信息与已有的对应关系中的第二图像特征信息的第一匹配度；
获取所述第一位置相关信息与已有的对应关系中的第二位置相关信息的第二匹配度；
对所述第一匹配度和所述第二匹配度进行加权求和，得到和值；
所述获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息，包括：
根据所述和值，获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例提供了获取最优匹配结果的匹配过程。
可选的，所述方法还包括：
根据所述第一图像特征信息和所述第一位置相关信息、及最优匹配结果的第二图像特征信息和第二位置相关信息，计算得到第一偏移量；
根据所述第一偏移量、和最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息，计算得到最终的位姿信息。
本发明的实施例提供的技术方案可以包括以下有益效果：本实施例通过计算偏移量实现了对位姿信息的修正，使结果更准确。
本发明提供一种获取机械臂位姿信息的装置，包括：
第一获取模块，用于获取包括目标物体的图像；其中，由机械臂抓持所述目标物体；
识别模块，用于对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息；
第二获取模块，用于获取机械臂的位姿信息；
建立模块，用于建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
可选的，所述装置至少还包括下列之一：
更换模块，用于控制机械臂更换所述目标物体；
旋转模块，用于控制机械臂按照预设的角度步长旋转所述目标物体；
移动模块，用于控制机械臂按照预设的距离步长和方向移动所述目标物体；
以及
遍历控制模块，用于控制第一获取模块、识别模块、第二获取模块和建立模块，以便再次获取包括目标物体的图像，直至建立图像特征信息和位置相关信息、与位姿信息的对应关系。
可选的，位置相关信息至少包括下列之一：所述目标物体的位置坐标信息和所述目标物体的区域坐标信息。
本发明提供一种获取机械臂位姿信息的装置，包括：
获取模块，用于获取包括目标物体的图像；
识别模块，用于对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息；
匹配模块，用于将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系；
查找模块，用于获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
可选的，所述匹配模块包括：
第一匹配子模块，用于获取所述第一图像特征信息与已有的对应关系中的第二图像特征信息的第一匹配度；
第二匹配子模块，用于获取所述第一位置相关信息与已有的对应关系中的第二位置相关信息的第二匹配度；
求和子模块，用于对所述第一匹配度和所述第二匹配度进行加权求和，得到和值；
所述查找模块包括：
查找子模块，用于根据所述和值，获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
可选的，所述装置还包括：
第一计算模块，用于根据所述第一图像特征信息和所述第一位置相关信息、及最优匹配结果的第二图像特征信息和第二位置相关信息，计算得到第一偏移量；
第二计算模块，用于根据所述第一偏移量、和最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息，计算得到最终的位姿信息。
本发明提供一种获取机械臂位姿信息的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取包括目标物体的图像；其中，由机械臂抓持所述目标物体；
对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息；
获取机械臂的位姿信息；
建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
本发明提供一种获取机械臂位姿信息的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取包括目标物体的图像；
对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息；
将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系；
获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
本发明提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现所述第一套方法的步骤。
本发明提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现所述第二套方法的步骤。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中获取机械臂位姿信息的方法流程图；
图2为本发明实施例中获取机械臂位姿信息的方法流程图；
图3为本发明实施例中获取机械臂位姿信息的方法流程图；
图4为本发明实施例中获取机械臂位姿信息的方法流程图；
图5为本发明实施例中获取机械臂位姿信息的装置结构图；
图6为本发明实施例中获取机械臂位姿信息的装置结构图；
图7为本发明实施例中获取机械臂位姿信息的装置结构图；
图8为本发明实施例中匹配模块的结构图；
图9为本发明实施例中查找模块的结构图；
图10为本发明实施例中获取机械臂位姿信息的装置结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
相关技术中，摄像头相当于机械臂的眼睛，机械臂在工作过程中要依赖摄像头拍摄到的图像。需要预先标定拍摄装置的内参和外参，以及通过手眼标定的方式获得图像坐标系与实际场景坐标系的对应关系。上述准备工作比较耗费人力。在做好上述准备工作后，可以对目标物体进行拍摄，得到目标物体在图像坐标系中的位置，将该位置换算为实际场景中的位置。再根据该位置与机械臂底座的位置关系，利用机械臂运动反解算法计算出机械臂的位姿信息。机械臂采用该位姿信息抓取目标物体。但是，上述过程计算量较大，且可能存在较大误差。对机械臂的实际运行造成影响。
为解决上述问题，本实施例建立了目标物体的图像特征、在图像坐标系中的位置与机械臂的位姿信息的对应关系，减少了中间的坐标换算和计算过程。在实际使用过程中查询对应关系即可，同样减少了中间的坐标换算和计算过程，获取位姿信息更快捷。
参见图1，本实施例中获取机械臂位姿信息的方法包括：
步骤101：获取包括目标物体的图像；其中，由机械臂抓持所述目标物体。
步骤102：对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息。
步骤103：获取机械臂的位姿信息。
步骤104：建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
其中，步骤101和步骤102，相对于步骤103是两个彼此独立的过程，可以同步进行。
本实施例可以由机械臂控制系统实现。机械臂控制系统从拍摄装置处获得针对目标物体的图像。拍摄装置在拍摄目标物体时，目标物体置于习惯放置的位置处，机械臂的夹爪与目标物体的抓取点接触，相当于机械臂刚刚抓取目标物体，但是不需要移动目标物体。即，机械臂控制系统控制机械臂抓取目标物体，同时控制拍摄装置进行拍摄。
图像坐标系一般是以图像的左上角像素点作为原点。通过对图像的识别，可获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息。图像特征信息可以包括颜色、亮度、纹理、轮廓等特征信息。该图像特征信息可以是目标物体的一些典型局部特征的特征信息，例如目标物体是商标“info”字样，图像特征信息可以是字母“i”的方向，字母“n”的开口方向等。目标物体可以是完整的物体，也可以是某物体的局部，具有典型特征的局部。例如，可以是物体包装上的商标等。所以，本实施例获取较少的图像特征信息即可，降级了图像识别的计算量。
由于当前机械臂的夹爪正在保持抓取目标物体的状态，并且是稳定状态，所以机械臂控制系统可以直接获取机械臂当前的位姿信息，该位姿信息是一个准确的信息，不是通过计算得出的。即使机械臂在长期使用后发生形变等情况，该位姿信息对于机械臂来说仍然是一个准确的信息，相比于计算方式得到的位姿信息更准确，鲁棒性更好。
本实施例建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系，使得在实际应用中查询该对应关系即可，大幅度降低了计算量。并且，通过查询该对应关系即可获得机械臂的位姿信息，本需要预先知道拍摄装置的安装位置，也不需要知道机械臂底座的安装位置，更不需要进行坐标系的位置换算，鲁邦性较好。在机械臂初始安装后，可实施本实施例，使机械臂控制系统认识周围环境，也是对周围环境的学习。
可选的，所述方法至少还包括下列之一：步骤A1-步骤A3，以及包括步骤A4。
步骤A1：控制机械臂更换所述目标物体。
步骤A2：控制机械臂按照预设的角度步长旋转所述目标物体。
步骤A3：控制机械臂按照预设的距离步长和方向移动所述目标物体。
步骤A4：再次获取包括目标物体的图像，直至建立图像特征信息和位置相关信息、与位姿信息的对应关系。
本实施例可以在更换目标物体后再次实现上述过程，以建立对应关系。机械臂控制系统可以控制机械臂更换目标物体，遍历周围环境中所有可能需要抓取的目标物体。更换目标物体时，可以不移动目标物体，移动机械臂即可。
本实施例可以在不改变目标物体的位置的情况下，旋转目标物体，以便拍摄到目标物体多个角度的图像，以及确定目标物体在多个角度下机械臂的位姿信息。预设的角度步长越小(如1、2度)，得到的对应关系越多，在后续匹配和查询对应关系时，获得的位姿信息越准确。机械臂控制系统控制机械臂旋转所述目标物体，旋转的范围不超过目标物体在实际使用过程中可能的旋转范围。例如，目标物体是碗，其旋转范围是360度。又如，目标物体是有长把手的锅，其旋转范围可能是180度。在该旋转范围内，按照角度步长进行遍历，获得在各个角度下的对应关系。
本实施例可以改变目标物体在实际场景中的位置，在目标物体可能的放置区域内改变目标物体的位置，例如在放置区域内从左到右、从上到下按照预设距离步长可以改变目标物体的位置。直至遍历整个放置区域。距离步长越小，得到的对应关系越多，在后续匹配和查询对应关系时，获得的位姿信息越准确。
本实施例可以在一个位置上遍历目标物体的各个旋转角度，角度遍历结束后，改变目标物体的位置，在新的位置上再次进行角度遍历，直至完成位置遍历，实现建立关于该目标物体的对应关系。更换目标物体，再次重复上述过程，直至遍历所有可能的目标物体。
本实施例可以采用哈希等算法建立对应关系。
可选的，位置相关信息至少包括下列之一：所述目标物体的位置坐标信息和所述目标物体的区域坐标信息。
本实施例中目标物体的位置坐标信息可以是目标物体的几何中心的坐标，也可以是目标物体的重心的坐标，也可以目标物体某个明显特征点的坐标。所述目标物体的区域坐标信息可以是目标物体的一个大致区域，例如采用包围目标物体的最小方形区域，这样可以不用关心目标物体的详细轮廓，降低图像识别的计算量。区域坐标信息可以表示为(x，y，w，h)，其中(x，y)为区域左上角一点的坐标，w表示区域的宽度，h表示区域的高度。
本实施例可以通过所述目标物体的位置坐标信息和所述目标物体的区域坐标信息，来表征目标物体的位置。可降低后续查询对应关系时匹配的计算量。
本实施例可以针对不同位置的拍摄装置和各个机械臂，重复上述过程，建立更详细的对应关系。
下面通过实施例详细介绍实现过程。
参见图2，本实施例中获取机械臂位姿信息的方法包括：
步骤201：获取包括目标物体的图像；其中，由机械臂抓持所述目标物体。
步骤202：对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息。
步骤203：获取机械臂的位姿信息。
步骤204：建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
步骤205：更改旋转角度、位置或目标物体后，再次执行步骤201-204，直至遍历结束。
以上介绍了建立对应关系的过程，下面介绍对应关系的使用过程。
参见图3，本实施例中获取机械臂位姿信息的方法包括：
步骤301：获取包括目标物体的图像。
步骤302：对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息。
步骤303：将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系。
步骤304：获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
本实施例是实际应用的过程。机械臂控制系统从拍摄装置处获得针对目标物体的图像。对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息。本实施例可以参考前面对于步骤102的描述，可以识别目标物体的一些典型特征以及位置坐标信息和区域坐标信息，大幅度降低了识别的计算量，以及有助于降低后续匹配的计算量。
将当前识别获得的第一图像特征信息和第一位置相关信息，与对应关系中的第二图像特征信息和第二位置相关信息进行匹配。通过前面实施例的介绍可知，对应关系中有很多与第一图像特征信息和第一位置相关信息近似的第二图像特征信息和第二位置相关信息，所以选取最优解，也就是选择近似程度最高的第二图像特征信息和第二位置相关信息，获取对应的位姿信息，按照该位姿信息可知机械臂，便可实现对目标物体的夹取。其中，最佳情况是找到与第一图像特征信息和第一位置相关信息完全匹配的第二图像特征信息和第二位置相关信息，那么获取到的位姿信息就是最准确的位姿信息。但是，由于是按照预设角度步长和距离步长遍历得到的对应关系，所以第一图像特征信息和第一位置相关信息与第二图像特征信息和第二位置相关信息可能不完全匹配，得到的位姿信息与最准确的位姿信息存在少许差距，机械臂本身具有一定的容错范围，所以少许差距不影响机械臂成功抓取到目标物体。
本实施例通过图像特征匹配和对应关系的查询便可获得机械臂的位姿信息，大幅度较低了计算量，获得位姿信息更快捷，并且得到的位姿信息的准确度较高。
可选的，所述步骤303包括：步骤B1-步骤B3。
步骤B1：获取所述第一图像特征信息与已有的对应关系中的第二图像特征信息的第一匹配度。
步骤B2：获取所述第一位置相关信息与已有的对应关系中的第二位置相关信息的第二匹配度。
步骤B3：对所述第一匹配度和所述第二匹配度进行加权求和，得到和值。
所述步骤304包括：
步骤B4：根据所述和值，获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
本实施例中的第一匹配度可以表现在旋转偏移量，第一匹配度越高，旋转偏移量越小。第二匹配度可以表现在距离偏移量，第二匹配度越高，距离偏移量越小。将所述第一匹配度和所述第二匹配度进行加权求和，可以得到针对一条对应关系的匹配度。根据所有对应关系的匹配度，得到最优解，也就是确定匹配度最高的一条对应关系，从该对应关系中获取位姿信息。根据该位姿信息控制机械臂，便可实现对目标物体的抓取。
可选的，所述方法还包括：步骤C1-步骤C2。
步骤C1：根据所述第一图像特征信息和所述第一位置相关信息、及最优匹配结果的第二图像特征信息和第二位置相关信息，计算得到第一偏移量。
步骤C2：根据所述第一偏移量、和最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息，计算得到最终的位姿信息。
本实施例中，前期可以建立尽可能全面、详细的对应关系，但是仍然存在所述第一图像特征信息和所述第一位置相关信息，与第二图像特征信息和第二位置相关信息不完全匹配的可能。本实施例通过计算所述第一图像特征信息和所述第一位置相关信息、与最优匹配结果的第二图像特征信息和第二位置之间的第一偏移量，进而推算出位姿信息的偏移量，据此校正最优解中的位姿信息，得到更为准确的位姿信息，提高机械臂的抓取成功率。
下面通过实施例详细介绍实现过程。
参见图4，本实施例中获取机械臂位姿信息的方法包括：
步骤401：获取包括目标物体的图像。
步骤402：对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息。
步骤403：获取所述第一图像特征信息与已有的对应关系中的第二图像特征信息的第一匹配度。
步骤404：获取所述第一位置相关信息与已有的对应关系中的第二位置相关信息的第二匹配度。
其中，步骤403与步骤404是两个相对独立的过程，可以同步进行。
步骤405：对所述第一匹配度和所述第二匹配度进行加权求和，得到和值。
步骤406：根据所述和值，获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
上述实施例可根据实际需要进行自由组合。
通过以上描述介绍了获取机械臂位姿信息的实现过程，该过程可由装置实现，下面对该装置的内部结构和功能进行介绍。
参见图5，本实施例中获取机械臂位姿信息的装置包括：第一获取模块501、识别模块502、第二获取模块503和建立模块504。
第一获取模块501，用于获取包括目标物体的图像；其中，由机械臂抓持所述目标物体。
识别模块502，用于对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息。
第二获取模块503，用于获取机械臂的位姿信息。
建立模块504，用于建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
可选的，如图6所示，所述装置至少还包括下列之一：更换模块601、旋转模块602和移动模块603，以及包括遍历控制模块604。
更换模块601，用于控制机械臂更换所述目标物体。
旋转模块602，用于控制机械臂按照预设的角度步长旋转所述目标物体。
移动模块603，用于控制机械臂按照预设的距离步长和方向移动所述目标物体。
遍历控制模块604，用于控制第一获取模块、识别模块、第二获取模块和建立模块，以便再次获取包括目标物体的图像，直至建立图像特征信息和位置相关信息、与位姿信息的对应关系。
可选的，位置相关信息至少包括下列之一：所述目标物体的位置坐标信息和所述目标物体的区域坐标信息。
参见图7，本实施例中获取机械臂位姿信息的装置包括：获取模块701、识别模块702、匹配模块703和查找模块704。
获取模块701，用于获取包括目标物体的图像。
识别模块702，用于对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息。
匹配模块703，用于将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系。
查找模块704，用于获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
可选的，如图8所示，所述匹配模块703包括：第一匹配子模块801、第二匹配子模块802和求和子模块803。
第一匹配子模块801，用于获取所述第一图像特征信息与已有的对应关系中的第二图像特征信息的第一匹配度。
第二匹配子模块802，用于获取所述第一位置相关信息与已有的对应关系中的第二位置相关信息的第二匹配度。
求和子模块803，用于对所述第一匹配度和所述第二匹配度进行加权求和，得到和值。
如图9所示，所述查找模块704包括：查找子模块901。
查找子模块901，用于根据所述和值，获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
可选的，如图10所示，所述装置还包括：第一计算模块1001和第二计算模块1002。
第一计算模块1001，用于根据所述第一图像特征信息和所述第一位置相关信息、及最优匹配结果的第二图像特征信息和第二位置相关信息，计算得到第一偏移量。
第二计算模块1002，用于根据所述第一偏移量、和最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息，计算得到最终的位姿信息。
一种获取机械臂位姿信息的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取包括目标物体的图像；其中，由机械臂抓持所述目标物体；
对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息；
获取机械臂的位姿信息；
建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
一种获取机械臂位姿信息的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取包括目标物体的图像；
对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息；
将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系；
获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现建立对应关系的方法的步骤。
一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时实现应用对应关系的方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (16)
1.一种获取机械臂位姿信息的方法，其特征在于，包括：
获取包括目标物体的图像；其中，由机械臂抓持所述目标物体；
对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息；
获取机械臂的位姿信息；
建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
2.如权利要求1所述的方法，其特征在于，所述方法至少还包括下列之一：
控制机械臂更换所述目标物体；
控制机械臂按照预设的角度步长旋转所述目标物体；
控制机械臂按照预设的距离步长和方向移动所述目标物体；
以及
再次获取包括目标物体的图像，直至建立图像特征信息和位置相关信息、与位姿信息的对应关系。
3.如权利要求1所述的方法，其特征在于，位置相关信息至少包括下列之一：所述目标物体的位置坐标信息和所述目标物体的区域坐标信息。
4.一种获取机械臂位姿信息的方法，其特征在于，包括：
获取包括目标物体的图像；
对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息；
将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系；
获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
5.如权利要求4所述的方法，其特征在于，所述将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配，包括：
获取所述第一图像特征信息与已有的对应关系中的第二图像特征信息的第一匹配度；
获取所述第一位置相关信息与已有的对应关系中的第二位置相关信息的第二匹配度；
对所述第一匹配度和所述第二匹配度进行加权求和，得到和值；
所述获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息，包括：
根据所述和值，获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
6.如权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述第一图像特征信息和所述第一位置相关信息、及最优匹配结果的第二图像特征信息和第二位置相关信息，计算得到第一偏移量；
根据所述第一偏移量、和最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息，计算得到最终的位姿信息。
7.一种获取机械臂位姿信息的装置，其特征在于，包括：
第一获取模块，用于获取包括目标物体的图像；其中，由机械臂抓持所述目标物体；
识别模块，用于对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息；
第二获取模块，用于获取机械臂的位姿信息；
建立模块，用于建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
8.如权利要求7所述的装置，其特征在于，所述装置至少还包括下列之一：
更换模块，用于控制机械臂更换所述目标物体；
旋转模块，用于控制机械臂按照预设的角度步长旋转所述目标物体；
移动模块，用于控制机械臂按照预设的距离步长和方向移动所述目标物体；
以及
遍历控制模块，用于控制第一获取模块、识别模块、第二获取模块和建立模块，以便再次获取包括目标物体的图像，直至建立图像特征信息和位置相关信息、与位姿信息的对应关系。
9.如权利要求7所述的装置，其特征在于，位置相关信息至少包括下列之一：所述目标物体的位置坐标信息和所述目标物体的区域坐标信息。
10.一种获取机械臂位姿信息的装置，其特征在于，包括：
获取模块，用于获取包括目标物体的图像；
识别模块，用于对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息；
匹配模块，用于将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系；
查找模块，用于获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
11.如权利要求10所述的装置，其特征在于，所述匹配模块包括：
第一匹配子模块，用于获取所述第一图像特征信息与已有的对应关系中的第二图像特征信息的第一匹配度；
第二匹配子模块，用于获取所述第一位置相关信息与已有的对应关系中的第二位置相关信息的第二匹配度；
求和子模块，用于对所述第一匹配度和所述第二匹配度进行加权求和，得到和值；
所述查找模块包括：
查找子模块，用于根据所述和值，获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
12.如权利要求10所述的装置，其特征在于，所述装置还包括：
第一计算模块，用于根据所述第一图像特征信息和所述第一位置相关信息、及最优匹配结果的第二图像特征信息和第二位置相关信息，计算得到第一偏移量；
第二计算模块，用于根据所述第一偏移量、和最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息，计算得到最终的位姿信息。
13.一种获取机械臂位姿信息的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取包括目标物体的图像；其中，由机械臂抓持所述目标物体；
对所述图像进行识别，获取所述目标物体的图像特征信息和在图像坐标系中的位置相关信息；
获取机械臂的位姿信息；
建立所述图像特征信息和所述位置相关信息、与所述位姿信息的对应关系。
14.一种获取机械臂位姿信息的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取包括目标物体的图像；
对所述图像进行识别，获取所述目标物体的第一图像特征信息和在图像坐标系中的第一位置相关信息；
将所述第一图像特征信息和所述第一位置相关信息，与已有的对应关系中的第二图像特征信息和第二位置相关信息进行匹配；其中，所述对应关系为图像特征信息和位置相关信息、与位姿信息的对应关系；
获取最优匹配结果的第二图像特征信息和第二位置相关信息对应的机械臂的位姿信息。
15.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求1至3中任一项所述方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时实现权利要求4至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010961067.7A CN112164112B (zh) | 2020-09-14 | 2020-09-14 | 一种获取机械臂位姿信息的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010961067.7A CN112164112B (zh) | 2020-09-14 | 2020-09-14 | 一种获取机械臂位姿信息的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112164112A true CN112164112A (zh) | 2021-01-01 |
| CN112164112B CN112164112B (zh) | 2024-05-17 |
Family
ID=73858004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010961067.7A Active CN112164112B (zh) | 2020-09-14 | 2020-09-14 | 一种获取机械臂位姿信息的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112164112B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113827270A (zh) * | 2021-08-24 | 2021-12-24 | 深圳市德力凯医疗设备股份有限公司 | 指令冲突解决方法、超声设备及计算机可读存储介质 |
| CN114083532A (zh) * | 2021-11-09 | 2022-02-25 | 广州富港生活智能科技有限公司 | 一种机械臂控制方法及装置 |
| CN116979419A (zh) * | 2023-09-12 | 2023-10-31 | 国网江苏省电力有限公司常州供电分公司 | 旁路线缆牵引系统和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
| CN107813313A (zh) * | 2017-12-11 | 2018-03-20 | 南京阿凡达机器人科技有限公司 | 机械臂运动的校正方法和装置 |
| CN110076772A (zh) * | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
| CN111070199A (zh) * | 2018-10-18 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 一种手眼标定评估方法及机器人 |
| CN111168686A (zh) * | 2020-02-25 | 2020-05-19 | 深圳市商汤科技有限公司 | 物体的抓取方法、装置、设备及存储介质 |
| US20200276713A1 (en) * | 2019-02-28 | 2020-09-03 | Intelligrated Headquarters, Llc | Vision calibration system for robotic carton unloading |
-
2020
- 2020-09-14 CN CN202010961067.7A patent/CN112164112B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107767423A (zh) * | 2017-10-10 | 2018-03-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
| CN107813313A (zh) * | 2017-12-11 | 2018-03-20 | 南京阿凡达机器人科技有限公司 | 机械臂运动的校正方法和装置 |
| CN111070199A (zh) * | 2018-10-18 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 一种手眼标定评估方法及机器人 |
| US20200276713A1 (en) * | 2019-02-28 | 2020-09-03 | Intelligrated Headquarters, Llc | Vision calibration system for robotic carton unloading |
| CN110076772A (zh) * | 2019-04-03 | 2019-08-02 | 浙江大华技术股份有限公司 | 一种机械臂的抓取方法及装置 |
| CN111168686A (zh) * | 2020-02-25 | 2020-05-19 | 深圳市商汤科技有限公司 | 物体的抓取方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 蔡晨;魏国亮;: "基于卷积神经网络的改进机械臂抓取方法", 计算机与数字工程, no. 01 * |
| 黎宏久;张志安;朱朔;: "基于视觉的特种机械臂目标识别与定位", 兵工自动化, no. 09 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113827270A (zh) * | 2021-08-24 | 2021-12-24 | 深圳市德力凯医疗设备股份有限公司 | 指令冲突解决方法、超声设备及计算机可读存储介质 |
| CN113827270B (zh) * | 2021-08-24 | 2024-03-12 | 深圳市德力凯医疗设备股份有限公司 | 指令冲突解决方法、超声设备及计算机可读存储介质 |
| CN114083532A (zh) * | 2021-11-09 | 2022-02-25 | 广州富港生活智能科技有限公司 | 一种机械臂控制方法及装置 |
| CN116979419A (zh) * | 2023-09-12 | 2023-10-31 | 国网江苏省电力有限公司常州供电分公司 | 旁路线缆牵引系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112164112B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112164112B (zh) | 一种获取机械臂位姿信息的方法及装置 | |
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| WO2019114339A1 (zh) | 机械臂运动的校正方法和装置 | |
| CN107953329B (zh) | 物体识别和姿态估计方法、装置及机械臂抓取系统 | |
| CN113276106B (zh) | 一种攀爬机器人空间定位方法及空间定位系统 | |
| CN111267095B (zh) | 一种基于双目视觉的机械臂抓取控制方法 | |
| CN108161931A (zh) | 基于视觉的工件自动识别及智能抓取系统 | |
| CN110480637B (zh) | 一种基于Kinect传感器的机械臂零件图像识别抓取方法 | |
| JP3208953B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN111515950B (zh) | 机器人坐标系变换关系确定方法、装置、设备和存储介质 | |
| CN114355953B (zh) | 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统 | |
| CN106595601B (zh) | 一种无需手眼标定的相机六自由度位姿精确重定位方法 | |
| CN113232019A (zh) | 机械臂控制方法、装置、电子设备及存储介质 | |
| Kaymak et al. | Implementation of object detection and recognition algorithms on a robotic arm platform using raspberry pi | |
| CN115213896A (zh) | 基于机械臂的物体抓取方法、系统、设备及存储介质 | |
| CN114347015A (zh) | 一种机器人抓取控制方法、系统、装置及介质 | |
| Ogas et al. | A robotic grasping method using convnets | |
| CN114187312A (zh) | 目标物的抓取方法、装置、系统、存储介质及设备 | |
| CN117340929A (zh) | 一种基于三维点云数据的柔性夹爪抓取处置装置及方法 | |
| CN109816728B (zh) | 基于生成查询网络的机械臂抓取点定位检测的方法 | |
| CN111179342A (zh) | 物体位姿的估计方法、装置、存储介质和机器人 | |
| CN115567781A (zh) | 基于灵巧摄像头的拍摄方法、装置和计算机设备 | |
| CN115533895A (zh) | 一种基于视觉的二指机械手工件抓取方法及系统 | |
| KR20220067719A (ko) | 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법 | |
| CN112233178A (zh) | 基于机器视觉的复杂环境中动态物料测距方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |