CN105835060A - 控制方法、控制装置及机械手系统 - Google Patents

控制方法、控制装置及机械手系统 Download PDF

Info

Publication number
CN105835060A
CN105835060A CN201610346102.8A CN201610346102A CN105835060A CN 105835060 A CN105835060 A CN 105835060A CN 201610346102 A CN201610346102 A CN 201610346102A CN 105835060 A CN105835060 A CN 105835060A
Authority
CN
China
Prior art keywords
image
target object
characteristic
manipulator
characteristic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610346102.8A
Other languages
English (en)
Inventor
吴玉媚
刘志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing United Rio Tinto Technology Co., Ltd.
Original Assignee
Pioneer Intelligent Machinery (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Intelligent Machinery (shenzhen) Co Ltd filed Critical Pioneer Intelligent Machinery (shenzhen) Co Ltd
Priority to CN201610346102.8A priority Critical patent/CN105835060A/zh
Publication of CN105835060A publication Critical patent/CN105835060A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40538—Barcode reader to detect position

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开一种控制方法，用于控制机械手，机械手可抓取目标物体，目标物体包括位于目标物体表面的特征区块。控制方法提供固定设置于机械手的双目摄像头。在机械手与目标物体的距离小于等于预定距离时激活双目摄像头并对其进行校正。然后获取双目摄像头拍摄的目标物体的左图像及右图像，处理左、右图像以获得左、右特征图像。接着匹配左、右特征图像的特征区块区域，根据区块匹配点在匹配好的左、右特征图像的横坐标差值计算区块匹配点的三维坐标。然后根据三维坐标控制机械手抓取目标物体。通过双目摄像头的双图像处理及识别可提高识别目标物体位置的准度及对环境变化的适应性。本发明还公开了一种控制装置及机械手系统。

Description

控制方法、控制装置及机械手系统
技术领域
本发明涉及机械手领域，特别涉及一种控制方法、控制装置及机械手系统。
背景技术
货架上并排放置多个相同的物体时，采用RGB-D传感器判断物体位置的准度较低，且判断准度还易受光照等外部环境的影响。此外，当物体从机械手臂上掉落时RGB-D传感器无法重新获得物体的位置信息，导致机械手不能抓取。
发明内容
本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种控制方法、控制装置及机械手系统。
本发明提供一种控制方法，用于控制机械手，所述机械手用于抓取目标物体，所述目标物体包括位于所述目标物体表面的特征区块；所述控制方法包括：
提供步骤，提供固定设置于所述机械手的双目摄像头，所述双目摄像头包括左摄像头及右摄像头；
距离感测步骤，感测所述机械手与所述目标物体的距离；
激活步骤，在机械手与所述目标物体的距离小于等于预定距离时激活所述双目摄像头从而获取所述目标物体的左预览图像以及右预览图像；
校正步骤，校正所述左预览图像及所述右预览图像以使所述左预览图像及所述右预览图像上对应的标志点具有相同的纵坐标并根据校正结果对应校正所述左摄像头及所述右摄像头的拍摄参数；
获取步骤，获取所述双目摄像头拍摄的所述目标物体的左图像及右图像；
处理步骤，处理所述左图像以获得左特征图像，及处理所述右图像以获得右特征图像，所述左特征图像及所述右特征图像包含所述特征区块对应的特征区块区域；
匹配步骤，匹配所述左特征图像及所述右特征图像的所述特征区块区域；
第一计算步骤，在匹配成功的所述特征区块区域中选取区块匹配点并根据所述区块匹配点在所述左特征图像及所述右特征图像的横坐标差值计算所述区块匹配点的三维坐标；及
抓取控制步骤，根据所述三维坐标控制所述机械手抓取所述目标物体。
采用本发明实施方式的控制方法，可提高识别目标物体位置的准度及对环境变化的适应性，识别的过程不易受环境条件(如光照)的影响。且能实时进行识别从而实时调整机械手的抓取目标位置。例如，若抓取过程中目标物体不慎脱落，可重新确定其位置并重新抓取。综上，可提升机械手系统的智能化水平，减少人工干预，提升抓取效率。解决了现有技术的某些问题。
在某些实施方式中，所述特征区块包括二维码。
在某些实施方式中，所述处理步骤通过对所述左图像及所述右图像进行SIFT处理以获得包含SIFT特征的所述左特征图像及所述右特征图像。
在某些实施方式中，所述处理步骤在所述左图像及所述右图像经SIFT处理后再进行二值化处理以获得所述左特征图像及所述右特征图像。
在某些实施方式中，在所述匹配步骤中，若所述左特征图像及所述右特征图像的所述特征区块区域的对应点的所述纵坐标的差值小于预定值，则判断匹配成功并进入所述第一计算步骤。
在某些实施方式中，所述匹配步骤匹配最左端的所述特征区块区域并相应地进行所述第一计算步骤及所述抓取步骤。
在某些实施方式中，所述目标物体为长方体，所述抓取控制步骤包括：
计算子步骤，根据所述三维坐标计算所述目标物体的角点坐标；及
控制子步骤，根据所述角点坐标控制所述机械手抓取所述目标物体。
本发明还提供一种控制装置，用于控制机械手，
所述机械手用于抓取目标物体，所述目标物体包括位于所述目标物体表面的特征区块；所述控制装置包括：距离感测模块，用于感测所述机械手与所述目标物体的距离；
激活模块，用于在机械手与所述目标物体的距离小于等于预定距离时激活固定设置于所述机械手的双目摄像头从而获取所述目标物体的左预览图像以及右预览图像，所述双目摄像头包括左摄像头及右摄像头；
校正模块，用于校正所述左预览图像及所述右预览图像以使所述左预览图像及所述右预览图像上对应的标志点具有相同的纵坐标并根据校正结果对应校正所述左摄像头及所述右摄像头的拍摄参数；
获取模块，用于获取所述双目摄像头拍摄的所述目标物体的左图像及右图像；
处理模块，用于处理所述左图像以获得左特征图像及用于处理所述右图像以获得右特征图像，所述左特征图像及所述右特征图像包含所述特征区块对应的特征区块区域；
匹配模块，用于匹配所述左特征图像及所述右特征图像的所述特征区块区域；
第一计算模块，用于在匹配成功的所述特征区块区域中选取区块匹配点并根据所述区块匹配点在所述左特征图像及所述右特征图像的横坐标差值计算所述区块匹配点的三维坐标；及
抓取控制模块，用于根据所述三维坐标控制所述机械手抓取所述目标物体。
在某些实施方式中，所述特征区块包括二维码。
在某些实施方式中，所述处理模块用于对所述左图像及所述右图像进行SIFT处理以获得包含SIFT特征的所述左特征图像及所述右特征图像。
在某些实施方式中，所述处理模块还包括处理子模块，所述处理子模块用于在所述左图像及所述右图像经SIFT处理后进行二值化处理以获得所述左特征图像及所述右特征图像。
在某些实施方式中，所述匹配模块包括判断子模块，所述判断子模块用于在所述左特征图像及所述右特征图像的所述特征区块区域的对应点的所述纵坐标的差值小于预定值时判断匹配成功。
在某些实施方式中，所述匹配模块用于匹配最左端的所述特征区块区域并相应地触发所述第一计算模块及所述抓取模块。
在某些实施方式中，所述目标物体为长方体，所述抓取控制步骤包括：
计算子模块，用于根据所述三维坐标计算所述目标物体的角坐标；及
控制子模块，用于根据所述角坐标控制所述机械手抓取所述目标物体。
本发明还提供一种机械手系统，其包括机械手、固定设置于所述机械手的双目摄像头及上述实施方式所述的抓取控制装置。
本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。
附图说明
本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明实施方式的控制方法的流程示意图。
图2是本发明实施方式的控制装置及机械手系统的功能模块示意图。
图3是本发明实施方式的控制方法的原理示意图。
图4是本发明实施方式的控制方法的原理示意图。
图5是本发明实施方式的控制方法的原理示意图。
图6是本发明实施方式的控制方法的原理示意图。
图7是本发明实施方式的控制方法的原理示意图。
图8是本发明实施方式的控制方法的流程示意图。
图9是本发明实施方式的控制装置及机械手系统的功能模块示意图。
图10是本发明实施方式的控制方法的原理示意图。
具体实施方式
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。
请参阅图1-5，本发明实施方式的控制方法，可用于控制机械手130。
机械手130可用于抓取目标物体200，目标物体200可包括位于目标物体200的表面特征区块210。控制方法可包括以下步骤：S0，提供固定设置于机械手130的双目摄像头150，双目摄像头150可包括左摄像头151及右摄像头153；
S01，感测机械手130与目标物体200的距离；
S02，在机械手130与目标物体200的距离小于等于预定距离时激活双目摄像头150从而获取目标物体200的左预览图像以及右预览图像；
S03，校正左预览图像及右预览图像以使左预览图像及右预览图像上对应的标志点具有相同的纵坐标并根据校正结果对应校正左摄像头151及右摄像头153的拍摄参数；
S04，获取双目摄像头150拍摄的目标物体200的左图像310及右图像310a；
S05，处理左图像310以获得左特征图像330，及处理右图像310a以获得右特征图像330a，左特征图像330及右特征图像330a包含特征区块210对应的特征区块区域331；
S06，匹配左特征图像330及右特征图像330a的特征区块区域331；
S07，在匹配成功的特征区块区域331中选取区块匹配点并根据区块匹配点在左特征图像330及右特征图像330a的横坐标差值计算区块匹配点的三维坐标；及
S08，根据三维坐标控制机械手130抓取目标物体200。
本发明实施方式的控制方法可由本发明实施方式的控制装置110实现。控制装置110可包括距离感测模块111、激活模块112、校正模块113、获取模块114、处理模块115、匹配模块116、第一计算模块117及抓取控制模块118，分别用于实现控制方法的S01、S02、S03、S04、S05、S06、S07及S08。
也就是说，距离感测模块111可用于感测机械手130与目标物体200的距离。激活模块112可用于在机械手130与目标物体200的距离小于等于预定距离时激活双目摄像头150从而获取目标物体200的左预览图像以及右预览图像，双目摄像头150包括左摄像头151及右摄像头153。校正模块113可用于校正左预览图像及右预览图像以使左预览图像及右预览图像上对应的标志点具有相同的纵坐标并根据校正结果对应校正左摄像头151及右摄像头153的拍摄参数。获取模块114可用于获取双目摄像头150拍摄的目标物体200的左图像310及右图像310a。处理模块115可用于处理左图像310以获得左特征图像330及用于处理右图像310a以获得右特征图像330a，左特征图像330及右特征图像330a包含特征区块210对应的特征区块区域331。匹配模块116可用于匹配左特征图像330及右特征图像330a的特征区块区域331。第一计算模块117可用于在匹配成功的特征区块区域331中选取区块匹配点并根据区块匹配点在左特征图像330及右特征图像330a的横坐标差值计算区块匹配点的三维坐标。抓取控制模块118可用于根据三维坐标控制机械手130抓取目标物体200。
本发明实施方式的控制方法可用于控制机械手130抓取目标物体200，特别的，可应用于抓取多个目标物体200，例如货架上的多件货物。
本发明实施方式的控制装置110可应用于本发明实施方式的机械手系统100。
请结合参阅图3，本发明实施方式控制方法的目的是获得目标物体200的位置信息以控制机械手130抓取目标物体200，原理是处理固定设置在机械手130的双目摄像头150拍摄的图像以获得目的物体的位置信息，即三维坐标。双目摄像头150可安装在机械手130表面，也可集成于机械手130内部。目标物体200表面有特征区块210，例如可以是二维码或条形码这种在图像中易于被识别的标签。
双目摄像头150拍摄获得图像(左图像310及右图像310a)后对图像进行进一步处理，以使特征区块210的区域在图像中更为凸显和易于识别。通过对处理后的图像的特征区块210的区域(特征区块区域331)进行识别及匹配，可得到特征区块区域331中匹配点的三维坐标，从而可根据三维坐标控制机械手130抓取目标物体200。
采用本发明实施方式的控制方法，可提高识别目标物体200位置的准度及对环境变化的适应性，识别的过程不易受环境条件(如光照)的影响。且能实时进行识别从而实时调整机械手130的抓取目标位置。例如，若抓取过程中目标物体200不慎脱落，可重新确定其位置并重新抓取。综上，可提升机械手系统100的智能化水平，减少人工干预，提升抓取效率。
请参阅图4，为实现上述过程，要对双目摄像头150的左摄像头151及右摄像头153进行校正。首先，在机械手130到目标物体200的距离小于等于预定距离时，激活双目摄像头150，并获得目标物体200的左预览图像以及右预览图像。然后根据左预览图像及右预览图像对双目摄像头150进行校准。校准的目的是使左预览图像及右预览图像中相对应的像素点具有相同的纵坐标。相对应的像素点可以是一些易于识别的标志点。通过调整双目摄像头150的拍摄参数可达到上述目的。
校正完成后，双目摄像头150的左摄像头151与右摄像头153拍摄的图像中相对应的像素理论上会具有相同的纵坐标，或者说相同的物体会处于同一高度，这也是识别出图像中的某标志物体(如特征区块210)并计算其三维坐标的基础。
校正完成后，获取双目摄像头150拍摄的目标物体200的左图像310和右图像310a。一般来说双目摄像头150是持续拍摄的，因此只需在双目摄像头150拍摄的图像中提取出一对左图像310及右图像310a即可。左图像310及右图像310a中有特征区块210对应的区域，但是不太容易识别。分别对左图像310及右图像310a进行处理，以获得左特征图像330及右特征图像330a，左特征图像330及右特征图像330a中特征区块210对应的特征区块区域331更为凸显及易识别。
请参阅图5，在某些实施方式中，S05中，通过对左图像310及右图像310a进行SIFT处理以获得包含SIFT特征的左特征图像330及右特征图像330a。S05可由某些实施方式的控制装置110的处理模块115实现。SIFT，即尺度不变特征转换(Scale-invariantfeature transform)，是用于图像处理领域的一种描述子。这种描述具有尺度不变性，可在图像中检测出特征点331(关键点)，是一种局部特征描述子。左图像310及右图像310a为摄像头拍摄的原始图像，SIFT处理可提取出原始图像中的特征点331并生成由特征点331组成的左特征图像330及右特征图像330a。由于目标物体200表面的特征区块210一般采用较繁复或较多变化的图案，其对应在左特征图像330及右特征图像330a上会有远比其他区域密集的特征点331并构成特征区块区域331。例如，在某些实施方式中，特征区块210为二维码，其对应特征区块区域331就可能是一片方形的特征点331密集的区域。采用SIFT处理，可使特征区块210对应的区域在左特征图像330及右特征图像330a中凸显出来，从而方便后续对其识别及匹配。
请参阅图6，在某些实施方式中，左图像310及右图像310a经SIFT处理后再进行二值化处理以获得左特征图像330及右特征图像330a。也就是说，左图像310及右图像310a经SIFT处理后获得由特征点331组成的图像，再对由特征点331组成的图像进行二值化处理，以得到由特征点331组成的，但仅仅包括黑、白像素的左特征图像330及右特征图像330a。
以二维码作为特征区块210为例，其中，进行二值化处理之余，还可进行二维点云滤波处理，即去除离散特征点331并将特征点331根据紧密度聚类为几类，在没有太多干扰的情况下就会只保留下二维码位置处的特征点331。如此，使特征点331密集的特征区块区域331形成一个整体，而不是一堆零散的点，还会消除二维码区域之外的离散特征点331。
经过二维化处理，可以使图像变得更为简单，特征区块区域331与其他区域更易区分开来，从而方便后续对其识别及匹配。
双目摄像头150经校对之后，即S03之后，左特征图像330及右特征图像330a上对应的点理论上有相同的纵坐标。可利于此特性对左特征图像330及右特征图像330a上的特征区块区域331进行匹配。例如，在某些实施方式中，左特征图像330及右特征图像330a的特征区块区域331的对应点的纵坐标的差值小于预定值，则判断匹配成功并进入S07。
预定值可设定为一个较小的值，以避免误判。经此判定，可较准确地将左、右特征区域的对应的特征区块区域331匹配，从而方便后续根据视差计算其三维坐标。
请结合参阅图5-7，一般来说特征区块210及其对应的特征区块区域331为方形或矩形，例如以方形二维码作为特征区块区域331时。此时可选择特征区块区域的角点3331作为对应点，例如左上角点，因为角点更易识别。选取好对应点后，计算对应点在左特征图像330及右特征图像330a中的纵坐标的差值，若纵坐标的差值小于预定值，则判断匹配成功。若纵坐标的差值大于等于预定值，则判断匹配失败，可尝试进行其他组合的匹配，例如在左特征图像330的左一区域的P点与右特征图像330a的右二区域的P2点匹配失败后，可尝试匹配左一区域的P点与右特征图像330a的右一区域的P1点，或右特征图像330a的其他特征区块区域331，直至找到可与左一区域匹配成功的右特征图像330a中的区域。
将左特征图像330及右特征图像330a中特征区块区域331识别及匹配成功后，就可以利于视差及双目摄像头150的参数确定特征区块210某点(例如特征区块区域的角点211)的三维坐标。可再进一步根据该点与目标物体200的角点坐标，以方便机械手130判断抓取方位及张开幅度等。
请参阅图8-10，在某些实施方式中，目标物体200为长方体，S08可包括：
S0801，根据三维坐标计算目标物体200的角点坐标；及
S0802，根据角点坐标控制机械手130抓取目标物体200。
在某些实施方式中，控制装置110的抓取控制模块118可包括计算子模块1181及控制子模块1182，可分别用于实现S0801及S0802。也就是说，计算子模块1181可用于根据三维坐标计算目标物体200的角点坐标。控制子模块1182可用于根据角点坐标控制机械手130抓取目标物体200。
可预先将长方体目标物体200的信息录入系统，例如目标物体200的角点与区域特征区域上的对应点的相对位置关系，以及目标物体200的大小信息(长宽高等)。如此，在获得区域特征区域上的对应点的三维坐标后，即可计算出目标物体200的角点坐标并根据角点坐标对目标物体200进行精准的抓取。
综上，采用本发明实施方式的控制方法，采用双目摄像头150获得目标物体200的图像，将图像处理后凸显目标物体200上的特征区块210(如二维码)对应的区域，从而有较高的识别准确度。且由于特征区块210(如二维码)在视觉上有较大差异，与周围环境相差很大，因此识别准度不易受环境光照的影响。且此识别方法不易受双目摄像头150与目标物体200相对位置的影响，也就是说，双目摄像头150在不同的初始位置启动，都可正常识别及抓取，以及若抓取过程中目标物体200不慎脱落，仍可重新识别及抓取。综上，可提升机械手系统100的智能化水平，减少人工干预，提升抓取效率。
在某些实施方式中，控制方法中的S05可匹配最左端的特征区块区域331并相应地进行S06及S07。也就是说，可设置使系统总是从双目摄像视野中最左端的特征区块区域331开始识别及匹配，计算其三维坐标并进行抓取。这就可以保证，当从左至右排列多个目标物体200时，总是从最左端的目标物体200进行抓取。从而使整个抓取过程有条理有秩序，不容易遗漏。
本发明实施方式的机械手系统100，可包括机械手130、固定设置于机械手130的双目摄像头150及上述实施方式的抓取控制装置110。
本发明实施方式的机械手系统100中未展开的其它部分，可参阅以上实施方式的控制装置110或控制方法的对应部分，在此不再详细展开。
在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。
在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明的各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种控制方法，用于控制机械手，其特征在于，
所述机械手用于抓取目标物体，所述目标物体包括位于所述目标物体表面的特征区块；所述控制方法包括：提供步骤，提供固定设置于所述机械手的双目摄像头，所述双目摄像头包括左摄像头及右摄像头；
距离感测步骤，感测所述机械手与所述目标物体的距离；
激活步骤，在机械手与所述目标物体的距离小于等于预定距离时激活所述双目摄像头从而获取所述目标物体的左预览图像以及右预览图像；
校正步骤，校正所述左预览图像及所述右预览图像以使所述左预览图像及所述右预览图像上对应的标志点具有相同的纵坐标并根据校正结果对应校正所述左摄像头及所述右摄像头的拍摄参数；
获取步骤，获取所述双目摄像头拍摄的所述目标物体的左图像及右图像；
处理步骤，处理所述左图像以获得左特征图像，及处理所述右图像以获得右特征图像，所述左特征图像及所述右特征图像包含所述特征区块对应的特征区块区域；
匹配步骤，匹配所述左特征图像及所述右特征图像的所述特征区块区域；
第一计算步骤，在匹配成功的所述特征区块区域中选取区块匹配点并根据所述区块匹配点在所述左特征图像及所述右特征图像的横坐标差值计算所述区块匹配点的三维坐标；及
抓取控制步骤，根据所述三维坐标控制所述机械手抓取所述目标物体。
2.如权利要求1所述的控制方法，其特征在于，所述特征区块包括二维码。
3.如权利要求1所述的控制方法，其特征在于，所述处理步骤通过对所述左图像及所述右图像进行SIFT处理以获得包含SIFT特征的所述左特征图像及所述右特征图像。
4.如权利要求3所述的控制方法，其特征在于，所述处理步骤在所述左图像及所述右图像经SIFT处理后再进行二值化处理以获得所述左特征图像及所述右特征图像。
5.如权利要求1所述的控制方法，其特征在于，在所述匹配步骤中，若所述左特征图像及所述右特征图像的所述特征区块区域的对应点的所述纵坐标的差值小于预定值，则判断匹配成功并进入所述第一计算步骤。
6.如权利要求1所述的控制方法，其特征在于，所述匹配步骤匹配最左端的所述特征区块区域并相应地进行所述第一计算步骤及所述抓取步骤。
7.如权利要求1所述的控制方法，其特征在于，所述目标物体为长方体，所述抓取控制步骤包括：
计算子步骤，根据所述三维坐标计算所述目标物体的角点坐标；及
控制子步骤，根据所述角点坐标控制所述机械手抓取所述目标物体。
8.一种控制装置，用于控制机械手，其特征在于，
所述机械手用于抓取目标物体，所述目标物体包括位于所述目标物体表面的特征区块；所述控制装置包括：距离感测模块，用于感测所述机械手与所述目标物体的距离；
激活模块，用于在机械手与所述目标物体的距离小于等于预定距离时激活固定设置于所述机械手的双目摄像头从而获取所述目标物体的左预览图像以及右预览图像，所述双目摄像头包括左摄像头及右摄像头；
校正模块，用于校正所述左预览图像及所述右预览图像以使所述左预览图像及所述右预览图像上对应的标志点具有相同的纵坐标并根据校正结果对应校正所述左摄像头及所述右摄像头的拍摄参数；
获取模块，用于获取所述双目摄像头拍摄的所述目标物体的左图像及右图像；
处理模块，用于处理所述左图像以获得左特征图像及用于处理所述右图像以获得右特征图像，所述左特征图像及所述右特征图像包含所述特征区块对应的特征区块区域；
匹配模块，用于匹配所述左特征图像及所述右特征图像的所述特征区块区域；
第一计算模块，用于在匹配成功的所述特征区块区域中选取区块匹配点并根据所述区块匹配点在所述左特征图像及所述右特征图像的横坐标差值计算所述区块匹配点的三维坐标；及
抓取控制模块，用于根据所述三维坐标控制所述机械手抓取所述目标物体。
9.如权利要求8所述的控制装置，其特征在于，所述特征区块包括二维码。
10.如权利要求1所述的控制装置，其特征在于，所述处理模块用于对所述左图像及所述右图像进行SIFT处理以获得包含SIFT特征的所述左特征图像及所述右特征图像。
11.如权利要求10所述的控制装置，其特征在于，所述处理模块还包括处理子模块，所述处理子模块用于在所述左图像及所述右图像经SIFT处理后进行二值化处理以获得所述左特征图像及所述右特征图像。
12.如权利要求8所述的控制装置，其特征在于，所述匹配模块包括判断子模块，所述判断子模块用于在所述左特征图像及所述右特征图像的所述特征区块区域的对应点的所述纵坐标的差值小于预定值时判断匹配成功。
13.如权利要求8所述的控制装置，其特征在于，所述匹配模块用于匹配最左端的所述特征区块区域并相应地触发所述第一计算模块及所述抓取模块。
14.如权利要求8所述的控制装置，其特征在于，所述目标物体为长方体，所述抓取控制步骤包括：
计算子模块，用于根据所述三维坐标计算所述目标物体的角坐标；及
控制子模块，用于根据所述角坐标控制所述机械手抓取所述目标物体。
15.一种机械手系统，其特征在于，包括机械手、固定设置于所述机械手的双目摄像头及如权利要求8-14任意一项所述的抓取控制装置。
CN201610346102.8A 2016-05-23 2016-05-23 控制方法、控制装置及机械手系统 Pending CN105835060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610346102.8A CN105835060A (zh) 2016-05-23 2016-05-23 控制方法、控制装置及机械手系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610346102.8A CN105835060A (zh) 2016-05-23 2016-05-23 控制方法、控制装置及机械手系统

Publications (1)

Publication Number Publication Date
CN105835060A true CN105835060A (zh) 2016-08-10

Family

ID=56593327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610346102.8A Pending CN105835060A (zh) 2016-05-23 2016-05-23 控制方法、控制装置及机械手系统

Country Status (1)

Country Link
CN (1) CN105835060A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106737665A (zh) * 2016-11-30 2017-05-31 天津大学 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
CN107053173A (zh) * 2016-12-29 2017-08-18 芜湖哈特机器人产业技术研究院有限公司 机器人抓取系统及抓取工件的方法
CN107598920A (zh) * 2017-08-23 2018-01-19 深圳果力智能科技有限公司 一种基于视觉控制的机械手
WO2018076776A1 (zh) * 2016-10-25 2018-05-03 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN108500989A (zh) * 2018-04-07 2018-09-07 广州未名雷蒙特实验室科技有限公司 实验室智能机械手系统及其操作方法
CN108942937A (zh) * 2018-07-27 2018-12-07 广东海亮铜业有限公司 一种铜管加工方法
CN109227577A (zh) * 2018-11-18 2019-01-18 大连四达高技术发展有限公司 双目视觉定位系统执行器
CN110480636A (zh) * 2019-08-13 2019-11-22 菏泽学院 一种基于三维视觉的机械臂控制系统
CN112109072A (zh) * 2020-09-22 2020-12-22 扬州大学 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN113526125A (zh) * 2021-07-28 2021-10-22 齐鲁工业大学 一种基于多标签定位的细胞标本样片搬运系统及方法
CN116188883A (zh) * 2023-04-28 2023-05-30 中国科学技术大学 一种抓握位置分析方法及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103372862A (zh) * 2012-04-12 2013-10-30 精工爱普生株式会社 机器人系统及其校准方法、机器人、校准装置及数码相机
EP2712715A2 (en) * 2012-09-28 2014-04-02 Dainippon Screen Mfg. Co., Ltd. Working unit control device, working robot, working unit control method, and working unit control program
CN104794717A (zh) * 2015-04-27 2015-07-22 中国科学院光电技术研究所 一种基于双目视觉系统的深度信息对比方法
US20150217450A1 (en) * 2014-02-05 2015-08-06 Quanta Storage Inc. Teaching device and method for robotic arm
CN105217324A (zh) * 2015-10-20 2016-01-06 上海影火智能科技有限公司 一种新型的拆垛方法和系统
CN105479461A (zh) * 2016-01-26 2016-04-13 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统
CN105500385A (zh) * 2016-02-03 2016-04-20 先驱智能机械（深圳）有限公司 机械手臂的控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103372862A (zh) * 2012-04-12 2013-10-30 精工爱普生株式会社 机器人系统及其校准方法、机器人、校准装置及数码相机
EP2712715A2 (en) * 2012-09-28 2014-04-02 Dainippon Screen Mfg. Co., Ltd. Working unit control device, working robot, working unit control method, and working unit control program
US20150217450A1 (en) * 2014-02-05 2015-08-06 Quanta Storage Inc. Teaching device and method for robotic arm
CN104794717A (zh) * 2015-04-27 2015-07-22 中国科学院光电技术研究所 一种基于双目视觉系统的深度信息对比方法
CN105217324A (zh) * 2015-10-20 2016-01-06 上海影火智能科技有限公司 一种新型的拆垛方法和系统
CN105479461A (zh) * 2016-01-26 2016-04-13 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统
CN105500385A (zh) * 2016-02-03 2016-04-20 先驱智能机械（深圳）有限公司 机械手臂的控制方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018076776A1 (zh) * 2016-10-25 2018-05-03 深圳光启合众科技有限公司 机器人、机械臂及其控制方法和装置
CN106737665B (zh) * 2016-11-30 2019-07-19 天津大学 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
CN106737665A (zh) * 2016-11-30 2017-05-31 天津大学 基于双目视觉和sift特征匹配的机械臂控制系统及实现方法
CN107053173A (zh) * 2016-12-29 2017-08-18 芜湖哈特机器人产业技术研究院有限公司 机器人抓取系统及抓取工件的方法
CN107598920A (zh) * 2017-08-23 2018-01-19 深圳果力智能科技有限公司 一种基于视觉控制的机械手
CN108500989A (zh) * 2018-04-07 2018-09-07 广州未名雷蒙特实验室科技有限公司 实验室智能机械手系统及其操作方法
CN108942937A (zh) * 2018-07-27 2018-12-07 广东海亮铜业有限公司 一种铜管加工方法
CN109227577A (zh) * 2018-11-18 2019-01-18 大连四达高技术发展有限公司 双目视觉定位系统执行器
CN110480636A (zh) * 2019-08-13 2019-11-22 菏泽学院 一种基于三维视觉的机械臂控制系统
CN112109072A (zh) * 2020-09-22 2020-12-22 扬州大学 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN112109072B (zh) * 2020-09-22 2022-12-30 扬州大学 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN113526125A (zh) * 2021-07-28 2021-10-22 齐鲁工业大学 一种基于多标签定位的细胞标本样片搬运系统及方法
CN113526125B (zh) * 2021-07-28 2022-11-22 齐鲁工业大学 一种基于多标签定位的细胞标本样片搬运系统及方法
CN116188883A (zh) * 2023-04-28 2023-05-30 中国科学技术大学 一种抓握位置分析方法及终端
CN116188883B (zh) * 2023-04-28 2023-08-29 中国科学技术大学 一种抓握位置分析方法及终端

Similar Documents

Publication Publication Date Title
CN105835060A (zh) 控制方法、控制装置及机械手系统
JP6348093B2 (ja) 入力データから検出対象物の像を検出する画像処理装置および方法
US10249030B2 (en) Image transformation for indicia reading
CN101274432B (zh) 目标物取出装置
US11625842B2 (en) Image processing apparatus and image processing method
KR20160003776A (ko) 자세 추정 방법 및 로봇
CN109213202B (zh) 基于光学伺服的货物摆放方法、装置、设备和存储介质
WO2020189154A1 (ja) 物品検出装置、物品検出方法、及び産業車両
KR20120023052A (ko) 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치
KR102618285B1 (ko) 카메라 자세 결정 방법 및 시스템
KR20230031826A (ko) 웨어하우스 로봇의 제어 방법, 장치, 로봇 및 웨어하우스 시스템
CN112265463B (zh) 自移动设备的控制方法、装置、自移动设备和介质
CN107895344B (zh) 视频拼接装置及方法
CN113329179A (zh) 拍摄对位方法、装置、设备及存储介质
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
CN112950528A (zh) 证件姿态确定方法、模型训练方法、装置、服务器及介质
CN111199533B (zh) 图像处理装置
CN111656404B (zh) 图像处理方法、系统及可移动平台
CN115187769A (zh) 一种定位方法及装置
US11724407B2 (en) Target-free RGBD camera alignment to robots
Huynh et al. Evaluation of three local descriptors on low resolution images for robot navigation
CN114005030A (zh) 自动清洁设备的真值获取方法、系统及自动清洁设备
KR102119388B1 (ko) Avm 시스템 및 카메라 공차 보정 방법
CN114902281A (zh) 图像处理系统
CN110769221B (zh) 在拍摄图像中检测投影图像的角点的方法和投影仪

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161202

Address after: North Fourth Ring Road 100191 Beijing City No. 238 Haidian District Shangdi Baiyan building 406F

Applicant after: Beijing United Rio Tinto Technology Co., Ltd.

Address before: Nanshan District Keyuan Road Shenzhen city Guangdong province 518000 No. 15 Kexing Science Park building B1 room 1700

Applicant before: Pioneer intelligent machinery (Shenzhen) Co., Ltd.

AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20180914