CN108789414A - 基于三维机器视觉的智能机械臂系统及其控制方法 - Google Patents

基于三维机器视觉的智能机械臂系统及其控制方法 Download PDF

Info

Publication number
CN108789414A
CN108789414A CN201810793463.6A CN201810793463A CN108789414A CN 108789414 A CN108789414 A CN 108789414A CN 201810793463 A CN201810793463 A CN 201810793463A CN 108789414 A CN108789414 A CN 108789414A
Authority
CN
China
Prior art keywords
information
camera
mechanical arm
dimensional
projecting apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810793463.6A
Other languages
English (en)
Inventor
龙佳乐
张建民
许志辉
陈富健
罗顺祺
丁毅
胡伟华
李鸿彬
林根源
陈伙显
吕洪坚
罗鑫春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201810793463.6A priority Critical patent/CN108789414A/zh
Publication of CN108789414A publication Critical patent/CN108789414A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于三维机器视觉的智能机械臂系统及其控制方法，通过利用激光测距模块对物件进行检测，当检测到物件后，激光测距模块分别触发投影仪、相机和摄像头，使得投影仪、相机和摄像头能够共同作用采集物件的包含有高度信息、长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息的三维信息，接着，通过计算获得物件从第一信息获取区传输到抓取区所需要的到达时间，最后，机械臂控制器根据三维信息所对应的不同规格尺寸的物件，并结合物件的到达时间，自动调整机械臂的抓取位置，从而能够实现对不同规格的物件的智能抓取处理。

Description

基于三维机器视觉的智能机械臂系统及其控制方法
技术领域
本发明涉及机械臂技术领域，特别是一种基于三维机器视觉的智能机械臂系统及其控制方法。
背景技术
在最初，工业中应用的机械臂大多是示教型机器人，通常在使用前需要预先设置好运动路线使机械臂去抓取一个位置、方向、规格均已知的物体，这样的机器人运动方式简单而且单一，虽然能够代替人类做一些简单的重复性工作，但是操作灵活性低，使用上受到较大限制，因为它没有像人类一样的视觉感知功能。一般的工业机器人是没有立体视觉的，工件存放位置、姿态、工件规格稍有改变机器人就束手无策。然而现有的通过非接触式获取物体形貌的工具如照相机、摄像机等只能以二维形式重现物体，不可避免的会造成所获物体第三维形貌信息的丢失，为了更加准确的获取物体的立体数据，定量地对物体的形貌进行描述，必须对物体的三维形貌进行准确的测量。随着现代科学研究的深入和工业生产水平的不断提高，人们对于赋予机械臂三维视觉能力的需求日益强烈。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于三维机器视觉的智能机械臂系统及其控制方法，能够根据不同规格的物件自动调整抓取的位置，从而实现对不同规格的物件的智能抓取处理。
本发明解决其问题所采用的技术方案是：
基于三维机器视觉的智能机械臂系统，包括用于输送物件的传输机构、用于采集物件的三维信息的检测机构、用于抓取物件的机械臂和用于统筹管理的上位机；检测机构包括用于检测物件是否通过的激光测距模块、用于检测物件的高度信息的信息获取组件和用于采集物件的二维信息的摄像头；激光测距模块与信息获取组件相连接，信息获取组件、摄像头和机械臂分别与上位机进行数据交互；上位机根据由信息获取组件检测到的物件的高度信息和由摄像头采集到的物件的二维信息，调整机械臂的抓取位置而对不同规格的物件进行抓取处理。
进一步，信息获取组件包括用于对物件进行条纹投影的投影仪和用于对被投影有条纹的物件进行拍摄的相机，投影仪和相机分别与上位机相连接。
进一步，传输机构包括传送带，传送带沿着其运动方向设置有第一信息获取区、第二信息获取区和抓取区；激光测距模块、投影仪和相机均对准第一信息获取区设置；摄像头和机械臂分别对准第二信息获取区和抓取区设置。
进一步，传送带还设置有用于检测传输速度的编码器，编码器与机械臂相连接。
进一步，机械臂包括机械臂控制器、用于进行传动的舵机和用于对物件进行夹取的机械爪，舵机和机械爪分别与机械臂控制器相连接。
进一步，机械爪之中设置有用于检测抓取力度的压力传感器，压力传感器与机械臂控制器相连接。
进一步，上位机设置有蓝牙发送模块，机械臂控制器设置有用于与蓝牙发送模块配合通讯的蓝牙接收模块。
基于三维机器视觉的智能机械臂系统的控制方法，包括：
启动传送带，机械臂控制器根据设置于传送带之上的编码器获取传送带的传输速度；
初始化投影仪、相机、摄像头和激光测距模块；
激光测距模块检测到物件时，触发投影仪朝物件投影条纹，并触发相机对被投影有条纹的物件进行图像拍摄，上位机根据由相机拍摄到的图像获取物件的高度信息；
物件被传输到第二信息获取区时，摄像头获取物件的二维信息，上位机根据二维信息计算得到物件的长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，上位机把高度信息、长度信息、宽度信息和距离信息发送给机械臂控制器；
机械臂控制器采用几何分析法解算出机械臂中舵机的旋转角度，并且根据第一信息获取区和抓取区之间预设的距离以及传送带的传输速度，计算得到物件到达抓取区的到达时间；
机械臂控制器结合到达时间驱动机械爪对到达抓取区的物件进行抓取。
进一步，激光测距模块检测到物件时，触发投影仪朝物件投影条纹，并触发相机对被投影有条纹的物件进行图像拍摄，上位机根据由相机拍摄到的图像获取物件的高度信息，具体包括：
分别对投影仪和相机进行标定，得到投影仪和相机的内外参数矩阵；投影仪对物件分别投影每组6张的两组不同波长的条纹图，相机对应每一张被投影到物件之上的条纹图拍摄一张图片；
利用六步相移轮廓术求解被投影到物件之上的变形条纹，得到包裹相位，对包裹相位进行相位展开，得到相位展开图，结合投影仪和相机的内外参数矩阵及相位展开图重构三维立体点云；
对三维立体点云进行滤波，保留物件点云数据，并根据物件点云数据计算出物件的高度。
进一步，机械臂控制器结合到达时间驱动机械爪对到达抓取区的物件进行抓取，具体包括：
当达到到达时间时，机械臂控制器根据旋转角度驱动舵机转动，使得机械爪对准物件；
机械爪根据长度信息和宽度信息张开与物件匹配的角度并对物件进行夹持，设置于机械爪的压力传感器根据检测到的压力值调整机械爪对物件的抓取力度；
当机械爪抓紧物件时，机械臂将物件抓离传送带并放置到指定的位置；
机械臂复位，等待下一次抓取处理。
本发明的有益效果是：
基于三维机器视觉的智能机械臂系统，物件在传输机构的输送作用下依次被输送到检测机构所处的区域中和机械臂所处的区域中，当物件被传输到检测机构所处的区域中时，激光测距模块能够对物件进行检测，从而能够准确判断物件是否进入到了检测机构所处的区域中，从而能够准确对物件进行后续的处理；当物件被检测到进入到检测机构所处的区域中，信息获取组件和摄像头能够分别采集物件的高度信息和二维信息，其中，物件的二维信息包括长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，因此，在信息获取组件和摄像头的共同作用下，物件的三维信息能够被准确获取，所以，上位机能够根据该三维信息而区分不同规格尺寸的物件，从而能够通过调整机械臂的抓取位置而对不同规格的物件进行智能抓取处理；
基于三维机器视觉的智能机械臂系统的控制方法，首先，利用激光测距模块对物件进行检测，当检测到物件后，激光测距模块分别触发投影仪、相机和摄像头，使得投影仪、相机和摄像头能够共同作用采集物件的包含有高度信息、长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息的三维信息，接着，通过计算获得物件从第一信息获取区传输到抓取区所需要的到达时间，最后，机械臂控制器根据三维信息所对应的不同规格尺寸的物件，并结合物件的到达时间，自动调整机械臂的抓取位置，从而能够实现对不同规格的物件的智能抓取处理。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明的智能机械臂系统的原理图；
图2是本发明的控制方法的流程图；
图3是采用几何分析法解算舵机的旋转角度的示意图。
具体实施方式
参照图1，本发明的一个实施例中，基于三维机器视觉的智能机械臂系统，包括用于输送物件的传输机构1、用于采集物件的三维信息的检测机构2、用于抓取物件的机械臂3和用于统筹管理的上位机4；检测机构2包括用于检测物件是否通过的激光测距模块21、用于检测物件的高度信息的信息获取组件和用于采集物件的二维信息的摄像头22；激光测距模块21与信息获取组件相连接，信息获取组件、摄像头22和机械臂3分别与上位机4进行数据交互；上位机4根据由信息获取组件检测到的物件的高度信息和由摄像头22采集到的物件的二维信息，调整机械臂3的抓取位置而对不同规格的物件进行抓取处理。具体地，物件在传输机构1的输送作用下依次被输送到检测机构2所处的区域中和机械臂3所处的区域中，当物件被传输到检测机构2所处的区域中时，激光测距模块21能够对物件进行检测，从而能够准确判断物件是否进入到了检测机构2所处的区域中，从而能够准确对物件进行后续的处理；当物件被检测到进入到检测机构2所处的区域中，信息获取组件和摄像头22能够分别采集物件的高度信息和二维信息，其中，物件的二维信息包括长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，因此，在信息获取组件和摄像头22的共同作用下，物件的三维信息能够被准确获取，所以，上位机4能够根据该三维信息而区分不同规格尺寸的物件，从而能够通过调整机械臂3的抓取位置而对不同规格的物件进行智能抓取处理。
其中，参照图1，信息获取组件包括用于对物件进行条纹投影的投影仪23和用于对被投影有条纹的物件进行拍摄的相机24，投影仪23和相机24分别与上位机4相连接。具体地，本实施例中的上位机4为具有数据处理能力的设备或装置，例如计算机、数据服务器等。当相机24把拍摄到的被投影有条纹的物件的图片发送给上位机4时，上位机4采用基于波长选择的多条纹投影相位展开技术获取物件的高度信息，即，当上位机4接收到多张投影于物件之上的不同波长的条纹图时，上位机4利用相移轮廓术求解被投影到物件之上的变形条纹，得到包裹相位，然后对包裹相位进行相位展开，得到相位展开图，接着结合投影仪23和相机24的内外参数矩阵及相位展开图重构三维立体点云，最后对三维立体点云进行滤波，保留物件点云数据，并根据物件点云数据计算出物件的高度。
其中，参照图1，传输机构1包括传送带11，传送带11沿着其运动方向设置有第一信息获取区、第二信息获取区和抓取区；激光测距模块21、投影仪23和相机24均对准第一信息获取区设置；摄像头22和机械臂3分别对准第二信息获取区和抓取区设置。具体地，激光测距模块21主要由VL53L0X模块构成，在本实施例中，选取在2mm到200mm的距离范围作为激光测距模块21的检测范围，当物件经过激光测距模块21并处于上述检测范围之中时，激光测距模块21会触发一个脉冲信号并分别发送给投影仪23和相机24，从而启动投影仪23和相机24分别对物件进行投影及拍照，从而为上位机4获取物件的高度信息而做好前期的准备。
其中，参照图1，传送带11还设置有用于检测传输速度的编码器15，编码器15与机械臂3相连接。具体地，由于物件处于传送带11之上并随着传送带11进行移动，并且第一信息获取区、第二信息获取区和抓取区之间间隔有一定的距离，因此，若需要机械臂3准确抓取物件，则需要结合物件从第一信息获取区传输到抓取区的时间，使得机械臂3能够在准确的时间点对物件进行抓取。为了能够准确获取物件从第一信息获取区传输到抓取区的时间，本实施例中，在传送带11之上设置了用于检测传输速度的编码器15，由于第一信息获取区和抓取区之间的距离固定，因此根据第一信息获取区和抓取区之间的距离及传送带11的传输速度，即可准确获取物件从第一信息获取区传输到抓取区的时间。
其中，参照图1，机械臂3包括机械臂控制器31、用于进行传动的舵机32和用于对物件进行夹取的机械爪33，舵机32和机械爪33分别与机械臂控制器31相连接；机械爪33之中设置有用于检测抓取力度的压力传感器34，压力传感器34与机械臂控制器31相连接。具体地，本实施例中，机械臂3设置有3个连杆，所以，机械臂3设置有3个舵机32。而机械臂控制器31则包括有单片机，并且该单片机分别和激光测距模块21、编码器15、舵机32、机械爪33及压力传感器34相连接，其中，舵机32作为机械臂3的关节，压力传感器34主要由型号为RFP602的电阻式薄膜压力传感器构成。当单片机接收到由上位机4传输过来的关于物件的高度信息、长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息后，单片机驱动机械臂3根据距离信息调整舵机32需要转动的角度，并控制机械爪33到达抓取区的上方，同时结合物件从第一信息获取区传输到抓取区的时间，当物件到达目标位置后，机械臂3对物件进行抓取，并且通过压力传感器34控制机械爪33的抓紧程度，把物件从传送带11之上抓起并于指定位置放下物件，最后机械臂3复位到初始位置等待下一次抓取处理。
此外，参照图1，上位机4设置有蓝牙发送模块41，机械臂控制器31设置有用于与蓝牙发送模块41配合通讯的蓝牙接收模块35，上位机4和机械臂控制器31通过蓝牙传输的方式进行数据交互。
参照图2－图3，本发明的另一个实施例中，基于三维机器视觉的智能机械臂系统的控制方法，包括以下步骤：
S100、启动传送带11，机械臂控制器31根据设置于传送带11之上的编码器15获取传送带11的传输速度；
S200、初始化投影仪23、相机24、摄像头22和激光测距模块21；
S300、激光测距模块21检测到物件时，触发投影仪23朝物件投影条纹，并触发相机24对被投影有条纹的物件进行图像拍摄，上位机4根据由相机24拍摄到的图像获取物件的高度信息；
S400、物件被传输到第二信息获取区时，摄像头22获取物件的二维信息，上位机4根据二维信息计算得到物件的长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，上位机4把高度信息、长度信息、宽度信息和距离信息发送给机械臂控制器31；
S500、机械臂控制器31采用几何分析法解算出机械臂3中舵机32的旋转角度，并且根据第一信息获取区和抓取区之间预设的距离以及传送带11的传输速度，计算得到物件到达抓取区的到达时间；
S600、机械臂控制器31结合到达时间驱动机械爪33对到达抓取区的物件进行抓取。
具体地，首先利用激光测距模块21对物件进行检测，当检测到物件后，激光测距模块21分别触发投影仪23、相机24和摄像头22，使得投影仪23、相机24和摄像头22能够共同作用采集物件的包含有高度信息、长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息的三维信息，接着，通过计算获得物件从第一信息获取区传输到抓取区所需要的到达时间，最后，机械臂控制器31根据三维信息所对应的不同规格尺寸的物件，并结合物件的到达时间，自动调整机械臂3的抓取位置，从而能够实现对不同规格的物件的智能抓取处理。
具体地，本实施例中，机械臂3设置有3个连杆，所以，机械臂3设置有3个舵机32，即机械臂3包括有3个中间自由度。在步骤S400中，上位机4根据二维信息并通过opencv计算得到物件的长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息。而在步骤S500中，参照图3，机械臂控制器31采用几何分析法，并通过余弦定理分别算出机械臂3中3个舵机32的旋转角度。在图3中，L1、L2和L3分别是机械臂3的3个连杆，其中L1的长度等于L2的长度，图3中的关节角度∠β＝2∠A，因此可知θ2＝π-2A，∠N＝4A-π，通过余弦定理进行几何分析可得如下公式：
把三角形△PQN的三个边长代入上式中可得以下两式：
将上述两式合并并化简，可得以下四个公式：
d＝2L1sin(A)
S＝sign(α-π/2)
其中，S为一个系数，取值为1和－1；r为机械臂坐标原点和机械臂终端的连线长度，通过以上四个公式可得到以下角度公式：
其中，上述角度公式的输入量为机械臂坐标原点和机械臂终端的连线长度r及该连线与水平面的夹角α，θ1、θ2、θ3即为机械臂3的每一个连杆所需转动的角度。
本实施例中，在步骤S300中，激光测距模块21检测到物件时，触发投影仪23朝物件投影条纹，并触发相机24对被投影有条纹的物件进行图像拍摄，上位机4根据由相机24拍摄到的图像获取物件的高度信息，具体包括以下步骤：
S301、分别对投影仪23和相机24进行标定，得到投影仪23和相机24的内外参数矩阵；
S302、投影仪23对物件分别投影每组6张的两组不同波长的条纹图，相机24对应每一张被投影到物件之上的条纹图拍摄一张图片；
S303、利用六步相移轮廓术求解被投影到物件之上的变形条纹，得到包裹相位，对包裹相位进行相位展开，得到相位展开图，结合投影仪23和相机24的内外参数矩阵及相位展开图重构三维立体点云；
S304、对三维立体点云进行滤波，保留物件点云数据，并根据物件点云数据计算出物件的高度。
具体地，步骤S303中采用了六步相移轮廓术来求解被投影到物件之上的变形条纹，从而得到包裹相位。本步骤中的六步相移轮廓术，和现有常用的三步相位测量轮廓术或三步相位测量轮廓术相类似，由于步骤S302中投影仪23对物件分别投影每组6张的两组不同波长的条纹图，并且相机24对应每一张被投影到物件之上的条纹图拍摄一张图片，因此本实施例采用六步相移轮廓术来求解变形条纹，从而能够更准确获取物件的高度信息。
此外，步骤S600中，机械臂控制器31结合到达时间驱动机械爪33对到达抓取区的物件进行抓取，具体包括以下步骤：
S601、当达到到达时间时，机械臂控制器31根据旋转角度驱动舵机32转动，使得机械爪33对准物件；
S602、机械爪33根据长度信息和宽度信息张开与物件匹配的角度并对物件进行夹持，设置于机械爪33的压力传感器34根据检测到的压力值调整机械爪33对物件的抓取力度；
S603、当机械爪33抓紧物件时，机械臂3将物件抓离传送带11并放置到指定的位置；
S604、机械臂3复位，等待下一次抓取处理。
具体地，步骤S601中机械臂控制器31根据旋转角度驱动舵机32转动，机械臂控制器31采用PWM脉宽型调节舵机32的旋转角度，周期为20ms，占空比为0.5ms－2.5ms的脉宽电平对应舵机32于0°到270°的旋转角度范围。并且，舵机32在6.6V的工作电压时，堵转扭矩能达到20kg·cm，而当工作电压为7.4V时，舵机32的旋转速度为0.16sec/60°，具有控制精度高、线性度好、响应速度快的特点，因此能够满足机械臂宽角度的控制和快速抓取的需求，同时能够抓取更重的物件。
除了上述的实施方式之外，本发明的智能机械臂系统还可以具有不同的抓取方式：分类抓取和不分类抓取。这两种抓取方式能够根据上位机4的控制指令而进行调节。当用户在上位机4之中进行参数设置而设定机械臂3的抓取方式后，机械臂3将会根据由上位机4发送过来的控制指令而采用不同的抓取方式。例如，当上位机4发送控制指令0时，机械臂3不区分物件的形状，仅对物件进行抓取；当上位机4发送控制指令1时，机械臂3区分物件的形状，对物件进行分类抓取，如区分圆形物件和方形物件等。
当需要进行不分类抓取时，上位机4只需获取物件的高度信息和宽度信息，此时，上位机4把该高度信息和宽度信息发送给机械臂控制器31，而机械臂控制器31则根据宽度信息控制机械爪33的张度，从而对物件进行抓取，并且将物件夹取到同一位置进行放置。
当需要进行分类抓取时，用户首先在上位机4之上设置物件的参数，如长度信息、宽度信息和高度信息；接着，上位机4结合摄像头22、投影仪23和相机24分别获取物件的长度信息、宽度信息和高度信息，并且上位机4通过运用opencv对拍摄到的图像进行处理，识别出物件的二维形状，再向机械臂控制器31发送图像类别命令和分类放置位置命令，使得机械臂控制器31控制机械臂3将物件分别抓取到相应的位置，如将圆形物件和方形物件分类抓取，并且把圆形物件和方形物件分别放置于不同的位置。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于三维机器视觉的智能机械臂系统，其特征在于：包括用于输送物件的传输机构(1)、用于采集物件的三维信息的检测机构(2)、用于抓取物件的机械臂(3)和用于统筹管理的上位机(4)；所述检测机构(2)包括用于检测物件是否通过的激光测距模块(21)、用于检测物件的高度信息的信息获取组件和用于采集物件的二维信息的摄像头(22)；所述激光测距模块(21)与所述信息获取组件相连接，所述信息获取组件、摄像头(22)和机械臂(3)分别与所述上位机(4)进行数据交互；所述上位机(4)根据由信息获取组件检测到的物件的高度信息和由摄像头(22)采集到的物件的二维信息，调整所述机械臂(3)的抓取位置而对不同规格的物件进行抓取处理。
2.根据权利要求1所述的基于三维机器视觉的智能机械臂系统，其特征在于：所述信息获取组件包括用于对物件进行条纹投影的投影仪(23)和用于对被投影有条纹的物件进行拍摄的相机(24)，所述投影仪(23)和相机(24)分别与所述上位机(4)相连接。
3.根据权利要求2所述的基于三维机器视觉的智能机械臂系统，其特征在于：所述传输机构(1)包括传送带(11)，所述传送带(11)沿着其运动方向设置有第一信息获取区、第二信息获取区和抓取区；所述激光测距模块(21)、投影仪(23)和相机(24)均对准所述第一信息获取区设置；所述摄像头(22)和机械臂(3)分别对准所述第二信息获取区和抓取区设置。
4.根据权利要求3所述的基于三维机器视觉的智能机械臂系统，其特征在于：所述传送带(11)还设置有用于检测传输速度的编码器(15)，所述编码器(15)与所述机械臂(3)相连接。
5.根据权利要求1－4任一所述的基于三维机器视觉的智能机械臂系统，其特征在于：所述机械臂(3)包括机械臂控制器(31)、用于进行传动的舵机(32)和用于对物件进行夹取的机械爪(33)，所述舵机(32)和机械爪(33)分别与所述机械臂控制器(31)相连接。
6.根据权利要求5所述的基于三维机器视觉的智能机械臂系统，其特征在于：所述机械爪(33)之中设置有用于检测抓取力度的压力传感器(34)，所述压力传感器(34)与所述机械臂控制器(31)相连接。
7.根据权利要求5所述的基于三维机器视觉的智能机械臂系统，其特征在于：所述上位机(4)设置有蓝牙发送模块(41)，所述机械臂控制器(31)设置有用于与所述蓝牙发送模块(41)配合通讯的蓝牙接收模块(35)。
8.基于三维机器视觉的智能机械臂系统的控制方法，其特征在于：包括：
启动传送带(11)，机械臂控制器(31)根据设置于所述传送带(11)之上的编码器(15)获取所述传送带(11)的传输速度；
初始化投影仪(23)、相机(24)、摄像头(22)和激光测距模块(21)；所述激光测距模块(21)检测到物件时，触发所述投影仪(23)朝物件投影条纹，并触发所述相机(24)对被投影有条纹的物件进行图像拍摄，上位机(4)根据由所述相机(24)拍摄到的图像获取物件的高度信息；
物件被传输到第二信息获取区时，所述摄像头(22)获取物件的二维信息，所述上位机(4)根据所述二维信息计算得到物件的长度信息、宽度信息以及物件中心距离机械臂坐标原点的距离信息，所述上位机(4)把所述高度信息、长度信息、宽度信息和距离信息发送给所述机械臂控制器(31)；
所述机械臂控制器(31)采用几何分析法解算出机械臂(3)中舵机(32)的旋转角度，并且根据第一信息获取区和抓取区之间预设的距离以及所述传送带(11)的传输速度，计算得到物件到达所述抓取区的到达时间；
所述机械臂控制器(31)结合所述到达时间驱动机械爪(33)对到达所述抓取区的物件进行抓取。
9.根据权利要求8所述的控制方法，其特征在于：所述激光测距模块(21)检测到物件时，触发所述投影仪(23)朝物件投影条纹，并触发所述相机(24)对被投影有条纹的物件进行图像拍摄，上位机(4)根据由所述相机(24)拍摄到的图像获取物件的高度信息，具体包括：分别对所述投影仪(23)和相机(24)进行标定，得到所述投影仪(23)和相机(24)的内外参数矩阵；
所述投影仪(23)对物件分别投影每组6张的两组不同波长的条纹图，所述相机(24)对应每一张被投影到物件之上的条纹图拍摄一张图片；利用六步相移轮廓术求解被投影到物件之上的变形条纹，得到包裹相位，对包裹相位进行相位展开，得到相位展开图，结合所述投影仪(23)和相机(24)的内外参数矩阵及所述相位展开图重构三维立体点云；对所述三维立体点云进行滤波，保留物件点云数据，并根据所述物件点云数据计算出物件的高度。
10.根据权利要求8所述的控制方法，其特征在于：所述机械臂控制器(31)结合所述到达时间驱动机械爪(33)对到达所述抓取区的物件进行抓取，具体包括：
当达到到达时间时，所述机械臂控制器(31)根据旋转角度驱动舵机(32)转动，使得机械爪(33)对准物件；
所述机械爪(33)根据所述长度信息和宽度信息张开与物件匹配的角度并对物件进行夹持，设置于所述机械爪(33)的压力传感器(34)根据检测到的压力值调整所述机械爪(33)对物件的抓取力度；
当所述机械爪(33)抓紧物件时，所述机械臂(3)将物件抓离所述传送带(11)并放置到指定的位置；
所述机械臂(3)复位，等待下一次抓取处理。
CN201810793463.6A 2018-07-17 2018-07-17 基于三维机器视觉的智能机械臂系统及其控制方法 Pending CN108789414A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810793463.6A CN108789414A (zh) 2018-07-17 2018-07-17 基于三维机器视觉的智能机械臂系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810793463.6A CN108789414A (zh) 2018-07-17 2018-07-17 基于三维机器视觉的智能机械臂系统及其控制方法

Publications (1)

Publication Number Publication Date
CN108789414A true CN108789414A (zh) 2018-11-13

Family

ID=64077115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810793463.6A Pending CN108789414A (zh) 2018-07-17 2018-07-17 基于三维机器视觉的智能机械臂系统及其控制方法

Country Status (1)

Country Link
CN (1) CN108789414A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109605381A (zh) * 2019-01-29 2019-04-12 欧米瑞（广东）智能制造有限公司 一种三维定位取料系统及取料方法
CN109782800A (zh) * 2019-01-28 2019-05-21 西安君晖航空科技有限公司 一种无人机物流送货系统及方法
CN109822566A (zh) * 2019-01-15 2019-05-31 北京镁伽机器人科技有限公司 机器人控制方法、系统及存储介质
CN109939944A (zh) * 2019-03-21 2019-06-28 上海创司杰医疗科技有限公司 一种全自动采血管分拣系统
CN110009985A (zh) * 2019-03-27 2019-07-12 深圳市问库信息技术有限公司 一种基于机器学习的沙盘制作装置
CN110480636A (zh) * 2019-08-13 2019-11-22 菏泽学院 一种基于三维视觉的机械臂控制系统
CN110480631A (zh) * 2019-07-19 2019-11-22 五邑大学 一种应用于搬运机器人的目标搬运方法及其搬运机器人
CN111015655A (zh) * 2019-12-18 2020-04-17 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人
CN111215800A (zh) * 2020-02-10 2020-06-02 武汉理工大学 一种用于焊接维修机器人的维修量检测装置及检测方法
CN111238367A (zh) * 2020-01-13 2020-06-05 清华大学深圳国际研究生院 一种绳驱机械臂三维臂型测量方法及装置
CN111347438A (zh) * 2020-02-24 2020-06-30 五邑大学 一种学习式机器人及基于其的学习矫正方法
CN111604916A (zh) * 2020-04-30 2020-09-01 上海允登信息科技有限公司 一种机房it设备故障机柜u位定位系统及方法
CN111790550A (zh) * 2019-11-08 2020-10-20 南京工业大学 一种基于机械臂的爬壁喷涂装置
CN112975943A (zh) * 2019-12-13 2021-06-18 广东弓叶科技有限公司 判断机器人夹爪最佳抓取高度的处理方法及系统
CN113103226A (zh) * 2021-03-08 2021-07-13 同济大学 一种面向陶瓷素坯加工制造的视觉引导机器人系统
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法
CN113848845A (zh) * 2021-11-26 2021-12-28 佛山华数机器人有限公司 一种多机器人高效打磨调度方法
CN114055438A (zh) * 2022-01-17 2022-02-18 湖南视比特机器人有限公司 视觉引导工件随动分拣系统及方法
CN114473223A (zh) * 2022-01-18 2022-05-13 赛轮集团股份有限公司 一种轮胎花纹自动雕刻系统及方法
CN116872186A (zh) * 2023-08-23 2023-10-13 福建顺昌蓝海轻工机械设备有限公司 一种智能制造生产车间用工业机器人

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN106247943A (zh) * 2016-09-23 2016-12-21 北京京东尚科信息技术有限公司 物品三维定位方法、装置和系统
CN106643555A (zh) * 2016-12-27 2017-05-10 清华大学 基于结构光三维测量系统的连接件识别方法
CN106985161A (zh) * 2016-12-22 2017-07-28 北京京东尚科信息技术有限公司 物品抓取系统和方法
CN107175681A (zh) * 2017-06-27 2017-09-19 武汉库柏特科技有限公司 一种柔性三指构型机械手
CN107649406A (zh) * 2017-09-30 2018-02-02 南京航空航天大学 一种高效的双目视觉多物料拾取系统及方法
CN208744837U (zh) * 2018-07-17 2019-04-16 五邑大学 基于三维机器视觉的智能机械臂系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104786226A (zh) * 2015-03-26 2015-07-22 华南理工大学 抓取在线工件的机器人位姿及运动轨迹定位系统与方法
CN106247943A (zh) * 2016-09-23 2016-12-21 北京京东尚科信息技术有限公司 物品三维定位方法、装置和系统
CN106985161A (zh) * 2016-12-22 2017-07-28 北京京东尚科信息技术有限公司 物品抓取系统和方法
CN106643555A (zh) * 2016-12-27 2017-05-10 清华大学 基于结构光三维测量系统的连接件识别方法
CN107175681A (zh) * 2017-06-27 2017-09-19 武汉库柏特科技有限公司 一种柔性三指构型机械手
CN107649406A (zh) * 2017-09-30 2018-02-02 南京航空航天大学 一种高效的双目视觉多物料拾取系统及方法
CN208744837U (zh) * 2018-07-17 2019-04-16 五邑大学 基于三维机器视觉的智能机械臂系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
田军营，田博韬: "《智能机器人设计速成》", 31 March 2017, 科学普及出版社, pages: 320 *
许鸿文: "《机器人完全DIY--从零起步》", 31 August 2015, 中国地质大学出版社, pages: 26 - 28 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109822566A (zh) * 2019-01-15 2019-05-31 北京镁伽机器人科技有限公司 机器人控制方法、系统及存储介质
CN109822566B (zh) * 2019-01-15 2021-10-22 深圳镁伽科技有限公司 机器人控制方法、系统及存储介质
CN109782800A (zh) * 2019-01-28 2019-05-21 西安君晖航空科技有限公司 一种无人机物流送货系统及方法
CN109605381A (zh) * 2019-01-29 2019-04-12 欧米瑞（广东）智能制造有限公司 一种三维定位取料系统及取料方法
CN109939944A (zh) * 2019-03-21 2019-06-28 上海创司杰医疗科技有限公司 一种全自动采血管分拣系统
CN109939944B (zh) * 2019-03-21 2024-05-28 上海创司杰医疗科技有限公司 一种全自动采血管分拣系统
CN110009985A (zh) * 2019-03-27 2019-07-12 深圳市问库信息技术有限公司 一种基于机器学习的沙盘制作装置
CN110009985B (zh) * 2019-03-27 2020-12-25 深圳市问库信息技术有限公司 一种基于机器学习的沙盘制作装置
CN110480631A (zh) * 2019-07-19 2019-11-22 五邑大学 一种应用于搬运机器人的目标搬运方法及其搬运机器人
WO2021012681A1 (zh) * 2019-07-19 2021-01-28 五邑大学 一种应用于搬运机器人的目标搬运方法及其搬运机器人
CN110480636A (zh) * 2019-08-13 2019-11-22 菏泽学院 一种基于三维视觉的机械臂控制系统
CN111790550A (zh) * 2019-11-08 2020-10-20 南京工业大学 一种基于机械臂的爬壁喷涂装置
CN112975943A (zh) * 2019-12-13 2021-06-18 广东弓叶科技有限公司 判断机器人夹爪最佳抓取高度的处理方法及系统
CN111015655A (zh) * 2019-12-18 2020-04-17 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人
CN111238367A (zh) * 2020-01-13 2020-06-05 清华大学深圳国际研究生院 一种绳驱机械臂三维臂型测量方法及装置
CN111238367B (zh) * 2020-01-13 2021-04-02 清华大学深圳国际研究生院 一种绳驱机械臂三维臂型测量方法及装置
CN111215800A (zh) * 2020-02-10 2020-06-02 武汉理工大学 一种用于焊接维修机器人的维修量检测装置及检测方法
CN111347438A (zh) * 2020-02-24 2020-06-30 五邑大学 一种学习式机器人及基于其的学习矫正方法
CN111604916B (zh) * 2020-04-30 2024-04-02 杭州优云科技有限公司 一种机房it设备故障机柜u位定位系统及方法
CN111604916A (zh) * 2020-04-30 2020-09-01 上海允登信息科技有限公司 一种机房it设备故障机柜u位定位系统及方法
CN113103226A (zh) * 2021-03-08 2021-07-13 同济大学 一种面向陶瓷素坯加工制造的视觉引导机器人系统
CN113510700A (zh) * 2021-05-19 2021-10-19 哈尔滨理工大学 一种机器人抓取任务的触觉感知方法
CN113848845A (zh) * 2021-11-26 2021-12-28 佛山华数机器人有限公司 一种多机器人高效打磨调度方法
CN114055438A (zh) * 2022-01-17 2022-02-18 湖南视比特机器人有限公司 视觉引导工件随动分拣系统及方法
CN114473223A (zh) * 2022-01-18 2022-05-13 赛轮集团股份有限公司 一种轮胎花纹自动雕刻系统及方法
CN116872186A (zh) * 2023-08-23 2023-10-13 福建顺昌蓝海轻工机械设备有限公司 一种智能制造生产车间用工业机器人
CN116872186B (zh) * 2023-08-23 2024-04-09 福州聚丰汽车零部件有限公司 一种智能制造生产车间用工业机器人

Similar Documents

Publication Publication Date Title
CN108789414A (zh) 基于三维机器视觉的智能机械臂系统及其控制方法
CN107150032B (zh) 一种基于多图像获取设备的工件识别与分拣装置和方法
JP6000579B2 (ja) 情報処理装置、情報処理方法
EP1043642A3 (en) Robot system having image processing function
CN110211180A (zh) 一种基于深度学习的机械臂自主抓取方法
CN109625986A (zh) 机器人码垛系统及其码垛方法
CN108177143A (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN107471218A (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN104511436A (zh) 一种基于机器人视觉伺服技术的快递分拣方法及系统
EP1043689A3 (en) Image processing apparatus
CN108748149B (zh) 一种复杂环境下基于深度学习的无标定机械臂抓取方法
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN107009358A (zh) 一种基于单相机的机器人无序抓取装置及方法
CN106530276A (zh) 一种用于非标准件抓取的机械手定位方法以及定位系统
CN106985161A (zh) 物品抓取系统和方法
EP3577629B1 (en) Calibration article for a 3d vision robotic system
Shimonomura et al. Robotic grasp control with high-resolution combined tactile and proximity sensing
CN208744837U (zh) 基于三维机器视觉的智能机械臂系统
CN110081816B (zh) 物品搬运系统
CN110374312B (zh) 搬运系统及其控制方法、地砖铺贴系统
CN110170996A (zh) 一种基于立体视觉的机器人快速示教系统
CN109489558A (zh) 距离测量系统和距离测量方法
KR20110095700A (ko) 작업대상물 픽업을 위한 산업용 로봇 제어방법
CN109916346B (zh) 一种基于视觉系统的工件平整度的检测装置及检测方法
JP6697510B2 (ja) ロボットシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination