CN114770461A - 一种基于单目视觉的移动机器人及其自动抓取方法 - Google Patents
一种基于单目视觉的移动机器人及其自动抓取方法 Download PDFInfo
- Publication number
- CN114770461A CN114770461A CN202210388751.XA CN202210388751A CN114770461A CN 114770461 A CN114770461 A CN 114770461A CN 202210388751 A CN202210388751 A CN 202210388751A CN 114770461 A CN114770461 A CN 114770461A
- Authority
- CN
- China
- Prior art keywords
- target object
- camera
- mobile robot
- arm
- steering engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000036544 posture Effects 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000001276 controlling effect Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
- B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
- B25J9/046—Revolute coordinate type
- B25J9/047—Revolute coordinate type the pivoting axis of the first arm being offset to the vertical axis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Abstract
本发明提供一种基于单目视觉的移动机器人及其自动抓取方法，该方法包括通过移动机器人匀速转动采集周围环境图像信息，当确认出现目标物体后，由机器人控制调整单目视觉姿态，使采集到的目标物体图像坐标位于整个摄像头视野的正中间，并朝目标物体移动；调用深度估计网络模型，得到目标物体距离移动机器人的距离深度；当目标物体出现在摄像头视野中时，计算得到目标物体在摄像头中的坐标位置，计算得到目标物体在夹爪坐标系中的坐标位置，计算出机械臂各舵机转动角度，从而引导机械臂进行自主抓取。应用本发明可以解决现有技术中存在的灵活性差不足、定位精度低、算法复杂等问题，方法过程简便、通用性强、计算量小、计算效率高、测量准确度高。
Description
技术领域
本发明涉及机器人技术领域，具体涉及一种基于单目视觉的移动机器人以及应用该机器人的自动抓取方法。
背景技术
随着机器人广泛应用于工业、农业、服务业等各种领域，机器人抓取技术作为机器人控制技术的主要研究方向之一，也得到了越来越多的关注和研究。尤其是基于视觉的机器人灵巧抓取一直是机器人智能控制的焦点。无论在非结构化还是在未知的动态环境中，视觉传感器都可以提供实时信息给机器人，由此可以增加机器人抓取系统的灵活性和鲁棒性。
随着移动机器人技术的快速发展，由平台、机械臂和摄像头构成的基于视觉的机器人系统，移动机械臂结合了自动导航小车的大范围行动能力和机械臂的高效作业能力，打破了固有的流水线作业方式，提升了生产线的柔性，被广泛应用于抓取、焊接、救援、搬运等工作。但由于自动导航小车定位精度低，给机械臂的抓取任务引入了偏差，因此研究一种基于机器视觉技术的移动机械臂抓取方法具有重要意义。
现有的机器人系统存在以下几点问题：
1、精度高的视觉模型大，需要高性能的处理设备；
2、机械臂多数应用于固定平台，在移动端应用较少。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于单目视觉的移动机器人自动抓取方法及系统，该方法和系统可以解决现有技术中存在的灵活性差不足、定位精度低、算法复杂等问题，方法过程简便、通用性强、计算量小、计算效率高、测量准确度高。
为解决上述问题，本发明所采用的技术方案如下：
一种基于单目视觉的移动机器人，包括：机器人主体以及安装在所述机器人主体上的机械臂，所述机器人主体底部安设有麦克纳姆轮，所述机械臂包括第一臂、第二臂、第三臂、第四臂、第五臂、第六臂、第一舵机、第二舵机、第三舵机、第四舵机、第五舵机、第六舵机，所述第一舵机安装在所述麦克纳姆轮上，所述第一臂固定在所述机器人主体上，所述第一臂与所述第二臂通过所述第二舵机连接，所述第二臂与所述第三臂通过所述第三舵机连接，所述第三臂与所述第四臂通过所述第四舵机连接，所述第四臂与所述第五臂通过所述第五舵机连接，所述第五臂与所述第六臂通过所述第六舵机连接，所述第六臂的端部具有夹爪，所述夹爪上方设有摄像头；其中，所述机器人主体内设置有处理器，用于分析所述摄像头采集的图像信息，根据处理结果控制所述麦克纳姆轮和机械臂的动作，进行自主抓取目标物体。
一种基于单目视觉的移动机器人的自动抓取方法，该移动机器人是采用上述的移动机器人，该方法包括以下步骤：对移动机器人进行初始化；通过移动机器人匀速转动采集周围环境图像信息，判断采集得到的图像信息是否存在待抓取的目标物体，当确认出现目标物体后，由机器人控制调整单目视觉姿态，使采集到的目标物体图像坐标位于整个摄像头视野的正中间，并朝目标物体移动；根据采集到的目标物体图像信息，调用深度估计网络模型，得到目标物体距离移动机器人的距离深度；当目标物体出现在摄像头视野中时，计算得到目标物体在摄像头中的坐标位置，计算得到目标物体在夹爪坐标系中的坐标位置，通过机械臂逆运动学计算出机械臂各个舵机转动角度，得到对应的动作指令，从而引导机械臂进行自主抓取。
进一步的方案是，所述对移动机器人进行初始化，包括：将待抓取的目标物体放置在移动机器人的摄像头前，转动移动机器人的舵机至第一姿态，将机械臂初始化至摄像头水平状态，记录当前位置姿态信息，标定摄像头获取标定参数，建立机械臂的标准摄像位姿；提取目标物体学习特征，导入预训练的神经网络模型，训练得到目标识别模型。
更进一步的方案是，当得到目标物体距离移动机器人的距离深度后，移动机器人以第一设定速率往目标物体方向做直线移动，并转动机械臂始终保持目标物体位于摄像头视野中，当与目标物体小于设定距离时，调整机械臂使得摄像头垂直水平面拍摄，并以第二设定速率往目标物体方向前进。
更进一步的方案是，所述标定摄像头获取标定参数，包括：通过手眼标定方式获取摄像头坐标系转换到夹爪坐标系的变换矩阵
更进一步的方案是，所述通过移动机器人匀速转动采集周围环境图像信息，包括：移动机器人的第一舵机以角速度w0顺时针方向转动，根据摄像头采集的图像数据，对图像数据进行处理并识别目标物体，判断采集得到的图像信息是否存在待抓取的目标物体。
更进一步的方案是，当摄像头捕捉到目标物体后，转动第一舵机，通过PID控制算法调节摄像头角度使得目标物体位于摄像头中心位置，当目标物体位于摄像头中心位置后，以摄像头的偏航角ysw为基准，移动机器人底盘和第一舵机同时沿相反方向以角速度w1转动，保持摄像头的偏航角ysw不变，使得移动机器人转回到第一姿态。
更进一步的方案是，所述移动机器人以第一设定速率往目标物体方向做直线移动，包括：根据深度信息D，调用IMU信息控制移动机器人四个轮速保持v1速度沿着摄像头的偏航角ysw方向做直线移动，并且通过移动机器人编码器信息计算出编码器转动量转换出移动机器人的前进距离S；在移动机器人前进过程中，调节第二舵机和第三舵机，使得目标物体始终位于摄像头视野中
更进一步的方案是，当目标物体出现在摄像头视野中时，移动机器人停止移动，截取摄像头的图像数据，通过训练好的目标识别模型计算出目标物体所在图像的二维平面坐标，通过
计算出目标物体位于夹爪坐标系的位置，通过机械臂逆运动学计算出机械臂各个舵机转动角度，并且转动机械臂。
更进一步的方案是，当机械臂转动完成后，通过摄像头判断机械臂是否到达抓取位置，若确定到达抓取位置后，移动机器人夹爪闭合，回到第二姿态完成目标抓取动作；若未到达抓取位置，则重新规划路径。
由此可见，相比现有技术，本发明提供了一种基于单目视觉的移动机器人及其自动抓取方法，在深度网络模型精度不高的情况下，也可以完成目标的抓取，从而降低模型的深度和计算复杂度，方便应用在轻量化机器人中，无需使用价格昂贵的深度摄像头，从而降低成本。
因此，本发明可以准确完成移动机器人对目标自动抓取，机器人无需配备高性能处理器和深度摄像头，轻量化机器人。此外，本发明可以不断收集训练数据对强化学习网络进行训练和优化，从而能够明显提升机械臂抓取目标的效率。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1是本发明一种基于单目视觉的移动机器人实施例中第一姿态的结构示意图。
图2是本发明一种基于单目视觉的移动机器人实施例中第二姿态的结构示意图。
图3是本发明一种基于单目视觉的移动机器人的自动抓取方法实施例的流程图。
图4是本发明一种基于单目视觉的移动机器人的自动抓取方法实施例中关于移动机器人初始化的流程图。
图5是本发明一种基于单目视觉的移动机器人的自动抓取方法实施例的具体流程图。
具体实施方式
一种基于单目视觉的移动机器人实施例：
参见图1与图2，本发明提供的一种基于单目视觉的移动机器人，包括：机器人主体10以及安装在机器人主体10上的机械臂，机器人主体10底部设有麦克纳姆轮20，机械臂包括第一臂21、第二臂22、第三臂23、第四臂24、第五臂25、第六臂26、第一舵机1、第二舵机2、第三舵机3、第四舵机4、第五舵机5、第六舵机6，第一舵机1安装在麦克纳姆轮20上，第一臂21固定在机器人主体10上，第一臂21与第二臂22通过第二舵机2连接，第二臂22与第三臂23通过第三舵机3连接，第三臂23与第四臂24通过第四舵机4连接，第四臂24与第五臂25通过第五舵机5连接，第五臂25与第六臂26通过第六舵机6连接，第六臂26的端部具有夹爪30，夹爪30上方设有摄像头40；其中，机器人主体10内设置有处理器，用于分析摄像头40采集的图像信息，根据处理结果控制麦克纳姆轮20和机械臂的动作，进行自主抓取目标物体。
一种基于单目视觉的移动机器人的自动抓取方法实施例：
如图1所示，一种基于单目视觉的移动机器人自动抓取方法，该移动机器人是采用上述的移动机器人，该方法包括以下步骤：
步骤S1，对移动机器人进行初始化。
步骤S2，通过移动机器人匀速转动采集周围环境图像信息，判断采集得到的图像信息是否存在待抓取的目标物体，当确认出现目标物体后，由机器人控制调整单目视觉姿态，使采集到的目标物体图像坐标位于整个摄像头视野的正中间，并朝目标物体移动。
步骤S3，根据采集到的目标物体图像信息，调用深度估计网络模型，得到目标物体距离移动机器人的距离深度。
步骤S4，当目标物体出现在摄像头视野中时，计算得到目标物体在摄像头40中的坐标位置，计算得到目标物体在夹爪坐标系中的坐标位置，通过机械臂逆运动学计算出机械臂各个舵机转动角度，得到对应的动作指令，从而引导机械臂进行自主抓取。
在上述步骤S1中，如图3所示，对移动机器人进行初始化，包括：将待抓取的目标物体放置在移动机器人的摄像头40前，转动移动机器人的舵机至第一姿态，将机械臂初始化至摄像头水平状态，记录当前位置姿态信息，标定摄像头40获取标定参数，建立机械臂的标准摄像位姿；提取目标物体学习特征，导入预训练的神经网络模型，训练得到目标识别模型。
其中，标定摄像头40获取标定参数，包括：通过手眼标定方式获取摄像头坐标系转换到夹爪坐标系的变换矩阵
在上述步骤S3中，当得到目标物体距离移动机器人的距离深度后，移动机器人以第一设定速率往目标物体方向做直线移动，并转动机械臂始终保持目标物体位于摄像头视野中，当与目标物体小于设定距离时，调整机械臂使得摄像头40垂直水平面拍摄，并以第二设定速率往目标物体方向前进。
在上述步骤S2中，通过移动机器人匀速转动采集周围环境图像信息，包括：移动机器人的第一舵机1以角速度w0顺时针方向转动，根据摄像头40采集的图像数据，对图像数据进行处理并识别目标物体，判断采集得到的图像信息是否存在待抓取的目标物体。
当摄像头40捕捉到目标物体后，转动第一舵机1，通过PID控制算法调节摄像头40角度使得目标物体位于摄像头40中心位置，当目标物体位于摄像头40中心位置后，以摄像头40的偏航角ysw为基准，移动机器人底盘和第一舵机1同时沿相反方向以角速度w1转动，保持摄像头40的偏航角ysw不变，使得移动机器人转回到第一姿态。
当移动机器人以第一设定速率往目标物体方向做直线移动时，根据深度信息D，调用IMU信息控制移动机器人四个轮速保持v1速度沿着摄像头40的偏航角ysw方向做直线移动，并且通过移动机器人编码器信息计算出编码器转动量转换出移动机器人的前进距离S。
在移动机器人前进过程中，调节第二舵机2和第三舵机3，使得目标物体始终位于摄像头视野中。
在上述步骤S4中，当目标物体出现在摄像头视野中时，移动机器人停止移动，截取摄像头40的图像数据，通过训练好的目标识别模型计算出目标物体所在图像的二维平面坐标，通过
计算出目标物体位于夹爪坐标系的位置，通过机械臂逆运动学计算出机械臂各个舵机转动角度，并且转动机械臂。
当机械臂转动完成后，通过摄像头40判断机械臂是否到达抓取位置，若确定到达抓取位置后，移动机器人夹爪30闭合，回到第二姿态完成目标抓取动作；若未到达抓取位置，则重新规划路径。
进一步的，重复上述步骤S1～S4，收集对应的训练数据并存储到记忆库，同时对学习网络进行优化，直至完成设定的训练次数。
在实际应用中，首先，移动机器人开机，初始化移动机器人上的传感器，如IMU等。记录当前位置姿态(偏航角等)，将移动机器人的机械臂初始化至如图1所示的第一姿态形态。
然后，通过手眼标定方式获取摄像头坐标系转换到夹爪坐标系的变换矩阵
在目标物体抓取前，将待抓取的目标物体摆放在摄像头40前，摄像头40通过采集到的物体信息通过迁移学习的方式，在已有的识别网络中进行二次训练，得到能够识别出目标物体的新网络，即目标识别模型。
接着，第一舵机1以角速度w0顺时针方向转动，根据摄像头40采集的图像数据，对图像进行处理识别物体。当摄像头40捕捉到目标物体后，转动第一舵机1，通过PID控制算法调节摄像头40角度使得目标物体位于摄像头40中心位置。当目标物体位于摄像头40中心位置后，以摄像头40的偏航角ysw为基准，移动机器人底盘与第一舵机1同时沿相反方向以角速度w1转动，保持摄像头40的ysw不变，转回到第一姿态形态。
然后，根据摄像头40采集的图像信息，调用深度估计神经网络，得到目标物体距离移动机器人的估计深度D，根据深度信息D，调用IMU信息控制移动机器人的四个轮速保持以v1的速度沿着ysw方向直线前进，并且通过移动机器人编码器信息，计算编码器转动量转换出移动机器人前进距离S。在移动机器人前进过程中，调节第二舵机2和第三舵机3，使得目标物体始终位于摄像头视野中。当前进距离S＞D-ε，ε为姿态切换阈值，调节移动机器人至第二姿态，如图2所示，并以速度v2缓慢前进。
当目标物体出现在摄像头视野中时，移动机器人静止，截取摄像头40的照片，通过神经网络计算出目标物体所在照片的二维平面坐标，通过
计算出目标物体位于夹爪坐标系的位置，通过机械臂逆运动学计算出机械臂各舵机转动角度，转动机械臂。
当机械臂转动完成后，通过摄像头40判断是否到达位置，若未到达，则重新规划路径，若到达后，夹爪30闭合，回到第二姿态完成目标抓取动作。具体算法如图5所示。
由此可见，相比现有技术，本发明提供了一种基于单目视觉的移动机器人及其自动抓取方法，首先，将抓取目标放置在摄像头40前，通过目标学习特征，获得能够识别目标物体的网络模型，然后，顺时针匀速转动机械臂带动摄像头40水平转动，观察四周是否出现目标物体，当发现目标物体时，机械臂转动使得目标物体位于摄像头视野正中间。同时，移动机器人底盘使底盘也朝着目标物体的方向。然后，通过单目摄像头40捕捉的照片，送入深度估计网络模型，得到目标物体距离摄像头40的距离深度。接着，移动机器人向前直线移动，并转动机械臂始终保持目标位于摄像头视野中，当快靠近目标物体时，调整机械臂，使得摄像头40垂直水平面拍摄，并缓慢前进。当目标物体出现在摄像头视野中时，通过识别网络得到目标物体在摄像头40中的位置，通过计算得到其在夹爪坐标系中的位置，最后通过逆运动学计算出机械臂各个舵机转角，最终完成抓取。
可见，在深度网络模型精度不高的情况下，本发明也可以完成目标的抓取，从而降低模型的深度和计算复杂度，方便应用在轻量化机器人中，无需使用价格昂贵的深度摄像头40，从而降低成本。所以，本发明可以准确完成移动机器人对目标自动抓取，机器人无需配备高性能处理器和深度摄像头40，轻量化机器人。此外，本发明可以不断收集训练数据对强化学习网络进行训练和优化，从而能够明显提升机械臂抓取目标的效率。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种基于单目视觉的移动机器人，其特征在于，包括：
机器人主体以及安装在所述机器人主体上的机械臂，所述机器人主体底部安设有麦克纳姆轮，所述机械臂包括第一臂、第二臂、第三臂、第四臂、第五臂、第六臂、第一舵机、第二舵机、第三舵机、第四舵机、第五舵机、第六舵机，所述第一舵机安装在所述麦克纳姆轮上，所述第一臂固定在所述机器人主体上，所述第一臂与所述第二臂通过所述第二舵机连接，所述第二臂与所述第三臂通过所述第三舵机连接，所述第三臂与所述第四臂通过所述第四舵机连接，所述第四臂与所述第五臂通过所述第五舵机连接，所述第五臂与所述第六臂通过所述第六舵机连接，所述第六臂的端部具有夹爪，所述夹爪上方设有摄像头；
其中，所述机器人主体内设置有处理器，用于分析所述摄像头采集的图像信息，根据处理结果控制所述麦克纳姆轮和机械臂的动作，进行自主抓取目标物体。
2.一种基于单目视觉的移动机器人的自动抓取方法，其特征在于，该移动机器人是采用如权利要求1所述的移动机器人，该方法包括以下步骤：
对移动机器人进行初始化；
通过移动机器人匀速转动采集周围环境图像信息，判断采集得到的图像信息是否存在待抓取的目标物体，当确认出现目标物体后，由机器人控制调整单目视觉姿态，使采集到的目标物体图像坐标位于整个摄像头视野的正中间，并朝目标物体移动；
根据采集到的目标物体图像信息，调用深度估计网络模型，得到目标物体距离移动机器人的距离深度；
当目标物体出现在摄像头视野中时，计算得到目标物体在摄像头中的坐标位置，计算得到目标物体在夹爪坐标系中的坐标位置，通过机械臂逆运动学计算出机械臂各个舵机转动角度，得到对应的动作指令，从而引导机械臂进行自主抓取。
3.根据权利要求2所述的方法，其特征在于，所述对移动机器人进行初始化，包括：
将待抓取的目标物体放置在移动机器人的摄像头前，转动移动机器人的舵机至第一姿态，将机械臂初始化至摄像头水平状态，记录当前位置姿态信息，标定摄像头获取标定参数，建立机械臂的标准摄像位姿；提取目标物体学习特征，导入预训练的神经网络模型，训练得到目标识别模型。
4.根据权利要求3所述的方法，其特征在于，所述标定摄像头获取标定参数，包括：
通过手眼标定方式获取摄像头坐标系转换到夹爪坐标系的变换矩阵
5.根据权利要求4所述的方法，其特征在于：
当得到目标物体距离移动机器人的距离深度后，移动机器人以第一设定速率往目标物体方向做直线移动，并转动机械臂始终保持目标物体位于摄像头视野中，当与目标物体小于设定距离时，调整机械臂使得摄像头垂直水平面拍摄，并以第二设定速率往目标物体方向前进。
6.根据权利要求5所述的方法，其特征在于，所述通过移动机器人匀速转动采集周围环境图像信息，包括：
移动机器人的第一舵机以角速度w3顺时针方向转动，根据摄像头采集的图像数据，对图像数据进行处理并识别目标物体，判断采集得到的图像信息是否存在待抓取的目标物体。
7.根据权利要求6所述的方法，其特征在于：
当摄像头捕捉到目标物体后，转动第一舵机，通过PID控制算法调节摄像头角度使得目标物体位于摄像头中心位置，当目标物体位于摄像头中心位置后，以摄像头的偏航角yew为基准，移动机器人底盘和第一舵机同时沿相反方向以角速度wi转动，保持摄像头的偏航角yew不变，使得移动机器人转回到第一姿态。
8.根据权利要求7所述的方法，其特征在于，所述移动机器人以第一设定速率往目标物体方向做直线移动，包括：
根据深度信息D，调用IMU信息控制移动机器人四个轮速保持vi速度沿着摄像头的偏航角yew方向做直线移动，并且通过移动机器人编码器信息计算出编码器转动量转换出移动机器人的前进距离S；
在移动机器人前进过程中，调节第二舵机和第三舵机，使得目标物体始终位于摄像头视野中。
9.根据权利要求8所述的方法，其特征在于：
当目标物体出现在摄像头视野中时，移动机器人停止移动，截取摄像头的图像数据，通过训练好的目标识别模型计算出目标物体所在图像的二维平面坐标，通过
计算出目标物体位于夹爪坐标系的位置，通过机械臂逆运动学计算出机械臂各个舵机转动角度，并且转动机械臂。
10.根据权利要求9所述的方法，其特征在于：
当机械臂转动完成后，通过摄像头判断机械臂是否到达抓取位置，若确定到达抓取位置后，移动机器人夹爪闭合，回到第二姿态完成目标抓取动作；若未到达抓取位置，则重新规划路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210388751.XA CN114770461B (zh) | 2022-04-14 | 2022-04-14 | 一种基于单目视觉的移动机器人及其自动抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210388751.XA CN114770461B (zh) | 2022-04-14 | 2022-04-14 | 一种基于单目视觉的移动机器人及其自动抓取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114770461A true CN114770461A (zh) | 2022-07-22 |
| CN114770461B CN114770461B (zh) | 2023-12-01 |
Family
ID=82429867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210388751.XA Active CN114770461B (zh) | 2022-04-14 | 2022-04-14 | 一种基于单目视觉的移动机器人及其自动抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114770461B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115401689A (zh) * | 2022-08-01 | 2022-11-29 | 北京市商汤科技开发有限公司 | 基于单目相机的距离测量方法、装置以及计算机存储介质 |
| CN117428792A (zh) * | 2023-12-21 | 2024-01-23 | 商飞智能技术有限公司 | 用于机器人的作业系统及方法 |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103862476A (zh) * | 2014-03-31 | 2014-06-18 | 内蒙古科技大学 | 一种六自由度机械手的位置逆解方法 |
| CN105751230A (zh) * | 2016-03-31 | 2016-07-13 | 纳恩博（北京）科技有限公司 | 一种路径控制方法、路径规划方法、第一设备及第二设备 |
| CN106444780A (zh) * | 2016-11-10 | 2017-02-22 | 速感科技（北京）有限公司 | 一种基于视觉定位算法的机器人的自主导航方法及系统 |
| CN107009357A (zh) * | 2017-04-05 | 2017-08-04 | 武汉科技大学 | 一种基于nao机器人抓取物体的方法 |
| CN107139179A (zh) * | 2017-05-26 | 2017-09-08 | 西安电子科技大学 | 一种智能服务机器人及工作方法 |
| CN107433573A (zh) * | 2017-09-04 | 2017-12-05 | 上海理工大学 | 智能双目自动抓取机械臂 |
| CN108369743A (zh) * | 2015-08-28 | 2018-08-03 | 帝国科技及医学学院 | 使用多方向相机地图构建空间 |
| CN109079799A (zh) * | 2018-10-23 | 2018-12-25 | 哈尔滨工业大学（深圳） | 一种基于仿生的机器人感知控制系统及控制方法 |
| CN109318227A (zh) * | 2018-09-21 | 2019-02-12 | 厦门理工学院 | 一种基于人形机器人的掷骰子方法及人形机器人 |
| CN109607088A (zh) * | 2019-01-29 | 2019-04-12 | 北京极智嘉科技有限公司 | 一种货物拣选系统及货物拣选方法 |
| JP2019093537A (ja) * | 2017-11-28 | 2019-06-20 | 国立大学法人大阪大学 | 深層学習システム、深層学習方法及びロボット |
| CN110605711A (zh) * | 2018-06-14 | 2019-12-24 | 中瑞福宁机器人（沈阳）有限公司 | 一种控制协作机器人抓取物体的方法、装置及系统 |
| CN111055281A (zh) * | 2019-12-19 | 2020-04-24 | 杭州电子科技大学 | 一种基于ros的自主移动抓取系统与方法 |
| WO2020121399A1 (ja) * | 2018-12-11 | 2020-06-18 | 株式会社Ｆｕｊｉ | ロボット制御システム及びロボット制御方法 |
| US20200238525A1 (en) * | 2019-01-28 | 2020-07-30 | Cognex Corporation | System and method for automatic hand-eye calibration of vision system for robot motion |
| US20200290201A1 (en) * | 2018-07-09 | 2020-09-17 | Wuyi University | Least square-based mechanical arm control method for robot experimental teaching |
| CN112347900A (zh) * | 2020-11-04 | 2021-02-09 | 中国海洋大学 | 基于距离估计的单目视觉水下目标自动抓取方法 |
| CN113334368A (zh) * | 2021-06-29 | 2021-09-03 | 西安理工大学 | 一种垃圾分类装置及分类方法 |
| CN113341979A (zh) * | 2021-06-11 | 2021-09-03 | 浙江理工大学 | 一种基于ros的超市购物机器人 |
| CN113489893A (zh) * | 2020-07-31 | 2021-10-08 | 深圳技术大学 | 实时目标物体追踪定位方法以及实时目标物体追踪定位装置 |
| CN113561178A (zh) * | 2021-07-30 | 2021-10-29 | 燕山大学 | 一种水下机器人智能抓取装置及其方法 |
| CN113784825A (zh) * | 2019-03-27 | 2021-12-10 | 波士顿动力公司 | 码放盒子的机器人和方法 |
| US20210394367A1 (en) * | 2019-04-05 | 2021-12-23 | Robotic Materials, Inc. | Systems, Devices, Components, and Methods for a Compact Robotic Gripper with Palm-Mounted Sensing, Grasping, and Computing Devices and Components |
-
2022
- 2022-04-14 CN CN202210388751.XA patent/CN114770461B/zh active Active
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103862476A (zh) * | 2014-03-31 | 2014-06-18 | 内蒙古科技大学 | 一种六自由度机械手的位置逆解方法 |
| CN108369743A (zh) * | 2015-08-28 | 2018-08-03 | 帝国科技及医学学院 | 使用多方向相机地图构建空间 |
| CN105751230A (zh) * | 2016-03-31 | 2016-07-13 | 纳恩博（北京）科技有限公司 | 一种路径控制方法、路径规划方法、第一设备及第二设备 |
| CN106444780A (zh) * | 2016-11-10 | 2017-02-22 | 速感科技（北京）有限公司 | 一种基于视觉定位算法的机器人的自主导航方法及系统 |
| CN107009357A (zh) * | 2017-04-05 | 2017-08-04 | 武汉科技大学 | 一种基于nao机器人抓取物体的方法 |
| CN107139179A (zh) * | 2017-05-26 | 2017-09-08 | 西安电子科技大学 | 一种智能服务机器人及工作方法 |
| CN107433573A (zh) * | 2017-09-04 | 2017-12-05 | 上海理工大学 | 智能双目自动抓取机械臂 |
| JP2019093537A (ja) * | 2017-11-28 | 2019-06-20 | 国立大学法人大阪大学 | 深層学習システム、深層学習方法及びロボット |
| CN110605711A (zh) * | 2018-06-14 | 2019-12-24 | 中瑞福宁机器人（沈阳）有限公司 | 一种控制协作机器人抓取物体的方法、装置及系统 |
| US20200290201A1 (en) * | 2018-07-09 | 2020-09-17 | Wuyi University | Least square-based mechanical arm control method for robot experimental teaching |
| CN109318227A (zh) * | 2018-09-21 | 2019-02-12 | 厦门理工学院 | 一种基于人形机器人的掷骰子方法及人形机器人 |
| CN109079799A (zh) * | 2018-10-23 | 2018-12-25 | 哈尔滨工业大学（深圳） | 一种基于仿生的机器人感知控制系统及控制方法 |
| WO2020121399A1 (ja) * | 2018-12-11 | 2020-06-18 | 株式会社Ｆｕｊｉ | ロボット制御システム及びロボット制御方法 |
| US20200238525A1 (en) * | 2019-01-28 | 2020-07-30 | Cognex Corporation | System and method for automatic hand-eye calibration of vision system for robot motion |
| CN109607088A (zh) * | 2019-01-29 | 2019-04-12 | 北京极智嘉科技有限公司 | 一种货物拣选系统及货物拣选方法 |
| CN113784825A (zh) * | 2019-03-27 | 2021-12-10 | 波士顿动力公司 | 码放盒子的机器人和方法 |
| US20210394367A1 (en) * | 2019-04-05 | 2021-12-23 | Robotic Materials, Inc. | Systems, Devices, Components, and Methods for a Compact Robotic Gripper with Palm-Mounted Sensing, Grasping, and Computing Devices and Components |
| CN111055281A (zh) * | 2019-12-19 | 2020-04-24 | 杭州电子科技大学 | 一种基于ros的自主移动抓取系统与方法 |
| CN113489893A (zh) * | 2020-07-31 | 2021-10-08 | 深圳技术大学 | 实时目标物体追踪定位方法以及实时目标物体追踪定位装置 |
| CN112347900A (zh) * | 2020-11-04 | 2021-02-09 | 中国海洋大学 | 基于距离估计的单目视觉水下目标自动抓取方法 |
| CN113341979A (zh) * | 2021-06-11 | 2021-09-03 | 浙江理工大学 | 一种基于ros的超市购物机器人 |
| CN113334368A (zh) * | 2021-06-29 | 2021-09-03 | 西安理工大学 | 一种垃圾分类装置及分类方法 |
| CN113561178A (zh) * | 2021-07-30 | 2021-10-29 | 燕山大学 | 一种水下机器人智能抓取装置及其方法 |
Non-Patent Citations (6)
| Title |
|---|
| YICHUAN FU: "Fault Classification for Wind Turbine Benchmark Model Based on Hilbert-Huang Transformation and Support Vector Machine Strategies", 2021 IEEE 19TH INTERNATIONAL CONFERENCE ON INDUSTRIAL INFORMATICS (INDIN) * |
| 夏胜杰: "基于Arduino单片机和OpenMV的颜色目标定位与跟踪小车的设计与实现", 常熟理工学院学报 * |
| 张柯凡: "基于深度学习的室内简单环境寻路算法", 物联网技术 * |
| 张爱华: "基于固定时间扰动观测器的四旋翼无人机轨迹跟踪控制", 计算机测量与控制 * |
| 曹钰鑫: "基于视觉感知的巡线机器人系统", 电子测试 * |
| 黄刚: "双目视觉系统实现羽毛球实时跟踪", 电子测量与仪器学报 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115401689A (zh) * | 2022-08-01 | 2022-11-29 | 北京市商汤科技开发有限公司 | 基于单目相机的距离测量方法、装置以及计算机存储介质 |
| CN115401689B (zh) * | 2022-08-01 | 2024-03-29 | 北京市商汤科技开发有限公司 | 基于单目相机的距离测量方法、装置以及计算机存储介质 |
| CN117428792A (zh) * | 2023-12-21 | 2024-01-23 | 商飞智能技术有限公司 | 用于机器人的作业系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114770461B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110900581B (zh) | 基于RealSense相机的四自由度机械臂视觉伺服控制方法及装置 | |
| CN108182689B (zh) | 应用于机器人搬运打磨领域的板状工件三维识别定位方法 | |
| CN107433573B (zh) | 智能双目自动抓取机械臂 | |
| CN114770461B (zh) | 一种基于单目视觉的移动机器人及其自动抓取方法 | |
| CN109571487B (zh) | 一种基于视觉的机器人演示学习方法 | |
| CN110842928A (zh) | 一种复合机器人视觉引导定位装置及方法 | |
| JP2022542239A (ja) | 視角エンベディングに基づいた自律タスク実行 | |
| CN111823223B (zh) | 一种基于智能立体视觉的机器人手臂抓取控制系统及方法 | |
| CN111243017A (zh) | 基于3d视觉的智能机器人抓取方法 | |
| US11833682B2 (en) | Robot, method, and manipulating system | |
| CN111203849A (zh) | 一种移动机器人抓取作业系统及控制方法 | |
| CN112109074A (zh) | 一种机器人目标图像抓取方法 | |
| CN113172632A (zh) | 一种基于图像的简化机器人视觉伺服控制方法 | |
| Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
| CN113858217A (zh) | 多机器人交互的三维视觉位姿感知方法及系统 | |
| CN116852352A (zh) | 一种基于ArUco码的电力二次设备机械臂定位方法 | |
| CN113681560B (zh) | 基于视力融合的机械臂操作铰接物体的方法 | |
| Zhou et al. | Visual servo control system of 2-DOF parallel robot | |
| Frink et al. | Invisible leash: Object-following robot | |
| CN211890823U (zh) | 基于RealSense相机的四自由度机械臂视觉伺服控制系统 | |
| Lang et al. | Visual servoing with LQR control for mobile robots | |
| CN113352314A (zh) | 基于闭环反馈的机器人运动控制系统及方法 | |
| CN112123329A (zh) | 一种机器人3d视觉手眼标定方法 | |
| Wang et al. | Object Grabbing of Robotic Arm Based on OpenMV Module Positioning | |
| Chiu et al. | Grasp Planning and Control for Robotic Mobile Manipulation Based on Semantic Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |