CN111702755B - 一种基于多目立体视觉的机械臂智能控制系统 - Google Patents
一种基于多目立体视觉的机械臂智能控制系统 Download PDFInfo
- Publication number
- CN111702755B CN111702755B CN202010452288.1A CN202010452288A CN111702755B CN 111702755 B CN111702755 B CN 111702755B CN 202010452288 A CN202010452288 A CN 202010452288A CN 111702755 B CN111702755 B CN 111702755B
- Authority
- CN
- China
- Prior art keywords
- manipulator
- mechanical arm
- acquisition unit
- target object
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 12
- 238000004220 aggregation Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 210000000707 wrist Anatomy 0.000 claims description 7
- 238000010295 mobile communication Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000008054 signal transmission Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 239000003990 capacitor Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于多目立体视觉的机械臂智能控制系统,包括机械手，及与机械手信号连接的机械手控制器；在机械手周边固定安装有作用于目标物体的双目摄像机图像采集单元，双目摄像机图像采集单元通过数据线与上位机连接；双目摄像机图像采集单元采用了改进的跨尺度引导滤波结合加权中值滤波视差细化的算法，实现对目标物体的三维重建，完成目标物体的粗定位，并采用5‑3‑5多项式插值轨迹规划方法进行机械臂运动轨迹规划；所述的机械手的夹爪处安装有单目摄像机图像采集单元，其随机械臂移动获取图像；单目摄像机图像采集单元通过无线传输模块与上位机互相通信，单目摄像机图像采集单元采用基于SURF的模板匹配法进行目标物体精确定位。
Description
技术领域
本发明涉及图像识别和机械臂技术领域，具体涉及一种基于多目立体视觉的机械臂智能控制系统。
背景技术
从20世纪60年代世界上首台机器人的问世起，到如今接近60年的时间里机器人技术的研究和应用一直受到广泛关注和飞速发展，在工业、农业、军事、医疗、家庭服务等诸多领域都涌现出各种类型机器人的应用场景。我国作为制造大国，存在很多大批量的工业生产，很多场景下需要即时对产品进行检测、识别、分类和装配等，在将会使机器人技术得到快速的发展。
目前，机械臂由于图像处理会有误差，无法实现准确的抓取。再者，机械臂抓取过程中，关节之间存在跳跃现象对机械臂和电机损耗较严重。
发明内容
针对上述的技术问题，本技术方案提供了一种基于多目立体视觉的机械臂智能控制系统，能有效的解决上述问题。
本发明通过以下技术方案实现：
一种基于多目立体视觉的机械臂智能控制系统,包括安装在目标物体边上作用于目标物体的机械手，机械手小臂的末端安装有夹爪；以及与机械手信号连接的机械手控制器，在机械手周边固定安装有作用于目标物体的双目摄像机图像采集单元，双目摄像机图像采集单元采用了改进的跨尺度引导滤波结合加权中值滤波视差细化的算法，实现对目标物体的三维重建，完成目标物体的粗定位，并采用5-3-5多项式插值轨迹规划方法进行机械臂运动轨迹规划，将物体三维重建的坐标传输至机械臂控制器，机械臂控制器控制机械手利用5次多项式和3次多项式来进行轨迹规划；所述的机械手的夹爪处安装有单目摄像机图像采集单元，其随机械臂移动获取图像；单目摄像机图像采集单元采用基于SURF的模板匹配法进行目标物体精确定位；所述的双目摄像机图像采集单元通过数据线与上位机连接，所述的单目摄像机图像采集单元和机械手控制器通过无线传输模块与上位机互相通信。
进一步的，所述的机械手控制器包括密封固定形成容腔的上壳体和下壳体，容腔内固定连接有控制器电路板；所述的控制器电路板上设置有电源控制模块、红外传感检测模块、压力传感器模块、无线传输模块和电机驱动模块；所述无线模块通过5G移动通信与上位机信号连接，所述电源模块将工作电压转换为不同等级电压为不同芯片提供电源。
进一步的，所述红外传感检测模块与固定于外壳的红外传感器连接，当红外传感器在工作状态下检测到上料区有目标物体存在时，向控制器机发送检测信号，控制器通过无线信号传输模块将检测信号发送至上位机，上位机通过串口信号触发双目摄像机图像采集单元采集图像。
进一步的，所述压力传感模块与固定在机械臂末端夹爪上的压力传感器连接，当爪子夹持物体时，控制器通过压力传感器检测到的压力数据的大小，通过电机驱动模块调整相应的电机工作，从而控制夹爪夹合的程度。
进一步的，所述机械手可采用三自由度机械手、四自由度机械手、五自由度机械手、六自由度机械手和七自由度机械手中的任一款机械手；本技术方案中采用的是六自由度机械手；即电机驱动模块包括分别驱动六个电机的控制模块，包括控制夹爪张合度的电机、手腕电机、大手臂摆动电机、小手臂摆动电机、手腕摆动电机和底座转动电机。
进一步的，所述上壳体和下壳体均由防火塑料制备，且所述上壳体和下壳体的连接部位设置有耐火密封圈和防尘密封；在上壳体的顶壁开设有用于散热的小孔。
进一步的，所述上壳体的顶壁卡接固定有无线信号显示灯和电源显示灯，无线信号显示灯与无线传输模块连接，电源显示灯与电源检测电路连接。
进一步的，所述无线信号显示灯和电源显示灯分别为发光颜色互异的LED灯。
进一步的，所述上壳体的侧壁安装有电路复位按键和电源开关按键，电路复位按键和电源开关按键均为按钮式按键。
进一步的，所述上壳体上，其与电源复位按键相对一侧的侧壁开设有USB充电接头；USB充电接头与控制器的电源管理模块连接。
进一步的，所述双目摄像机图像采集单元采用两个平行安装在支架上的摄像头，两个摄像头的基线可以调整，成像距离可达50米。
进一步的，所述改进的跨尺度引导滤波结合加权中值滤波视差细化的算法是采用跨尺度引导滤波算法结合加权中值滤波算法对视差图进行细化；使用高斯金字塔对双双目摄像机图像采集单元获取的图像进行采样，获取不同分解层下的图像，对不同分解层采用不同的代价聚合方法；再将各个尺度聚合后的代价卷融合得到最终代价卷，求得视差图，完成物体三维重建。
进一步的，所述的不同分解层采用不同的代价聚合方法为：奇数采样层使用基于拉普拉斯算子的引导图滤波，偶数采样层使用快速引导滤波的方法实现各个分解层下单独的代价聚合；如公式(1)：
其中，G(ds,ps)为不同采样层下进行代价聚合的结果，GGF(ds,ps)表示使用引导滤波相似核，GLoG(ds,ps)表示使用拉普拉斯算子滤波作为相似核，s表示高斯金字塔下的采样层数；
所述的奇数采样层使用基于拉普拉斯算子的引导图滤波作代价聚合，引导图滤波算法构建的优化函数模型为：
E(ak,bk)为函数模型能量；φ为惩戒参数；Wk表示以像素k为中心、固定距离为半径的方形窗口；Ii为引导图像在窗口中Wk的像素强度，Pi为输入图像在窗口中Wk的像素强度；ak和bk表示线性系数,在窗口Wk内为固定值；
所述的在引导图滤波算法中引入拉普拉斯算子来计算图像局部窗口内的拉普拉斯边缘；在引导图滤波算法的优化函数的惩戒参数中引入一个权值项H(s)：
其中，H(s)为惩戒参数中引入的一个权值项，s为局部窗口内的中心像素；sˊ为局部窗口内的所有像素；LoG(s)表示拉普拉斯算子幅值；N为局部窗口内的像素总数；γ为窗口内LoG(s)最大值的10％。
进一步的，所述的5-3-5多项式插值轨迹规划方法进行机械臂运动轨迹规划，其具体方式为：用5次多项式来规划起始点和第一个中间点之间的运动路径，再利用一个3次多项式来描述第一个中间点和目标物体上面这个中间点之间的路线，最后使用5次多项式来表示目标物体上面这个中间点和终止点之间的轨迹。
进一步的，所述的5-3-5多项式表达形式如下：
θ(t)1＝a10+a11t+a12t2+a13t3+a14t4+a15t5 (4)
θ(t)2＝a20+a21t+a22t2+a23t3 (5)
θ(t)3＝a30+a31t+a32t2+a33t3+a34t4+a35t5 (6)
其中t是引入的归一化时间变量(t∈[0,1]),定义如下：τ为实际时间(s)；τi为第i段轨迹终点i的实际时间；ti＝τi-τi-1为通过第i段运动轨迹的实际时间；
(三)有益效果
本发明提出的一种基于多目立体视觉的机械臂智能控制系统，与现有技术相比较，其具有以下有益效果：
(1)本技术方案统主要由视觉部分和机械手部分组成，视觉部分又分双目摄像机图像采集单元和单目摄像机图像采集单元，视觉部分、机械手部分以及上位机之间依靠串口信息或5G移动通信的方式进行信息的交互。红外传感器判断物体的存在，双目摄像机图像采集单元采集目标工件图像，经由数据线接口传输至上位机，上位机软件完成图像处理、特征提取、立体匹配、三维重建之后，将处理后数据传送至机械手，触发机械手抓取物料。机械手“抓”物料过程中，基于“眼在手”方式的单目摄像头采集图像，经5G移动通信传送至计算机，实现机械手姿态的不断调整。最后，机械手抓取物料成功后，根据抓手上压力反馈，判断是否抓紧，自动调节抓手张合程度，实现自适应抓取。
(2)本技术方案将双目摄像机图像采集单元和单目摄像机图像采集单元进行结合，将三维重建算法和二维平面特征提取算法结合实现对目标物体精确定位夹取，两者相互结合，即包含了物体三维空间信息，又兼容了物体平面的特征信息。两者在正常工作时，不会对对方的模块产生不可接受的干扰，从而可以实现精确的定位。
(3)本技术方案将5G移动通信用于进行信息的交互，可进行上位机对机械手控制器的指令和数据传输，也可实现单目摄像机图像采集单元与上位机之间图像信息的快速传输。
(4)本技术方案中可以通过与电源管理模块连接的电源显示灯得知当前控制器的工作状态，通过无线信号显示灯和电源显示灯的亮灯状态，即可分别显示无线通讯状态和电源的状态；通过各显示灯颜色和状态的区分，方便使用者的使用和观察。
(5)本技术方案通过在红外传感器模块，及时了解上料区目标物体的存在情况。当物体存在时，能及时的进行物体检测。
(6)本技术方案通过在压力传感器模块，及时了解机械臂夹子夹持物体时压力大小情况。当压力过大或过小时，能及时的调整夹子夹持程度，实现对夹持物体自适应调整。
(7)本技术方案通过改进的跨尺度引导滤波结合加权中值滤波视差细化的算法进行物体三维重建立获取目标物体的粗定位，再结合SURF特征的模板匹配进行目标物体的精确定位，最后完成对物体的夹取。
(8)本技术方案通过采用关节空间5-3-5多项式插值轨迹规划方法进行机械手的轨迹规划。利用5次多项式来规划起始点和第一个中间点之间的运动路径，再利用一个3次多项式来描述第一个中间点和目标物体上面这个中间点之间的路线，最后使用5次多项式来表示目标物体上面这个中间点和终止点之间的轨迹，合理规划机械臂的运动轨迹。
附图说明
图1是本发明中实施例一的整体架构示意框图。
图2是本发明中实施例一的电机驱动电路原理图。
图3是本发明中实施例一的无线传输电路原理图。
图4为本发明中实施例一的电源模块电路原理图。
图5为本发明中实施例一的红外传感器电路原理图。
图6为本发明中实施例一的系统算法流程图。
图7为本发明中实施例一的双目立体视觉三维重建流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围。
实施例1：
一种基于多目立体视觉的机械臂智能控制系统,包括安装在目标物体边上作用于目标物体的机械手，机械手可采用三自由度机械手、四自由度机械手、五自由度机械手、六自由度机械手和七自由度机械手中的任一款机械手；在本技术方案中采用的是六自由度机械手。机械手小臂的末端安装有夹爪；以及与机械手信号连接的机械手控制器。
在机械手周边固定安装有作用于目标物体的双目摄像机图像采集单元，双目摄像机图像采集单元采用两个平行安装在三角支架上的摄像头，两个摄像头的基线调整为与上料区平面一致，摄像机的成像距离可达50米。
双目摄像机图像采集单元采用了改进的跨尺度引导滤波结合加权中值滤波视差细化的算法，实现对目标物体的三维重建，完成目标物体的粗定位，并采用5-3-5多项式插值轨迹规划方法进行机械臂运动轨迹规划，将物体三维重建的坐标传输至机械臂控制器，机械臂控制器控制机械手利用5次多项式和3次多项式来进行轨迹规划。
位于机械手的夹爪处安装有单目摄像机图像采集单元，其随机械臂移动获取图像；单目摄像机图像采集单元采用基于SURF的模板匹配法进行目标物体精确定位。
双目摄像机图像采集单元通过数据线与上位机连接，所述的单目摄像机图像采集单元和机械手控制器通过无线传输模块与上位机互相通信。
机械手控制器包括密封固定形成容腔的上壳体和下壳体，容腔内固定连接有控制器电路板。所述的上壳体和下壳体均由防火塑料制备，且所述上壳体和下壳体的连接部位设置有耐火密封圈和防尘密封；在上壳体的顶壁开设有用于散热的小孔。
如图1所示，所述的控制器电路板上设置有电源控制模块、红外传感检测模块、压力传感器模块、无线传输模块和电机驱动模块；
上壳体的顶壁卡接固定有与电源检测电路连接的电源显示灯，以及与无线传输模块连接的无线信号显示灯；无线信号显示灯和电源显示灯分别为发光颜色互异的LED灯。
上壳体的侧壁安装有电路复位按键和电源开关按键，电路复位按键和电源开关按键均为按钮式按键。
在上壳体上，其与电源复位按键相对一侧的侧壁开设有USB充电接头；USB充电接头与控制器的电源管理模块连接。
红外传感检测模块与固定于外壳的红外传感器连接，安装在上料区边缘；当红外传感器在工作状态下检测到上料区有目标物体存在时，向控制器机发送检测信号，控制器通过无线信号传输模块将检测信号发送至上位机，上位机通过串口信号触发双目摄像机图像采集单元采集图像。
无线传输模块通过5G移动通信与上位机信号连接，所述电源模块将工作电压转换为不同等级电压为不同芯片提供电源。
压力传感模块与固定在机械臂末端夹爪上的压力传感器连接，当爪子夹持物体时，控制器通过压力传感器检测到的压力数据的大小，通过电机驱动模块调整相应的电机工作，从而控制夹爪夹合的程度。
电机驱动模块包括分别驱动六个电机的控制模块，包括控制夹爪张合度的电机、手腕电机、大手臂摆动电机、小手臂摆动电机、手腕摆动电机和底座转动电机。
机械臂电机驱动电路中电机驱动芯片采用的是L298N，L298N芯片的输出驱动之间连接整流二极管；所述的整流二极管与接地间设置有电感，防止电压突变损坏驱动芯片。芯片L298N的第4引脚接整流二极管、电感、电容C4的正极，并与12V电源连接,电容C4的负极接地；第9引脚接电容C11和C2的正极并与5V电源连接，第1、15引脚接稳压二极管的正极。图2所示。
无线信号传输采用SD卡进行信息的交互，所述SD卡的第1、第2、第7、第8和第9引脚军外接47K的上拉电阻，并与控制核心STM32F4的I/O口相连接。如图3所示。
信号终端电路和无线信号电路的输入端连接有供电电路；所述的供电电路中设置有电压转换芯片；所述的电压转换芯片采用的是LM2596和AMS1117-3.3；供电电路外接12V电源,将12V电源转换为5V电源输出电机驱动电路，再将5V电源转换为3.3V电源输出至核心控制STN32芯片、信号采集电路、信号终端协调电路和无线传输电路,为整个电路提供电源。
具体电路如图4所示：芯片AMS1117-3.3的第1引脚接电容C15的正极并与5V电源连接,电容C15的负极接地；第2引脚接地,第3引脚接电容C6,C16的正极并输出电源电压3.3V；电容C6,C1的负极接地。
芯片LM2596-5的第1引脚接电容C3和C13的正极并与12V电源连接,电容C3和C13的负极接地和芯片LM2596-5的第3、5、6引脚；第4引脚接5V，第2引脚接电感L2的负极并输出电源电压5V。
信号采集电路中采用的是红外线传感器；信号采集电路与核心控制芯片I/O之间连接有47K下拉电阻；下拉电阻R1接地。红外线模块的第1引脚接地，第2引脚与电容C2和电阻R1的正极连接,第3引脚连接电容C1的正极，并与5V电源连接；第2引脚接电容C2、电阻R1和控制核心STM32连接，电阻R1的负极接地。如图5所示。
所述改进的跨尺度引导滤波结合加权中值滤波视差细化的算法是采用跨尺度引导滤波算法结合加权中值滤波算法对视差图进行细化；使用高斯金字塔对双目摄像机图像采集单元获取的图像进行采样，获取不同分解层下的图像，对不同分解层采用不同的代价聚合方法，即奇数采样层使用基于拉普拉斯算子的引导图滤波，偶数采样层使用快速引导滤波的方法实现各个分解层下单独的代价聚合。再融合各个尺度分辨率下的匹配代价卷；最后，进行WTA计算视差和对视差图进行亚像素增强和中值滤波视差细化，求得视差图，完成物体三维重建。
所述的在奇数采样层引用基于LoG算子的引导图滤波、偶数采样层使用引导滤波。如公式(1)：
其中，G(ds,ps)为不同采样层下进行代价聚合的结果，GGF(ds,ps)表示使用引导滤波相似核，GLoG(ds,ps)表示使用拉普拉斯算子滤波作为相似核，s表示高斯金字塔下的采样层数；
所述的奇数采样层使用基于拉普拉斯算子的引导图滤波作代价聚合，引导图滤波算法构建的优化函数模型为：
E(ak,bk)为函数模型能量；φ为惩戒参数；Wk表示以像素k为中心、固定半径的方形窗口；Ii为引导图像在窗口中Wk的像素强度，Pi为输入图像在窗口中Wk的像素强度；ak和bk表示线性系数,在窗口Wk内为固定值；
所述的在引导图滤波算法中引入拉普拉斯算子来计算图像局部窗口内的拉普拉斯边缘；在引导图滤波算法的优化函数的惩戒参数中引入一个权值项H(s)：
其中，H(s)为惩戒参数中引入的一个权值项，s为局部窗口内的中心像素；sˊ为局部窗口内的所有像素；LoG(s)表示拉普拉斯算子幅值；N为局部窗口内的像素总数；γ为窗口内LoG(s)最大值的10％。
5-3-5多项式插值轨迹规划方法进行机械臂运动轨迹规划，其具体方式为：用5次多项式来规划起始点和第一个中间点之间的运动路径，再利用一个3次多项式来描述第一个中间点和目标物体上面这个中间点之间的路线，最后使用5次多项式来表示目标物体上面这个中间点和终止点之间的轨迹。5-3-5多项式表达形式如下：
θ(t)1＝a10+a11t+a12t2+a13t3+a14t4+a15t5 (4)
θ(t)2＝a20+a21t+a22t2+a23t3 (5)
θ(t)3＝a30+a31t+a32t2+a33t3+a34t4+a35t5 (6)
其中t是引入的归一化时间变量(t∈[0,1]),定义如下：τ为实际时间(s)；τi为第i段轨迹终点i的实际时间；ti＝τi-τi-1为通过第i段运动轨迹的实际时间；
运行时，首先，系统上电以后对各模块初始化，红外传感器探测到物体存在后，通过上位机激发双目摄像机图像采集单元采集图像；其次，双目摄像机图像采集单元将图片经数据传输线USB3.0传送至计算机，计算机对双目视觉获取的图像使用改进跨尺度引导滤波结合加权中值滤波视差细化(S+GF+WMF)的算法完成目标物体的视差图获取和三维重建，实现目标物体粗定位，再将目标物体的位姿等数据信息传送至机械手控制系统；然后，机械手控制核心驱动机械臂靠近目标物体上方，并在机械臂停稳以后触动单目摄像头获取图像，并将图像经5G无线网络传送至计算机，计算机进行边缘轮廓匹配、矫正物体位姿坐标后将数据再次传送至机械手控制系统；最后，控制机械手实现抓取，并根据压力传感器调整抓手开合成程度。如图6-7所示。
在本实施例中，所述的双目摄像机图像采集单元和单目摄像机图像采集单元采用的是CCD摄像机，便于摄像机的标定和矫正；本技术方案中所需要的三个摄像机均采用德国Allied Vision Technologies公司生产的Pike F-1600B/C型号的工业相机，使用USB接口与计算机通讯。双目摄像机用支架平行放置在上料区平面，单目摄像机安装机械臂末端。其中，摄像机的镜头采用日本Computar公司的M1620－MPW2型号的定焦镜头，焦距16mm，最大成像尺寸8.8mm X 6.6mm，成像大小符合设计要求。本系统需要三个摄像机，其中两个组成双目立体视觉系统，一个固定在机械臂末端，用于机械手夹取时姿态的矫正。摄像机的光源采用CCS公司的LED环形光源，LED照明系统响应时间快，可获得高品质，高对比度图像。
在本实施例中，所述的上位机采用计算机，计算机采用联想计算机作为实验中负责接收CCD摄像机采集的图像信息、运用图像处理算法完成物料识别、以及将图像信息转化成机器人控制信号以控制机器人末端执行器。
在本实施例中，所述的机械手采用六自由度机械手，其具有六个旋转关节，由直流无刷电机驱动，六个关节共配置3种规格的电机，其中基座上的2台电机规格相同，腕部的3台电机规格相同。
Claims (8)
1.一种基于多目立体视觉的机械臂智能控制系统,包括安装在目标物体边上作用于目标物体的机械手，机械手小臂的末端安装有夹爪；以及与机械手信号连接的机械手控制器，其特征在于：在机械手周边固定安装有作用于目标物体的双目摄像机图像采集单元，双目摄像机图像采集单元采用了改进的跨尺度引导滤波结合加权中值滤波视差细化的算法，实现对目标物体的三维重建，完成目标物体的粗定位，并采用5-3-5多项式插值轨迹规划方法进行机械臂运动轨迹规划，将物体三维重建的坐标传输至机械臂控制器，机械臂控制器控制机械手利用5次多项式和3次多项式来进行轨迹规划；所述的机械手的夹爪处安装有单目摄像机图像采集单元，其随机械臂移动获取图像；单目摄像机图像采集单元采用基于SURF的模板匹配法进行目标物体精确定位；所述的双目摄像机图像采集单元通过数据线与上位机连接，所述的单目摄像机图像采集单元和机械手控制器通过无线传输模块与上位机互相通信；
所述改进的跨尺度引导滤波结合加权中值滤波视差细化的算法是采用跨尺度引导滤波算法结合加权中值滤波算法对视差图进行细化；使用高斯金字塔对双目摄像机图像采集单元获取的图像进行采样，获取不同分解层下的图像，对不同分解层采用不同的代价聚合方法；再将各个尺度聚合后的代价卷融合得到最终代价卷，求得视差图，完成物体三维重建；
所述的不同分解层采用不同的代价聚合方法为：奇数采样层使用基于拉普拉斯算子的引导图滤波，偶数采样层使用快速引导滤波的方法实现各个分解层下单独的代价聚合；如公式(1)：
其中，G(ds ,ps )为不同采样层下进行代价聚合的结果，GGF(ds ,ps )表示使用引导滤波相似核，GLoG(ds ,ps )表示使用拉普拉斯算子滤波作为相似核，s表示高斯金字塔下的采样层数；
所述的奇数采样层使用基于拉普拉斯算子的引导图滤波作代价聚合，引导图滤波算法构建的优化函数模型为：
E(ak,bk)为函数模型能量；φ为惩戒参数；Wk表示以像素k为中心、固定距离为半径的方形窗口；Ii为引导图像在窗口Wk中的像素强度，Pi为输入图像在窗口中Wk的像素强度；ak和bk表示线性系数,在窗口Wk内为固定值；
在所述的引导图滤波算法中引入拉普拉斯算子来计算图像局部窗口内的拉普拉斯边缘；在引导图滤波算法的优化函数的惩戒参数中引入一个权值项H(s)：
其中，H(s)为惩戒参数中引入的一个权值项，s为局部窗口内的中心像素；s’为局部窗口内的所有像素；LoG(s)表示拉普拉斯算子幅值；N为局部窗口内的像素总数；γ为窗口内LoG(s)最大值的10％。
2.根据权利要求1所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于：所述的机械手控制器包括密封固定形成容腔的上壳体和下壳体，容腔内固定连接有控制器电路板；所述的控制器电路板上设置有电源控制模块、红外传感检测模块、压力传感器模块、无线传输模块和电机驱动模块；所述无线传输模块通过5G移动通信与上位机信号连接，所述电源控制模块将工作电压转换为不同等级电压为不同芯片提供电源。
3.根据权利要求2所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于：所述红外传感检测模块与固定于外壳的红外传感器连接，当红外传感器在工作状态下检测到上料区有目标物体存在时，向控制器机发送检测信号，控制器通过无线信号传输模块将检测信号发送至上位机，上位机通过串口信号触发双目摄像机图像采集单元采集图像。
4.根据权利要求2所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于：所述压力传感器模块与固定在机械臂末端夹爪上的压力传感器连接，当爪子夹持物体时，控制器通过压力传感器检测到的压力数据的大小，通过电机驱动模块调整相应的电机工作，从而控制夹爪夹合的程度。
5.根据权利要求2所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于：所述机械手可采用三自由度机械手、四自由度机械手、五自由度机械手、六自由度机械手和七自由度机械手中的任一款机械手；当机械手采用的是六自由度机械手时，则电机驱动模块包括分别驱动六个电机的控制模块，包括控制夹爪张合度的电机、手腕电机、大手臂摆动电机、小手臂摆动电机、手腕摆动电机和底座转动电机。
6.根据权利要求1所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于：所述双目摄像机图像采集单元采用两个平行安装在支架上的摄像头，两个摄像头的基线与目标物体的水平线一致，其成像距离可达50米。
7.根据权利要求1所述的一种基于多目立体视觉的机械臂智能控制系统,其特征在于：所述的5-3-5多项式插值轨迹规划方法进行机械臂运动轨迹规划，其具体方式为：用5次多项式来规划起始点和第一个中间点之间的运动路径，再利用一个3次多项式来描述第一个中间点和目标物体上面这个中间点之间的路线，最后使用5次多项式来表示目标物体上面这个中间点和终止点之间的轨迹。
8.根据权利要求7述的一种基于多目立体视觉的机械臂智能控制系统，其特征在于：所述的5-3-5多项式表达形式如下：
θ(t)1＝a10+a11t+a12t2+a13t3+a14t4+a15t5 (4)
θ(t)2＝a20+a21t+a22t2+a23t3 (5)
θ(t)3＝a30+a31t+a32t2+a33t3+a34t4+a35t5 (6)
其中t是引入的归一化时间变量(t∈[0，1])，定义如下：τ为实际时间(s)；τi为第i段轨迹终点i的实际时间；ti＝τi-τi-1为通过第i段运动轨迹的实际时间；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010452288.1A CN111702755B (zh) | 2020-05-25 | 2020-05-25 | 一种基于多目立体视觉的机械臂智能控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010452288.1A CN111702755B (zh) | 2020-05-25 | 2020-05-25 | 一种基于多目立体视觉的机械臂智能控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111702755A CN111702755A (zh) | 2020-09-25 |
| CN111702755B true CN111702755B (zh) | 2021-08-17 |
Family
ID=72538222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010452288.1A Active CN111702755B (zh) | 2020-05-25 | 2020-05-25 | 一种基于多目立体视觉的机械臂智能控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111702755B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112763253B (zh) * | 2020-12-28 | 2024-03-29 | 深圳市人工智能与机器人研究院 | 机械臂的采样控制方法及装置、采样系统 |
| CN112834764B (zh) * | 2020-12-28 | 2024-05-31 | 深圳市人工智能与机器人研究院 | 机械臂的采样控制方法及装置、采样系统 |
| CN112894815B (zh) * | 2021-01-25 | 2022-09-27 | 西安工业大学 | 视觉伺服机械臂物品抓取最佳位姿检测方法 |
| CN114399789B (zh) * | 2021-12-31 | 2023-03-21 | 淮阴工学院 | 一种基于静态手势识别的机械臂远程控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106826817A (zh) * | 2017-01-11 | 2017-06-13 | 河北省自动化研究所 | 双反馈机械臂自动装卸系统及方法 |
| CN107914272A (zh) * | 2017-11-20 | 2018-04-17 | 北京科技大学 | 一种七自由度机械臂组件抓取目标物体的方法 |
| WO2019114339A1 (zh) * | 2017-12-11 | 2019-06-20 | 南京阿凡达机器人科技有限公司 | 机械臂运动的校正方法和装置 |
| CN110524581A (zh) * | 2019-09-16 | 2019-12-03 | 西安中科光电精密工程有限公司 | 一种柔性焊接机器人系统及其焊接方法 |
-
2020
- 2020-05-25 CN CN202010452288.1A patent/CN111702755B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106826817A (zh) * | 2017-01-11 | 2017-06-13 | 河北省自动化研究所 | 双反馈机械臂自动装卸系统及方法 |
| CN107914272A (zh) * | 2017-11-20 | 2018-04-17 | 北京科技大学 | 一种七自由度机械臂组件抓取目标物体的方法 |
| WO2019114339A1 (zh) * | 2017-12-11 | 2019-06-20 | 南京阿凡达机器人科技有限公司 | 机械臂运动的校正方法和装置 |
| CN110524581A (zh) * | 2019-09-16 | 2019-12-03 | 西安中科光电精密工程有限公司 | 一种柔性焊接机器人系统及其焊接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 六自由度机械手的运动轨迹规划与仿真;肖振楠，申燚，倪辰旖;《机床与液压》;20180815;第46卷(第15期);第58页-第63页 * |
| 基于跨尺度代价聚合的改进立体匹配算法;汤春明，蒋昂;《计算机工程》;20161115;第42卷(第11期);第272页-276页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111702755A (zh) | 2020-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111702755B (zh) | 一种基于多目立体视觉的机械臂智能控制系统 | |
| CN107767423B (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
| CN107618030B (zh) | 基于视觉的机器人动态跟踪抓取方法及系统 | |
| CN107192331A (zh) | 一种基于双目视觉的工件抓取方法 | |
| CN108834576A (zh) | 一种基于双目视觉的柑橘采摘机器人及其实现方法 | |
| CN113524194A (zh) | 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法 | |
| CN106113067B (zh) | 一种基于双目视觉的双臂移动机器人系统 | |
| CN113276106B (zh) | 一种攀爬机器人空间定位方法及空间定位系统 | |
| CN106853639A (zh) | 一种手机电池自动化装配系统及其控制方法 | |
| CN107030693A (zh) | 一种基于双目视觉的带电作业机器人目标跟踪方法 | |
| CN111823223A (zh) | 一种基于智能立体视觉的机器人手臂抓取控制系统及方法 | |
| CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
| CN113500593B (zh) | 一种抓取轴类工件指定部位进行上料的方法 | |
| CN108074265A (zh) | 一种基于视觉辨识的网球定位系统、方法及装置 | |
| WO2021039775A1 (ja) | 画像処理装置、撮像装置、ロボット及びロボットシステム | |
| CN111267094A (zh) | 一种基于双目视觉的工件定位与抓取方法 | |
| CN207682391U (zh) | 一种基于深度学习的智能型避障抓取系统 | |
| CN113093914B (zh) | 一种基于vr的高临场视觉感知方法及装置 | |
| CN107756402A (zh) | 一种基于深度学习的智能型避障抓取系统 | |
| Shen et al. | A multi-view camera-projector system for object detection and robot-human feedback | |
| CN114055501A (zh) | 一种机器人抓取系统及其控制方法 | |
| CN117237414A (zh) | 移动机器人平台下基于双目图像的抓取引导方法及系统 | |
| CN110772651A (zh) | 基于机器视觉的鞋内紫外定向杀菌的方法和装置 | |
| CN115157286A (zh) | 基于光视觉的自动挂摘接地线机器人及其远程控制方法 | |
| CN112288819B (zh) | 多源数据融合的视觉引导机器人抓取及分类系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240621 Address after: 230000 Room 203, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province Patentee after: Hefei Jiuzhou Longteng scientific and technological achievement transformation Co.,Ltd. Country or region after: China Address before: 223005 Huaian 1 Jiangsu economic and Technological Development Zone Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY Country or region before: China |