CN106113067A - 一种基于双目视觉的双臂移动机器人系统 - Google Patents
一种基于双目视觉的双臂移动机器人系统 Download PDFInfo
- Publication number
- CN106113067A CN106113067A CN201610565141.7A CN201610565141A CN106113067A CN 106113067 A CN106113067 A CN 106113067A CN 201610565141 A CN201610565141 A CN 201610565141A CN 106113067 A CN106113067 A CN 106113067A
- Authority
- CN
- China
- Prior art keywords
- control instruction
- target object
- mechanical arm
- serial port
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000010391 action planning Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种基于双目视觉的双臂移动机器人系统,所述机器人具有一定自主性和智能性。所述系统包括:双目摄像头,用于实时采集目标物体的图像;工控机,用于依据双目摄像头采集的图像,得到目标物体的位置信息,并依据目标物体的位置信息生成电机控制指令及机械臂控制指令;串口协议转换器,用于对生成的电机控制指令及机械臂控制指令进行协议转换,并将转换后生成的电机控制指令及机械臂控制指令分别发送至移动底盘及机械臂;移动底盘,用于依据接收到的电机控制指令进行移动,使得机器人移动至目标物体所在的位置;机械臂,用于依据接收到的机械臂控制指令操作目标物体。本发明适用于机器人自主作业技术领域。
Description
技术领域
本发明涉及机器人自主作业技术领域,特别是指一种基于双目视觉的双臂移动机器人系统。
背景技术
随着物联网、通信技术、视觉技术、智能技术的不断进步以及人类需求的不断增加,机器人的发展已经成为一种必然趋势,无论是在工业、医疗、家居、军事等各个领域,智能机器人都将为其提供巨大的便利,也必能颠覆传统的行业模式,发挥着前所未有的作用。但现有的很多机器人功能单一、智能化程度还相对较低,且多数都是非自主或半自主的工作模式,缺乏一定的自主性和智能性。例如,虽然有些机器人可以通过传感技术和无线传输技术实现无线遥控,但大多数仍属于单向控制,无法形成反馈实现自主作业。
尽管现在机器人的使用已相对广泛,但大多数的应用还是非自主作业,在某些特殊的环境下还需要人为的参与,尤其是在一些恶劣的工作环境下,安全系数低,对人体会有一定的伤害,导致面临的问题依旧比较严峻。
发明内容
本发明要解决的技术问题是提供一种基于双目视觉的双臂移动机器人系统,以解决现有技术所存在的机器人智能化程度相对较低,缺乏一定的自主性和智能性的问题。
为解决上述技术问题,本发明实施例提供一种基于双目视觉的双臂移动机器人系统,包括:双目摄像头、工控机、串口协议转换器、机械臂及移动底盘;其中,
所述双目摄像头,用于实时采集目标物体的图像,并将采集到的所述图像上传至所述工控机;
所述工控机,用于对接收到的所述图像进行处理,得到所述目标物体的位置信息,并依据所述目标物体的位置信息生成电机控制指令及机械臂控制指令,并将生成的所述电机控制指令及机械臂控制指令发送至所述串口协议转换器;
所述串口协议转换器,用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换,并将转换后生成的电机控制指令及机械臂控制指令分别发送至所述移动底盘及机械臂;
所述移动底盘,用于依据接收到的所述电机控制指令进行移动,使得所述机器人移动至所述目标物体所在的位置;
所述机械臂,用于依据接收到的所述机械臂控制指令操作所述目标物体。
进一步地,所述双目摄像头包括:第一摄像头及第二摄像头;所述第一摄像头及第二摄像头位于所述机器人的头部,呈左右对称分布。
进一步地,所述工控机包括:协同控制中心模块;
所述协同控制中心模块,具体用于对所述双目摄像头采集到的图像进行目标检测,识别所述图像中的目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标,将所述目标物体在第一摄像及第二摄像头下的图像坐标转换成所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令,并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器。
进一步地,所述工控机还包括:显示器;
所述协同控制中心模块,具体用于根据接收到的所述图像,通过Hough圆检测算法和轮廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标,根据所述目标物体在第一摄像及第二摄像头下的图像坐标,通过最小二乘法得到所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令,并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器;还用于将识别出的所述目标物体、得到的所述目标物体在第一摄像及第二摄像头下的图像坐标显示在所述显示器上。
进一步地,所述协同控制中心模块,还用于在所述双目摄像头采集所述目标物体的图像之前,对所述双目摄像头进行标定、校正、匹配所述协同控制中心模块,还用于在所述双目摄像头采集所述目标物体的图像之前,对所述双目摄像头进行标定、校正、匹配。
进一步地,所述协同控制中心模块,还用于在所述双目视觉模块采集所述目标物体的图像之前,利用张正友标定方法对所述双目摄像头进行标定,利用Bouguet极线校正方法或Hartley校正方法对所述双目摄像头进行校正,利用BM匹配方法或SGBM匹配方法对所述双目摄像头进行匹配。
进一步地,所述串口协议转换器包括:串口协议转换模块;
所述串口协议转换模块,用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换,并将转换后生成的十六进制电机控制指令及十六进制机械臂控制指令分别发送至所述移动底盘及机械臂。
进一步地,所述机械臂包括多个数字舵机,由所述多个数字舵机构成两个各具有三自由度的机械臂;
两个机械臂呈左右对称分布在机器人的两侧,各数字舵机之间通过串联的方式连接。
进一步地,所述移动底盘包括:电机驱动模块及移动装置;
所述移动装置包括:伺服电机、全向轮、码盘;
所述电机驱动模块,用于根据所述串口协议转换模块发送的所述电机控制指令,驱动所述伺服电机控制所述全向轮进行运动,并依据所述码盘产生的码盘信号得到所述机器人的当前位置信息,并将所述机器人的当前位置信息通过所述串口协议转换模块上传至所述协同控制中心模块。
进一步地,所述串口协议转换模块通过第一R232通信串口与所述工控机相连;
所述串口协议转换模块通过第一RS485通信串口与所述机械臂相连;
所述串口协议转换模块通过第二RS485通信串口与所述电机驱动模块相连。
本发明的上述技术方案的有益效果如下:
上述方案中,通过双目摄像头实时采集目标物体的图像;通过工控机对采集的所述图像进行处理,得到目标物体的位置信息,并依据目标物体的位置信息生成电机控制指令及机械臂控制指令,并将生成的电机控制指令及机械臂控制指令发送至串口协议转换器;通过串口协议转换器对所述电机控制指令及机械臂控制指令进行协议转换,并将转换后生成的电机控制指令及机械臂控制指令分别发送至移动底盘及机械臂,使得机器人通过移动底盘移动至目标物体所在的位置,并使得机械臂依据所述机械臂控制指令操作目标物体。这样,根据双目摄像头采集到的目标物体的图像,使得机器人能够自主移动至所述目标物体所在的位置,并去操作该目标物体,所述机器人具有一定自主性和智能性。
附图说明
图1为本发明实施例提供的基于双目视觉的双臂移动机器人系统的结构示意图;
图2为本发明实施例提供的基于双目视觉的双臂移动机器人系统的详细结构示意图;
图3为本发明实施例提供的基于双目视觉的双臂移动机器人系统的工作流程示意图;
图4为本发明实施例提供的生成目标物体的空间三维坐标的工作流程示意图;
图5为本发明实施例提供的实现机器人自主移动的工作流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明针对现有的机器人智能化程度相对较低,缺乏一定的自主性和智能性的问题,提供一种基于双目视觉的双臂移动机器人系统。
实施例一
参看图1所述,本发明实施例提供的基于双目视觉的双臂移动机器人系统,包括:双目摄像头1、工控机2、串口协议转换器5、机械臂4及移动底盘3;其中,
所述双目摄像头1,用于实时采集目标物体的图像,并将采集到的所述图像上传至所述工控机2;
所述工控机2,用于对接收到的所述图像进行处理,得到所述目标物体的位置信息,并依据所述目标物体的位置信息生成电机控制指令及机械臂4控制指令,并将生成的所述电机控制指令及机械臂4控制指令发送至所述串口协议转换器5;
所述串口协议转换器5,用于对接收到的所述电机控制指令及机械臂4控制指令进行协议转换,并将转换后生成的电机控制指令及机械臂4控制指令分别发送至所述移动底盘3及机械臂4;
所述移动底盘3,用于依据接收到的所述电机控制指令进行移动,使得所述机器人移动至所述目标物体所在的位置;
所述机械臂4,用于依据接收到的所述机械臂4控制指令操作所述目标物体。
本发明实施例所述的基于双目视觉的双臂移动机器人系统,通过双目摄像头实时采集目标物体的图像;通过工控机对采集的所述图像进行处理,得到目标物体的位置信息,并依据目标物体的位置信息生成电机控制指令及机械臂控制指令,并将生成的电机控制指令及机械臂控制指令发送至串口协议转换器;通过串口协议转换器对所述电机控制指令及机械臂控制指令进行协议转换,并将转换后生成的电机控制指令及机械臂控制指令分别发送至移动底盘及机械臂,使得机器人通过移动底盘移动至目标物体所在的位置,并使得机械臂依据所述机械臂控制指令操作目标物体。这样,根据双目摄像头采集到的目标物体的图像,使得机器人能够自主移动至所述目标物体所在的位置,并去操作该目标物体,所述机器人具有一定自主性和智能性。
本实施例中,所述电机控制指令及机械臂4控制指令可以合称为控制指令。
在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述双目摄像头1包括:第一摄像头及第二摄像头;所述第一摄像头及第二摄像头位于所述机器人的头部,呈左右对称分布。
本实施例中,所述双目摄像头1包括:第一摄像头及第二摄像头,所述第一摄像头及第二摄像头可以为型号相同的通用串行总线(Universal Serial Bus,USB)互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)摄像头,所述USB CMOS摄像头位于机器人头部、呈左右对称分布,因此,可以称分布在左侧的摄像头为左摄像头,分布在右侧的摄像头为右摄像头,左摄像及右摄像头可以合称为左右摄像头,左摄像头及右摄像头采集的图像可以合称为左右图像;所述左右摄像头的分辨率为640*480;所述左右摄像头分别可以通过USB线连接到所述工控机2上。
本实施例中,如图2所示,所述双目摄像头1包括:双目视觉模块;所述双目视觉模块用于实时采集所述目标物体的图像,所述图像包括:左摄像头采集到的图像和右摄像头采集到的图像,因此,所述图像也称为左右图像;并将采集的左右图像上传至所述工控机2,由所述工控机2中的目标物体识别功能对所述左右图像中的目标物体进行识别,目标物体的准确识别是机器人进行有效作业的主要条件,也是最为关键的一环。
在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述工控机2包括:协同控制中心模块;
所述协同控制中心模块,具体用于对所述双目摄像头1采集到的图像进行目标检测,识别所述图像中的目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标,将所述目标物体在第一摄像及第二摄像头下的图像坐标转换成所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂4控制指令,并将所述电机控制指令及机械臂4控制指令发送至所述串口协议转换器5。
本实施例中,所述工控机2的操作系统是Windows XP,所述工控机2包括:协同控制中心模块;所述Windows XP作为所述协同控制中心模块的运行环境。
本实施例中,由所述协同控制中心模块中的目标物体识别功能对采集到的图像进行目标检测,识别所述图像中的目标物体,实现对目标物体的识别检测,并得到所述目标物体在第一摄像及第二摄像头下的图像坐标,将所述目标物体在第一摄像及第二摄像头下的图像坐标转换成所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂4控制指令,接着,可以通过RS232串口通信方式将所述电机控制指令及机械臂4控制指令发送至所述串口协议转换器5,使所述串口协议转换器5依据所述电机控制指令及机械臂4控制指令通过不同串口发送不同控制指令实现对机械臂4和移动底盘3的动作规划。
本实施例中,所述协同控制中心模块作为整个系统的控制枢纽,可以将双目摄像头1和串口协议转换器5有效的关联起来,增强了所述协同控制中心模块与所述双目摄像头1和串口协议转换器5的协同作用。一旦目标物体的位置发生变化,机器人能够通过串口协议转换器5发送相关控制指令,从而对机器人的动作进行调整,也就是说,所述机器人能够实时识别、跟踪目标物体。
在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述工控机2还包括:显示器;
所述协同控制中心模块,具体用于根据接收到的所述图像,通过霍夫(Hough)圆检测算法和轮廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标,根据所述目标物体在第一摄像及第二摄像头下的图像坐标,通过最小二乘法得到所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂4控制指令,并将所述电机控制指令及机械臂4控制指令发送至所述串口协议转换器5;还用于将识别出的所述目标物体、得到的所述目标物体在第一摄像及第二摄像头下的图像坐标显示在所述显示器上。
本实施例中,所述工控机2还包括:显示器;所述协同控制中心模块可以利用Hough圆检测算法、轮廓提取算法对所述左右图像中的目标物体的特征进行提取和识别,并得到所述目标物体在左右图像中的图像坐标,同时,还可以将识别出的左右图像中的目标物体及所述目标物体在左右图像中的图像坐标分开显示在显示屏上,同时也能将实时采集的左右图像,对所述左右图像的实时处理过程均显示在显示屏上,便于能够实时观察到图像处理情况,提高了用户对其机器人工作的可视性和可控性。
本实施例中,根据所述目标物体在左右图像中的图像坐标,可以利用最小二乘法得到所述目标物体的空间三维坐标,再通过RS232串口通信方式将得到所述目标物体的空间三维坐标进行处理生成的所述电机控制指令及机械臂4控制指令发送给所述串口协议转换器5,经所述串口协议转换器5处理和分配后,将所述电机控制指令及机械臂4控制指令分别发送至所述移动底盘3和机械臂4,从而实现机器人的控制功能。本实施例中,所述协同控制中心模块与所述串口协议转换器5的协同配合能够为机器人提供良好稳定的控制指令。
在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述协同控制中心模块,还用于在所述双目摄像头1采集所述目标物体的图像之前,对所述双目摄像头1进行标定、校正、匹配。
本实施例中,在所述双目摄像头1采集所述目标物体的图像之前,通过所述协同控制中心模块首先利用张正友标定法以及Bouguet极线校正方法或者Hartley校正方法进行双目摄像头1的标定、校正作业,得到标定后的数据,进而基于所得的标定数据,利用BM(Boyer-Moore算法)或半全局块匹配算法(Semi-Global Block Matching,SGBM)对所述双目摄像头1进行匹配,得到双目摄像头1的参数。
本实施例中,作为一个可选实施例,所述协同控制中心模块,还用于在所述双目视觉模块采集所述目标物体的图像之前,利用张正友标定方法对所述双目摄像头1进行标定,利用Bouguet极线校正方法或Hartley校正方法对所述双目摄像头1进行校正,利用BM匹配方法或SGBM匹配方法对所述双目摄像头1进行匹配。在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述串口协议转换器5包括:串口协议转换模块;
所述串口协议转换模块,用于对接收到的所述电机控制指令及机械臂4控制指令进行协议转换,并将转换后生成的十六进制电机控制指令及十六进制机械臂4控制指令分别发送至所述移动底盘3及机械臂4。
本实施例中,以机械臂4为例,可以通过所述十六进制机械臂4控制指令准确地控制机械臂4各关节的旋转角度,使机械臂4的执行器末端精确地到达所述目标物体的位置,从而操作所述目标物体,例如,抓取所述目标物体。
在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述机械臂4包括多个数字舵机,由所述多个数字舵机构成两个各具有三自由度的机械臂4;
两个机械臂4呈左右对称分布在机器人的两侧,各数字舵机之间通过串联的方式连接。
本实施例中,所述机械臂4可以包括:四个RX-64数字舵机及三个RX-28数字舵机,所述数字舵机均接受十六进制数组指令。由这7个数字舵机构成两个各具有三自由度的机械臂4,两个机械臂4呈左右对称分布在机器人两侧,各数字舵机之间呈串联方式连接,通过RS485通信方式,从一台数字舵机的一端接收来自于串口协议转换模块发送的十六进制机械臂4控制指令,由于各数字舵机之间呈串联方式连接,只需向一台数字舵机发送十六进制机械臂4控制指令,就可完成对所有数字舵机的控制。
在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述移动底盘3包括:电机驱动模块及移动装置;
所述移动装置包括:伺服电机、全向轮、码盘;
所述电机驱动模块,用于根据所述串口协议转换模块发送的所述电机控制指令,驱动所述伺服电机控制所述全向轮进行运动,并依据所述码盘产生的码盘信号得到所述机器人的当前位置信息,并将所述机器人的当前位置信息通过所述串口协议转换模块上传至所述协同控制中心模块。
本实施例中,所述移动底盘3包括:电机驱动模块及移动装置;其中,所述移动装置包括:三个伺服电机、三个全向轮、两个互成90度的码盘;每个全向轮分别对应一个伺服电机来驱动,且这三个全向轮相互成120度角,所述码盘用于反馈码盘信号。
本实施例中,所述电机驱动模块以STM32为主控芯片,包括:电机供电端、两路RS485串口通信端,其中,一路RS485串口通信端,用来接收来自于串口协议转换模块发送的电机控制指令,根据接收到的所述电机控制指令在电机驱动模块通过PWM脉冲调制原理进行伺服电机的调速和正逆转的控制,从而控制机器人的移动情况;同时,通过另一路RS485串口通信端,用来接收来自于码盘反馈的码盘信号,所述码盘信号经所述电机驱动模块处理后得到所述机器人的当前位置信息,并将所述机器人的当前位置信息再通过所述串口协议转换模块返回至所述协同控制中心模块,由所述协同控制中心模块进行分析,调整电机控制指令并发送调整后的电机控制指令控制所述移动底盘3的动作,从而构成一个闭环系统,使得机器人能够自主移动至所述目标物体所在的位置,并操作所述目标物体,且所述机器人具有实时识别、跟踪目标物体的能力。
本实施例中,三个全向轮相互成120度角能够平衡自身重心,使得所述机器人具有稳定的速度且运动灵活,所述全向轮与码盘一起实现了机器人在室内安全、自由活动的同时,还提供了机器人的当前位置信息。
在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述串口协议转换模块通过第一R232通信串口与所述工控机2相连;
所述串口协议转换模块通过第一RS485通信串口与所述机械臂4相连;
所述串口协议转换模块通过第二RS485通信串口与所述电机驱动模块相连。
本实施例中,所述串口协议转换模块是以STM32为主处理芯片,配有一路RS232通信串口,两路RS485通信串口,实现一进多出的功能。其中,一路RS232通信串口连接工控机2作为输入端,两路RS485作为输出端,其中,一路RS485连接机械臂4,另一路RS485连接电机驱动模块。在所述串口协议转换模块中,接收来自工控机2处理目标物体的空间三维坐标后生成的所述电机控制指令及机械臂4控制指令,之后将所述电机控制指令及机械臂4控制指令进行响应处理和任务分配,通过两路RS485串口将所述电机控制指令及机械臂4控制指令分别发送给电机驱动模块和机械臂4。
本实施例中,所述串口协议转换模块作为整个系统的连接枢纽,将协同控制中心模块、机械臂4、电机驱动模块有效的连接起来,节省了串口资源,提高了实时性与多任务性。
本实施例中,所述串口协议转换模块与所述协同控制中心模块的连接,使得工控机2在完成相应的图像处理,生成所述电机控制指令及机械臂4控制指令后,有效的将所述电机控制指令及机械臂4控制指令通过RS232串口通信传输到所述串口协议转换模块,由所述串口协议转换模块依据指令和多任务处理原则进行任务分配,充分增强了信息传输的实时效果。所述协同控制中心模块与串口协议转换模块的连接是机器人是否能够做出反应的关键一环,也是指令传输的重要依赖。
本发明实施例中,所述目标物体以网球为例,结合图3、图4、图5进行说明:
如图3所述,协同控制中心模块在完成双目摄像头1的标定、校正、匹配之后,通过双目摄像头1采集网球的图像,即左右摄像头采集的网球所处环境的左右图像,对左右图像中的网球分别进行检测、识别,具体的,可以通过Hough圆检测算法和轮廓提取算法得到网球在左右图像中的图像坐标,接着,通过最小二乘法将左右图像的网球坐标转换成空间三维坐标,生成控制指令,通过USB转RS232发送给串口协议转换模块,经所述串口协议转换模块分析后,分别通过两路RS485发送给相应的电机驱动模块和机械臂4,同时所述协同控制中心模块依据所述串口协议转换模块上传的所述机器人的当前位置信息,生成新的控制指令,从而构成一个闭环系统,以实现机器人的自主移动和机械臂4的自主操作。
如图4所述,生成网球的空间三维坐标的具体步骤可以包括:通过协同控制中心模块完成双目摄像头1的标定、校正、匹配,之后,通过双目摄像头1进行图像的采集,在双目摄像头1采集图像之后,通过所述协同控制中心模块对图像进行处理来降低噪声、光照等的干扰,之后,利用霍夫圆检测算法、轮廓提取算法等对图像中的网球进行检测、识别,识别成功之后,得到网球在左右图像中的图像坐标,并将识别得到的网球实时的显示在显示屏上,还将得到所述网球在左右图像中的图像坐标也显示在所述显示屏上,并通过最小二乘法将得到所述网球的空间三维坐标,为所述协同控制中心模块生成控制指令提供数据依据。
如图5所述,实现机器人自主移动的步骤可以包括:在所述协同控制中心模块对图像数据和坐标数据进行分析后,生成控制指令发送到串口协议转换模块,由串口协议转换模块进行任务分配,通过一路RS485将机械臂4控制指令发送给机械臂4,通过另一路RS485将电机控制指令发送给电机驱动模块,由电机驱动模块驱动伺服电机控制全向轮的移动轨迹,同时将码盘信号反馈给电机驱动模块,由所述电机驱动模块依据所述码盘信号得到所述机器人的当前位置信息,并将所述机器人的当前位置信息再通过所述串口协议转换模块返回至所述协同控制中心模块,由所述协同控制中心模块进行分析,调整电机控制指令并发送调整后的电机控制指令控制所述移动底盘3的动作,从而形成一个闭环系统,有利于实现机器人的自主移动。以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于双目视觉的双臂移动机器人系统,其特征在于,包括:双目摄像头、工控机、串口协议转换器、机械臂及移动底盘;其中,
所述双目摄像头,用于实时采集目标物体的图像,并将采集到的所述图像上传至所述工控机;
所述工控机,用于对接收到的所述图像进行处理,得到所述目标物体的位置信息,并依据所述目标物体的位置信息生成电机控制指令及机械臂控制指令,并将生成的所述电机控制指令及机械臂控制指令发送至所述串口协议转换器;
所述串口协议转换器,用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换,并将转换后生成的电机控制指令及机械臂控制指令分别发送至所述移动底盘及机械臂;
所述移动底盘,用于依据接收到的所述电机控制指令进行移动,使得所述机器人移动至所述目标物体所在的位置;
所述机械臂,用于依据接收到的所述机械臂控制指令操作所述目标物体。
2.根据权利要求1所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述双目摄像头包括:第一摄像头及第二摄像头;所述第一摄像头及第二摄像头位于所述机器人的头部,呈左右对称分布。
3.根据权利要求2所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述工控机包括:协同控制中心模块;
所述协同控制中心模块,具体用于对所述双目摄像头采集到的图像进行目标检测,识别所述图像中的目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标,将所述目标物体在第一摄像及第二摄像头下的图像坐标转换成所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令,并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器。
4.根据权利要求3所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述工控机还包括:显示器;
所述协同控制中心模块,具体用于根据接收到的所述图像,通过Hough圆检测算法和轮廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐标,根据所述目标物体在第一摄像及第二摄像头下的图像坐标,通过最小二乘法得到所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制指令,并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器;还用于将识别出的所述目标物体、得到的所述目标物体在第一摄像及第二摄像头下的图像坐标显示在所述显示器上。
5.根据权利要求3所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述协同控制中心模块,还用于在所述双目摄像头采集所述目标物体的图像之前,对所述双目摄像头进行标定、校正、匹配所述协同控制中心模块,还用于在所述双目摄像头采集所述目标物体的图像之前,对所述双目摄像头进行标定、校正、匹配。
6.根据权利要求5所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述协同控制中心模块,还用于在所述双目视觉模块采集所述目标物体的图像之前,利用张正友标定方法对所述双目摄像头进行标定,利用Bouguet极线校正方法或Hartley校正方法对所述双目摄像头进行校正,利用BM匹配方法或SGBM匹配方法对所述双目摄像头进行匹配。
7.根据权利要求3所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述串口协议转换器包括:串口协议转换模块;
所述串口协议转换模块,用于对接收到的所述电机控制指令及机械臂控制指令进行协议转换,并将转换后生成的十六进制电机控制指令及十六进制机械臂控制指令分别发送至所述移动底盘及机械臂。
8.根据权利要求1所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述机械臂包括多个数字舵机,由所述多个数字舵机构成两个各具有三自由度的机械臂;
两个机械臂呈左右对称分布在机器人的两侧,各数字舵机之间通过串联的方式连接。
9.根据权利要求7所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述移动底盘包括:电机驱动模块及移动装置;
所述移动装置包括:伺服电机、全向轮、码盘;
所述电机驱动模块,用于根据所述串口协议转换模块发送的所述电机控制指令,驱动所述伺服电机控制所述全向轮进行运动,并依据所述码盘产生的码盘信号得到所述机器人的当前位置信息,并将所述机器人的当前位置信息通过所述串口协议转换模块上传至所述协同控制中心模块。
10.根据权利要求9所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述串口协议转换模块通过第一R232通信串口与所述工控机相连;
所述串口协议转换模块通过第一RS485通信串口与所述机械臂相连;
所述串口协议转换模块通过第二RS485通信串口与所述电机驱动模块相连。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610565141.7A CN106113067B (zh) | 2016-07-18 | 2016-07-18 | 一种基于双目视觉的双臂移动机器人系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610565141.7A CN106113067B (zh) | 2016-07-18 | 2016-07-18 | 一种基于双目视觉的双臂移动机器人系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106113067A true CN106113067A (zh) | 2016-11-16 |
CN106113067B CN106113067B (zh) | 2018-11-06 |
Family
ID=57283534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610565141.7A Expired - Fee Related CN106113067B (zh) | 2016-07-18 | 2016-07-18 | 一种基于双目视觉的双臂移动机器人系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106113067B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106770417A (zh) * | 2017-01-05 | 2017-05-31 | 浙江大学 | 基于核磁共振机器人的油菜干旱诊断方法及装置 |
CN107234619A (zh) * | 2017-06-02 | 2017-10-10 | 南京金快快无人机有限公司 | 一种基于主动视觉定位的服务机器人抓取系统 |
CN108286949A (zh) * | 2017-12-29 | 2018-07-17 | 北京卫星制造厂 | 一种可移动式三维检测机器人系统 |
CN108995782A (zh) * | 2018-10-18 | 2018-12-14 | 桂林电子科技大学 | 一种基于双目视觉的智能化无人水上救援装置及使用方法 |
CN109011490A (zh) * | 2018-10-24 | 2018-12-18 | 深圳市衡泰信科技有限公司 | 基于红外双目高速摄像的高尔夫运动地面感测装置及方法 |
CN109571412A (zh) * | 2019-01-15 | 2019-04-05 | 北京华晟经世信息技术有限公司 | 一种机械臂自主导航移动系统和方法 |
CN109623815A (zh) * | 2018-12-19 | 2019-04-16 | 江苏科技大学 | 一种用于无人打捞船的波浪补偿双机器人系统及方法 |
CN109664317A (zh) * | 2019-01-24 | 2019-04-23 | 深圳勇艺达机器人有限公司 | 机器人的物体抓取系统及方法 |
CN109794940A (zh) * | 2019-03-01 | 2019-05-24 | 北京达盛智联教育技术有限公司 | 一种双目人工智能机械臂教学装置 |
CN110232038A (zh) * | 2019-05-20 | 2019-09-13 | 湖北三江航天红峰控制有限公司 | 一种工控机用智能通讯串口装置 |
CN115589531A (zh) * | 2022-09-13 | 2023-01-10 | 深圳市拓普智造科技有限公司 | 目标场景的拍摄方法、系统及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5300869A (en) * | 1992-07-30 | 1994-04-05 | Iowa State University Research Foundation, Inc. | Nonholonomic camera space manipulation |
CN2863280Y (zh) * | 2006-01-24 | 2007-01-31 | 湖南大学 | 高速自动化生产线上的次品自动分拣设备 |
CN101058181A (zh) * | 2007-06-07 | 2007-10-24 | 上海交通大学 | 模块化及标准化组件构成的机器人 |
CN101360588A (zh) * | 2006-02-02 | 2009-02-04 | 株式会社安川电机 | 机器人系统 |
CN101817182A (zh) * | 2010-03-30 | 2010-09-01 | 杭州电子科技大学 | 一种智能移动机械臂控制系统 |
CN104842362A (zh) * | 2015-06-18 | 2015-08-19 | 厦门理工学院 | 一种机器人抓取物料包的方法和机器人抓取装置 |
CN105291088A (zh) * | 2014-06-02 | 2016-02-03 | 精工爱普生株式会社 | 机器人、机器人系统以及控制方法 |
CN105313103A (zh) * | 2014-07-31 | 2016-02-10 | 精工爱普生株式会社 | 双臂机器人 |
-
2016
- 2016-07-18 CN CN201610565141.7A patent/CN106113067B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5300869A (en) * | 1992-07-30 | 1994-04-05 | Iowa State University Research Foundation, Inc. | Nonholonomic camera space manipulation |
CN2863280Y (zh) * | 2006-01-24 | 2007-01-31 | 湖南大学 | 高速自动化生产线上的次品自动分拣设备 |
CN101360588A (zh) * | 2006-02-02 | 2009-02-04 | 株式会社安川电机 | 机器人系统 |
CN101058181A (zh) * | 2007-06-07 | 2007-10-24 | 上海交通大学 | 模块化及标准化组件构成的机器人 |
CN101817182A (zh) * | 2010-03-30 | 2010-09-01 | 杭州电子科技大学 | 一种智能移动机械臂控制系统 |
CN105291088A (zh) * | 2014-06-02 | 2016-02-03 | 精工爱普生株式会社 | 机器人、机器人系统以及控制方法 |
CN105313103A (zh) * | 2014-07-31 | 2016-02-10 | 精工爱普生株式会社 | 双臂机器人 |
CN104842362A (zh) * | 2015-06-18 | 2015-08-19 | 厦门理工学院 | 一种机器人抓取物料包的方法和机器人抓取装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106770417A (zh) * | 2017-01-05 | 2017-05-31 | 浙江大学 | 基于核磁共振机器人的油菜干旱诊断方法及装置 |
CN107234619A (zh) * | 2017-06-02 | 2017-10-10 | 南京金快快无人机有限公司 | 一种基于主动视觉定位的服务机器人抓取系统 |
CN108286949B (zh) * | 2017-12-29 | 2020-07-14 | 北京卫星制造厂 | 一种可移动式三维检测机器人系统 |
CN108286949A (zh) * | 2017-12-29 | 2018-07-17 | 北京卫星制造厂 | 一种可移动式三维检测机器人系统 |
CN108995782A (zh) * | 2018-10-18 | 2018-12-14 | 桂林电子科技大学 | 一种基于双目视觉的智能化无人水上救援装置及使用方法 |
CN109011490A (zh) * | 2018-10-24 | 2018-12-18 | 深圳市衡泰信科技有限公司 | 基于红外双目高速摄像的高尔夫运动地面感测装置及方法 |
CN109011490B (zh) * | 2018-10-24 | 2021-02-02 | 深圳市衡泰信科技有限公司 | 基于红外双目高速摄像的高尔夫运动地面感测装置及方法 |
CN109623815A (zh) * | 2018-12-19 | 2019-04-16 | 江苏科技大学 | 一种用于无人打捞船的波浪补偿双机器人系统及方法 |
CN109571412A (zh) * | 2019-01-15 | 2019-04-05 | 北京华晟经世信息技术有限公司 | 一种机械臂自主导航移动系统和方法 |
CN109664317A (zh) * | 2019-01-24 | 2019-04-23 | 深圳勇艺达机器人有限公司 | 机器人的物体抓取系统及方法 |
CN109664317B (zh) * | 2019-01-24 | 2022-06-14 | 深圳勇艺达机器人有限公司 | 机器人的物体抓取系统及方法 |
CN109794940A (zh) * | 2019-03-01 | 2019-05-24 | 北京达盛智联教育技术有限公司 | 一种双目人工智能机械臂教学装置 |
CN110232038A (zh) * | 2019-05-20 | 2019-09-13 | 湖北三江航天红峰控制有限公司 | 一种工控机用智能通讯串口装置 |
CN115589531A (zh) * | 2022-09-13 | 2023-01-10 | 深圳市拓普智造科技有限公司 | 目标场景的拍摄方法、系统及存储介质 |
CN115589531B (zh) * | 2022-09-13 | 2023-10-20 | 深圳市拓普智造科技有限公司 | 目标场景的拍摄方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106113067B (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106113067A (zh) | 一种基于双目视觉的双臂移动机器人系统 | |
CN111055281B (zh) | 一种基于ros的自主移动抓取系统与方法 | |
CN104842362B (zh) | 一种机器人抓取物料包的方法和机器人抓取装置 | |
WO2023056670A1 (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
CN103271784B (zh) | 基于双目视觉的人机交互式机械手控制系统和控制方法 | |
CN105665970B (zh) | 用于焊接机器人的路径点自动生成系统和方法 | |
CN109262623B (zh) | 一种牵引导航自主移动机器人 | |
CN103895022A (zh) | 穿戴式体感控制机械手 | |
CN107433573A (zh) | 智能双目自动抓取机械臂 | |
CN106853639A (zh) | 一种手机电池自动化装配系统及其控制方法 | |
CN100573389C (zh) | 四足式仿生机器人控制装置 | |
CN101947152A (zh) | 仿人形义肢的脑电-语音控制系统及工作方法 | |
CN104808664A (zh) | 一种实现智能化越障的方法 | |
CN108436912A (zh) | 一种可重构机器人对接机构的控制系统及其控制方法 | |
CN101976079A (zh) | 智能导航控制系统及方法 | |
CN109202958B (zh) | 一种复合机器人视觉抓取平台 | |
CN111702755B (zh) | 一种基于多目立体视觉的机械臂智能控制系统 | |
CN113812262B (zh) | 一种基于机器视觉的油茶果采摘机器人 | |
CN106406297A (zh) | 一种基于无线脑电控制履带式移动机器人的控制系统 | |
Dayananda et al. | An interconnected architecture for an emergency medical response unmanned aerial system | |
CN106527239A (zh) | 一种多机器人协同操作模式的方法及系统 | |
CN114132745A (zh) | 一种基于agv及机器视觉进行工件自动上下料系统及方法 | |
CN106777876A (zh) | 一种用于机器人的旋转电弧焊缝跟踪系统信息处理方法 | |
CN111546331A (zh) | 人机协作机器人安全防护系统及安全防护方法 | |
CN107756402A (zh) | 一种基于深度学习的智能型避障抓取系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181106 |