CN106113067B - 一种基于双目视觉的双臂移动机器人系统 - Google Patents

一种基于双目视觉的双臂移动机器人系统 Download PDF

Info

Publication number
CN106113067B
CN106113067B CN201610565141.7A CN201610565141A CN106113067B CN 106113067 B CN106113067 B CN 106113067B CN 201610565141 A CN201610565141 A CN 201610565141A CN 106113067 B CN106113067 B CN 106113067B
Authority
CN
China
Prior art keywords
control instruction
target
camera
mechanical arm
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610565141.7A
Other languages
English (en)
Other versions
CN106113067A (zh
Inventor
解仑
马洪岳
纪小建
王志良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201610565141.7A priority Critical patent/CN106113067B/zh
Publication of CN106113067A publication Critical patent/CN106113067A/zh
Application granted granted Critical
Publication of CN106113067B publication Critical patent/CN106113067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明提供一种基于双目视觉的双臂移动机器人系统,所述机器人具有一定自主性和智能性。所述系统包括:双目摄像头,用于实时采集目标物体的图像;工控机,用于依据双目摄像头采集的图像,得到目标物体的位置信息,并依据目标物体的位置信息生成电机控制指令及机械臂控制指令;串口协议转换器,用于对生成的电机控制指令及机械臂控制指令进行协议转换,并将转换后生成的电机控制指令及机械臂控制指令分别发送至移动底盘及机械臂;移动底盘,用于依据接收到的电机控制指令进行移动,使得机器人移动至目标物体所在的位置;机械臂,用于依据接收到的机械臂控制指令操作目标物体。本发明适用于机器人自主作业技术领域。

Description

一种基于双目视觉的双臂移动机器人系统
技术领域
[0001]本发明涉及机器人自主作业技术领域,特别是指一种基于双目视觉的双臂移动机 器人系统。
背景技术
[0002] 随着物联网、通信技术、视觉技术、智能技术的不断进步以及人类需求的不断增 力口,机器人的发展已经成为一种必然趋势,无论是在工业、医疗、家居、军事等各个领域,智 能机器人都将为其提供巨大的便利,也必能颠覆传统的行业模式,发挥着前所未有的作用。 但现有的很多机器人功能单一、智能化程度还相对较低,且多数都是非自主或半自主的工 作模式,缺乏一定的自主性和智能性。例如,虽然有些机器人可以通过传感技术和无线传输 技术实现无线遥控,但大多数仍属于单向控制,无法形成反馈实现自主作业。
[0003] 尽管现在机器人的使用己相对广泛,但大多数的应用还是非自主作业,在某些特 殊的环境下还需要人为的参与,尤其是在一些恶劣的工作环境下,安全系数低,对人体会有 一定的伤害,导致面临的问题依旧比较严峻。
发明内容
[0004] 本发明要解决的技术问题是提供一种基于双目视觉的双臂移动机器人系统,以解 决现有技术所存在的机器人智能化程度相对较低,缺乏一定的自主性和智能性的问题。
[0005] 为解决上述技术问题,本发明实施例提供一种基于双目视觉的双臂移动机器人系 统,包括:双目摄像头、工控机、串口协议转换器、机械臂及移动底盘;其中,
[0006] 所述双目摄像头,用于实时采集目标物体的图像,并将采集到的所述图像上传至 所述工控机;
[0007] 所述工控机,用于对接收到的所述图像进行处理,得到所述目标物体的位置信息, 并依据所述目标物体的位置信息生成电机控制指令及机械臂控制指令,并将生成的所述电 机控制指令及机械臂控制指令发送至所述串口协议转换器;
[0008] 所述串口协议转换器,用于对接收到的所述电机控制指令及机械臂控制指令进行 协议转换,并将转换后生成的电机控制指令及机械臂控制指令分别发送至所述移动底盘及 机械臂;
[0009] 所述移动底盘,用于依据接收到的所述电机控制指令进行移动,使得所述机器人 移动至所述目标物体所在的位置;
[0010] 所述机械臂,用于依据接收到的所述机械臂控制指令操作所述目标物体。
[0011] 进一步地,所述双目摄像头包括:第一摄像头及第二摄像头;所述第一摄像头及第 二摄像头位于所述机器人的头部,呈左右对称分布。
[0012] 进一步地,所述工控机包括:协同控制中心模块;
[0013] 所述协同控制中心模块,具体用于对所述双目摄像头采集到的图像进行目标检 测,识别所述图像中的目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐 标,将所述目标物体在第一摄像及第二摄像头下的图像坐标转换成所述目标物体的空间三 维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制 指令,并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器。
[0014] 进一步地,所述工控机还包括:显示器;
[0015] 所述协同控制中心模块,具体用于根据接收到的所述图像,通过Hough圆检测算法 和轮廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄像及第 二摄像头下的图像坐标,根据所述目标物体在第一摄像及第二摄像头下的图像坐标,通过 最小二乘法得到所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐 标生成所述电机控制指令及机械臂控制指令,并将所述电机控制指令及机械臂控制指令发 送至所述串口协议转换器;还用于将识别出的所述目标物体、得到的所述目标物体在第一 摄像及第二摄像头下的图像坐标显示在所述显示器上。
[0016] 进一步地,所述协同控制中心模块,还用于在所述双目摄像头采集所述目标物体 的图像之前,对所述双目摄像头进行标定、校正、匹配所述协同控制中心模块,还用于在所 述双目摄像头采集所述目标物体的图像之前,对所述双目摄像头进行标定、校正、匹配。
[0017] 进一步地,所述协同控制中心模块,还用于在所述双目视觉模块采集所述目标物 体的图像之前,利用张正友标定方法对所述双目摄像头进行标定,利用Bouguet极线校正方 法或Hartley校正方法对所述双目摄像头进行校正,利用BM匹配方法或SGBM匹配方法对所 述双目摄像头进行匹配。
[0018] 进一步地,所述串口协议转换器包括:串口协议转换模块;
[0019] 所述串口协议转换模块,用于对接收到的所述电机控制指令及机械臂控制指令进 行协议转换,并将转换后生成的十六进制电机控制指令及十六进制机械臂控制指令分别发 送至所述移动底盘及机械臂。
[0020] 进一步地,所述机械臂包括多个数字舵机,由所述多个数字舵机构成两个各具有 三自由度的机械臂;
[0021] 两个机械臂呈左右对称分布在机器人的两侧,各数字舵机之间通过串联的方式连 接。
[0022] 进一步地,所述移动底盘包括:电机驱动模块及移动装置;
[0023] 所述移动装置包括:伺服电机、全向轮、码盘;
[0024]所述电机驱动模块,用于根据所述串口协议转换模块发送的所述电机控制指令, 驱动所述伺服电机控制所述全向轮进行运动,并依据所述码盘产生的码盘信号得到所述机 器人的当前位置信息,并将所述机器人的当前位置信息通过所述串口协议转换模块上传至 所述协同控制中心模块。
[0025]进一步地,所述串口协议转换模块通过第一 R232通信串口与所述工控机相连; [0026]所述串口协议转换模块通过第一 RS485通信串口与所述机械臂相连;
[0027]所述串口协议转换模块通过第二RS485通信串口与所述电机驱动模块相连。
[0028]本发明的上述技术方案的有益效果如下:
[0029]上述方案中,通过双目摄像头实时采集目标物体的图像;通过工控机对采集的所 述图像进行处理,得到目标物体的位置信息,并依据目标物体的位置信息生成电机控制指 令及机械臂控制指令,并将生成的电机控制指令及机械臂控制指令发送至串口协议转换 器;通过串口协议转换器对所述电机控制指令及机械臂控制指令进行协议转换,并将转换 后生成的电机控制指令及机械臂控制指令分别发送至移动底盘及机械臂,使得机器人通过 移动底盘移动至目标物体所在的位置,并使得机械臂依据所述机械臂控制指令操作目标物 体。这样,根据双目摄像头采集到的目标物体的图像,使得机器人能够自主移动至所述目标 物体所在的位置,并去操作该目标物体,所述机器人具有一定自主性和智能性。
附图说明
[0030] 图1为本发明实施例提供的基于双目视觉的双臂移动机器人系统的结构示意图;
[0031] 图2为本发明实施例提供的基于双目视觉的双臂移动机器人系统的详细结构示意 图;
[0032]图3为本发明实施例提供的基于双目视觉的双臂移动机器人系统的工作流程示意 图;
[0033]图4为本发明实施例提供的生成目标物体的空间三维坐标的工作流程示意图; [0034]图5为本发明实施例提供的实现机器人自主移动的工作流程示意图。
具体实施方式
[0035]为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具 体实施例进行详细描述。
[0036]本发明针对现有的机器人智能化程度相对较低,缺乏一定的自主性和智能性的问 题,提供一种基于双目视觉的双臂移动机器人系统。
[0037]实施例一
[0038] 参看图1所述,本发明实施例提供的基于双目视觉的双臂移动机器人系统,包括: 双目摄像头1、工控机2、串口协议转换器5、机械臂4及移动底盘3;其中,
[0039]所述双目摄像头1,用于实时采集目标物体的图像,并将采集到的所述图像上传至 所述工控机2;
[0040]所述工控机2,用于对接收到的所述图像进行处理,得到所述目标物体的位置信 息,并依据所述目标物体的位置信息生成电机控制指令及机械臂4控制指令,并将生成的所 述电机控制指令及机械臂4控制指令发送至所述串口协议转换器5;
[0041] 所述串口协议转换器5,用于对接收到的所述电机控制指令及机械臂4控制指令进 行协议转换,并将转换后生成的电机控制指令及机械臂4控制指令分别发送至所述移动底 盘3及机械臂4;
[0042]所述移动底盘3,用于依据接收到的所述电机控制指令进行移动,使得所述机器人 移动至所述目标物体所在的位置;
[0043] 所述机械臂4,用于依据接收到的所述机械臂4控制指令操作所述目标物体。
[0044]本发明实施例所述的基于双目视觉的双臂移动机器人系统,通过双目摄像头实时 采集目标物体的图像;通过工控机对采集的所述图像进行处理,得到目标物体的位置信息, 并依据目标物体的位置信息生成电机控制指令及机械臂控制指令,并将生成的电机控制指 令及机械臂控制指令发送至串口协议转换器;通过串口协议转换器对所述电机控制指令及 机械臂控制指令进行协议转换,并将转换后生成的电机控制指令及机械臂控制指令分别发 送至移动底盘及机械臂,使得机器人通过移动底盘移动至目标物体所在的位置,并使得机 械臂依据所述机械臂控制指令操作目标物体。这样,根据双目摄像头采集到的目标物体的 图像,使得机器人能够自主移动至所述目标物体所在的位置,并去操作该目标物体,所述机 器人具有一定自主性和智能性。
[0045] 本实施例中,所述电机控制指令及机械臂4控制指令可以合称为控制指令。
[0046] 在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述 双目摄像头1包括:第一摄像头及第二摄像头;所述第一摄像头及第二摄像头位于所述机器 人的头部,呈左右对称分布。
[0047]本实施例中,所述双目摄像头1包括:第一摄像头及第二摄像头,所述第一摄像头 及第二摄像头可以为型号相同的通用串行总线(Universal Serial Bus,USB)互补金属氧 化物半导体(Complementary Metal Oxide Semiconductor,CMOS)摄像头,所述USB CMOS摄 像头位于机器人头部、呈左右对称分布,因此,可以称分布在左侧的摄像头为左摄像头,分 布在右侧的摄像头为右摄像头,左摄像及右摄像头可以合称为左右摄像头,左摄像头及右 摄像头采集的图像可以合称为左右图像;所述左右摄像头的分辨率为640*480;所述左右摄 像头分别可以通过USB线连接到所述工控机2上。
[0048] 本实施例中,如图2所示,所述双目摄像头1包括:双目视觉模块;所述双目视觉模 块用于实时采集所述目标物体的图像,所述图像包括:左摄像头采集到的图像和右摄像头 采集到的图像,因此,所述图像也称为左右图像;并将采集的左右图像上传至所述工控机2, 由所述工控机2中的目标物体识别功能对所述左右图像中的目标物体进行识别,目标物体 的准确识别是机器人进行有效作业的主要条件,也是最为关键的一环。
[0049] 在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述 工控机2包括:协同控制中心模块; 一
[0050] 所述协同控制中心模块,具体用于对所述双目摄像头1采集到的图像进行目标检 测,识别所述图像中的目标物体并得到所述目标物体在第一摄像及第二摄像头下的图像坐 标,将所述目标物体在第一摄像及第二摄像头下的图像坐标转换成所述目标物体的空间三 维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂4控 制指令,并将所述电机控制指令及机械臂4控制指令发送至所述串口协议转换器5。
[0051] 本实施例中,所述工控机2的操作系统是Windows XP,所述工控机2包括:协同控制 中心模块;所述Windows XP作为所述协同控制中心模块的运行环境。 _
[0052] 本实施例中,由所述协同控制中心模块中的目标物体识别功能对采集到的图像进 行目标检测,识别所述图像中的目标物体,实现对目标物体的识别检测,并得到所述目标物 体在第一摄像及第二摄像头下的图像坐标,将所述目标物体在第一摄像及第二摄像头下的 图像坐标转换成所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐 标生成所述电机控制指令及机械臂4控制指令,接着,可以通过RS232串口通信方式将所述 电机控制指令及机械臂4控制指令发送至所述串口协议转换器5,使所述串口协议转换器5 依据所述电机控制指令及机械臂4控制指令通过不同串口发送不同控制指令实现对机械臂 4和移动底盘3的动作规划。
[0053] 本实施例中,所述协同控制中心模块作为整个系统的控制枢纽,可以将双目摄像 头1和串口协议转换器5有效的关联起来,增强了所述协同控制中心模块与所述双目摄像头 1和串口协议转换器5的协同作用。一旦目标物体的位置发生变化,机器人能够通过串口协 议转换器5发送相关控制指令,从而对机器人的动作进行调整,也就是说,所述机器人能够 实时识别、跟踪目标物体。
[0054] 在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述 工控机2还包括:显示器;
[0055] 所述协同控制中心模块,具体用于根据接收到的所述图像,通过霍夫(Hough)圆检 测算法和轮廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄 像及第二摄像头下的图像坐标,根据所述目标物体在第一摄像及第二摄像头下的图像坐 标,通过最小二乘法得到所述目标物体的空间三维坐标,并依据得到的所述目标物体的空 间三维坐标生成所述电机控制指令及机械臂4控制指令,并将所述电机控制指令及机械臂4 控制指令发送至所述串口协议转换器5;还用于将识别出的所述目标物体、得到的所述目标 物体在第一摄像及第二摄像头下的图像坐标显示在所述显示器上。
[0056] 本实施例中,所述工控机2还包括:显示器;所述协同控制中心模块可以利用Hough 圆检测算法、轮廓提取算法对所述左右图像中的目标物体的特征进行提取和识别,并得到 所述目标物体在左右图像中的图像坐标,同时,还可以将识别出的左右图像中的目标物体 及所述目标物体在左右图像中的图像坐标分开显示在显示屏上,同时也能将实时采集的左 右图像,对所述左右图像的实时处理过程均显示在显示屏上,便于能够实时观察到图像处 理情况,提高了用户对其机器人工作的可视性和可控性。
[0057] 本实施例中,根据所述目标物体在左右图像中的图像坐标,可以利用最小二乘法 得到所述目标物体的空间三维坐标,再通过RS232串口通信方式将得到所述目标物体的空 间三维坐标进行处理生成的所述电机控制指令及机械臂4控制指令发送给所述串口协议转 换器5,经所述串口协议转换器5处理和分配后,将所述电机控制指令及机械臂4控制指令分 别发送至所述移动底盘3和机械臂4,从而实现机器人的控制功能。本实施例中,所述协同控 制中心模块与所述串口协议转换器5的协同配合能够为机器人提供良好稳定的控制指令。 [0058]在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述 协同控制中心模块,还用于在所述双目摄像头1采集所述目标物体的图像之前,对所述双目 摄像头1进行标定、校正、匹配。
[0059]本实施例中,在所述双目摄像头1采集所述目标物体的图像之前,通过所述协同控 制中心模块首先利用张正友标定法以及Bouguet极线校正方法或者Hartley校正方法进行 双目摄像头1的标定、校正作业,得到标定后的数据,进而基于所得的标定数据,利用BM (Boyer-Moore算法)或半全局块匹配算法(semi-Global Block Matching,SGBM)对所述双 目摄像头1进行匹配,得到双目摄像头1的参数。
[0060] _本实施例中,作为一个可选实施例,所述协同控制中心模块,还用于在所述双目视 觉模块采集所述目标物体的图像之前,利用张正友标定方法对所述双目摄像头丨进行标定, 利用Bouguet极线校正方法或Hartley校正方法对所述双目摄像头1进行校正,利用冊匹配 方法或SGBM匹配方法对所述双目摄像头丨进行匹配。在前述基于双目视觉的双臂移动机器 人系统的具体实施方式中,进一步地,所述串口协议转换器5包括:串口协议转换模块;
[0061]所述串口协议转换模块,用于对接收到的所述电机控制指令及机械臂4控制指令 进行协议转换,并将转换后生成的十六进制电机控制指令及十六进制机械臂4控制指令分 别发送至所述移动底盘3及机械臂4。
[0062]本实施例中,以机械臂4为例,可以通过所述十六进制机械臂4控制指令准确地控 制机械臂4各关节的旋转角度,使机械臂4的执行器末端精确地到达所述目标物体的位置, 从而操作所述目标物体,例如,抓取所述目标物体。
[0063]在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述 机械臂4包括多个数字舵机,由所述多个数字舵机构成两个各具有三自由度的机械臂4; [0064]两个机械臂4呈左右对称分布在机器人的两侧,各数字舵机之间通过串联的方式 连接。
[0065] 本实施例中,所述机械臂4可以包括:四个RX-64数字舵机及三个RX-28数字舵机, 所述数字舵机均接受十六进制数组指令。由这7个数字舵机构成两个各具有三自由度的机 械臂4,两个机械臂4呈左右对称分布在机器人两侧,各数字舵机之间呈串联方式连接,通过 RS485通信方式,从一台数字舵机的一端接收来自于串口协议转换模块发送的十六进制机 械臂4控制指令,由于各数字舵机之间呈串联方式连接,只需向一台数字舵机发送十六进制 机械臂4控制指令,就可完成对所有数字舵机的控制。
[0066] 在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述 移动底盘3包括:电机驱动模块及移动装置;
[0067]所述移动装置包括:伺服电机、全向轮、码盘;
[0068]所述电机驱动模块,用于根据所述串口协议转换模块发送的所述电机控制指令, 驱动所述伺服电机控制所述全向轮进行运动,并依据所述码盘产生的码盘信号得到所述机 器人的当前位置信息,并将所述机器人的当前位置信息通过所述串口协议转换模块上传至 所述协同控制中心模块。
[0069] 本实施例中,所述移动底盘3包括:电机驱动模块及移动装置;其中,所述移动装置 包括:三个伺服电机、三个全向轮、两个互成90度的码盘;每个全向轮分别对应一个伺服电 机来驱动,且这三个全向轮相互成120度角,所述码盘用于反馈码盘信号。
[0070] 本实施例中,所述电机驱动模块以STM32为主控芯片,包括:电机供电端、两路 RS485串口通信端,其中,一路RS485串口通信端,用来接收来自于串口协议转换模块发送的 电机控制指令,根据接收到的所述电机控制指令在电机驱动模块通过PWM脉冲调制原理进 行伺服电机的调速和正逆转的控制,从而控制机器人的移动情况;同时,通过另一路RS485 串口通信端,用来接收来自于码盘反馈的码盘信号,所述码盘信号经所述电机驱动模块处 理后得到所述机器人的当前位置信息,并将所述机器人的当前位置信息再通过所述串口协 议转换模块返回至所述协同控制中心模块,由所述协同控制中心模块进行分析,调整电机 控制指令并发送调整后的电机控制指令控制所述移动底盘3的动作,从而构成一个闭环系 统,使得机器人能够自主移动至所述目标物体所在的位置,并操作所述目标物体,且所述机 器人具有实时识别、跟踪目标物体的能力。
[0071]本实施例中,三个全向轮相互成120度角能够平衡自身重心,使得所述机器人具有 稳定的速度且运动灵活,所述全向轮与码盘一起实现了机器人在室内安全、自由活动的同 时,还提供了机器人的当前位置信息。
[0072] 在前述基于双目视觉的双臂移动机器人系统的具体实施方式中,进一步地,所述 串口协议转换模块通过第一 R232通信串口与所述工控机2相连;
[0073]所述串口协议转换模块通过第一 RS485通信串口与所述机械臂4相连;
[0074]所述串口协议转换模块通过第二RS485通信串口与所述电机驱动模块相连。
[0075]本实施例中,所述串口协议转换模块是以STM32为主处理芯片,配有一路RS232通 信串口,两路RS485通信串口,实现一进多出的功能。其中,一路RS232通信串口连接工控机2 作为输入端,两路RS4S5作为输出端,其中,一路RS485连接机械臂4,另一路RS485连接电机 驱动模块。在所述串口协议转换模块中,接收来自工控机2处理目标物体的空间三维坐标后 生成的所述电机控制指令及机械臂4控制指令,之后将所述电机控制指令及机械臂4控制指 令进行响应处理和任务分配,通过两路RS485串口将所述电机控制指令及机械臂4控制指令 分别发送给电机驱动模块和机械臂4。
[0076]本实施例中,所述串口协议转换模块作为整个系统的连接枢纽,将协同控制中心 模块、机械臂4、电机驱动模块有效的连接起来,节省了串口资源,提高了实时性与多任务 性。
[0077]本实施例中,所述串口协议转换模块与所述协同控制中心模块的连接,使得工控 机2在完成相应的图像处理,生成所述电机控制指令及机械臂4控制指令后,有效的将所述 电机控制指令及机械臂4控制指令通过RS232串口通信传输到所述串口协议转换模块,由所 述串口协议转换模块依据指令和多任务处理原则进行任务分配,充分增强了信息传输的实 时效果。所述协同控制中心模块与串口协议转换模块的连接是机器人是否能够做出反应的 关键一环,也是指令传输的重要依赖。
[0078]本发明实施例中,所述目标物体以网球为例,结合图3、图4、图5进行说明:
[0079]如图3所述,协同控制中心模块在完成双目摄像头1的标定、校正、匹配之后,通过 双目摄像头1采集网球的图像,即左右摄像头采集的网球所处环境的左右图像,对左右图像 中的网球分别进行检测、识别,具体的,可以通过Hough圆检测算法和轮廓提取算法得到网 球在左右图像中的图像坐标,接着,通过最小二乘法将左右图像的网球坐标转换成空间三 维坐标,生成控制指令,通过USB转RS232发送给串口协议转换模块,经所述串口协议转换模 块分析后,分别通过两路RS485发送给相应的电机驱动模块和机械臂4,同时所述协同控制 中心模块依据所述串口协议转换模块上传的所述机器人的当前位置信息,生成新的控制指 令,从而构成一个闭环系统,以实现机器人的自主移动和机械臂4的自主操作。
[0080] 如图4所述,生成网球的空间三维坐标的具体步骤可以包括:通过协同控制中心模 块完成双目摄像头1的标定、校正、匹配,之后,通过双目摄像头1进行图像的采集,在双目摄 像头1采集图像之后,通过所述协同控制中心模块对图像进行处理来降低噪声、光照等的干 扰,之后,利用霍夫圆检测算法、轮廓提取算法等对图像中的网球进行检测、识别,识别成功 之后,得到网球在左右图像中的图像坐标,并将识别得到的网球实时的显不在显;^屏上,还 将得到所述网球在左右图像中的图像坐标也显示在所述显示屏上,并通过最小二乘法将得 到所述网球的空间三维坐标,为所述协同控制中心模块生成控制指令提供数据依据。
[0081] 如图5所述,实现机器人自主移动的步骤可以包括:在所述协同控制中心模块对图 像数据和坐标数据进行分析后,生成控制指令发送到串口协议转换模块,由串口协议转换 模块进行任务分配,通过一路RS485将机械臂4控制指令发送给机械臂4,通过另一路RS485 将电机控制指令发送给电机驱动模块,由电机驱动模块驱动伺服电机控制全向轮的移动轨 迹,同时将码盘信号反馈给电机驱动模块,由所述电机驱动模块依据所述码盘信号得到所 述机器人的当前位置信息,并将所述机器人的当前位置信息再通过所述串口协议转换模块 返回至所述协同控制中心模块,由所述协同控制中心模块进行分析,调整电机控制指令并 发送调整后的电机控制指令控制所述移动底盘3的动作,从而形成一个闭环系统,有利于实 现机器人的自主移动。以上所述是本发明的优选头施方式,应当指出,对于本技术领域的普 通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,'这些改 进和润饰也应视为本发明的保护范围。

Claims (2)

  1. L 一种基于双目视觉的双臂移动机器人系统,其特征在于,包括:双目摄像头、工控机、 串口协议转换器、机械臂及移动底盘;其中, 所述双目摄像头,用于实时采集目标物体的图像,并将采集到的所述图像上传至所述 工控机; 所述工控机,用于对接收到的所述图像进行处理,得到所述目标物体的位置信息,并依 据所述目标物体的位置信息生成电机控制指令及机械臂控制指令,并将生成的所述电机控 制指令及机械臂控制指令发送至所述串口协议转换器; 所述串口协议转换器,用于对接收到的所述电机控制指令及机械臂控制指令进行协议 转换,并将转换后生成的电机控制指令及机械臂控制指令分别发送至所述移动底盘及机械 臂; 所述移动底盘,用于依据接收到的所述电机控制指令进行移动,使得所述机器人移动 至所述目标物体所在的位置; 所述机械臂,用于依据接收到的所述机械臂控制指令操作所述目标物体; 其中,所述双目摄像头包括:第一摄像头及第二摄像头;所述第一摄像头及第二摄像头 位于所述机器人的头部,呈左右对称分布; 其中,所述工控机包括:协同控制中心模块; 所述协同控制中心模块,具体用于对所述双目摄像头采集到的图像进行目标检测,识 别所述图像中的目标物体并得到所述目标物体在第一摄像头及第二摄像头下的图像坐标, 将所述目标物体在第一摄像头及第二摄像头下的图像坐标转换成所述目标物体的空间三 维坐标,并依据得到的所述目标物体的空间三维坐标生成所述电机控制指令及机械臂控制 指令,并将所述电机控制指令及机械臂控制指令发送至所述串口协议转换器; 其中,所述工控机还包括:显示器; 所述协同控制中心模块,具体用于根据接收到的所述图像,通过Hough圆检测算法和轮 廓提取算法识别出所述图像中的所述目标物体并得到所述目标物体在第一摄像头及第二 摄像头下的图像坐标,根据所述目标物体在第一摄像头及第二摄像头下的图像坐标,通过 最小二乘法得到所述目标物体的空间三维坐标,并依据得到的所述目标物体的空间三维坐 标生成所述电机控制指令及机械臂控制指令,并将所述电机控制指令及机械臂控制指令发 送至所述串口协议转换器;还用于将识别出的所述目标物体、得到的所述目标物体在第一 摄像头及第二摄像头下的图像坐标显示在所述显示器上; 其中,所述协同控制中心模块,还用于在所述双目摄像头采集所述目标物体的图像之 前,对所述双目摄像头进行标定、校正、匹配; 其中,所述协同控制中心模块,具体用于在所述双目摄像头采集所述目标物体的图像 之前,利用张正友标定方法对所述双目摄像头进行标定,利用Bouguet极线校正方法或 Hartley校正方法对所述双目摄像头进行校正,利用BM匹配方法或SGBM匹配方法对所述双 目摄像头进行匹配; 其中,所述串口协议转换器包括:串口协议转换模块; 所述串口协议转换模块,用于对接收到的所述电机控制指令及机械臂控制指令进行协 议转换,并将转换后生成的十六进制电机控制指令及十六进制机械臂控制指令分别发送至 所述移动底盘及机械臂; 其中,所述移动底盘包括:电机驱动模块及移动装置; 所述移动装置包括:伺服电机、全向轮、码盘; 所述电机驱动模块,用于根据所述串口协议转换模块发送的所述电机控制指令,驱动 所述伺服电机控制所述全向轮进行运动,并依据所述码盘产生的码盘信号得到所述机器人 的当前位置信息,并将所述机器人的当前位置信息通过所述串口协议转换模块上传至所述 协同控制中心模块; 其中,所述串口协议转换模块通过第一R232通信串口与所述工控机相连; 所述串口协议转换模块通过第一 RS485通信串口与所述机械臂相连; 所述串口协议转换模块通过第二RS485通信串口与所述电机驱动模块相连。
  2. 2.根据权利要求1所述的基于双目视觉的双臂移动机器人系统,其特征在于,所述机械 臂包括多个数字舵机,由所述多个数字舵机构成两个各具有三自由度的机械臂; 两个机械臂呈左右对称分布在机器人的两侧,各数字舵机之间通过串联的方式连接。
CN201610565141.7A 2016-07-18 2016-07-18 一种基于双目视觉的双臂移动机器人系统 Active CN106113067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610565141.7A CN106113067B (zh) 2016-07-18 2016-07-18 一种基于双目视觉的双臂移动机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610565141.7A CN106113067B (zh) 2016-07-18 2016-07-18 一种基于双目视觉的双臂移动机器人系统

Publications (2)

Publication Number Publication Date
CN106113067A CN106113067A (zh) 2016-11-16
CN106113067B true CN106113067B (zh) 2018-11-06

Family

ID=57283534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610565141.7A Active CN106113067B (zh) 2016-07-18 2016-07-18 一种基于双目视觉的双臂移动机器人系统

Country Status (1)

Country Link
CN (1) CN106113067B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106770417B (zh) * 2017-01-05 2018-09-11 浙江大学 基于核磁共振机器人的油菜干旱诊断方法及装置
CN108286949B (zh) * 2017-12-29 2020-07-14 北京卫星制造厂 一种可移动式三维检测机器人系统
CN108995782B (zh) * 2018-10-18 2020-04-28 桂林电子科技大学 一种基于双目视觉的智能化无人水上救援装置及使用方法
CN109011490B (zh) * 2018-10-24 2021-02-02 深圳市衡泰信科技有限公司 基于红外双目高速摄像的高尔夫运动地面感测装置及方法
CN109623815A (zh) * 2018-12-19 2019-04-16 江苏科技大学 一种用于无人打捞船的波浪补偿双机器人系统及方法
CN110232038A (zh) * 2019-05-20 2019-09-13 湖北三江航天红峰控制有限公司 一种工控机用智能通讯串口装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5300869A (en) * 1992-07-30 1994-04-05 Iowa State University Research Foundation, Inc. Nonholonomic camera space manipulation
CN2863280Y (zh) * 2006-01-24 2007-01-31 湖南大学 高速自动化生产线上的次品自动分拣设备
CN101058181A (zh) * 2007-06-07 2007-10-24 上海交通大学 模块化及标准化组件构成的机器人
CN101360588A (zh) * 2006-02-02 2009-02-04 株式会社安川电机 机器人系统
CN101817182A (zh) * 2010-03-30 2010-09-01 杭州电子科技大学 一种智能移动机械臂控制系统
CN104842362A (zh) * 2015-06-18 2015-08-19 厦门理工学院 一种机器人抓取物料包的方法和机器人抓取装置
CN105291088A (zh) * 2014-06-02 2016-02-03 精工爱普生株式会社 机器人、机器人系统以及控制方法
CN105313103A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 双臂机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5300869A (en) * 1992-07-30 1994-04-05 Iowa State University Research Foundation, Inc. Nonholonomic camera space manipulation
CN2863280Y (zh) * 2006-01-24 2007-01-31 湖南大学 高速自动化生产线上的次品自动分拣设备
CN101360588A (zh) * 2006-02-02 2009-02-04 株式会社安川电机 机器人系统
CN101058181A (zh) * 2007-06-07 2007-10-24 上海交通大学 模块化及标准化组件构成的机器人
CN101817182A (zh) * 2010-03-30 2010-09-01 杭州电子科技大学 一种智能移动机械臂控制系统
CN105291088A (zh) * 2014-06-02 2016-02-03 精工爱普生株式会社 机器人、机器人系统以及控制方法
CN105313103A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 双臂机器人
CN104842362A (zh) * 2015-06-18 2015-08-19 厦门理工学院 一种机器人抓取物料包的方法和机器人抓取装置

Also Published As

Publication number Publication date
CN106113067A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CA2950979C (en) Humanoid robot with collision avoidance and trajectory recovery capabilities
EP3342541A1 (en) Remote control robot system
CN104400279B (zh) 基于ccd的管道空间焊缝自动识别与轨迹规划的方法
CN102914967B (zh) 采摘机器人的自主导航和人机协同采摘作业系统
US8873831B2 (en) Walking robot and simultaneous localization and mapping method thereof
WO2016070318A1 (en) Camera calibration
US7536242B2 (en) Optical laser guidance system apparatus and method
CN105252532B (zh) 动作捕捉机器人协同柔性姿态控制的方法
JP2015042437A (ja) ロボットシステム及びロボットシステムの校正方法
Fang et al. Homography-based visual servo regulation of mobile robots
JP4506685B2 (ja) 移動型ロボット
WO2018108098A1 (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
CN105137973B (zh) 一种人机协作场景下的机器人智能躲避人类方法
JP3421608B2 (ja) 教示モデル生成装置
Ye et al. Vision-based human tracking control of a wheeled inverted pendulum robot
CN107824940A (zh) 基于激光结构光的焊缝视觉跟踪系统及方法
Li et al. Human cooperative wheelchair with brain–machine interaction based on shared control strategy
CN101976079B (zh) 智能导航控制系统及方法
US20090180668A1 (en) System and method for cooperative remote vehicle behavior
CN105014687A (zh) 一种带有多旋翼无人机的机械臂
Conradt et al. An embedded AER dynamic vision sensor for low-latency pole balancing
CN104991560B (zh) 自主移动式智能机器人
JP2013036987A (ja) 情報処理装置及び情報処理方法
Fang et al. Adaptive active visual servoing of nonholonomic mobile robots
US20190387685A1 (en) Selective automated blossom thinning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant