CN109240291A - 一种基于远程控制的机器人运动线路规划方法及系统 - Google Patents

一种基于远程控制的机器人运动线路规划方法及系统 Download PDF

Info

Publication number
CN109240291A
CN109240291A CN201811033861.4A CN201811033861A CN109240291A CN 109240291 A CN109240291 A CN 109240291A CN 201811033861 A CN201811033861 A CN 201811033861A CN 109240291 A CN109240291 A CN 109240291A
Authority
CN
China
Prior art keywords
robot
detection instruction
user
user terminal
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811033861.4A
Other languages
English (en)
Other versions
CN109240291B (zh
Inventor
赖燕君
李丽丽
王鸿博
林明勇
何永伦
成伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Institute of Intelligent Manufacturing
Shunde Vocational and Technical College
South China Robotics Innovation Research Institute
Original Assignee
Guangdong Institute of Intelligent Manufacturing
Shunde Vocational and Technical College
South China Robotics Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Institute of Intelligent Manufacturing, Shunde Vocational and Technical College, South China Robotics Innovation Research Institute filed Critical Guangdong Institute of Intelligent Manufacturing
Priority to CN201811033861.4A priority Critical patent/CN109240291B/zh
Publication of CN109240291A publication Critical patent/CN109240291A/zh
Application granted granted Critical
Publication of CN109240291B publication Critical patent/CN109240291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision

Abstract

本发明公开了一种基于远程控制的机器人运动线路规划方法及系统,其中,所述方法包括:机器人接收端接收用户终端发送的检测机器人运动方向上的障碍物的检测指令,检测指令由用户终端用户基于用户终端操作界面操作生成;所述机器人响应所述检测指令,启动所述机器人上的双目摄像头,采集机器人运动方向上的实时图像;根据所述实时图像进行三维建模处理,获得所述机器人运动方向上的三维空间模型图像;根据所述三维空间模型图像确定所述机器人运动方向上是否存在障碍物;若存在障碍物,则所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划。在本发明实施例中,用户可以远程控制机器人快速进行行经路线重新规划,规避障碍物。

Description

一种基于远程控制的机器人运动线路规划方法及系统
技术领域
本发明涉及机器人运动线路规划技术领域,尤其涉及一种基于远程控制的机器人运动线路规划方法及系统。
背景技术
机器人(Robot)是自动执行工作的机器装置;它既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作,例如生产业、建筑业,或是危险的工作。
在机器人作业行径期间,然而往往可能因为其预先设置的运动路线可能出现突发情况或者路线规划失误又或者其他因素导致在机器人的规划路线上出现障碍物,并且该障碍物可能影响机器人的运行,从而使得机器人不能按时完成相关的作业。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于远程控制的机器人运动线路规划方法及系统用户可以远程控制机器人快速进行行经路线重新规划,规避障碍物。
为了解决上述技术问题,本发明实施例提供了一种基于远程控制的机器人运动线路规划方法,所述方法包括:
机器人接收端接收用户终端发送的检测机器人运动方向上的障碍物的检测指令,所述检测指令由用户终端用户基于用户终端操作界面操作生成;
所述机器人响应所述检测指令,启动所述机器人上的双目摄像头,采集机器人运动方向上的实时图像;
根据所述实时图像进行三维建模处理,获得所述机器人运动方向上的三维空间模型图像;
根据所述三维空间模型图像确定所述机器人运动方向上是否存在障碍物;
若存在障碍物,则所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划。
可选的,所述检测指令由用户终端用户基于用户终端操作界面操作生成,包括:
用户在所述用户终端操作界面进行身份身认证,确认所述用户为合法用户;
在确认所述用户为合法用户之后,允许所述用户在用户终端操作界面上进行检测指令生成操作,生成所述检测指令。
可选的,所述机器人与所述用户终端之间的通信基于无线网络、移动4G网络或移动5G网进行通信。
可选的,所述机器人响应所述检测指令,包括:
所述机器人在接收到所述检测指令之后,解析所述检测指令,获得发送所述检测指令的用户终端的物理地址和用户的身份信息;
所述机器人根据所述用户终端的物理地址和所述用户的身份信息判断所述检测指令是否合法;
若判断所述检测指令不合法,则将判断结果反馈至所述用户终端;
若判断所述检测指令合法,则响应所述检测指令。
可选的,所述机器人根据所述用户终端的物理地址和所述用户的身份信息判断所述检测指令是否合法,包括:
判断所述用户终端的物理地址是否为所述机器人预存的物理地址;
若否,则所述检测指令不合法;
若是,则采用所述用户的身份信息与所述机器人预存的用户权限集合相匹配,匹配判断所述用户身份信息是否拥有发送检测指令权限。
可选的,所述根据所述实时图像进行三维建模处理,包括:
利用所述双目摄像头采集所述机器人运动方向上的实时图像构建视差图;
将所述视差图依次进行灰度化处理和小波降噪处理,获取处理后的视差图;
根据单个方向上的视差图确定所述机器人运动方向上在该单个方向上的空间布局;
基于图像拼接算法将多个方向上的视差图进行拼接,构建所述机器人运动方向上的三维空间模型图像。
可选的,所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划,包括:
基于所述三维空间模型图像确定所述障碍物与所述机器人距离;
基于所述三维空间模型图像确定所述障碍物的大小;
述机器人启动运动路线重新规划程序,根据所述障碍物与所述机器人距离、所述障碍物的大小对所述机器人的运动路线进行重新规划。
另外,本发明实施例还提供了一种基于远程控制的机器人运动线路规划系统,所述系统包括:
指令接收模块:用于机器人接收端接收用户终端发送的检测机器人运动方向上的障碍物的检测指令,所述检测指令由用户终端用户基于用户终端操作界面操作生成;
指令响应模块:用于所述机器人响应所述检测指令,启动所述机器人上的双目摄像头,采集机器人运动方向上的实时图像;
三维建模模块:用于根据所述实时图像进行三维建模处理,获得所述机器人运动方向上的三维空间模型图像;
障碍物确认模块:用于根据所述三维空间模型图像确定所述机器人运动方向上是否存在障碍物;
重新规划模块:用于若存在障碍物,则所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划。
在本发明实施例中,通过用户终端上发送相应的指令控制机器人启动机器人上的双目摄像头,对机器人行径路线上的进行实时图像采集,根据实时图像进行三维建模,通过三维建模确定机器人行径路线上的是否存在障碍物和障碍物的形状大小等,并根据障碍物的形状和大小进行路劲重新规划,规避障碍物。通过双目摄像头拍摄的实时图像,利用该实时图像构建视觉差,从而构建三维图像,其构建的三维图像具有更加准确,从而更加准确的确定机器人行径路线上的障碍物和该障碍物的形状大小等信息,有利于机器人进行行径路线的快速重新规划,从而不影响后续的机器人作业。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于远程控制的机器人运动线路规划方法的流程示意图;
图2是本发明实施例中的基于远程控制的机器人运动线路规划系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例:
请参阅图1,图1是本发明实施例中的基于远程控制的机器人运动线路规划方法的流程示意图。
如图1所示,一种基于远程控制的机器人运动线路规划方法,所述方法包括:
S11:机器人接收端接收用户终端发送的检测机器人运动方向上的障碍物的检测指令,所述检测指令由用户终端用户基于用户终端操作界面操作生成;
在本发明具体实施过程中,所述检测指令由用户终端用户基于用户终端操作界面操作生成,包括:用户在所述用户终端操作界面进行身份身认证,确认所述用户为合法用户;在确认所述用户为合法用户之后,允许所述用户在用户终端操作界面上进行检测指令生成操作,生成所述检测指令。所述机器人与所述用户终端之间的通信基于无线网络、移动4G网络或移动5G网进行通信。
具体的,机器人与用户终端之间的通信是可以通过无线网络、移动4G网络或移动5G网进行通信等进行的;其中,用户终端可以包括移动手机终端、个人PC终端或者平板电脑,或者其他的可操作的智能终端设备。
用户在用户终端上操作界面进行检测指令生成操作时,用户终端的操作界面首先需要用户进行相应的身份认证,首先可以为用户通过输入账户密码的方式进行身份认证;用户也可以通过人脸识别又或者是活体指纹识别;通过上述的身份认证方法对用户的身份进行认证,从而确认用户为合法的操作用户,保障操作的安全性,从而使得用户能安全控制机器人按照用户的指令进行相应的工作。
在确认用户的为合法用户的之后,然后允许确认为合法用户的用户在用户终端上的操作界面上进行相应的操作,比如在用户终端上的操作界面进行检测指令生成操作,并生成与操作相对于的检测指令,通过无线网络、移动4G网络或移动5G网进行通信方式发送至机器人。
S12:所述机器人响应所述检测指令,启动所述机器人上的双目摄像头,采集机器人运动方向上的实时图像;
在本发明具体实施过程中,所述机器人响应所述检测指令,包括:所述机器人在接收到所述检测指令之后,解析所述检测指令,获得发送所述检测指令的用户终端的物理地址和用户的身份信息;所述机器人根据所述用户终端的物理地址和所述用户的身份信息判断所述检测指令是否合法;若判断所述检测指令不合法,则将判断结果反馈至所述用户终端;若判断所述检测指令合法,则响应所述检测指令。
其中,所述机器人根据所述用户终端的物理地址和所述用户的身份信息判断所述检测指令是否合法,包括:判断所述用户终端的物理地址是否为所述机器人预存的物理地址;若否,则所述检测指令不合法;若是,则采用所述用户的身份信息与所述机器人预存的用户权限集合相匹配,匹配判断所述用户身份信息是否拥有发送检测指令权限。
具体的,机器人在接收到用户终端上发送过来的检测指令之后,首先是对该检测指令进行相应的解析,发送过来的检测指令包括用户终端的物理地址、用户的身份信息和检测指令的指令信息,通过解析检测指令即可获得该检测指令所包含的发送该检测指令的用户终端的物理地址、用户的身份信息和检测指令的指令信息;在获得发送检测指令的用户终端的物理地址和用户身份信息之后,机器人需要根据用户终端的物理地址和用户身份信息来判断该检测指令的合法性,若通过该判断,判断检测指令为不合法的,则机器人通过原路将判断结果反馈至用户终端上;若判断检测指令为合法指令,则响应该检测指令,进行与指令相关的操作;其中判断检测指令的合法性的过程主要包括:根据用户终端的物理地址和用户的身份信息来判断检测指令的合法性;具体是,首先判断用户终端的物理地址是否为在机器人上预存的物理地址,判断的结果若不是在检测设备上预存的物理地址,则判断该检测指令为不合法指令,若判断结果为是在机器人上预存的物理地址,则采用用户的身份信息与机器人预存的用户权限集合相匹配,匹配该检测指令对应的用户权限集合内是否存在该用户的身份信息,若否,则该检测指令不合法,若是,则该检测指令合法。
在判断该检测指令合法之后,机器人响应该检测指令,根据该检测指令启动机器人上的双目摄像头,并利用该双目摄像头从多个方向上采集机器人行径路线前方的实时图像。
在此,利用该双目摄像头从多个方向上采集机器人行径路线前方的实时图像包括:以机器人为轴心,转动机器人的头部,通过转动机器人的头部而改变双摄像头的拍摄角度,从而实现利用该双目摄像头从多个方向上采集机器人行径路线前方的实时图像。
S13:根据所述实时图像进行三维建模处理,获得所述机器人运动方向上的三维空间模型图像;
在具体实施过程中,所述根据所述实时图像进行三维建模处理,包括:利用所述双目摄像头采集所述机器人运动方向上的实时图像构建视差图;将所述视差图依次进行灰度化处理和小波降噪处理,获取处理后的视差图;根据单个方向上的视差图确定所述机器人运动方向上在该单个方向上的空间布局;基于图像拼接算法将多个方向上的视差图进行拼接,构建所述机器人运动方向上的三维空间模型图像。
在具体实施例中,双目视觉系统中的单个摄像机的成像采用针孔摄像机数学模型来描述,即任何点Q在图像中的投影位置q,为光心与Q点的连线与图像平面的交点,物理世界中的点Q,其坐标为(X,Y,Z)。投影为点(x,y,f),如下公式所示:
式中,cx和cy为成像芯片的中心与光轴的偏移;fx和fy为透镜的物理焦距长度与成像仪每个单元尺寸sx和sy的乘积。则写成矩阵为:
q=MQ;
其中
矩阵M称为摄像机的内参数矩阵,在摄像机标定过程中可以同时求出镜头畸变向量,对镜头畸变进行校正。而立体标定是计算空间上两台摄像机几何关系的过程,即寻找两台摄像机之间的旋转矩阵R和平移矩阵T,标定图像黑白棋盘图,标定过程中在摄像头前平移和旋转棋盘图,在不同角度获取棋盘图上的角点位置,给定立体图像间的旋转矩阵R和平移矩阵T,使用相关算法进行立体校正,例如使用Bouguet算法,立体校正的目的是使两个视觉传感器所拍摄的图像的对应匹配点分别在两图像的同名像素行中,从而将匹配搜索方位限制在一个像素行内。
在生成视差图之前需要进行图像预处理,以利于生成更为明显的视差图,在经过大量测试后,高斯滤波算法具有很好的效果,经过高斯滤波后图像纹理明显增强。本领域内技术人员可以理解,为了生成更好的视差图,不排除使用其他预处理算法。
理想的双目视觉立体坐标系其坐标原点为左摄像头投影中心,X轴由原点指向右摄像头投影中心,Z轴垂直于摄像机成像平面指向前方,Y轴垂直于X-Z平面箭头向下。
对于校正好的摄像机需要进行立体匹配,以生成视差图,例如选择区域灰度相关法进行立体匹配。
例如选用相似性检测因子:像素灰度差的绝对值和,如下公式所示:
其中,Il(x,y)和Ir(x+d,y)分别为左右图的像素灰度值;经过高斯滤波算法,在经过匹配而得到的视差图,视差图上每一个值代表位于摄像头前的某一距离值。视差越大表示距离越近,其中灰度值越大的区域亮度越高,表示与摄像头的相对距离越近。
在经过灰度化处理之后,将视差图经过小波滤波处理,从而降低视差图的噪声;通过对当个方向视差图,通过拼接算法构建机器人的三维空间模型图像,其中拼接算法为基于傅里叶变换的图像拼接算法;例如两个相邻方向的机器人三维空间图像的拼接算法,此算法对两幅待拼接的数字图像进行二维离散傅里叶变换,假设变换结果为X(μ,ν)和Y(μ,ν),可得到相关的离散傅里叶变换:
在对进行傅里叶反变换即可得到空间域相关函数:
通过计算空间域的想关性函数,就可以找到最佳图像配准位置。例如在图像配准时,两幅待拼接图像的离散傅里叶变换X(μ,ν)和Y(μ,ν),其相互功率谱为:
S(μ,v)=X(μ,v)Y*(μ,v);
归一化可得对应的互功率谱的相位谱:
其中,QX和QY分别代表两幅待拼接图像的傅里叶变换的相位。通过以上公式可知道,这里的相位谱是一个位于两幅待拼接图像偏移(μ,ν)处的δ脉冲函数,此函数可以计算用来拼接两幅图像的相似度,然后再通过极坐标系来计算两幅待拼接图像。
应用双目视觉系统可以确定视野范围内的视差图,根据视差图可以单个反向的空间布局特征,采用拼接算法、数据融合算法等可以实现把单个方向的布局结构整合成整体空间结构从而获得机器人行径路线上的三维空间模型。
S14:根据所述三维空间模型图像确定所述机器人运动方向上是否存在障碍物;
在本发明具体实施过程中,在获得机器人行径路线上的三维空间模型之后,通过该三维空间模型来确认该机器人运动路劲前方是否寻找阻挡机器人前行的障碍物。
S15:若存在障碍物,则所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划。
在本发明具体实施过程中,基于所述三维空间模型图像确定所述障碍物与所述机器人距离;基于所述三维空间模型图像确定所述障碍物的大小;述机器人启动运动路线重新规划程序,根据所述障碍物与所述机器人距离、所述障碍物的大小对所述机器人的运动路线进行重新规划。
具体的,基于障碍物识别算法在该三维空间模型识别障碍物的大小,基于距离算法识别出障碍物与机器人之间的距离;在获得障碍物的大小和距离之后,将障碍物的大小和距离反馈给机器人,机器人启动路线重新规划程序,根据所述障碍物与所述机器人距离、所述障碍物的大小对所述机器人的运动路线进行重新规划。
在本发明实施例中,通过用户终端上发送相应的指令控制机器人启动机器人上的双目摄像头,对机器人行径路线上的进行实时图像采集,根据实时图像进行三维建模,通过三维建模确定机器人行径路线上的是否存在障碍物和障碍物的形状大小等,并根据障碍物的形状和大小进行路劲重新规划,规避障碍物。通过双目摄像头拍摄的实时图像,利用该实时图像构建视觉差,从而构建三维图像,其构建的三维图像具有更加准确,从而更加准确的确定机器人行径路线上的障碍物和该障碍物的形状大小等信息,有利于机器人进行行径路线的快速重新规划,从而不影响后续的机器人作业。
实施例:
请参阅图2,图2是本发明实施例中的基于远程控制的机器人运动线路规划系统的结构组成示意图。
如图2所示,一种基于远程控制的机器人运动线路规划系统,所述系统包括:
指令接收模块11:用于机器人接收端接收用户终端发送的检测机器人运动方向上的障碍物的检测指令,所述检测指令由用户终端用户基于用户终端操作界面操作生成;
在本发明具体实施过程中,所述检测指令由用户终端用户基于用户终端操作界面操作生成,包括:用户在所述用户终端操作界面进行身份身认证,确认所述用户为合法用户;在确认所述用户为合法用户之后,允许所述用户在用户终端操作界面上进行检测指令生成操作,生成所述检测指令。所述机器人与所述用户终端之间的通信基于无线网络、移动4G网络或移动5G网进行通信。
具体的,机器人与用户终端之间的通信是可以通过无线网络、移动4G网络或移动5G网进行通信等进行的;其中,用户终端可以包括移动手机终端、个人PC终端或者平板电脑,或者其他的可操作的智能终端设备。
用户在用户终端上操作界面进行检测指令生成操作时,用户终端的操作界面首先需要用户进行相应的身份认证,首先可以为用户通过输入账户密码的方式进行身份认证;用户也可以通过人脸识别又或者是活体指纹识别;通过上述的身份认证方法对用户的身份进行认证,从而确认用户为合法的操作用户,保障操作的安全性,从而使得用户能安全控制机器人按照用户的指令进行相应的工作。
在确认用户的为合法用户的之后,然后允许确认为合法用户的用户在用户终端上的操作界面上进行相应的操作,比如在用户终端上的操作界面进行检测指令生成操作,并生成与操作相对于的检测指令,通过无线网络、移动4G网络或移动5G网进行通信方式发送至机器人。
指令响应模块12:用于所述机器人响应所述检测指令,启动所述机器人上的双目摄像头,采集机器人运动方向上的实时图像;
在本发明具体实施过程中,所述机器人响应所述检测指令,包括:所述机器人在接收到所述检测指令之后,解析所述检测指令,获得发送所述检测指令的用户终端的物理地址和用户的身份信息;所述机器人根据所述用户终端的物理地址和所述用户的身份信息判断所述检测指令是否合法;若判断所述检测指令不合法,则将判断结果反馈至所述用户终端;若判断所述检测指令合法,则响应所述检测指令。
其中,所述机器人根据所述用户终端的物理地址和所述用户的身份信息判断所述检测指令是否合法,包括:判断所述用户终端的物理地址是否为所述机器人预存的物理地址;若否,则所述检测指令不合法;若是,则采用所述用户的身份信息与所述机器人预存的用户权限集合相匹配,匹配判断所述用户身份信息是否拥有发送检测指令权限。
具体的,机器人在接收到用户终端上发送过来的检测指令之后,首先是对该检测指令进行相应的解析,发送过来的检测指令包括用户终端的物理地址、用户的身份信息和检测指令的指令信息,通过解析检测指令即可获得该检测指令所包含的发送该检测指令的用户终端的物理地址、用户的身份信息和检测指令的指令信息;在获得发送检测指令的用户终端的物理地址和用户身份信息之后,机器人需要根据用户终端的物理地址和用户身份信息来判断该检测指令的合法性,若通过该判断,判断检测指令为不合法的,则机器人通过原路将判断结果反馈至用户终端上;若判断检测指令为合法指令,则响应该检测指令,进行与指令相关的操作;其中判断检测指令的合法性的过程主要包括:根据用户终端的物理地址和用户的身份信息来判断检测指令的合法性;具体是,首先判断用户终端的物理地址是否为在机器人上预存的物理地址,判断的结果若不是在检测设备上预存的物理地址,则判断该检测指令为不合法指令,若判断结果为是在机器人上预存的物理地址,则采用用户的身份信息与机器人预存的用户权限集合相匹配,匹配该检测指令对应的用户权限集合内是否存在该用户的身份信息,若否,则该检测指令不合法,若是,则该检测指令合法。
在判断该检测指令合法之后,机器人响应该检测指令,根据该检测指令启动机器人上的双目摄像头,并利用该双目摄像头从多个方向上采集机器人行径路线前方的实时图像。
在此,利用该双目摄像头从多个方向上采集机器人的实时图像包括:以机器人为轴心,转动机器人的头部,通过转动机器人的头部而改变双摄像头的拍摄角度,从而实现利用该双目摄像头从多个方向上采集机器人行径路线前方的实时图像。
三维建模模块13:用于根据所述实时图像进行三维建模处理,获得所述机器人运动方向上的三维空间模型图像;
在具体实施过程中,所述根据所述实时图像进行三维建模处理,包括:利用所述双目摄像头采集所述机器人运动方向上的实时图像构建视差图;将所述视差图依次进行灰度化处理和小波降噪处理,获取处理后的视差图;根据单个方向上的视差图确定所述机器人运动方向上在该单个方向上的空间布局;基于图像拼接算法将多个方向上的视差图进行拼接,构建所述机器人运动方向上的三维空间模型图像。
在具体实施例中,双目视觉系统中的单个摄像机的成像采用针孔摄像机数学模型来描述,即任何点Q在图像中的投影位置q,为光心与Q点的连线与图像平面的交点,物理世界中的点Q,其坐标为(X,Y,Z)。投影为点(x,y,f),如下公式所示:
式中,cx和cy为成像芯片的中心与光轴的偏移;fx和fy为透镜的物理焦距长度与成像仪每个单元尺寸sx和sy的乘积。则写成矩阵为:
q=MQ;
其中
矩阵M称为摄像机的内参数矩阵,在摄像机标定过程中可以同时求出镜头畸变向量,对镜头畸变进行校正。而立体标定是计算空间上两台摄像机几何关系的过程,即寻找两台摄像机之间的旋转矩阵R和平移矩阵T,标定图像黑白棋盘图,标定过程中在摄像头前平移和旋转棋盘图,在不同角度获取棋盘图上的角点位置,给定立体图像间的旋转矩阵R和平移矩阵T,使用相关算法进行立体校正,例如使用Bouguet算法,立体校正的目的是使两个视觉传感器所拍摄的图像的对应匹配点分别在两图像的同名像素行中,从而将匹配搜索方位限制在一个像素行内。
在生成视差图之前需要进行图像预处理,以利于生成更为明显的视差图,在经过大量测试后,高斯滤波算法具有很好的效果,经过高斯滤波后图像纹理明显增强。本领域内技术人员可以理解,为了生成更好的视差图,不排除使用其他预处理算法。
理想的双目视觉立体坐标系其坐标原点为左摄像头投影中心,X轴由原点指向右摄像头投影中心,Z轴垂直于摄像机成像平面指向前方,Y轴垂直于X-Z平面箭头向下。
对于校正好的摄像机需要进行立体匹配,以生成视差图,例如选择区域灰度相关法进行立体匹配。
例如选用相似性检测因子:像素灰度差的绝对值和,如下公式所示:
其中,Il(x,y)和Ir(x+d,y)分别为左右图的像素灰度值;经过高斯滤波算法,在经过匹配而得到的视差图,视差图上每一个值代表位于摄像头前的某一距离值。视差越大表示距离越近,其中灰度值越大的区域亮度越高,表示与摄像头的相对距离越近。
在经过灰度化处理之后,将视差图经过小波滤波处理,从而降低视差图的噪声;通过对当个方向视差图,通过拼接算法构建机器人的三维空间模型图像,其中拼接算法为基于傅里叶变换的图像拼接算法;例如两个相邻方向的机器人三维空间图像的拼接算法,此算法对两幅待拼接的数字图像进行二维离散傅里叶变换,假设变换结果为X(μ,ν)和Y(μ,ν),可得到相关的离散傅里叶变换:
在对进行傅里叶反变换即可得到空间域相关函数:
通过计算空间域的想关性函数,就可以找到最佳图像配准位置。例如在图像配准时,两幅待拼接图像的离散傅里叶变换X(μ,ν)和Y(μ,ν),其相互功率谱为:
S(μ,v)=X(μ,v)Y*(μ,v);
归一化可得对应的互功率谱的相位谱:
其中,QX和QY分别代表两幅待拼接图像的傅里叶变换的相位。通过以上公式可知道,这里的相位谱是一个位于两幅待拼接图像偏移(μ,ν)处的δ脉冲函数,此函数可以计算用来拼接两幅图像的相似度,然后再通过极坐标系来计算两幅待拼接图像。
应用双目视觉系统可以确定视野范围内的视差图,根据视差图可以单个反向的空间布局特征,采用拼接算法、数据融合算法等可以实现把单个方向的布局结构整合成整体空间结构从而获得机器人行径路线上的三维空间模型。
障碍物确认模块14:用于根据所述三维空间模型图像确定所述机器人运动方向上是否存在障碍物;
在本发明具体实施过程中,在获得机器人行径路线上的三维空间模型之后,通过该三维空间模型来确认该机器人运动路劲前方是否寻找阻挡机器人前行的障碍物。
重新规划模块15:用于若存在障碍物,则所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划。
在本发明具体实施过程中,基于所述三维空间模型图像确定所述障碍物与所述机器人距离;基于所述三维空间模型图像确定所述障碍物的大小;述机器人启动运动路线重新规划程序,根据所述障碍物与所述机器人距离、所述障碍物的大小对所述机器人的运动路线进行重新规划。
具体的,基于障碍物识别算法在该三维空间模型识别障碍物的大小,基于距离算法识别出障碍物与机器人之间的距离;在获得障碍物的大小和距离之后,将障碍物的大小和距离反馈给机器人,机器人启动路线重新规划程序,根据所述障碍物与所述机器人距离、所述障碍物的大小对所述机器人的运动路线进行重新规划。
在本发明实施例中,通过用户终端上发送相应的指令控制机器人启动机器人上的双目摄像头,对机器人行径路线上的进行实时图像采集,根据实时图像进行三维建模,通过三维建模确定机器人行径路线上的是否存在障碍物和障碍物的形状大小等,并根据障碍物的形状和大小进行路劲重新规划,规避障碍物。通过双目摄像头拍摄的实时图像,利用该实时图像构建视觉差,从而构建三维图像,其构建的三维图像具有更加准确,从而更加准确的确定机器人行径路线上的障碍物和该障碍物的形状大小等信息,有利于机器人进行行径路线的快速重新规划,从而不影响后续的机器人作业。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read OnlyMemory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于远程控制的机器人运动线路规划方法及系统进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于远程控制的机器人运动线路规划方法,其特征在于,所述方法包括:
机器人接收端接收用户终端发送的检测机器人运动方向上的障碍物的检测指令,所述检测指令由用户终端用户基于用户终端操作界面操作生成;
所述机器人响应所述检测指令,启动所述机器人上的双目摄像头,采集机器人运动方向上的实时图像;
根据所述实时图像进行三维建模处理,获得所述机器人运动方向上的三维空间模型图像;
根据所述三维空间模型图像确定所述机器人运动方向上是否存在障碍物;
若存在障碍物,则所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划。
2.根据权利要求1所述的机器人运动线路规划方法,其特征在于,所述检测指令由用户终端用户基于用户终端操作界面操作生成,包括:
用户在所述用户终端操作界面进行身份身认证,确认所述用户为合法用户;
在确认所述用户为合法用户之后,允许所述用户在用户终端操作界面上进行检测指令生成操作,生成所述检测指令。
3.根据权利要求1所述的机器人运动线路规划方法,其特征在于,所述机器人与所述用户终端之间的通信基于无线网络、移动4G网络或移动5G网进行通信。
4.根据权利要求1所述的机器人运动线路规划方法,其特征在于,所述机器人响应所述检测指令,包括:
所述机器人在接收到所述检测指令之后,解析所述检测指令,获得发送所述检测指令的用户终端的物理地址和用户的身份信息;
所述机器人根据所述用户终端的物理地址和所述用户的身份信息判断所述检测指令是否合法;
若判断所述检测指令不合法,则将判断结果反馈至所述用户终端;
若判断所述检测指令合法,则响应所述检测指令。
5.根据权利要求4所述的机器人运动线路规划方法,其特征在于,所述机器人根据所述用户终端的物理地址和所述用户的身份信息判断所述检测指令是否合法,包括:
判断所述用户终端的物理地址是否为所述机器人预存的物理地址;
若否,则所述检测指令不合法;
若是,则采用所述用户的身份信息与所述机器人预存的用户权限集合相匹配,匹配判断所述用户身份信息是否拥有发送检测指令权限。
6.根据权利要求1所述的机器人运动线路规划方法,其特征在于,所述根据所述实时图像进行三维建模处理,包括:
利用所述双目摄像头采集所述机器人运动方向上的实时图像构建视差图;
将所述视差图依次进行灰度化处理和小波降噪处理,获取处理后的视差图;
根据单个方向上的视差图确定所述机器人运动方向上在该单个方向上的空间布局;
基于图像拼接算法将多个方向上的视差图进行拼接,构建所述机器人运动方向上的三维空间模型图像。
7.根据权利要求1所述的机器人运动线路规划方法,其特征在于,所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划,包括:
基于所述三维空间模型图像确定所述障碍物与所述机器人距离;
基于所述三维空间模型图像确定所述障碍物的大小;
述机器人启动运动路线重新规划程序,根据所述障碍物与所述机器人距离、所述障碍物的大小对所述机器人的运动路线进行重新规划。
8.一种基于远程控制的机器人运动线路规划系统,其特征在于,所述系统包括:
指令接收模块:用于机器人接收端接收用户终端发送的检测机器人运动方向上的障碍物的检测指令,所述检测指令由用户终端用户基于用户终端操作界面操作生成;
指令响应模块:用于所述机器人响应所述检测指令,启动所述机器人上的双目摄像头,采集机器人运动方向上的实时图像;
三维建模模块:用于根据所述实时图像进行三维建模处理,获得所述机器人运动方向上的三维空间模型图像;
障碍物确认模块:用于根据所述三维空间模型图像确定所述机器人运动方向上是否存在障碍物;
重新规划模块:用于若存在障碍物,则所述机器人启动运动路线重新规划程序,对所述机器人的运动路线进行重新规划。
CN201811033861.4A 2018-09-05 2018-09-05 一种基于远程控制的机器人运动线路规划方法及系统 Active CN109240291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811033861.4A CN109240291B (zh) 2018-09-05 2018-09-05 一种基于远程控制的机器人运动线路规划方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811033861.4A CN109240291B (zh) 2018-09-05 2018-09-05 一种基于远程控制的机器人运动线路规划方法及系统

Publications (2)

Publication Number Publication Date
CN109240291A true CN109240291A (zh) 2019-01-18
CN109240291B CN109240291B (zh) 2022-04-15

Family

ID=65060715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811033861.4A Active CN109240291B (zh) 2018-09-05 2018-09-05 一种基于远程控制的机器人运动线路规划方法及系统

Country Status (1)

Country Link
CN (1) CN109240291B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109848991A (zh) * 2019-02-14 2019-06-07 江门市国彬机器人有限公司 一种双足行走多关节机器人
CN110609545A (zh) * 2019-08-15 2019-12-24 北京致行慕远科技有限公司 可移动设备控制方法及装置、电子设备及存储介质
CN111862307A (zh) * 2020-07-16 2020-10-30 广州安廷数字技术有限公司 一种巡检机器人三维建模系统
CN114489078A (zh) * 2022-01-27 2022-05-13 珠海一微半导体股份有限公司 基于相位检测的移动机器人避障方法、芯片和机器人

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
CN105116785A (zh) * 2015-06-26 2015-12-02 北京航空航天大学 一种多平台远程机器人通用控制系统
CN105511471A (zh) * 2016-01-04 2016-04-20 杭州亚美利嘉科技有限公司 一种机器人终端行驶路线偏差的纠正方法及装置
JP2016114568A (ja) * 2014-12-18 2016-06-23 東日本旅客鉄道株式会社 道床形状計測方法
CN106323242A (zh) * 2016-08-03 2017-01-11 北京奇虎科技有限公司 无人机对空间结构检测方法、装置
CN106598046A (zh) * 2016-11-29 2017-04-26 北京智能管家科技有限公司 机器人躲避控制方法和装置
CN106950985A (zh) * 2017-03-20 2017-07-14 成都通甲优博科技有限责任公司 一种自动送货方法及装置
CN107186709A (zh) * 2017-05-08 2017-09-22 深圳市睿科智联科技有限公司 一种协作机器人控制方法及系统
CN107704844A (zh) * 2017-10-25 2018-02-16 哈尔滨理工大学 基于无人机双目视差图像的输电线路覆冰厚度辨识方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103926927A (zh) * 2014-05-05 2014-07-16 重庆大学 一种室内移动机器人双目视觉定位与三维建图方法
JP2016114568A (ja) * 2014-12-18 2016-06-23 東日本旅客鉄道株式会社 道床形状計測方法
CN105116785A (zh) * 2015-06-26 2015-12-02 北京航空航天大学 一种多平台远程机器人通用控制系统
CN105511471A (zh) * 2016-01-04 2016-04-20 杭州亚美利嘉科技有限公司 一种机器人终端行驶路线偏差的纠正方法及装置
CN106323242A (zh) * 2016-08-03 2017-01-11 北京奇虎科技有限公司 无人机对空间结构检测方法、装置
CN106598046A (zh) * 2016-11-29 2017-04-26 北京智能管家科技有限公司 机器人躲避控制方法和装置
CN106950985A (zh) * 2017-03-20 2017-07-14 成都通甲优博科技有限责任公司 一种自动送货方法及装置
CN107186709A (zh) * 2017-05-08 2017-09-22 深圳市睿科智联科技有限公司 一种协作机器人控制方法及系统
CN107704844A (zh) * 2017-10-25 2018-02-16 哈尔滨理工大学 基于无人机双目视差图像的输电线路覆冰厚度辨识方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109848991A (zh) * 2019-02-14 2019-06-07 江门市国彬机器人有限公司 一种双足行走多关节机器人
CN109848991B (zh) * 2019-02-14 2024-04-19 江门市华彬科技有限公司 一种双足行走多关节机器人
CN110609545A (zh) * 2019-08-15 2019-12-24 北京致行慕远科技有限公司 可移动设备控制方法及装置、电子设备及存储介质
CN111862307A (zh) * 2020-07-16 2020-10-30 广州安廷数字技术有限公司 一种巡检机器人三维建模系统
CN114489078A (zh) * 2022-01-27 2022-05-13 珠海一微半导体股份有限公司 基于相位检测的移动机器人避障方法、芯片和机器人

Also Published As

Publication number Publication date
CN109240291B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN109240291A (zh) 一种基于远程控制的机器人运动线路规划方法及系统
Carrera et al. SLAM-based automatic extrinsic calibration of a multi-camera rig
JP2874710B2 (ja) 三次元位置計測装置
CN109191499A (zh) 一种基于运动目标跟踪的机器人跟踪路线更新方法及系统
CN108733208A (zh) 智能设备的交互目标确定方法和装置
CN111062234A (zh) 一种监控方法、智能终端及计算机可读存储介质
CN107507243A (zh) 一种摄像机参数调整方法、导播摄像机及系统
CN108182663B (zh) 一种毫米波图像效果增强方法、设备和可读存储介质
KR101444538B1 (ko) 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
CN106585627A (zh) 泊车辅助系统及汽车
CN109657576A (zh) 图像采集控制方法、装置、存储介质及系统
CN107370994A (zh) 海域全景监控方法、装置、服务器及系统
JP2001092048A (ja) ステレオカメラの取付構造
CN103034330A (zh) 一种用于视频会议的眼神交互方法及系统
CN109191522A (zh) 一种基于三维建模的机器人位移纠正方法及系统
JPH0719832A (ja) 複数画像の対応点抽出方法
CN103959770A (zh) 图像处理设备、图像处理方法和程序
CN106534670A (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN109089102A (zh) 一种基于双目视觉的机器人物品识别分类方法及系统
CN106997617A (zh) 混合现实虚拟呈现方法及装置
CN107590444A (zh) 静态障碍物的检测方法、装置及存储介质
CN108259764A (zh) 摄像机、应用于摄像机的图像处理方法及装置
CN111310567B (zh) 一种多人场景下的人脸识别方法及装置
KR101715781B1 (ko) 물체 인식 시스템 및 그 물체 인식 방법
KR100915039B1 (ko) 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant