CN110703771B - 基于视觉的多设备之间的控制系统 - Google Patents

基于视觉的多设备之间的控制系统 Download PDF

Info

Publication number
CN110703771B
CN110703771B CN201911103263.4A CN201911103263A CN110703771B CN 110703771 B CN110703771 B CN 110703771B CN 201911103263 A CN201911103263 A CN 201911103263A CN 110703771 B CN110703771 B CN 110703771B
Authority
CN
China
Prior art keywords
marker
line
robot
module
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911103263.4A
Other languages
English (en)
Other versions
CN110703771A (zh
Inventor
张春波
刘汉刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiqiyouche Technology Co ltd
Original Assignee
Lisifeng Zhaoqing Automation Technology Co ltd
Huayuchang Zhaoqing Intelligent Technology Research Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lisifeng Zhaoqing Automation Technology Co ltd, Huayuchang Zhaoqing Intelligent Technology Research Co ltd filed Critical Lisifeng Zhaoqing Automation Technology Co ltd
Priority to CN201911103263.4A priority Critical patent/CN110703771B/zh
Publication of CN110703771A publication Critical patent/CN110703771A/zh
Application granted granted Critical
Publication of CN110703771B publication Critical patent/CN110703771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明提出了一种基于视觉的多设备之间的控制系统,包括至少一视觉机器人,所述视觉机器人包括:显示模块,其对视觉机器人的运行轨迹进行实时显示,并通过触摸面板可对机器人进行人工控制;还包括控制模块,所述控制模块包括监控模块,根据实时获取的图像信息对视觉机器人所处位置及与标识物位置进行实时检测,并传输至处理模块中;还包括线路建立模块,其根据多设备所处空间设立视觉机器人的监控路线,并存储;还包括行走模块,其控制视觉机器人行走;转向模块,其控制视觉机器人转向;线路存储模块,其内存储有所述线路建立模块设定的视觉机器人行走线路,视觉机器人根据该预设的行走监控路线行走及转向。

Description

基于视觉的多设备之间的控制系统
技术领域
本发明涉及智能控制技术领域,具体而言,涉及一种基于视觉的多设备之间的控制系统。
背景技术
目前自动导航机器人在设备控制中得到了广泛的应用,目前较先进的自动导航机器人的控制主要有以下几种:
1.基于激动反射的激光定位系统
a)价格昂贵;b)安装反射板的地方不能遮挡,使用时需要在行走路径上预留较大空间;c)受温度影响;d)只能室内使用。
2.基于室内场景重建的视觉定位
a)精度较低,使用时需要在行走路径上预留较大空间;b)无法应对重复场景;c)无法应对经常变化的场景;d)设备之间是独立运行的,不同设备之间的重建场景存在偏差,无法做到精确定位和重建场景的统一。所以基于室内场景重建的视觉定位系统都只有少数设备在运行。
3.基于地面识别码的定位系统
a)虽然精度高,但是有赖于地面标识物,容易磨损;b)进入场景需要耗费大量人力用于测量,和铺设;c)一旦设备大幅度偏离正常线路,无法通过标识物纠正。
中国专利CN108267121A,公开了一种可变场景下多设备的视觉导航方法及系统,一方面通过多台设备连续拍摄场景图像,获取图像的数据化特征信息,并从中提取关键帧的数据化特征信息发送给服务器端(或云端),另一方面服务器端(或云端)将最新获取的关键帧数据化特征信息填补场景的空白空间,以完成场景的导航数据的扩充;或者在加入最新获取的数据化特征信息后,替换区域内已有数据中最不相似的数据化特征信息以完成场景的导航数据的更新,最后服务器将校准更新过的数据化特征信息分发给每台终端设备,保证了导航数据的实时更新,实现集群化的自主导航。
上述技术方案通过实时更新达到对每台终端设备的控制,但其完全依赖实时检测,信号处理繁杂。
发明内容
鉴于此,本发明提出了一种基于视觉的多设备之间的控制系统,旨在解决现有的终端设备完全依赖实时检测的技术问题。
本发明提出了一种基于视觉的多设备之间的控制系统,包括至少一视觉机器人,所述视觉机器人包括:显示模块,其对视觉机器人的运行轨迹进行实时显示,并通过触摸面板可对机器人进行人工控制;
还包括控制模块,所述控制模块包括监控模块,根据实时获取的图像信息对视觉机器人所处位置及与标识物位置进行实时检测,并传输至处理模块中;还包括线路建立模块,其根据多设备所处空间设立视觉机器人的监控路线,并存储;还包括行走模块,其控制视觉机器人行走;转向模块,其控制视觉机器人转向;线路存储模块,其内存储有所述线路建立模块设定的视觉机器人行走线路,视觉机器人根据该预设的行走监控路线行走及转向;还包括调整模块,其根据视觉机器人实时行走情况,调整所述线路建立模块设定的监控路线;
所述线路建立模块内设置线路函数F(Di,t,A,Z,S),其中,D表示视觉机器人实时出发位置,通过D1表示第一出发地的第一条线路,D2表示第二出发地的第二条线路,依次类推;t表示对应的线路的行走时间,A表示对应线路的从出发位置到终点位置的距离函数;Z表示线路的成功率,突发出现标识物的概率,S表示该线路通信服务器组通信效率,其值小于1;
所述监控模块采用视觉传感器对当前位置以及标识物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准图像进行比较,以做出分析;所述视觉传感器通过使机器人旋转360°获取周围图像信息,机器人在特定位置获取第一标识物、第二标识物、第三标识物以及墙体的图像信息,通过将上述至少四组图像信息与预存的各个角度的标识物信息进行比对计算,获取机器人实时位置信息;
在确定视觉机器人的初始位置信息后,线路建立模块通过初始位置与终点位置之间的线路,确定线路函数F(Di,t,A,Z,S),选择最优的行走线路,对各个经过设备进行监控,最终对重点位置的机器人进行监控。
进一步地,所述视觉机器人将设备区域划分为第一空间、第二空间、第三空间,三个空间顺次连续,设定坐标原点,以其中某个空间的中心或者边角作为坐标原点,首先标定标识物的位置及形状尺寸,在第一空间内标定第一标识物的位置Q1,标定第一标识物的边缘尺寸函数f1,则在确定的某位置作为不能通行的线路;根据各个标识物确定的不能通行的监控路线,确定相应的可选择监控路线,设定连续的区域内的各个监控路线。
进一步地,所述视觉机器人对应线路从出发位置到终点位置的距离函数A在设定时,A(L,v,W,J),L表示直线行走的距离,v表示直线行走的速度,W表示转向的次数,J表示转向的角度,设定第一标识物为圆形,实现一次转向完成线路设定;设定第二标识物为矩形,其转向次数为1-2次,在其中一个角转向时,设定转向次数为1次,在其中两个角需要转向时,设定转向次数为2次;对于多边形边数为N,则转向次数最多为N/2次。
进一步地,所述处理模块设定图像对比信息与视觉机器人位置信息的对比函数G(Q,E),其中,Q对应机器人的位置信息,E对应视觉机器人的图像灰度值E,通过将不同灰度值与相应的位置Q对应,实时获取的图像图谱灰度值信息为E,预设距离Q0对应的图像图谱灰度值信息为E0,将实际灰度值E与预设灰度值E0进行比较,获得实际距离Qi:
Qi=(QxE/E0) (1)
其中,设定对应的灰度值与距离值按照预设的正相关关系进行确定,基于该算法得出对应的一组相对位置信息;按照上述进行计算,获取视觉机器人相对于第一标识物、第二标识物、第三标识物以及墙体的相对位置信息Q1、Q2、Q3、Q4,通过计算获取视觉机器人的实时位置信息Q。
进一步地,所述处理模块在获取实时位置信息时,获取每个相对位置信息的x轴方向参量QiX=Qix cosai,ai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的夹角,Qix sinai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的投影长度;分别为a1、a2、a3、a4,因此,视觉机器人的实时水平位置为QX=(Q1x+Q2x+Q3x+Q4x)/4。
进一步地,所述处理模块在获取每个相对位置信息的y轴方向参量QiY=Qixsinai,ai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的夹角,Qix sinai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的投影长度;分别为a1、a2、a3、a4,所述视觉机器人的实时水平位置为QY=(Q1y+Q2y+Q3y+Q4y)/4,所述机器人的实时位置信息Q(QX,QY)。
进一步地,所述调整模块,在视觉机器人行走监控路线上不存在标识物时,则视觉机器人按照预设监控路线完成行走过程;在视觉机器人行走线路上存在标识物时,视觉机器人在预设的距离停止,并且,所述监控模块检测标识物的形状,与所述线路存储模块内的标识物数据库进行比对,确定相应的标识物类型,并预判标识物停留时间,若超过预设时间t0,则视觉机器人重新按照上述过程生成新线路,通过处理模块对各个线路进行比对后,按照最优的新线路重新行走,直至终点。
进一步地,所述视觉传感器对当前位置以及标识物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准标识物图像进行比较,以做出分析;所述线路存储模块内存储有标识物类型、图像与停留预计时间矩阵I,I(a,Tu,t),其中,表示标识物标号类型,Tu表示标识物图谱信息,t表示预设留存时间;其中,设定行走标识物停留时间小于固定标识物停留时间。
进一步地,如标识物为移动设备,则设定标识物停留时间为t1<t0,则视觉机器人能够判定按照原生成监控路线停留时间t0后继续行走;如标识物为掉落的杂物,则设定标识物停留时间为t2>t0,超过预设时间t0,则视觉机器人重新按照上述过程生成新线路;如掉落的皮球或者其他物件。
进一步地,所述线路的成功率根据可能出现的移动标识物的持续时间除以24h,得出失误率,1-失误率,得到成功率。
与现有技术相比,本发明的有益效果在于,本发明视觉机器人在对线路选择时,预先设定线路函数,线路函数F(Di,t,A,Z,L,S),通过D1表示第一出发地的第一条线路,D2表示第二出发地的第二条线路,依次类推;t表示对应的线路的行走时间,A表示对应线路的从出发位置到终点位置的距离函数;Z表示线路的成功率,突发出现标识物的概率。将车间内的各种标识物进行标记,标定标识物的位置及形状尺寸,确定相应的可选择监控路线,设定连续的区域内的各个监控路线,设定若干条监控路线,上述各个监控路线完全独立或者部分重叠,最终能够达到终点位置。尤其,对应视觉机器人监控线路从出发位置到终点位置的距离函数A在设定时,A(L,v,W,J),L表示直线行走的距离,v表示直线行走的速度,W表示转向的次数,J表示转向的角度,转向的次数以及转向的角度由标识物的形状决定。通过对线路各个方向进行设定,以及转角的角度进行设定来实现距离函数的量化。
尤其,本发明采用视觉传感器将其与内存中存储的基准图像进行比较,以做出分析;例如,视觉传感器通过使机器人旋转360°获取周围图像信息,在本实施例中,机器人在特定位置获取第一标识物、第二标识物、第三标识物以及墙体的图像信息,通过将上述至少四组图像信息与预存的各个角度的标识物信息进行比对计算,获取机器人实时位置信息;在本实施例中,设定图像对比信息与机器人位置信息的对比函数G(Q,E),其中,Q对应机器人的位置信息,E对应机器人的图像灰度值E,通过将不同灰度值与相应的位置Q对应,实时获取的图像图谱灰度值信息为E,预设距离Q0对应的图像图谱灰度值信息为E0,将实际灰度值E与预设灰度值E0进行比较,获得实际距离Qi。
尤其,还包括调整模块,在机器人行走监控路线上不存在标识物时,则机器人按照预设监控路线完成行走过程;在机器人行走线路上存在标识物时,机器人在预设的距离停止,并且,监控模块检测标识物的形状,与线路存储模块内的标识物数据库进行比对,确定相应的标识物类型,并预判标识物停留时间,若超过预设时间t0,则机器人重新按照上述过程生成新线路,通过处理模块对各个线路进行比对后,按照最优的新线路重新行走,直至终点。因此,本发明设定静态监控路线与动态监控路线可调整的方式,使得机器人能够适应各种房间场合行走。
进一步地,本发明的基于视觉的多设备之间的控制系统不仅能够适用于车间设备、库房,也可适用于家用环境,也可以适用于商业环境,如商场、车站。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。
图1为本发明实施例提供的基于视觉的多设备之间的控制系统的区域划分结构示意图;
图2为本发明实施例提供的基于视觉的多设备之间的控制系统的功能框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
参阅图1所示,其为本发明实施例提供的基于视觉的多设备之间的控制系统的区域划分结构示意图;图2为本发明实施例提供的基于视觉的多设备之间的控制系统的功能框图;本实施例的系统包括显示模块,其对视觉机器人的运行轨迹进行实时显示,并通过触摸面板可对视觉机器人进行人工控制;还包括控制模块,其包括监控模块,根据实时获取的图像以及距离感应信息对视觉机器人所处位置及与标识物之间的距离进行实时检测,并传输至处理模块中;还包括线路建立模块,其根据设备实际空间设立视觉机器人的监控路线,并存储;还包括行走模块,其控制视觉机器人行走;转向模块,其控制视觉机器人转向;线路存储模块,其内存储有所述线路建立模块设定的视觉机器人行走线路,视觉机器人根据该预设的行走监控路线行走及转向;还包括调整模块,其根据视觉机器人实时行走情况,调整所述线路建立模块设定的监控路线。
具体而言,本发明基于视觉的多设备之间的控制系统根据实际设备空间设定视觉机器人的行走监控路线,以对各个设备进行监控,视觉机器人在运行时,根据该预先设定的行走监控路线行走,沿预设的直线行走,预设的角度转向,并通过监控模块确定视觉机器人的自身实时位置以及与标识物之间的预设距离,以便能够准确切入监控路线,也可通过该实时检测信息,对当前监控路线进行调整。
结合图1所示,本实施例的视觉机器人行走线路设定规则为,将设备区域划分为第一空间11、第二空间12、第三空间13,三个空间顺次连续,设定坐标原点,如以其中某个空间的中心或者边角作为坐标原点,首先标定标识物的位置及形状尺寸,在第一空间内标定第一标识物21的位置Q1,标定第一标识物21的边缘尺寸函数f1。其中,第一标识物21的边缘尺寸函数f1可以为圆形,则确定圆心位置及半径,则可确定边缘尺寸函数;第一标识物22的边缘尺寸函数f2可以为圆形,可以为矩形,则确定中心位置及长度、宽度,则可确定边缘尺寸函数;也可为多边形,确定中心位置及半径;或者为不规则形状,根据坐标确定其对应的形状。
然后,根据各个标识物确定通行监控路线,确定相应的可选择监控路线,设定连续的区域内的各个监控路线,如图示中所示,在第一空间内的除标识物的各个监控路线,设定第一监控路线31、第二监控路线32、第三监控路线33、第四监控路线34,在机器人预达到的终点位置,设定若干条监控路线,上述各个监控路线完全独立或者部分重叠,最终能够达到终点位置。
其中,所述线路建立模块内设置线路函数F(Di,t,A,Z,S),其中,D表示视觉机器人实时出发位置,如通过D1表示第一出发地的第一条线路,D2表示第二出发地的第二条线路,依次类推;t表示对应的线路的行走时间,A表示对应线路的从出发位置到终点位置的距离函数;Z表示线路的成功率,即突发出现标识物的概率,如AGV小车,根据预先建立模型设定的概率确定,在建立时,根据可能出现的移动标识物的持续时间除以24h,得出失误率,1-失误率,得到成功率;S表示该线路通信服务器组通信效率,其值小于1,其表示通信信号的通信能力,当前的通信效率,其包括若干个通信网络以及通信服务器,其可以进行切换。
具体而言,视觉机器人对应线路从出发位置到终点位置的距离函数A在设定时,A(L,v,W,J),L表示直线行走的距离,v表示直线行走的速度,W表示转向的次数,J表示转向的角度,在本实施例中,转向的次数以及转向的角度由标识物的形状决定。在本实施例中,设定第一标识物为圆形,无论按照何种监控路线设定,均能够实现一次转向完成线路设定;设定第二标识物为矩形,其转向次数为1-2次,在其中一个角转向时,设定转向次数为1次,在其中两个角需要转向时,设定转向次数为2次,由于设定为矩形;在2次转向过程中,可出现掉头,保证矩形标识物转向次数最多为2次;对于多边形边数为N,则转向次数最多为N/2次。
结合图2所示,本实施例的监控模块,其可以为脉冲波检测传感器,通过对固定的标识物发射脉冲波,检测距离标识物的实时距离,由于对应固定标识物的位置为固定,可计算出实时位置信息;或者,采用GPS定位系统,直接进行定位。本发明实施例尤其采用视觉传感器对当前位置以及标识物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准图像进行比较,以做出分析;例如,视觉传感器通过使视觉机器人旋转360°获取周围图像信息,在本实施例中,机器人在特定位置获取第一标识物、第二标识物、第三标识物以及墙体的图像信息,通过将上述至少四组图像信息与预存的各个角度的标识物信息进行比对计算,获取机器人实时位置信息;在本实施例中,设定图像对比信息与机器人位置信息的对比函数G(Q,E),其中,Q对应视觉机器人的位置信息,E对应视觉机器人的图像灰度值E,通过将不同灰度值与相应的位置Q对应,实时获取的图像图谱灰度值信息为E,预设距离Q0对应的图像图谱灰度值信息为E0,将实际灰度值E与预设灰度值E0进行比较,获得实际距离Qi:
Qi=(QxE/E0) (1)
在本实施例中,设定对应的灰度值与距离值按照预设的正相关关系进行确定,基于该算法得出对应的一组相对位置信息;按照上述进行计算,获取视觉机器人相对于第一标识物、第二标识物、第三标识物以及墙体的相对位置信息Q1、Q2、Q3、Q4,通过计算获取视觉机器人的实时位置信息Q。在获取实时位置信息时,获取每个相对位置信息的x轴方向参量QiX=Qix cosai,ai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的夹角,Qixsinai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的投影长度;分别为a1、a2、a3、a4,因此,视觉机器人的实时水平位置为QX=(Q1x+Q2x+Q3x+Q4x)/4。获取每个相对位置信息的y轴方向参量QiY=Qix sinai,ai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的夹角,Qix sinai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的投影长度;分别为a1、a2、a3、a4,因此,机器人的实时水平位置为QY=(Q1y+Q2y+Q3y+Q4y)/4。因此,本发明实施例的机器人的实时位置信息Q(QX,QY)。
具体而言,在具体工作时,所述处理模块接收到目的位置指令后,如需要到达特定位置进行监控采集,通过前端显示模块的控制面板输入指令,或者,通过APP发送控制指令至视觉机器人的处理模块中,所述处理模块接收到控制指令后,首先激活视觉机器人为工作状态,所述监控模块检测当前的视觉机器人位置信息,并传输至处理模块中;视觉传感器通过使机器人旋转360°获取周围图像信息,在本实施例中,视觉机器人在特定位置获取第一标识物、第二标识物、第三标识物以及墙体的图像信息,通过将上述至少四组图像信息与预存的各个角度的标识物信息进行比对,获取视觉机器人实时位置信息。
在确定视觉机器人的初始位置信息后,线路建立模块通过初始位置与终点位置之间的线路,确定线路函数F(Di,t,A,Z,S),选择最优的行走线路。选择其中一基础线路函数,将当前线路函数信息与所述基础线路函数的数据信息进行对比,基础线路函数可根据现有F函数确定,根据预先线路的数据整理而得,
Figure BDA0002270481940000101
其中,
Figure BDA0002270481940000102
表示线路函数信息与所述基础线路函数的数据信息进行对比值,Mi表示第i基础数据库的数据量,Nj表示某现有线路的数据信息的线路函数F,Uij表基础线路函数数据信息与第i基础数据库的关联度,i表示基础线路函数的编号,d表示修正系数,d的取值为0.996;|A|表示距离函数A的增益值,由于在行走过程中,产生标识物,将距离函数A的增益值作为考虑因素。在本实施例中,确定基本距离函数A0(L0,v0,W0,J0),当前线路函数信息的距离函数A(L,v,W,J);
距离函数A的增益值|A|=(L/L0+v/v0+W/W0+J/J0)/4 (3)
上述增益函数考虑距离函数A的各个函数,当行程较远,速度较大,转向次数较多,以及转角较大时,相应的增益也会增加。通过引入增益函数,在做
Figure BDA00022704819400001111
比较值时,能够使比较值普遍具有较大的比值,便于综合比较。
所述关联度Cij由下述公式计算:
Figure BDA0002270481940000111
其中,x表示第i基础数据库内的基础数据,y表示基础线路j的现有数据,Mi表示第i基础数据库的数据量,Nj表示某现有线路的数据信息的线路函数F;
Figure BDA0002270481940000112
的输出值由Mi和Nj决定,
Figure BDA0002270481940000113
当Mi>Nj时,
Figure BDA0002270481940000114
输出值为
Figure BDA0002270481940000115
当Mi≤Nj时,
Figure BDA0002270481940000116
的输出值均为0。
Figure BDA0002270481940000117
的输出值为0,则直接更换下一基础数据库,重复步骤2进行比较,最终
Figure BDA0002270481940000118
的输出值不为0时,进入下一步骤。
Figure BDA0002270481940000119
的输出值不为0时,所述数据库处理模块将
Figure BDA00022704819400001110
的输出值存储,其输出值在不小于预设函数值ζ时,则以此时的基础线路函数建立该基础线路数据库;若所述输出的函数小于预设函数值ζ,则返回步骤2重新选择基础线路函数,直至输出的函数在不小于预设函数值ζ。
具体而言,所述预设函数值ζ可以由管理员根据实际需求设定。
选择最优的行走线路后,所述机器人按照预设的监控路线行走,直至到达终点。
参阅图2所示,本实施例系统还包括调整模块,在视觉机器人行走监控路线上不存在突发移动小车或者其他物体时,则视觉机器人按照预设监控路线完成行走过程;在视觉机器人行走线路上存在障碍物时,障碍物在预设的距离停止,并且,监控模块检测标识物的形状,与线路存储模块内的标识物数据库进行比对,确定相应的标识物类型,并预判标识物停留时间,若超过预设时间t0,则机器人重新按照上述过程生成新线路,通过处理模块对各个线路进行比对后,按照最优的新线路重新行走,直至终点。
具体而言,视觉传感器对当前位置以及标识物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准标识物图像进行比较,以做出分析;如障碍物为行走的小车,则设定标识物停留时间为t1<t0,则视觉机器人能够判定按照原生成监控路线停留时间t0后继续行走;如标识物为掉落的杂物、工件、工具,则设定标识物障碍物停留时间为t2>t0,超过预设时间t0,则视觉机器人重新按照上述过程生成新线路。在本发明实施例中,所述线路存储模块内存储有标识物类型、图像与停留预计时间矩阵I,I(a,Tu,t),其中,表示标识物标号类型,Tu表示标识物图谱信息,t表示预设留存时间。在本实施例中,设定行走标识物停留时间小于固定标识物停留时间。
具体而言,所述调整模块将新生成线路发送至处理模块中,并通过线路存储模块进行存储。本发明实施例,所述视觉传感器获取当前实时行走过程线路中的图像信息,提前发现行走线路中的各种标识物,所述处理模块获取相应信息,并作出是否停止或者重新制定监控路线的指令。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于视觉的多设备之间的控制系统,其特征在于,包括至少一视觉机器人,所述视觉机器人包括:
显示模块,其对视觉机器人的运行轨迹进行实时显示,并通过触摸面板可对机器人进行人工控制;
还包括控制模块,所述控制模块包括监控模块,根据实时获取的图像信息对视觉机器人所处位置及与标识物位置进行实时检测,并传输至处理模块中;还包括线路建立模块,其根据多设备所处空间设立视觉机器人的监控路线,并存储;还包括行走模块,其控制视觉机器人行走;转向模块,其控制视觉机器人转向;线路存储模块,其内存储有所述线路建立模块设定的视觉机器人行走线路,视觉机器人根据预设的行走监控路线行走及转向;还包括调整模块,其根据视觉机器人实时行走情况,调整所述线路建立模块设定的监控路线;
所述线路建立模块内设置线路函数F(Di,t,A,Z,S),其中,D表示视觉机器人实时出发位置,通过D1表示第一出发地的第一条线路,D2表示第二出发地的第二条线路,依次类推;t表示对应的线路的行走时间,A表示对应线路的从出发位置到终点位置的距离函数;Z表示线路的成功率,突发出现标识物的概率,S表示该线路通信服务器组通信效率,其值小于1;
所述监控模块采用视觉传感器对当前位置以及标识物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准图像进行比较,以做出分析;所述视觉传感器通过使机器人旋转360°获取周围图像信息,机器人在特定位置获取第一标识物、第二标识物、第三标识物以及墙体的图像信息,通过将上述四组图像信息与预存的各个角度的标识物信息进行比对计算,获取机器人实时位置信息;
在确定视觉机器人的初始位置信息后,线路建立模块获取初始位置与终点位置,并通过初始位置与终点位置之间的线路,确定线路函数F(Di,t,A,Z,S),选择最优的行走线路,对各个经过设备进行监控,最终对重点位置的机器人进行监控。
2.根据权利要求1所述的基于视觉的多设备之间的控制系统,其特征在于,所述视觉机器人将设备区域划分为第一空间、第二空间、第三空间,三个空间顺次连续,设定坐标原点,以其中某个空间的中心或者边角作为坐标原点,首先标定标识物的位置及形状尺寸,在第一空间内标定第一标识物的位置Q1,标定第一标识物的边缘尺寸函数f1,则在确定的某位置作为不能通行的线路;根据各个标识物确定的不能通行的监控路线,确定相应的可选择监控路线,设定连续的区域内的各个监控路线。
3.根据权利要求1所述的基于视觉的多设备之间的控制系统,其特征在于,所述视觉机器人对应线路从出发位置到终点位置的距离函数A在设定时,A(L,v,W,J),L表示直线行走的距离,v表示直线行走的速度,W表示转向的次数,J表示转向的角度,设定第一标识物为圆形,实现一次转向完成线路设定;设定第二标识物为矩形,其转向次数为1-2次,在其中一个角转向时,设定转向次数为1次,在其中两个角需要转向时,设定转向次数为2次;对于多边形边数为N,则转向次数最多为N/2次。
4.根据权利要求1所述的基于视觉的多设备之间的控制系统,其特征在于,所述处理模块设定图像对比信息与视觉机器人位置信息的对比函数G(Q,E),其中,Q对应机器人的位置信息,E对应视觉机器人的图像灰度值E,通过将不同灰度值与相应的位置Q对应,实时获取的图像图谱灰度值信息为E,预设距离Q0对应的图像图谱灰度值信息为E0,将实际灰度值E与预设灰度值E0进行比较,获得实际距离Qi:
Qi=(Q x E/ E0) (1)
其中,设定对应的灰度值与距离值按照预设的正相关关系进行确定,基于算法得出对应的一组相对位置信息;按照上述进行计算,获取视觉机器人相对于第一标识物、第二标识物、第三标识物以及墙体的相对位置信息Q1、Q2、Q3、Q4,通过计算获取视觉机器人的实时位置信息Q。
5.根据权利要求4所述的基于视觉的多设备之间的控制系统,其特征在于,所述调整模块,在视觉机器人行走监控路线上不存在标识物时,则视觉机器人按照预设监控路线完成行走过程;在视觉机器人行走线路上存在标识物时,视觉机器人在预设的距离停止,并且,所述监控模块检测标识物的形状,与所述线路存储模块内的标识物数据库进行比对,确定相应的标识物类型,并预判标识物停留时间,若超过预设时间t0,则视觉机器人重新按照上述过程生成新线路,通过处理模块对各个线路进行比对后,按照最优的新线路重新行走,直至终点。
6.根据权利要求5所述的基于视觉的多设备之间的控制系统,其特征在于,所述视觉传感器对当前位置以及标识物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准标识物图像进行比较,以做出分析;所述线路存储模块内存储有标识物类型、图像与停留预计时间矩阵I,I(a,Tu,tk),其中,表示标识物标号类型,Tu表示标识物图谱信息,tk表示预设留存时间;其中,设定行走标识物停留时间小于固定标识物停留时间。
7.根据权利要求6所述的基于视觉的多设备之间的控制系统,其特征在于,如标识物为移动设备,则设定标识物停留时间为t1<t0,则视觉机器人能够判定按照原生成监控路线停留时间t0后继续行走;如标识物为掉落的杂物,则设定标识物停留时间为t2>t0,超过预设时间t0,则视觉机器人重新按照上述过程生成新线路。
8.根据权利要求1所述的基于视觉的多设备之间的控制系统,其特征在于,所述线路的成功率根据可能出现的移动标识物的持续时间除以24h,得出失误率,1-失误率,得到成功率。
CN201911103263.4A 2019-11-12 2019-11-12 基于视觉的多设备之间的控制系统 Active CN110703771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911103263.4A CN110703771B (zh) 2019-11-12 2019-11-12 基于视觉的多设备之间的控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911103263.4A CN110703771B (zh) 2019-11-12 2019-11-12 基于视觉的多设备之间的控制系统

Publications (2)

Publication Number Publication Date
CN110703771A CN110703771A (zh) 2020-01-17
CN110703771B true CN110703771B (zh) 2020-09-08

Family

ID=69205108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911103263.4A Active CN110703771B (zh) 2019-11-12 2019-11-12 基于视觉的多设备之间的控制系统

Country Status (1)

Country Link
CN (1) CN110703771B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114010108B (zh) * 2021-11-09 2022-12-27 深圳市无限动力发展有限公司 基于语音引导的扫地机控制方法、装置和计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001072208A (ja) * 1999-08-31 2001-03-21 Nippon Seiki Co Ltd 倉庫内無人車両誘導装置
KR100766434B1 (ko) * 2005-07-22 2007-10-15 엘지전자 주식회사 영상 인식이 가능한 이동체와 이동체 유도 방법
CN103279949B (zh) * 2013-05-09 2015-10-07 浙江大学 基于自定位机器人的多相机参数自动标定系统运行方法
CN105841687B (zh) * 2015-01-14 2019-12-06 上海智乘网络科技有限公司 室内定位方法和系统
US10884417B2 (en) * 2016-11-07 2021-01-05 Boston Incubator Center, LLC Navigation of mobile robots based on passenger following
CN106940186B (zh) * 2017-02-16 2019-09-24 华中科技大学 一种机器人自主定位与导航方法及系统
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法

Also Published As

Publication number Publication date
CN110703771A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
US11351670B2 (en) Domestic robotic system and method
JP6842519B2 (ja) データ収集方法及びそのシステム
CN107992052B (zh) 目标跟踪方法及装置、移动设备及存储介质
US11199850B2 (en) Estimation device, control method, program and storage medium
US9625908B2 (en) Methods and systems for mobile-agent navigation
US20220161430A1 (en) Recharging Control Method of Desktop Robot
CN104197899A (zh) 移动机器人定位方法及系统
CN108549383B (zh) 一种实时多传感器的社区机器人导航方法
CN113013781B (zh) 基于图像处理的激光发射及动态校准装置、方法、设备和介质
CN105116886A (zh) 一种机器人自主行走的方法
CN113190007A (zh) 一种地图轮廓修正方法、芯片和移动机器人
CN108196538B (zh) 基于三维点云模型的田间农业机器人自主导航系统及方法
CN110703771B (zh) 基于视觉的多设备之间的控制系统
CN110716554B (zh) 基于视觉的家庭机器人
CN112486172A (zh) 道路边缘检测方法及机器人
Alves et al. Cost-effective indoor localization for autonomous robots using kinect and wifi sensors
CN115112115A (zh) 一种机器人果园高精度实时定位方法
CN111811499B (zh) 机器人多传感器混合定位方法
CN114265083A (zh) 一种利用激光雷达的机器人位置识别方法及装置
CN109883419B (zh) 机器人导航方法及系统
CN113419249A (zh) 一种重定位方法、芯片和移动机器人
Podsedkowski et al. Online navigation of mobile robots using laser scanner
KR102631313B1 (ko) Slam 기술 구현을 위한 비전 데이터 및 라이다 데이터 간의 실시간 분석 및 대조를 통해 위치 오차 보정이 가능한 장치
KR102631315B1 (ko) Slam 기술 구현을 위한 비전 데이터 및 라이다 데이터 간의 실시간 분석 및 대조를 통해 위치 오차 보정이 가능한 시스템
Li et al. CAD-vision-range-based self-localization for mobile robot using one landmark

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220120

Address after: 518000 6th floor, building a, Zhongshen garden, CaiTian South Road, Futian street, Futian District, Shenzhen, Guangdong

Patentee after: Shenzhen Huayuchang international science and Education Development Co.,Ltd.

Address before: 526000 room 8, unit C, maker business center, Zhanqian Avenue, Guicheng, Dinghu District, Zhaoqing City, Guangdong Province

Patentee before: Huayuchang (Zhaoqing) Intelligent Technology Research Co.,Ltd.

Patentee before: Li Shi Feng (Zhaoqing) Automation Technology Co., Ltd

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220422

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee after: Shenzhen yiqiyouche Technology Co.,Ltd.

Address before: 518000 6th floor, building a, Zhongshen garden, CaiTian South Road, Futian street, Futian District, Shenzhen, Guangdong

Patentee before: Shenzhen Huayuchang international science and Education Development Co.,Ltd.

TR01 Transfer of patent right