CN110716554B - 基于视觉的家庭机器人 - Google Patents

基于视觉的家庭机器人 Download PDF

Info

Publication number
CN110716554B
CN110716554B CN201911103265.3A CN201911103265A CN110716554B CN 110716554 B CN110716554 B CN 110716554B CN 201911103265 A CN201911103265 A CN 201911103265A CN 110716554 B CN110716554 B CN 110716554B
Authority
CN
China
Prior art keywords
robot
obstacle
line
module
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911103265.3A
Other languages
English (en)
Other versions
CN110716554A (zh
Inventor
陆剑峰
刘汉刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Pudong Technology Co.,Ltd.
Original Assignee
Lisifeng Zhaoqing Automation Technology Co ltd
Huayuchang Zhaoqing Intelligent Technology Research Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lisifeng Zhaoqing Automation Technology Co ltd, Huayuchang Zhaoqing Intelligent Technology Research Co ltd filed Critical Lisifeng Zhaoqing Automation Technology Co ltd
Priority to CN201911103265.3A priority Critical patent/CN110716554B/zh
Publication of CN110716554A publication Critical patent/CN110716554A/zh
Application granted granted Critical
Publication of CN110716554B publication Critical patent/CN110716554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明提出了一种基于视觉的家庭机器人,包括后台模块,其包括距离检测模块,根据实时获取的图像以及距离感应信息对机器人所处位置及与障碍物之间的距离进行实时检测,并传输至处理器中;还包括线路建立模块,其根据家庭实际空间设立机器人的路线,并存储;还包括行走模块,其控制机器人行走;转向模块,其控制机器人转向;线路存储模块,其内存储有所述线路建立模块设定的机器人行走线路,机器人根据该预设的行走路线行走及转向;还包括校准模块,其根据机器人实时行走情况,调整所述线路建立模块设定的路线。本发明设定静态路线与动态路线可调整的方式,使得机器人能够适应各种房间场合行走。

Description

基于视觉的家庭机器人
技术领域
本发明涉及家用机器人技术领域,具体而言,涉及一种基于视觉的家庭机器人。
背景技术
随着智能机器人技术的发展,越来越多的智能机器人进入到用户家庭,大大提高人们生活的舒适性和便利性。其中,智能吸尘器是家庭中智能机器人的一种,用户在选择和购买智能吸尘器时,注重产品智能化,如果产品能够尽可能地满足用户的智能化需求,可以争取更多的消费者,为企业创造利润。
目前,家庭智能机器人一般采用IR(Infrared Radiation,红外)等传感器检测障碍物。但是采用IR等传感器检测障碍物,在智能机器人遇到障碍时,传感器对颜色的影响较大,而且盲区多,导致碰撞次数很多,障壁效率比较低,还需要增加碰撞条结构进行保护。另外,即使用户购买了智能机器人,在摆放家具时,还需要考虑会不会被智能机器人碰撞等问题,非常不方便。
中国专利CN106142093B,公开了一种家庭机器人及其控制方法,设置在壳体之上的至少一个超声波传感器,超声波传感器用于检测家庭机器人运动方向上的物体,并获取家庭机器人与物体之间的距离;以及控制器,控制器与超声波传感器相连。采用超声波的传感方式,其控制仍然依赖实时检测。
发明内容
鉴于此,本发明提出了一种基于视觉的家庭机器人,旨在解决现有的完全依赖实时检测的技术问题。
本发明提出了一种基于视觉的家庭机器人,包括:
前端显示模块,其对机器人的运行轨迹进行实时显示,并通过触摸面板可对机器人进行人工控制;
还包括后台模块,其包括距离检测模块,根据实时获取的图像以及距离感应信息对机器人所处位置及与障碍物之间的距离进行实时检测,并传输至处理器中;还包括线路建立模块,其根据家庭实际空间设立机器人的路线,并存储;还包括行走模块,其控制机器人行走;转向模块,其控制机器人转向;线路存储模块,其内存储有所述线路建立模块设定的机器人行走线路,机器人根据该预设的行走路线行走及转向;还包括校准模块,其根据机器人实时行走情况,调整所述线路建立模块设定的路线;
所述线路建立模块内设置线路函数F(Di,t,A,Z,S),其中,D表示机器人实时出发位置,通过D1表示第一出发地的第一条线路,D2表示第二出发地的第二条线路,依次类推;t表示对应的线路的行走时间,A表示对应线路的从出发位置到终点位置的距离函数;Z表示线路的成功率,突发出现障碍物的概率,S表示该线路通信服务器组通信效率,其值小于1;
所述距离检测模块采用视觉传感器对当前位置以及障碍物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准图像进行比较,以做出分析;所述视觉传感器通过使机器人旋转360°获取周围图像信息,机器人在特定位置获取第一障碍物、第二障碍物、第三障碍物以及墙体的图像信息,通过将上述至少四组图像信息与预存的各个角度的障碍物信息进行比对计算,获取机器人实时位置信息;在确定机器人的初始位置信息后,线路建立模块通过初始位置与终点位置之间的线路,确定线路函数F(Di,t,A,Z,S),选择最优的行走线路。
进一步地,所述机器人将家庭空间划分为第一空间、第二空间、第三空间,三个空间顺次连续,设定坐标原点,以其中某个空间的中心或者边角作为坐标原点,首先标定障碍物的位置及形状尺寸,在第一空间内标定第一障碍物的位置Q1,标定第一障碍物的边缘尺寸函数f1,则在确定的某位置作为不能通行的线路;根据各个障碍物确定的不能通行的路线,确定相应的可选择路线,设定连续的区域内的各个路线。
进一步地,对应线路从出发位置到终点位置的距离函数A在设定时,A(L,v,W,J),L表示直线行走的距离,v表示直线行走的速度,W表示转向的次数,J表示转向的角度,设定第一障碍物为圆形,实现一次转向完成线路设定;设定第二障碍物为矩形,其转向次数为1-2次,在其中一个角转向时,设定转向次数为1次,在其中两个角需要转向时,设定转向次数为2次;对于多边形边数为N,则转向次数最多为N/2次。
进一步地,所述处理器设定图像对比信息与机器人位置信息的对比函数G(Q,E),其中,Q对应机器人的位置信息,E对应机器人的图像灰度值E,通过将不同灰度值与相应的位置Q对应,实时获取的图像图谱灰度值信息为E,预设距离Q0对应的图像图谱灰度值信息为E0,将实际灰度值E与预设灰度值E0进行比较,获得实际距离Qi:
Qi=(Q x E/E0) (1)
其中,设定对应的灰度值与距离值按照预设的正相关关系进行确定,基于该算法得出对应的一组相对位置信息;按照上述进行计算,获取机器人相对于第一障碍物、第二障碍物、第三障碍物以及墙体的相对位置信息Q1、Q2、Q3、Q4,通过计算获取机器人的实时位置信息Q。
进一步地,所述处理器在获取实时位置信息时,获取每个相对位置信息的x轴方向参量QiX=Qix cosai,ai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的夹角,Qixsinai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的投影长度;分别为a1、a2、a3、a4,因此,机器人的实时水平位置为QX=(Q1x+Q2x+Q3x+Q4x)/4。
进一步地,所述处理器在获取每个相对位置信息的y轴方向参量QiY=Qix sinai,ai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的夹角,Qix sinai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的投影长度;分别为a1、a2、a3、a4,机器人的实时水平位置为QY=(Q1y+Q2y+Q3y+Q4y)/4,所述机器人的实时位置信息Q(QX,QY)。
进一步地,所述校准模块,在机器人行走路线上不存在障碍物时,则机器人按照预设路线完成行走过程;在机器人行走线路上存在障碍物时,机器人在预设的距离停止,并且,所述距离检测模块检测障碍物的形状,与所述线路存储模块内的障碍物数据库进行比对,确定相应的障碍物类型,并预判障碍物停留时间,若超过预设时间t0,则机器人重新按照上述过程生成新线路,通过处理器对各个线路进行比对后,按照最优的新线路重新行走,直至终点。
进一步地,所述视觉传感器对当前位置以及障碍物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准障碍物图像进行比较,以做出分析;所述线路存储模块内存储有障碍物类型、图像与停留预计时间矩阵I,I(a,Tu,t),其中,表示障碍物标号类型,Tu表示障碍物图谱信息,t表示预设留存时间;其中,设定行走障碍物停留时间小于固定障碍物停留时间。
进一步地,如障碍物为行走的小动物,则设定障碍物停留时间为t1<t0,则机器人能够判定按照原生成路线停留时间t0后继续行走;如障碍物为掉落的杂物,则设定障碍物停留时间为t2>t0,超过预设时间t0,则机器人重新按照上述过程生成新线路;如掉落的皮球或者其他物件。
进一步地,所述线路的成功率根据可能出现的移动障碍物的持续时间除以24h,得出失误率,1-失误率,得到成功率。
与现有技术相比,本发明的有益效果在于,本发明平台在对线路选择时,预先设定线路函数,线路函数F(Di,t,A,Z,L,S),通过D1表示第一出发地的第一条线路,D2表示第二出发地的第二条线路,依次类推;t表示对应的线路的行走时间,A表示对应线路的从出发位置到终点位置的距离函数;Z表示线路的成功率,突发出现障碍物的概率。将房间内的各种障碍物进行标记,标定障碍物的位置及形状尺寸,根据各个障碍物确定的不能通行的路线,确定相应的可选择路线,设定连续的区域内的各个路线,,设定若干条路线,上述各个路线完全独立或者部分重叠,最终能够达到终点位置。
尤其,对应线路从出发位置到终点位置的距离函数A在设定时,A(L,v,W,J),L表示直线行走的距离,v表示直线行走的速度,W表示转向的次数,J表示转向的角度,转向的次数以及转向的角度由障碍物的形状决定。通过对线路各个方向进行设定,以及转角的角度进行设定来实现距离函数的量化。
尤其,本发明采用视觉传感器将其与内存中存储的基准图像进行比较,以做出分析;例如,视觉传感器通过使机器人旋转360°获取周围图像信息,在本实施例中,机器人在特定位置获取第一障碍物、第二障碍物、第三障碍物以及墙体的图像信息,通过将上述至少四组图像信息与预存的各个角度的障碍物信息进行比对计算,获取机器人实时位置信息;在本实施例中,设定图像对比信息与机器人位置信息的对比函数G(Q,E),其中,Q对应机器人的位置信息,E对应机器人的图像灰度值E,通过将不同灰度值与相应的位置Q对应,实时获取的图像图谱灰度值信息为E,预设距离Q0对应的图像图谱灰度值信息为E0,将实际灰度值E与预设灰度值E0进行比较,获得实际距离Qi。
尤其,还包括校准模块,在机器人行走路线上不存在障碍物时,则机器人按照预设路线完成行走过程;在机器人行走线路上存在障碍物时,机器人在预设的距离停止,并且,距离检测模块检测障碍物的形状,与线路存储模块内的障碍物数据库进行比对,确定相应的障碍物类型,并预判障碍物停留时间,若超过预设时间t0,则机器人重新按照上述过程生成新线路,通过处理器对各个线路进行比对后,按照最优的新线路重新行走,直至终点。因此,本发明设定静态路线与动态路线可调整的方式,使得机器人能够适应各种房间场合行走。
进一步地,本发明的基于视觉的家庭机器人不仅能够适用于家用环境,也可以适用于商业环境,如商场、车站,也可适用于车间设备。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。
图1为本发明实施例提供的基于视觉的家庭机器人的行走线路结构示意图;
图2为本发明实施例提供的基于视觉的家庭机器人的功能框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
参阅图1所示,其为本发明实施例提供的基于视觉的家庭机器人的行走线路结构示意图;图2为本发明实施例提供的基于视觉的家庭机器人的功能框图;本实施例的机器人系统包括前端显示模块,其对机器人的运行轨迹进行实时显示,并通过触摸面板可对机器人进行人工控制;还包括后台模块,其包括距离检测模块,根据实时获取的图像以及距离感应信息对机器人所处位置及与障碍物之间的距离进行实时检测,并传输至处理器中;还包括线路建立模块,其根据家庭实际空间设立机器人的路线,并存储;还包括行走模块,其控制机器人行走;转向模块,其控制机器人转向;线路存储模块,其内存储有所述线路建立模块设定的机器人行走线路,机器人根据该预设的行走路线行走及转向;还包括校准模块,其根据机器人实时行走情况,调整所述线路建立模块设定的路线。
具体而言,本发明基于视觉的家庭机器人根据实际家庭的空间设定机器人的行走路线,机器人在运行时,根据该预先设定的行走路线行走,沿预设的直线行走,预设的角度转向,并通过距离检测模块确定机器人的自身实时位置以及与障碍物之间的预设距离,以便能够准确切入路线,也可通过该实时检测信息,对当前路线进行调整。
结合图1所示,本实施例的行走线路设定规则为,将家庭空间划分为第一空间11、第二空间12、第三空间13,三个空间顺次连续,设定坐标原点,如以其中某个空间的中心或者边角作为坐标原点,首先标定障碍物的位置及形状尺寸,在第一空间内标定第一障碍物21的位置Q1,标定第一障碍物21的边缘尺寸函数f1,则在确定的某位置作为不能通行的线路。其中,第一障碍物21的边缘尺寸函数f1可以为圆形,则确定圆心位置及半径,则可确定边缘尺寸函数;第一障碍物22的边缘尺寸函数f2可以为圆形,可以为矩形,则确定中心位置及长度、宽度,则可确定边缘尺寸函数;也可为多边形,确定中心位置及半径;或者为不规则形状,根据坐标确定其对应的形状。
然后,根据各个障碍物确定的不能通行的路线,确定相应的可选择路线,设定连续的区域内的各个路线,如图示中所示,在第一空间内的除障碍物的各个路线,设定第一条路线31、第二条路线32、第三条路线33、第四条路线34,在机器人预达到的终点位置,设定若干条路线,上述各个路线完全独立或者部分重叠,最终能够达到终点位置。
其中,所述线路建立模块内设置线路函数F(Di,t,A,Z,S),其中,D表示机器人实时出发位置,如通过D1表示第一出发地的第一条线路,D2表示第二出发地的第二条线路,依次类推;t表示对应的线路的行走时间,A表示对应线路的从出发位置到终点位置的距离函数;Z表示线路的成功率,即突发出现障碍物的概率,如行走的小动物,根据预先建立模型设定的概率确定,在建立时,根据可能出现的移动障碍物的持续时间除以24h,得出失误率,1-失误率,得到成功率;S表示该线路通信服务器组通信效率,其值小于1,其表示通信信号的通信能力,当前的通信效率,其包括若干个通信网络以及通信服务器,其可以进行切换。
具体而言,对应线路从出发位置到终点位置的距离函数A在设定时,A(L,v,W,J),L表示直线行走的距离,v表示直线行走的速度,W表示转向的次数,J表示转向的角度,在本实施例中,转向的次数以及转向的角度由障碍物的形状决定。在本实施例中,设定第一障碍物为圆形,无论按照何种路线设定,均能够实现一次转向完成线路设定;设定第二障碍物为矩形,其转向次数为1-2次,在其中一个角转向时,设定转向次数为1次,在其中两个角需要转向时,设定转向次数为2次,由于设定为矩形,因此,不可能出现3次转向;在2次转向过程中,可出现掉头,保证矩形障碍物转向次数最多为2次;对于多边形边数为N,则转向次数最多为N/2次。
结合图2所示,本实施例的距离检测模块包括距离检测传感器,其可以为脉冲波检测传感器,通过对固定的障碍物发射脉冲波,检测距离障碍物的实时距离,由于对应固定障碍物的位置为固定,可计算出实时位置信息;或者,采用GPS定位系统,直接进行定位,但由于在室内的空间较为狭小,容易出现定位误差。本发明实施例尤其采用视觉传感器对当前位置以及障碍物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准图像进行比较,以做出分析;例如,视觉传感器通过使机器人旋转360°获取周围图像信息,在本实施例中,机器人在特定位置获取第一障碍物、第二障碍物、第三障碍物以及墙体的图像信息,通过将上述至少四组图像信息与预存的各个角度的障碍物信息进行比对计算,获取机器人实时位置信息;在本实施例中,设定图像对比信息与机器人位置信息的对比函数G(Q,E),其中,Q对应机器人的位置信息,E对应机器人的图像灰度值E,通过将不同灰度值与相应的位置Q对应,实时获取的图像图谱灰度值信息为E,预设距离Q0对应的图像图谱灰度值信息为E0,将实际灰度值E与预设灰度值E0进行比较,获得实际距离Qi:
Qi=(Q x E/E0) (1)
在本实施例中,设定对应的灰度值与距离值按照预设的正相关关系进行确定,基于该算法得出对应的一组相对位置信息;按照上述进行计算,获取机器人相对于第一障碍物、第二障碍物、第三障碍物以及墙体的相对位置信息Q1、Q2、Q3、Q4,通过计算获取机器人的实时位置信息Q。在获取实时位置信息时,获取每个相对位置信息的x轴方向参量QiX=Qix cosai,ai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的夹角,Qix sinai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的投影长度;分别为a1、a2、a3、a4,因此,机器人的实时水平位置为QX=(Q1x+Q2x+Q3x+Q4x)/4。获取每个相对位置信息的y轴方向参量QiY=Qix sinai,ai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的夹角,Qix sinai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的投影长度;分别为a1、a2、a3、a4,因此,机器人的实时水平位置为QY=(Q1y+Q2y+Q3y+Q4y)/4。因此,本发明实施例的机器人的实时位置信息Q(QX,QY)。
具体而言,在具体工作时,所述处理器接收到目的位置指令后,如需要打开冰箱或者需要到预设位置清扫,通过前端显示模块的控制面板输入指令,或者,通过APP发送控制指令至机器人的处理器中,所述处理器接收到控制指令后,首先激活机器人为工作状态,所述距离检测模块检测当前的机器人位置信息,并传输至处理器中;视觉传感器通过使机器人旋转360°获取周围图像信息,在本实施例中,机器人在特定位置获取第一障碍物、第二障碍物、第三障碍物以及墙体的图像信息,通过将上述至少四组图像信息与预存的各个角度的障碍物信息进行比对,获取机器人实时位置信息。
在确定机器人的初始位置信息后,线路建立模块通过初始位置与终点位置之间的线路,确定线路函数F(Di,t,A,Z,S),选择最优的行走线路。选择其中一基础线路函数,将当前线路函数信息与所述基础线路函数的数据信息进行对比,基础线路函数可根据现有F函数确定,根据预先线路的数据整理而得,
Figure BDA0002270482060000101
其中,
Figure BDA0002270482060000102
表示线路函数信息与所述基础线路函数的数据信息进行对比值,Mi表示第i基础数据库的数据量,Nj表示某现有线路的数据信息的线路函数F,Uij表基础线路函数数据信息与第i基础数据库的关联度,i表示基础线路函数的编号,d表示修正系数,d的取值为0.996;|A|表示距离函数A的增益值,由于在行走过程中,产生障碍物,将距离函数A的增益值作为考虑因素。在本实施例中,确定基本距离函数A0(L0,v0,W0,J0),当前线路函数信息的距离函数A(L,v,W,J);
距离函数A的增益值|A|=(L/L0+v/v0+W/W0+J/J0)/4 (3)
上述增益函数考虑距离函数A的各个函数,当行程较远,速度较大,转向次数较多,以及转角较大时,相应的增益也会增加。通过引入增益函数,在做
Figure BDA0002270482060000103
比较值时,能够使比较值普遍具有较大的比值,便于综合比较。
所述关联度Cij由下述公式计算:
Figure BDA0002270482060000104
其中,x表示第i基础数据库内的基础数据,y表示基础线路j的现有数据,Mi表示第i基础数据库的数据量,Nj表示某现有线路的数据信息的线路函数F;
Figure BDA0002270482060000105
的输出值由Mi和Nj决定,
Figure BDA0002270482060000106
当Mi>Nj时,
Figure BDA0002270482060000107
输出值为
Figure BDA0002270482060000108
当Mi≤Nj时,
Figure BDA0002270482060000109
的输出值均为0。
Figure BDA00022704820600001010
的输出值为0,则直接更换下一基础数据库,重复步骤2进行比较,最终
Figure BDA00022704820600001011
的输出值不为0时,进入下一步骤。
Figure BDA0002270482060000111
的输出值不为0时,所述数据库处理器将
Figure BDA0002270482060000112
的输出值存储,其输出值在不小于预设函数值ζ时,则以此时的基础线路函数建立该基础线路数据库;若所述输出的函数小于预设函数值ζ,则返回步骤2重新选择基础线路函数,直至输出的函数在不小于预设函数值ζ。
具体而言,所述预设函数值ζ可以由管理员根据实际需求设定。
选择最优的行走线路后,所述机器人按照预设的路线行走,直至到达终点。
参阅图2所示,本实施例系统还包括校准模块,在机器人行走路线上不存在障碍物时,则机器人按照预设路线完成行走过程;在机器人行走线路上存在障碍物时,机器人在预设的距离停止,并且,距离检测模块检测障碍物的形状,与线路存储模块内的障碍物数据库进行比对,确定相应的障碍物类型,并预判障碍物停留时间,若超过预设时间t0,则机器人重新按照上述过程生成新线路,通过处理器对各个线路进行比对后,按照最优的新线路重新行走,直至终点。
具体而言,视觉传感器对当前位置以及障碍物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准障碍物图像进行比较,以做出分析;如障碍物为行走的小动物,则设定障碍物停留时间为t1<t0,则机器人能够判定按照原生成路线停留时间t0后继续行走;如障碍物为掉落的杂物,则设定障碍物停留时间为t2>t0,超过预设时间t0,则机器人重新按照上述过程生成新线路;如掉落的皮球或者其他物件。在本发明实施例中,所述线路存储模块内存储有障碍物类型、图像与停留预计时间矩阵I,I(a,Tu,t),其中,表示障碍物标号类型,Tu表示障碍物图谱信息,t表示预设留存时间。在本实施例中,设定行走障碍物停留时间小于固定障碍物停留时间。
具体而言,所述校准模块将新生成线路发送至处理器中,并通过线路存储模块进行存储。本发明实施例,所述视觉传感器获取当前实时行走过程线路中的图像信息,提前发现行走线路中的各种障碍物,所述处理器获取相应信息,并作出是否停止或者重新制定路线的指令。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于视觉的家庭机器人,其特征在于,包括:
前端显示模块,其对机器人的运行轨迹进行实时显示,并通过触摸面板可对机器人进行人工控制;
还包括后台模块,其包括距离检测模块,根据实时获取的图像以及距离感应信息对机器人所处位置及与障碍物之间的距离进行实时检测,并传输至处理器中;还包括线路建立模块,其根据家庭实际空间设立机器人的路线,并存储;还包括行走模块,其控制机器人行走;转向模块,其控制机器人转向;线路存储模块,其内存储有所述线路建立模块设定的机器人行走线路,机器人根据预设的行走路线行走及转向;还包括校准模块,其根据机器人实时行走情况,调整所述线路建立模块设定的路线;
所述线路建立模块内设置线路函数F(Di,t,A,Z,S),其中,D表示机器人实时出发位置,通过D1表示第一出发地的第一条线路,D2表示第二出发地的第二条线路,依次类推;t表示对应的线路的行走时间,A表示对应线路的从出发位置到终点位置的距离函数;Z表示线路的成功率,突发出现障碍物的概率,S表示该线路通信服务器组通信效率,其值小于1;
所述距离检测模块采用视觉传感器对当前位置以及障碍物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准图像进行比较,以做出分析;所述视觉传感器通过使机器人旋转360°获取周围图像信息,机器人在特定位置获取第一障碍物、第二障碍物、第三障碍物以及墙体的图像信息,通过将上述四组图像信息与预存的各个角度的障碍物信息进行比对计算,获取机器人实时位置信息;在确定机器人的初始位置信息后,线路建立模块获取初始位置与终点位置信息,并通过初始位置与终点位置之间的线路,确定线路函数F(Di,t,A,Z,S),选择最优的行走线路。
2.根据权利要求1所述的基于视觉的家庭机器人,其特征在于,所述机器人将家庭空间划分为第一空间、第二空间、第三空间,三个空间顺次连续,设定坐标原点,以其中某个空间的中心或者边角作为坐标原点,首先标定障碍物的位置及形状尺寸,在第一空间内标定第一障碍物的位置Q1,标定第一障碍物的边缘尺寸函数f1,则在确定的某位置作为不能通行的线路;根据各个障碍物确定的不能通行的路线,确定相应的可选择路线,设定连续的区域内的各个路线。
3.根据权利要求1所述的基于视觉的家庭机器人,其特征在于,对应线路从出发位置到终点位置的距离函数A在设定时,A(L,v,W,J),L表示直线行走的距离,v表示直线行走的速度,W表示转向的次数,J表示转向的角度,设定第一障碍物为圆形,实现一次转向完成线路设定;设定第二障碍物为矩形,其转向次数为1-2次,在其中一个角转向时,设定转向次数为1次,在其中两个角需要转向时,设定转向次数为2次;对于多边形边数为N,则转向次数最多为N/2次。
4.根据权利要求1所述的基于视觉的家庭机器人,其特征在于,所述处理器设定图像对比信息与机器人位置信息的对比函数G(Q,E),其中,Q对应机器人的位置信息,E对应机器人的图像灰度值E,通过将不同灰度值与相应的位置Q对应,实时获取的图像图谱灰度值信息为E,预设距离Q0对应的图像图谱灰度值信息为E0,将实际灰度值E与预设灰度值E0进行比较,获得实际距离Qi:
Qi=(Q x E/ E0) (1)
其中,设定对应的灰度值与距离值按照预设的正相关关系进行确定,基于算法得出对应的一组相对位置信息;按照上述进行计算,获取机器人相对于第一障碍物、第二障碍物、第三障碍物以及墙体的相对位置信息Q1、Q2、Q3、Q4,通过计算获取机器人的实时位置信息Q。
5.根据权利要求4所述的基于视觉的家庭机器人,其特征在于,所述处理器在获取实时位置信息时,获取每个相对位置信息的x轴方向参量QiX= Qix cosai, ai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的夹角,Qix sinai表示对应的每个相对位置Qi信息在坐标系中沿x轴方向的投影长度;分别为a1、a2、a3、a4,因此,机器人的实时水平位置为QX=( Q1x+ Q2x+ Q3x+ Q4x)/4。
6.根据权利要求4所述的基于视觉的家庭机器人,其特征在于,所述处理器在获取每个相对位置信息的y轴方向参量QiY= Qix sinai, ai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的夹角,Qix sinai表示对应的每个相对位置Qi信息在坐标系中沿y轴方向的投影长度;分别为a1、a2、a3、a4,机器人的实时水平位置为QY=( Q1y+ Q2y+ Q3y+ Q4y)/4,所述机器人的实时位置信息Q(QX,QY)。
7.根据权利要求4所述的基于视觉的家庭机器人,其特征在于,所述校准模块,在机器人行走路线上不存在障碍物时,则机器人按照预设路线完成行走过程;在机器人行走线路上存在障碍物时,机器人在预设的距离停止,并且,所述距离检测模块检测障碍物的形状,与所述线路存储模块内的障碍物数据库进行比对,确定相应的障碍物类型,并预判障碍物停留时间,若超过预设时间t0,则机器人重新按照上述过程生成新线路,通过处理器对各个线路进行比对后,按照最优的新线路重新行走,直至终点。
8.根据权利要求7所述的基于视觉的家庭机器人,其特征在于,所述视觉传感器对当前位置以及障碍物形状进行采集,其在捕获图像之后,视觉传感器将其与内存中存储的基准障碍物图像进行比较,以做出分析;所述线路存储模块内存储有障碍物类型、图像与停留预计时间矩阵I,I(a,Tu,tk),其中,表示障碍物标号类型,Tu表示障碍物图谱信息,tk表示预设留存时间;其中,设定行走障碍物停留时间小于固定障碍物停留时间。
9.根据权利要求7所述的基于视觉的家庭机器人,其特征在于,如障碍物为行走的小动物,则设定障碍物停留时间为t1<t0,则机器人能够判定按照原生成路线停留时间t0后继续行走;如障碍物为掉落的杂物,则设定障碍物停留时间为t2>t0,超过预设时间t0,则机器人重新按照上述过程生成新线路;如掉落的皮球或者其他物件。
10.根据权利要求1所述的基于视觉的家庭机器人,其特征在于,所述线路的成功率根据可能出现的移动障碍物的持续时间除以24h,得出失误率,1-失误率,得到成功率。
CN201911103265.3A 2019-11-12 2019-11-12 基于视觉的家庭机器人 Active CN110716554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911103265.3A CN110716554B (zh) 2019-11-12 2019-11-12 基于视觉的家庭机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911103265.3A CN110716554B (zh) 2019-11-12 2019-11-12 基于视觉的家庭机器人

Publications (2)

Publication Number Publication Date
CN110716554A CN110716554A (zh) 2020-01-21
CN110716554B true CN110716554B (zh) 2020-08-14

Family

ID=69215949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911103265.3A Active CN110716554B (zh) 2019-11-12 2019-11-12 基于视觉的家庭机器人

Country Status (1)

Country Link
CN (1) CN110716554B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111412920B (zh) * 2020-04-08 2022-02-25 广东博智林机器人有限公司 移动设备朝向转向路径的处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744428A (zh) * 2014-01-17 2014-04-23 哈尔滨工程大学 一种基于邻域智能水滴算法的水面无人艇路径规划方法
CN105974928A (zh) * 2016-07-29 2016-09-28 哈尔滨工大服务机器人有限公司 一种机器人导航路径规划方法
CN106647744A (zh) * 2016-11-14 2017-05-10 深圳大学 一种机器人路径规划方法及装置
CN106681331A (zh) * 2017-02-24 2017-05-17 王红军 一种基于测地线理论的栅格路径规划方法
CN108680155A (zh) * 2018-02-01 2018-10-19 苏州大学 基于部分感知马氏决策过程的机器人最优路径规划方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6084610A (ja) * 1983-10-17 1985-05-14 Hitachi Ltd 誘導装置
CN106990781A (zh) * 2017-03-31 2017-07-28 清华大学 基于激光雷达和图像信息的自动化码头agv定位方法
CN107202982B (zh) * 2017-05-22 2018-08-07 徐泽宇 一种基于无人机位姿计算的信标布置及图像处理方法
CN107168337A (zh) * 2017-07-04 2017-09-15 武汉视览科技有限公司 一种基于视觉识别的移动机器人路径规划与调度方法
CN109061658B (zh) * 2018-06-06 2022-06-21 天津大学 激光雷达数据融合方法
CN110361027A (zh) * 2019-06-25 2019-10-22 马鞍山天邦开物智能商务管理有限公司 基于单线激光雷达与双目相机数据融合的机器人路径规划方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744428A (zh) * 2014-01-17 2014-04-23 哈尔滨工程大学 一种基于邻域智能水滴算法的水面无人艇路径规划方法
CN105974928A (zh) * 2016-07-29 2016-09-28 哈尔滨工大服务机器人有限公司 一种机器人导航路径规划方法
CN106647744A (zh) * 2016-11-14 2017-05-10 深圳大学 一种机器人路径规划方法及装置
CN106681331A (zh) * 2017-02-24 2017-05-17 王红军 一种基于测地线理论的栅格路径规划方法
CN108680155A (zh) * 2018-02-01 2018-10-19 苏州大学 基于部分感知马氏决策过程的机器人最优路径规划方法

Also Published As

Publication number Publication date
CN110716554A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
US10612929B2 (en) Discovering and plotting the boundary of an enclosure
JP6842519B2 (ja) データ収集方法及びそのシステム
US11351670B2 (en) Domestic robotic system and method
CN109947119B (zh) 一种基于多传感器融合的移动机器人自主跟随方法
CN107992052B (zh) 目标跟踪方法及装置、移动设备及存储介质
CN110554696B (zh) 机器人系统、机器人及基于激光雷达的机器人导航方法
CN207164586U (zh) 一种扫地机器人导航系统
CN105629970A (zh) 一种基于超声波的机器人定位避障方法
US11561102B1 (en) Discovering and plotting the boundary of an enclosure
AU2019438843A1 (en) Recharging Control Method of Desktop Robot
Kim et al. Optimally overlapped ultrasonic sensor ring design for minimal positional uncertainty in obstacle detection
EP3919237A2 (en) Mobile robot and control method therefor
CN110716554B (zh) 基于视觉的家庭机器人
Kamarudin et al. Improving performance of 2D SLAM methods by complementing Kinect with laser scanner
Alves et al. Cost-effective indoor localization for autonomous robots using kinect and wifi sensors
CN110703771B (zh) 基于视觉的多设备之间的控制系统
CN111595328A (zh) 基于深度相机的真实障碍物地图构建和导航方法及系统
Guo et al. Using RFID in localization for indoor navigation of mobile robots
Podsedkowski et al. Online navigation of mobile robots using laser scanner
Yoon et al. Vision-based obstacle detection and avoidance: Application to robust indoor navigation of mobile robots
Edlinger et al. Terrain prediction with a low-cost LIDAR sensor for mobile robots
Ke et al. Economical UWB/IMU/VO Fusion for Mobile Robot Localization and Mapping in Poultry House
Nepali et al. A strategic methodology for 2D map building in an Indoor environment
Kim et al. Systematic optimal design of overlapped ultrasonic sensor ring for high performance obstacle detection
Park et al. Feature localization using neural networks for cleaning robots with ultrasonic sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220129

Address after: 410000 room D-113, East Building, engineering incubation building, Hunan University Science Park, 186 Guyuan Road, Changsha high tech Development Zone, Changsha, Hunan Province

Patentee after: Hunan Pudong Technology Co.,Ltd.

Address before: 526000 room 8, unit C, maker business center, Zhanqian Avenue, Guicheng, Dinghu District, Zhaoqing City, Guangdong Province

Patentee before: Huayuchang (Zhaoqing) Intelligent Technology Research Co.,Ltd.

Patentee before: Li Shi Feng (Zhaoqing) Automation Technology Co., Ltd

TR01 Transfer of patent right