CN108334070A - 基于全景摄像头的机器人行驶控制方法、装置及系统 - Google Patents
基于全景摄像头的机器人行驶控制方法、装置及系统 Download PDFInfo
- Publication number
- CN108334070A CN108334070A CN201711311492.6A CN201711311492A CN108334070A CN 108334070 A CN108334070 A CN 108334070A CN 201711311492 A CN201711311492 A CN 201711311492A CN 108334070 A CN108334070 A CN 108334070A
- Authority
- CN
- China
- Prior art keywords
- robot
- barrier
- driving path
- full
- view camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004888 barrier function Effects 0.000 claims abstract description 117
- 238000010586 diagram Methods 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009790 rate-determining step (RDS) Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 5
- 230000003068 static effect Effects 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开了基于全景摄像头的机器人行驶控制方法、装置及系统，采用全景摄像头实时监测和跟踪机器人的行驶路线，与机器人自身规划设计的行驶路径进行比对，监测机器人行驶是否出现非正常静止或偏离自身设计的行驶路径的情况，保证机器人的正常行驶；优选的，还可以实时地适应机器人周边障碍物或路况信息的变化，包括突然出现障碍物，路面出现深坑等，实现机器人动态避障。本发明解决了机器人自身携带的激光雷达、红外线或超声波传感器、摄像头等发生故障时，无法准确实时发现障碍物和行驶路况信息的问题；改善了温度、光照等对障碍物和路况信息检测的影响；可以及时的发现远距离障碍物和路况信息，机器人可提前调整避开障碍物或不好的路况。
Description
技术领域
本发明涉及机器人行驶控制的技术领域，尤其涉及基于全景摄像头的机器人行驶控制方法、装置及系统。
背景技术
目前保证机器人正常行驶的方法大多集中在机器人本身，通过采用激光雷达、红外线或超声波传感器、摄像头等方法，探测机器人在行驶过程中的障碍物信息或路况信息，做出反应从而实现机器人的正常行驶。
专利“一种基于激光雷达的变电站巡检机器人避障方法”(申请号：CN201510664724.0)提出通过安装在机器人上的红外传感器，探测机器人在行驶过程中的障碍物信息，做出反应，实现机器人的有效避障。
专利“一种变电站巡检机器人自动避障方法”(申请号：CN201610969779.7)，提出采用激光雷达扫描巡检机器人周边障碍物信息，再通过红外温度传感器判断障碍物类别信息，做出反应，实现机器人的有效避障。
专利“基于变电站巡检机器人的双目视觉导航系统及方法”(申请号：CN201310362028.5)，提出一种基于变电站巡检机器人的双目视觉导航系统及方法，对机器人进行路径具体规划，有效避开障碍物。
专利“基于3D实景地图和UWB定位技术的巡检机器人路径优化方法”(申请号：CN201710259688.9)，提出基于3D实景地图和UWB(超宽带技术)定位技术构成变电站主控室二维定位坐标系统，并同巡检机器人的障碍检测系统和变电站主控室二维定位坐标系进行比对，优化行进路径选择避障路线。
以上专利存在问题如下
第一，当机器人自身的激光雷达、传感器、摄像头等发生故障时，机器人在行驶过程中无法对障碍物或者路况信息做出反应，保证正常行驶。
第二，目前机器人采用的激光雷达、传感器、摄像头等避障方法，易受环境温度、光照、光线的影响，造成检测障碍物准确率不高，无法保证机器人的正常行驶。
第三，双目视觉导航存在侦测距离比较近的问题，对于远距离的障碍物不能及时发现，并且在夜间或者光线较弱的情况下也会受到影响，不能检测到机器人前方的障碍物或者路况，保证机器人的正常行驶。
发明内容
为了克服现有技术的不足，本发明的目的在于提供基于全景摄像头的机器人行驶控制方法、装置及系统，旨在解决现有技术的机器人避障方式过度依赖自身探测设备、容易受到环境影响或适用性较差导致机器人可能出现无法正常行驶的问题。
本发明的目的采用以下技术方案实现：
一种基于全景摄像头的机器人行驶控制方法，包括：
采集步骤，通过全景摄像头采集视频数据；
机器人检测步骤，检测视频数据中是否有机器人；
路径获取步骤，如果有机器人，则锁定并跟踪机器人，获取机器人的行驶路径图；
3D路径获取步骤，根据机器人的行驶路径图，获取机器人行驶路径的3D图；
示意图获取步骤，根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
示意图比对步骤，将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
控制步骤，如果相似度小于预定阈值，则向机器人发送警报，通知机器人重新回到正常行驶路径。
在上述实施例的基础上，优选的，还包括：
障碍物检测步骤，检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物；
新增障碍物判断步骤，如果有障碍物，则判断障碍物是否是新增障碍物；
避障步骤，如果判断结果是新增障碍物，则向机器人发送警报，通知机器人避开新增障碍物。
在上述实施例的基础上，优选的，所述新增障碍物判断步骤，具体为：
如果有障碍物，则根据障碍物的位置，标记障碍物到机器人的行驶路径图中；
根据机器人的行驶路径图，获取机器人行驶路径的3D图；
根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
如果相似度小于预定阈值，则判断结果为新增障碍物；
如果相似度不小于预定阈值，则判断结果为原有障碍物。
或者，优选的：
所述机器人检测步骤中，通过SSD神经网络技术检测视频数据中是否有机器人；
所述障碍物检测步骤中，通过SSD神经网络技术检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物。
在上述任意实施例的基础上，优选的：
所述路径获取步骤中，锁定机器人后，基于滤波技术跟踪机器人，获取机器人的行驶路径图。
在上述任意实施例的基础上，优选的，所述预定阈值为90％。
一种基于全景摄像头的机器人行驶控制装置，包括：
采集模块，用于通过全景摄像头采集视频数据；
机器人检测模块，用于检测视频数据中是否有机器人；
路径获取模块，用于如果有机器人，则锁定并跟踪机器人，获取机器人的行驶路径图；
3D路径获取模块，用于根据机器人的行驶路径图，获取机器人行驶路径的3D图；
示意图获取模块，用于根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
示意图比对模块，用于将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
控制模块，用于如果相似度小于预定阈值，则向机器人发送警报，通知机器人重新回到正常行驶路径。
在上述实施例的基础上，优选的，还包括：
障碍物检测模块，用于检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物；
新增障碍物判断模块，用于如果有障碍物，则判断障碍物是否是新增障碍物；
避障模块，用于如果判断结果是新增障碍物，则向机器人发送警报，通知机器人避开新增障碍物。
在上述实施例的基础上，优选的，所述新增障碍物判断模块用于：
如果有障碍物，则根据障碍物的位置，标记障碍物到机器人的行驶路径图中；
根据机器人的行驶路径图，获取机器人行驶路径的3D图；
根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
如果相似度小于预定阈值，则判断结果为新增障碍物；
如果相似度不小于预定阈值，则判断结果为原有障碍物。
一种基于全景摄像头的机器人行驶控制装置，包括：
上述任一项实施例中的基于全景摄像头的机器人行驶控制装置；
全景摄像头，用于采集视频数据。
相比现有技术，本发明的有益效果在于：
本发明公开了基于全景摄像头的机器人行驶控制方法、装置及系统，采用全景摄像头实时监测和跟踪机器人的行驶路线，与机器人自身规划设计的行驶路径进行比对，监测机器人行驶是否出现非正常静止或偏离自身设计的行驶路径的情况，保证机器人的正常行驶；优选的，还可以实时地适应机器人周边障碍物或路况信息的变化，包括突然出现障碍物，路面出现深坑等，实现机器人动态避障。本发明解决了机器人自身携带的激光雷达、红外线或超声波传感器、摄像头等发生故障时，无法准确实时发现障碍物和行驶路况信息的问题，在机器人出现感应故障时仍能检测障碍物以及路况信息，正常行驶，提高了机器人的工作效率和鲁棒性；第三方全景摄像头改善了温度、光照等对障碍物和路况信息检测的影响，提高了检测障碍物和路况信息的准确率，保证了机器人正常行驶；第三方全景摄像头可以及时的发现远距离障碍物和路况信息，机器人可提前调整避开障碍物或不好的路况(深坑等)，提高机器人的工作效率；本发明可以保证机器人一旦发生偏离轨道情况，就实时被通知到，及时调整行驶路线，保证机器人的正常行驶。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1a示出了本发明实施例提供的一种基于全景摄像头的机器人行驶控制方法的流程示意图；
图1b示出了本发明实施例提供的一种新增障碍物判断方法的流程示意图；
图2示出了本发明实施例提供的一种基于全景摄像头的机器人行驶控制装置的结构示意图；
图3示出了本发明实施例提供的一种基于全景摄像头的机器人行驶控制系统的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
具体实施例一
如图1a所示，本发明实施例提供了一种基于全景摄像头的机器人行驶控制方法，包括：
采集步骤，通过全景摄像头采集视频数据；
机器人检测步骤，检测视频数据中是否有机器人；
路径获取步骤，如果有机器人，则锁定并跟踪机器人，获取机器人的行驶路径图；
3D路径获取步骤，根据机器人的行驶路径图，获取机器人行驶路径的3D图；
示意图获取步骤，根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
示意图比对步骤，将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
控制步骤，如果相似度小于预定阈值，则向机器人发送警报，通知机器人重新回到正常行驶路径。
本发明实施例采用全景摄像头实时监测和跟踪机器人的行驶路线，与机器人自身规划设计的行驶路径进行比对，监测机器人行驶是否出现非正常静止或偏离自身设计的行驶路径的情况，保证机器人的正常行驶。
优选的，如图1b所示，本发明实施例还可以包括：
障碍物检测步骤，检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物；
新增障碍物判断步骤，如果有障碍物，则判断障碍物是否是新增障碍物；
避障步骤，如果判断结果是新增障碍物，则向机器人发送警报，通知机器人避开新增障碍物。
这样做的好处是，可以实时地适应机器人周边障碍物或路况信息的变化，包括突然出现障碍物，路面出现深坑等，实现机器人动态避障。
优选的，所述新增障碍物判断步骤，可以具体为：
如果有障碍物，则根据障碍物的位置，标记障碍物到机器人的行驶路径图中；
根据机器人的行驶路径图，获取机器人行驶路径的3D图；
根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
如果相似度小于预定阈值，则判断结果为新增障碍物；
如果相似度不小于预定阈值，则判断结果为原有障碍物。
本发明实施例解决了机器人自身携带的激光雷达、红外线或超声波传感器、摄像头等发生故障时，无法准确实时发现障碍物和行驶路况信息的问题，在机器人出现感应故障时仍能检测障碍物以及路况信息，正常行驶，提高了机器人的工作效率和鲁棒性；第三方全景摄像头改善了温度、光照等对障碍物和路况信息检测的影响，提高了检测障碍物和路况信息的准确率，保证了机器人正常行驶；第三方全景摄像头可以及时的发现远距离障碍物和路况信息，机器人可提前调整避开障碍物或不好的路况(深坑等)，提高机器人的工作效率；本发明可以保证机器人一旦发生偏离轨道情况，就实时被通知到，及时调整行驶路线，保证机器人的正常行驶。
本发明实施例对机器人检测和障碍物检测的方法不做限定，优选的：所述机器人检测步骤中，可以通过SSD神经网络技术检测视频数据中是否有机器人；所述障碍物检测步骤中，可以通过SSD神经网络技术检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物。
本发明实施例对路径获取的方法不做限定，优选的：所述路径获取步骤中，锁定机器人后，可以基于滤波技术跟踪机器人，获取机器人的行驶路径图。
本发明实施例对预定阈值不做限定，其可以为0～1之间的常数。优选的，所述预定阈值可以为90％。
本发明实施例的一种工作场景可以是：
采用第三方全景摄像头记录机器人的行驶情况，同时采用全景摄像头的智能分析服务器对机器人视频进行实时智能分析；
基于SSD神经网络技术来检测发现机器人，为实现跟踪机器人、获得机器人实时行驶路径提供前提；
基于相关滤波技术实现机器人的跟踪，获得机器人实时行驶的路径；
基于3D建模的方法，根据全景摄像头智能分析服务器获得的实时行驶路径图，构建3D的机器人行驶路径图；
根据全景摄像头获得的3D机器人行驶路径图，构建与机器人自身设计的行驶路径同维度的机器人行驶路径示意图，并与机器人自身设计的行驶路径示意图做比对，在相似度小于阀值时发出警报，通知机器人重新回到正常行驶路径；
基于SSD神经网络技术来实时检测发现机器人行驶路径的障碍物信息和路况信息，包括障碍物离机器人的距离角度；通过比对实时行驶路径示意图和机器人自身设计路径示意图，判断障碍物是否是新增障碍物，如果是新增障碍物，发出警报，通知机器人避开障碍物。
在上述的具体实施例一中，提供了基于全景摄像头的机器人行驶控制方法，与之相对应的，本申请还提供基于全景摄像头的机器人行驶控制装置。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
具体实施例二
如图2所示，本发明实施例提供了一种基于全景摄像头的机器人行驶控制装置，包括：
采集模块201，用于通过全景摄像头采集视频数据；
机器人检测模块202，用于检测视频数据中是否有机器人；
路径获取模块203，用于如果有机器人，则锁定并跟踪机器人，获取机器人的行驶路径图；
3D路径获取模块204，用于根据机器人的行驶路径图，获取机器人行驶路径的3D图；
示意图获取模块205，用于根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
示意图比对模块206，用于将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
控制模块207，用于如果相似度小于预定阈值，则向机器人发送警报，通知机器人重新回到正常行驶路径。
优选的，本发明实施例还可以包括：
障碍物检测模块208，用于检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物；
新增障碍物判断模块209，用于如果有障碍物，则判断障碍物是否是新增障碍物；
避障模块210，用于如果判断结果是新增障碍物，则向机器人发送警报，通知机器人避开新增障碍物。
优选的，所述新增障碍物判断模块209可以用于：
如果有障碍物，则根据障碍物的位置，标记障碍物到机器人的行驶路径图中；
根据机器人的行驶路径图，获取机器人行驶路径的3D图；
根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
如果相似度小于预定阈值，则判断结果为新增障碍物；
如果相似度不小于预定阈值，则判断结果为原有障碍物。
本发明实施例采用全景摄像头实时监测和跟踪机器人的行驶路线，与机器人自身规划设计的行驶路径进行比对，监测机器人行驶是否出现非正常静止或偏离自身设计的行驶路径的情况，保证机器人的正常行驶；优选的，还可以实时地适应机器人周边障碍物或路况信息的变化，包括突然出现障碍物，路面出现深坑等，实现机器人动态避障。本发明实施例解决了机器人自身携带的激光雷达、红外线或超声波传感器、摄像头等发生故障时，无法准确实时发现障碍物和行驶路况信息的问题，在机器人出现感应故障时仍能检测障碍物以及路况信息，正常行驶，提高了机器人的工作效率和鲁棒性；第三方全景摄像头改善了温度、光照等对障碍物和路况信息检测的影响，提高了检测障碍物和路况信息的准确率，保证了机器人正常行驶；第三方全景摄像头可以及时的发现远距离障碍物和路况信息，机器人可提前调整避开障碍物或不好的路况(深坑等)，提高机器人的工作效率；本发明可以保证机器人一旦发生偏离轨道情况，就实时被通知到，及时调整行驶路线，保证机器人的正常行驶。
具体实施例三
如图3所示，本发明实施例提供了一种基于全景摄像头的机器人行驶控制装置，包括：
具体实施例二中的基于全景摄像头的机器人行驶控制装置301；
全景摄像头302，用于采集视频数据。
本发明实施例对所述控制装置301不做限定，优选的，其可以为计算机或服务器，如智能分析服务器。
本发明实施例采用全景摄像头实时监测和跟踪机器人的行驶路线，与机器人自身规划设计的行驶路径进行比对，监测机器人行驶是否出现非正常静止或偏离自身设计的行驶路径的情况，保证机器人的正常行驶；优选的，还可以实时地适应机器人周边障碍物或路况信息的变化，包括突然出现障碍物，路面出现深坑等，实现机器人动态避障。本发明实施例解决了机器人自身携带的激光雷达、红外线或超声波传感器、摄像头等发生故障时，无法准确实时发现障碍物和行驶路况信息的问题，在机器人出现感应故障时仍能检测障碍物以及路况信息，正常行驶，提高了机器人的工作效率和鲁棒性；第三方全景摄像头改善了温度、光照等对障碍物和路况信息检测的影响，提高了检测障碍物和路况信息的准确率，保证了机器人正常行驶；第三方全景摄像头可以及时的发现远距离障碍物和路况信息，机器人可提前调整避开障碍物或不好的路况(深坑等)，提高机器人的工作效率；本发明可以保证机器人一旦发生偏离轨道情况，就实时被通知到，及时调整行驶路线，保证机器人的正常行驶。
本发明从使用目的上，效能上，进步及新颖性等观点进行阐述，其具有的实用进步性，己符合专利法所强调的功能增进及使用要件，本发明以上的说明及附图，仅为本发明的较佳实施例而己，并非以此局限本发明，因此，凡一切与本发明构造，装置，待征等近似、雷同的，即凡依本发明专利申请范围所作的等同替换或修饰等，皆应属本发明的专利申请保护的范围之内。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (10)
1.一种基于全景摄像头的机器人行驶控制方法，其特征在于，包括：
采集步骤，通过全景摄像头采集视频数据；
机器人检测步骤，检测视频数据中是否有机器人；
路径获取步骤，如果有机器人，则锁定并跟踪机器人，获取机器人的行驶路径图；
3D路径获取步骤，根据机器人的行驶路径图，获取机器人行驶路径的3D图；
示意图获取步骤，根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
示意图比对步骤，将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
控制步骤，如果相似度小于预定阈值，则向机器人发送警报，通知机器人重新回到正常行驶路径。
2.根据权利要求1所述的基于全景摄像头的机器人行驶控制方法，其特征在于，还包括：
障碍物检测步骤，检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物；
新增障碍物判断步骤，如果有障碍物，则判断障碍物是否是新增障碍物；
避障步骤，如果判断结果是新增障碍物，则向机器人发送警报，通知机器人避开新增障碍物。
3.根据权利要求2所述的基于全景摄像头的机器人行驶控制方法，其特征在于，所述新增障碍物判断步骤，具体为：
如果有障碍物，则根据障碍物的位置，标记障碍物到机器人的行驶路径图中；
根据机器人的行驶路径图，获取机器人行驶路径的3D图；
根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
如果相似度小于预定阈值，则判断结果为新增障碍物；
如果相似度不小于预定阈值，则判断结果为原有障碍物。
4.根据权利要求2所述的基于全景摄像头的机器人行驶控制方法，其特征在于：
所述机器人检测步骤中，通过SSD神经网络技术检测视频数据中是否有机器人；
所述障碍物检测步骤中，通过SSD神经网络技术检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物。
5.根据权利要求1或2所述的基于全景摄像头的机器人行驶控制方法，其特征在于：
所述路径获取步骤中，锁定机器人后，基于滤波技术跟踪机器人，获取机器人的行驶路径图。
6.根据权利要求1或2所述的基于全景摄像头的机器人行驶控制方法，其特征在于，所述预定阈值为90％。
7.一种基于全景摄像头的机器人行驶控制装置，其特征在于，包括：
采集模块，用于通过全景摄像头采集视频数据；
机器人检测模块，用于检测视频数据中是否有机器人；
路径获取模块，用于如果有机器人，则锁定并跟踪机器人，获取机器人的行驶路径图；
3D路径获取模块，用于根据机器人的行驶路径图，获取机器人行驶路径的3D图；
示意图获取模块，用于根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
示意图比对模块，用于将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
控制模块，用于如果相似度小于预定阈值，则向机器人发送警报，通知机器人重新回到正常行驶路径。
8.根据权利要求7所述的基于全景摄像头的机器人行驶控制装置，其特征在于，还包括：
障碍物检测模块，用于检测视频数据中的障碍物信息和路面信息，判断视频数据中是否有障碍物；
新增障碍物判断模块，用于如果有障碍物，则判断障碍物是否是新增障碍物；
避障模块，用于如果判断结果是新增障碍物，则向机器人发送警报，通知机器人避开新增障碍物。
9.根据权利要求8所述的基于全景摄像头的机器人行驶控制装置，其特征在于，所述新增障碍物判断模块用于：
如果有障碍物，则根据障碍物的位置，标记障碍物到机器人的行驶路径图中；
根据机器人的行驶路径图，获取机器人行驶路径的3D图；
根据机器人行驶路径的3D图，获取机器人行驶路径的示意图；
将机器人行驶路径的示意图与机器人自身设计的行驶路径示意图进行比对，判断二者的相似度是否小于预定阈值；
如果相似度小于预定阈值，则判断结果为新增障碍物；
如果相似度不小于预定阈值，则判断结果为原有障碍物。
10.一种基于全景摄像头的机器人行驶控制装置，其特征在于，包括：
权利要求7-9任一项所述的基于全景摄像头的机器人行驶控制装置；
全景摄像头，用于采集视频数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711311492.6A CN108334070B (zh) | 2017-12-11 | 2017-12-11 | 基于全景摄像头的机器人行驶控制方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711311492.6A CN108334070B (zh) | 2017-12-11 | 2017-12-11 | 基于全景摄像头的机器人行驶控制方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108334070A true CN108334070A (zh) | 2018-07-27 |
| CN108334070B CN108334070B (zh) | 2021-02-23 |
Family
ID=62922604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711311492.6A Active CN108334070B (zh) | 2017-12-11 | 2017-12-11 | 基于全景摄像头的机器人行驶控制方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108334070B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460030A (zh) * | 2018-11-29 | 2019-03-12 | 广东电网有限责任公司 | 一种机器人避障系统 |
| CN114115241A (zh) * | 2021-11-04 | 2022-03-01 | 云鲸智能(深圳)有限公司 | 障碍物检测方法、基于障碍物的导航方法、装置和机器人 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203932833U (zh) * | 2014-06-27 | 2014-11-05 | 芜湖海格斯智能科技有限公司 | 一种架空高压输电线路机器人巡检系统 |
| DE202014007052U1 (de) * | 2014-09-03 | 2014-11-12 | Peter Heiligensetzer | Kollisionsschutzeinrichtung für Werkzeuge und Werkstücke am Endeffektor eines Industrieroboters |
| CN106101621A (zh) * | 2016-06-23 | 2016-11-09 | 深圳先进技术研究院 | 一种基于导航机器人的室内街景绘制系统及方法 |
| CN106323284A (zh) * | 2015-06-30 | 2017-01-11 | 上海慧流云计算科技有限公司 | 一种基于路径集与坐标系的室内定位系统及方法 |
| CN205983220U (zh) * | 2016-09-09 | 2017-02-22 | 智能侠（北京）科技有限公司 | 基于空间视觉传感器的移动装备的定位与导航装置 |
| CN106647742A (zh) * | 2016-10-31 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 移动路径规划方法及装置 |
| CN106737547A (zh) * | 2016-12-09 | 2017-05-31 | 南京理工大学 | 一种带电作业机器人 |
| CN206224246U (zh) * | 2016-10-19 | 2017-06-06 | 九阳股份有限公司 | 一种实现目标定位与跟踪的机器人 |
| CN107336251A (zh) * | 2016-09-20 | 2017-11-10 | 苏州小璐机器人有限公司 | 一种机器人队列的控制方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202494922U (zh) * | 2012-03-08 | 2012-10-17 | 陶重犇 | 一种安卓操作系统控制的移动机器人平台 |
| WO2014165476A1 (en) * | 2013-04-01 | 2014-10-09 | Gollakota Shyamnath | Devices, systems, and methods for detecting gestures using wireless communication signals |
| CN103646249B (zh) * | 2013-12-12 | 2017-11-17 | 江苏大学 | 一种温室智能移动机器人视觉导航路径识别方法 |
| CN103901889A (zh) * | 2014-03-27 | 2014-07-02 | 浙江大学 | 一种基于蓝牙通信的多机器人编队控制路径跟踪方法 |
| CN107390686A (zh) * | 2017-07-17 | 2017-11-24 | 深圳拓邦股份有限公司 | 一种割草机器人控制方法及自动控制割草系统 |
-
2017
- 2017-12-11 CN CN201711311492.6A patent/CN108334070B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203932833U (zh) * | 2014-06-27 | 2014-11-05 | 芜湖海格斯智能科技有限公司 | 一种架空高压输电线路机器人巡检系统 |
| DE202014007052U1 (de) * | 2014-09-03 | 2014-11-12 | Peter Heiligensetzer | Kollisionsschutzeinrichtung für Werkzeuge und Werkstücke am Endeffektor eines Industrieroboters |
| CN106323284A (zh) * | 2015-06-30 | 2017-01-11 | 上海慧流云计算科技有限公司 | 一种基于路径集与坐标系的室内定位系统及方法 |
| CN106101621A (zh) * | 2016-06-23 | 2016-11-09 | 深圳先进技术研究院 | 一种基于导航机器人的室内街景绘制系统及方法 |
| CN205983220U (zh) * | 2016-09-09 | 2017-02-22 | 智能侠（北京）科技有限公司 | 基于空间视觉传感器的移动装备的定位与导航装置 |
| CN107336251A (zh) * | 2016-09-20 | 2017-11-10 | 苏州小璐机器人有限公司 | 一种机器人队列的控制方法及系统 |
| CN206224246U (zh) * | 2016-10-19 | 2017-06-06 | 九阳股份有限公司 | 一种实现目标定位与跟踪的机器人 |
| CN106647742A (zh) * | 2016-10-31 | 2017-05-10 | 纳恩博（北京）科技有限公司 | 移动路径规划方法及装置 |
| CN106737547A (zh) * | 2016-12-09 | 2017-05-31 | 南京理工大学 | 一种带电作业机器人 |
Non-Patent Citations (2)
| Title |
|---|
| F. LAUNAY 等: "A corridors lights based navigation system including path definition using a topologically corrected map for indoor mobile robots", 《PROCEEDINGS 2002 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
| 尹宗博等: "基于CCD摄像头的仓储机器人控制策略", 《北京信息科技大学学报(自然科学版)》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460030A (zh) * | 2018-11-29 | 2019-03-12 | 广东电网有限责任公司 | 一种机器人避障系统 |
| CN114115241A (zh) * | 2021-11-04 | 2022-03-01 | 云鲸智能(深圳)有限公司 | 障碍物检测方法、基于障碍物的导航方法、装置和机器人 |
| CN114115241B (zh) * | 2021-11-04 | 2023-08-08 | 云鲸智能(深圳)有限公司 | 障碍物检测方法、基于障碍物的导航方法、装置和机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108334070B (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102622895B (zh) | 一种基于视频的车辆速度检测方法 | |
| CN101303735B (zh) | 探测车辆盲点区域内运动物体的方法及盲点探测装置 | |
| CN105657266B (zh) | 一种隧道移动视频对入侵人员的检测及跟踪方法 | |
| CN110412986A (zh) | 一种车辆障碍物检测方法及系统 | |
| CN103699713A (zh) | 一种编队飞机冲突检测方法及其应用 | |
| CN105744232A (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
| KR20140011245A (ko) | 고유 식별자를 이용한 해상교통관제시스템의 추적정보 관리 방법 및 이를 위한 장치 | |
| CN202815538U (zh) | 一种云台控制的机场监控系统 | |
| CN106463043A (zh) | 利用动作感应的侵入侦测技术 | |
| CN108334070A (zh) | 基于全景摄像头的机器人行驶控制方法、装置及系统 | |
| CN103150908A (zh) | 一种基于视频的平均车速检测方法 | |
| CN111222441B (zh) | 基于车路协同的点云目标检测和盲区目标检测方法及系统 | |
| CN107293125A (zh) | 一种基于无人机的逃逸车辆识别跟踪系统 | |
| CN103592901A (zh) | 一种云台控制的机场监控系统 | |
| CN113643534A (zh) | 交通管控的方法及设备 | |
| CN112016492A (zh) | 基于视觉的教学注意力监测系统及方法 | |
| CN112257683A (zh) | 一种面向车辆运行轨迹监测的跨镜追踪方法 | |
| CN110457803A (zh) | 一种无人驾驶协同探测方法 | |
| CN109410598B (zh) | 一种基于计算机视觉的交通路口拥堵检测方法 | |
| CN109612568B (zh) | 一种振源移动干扰源识别方法 | |
| Kilicarslan et al. | Direct vehicle collision detection from motion in driving video | |
| CN111063148A (zh) | 一种远距离夜视目标视频检测方法 | |
| CN104408942A (zh) | 车辆智能测速装置与方法 | |
| CN103496370B (zh) | 一种车道偏离预警方法 | |
| CN103595955A (zh) | 基于gis的云台控制机场监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221011 Address after: Room 802, Building 18, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310000 Patentee after: Zhejiang Lishi industrial Interconnection Technology Co.,Ltd. Address before: 310000 rooms 502 and 602, unit 1, building 7, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Patentee before: ZHEJIANG JIESHANG ARTIFICIAL INTELLIGENCE RESEARCH AND DEVELOPMENT Co.,Ltd. |