CN114800615A - 基于多源感知的机器人实时调度系统及方法 - Google Patents

基于多源感知的机器人实时调度系统及方法 Download PDF

Info

Publication number
CN114800615A
CN114800615A CN202210463307.XA CN202210463307A CN114800615A CN 114800615 A CN114800615 A CN 114800615A CN 202210463307 A CN202210463307 A CN 202210463307A CN 114800615 A CN114800615 A CN 114800615A
Authority
CN
China
Prior art keywords
robot
module
image
unit
wifi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210463307.XA
Other languages
English (en)
Inventor
俞春华
江新炼
胥锐
赵垒
陈翔
李元刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huamai Robot Technology Co ltd
Original Assignee
Nanjing Huamai Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huamai Robot Technology Co ltd filed Critical Nanjing Huamai Robot Technology Co ltd
Priority to CN202210463307.XA priority Critical patent/CN114800615A/zh
Publication of CN114800615A publication Critical patent/CN114800615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators

Abstract

本发明公开了基于多源感知的机器人实时调度系统及方法,所述系统包括固定式信息监测设备、机器人;所述固定式信息监测设备和所述机器人之间通信连接;所述方法包括使用图像处理方法在危险状况或机器人需要回充情况下对机器人实时调度,或者使用WIFI信号处理方法在危险状况或机器人需要回充情况下对机器人实时调度,所述危险状况包括人员跌倒、有人入侵或者发生火灾。本发明通过固定式信息监测装置实时识别机器人和紧急状况发生的位置,并且对机器人进行定位和实时调度,使得机器人能及时赶到危急状的位置采取必要措施,满足实时处理紧急状况的需求。通过“固定式”+“移动式”的目标监测,可以实现无死角的现场监测。

Description

基于多源感知的机器人实时调度系统及方法
技术领域
本发明涉及信息技术领域,具体的为基于多源感知的机器人实时调度系统及方法。
背景技术
现有的一些设备中,固定式信息监测设备虽然可以采集现场数据的,但是需要将数据送到后台,无法实时分析和第一时间通知机器人,而机器人在移动中,由于视觉等角度的限制,无法第一时间掌握全局的状态变化。因此存在统一调度功能差,处理时延较大,处理危机状况效率较低,而且定位时间较长,最后影响紧急状况的判断和处理。
发明内容
发明目的:针对上述现有技术,提出基于多源感知的机器人实时调度系统及方法。
技术方案:基于多源感知的机器人实时调度系统,所述系统包括固定式信息监测设备、机器人;所述固定式信息监测设备和所述机器人之间通信连接;
所述固定式信息监测设备包括信息采集与发射模块、信号处理模块、第一通信模块和第一电源模块,所述信息采集与发射模块连接于所述数字信号处理模块,所述数字信号处理模块连接于所述第一通信模块,所述第一通信模块通信连接于所述机器人,所述第一电源模块连接于所述信息采集与发射模块、数字信号处理模块和第一通信模块,用于供电;
所述移动机器人包括接口模块、主控模块、第二通信模块、第二电源模块以及底盘,所述接口模块连接于所述主控模块,所述主控模块连接于所述第二通信模块,所述第二通信模块通信连接于所述第一通信模块,所述主控模块还连接于电机,所述电机设于底盘内,所述底盘设于所述机器人下方,所述电机的驱动端设有电动轮,所述第二电源模块用于对所述接口模块、主控模块、第二通信模块以及所述电机进行供电;
所述第一通信模块或所述第二通信模块采用Wifi、4G、5G通信方式;
所述信息采集与发射模块为第一图像采集模块或者第一Wifi处理模块。
基于多源感知的机器人实时调度方法,包括使用图像处理方法在危险状况或机器人需要回充情况下对机器人实时调度,或者使用WIFI信号处理方法在危险状况下对机器人实时调度,所述危险状况包括人员跌倒、有人入侵或者发生火灾。
有益效果:本发明主要针对特定目标和特定场景,采用固定式信息监测设备(可以根据需要选配图像和Wifi检测等),先实时发现异常状态,在发现现场有人员入侵、跌倒紧急情况等状态时,可以实时分析出来,同时定位位置,并将危险信息通知给移动机器人,移动机器人实时进行反应,并且结合移动机器人的信息采集设备等装置现场检测目标。本发明通过固定式信息监测装置实时识别机器人和紧急状况发生的位置,并且对机器人进行定位和实时调度,使得机器人能及时赶到危急状的位置采取必要措施,满足实时处理紧急状况的需求。通过“固定式”+“移动式”的目标监测,可以实现无死角的现场监测。
附图说明
图1为本发明的系统组成图;
图2为本发明的固定式信息监测设备组成图;
图3为本发明的图像采集模块处理示意图;
图4为本发明的信号处理模块处理示意图;
图5为本发明的图像处理示意图;
图6为本发明的Wifi处理模块组成示意图;
图7为本发明的Wifi处理示意图;
图8为本发明的通信模块组成示意图;
图9为本发明的移动机器人主要模块接口示意图;
图10为本发明的接口模块接口示意图;
图11为本发明的主控模块接口示意图;
图12为本发明的主控模块获取传感信息示意图;
图13为本发明的双目摄像处理示意图;
图14为本发明的单目摄像处理示意图;
图15为本发明的主控模块处理示意图;
图16为本发明的通信模块组成和接口示意图;
图17为本发明的电源模块组成和接口示意图;
图18为本发明的针对视频监控危险状况的定位和机器人调度示意图1;
图19为本发明的基于人体的识别处理示意图;
图20为本发明的跌倒视频识别处理示意图;
图21为本发明的边界入侵识别处理示意图;
图22为本发明的针对烟雾等危险状况视频识别处理示意图;
图23为本发明的针对危险状况的定位和机器人调度示意图2;
图24为本发明的针对自动回充的定位和机器人调度示意图1;
图25为本发明的针对自动回充的定位和机器人调度示意图2;
图26为本发明的针对WIFI信号监控危险状况的定位和机器人调度示意图1;
图27为本发明的针对WIFI信号监测危险发生地点定位示意图;
图28为本发明的固定式信息监测设备视觉识别危险状况处理流程图;
图29为本发明的固定式信息监测设备WIFI识别危险状况处理流程图;
图30为本发明的固定式信息监测设备图像定位处理流程图;
图31为本发明的固定式信息监测设备WIFI定位处理流程图;
图32为本发明的固定式信息设备通过图像处理调度机器人处理流程图;
图33为本发明的固定式信息设备WIFI信号处理后调度机器人处理流程图;
图34为本发明的移动机器人接收固定式信息监测设备数据后的底盘控制处理流程图;
图35为本发明的移动机器人通过单目摄像头识别后的底盘控制流程图;
图36为本发明的移动机器人通过双目摄像头识别后的底盘控制流程图;
图37为本发明的移动机器人自动回充流程图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
基于多源感知的机器人实时调度系统:
如图1所示,系统主要由固定式信息监测设备(可以根据需要选配图像和Wifi检测等)和移动机器人等组成。固定式信息监测设备一般架设在高处,实时监测室内的环境状态,而移动机器人则采用移动式信息采集等设备,固定设备和移动设备之间可以采用WIFI/5G等方式通信,进行数据交互和调度控制。
当固定式信息检测设备检测到人员入侵、跌倒紧急情况等状态时,进行定位然后通过无线通信方式通知移动机器人,移动机器人根据位置信息,移动至危险事发地址,并进行现场处置。
如图2所示,固定式信息监测设备由信息采集与发射模块、数字信号处理模块、通信模块和电源模块等组成。其中信息采集与发射模块可以分别选配图像检测和Wifi处理等模块,实现图像、Wifi等信号的检测,并将检测信号送给信号处理模块,信号处理模块采用高性能的数字处理芯片,该芯片采用深度学习框架对图像进行目标检测、姿态识别和目标定位等处理。同时信号处理模块将识别结果等通过通信模块送给移动机器人。
如图3所示,当信息采集与发射模块模块选配图像采集模块时,支持接入CMOS/YUV/TOF/BT1120等光学信号,同步支持多种信号输出方式,如RMII/WiFi等网络传输,TFT/MIPI-DSI等显示输出系统以及I/O扩展口输出等。
如图4所示,信号处理模块可以采用CPU/FPGA/DSP等,对输入的视频和图像进行目标检测、姿态识别和目标定位等处理,接着根据检测结果,进行移动机器人的控制和调度。
如图5所示,可以采用基于YOLO的人员检测方式,同时对现场的危急情况进行判断,也可以检测烟雾火灾等特殊状况,并且确定目标的位置,再通过无线方式对机器人进行调度处理。
如图6所示,当信息采集与发射模块选配Wifi处理模块时,Wifi处理模块由控制模块、Wifi信号发射模块、Wifi信号接收模块等组成。
如图7所示,为Wifi检测的原理。
如图8所示,通信模块可以采用Wifi、4G、5G等通信手段,将调度处理命令发送给移动机器人,电源模块主要是给信息采集与发射模块、信号处理模块和无线通信模块等提供直流电压。
如图9所示,移动机器人在主控模块中采用图像检测、红外、WIFI等多种手段进行人物和环境检测等处理,在识别人体和物体的同时,识别现场的紧急状态。接口模块可以接入图像检测和WIFI检测模块,其中图像检测(选配)对图像信息进行采集和处理,WIFI检测模块(选配)用于机器人接收WIFI的CSI信号,实时监测并识别人员跌倒等危险状态。通信模块采用WIFI、4G/5G等无线通信方式,与固定式信息监测设备进行通信。移动机器人通过主控模块对机器人底盘等进行控制,同时通过一体化的电源控制和管理,可以提高充电效率和待机时间。
如图10所示,接口模块通过USB、SDIO、SPI等多种接口接收图像模块的数据;也可以接收WIFI信号,用于检测CSI和用户状态,并将这些信号送给主控模块。
如图11和12所示,主控模块采用一体化集中控制方式,对多个模块进行集中控制和管理,实现统一调度处理,通过采用CPU或FPGA等进行控制。主控模块同时进行视频处理或WIFI检测,对地面的图像或WIFI信号进行实时监测,并且进行姿态识别、定位、危急状态识别等处理,并且综合固定式信息监控设备和移动机器人识别的结果,判断出危险状况发生的位置,同时控制机器人行驶到危险状况位置,与固定式信息监测设备进行实时通信,根据固定式信息监测设备识别到的位置信息,控制机器人底盘移动。主控模块可以采用单目、双目以及红外等多种传感器相结合的方法,实现对外部目标的识别和测距。主控模块可以控制电机驱动底盘移动,也可以控制机械臂,实现机械臂各关节的移动。
如图13所示,图像采集模块根据配置可以分为双目摄像或单目摄像两种方式,当使用双目摄像时,其中先对双目摄像头进行摄像头内参和外参标定后,再计算目标点在左右两个视图上形成的视差,把该点在左右视图上两个对应的像点匹配起来。校正把消除畸变后的两幅图像严格地行对应,使得两幅图像的对极线恰好在同一水平线上。最后通过立体匹配技术,明确左右图像中的点的对应关系,从而得到视差并恢复点的三维信息。
如图14所示,当使用单目摄像头时,可以检测目标,同时也可以检测物体的距离。首先采集单目摄像头对目标在不同理想距离时,目标二值图的图像零阶矩与目标距离之间存在的关系来测量目标深度,再对当前目标图像进行图像预处理并进行二值化处理,提取当前目标图像的零阶矩,利用零阶图像矩单目深度测距算法计算单目摄像头与目标之间的距离.
如图15所示,主控模块可以采用CPU/FPGA,对输入的视频信号进行目标检测、姿态识别和测距等处理,接着根据检测结果,控制机器人移动。主控模块还可以通过V-SLAM技术实现建图和定位导航,首先根据相邻帧图像定量估算帧间相机的运动,再通过相邻帧的运动轨迹构成机器人的运动轨迹以实现定位。然后根据估算的每个时刻相机的位置,计算出各像素的空间点的位置,构建地图。VSLAM中前端处理首先提取每帧图像特征点,对相邻帧进行特征点粗匹配,然后利用随机抽样一致算法去除不合理的匹配对,得到位置和姿态信息。接着采用图优化方法,将优化的变量作为图的节点,误差项作为图的边,在给定初值后进行迭代优化更新。VSLAM同时通过判断图像之间的相似性完成视觉回环检测,用场景中的几何特征表示环境,构建特征点地图,满足定位建图的指标要求。
如图16所示,通信模块可以通过WIFI、4G/5G(选配)等无线通信方式接收固定式信息检测设备发送过来的机器人行驶指令,并且将指令信息送给控制模块.
如图17所示,电源模块可以实现机器人和充电桩之间的充电,也可以给控制模块、接口模块以及通信模块等充电。当电量不足时,可以发送电量信息给控制模块。
基于多源感知的机器人实时调度方法:
1.基于视频信号的定位和调度处理
在该方式下,可以针对以下两种情况进行识别和定位调度。
A.针对危险状况的定位和机器人调度处理:
如图18所示,在危险状况下,可以通过摄像头识别出危险状态,比如人员跌倒、有人入侵或者发生火灾等危险状况。
如图19所示,针对人员跌倒,可以采用YOLO方法识别图像中的人,首先将图像信号经过Darknet-53主干网络提取特征,接着进行上采样、特征融合和回归分析,得出预测框信息,并且通过SORT算法进行目标特征建模、匹配和跟踪。
如图20所示,采用基于骨骼点的姿势识别方法,先检测出图像中所有人的关节,然后将检测出来的关键点连接生成骨骼关键点连接图。接着采用卷积神经网络进行特征提取,并对提取到图像特征的采用两个卷积层分支进行训练,第一分支利用卷积神经网络进行训练,得到人体骨骼关键点的置信度网络和集合,第二分支对输入的图像进行卷积训练,得到人体骨骼关键点亲和度向量场和集合。最后采集图像中鼻、颈、腰等关节点作为人体质心的坐标,人体质心的坐标需要用到鼻、颈、腰等关节点,取这些关节点的平均值作为人体质心坐标,并且通过比较人体质心的下降速度,腰部和角度关节点差值等判断人体跌倒姿态。
如图21所示,针对边界入侵识别,可在视线区域内划定虚拟界线,如果有人员或者动物闯入,可以选用基于区域的全卷积网络的优化识别方法,在卷积层后接入了感兴趣区域池化层,使网络可以定位目标,在感兴趣区域池化层后接有全连接层,所有感兴趣区域池化层在整个网络上可以共享参数,减少了参数冗余,大幅提升处理速度。
如图22所示,针对烟雾等危险状况,可以采用针对实时采集的目标物如火灾烟雾等视觉特征,通过对目标物图像的颜色、运动、区域轮廓及频率特征展开分析,抽取高效表征的目标物特征的参量,构造较为精确的目标物图像关键特征参量。接着将参数值送入深度学习网络中进行识别处理,
如图23所示,接着在固定式信息监测设备识别出危险状况发生地点在图像中的坐标位置(x0,y0)和移动机器人的位置(x1,y1),实时计算出两者之间的相对距离d,并且引导机器人移动,不断减少相对距离d,直至移动危险状况发生地点附近。
B.针对自动回充的定位和调度处理
如图24所示,针对电量不足时的机器人自动回充,可以采用红外与固定式信息监测设备引导(或机器人上移动摄像头引导)相结合的自主充电方式。可以先用固定式信息监测设备或移动摄像头先识别出充电桩和摄像头的位置,
如图25所示,固定式信息监测设备与红外引导相结合方式
在该方式中,通过固定式信息监测设备识别出机器人和充电座的相对位置,接着在固定式信息监测设备识别出充电座地点在图像中的坐标位置(x0,y0)和移动机器人的位置(x1,y1),实时计算出两者之间的相对距离d,并且引导机器人移动,不断减少相对距离d,直至移动危险状况发生地点附近。当固定式信息监测设备引导机器人至充电座附近,充电座红外探测器发射端发送红外光束,当接收到的红外信号强度超过阈值,则传感器被触发。充电座作为信号发送端含有两个红外发射头,信号接收端包含两个红外接收头,充电座的红外发射头发射红外调制信号供机器人接收号。当任意一个红外接收头收到红外信号时,机器人转向使得两个红外接收头都可以接收到红外发射的信号,并且引导机器人向中轴方向移动,完成自动回充功能。
固定式信息监测设备与机器人上移动摄像头引导相结合方式
在该方式中,当电量不足时,移动机器人通知固定式信息监测设备需要充电,接着由固定式信息监测设备通知移动机器人移动方向,当指引移动机器人移动至充电座附近时,移动机器人每隔一段时间,停止移动进行自转,并且对充电座进行识别,通过双目或单目识别出充电座的位置,接着引导机器人至充电座附近,同时识别充电座上的二维码获取充电座相对机器人的位姿信息,并且不断修正移动方向,引导机器人向充电座中轴方向移动,完成自动回充功能。
机器人上移动摄像头引导与红外相结合方式
在该方式中,当电量不足时,机器人每隔一段时间,停止移动进行自转,并且对充电桩进行识别,通过双目或单目识别出充电桩的位置,接着引导机器人至充电桩附近,接着进行红外引导,充电座红外探测器发射端发送红外光束,当接收到的红外信号强度超过阈值,则传感器被触发。充电座作为信号发送端含有两个红外发射头,信号接收端包含两个红外接收头,充电座的红外发射头发射红外调制信号供机器人接收号。当任意一个红外接收头收到红外信号时,机器人转向使得两个红外接收头都可以接收到红外发射的信号,并且引导机器人向中轴方向移动,完成自动回充功能。
2.基于WIFI信号的定位和调度处理
在该方式下,可以针对以下两种情况进行识别和定位调度。
A针对危险状况的定位和机器人调度处理
如图26所示,在危险状况下,可以通过WIFI信号识别出危险状态,比如人员跌倒、有人入侵等危险状况,
如图27所示,在固定式信息监测设备发射WIFI信号,并且在移动机器人中接收动作CSI信息,同时提取CSI信息中的幅度,进行数据滤波去噪处理,同时经过深度神经网络训练提取动作时序,并且分类检测到人员跌倒或人员入侵等危险状况。同时根据指纹匹配法,将每个参考点的坐标及采集到来自WIFI基站的RSSI值作为位置指纹保存到数据库中,形成一个位置指纹数据库。在线定位时,移动机器人在待测的位置上采集感知来自基站的RSSI值,并与位置指纹库中的数据进行匹配,得出位置坐标(x,y).
B针对自动回充的定位和调度处理
针对电量不足时的机器人自动回充,可以采用机器人上移动摄像头与红外引导相结合的自主充电方式。在该方式中,当电量不足时,机器人每隔一段时间,停止移动进行自转,并且对充电桩进行识别,通过双目或单目识别出充电桩的位置,接着引导机器人至充电桩附近,接着进行红外引导,充电座红外探测器发射端发送红外光束,当接收到的红外信号强度超过阈值,则传感器被触发。充电座作为信号发送端含有两个红外发射头,信号接收端包含两个红外接收头,充电座的红外发射头发射红外调制信号供机器人接收号。当任意一个红外接收头收到红外信号时,机器人转向使得两个红外接收头都可以接收到红外发射的信号,并且引导机器人向中轴方向移动,完成自动回充功能。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.基于多源感知的机器人实时调度系统,其特征在于,所述系统包括固定式信息监测设备、机器人;所述固定式信息监测设备和所述机器人之间通信连接;
所述固定式信息监测设备包括信息采集与发射模块、信号处理模块、第一通信模块和第一电源模块,所述信息采集与发射模块连接于所述数字信号处理模块,所述数字信号处理模块连接于所述第一通信模块,所述第一通信模块通信连接于所述机器人,所述第一电源模块连接于所述信息采集与发射模块、数字信号处理模块和第一通信模块,用于供电;
所述移动机器人包括接口模块、主控模块、第二通信模块、第二电源模块以及底盘,所述接口模块连接于所述主控模块,所述主控模块连接于所述第二通信模块,所述第二通信模块通信连接于所述第一通信模块,所述主控模块还连接于电机,所述电机设于底盘内,所述底盘设于所述机器人下方,所述电机的驱动端设有电动轮,所述第二电源模块用于对所述接口模块、主控模块、第二通信模块以及所述电机进行供电;
所述第一通信模块或所述第二通信模块采用Wifi、4G、5G通信方式;
所述信息采集与发射模块为第一图像采集模块或者第一Wifi处理模块。
2.如权利要求1所述的基于多源感知的机器人实时调度系统,其特征在于,所述信号处理模块包括数字处理芯片,所述数字处理芯片连接于所述第一通信模块,所述信息采集与发射模块为第一图像采集模块,所述第一图像采集模块包括摄像头,所述摄像头连接于WDR降噪单元,所述WDR降噪单元连接于所述数字处理芯片,所述数字处理芯片对降噪后的图像进行目标检测、姿态识别和目标定位;或者:所述信息采集与发射模块为第一Wifi处理模块,所述第一Wifi处理模块包括控制单元、Wifi信号发射单元、Wifi信号接收单元,所述Wifi信号接收单元用于采集CSI信号,所述Wifi信号接收单元连接于所述控制单元,所述控制单元连接于所述Wifi信号发射单元,通过所述Wifi信号发射单元将CSI信号发送至所述机器人。
3.如权利要求2所述的基于多源感知的机器人实时调度系统,其特征在于,所述接口模块连接于第二图像采集模块和第二Wifi处理模块,所述第二采集模块为单目摄像单元或双目摄像单元;所述单目摄像单元包括单目摄像头和单目图像处理器,所述单目摄像头连接于所述单目图像处理器,所述单目图像处理器连接于所述接口模块;所述双目摄像单元包括双目摄像头和双目图像处理器,双目图像处理器连接于所述接口模块;所述Wifi信号发射单元通信连接于所述第二Wifi处理模块,所述第二Wifi处理模块连接于所述接口模块;所述主控模块包括主控芯片,所述主控芯片连接于所述接口模块,所述主控芯片还连接于所述第二通信模块,所述主控芯片通过其IO口连接于所述电机,输出不同占空比的PWM信号控制所述电机进行角度调整和移动;所述第二电源模块包括CPU单元,所述CPU单元连接于所述主控模块,所述CPU单元还连接于蓄电池,所述蓄电池连接有DC-DC单元,所述DC-DC单元连接于所述接口模块、通信模块、主控模块,所述蓄电池还电性连接于外部充电座。
4.基于多源感知的机器人实时调度方法,其特征在于,包括使用图像处理方法在危险状况或机器人需要回充情况下对机器人实时调度,或者使用WIFI信号处理方法在危险状况下对机器人实时调度,所述危险状况包括人员跌倒、有人入侵或者发生火灾。
5.如权利要求4所述的基于多源感知的机器人实时调度方法,其特征在于,使用图像处理方法在危险状况对机器人实时调度的步骤为:
1)固定式信息监测设备的摄像头获取图像;
2)固定式信息监测设备内的数字处理芯片对图像进行处理获取危险状况发生地和机器人的位置坐标以及相对距离,将其通过第一通信模块和第二通信模块发送至机器人的主控模块;
3)主控模块控制机器人移动,不断减少相对距离,直至移动危险状况发生地点附近。
6.如权利要求5所述的基于多源感知的机器人实时调度方法,其特征在于,步骤2)中图像处理的方法为:
对于人员跌倒:通过YOLO目标检测算法识别由摄像头获取的图像,数字处理芯片对图像内的人进行识别和定位,采用基于骨骼点的姿势识别方法定位的图像进行检测判断人员跌倒姿态,获取含有人员跌倒姿态的图像,输出人员跌倒发生地和机器人的位置坐标以及相对距离;
对于有人入侵:在视线区域内划定虚拟界线,选用基于区域的全卷积网络的优化识别方法,在卷积层后接入了感兴趣区域池化层,使网络定位目标,在感兴趣区域池化层后接有全连接层,获取含有人体的图像,输出人体和机器人的位置坐标以及相对距离;
对于发生火灾:采用针对实时采集的火灾的视觉特征,通过对火灾图像的颜色、运动、区域轮廓及频率特征展开分析,抽取高效表征的火灾特征的参量,构造精确的火灾图像关键特征参量,接着将参数值送入深度学习网络中进行识别处理,获取含有火灾的图像,输出火灾发生处和机器人的位置坐标以及相对距离。
7.如权利要求6所述的基于多源感知的机器人实时调度方法,其特征在于,使用图像处理方法在机器人需要回充情况下对机器人实时调度的实现过程为:固定式信息监测设备识别出充电座地点在图像中的坐标位置和移动机器人的位置,实时计算出两者之间的相对距离,并且引导机器人移动,不断减少相对距离,直至移动充电座附近,接着通过红外纠偏使得机器人完成自动回充功能;
所述红外纠偏的方法为:充电座含有两个红外发射头,机器人上设有的红外单元包含两个红外接收头,充电座的红外发射头发射红外调制信号供机器人接收信号,当任意一个红外接收头收到红外信号时,机器人转向使得两个红外接收头都接收到红外发射的信号,并且引导机器人向中轴方向移动,完成自动回充功能;
或当机器人移动至充电座附近后,机器人每隔一段时间,停止移动进行自转,通过双目单元的双目摄像头或单目单元的单目摄像头识别出充电座的位置,接着引导机器人至充电座附近,同时识别充电座上的二维码获取充电座相对机器人的位姿信息,并且不断修正移动方向,引导机器人向充电座中轴方向移动,完成自动回充功能;
或机器人每隔一段时间,停止移动进行自转,通过双目单元的双目摄像头或单目单元的单目摄像头识别出充电座的位置,接着引导机器人至充电座附近,通过红外纠偏方法引导机器人向中轴方向移动,完成自动回充功能。
8.如权利要求7所述的基于多源感知的机器人实时调度方法,其特征在于,使用WIFI信号处理方法在危险状况对机器人实时调度的步骤为:Wifi信号发射单元发射WIFI信号,并且在第二Wifi处理模块接收动作CSI信息,同时提取CSI信息中的幅度,进行数据滤波去噪处理,同时经过深度神经网络训练提取动作时序,并且分类检测到人员跌倒或人员入侵危险状况,同时根据指纹匹配法,将每个参考点的坐标及采集到来自Wifi信号发射单元的接收信号强度RSSI值作为位置指纹保存到数据库中,形成一个位置指纹数据库,在线定位时,机器人在待测的位置上采集感知来自Wifi信号发射单元的RSSI值,并与位置指纹数据库中的数据进行匹配,得出危险状况位置坐标。
CN202210463307.XA 2022-04-28 2022-04-28 基于多源感知的机器人实时调度系统及方法 Pending CN114800615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210463307.XA CN114800615A (zh) 2022-04-28 2022-04-28 基于多源感知的机器人实时调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210463307.XA CN114800615A (zh) 2022-04-28 2022-04-28 基于多源感知的机器人实时调度系统及方法

Publications (1)

Publication Number Publication Date
CN114800615A true CN114800615A (zh) 2022-07-29

Family

ID=82509660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210463307.XA Pending CN114800615A (zh) 2022-04-28 2022-04-28 基于多源感知的机器人实时调度系统及方法

Country Status (1)

Country Link
CN (1) CN114800615A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115781697A (zh) * 2023-02-06 2023-03-14 山东协和学院 工业机器人控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115781697A (zh) * 2023-02-06 2023-03-14 山东协和学院 工业机器人控制系统

Similar Documents

Publication Publication Date Title
CA2950791C (en) Binocular visual navigation system and method based on power robot
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN109887040B (zh) 面向视频监控的运动目标主动感知方法及系统
WO2019138836A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN103413313B (zh) 基于电力机器人的双目视觉导航系统及方法
Ibisch et al. Towards autonomous driving in a parking garage: Vehicle localization and tracking using environment-embedded lidar sensors
CN106341661B (zh) 巡逻机器人
CN113791641A (zh) 一种基于飞行器的设施检测方法及控制设备
CN109325476B (zh) 一种基于三维视觉的人体异常姿态检测系统及方法
WO2020199589A1 (zh) 桌面机器人的回充控制方法
CN105759834A (zh) 一种主动捕获低空小型无人飞行器的系统及方法
CN112085003B (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
CN106020204A (zh) 一种障碍物检测装置、机器人及避障系统
CN111360818A (zh) 一种通过视觉定位的机械臂控制系统
Momeni-k et al. Height estimation from a single camera view
CN111708042A (zh) 一种行人轨迹预测和跟随的机器人方法及系统
CN114683290B (zh) 一种足式机器人位姿优化的方法,装置以及存储介质
CN105373130A (zh) 基于立体建模的特种设备事故现场信息探测系统
CN114800615A (zh) 基于多源感知的机器人实时调度系统及方法
CN112785564B (zh) 一种基于机械臂的行人检测跟踪系统与方法
CN111157008B (zh) 基于多维环境信息感知的局部自主导航系统及方法
KR101862545B1 (ko) 로봇을 이용한 구조구난 서비스 제공방법 및 시스템
CN111966126A (zh) 无人机巡逻方法、装置及无人机
CN212044739U (zh) 一种基于惯性数据和视觉特征的定位装置及机器人
CN114089364A (zh) 一种集成化的感知系统装置及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination