CN112025729B - 基于ros的多功能智能医疗服务机器人系统 - Google Patents

基于ros的多功能智能医疗服务机器人系统 Download PDF

Info

Publication number
CN112025729B
CN112025729B CN202010899366.2A CN202010899366A CN112025729B CN 112025729 B CN112025729 B CN 112025729B CN 202010899366 A CN202010899366 A CN 202010899366A CN 112025729 B CN112025729 B CN 112025729B
Authority
CN
China
Prior art keywords
control module
module
main control
information
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010899366.2A
Other languages
English (en)
Other versions
CN112025729A (zh
Inventor
黄汐威
汪仁杰
闫泽昊
张登雨
孙玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010899366.2A priority Critical patent/CN112025729B/zh
Publication of CN112025729A publication Critical patent/CN112025729A/zh
Application granted granted Critical
Publication of CN112025729B publication Critical patent/CN112025729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了基于ROS的多功能智能医疗服务机器人系统,包括由通讯模块连接的主控模块和底层控制模块,以及分别为主控模块和底层控制模块供电的电源模块,主控模块包括视觉SLAM模块和激光SLAM模块,主控模块分别与深度相机和激光雷达连接,深度相机获取周围环境三维信息并上传主控模块,主控模块通过视觉SLAM模块将三维信息转换成稀疏点云图后,再将稀疏点云图转换为2D栅格图,激光雷达获取周围环境距离值并上传主控各模块,主控模块通过激光SLAM模块构建激光局部地图,主控模块采用改进贝叶斯法则进行地图融合,并基于融合地图进行路径规划。

Description

基于ROS的多功能智能医疗服务机器人系统
技术领域
本发明涉及视觉同步定位与建图、深度学习、图像处理及目标检测技术领域,尤其是涉及了基于ROS的多功能智能医疗服务机器人系统。
背景技术
近年来,SARS病毒和MERS冠状病毒等全球传染性疫情频繁发生,因而探索和实施面向重大传染病的新型防控方案迫在眉睫。随着机器人和人工智能技术的发展,复杂场景下的多类型应急防控智能机器人应运而生,并在疾病防控、排查诊断及治疗护理中扮演着至关重要的角色。在重大疫情防控过程中医护工作人员面临工作压力、医疗资源的紧缺、消毒任务繁重等问题,现有的智能医疗机器人无法很好的集成医用物资搬运、多场景消毒、医护辅助等系统方案和应用。
发明内容
为解决现有技术的不足,实现减轻医护工作人员的工作量,避免传染性疾病大范围传播的目的,本发明采用如下的技术方案:
基于ROS的多功能智能医疗服务机器人系统,包括由通讯模块连接的主控模块和底层控制模块,以及分别为主控模块和底层控制模块供电的电源模块,主控模块包括视觉SLAM模块和激光SLAM模块,主控模块分别与深度相机和激光雷达连接,深度相机获取周围环境三维信息并上传主控模块,主控模块通过视觉SLAM模块将三维信息转换成稀疏点云图后,再将稀疏点云图转换为2D栅格图,激光雷达获取周围环境距离值并上传主控各模块,主控模块通过激光SLAM模块构建激光局部地图,主控模块采用改进贝叶斯法则进行地图融合,融合算法如下:
Figure GDA0002708662630000011
其中P1为通过激光SLAM模块的激光局部地图产生的栅格占有概率,P2为通过视觉SLAM模块的2D栅格图产生的栅格占有概率,1-P1和1-P2分别表示两种栅格图的未占有概率,融合计算每个栅格的占有率Pf,并将其与预设的阈值T比较,大于阈值时判定为占有,小于阈值时融合栅格的概率仍为Pf,从而提高地图融合效率,在一定程度上减轻主控模块的运算量,当激光SLAM模块单独判定的栅格为占有时,该融合栅格为占有,因为视觉SLAM模块构建的地图精度较低,因此以激光SLAM模块所建地图得到的栅格为准,但激光SLAM模块构建的地图也有其局限性,因此通过融合栅格来提高构建地图的精度,提升整体地图的观测区域、鲁棒性和容错性的目的,主控模块基于融合地图进行路径规划,完成机器人智能导航、药物餐食配送等工作。
所述路径规划包括全局路径规划和局部路径规划,全局路径规划为起点到目的地全局规划,采用Dijkstra算法,机器人首先确定自己所在坐标和终点坐标,然后一层层在2D栅格图上进行搜索,直至搜到终点,最后计算最短路径,实现最短路径规划;局部路径规划为驶向终点过程中,实时根据环境在原全局路径规划的基础上进行调整,采用DWA算法在速度空间中采样多组速度,并模拟所有采样速度在一定时间内的运动轨迹,最后通过评价函数对产生的所有轨迹打分,选择最优速度,实现局部最优路径规划。
所述三维信息转换成稀疏点云图需通过数据预处理模块,数据预处理模块是将三维信息和IMU联合定标与时钟同步后,分别进行特征检测与跟踪、IMU预积分,特征检测与跟踪包括特征点提取和光流跟踪,特征点是通过判断检测点邻域像素点的灰度值是否大于预设的阈值P,若连续n个邻域像素点的灰度值大于阈值P,判定检测点为特征点,从而对其进行检测和跟踪,从而增加目标匹配的准确性。
所述将稀疏点云图转换为2D栅格图,通过创建节点Mynteyepub和Mynteyesub,Mynteyepub节点发布每个关键帧的姿态及所有地图点,再将关键帧的姿态及地图点存储到字典结构,供Mynteyesub节点订阅,通过本地和全局计数器优化空闲单元的映射,当接收到所有关键帧后,计数器关闭,并重新计算所有关键帧和映射点,最后生成2D栅格图。
对重新计算所有关键帧和映射点生成的粗糙栅格图,通过斜率阈值计算模块确立障碍物,计算过程如下:
S11,获取移动机器人行进方向上的点云信息;
S12,根据点云信息获取测量点的距离信息和强度信息;
S13,根据距离信息和强度信息计算测量点的曲率分值和强度变化分值;
S14,根据测量点的曲率分值和强度变化分值确定障碍物的位置信息。
所述主控模块还包括人脸识别模块,人脸识别模块包括P-Net、R-Net、O-Net神经网络,深度相机采集的原始图像输入第一级神经网络P-Net,通过非最大抑制算法对P-Net输出的人脸特征信息进行筛选,剔除置信度小于设定阈值的人脸特征信息,筛选出的人脸特征信息映射到原始的输入图像上,并截取作为第二级神经网络R-Net的输入;第二级网络R-Net相较P-Net增加全连接层,通过非最大抑制算法再次对R-Net输出人脸特征信息进行筛选;第三级神经网络O-Net与R-Net相同,进一步筛选人脸特征信息;通过人脸特征信息绘制人脸,用于测温中的身份确认,上班打卡等功能。
所述底层控制模块连接有测温模块,主控模块还连接有显示模块,主控模块还包括面部信息数据库,主控模块通过深度相机获取人脸图像,经人脸识别模块识别后与面部信息数据库中存储的人脸信息进行比对,确认身份,主控模块再向通讯模块传输测温指令至底层控制模块,底层控制模块通过测温模块测量体温,并将温度数据逐级反馈至主控模块,主控模块将温度数据传输至显示模块显示。
所述主控模块还包括二维码识别模块和药品信息数据库,底层控制模块连接有机械臂,主控模块通过深度相机获取二维码图像,经二维码识别模块得到二维码信息,通过药品信息数据库中的二维码信息与药品信息的对应关系得到包括药品坐标的药品信息,将药品坐标输入RTT算法,完成主控模块对机械臂的抓取动作的控制,最后经基于融合地图的路径规划完成药品配送,所述二维码识别模块采用目标检测算法,通过连通域判别法对二维码图像进行区域标记,将像素分为前景元素和背景元素的二值图像,识别过程包括如下:
S21,从二维码图像中第一个像素开始,将当前标签设置为1;
S22,若像素是一个未被标记的前景元素,则赋予其当前标签,并将其添加至序列中,进行S23,若像素是背景元素或已经被标记,则对二维码图像中的下一个元素重复S22;
S23,从序列中挑出一个元素,并查看其相邻元素,若相邻元素是未被标记的前景元素,则赋予其当前标签,并将其添加至序列中,重复S23,直至序列中的元素均被查看;
S24,转到S22二维码图像中的下一个像素,并将当前标签增加1;
S25,计算每个区域的面积,即前景元素个数;
S26,设定前景元素个数的阈值,清除低于阈值的区域。
通过上述算法,只需要对二维码图像中每个前景元素的邻域进行一次检测,而不需要对背景元素的邻域进行检测,加入到序列中的前景元素都是独立分开的,在去除背景元素后,进行识别时,可以有效提高识别效率。
所述前景元素个数的阈值在700至1300之间,当阈值小于700时,背景干扰区域未能有效去除,当阈值大于1300时,处理后的二维码图像将会去除部分二维码有效区域,丢失二维码信息,在此区间内,不但能有效清除非二维码区域,还能有效的保留二维码图像细节。
所述底层控制模块分别与人体感应模块和消毒灯连接,主控模块还包括人物检测模块,深度相机获取原始图像并通过人物检测模块进行监测,人体感应模块是基于红外线的自动控制模块,当监测或感应到有人进入被监测区域或感应区域时,关闭消毒灯,避免消毒灯对人体造成伤害。
本发明的优势和有益效果在于:
本发明通过视觉SLAM和激光SLAM的融合建图提高地图融合效率,减轻主控模块的运算量,提高构建地图的精度,提升整体地图的观测区域、鲁棒性和容错性的目的;全局路径规划和局部路径规划实现最短路径规划、选择最优速度,实现局部最优路径规划;从而实现智能导航的功能。通过斜率阈值计算模块更好的确立障碍物,人脸识别模块用于测温中的身份确认,上班打卡等功能;二维码识别模块提高了二维码识别的效率,集成的机械臂、人体感应模块、消毒灯等,能够更好的辅助智能医疗机器人完成集成医用物资搬运、多场景消毒、医护辅助等功能。
附图说明
图1为本发明的系统架构图。
图2为本发明的用户控制界面图。
图3为本发明的结构示意图。
图4为本发明的硬件框图。
图5为本发明的软件框图。
图6a为本发明中深度相机获取的三维信息图。
图6b为本发明中视觉SLAM转换出的稀疏点云图。
图7为本发明中VINS-Fusion整体框架图。
图8为本发明中点云图到栅格图实现流程图。
图9为本发明中斜率阈值算法执行流程图。
图10为本发明中确立障碍物后的2D栅格图。
图11为本发明中消除边缘虚假障碍的2D栅格图。
图12为本发明中人脸轮廓信息采集图。
图13为本发明中二维码识别流程框图。
图中:1、激光雷达,2、D435i深度相机,3、测温模块,4、消毒灯,5、机械臂,6、人体感应模块。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
本发明在基于ROS(机器人操作系统,Robot Operating System)平台上集成硬件设施,使机器人能够有效完成智能导航、药物餐食配送、免接触体温测量和紫外线杀毒等功能。机器人在病房或隔离区使用目标检测算法,识别药品的二维码信息准确获取药物坐标信息,完成抓取和配送路径规划;通过基于深度学习的CNN(卷积神经网络,ConvolutionalNeural Networks)训练网络完成人脸检测和对比功能。语音通讯模块能够在识别语音后完成预设功能,人体感应模块6能够保证机器人在无人区测区辅助医护人员完成一定的工作。
视觉SLAM(同步定位与建图,Simulation Localization And Mapping)利用深度相机2进行深度计算,采用特征点提取和光流跟踪的方式增加目标匹配的准确性,IMU(惯性测量单元,Inertia Measurement Unit)预积分获得两帧之间相对运动并融合激光建图完成导航避障功能。通过Dijkstra算法结合DWA(Dynamic Window Approach,局部避障的动态窗口算法)和多点导航算法在所建地图进行运动规划。如图1、2所示,整套系统通过QT设计的用户控制界面进行人机交互,机器人获取到的信息会上传到PC端,PC端发布的指令会启动ROS节点命令并发布或接受相应主题完成对应任务。
如图3、4、5所示,基于ROS的多功能智能医疗服务机器人系统,包括由通讯模块(串口)连接的主控模块和底层控制模块,以及分别为主控模块和底层控制模块供电的电源模块;主控模块为Mini主机包括的视觉SLAM模块、激光SLAM模块,分别通过D435i深度相机2和激光雷达1获取数据并进行处理,主控模块还与显示模块、语音通讯模块连接;底层控制模块是型号为STM32F407ZET的芯片,分别连接并控制机械臂5、TN901测温模块3、HC-SR501人体感应模块6、消毒灯4、电机、里程计、IMU模块、编码器等。显示模块用于人机交互,语音通讯模块可以是一个带麦克风的蓝牙音箱,在接收到特定的语音时,ROS系统会将语音转化为文字,然后与系统中存储的文字进行比较,若相同,则完成该文字对应的功能;ROS、QT和RViz(the Robit Visualization tool,机器人可视化工具)均搭载于主控模块。
如图6、7所示,D435i深度相机2获取周围环境三维信息并上传主控模块,主控模块利用视觉SLAM模块采用VINS-fusion方案将三维信息转换成稀疏点云图;通过D435i深度相机2获取的三维信息和IMU联合标定与时钟同步后分别进行特征检测与跟踪、IMU预积分,特征检测与跟踪是通过特征点提取和光流跟踪的方式,即通过检测该点像素值与周围邻域像素点的像素值比较获得,主要检测灰度变化明显的地方,判断邻域像素点的灰度值是否大于阈值P,若连续n个邻域点的灰度值大于设定的阈值P,判定检测点为特征点,从而对其进行检测和跟踪,从而增加目标匹配的准确性。输出的点云图是通过D435i深度相机2采集回来的图像,经过一系列的数据处理,最终输出的附图,点云图是通过ROS上的视图工具Rviz进行显示。
如图8所示,将稀疏点云图转换为2D栅格图,用于系统地图融合,通过ROS创建两个节点Mynteyepub和Mynteyesub,Mynteyepub发布每个关键帧的姿态及所有地图点,再将关键帧的姿态及地图点存储到字典结构,供Mynteyesub订阅,经过本地和全局计数器优化空闲单元的映射,当循环闭包接收到所有关键帧后,计数器关闭,并对订阅的所有关键帧和映射点重新计算,最后生成可用于导航和避障的2D栅格图。
利用图像数据对场景进行基于颜色的视觉分割,ROS系统通过采集前几帧,对相机位姿有个基本估计和初始特征匹配,将局部地图投影到当前帧寻找更多对应的匹配地图点MapPoints,优化相机位姿。随着相机运动,程序通过处理相机采集回来的图像向局部地图添加新的关键帧和3D地图点来维护局部地图,而新的关键帧和3D地图点在采集到新图像中的前两帧中自动提取,这样,即使跟踪过程中某帧出现问题,利用局部地图,我们仍然可以求出之后那些帧的正确位姿;由于障碍物与地面存在高度差,利用图像数据将场景划分为地面和非地面区域,再避障时能更好的识别障碍物。
如图9、10所示,通过斜率阈值算法确立障碍物,包括如下步骤:
1、获取移动机器人行进方向上的点云信息;
2、根据点云信息获取若干测量点的距离信息和强度信息;
3、根据各距离信息和各强度信息计算各测量点的曲率分值和强度变化分值;
4、根据各测量点的曲率分值和强度变化分值确定障碍物的位置信息。
如图11所示,通过Canny边界检测算法消除边缘虚假障碍,在建图时,输入为D435i深度相机2和激光雷达1传进来的环境信息,最终生成可用于导航和避障的2D栅格图。
针对纯Lidar-SLAM所建地图的局限性以及视觉SLAM所建地图的低精度问题,系统将两种SLAM产生的地图进行融合,一方面使用激光雷达1获取周围环境距离值,通过激光SLAM模块构建激光局部地图;另一方面使用D435i深度相机2获取周围环境三维信息,利用视觉SLAM模块转成点云图,并通过投影生成2D栅格地图,最后采用改进贝叶斯法则进行局部地图融合,重复以上步骤直至完成全局地图的创建。达到提升整体地图的观测区域、鲁棒性和容错性的目的。
改进贝叶斯法则,其融合算法如下:
Figure GDA0002708662630000061
其中P1为激光SLAM模块产生的栅格占有概率,P2为视觉SLAM模块产生的栅格占有概率,(1-P1)和(1-P2)分别表示两种栅格图的未占有概率。通过改进贝叶斯算法计算每个栅格的占有率,之后将占有率Pf与预先设定的阈值T=0.5进行比较,若大于阈值则为占有,小于阈值则概率仍为Pf,从而提高地图融合效率,在一定程度上减轻Mini主机的运算量。但激光SLAM模块所建地图精度较高,若激光SLAM模块得到的栅格为占有,则不考虑视觉SLAM模块,结果为占有,占有规则如下表所示:
Figure GDA0002708662630000062
在室内路径规划方面,系统基于改进贝叶斯所融合的地图,通过Dijkstra全局规划结合DWA局部规划的方式进行导航。通过机器人在环境中的位置坐标利用多点导航算法进行无人区域的消毒、餐食和药物配送等工作。在完成SLAM建图的基础上进行导航,整个路径规划分为全局路径规划和局部路径规划。全局路径规划为起点到目的地全局规划,采用Dijkstra算法,机器人首先确定自己所在坐标和终点坐标,然后一层层在2D栅格图上进行搜索,直至搜到终点,最后计算最短路径。
局部路径规划为驶向终点过程中,实时根据环境在原来全局规划的基础上进行调整,采用DWA算法。利用上述算法在速度空间(Vt,Wt)中采样多组速度,并模拟所有采样速度在一定时间内的运动轨迹,最后通过评价函数对产生的所有轨迹打分,选择最优速度,并发送给机器人,实现局部最优路径规划。
在地图中,存在小车坐标系,地图坐标系和雷达坐标系等,地图坐标系可对应真实世界的物理信息。在RViz中打开地图记录所需的坐标点。在多点导航算法的launch文件中增添位置信息,让机器人依次完成预设任务。
利用级联神经网络的人脸检测算法进行人脸图像的快速识别,通过非最大抑制算法抑制无关的边界框,通过OpenCV对识别的人脸特征点进行绘制。
在一副原始图像中可能存在不同的大小人脸,先构建图像金字塔,层级越高其对应的分辨率越低。项目采用基于级联神经网络的人脸检测算法(MTCNN),该网络包括三个卷积神经网络,分别是P-Net(Proposal Network)、R-Net(Refine Network)、O-Net(OutputNetwork)三个网络。
基于级联神经网络的人脸识别,P-Net是级联网络的第一级神经网络,其网络的输入是D435i深度相机2采集的原始图像,通过非最大抑制算法(NMS)对P-Net输出的候选区域进行筛选,剔除置信度小于设定阈值的候选区域,筛选出的候选区域映射到原始的输入图像上并截取,作为第二级网络R-Net的输入;相比于P-Net,第二级网络R-Net增加了一个全连接层,R-Net网络输出的人脸特征点包含脸部分值、人脸框位置和脸部关键点的位置,R-Net网络的功能是继续对第一级网络得到的人脸框筛选,然后再次进行NMS算法计算;同样,第三级网络O-Net与R-Net的功能一样进一步筛选人脸框位置,O-Net网络的输入是R-Net网络得到的输出。再通过Opencv对识别的人脸特征点进行绘制。人脸识别主要用于测温中的身份确认,上班打卡等功能。
如图12所示,用户控制界面发出测温指令,机器人通过自主导航到达指定病床,进行测温时,D435i深度相机2读取人脸面部信息并上传至主控模块,主控模块将面部信息与数据库中存储的信息比对,确认身份,并通过串口发送测温指令到底层控制模块,通过TN901测温模块3测量人体温度,底层控制模块将测到的温度数据传回主控模块,显示在用户控制界面上。
药物餐食配送,是通过用户控制界面发出配送指令,机器人通过自主导航至药房,D435i深度相机2扫描药品的二维码,上传主控模块,通过目标检测算法获取二维码信息,通过二维码与物品信息及位置信息对应的数据库,比较药品名称,确定指定药品,然后将二维码中存取的坐标信息,通过串口发送到底层控制模块,使用RRT算法将从二维码中得到物品的坐标作为RRT算法的输入,从而控制机械臂5进行抓取动作,最后经过自主导航规划配送路径,将药品配送至指定病床。
如图13所示,目标检测算法是对二维码图像进行区域分割,采用8连通域判别方法对多二维码图像进行区域标记,此时二维码图像为二值图像,我们可将像素分为前景或背景,并且在前景中查找二维码图像中相连通的区域,包括如下步骤:
1、从图像中第一个像素开始,将当前标签设置为1;
2、若这个像素是一个前景像素,并且它还没有标签,那么给它当前的标签,并添加它为序列中第一个元素,然后进行步骤3,若它是背景元素或已经被标记,那么对图像中的下一个元素重复步骤2。
3、从序列中挑出一个元素,并查看它的相邻元素(本设计采取的是8连通判别),若相邻元素是一个前景元素,且未被标记,那么给它当前的标签,并添加到序列中,重复步骤3,直到序列中没有更多的元素。
4、转到步骤2图像中的下一个元素,并将当前标签增加1。
5、计算每个区域的面积(像素个数),由于每个二维码的大小是一样的,因此区域的大小就是一个固定值,像素个数即前景元素的个数。
6、设定阈值(像素个数),清除掉低于阈值的区域。当阈值分别为100、300、500、700时,背景干扰区域未能有效去除。而当阈值为1300、1500、1700时,处理后的图像将会去除部分二维码有效区域,丢失二维码信息,当阈值为1000时不但能有效清除非二维码区域,还能有效的保留二维码图像细节。
通过上述算法,只需要对二维码图像中每个前景像素的邻域进行一次检测,而不需要对背景元素的邻域进行检测,加入到序列中的前景元素都是独立分开的,在去除背景元素后,进行识别时,可以有效提高识别效率。
通过用户控制界面发出消毒指令,机器人通过自主导航到达指定消毒区域,机器人在消毒时,顶部搭载的D435i深度相机2监测前方区域,上传原始图像至主控模块,主控模块调用OpenCV中的人物检测算法监测机器人前方区域是否有人;机器人尾部搭载的HC-SR501人体感应模块6是基于红外线技术的自动控制模块,监测后方区域,当人进入其感应范围则输出高电平,人离开感应范围则自动延时关闭高电平,输出低电平,从而监测机器人后方区域是否有人,当有人进入监测区域时,关闭消毒灯4,避免消毒灯4对人体造成伤害。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (9)

1.基于ROS的多功能智能医疗服务机器人系统,包括由通讯模块连接的主控模块和底层控制模块,以及分别为主控模块和底层控制模块供电的电源模块,其特征在于主控模块包括视觉SLAM模块和激光SLAM模块,主控模块分别与深度相机(2)和激光雷达(1)连接,深度相机(2)获取周围环境三维信息并上传主控模块,主控模块通过视觉SLAM模块将三维信息转换成稀疏点云图后,再将稀疏点云图转换为2D栅格图,激光雷达(1)获取周围环境距离值并上传主控模块,主控模块通过激光SLAM模块构建激光局部地图,主控模块采用改进贝叶斯法则进行地图融合,融合算法如下:
Figure DEST_PATH_IMAGE002
其中P 1为通过激光SLAM模块的激光局部地图产生的栅格占有概率,P 2为通过视觉SLAM模块的2D栅格图产生的栅格占有概率,1-P 1和1-P 2分别表示两种栅格图的未占有概率,融合计算每个栅格的占有率P f ,并将其与预设的阈值T比较,大于阈值时判定为占有,小于阈值时融合栅格的概率仍为P f ,当激光SLAM模块单独判定的栅格为占有时,该融合栅格为占有,主控模块基于融合地图进行路径规划;
所述主控模块还包括二维码识别模块和药品信息数据库,底层控制模块连接有机械臂(5),主控模块通过深度相机(2)获取二维码图像,经二维码识别模块得到二维码信息,通过药品信息数据库中的二维码信息与药品信息的对应关系得到包括药品坐标的药品信息,将药品坐标输入RTT算法,完成主控模块对机械臂(5)的抓取动作的控制,最后经基于融合地图的路径规划完成药品配送;
所述二维码识别模块采用目标检测算法,通过连通域判别法对二维码图像进行区域标记,将像素分为前景元素和背景元素的二值图像,识别过程包括如下:
S21,从二维码图像中第一个像素开始,将当前标签设置为1;
S22,若像素是一个未被标记的前景元素,则赋予其当前标签,并将其添加至序列中,进行S23,若像素是背景元素或已经被标记,则对二维码图像中的下一个元素重复S22;
S23,从序列中挑出一个元素,并查看其相邻元素,若相邻元素是未被标记的前景元素,则赋予其当前标签,并将其添加至序列中,重复S23,直至序列中的元素均被查看;
S24,转到S22二维码图像中的下一个像素,并将当前标签增加1;
S25,计算每个区域的面积,即前景元素个数;
S26,设定前景元素个数的阈值,清除低于阈值的区域。
2.如权利要求1所述的基于ROS的多功能智能医疗服务机器人系统,其特征在于所述路径规划包括全局路径规划和局部路径规划,全局路径规划为起点到目的地全局规划,采用Dijkstra算法,机器人首先确定自己所在坐标和终点坐标,然后一层层在2D栅格图上进行搜索,直至搜到终点,最后计算最短路径;局部路径规划为驶向终点过程中,实时根据环境在原全局路径规划的基础上进行调整,采用DWA算法在速度空间中采样多组速度,并模拟所有采样速度在一定时间内的运动轨迹,最后通过评价函数对产生的所有轨迹打分,选择最优速度。
3.如权利要求1所述的基于ROS的多功能智能医疗服务机器人系统,其特征在于所述三维信息转换成稀疏点云图需通过数据预处理模块,数据预处理模块是将三维信息和IMU联合定标与时钟同步后,分别进行特征检测与跟踪、IMU预积分,特征检测与跟踪包括特征点提取和光流跟踪,特征点是通过判断检测点邻域像素点的灰度值是否大于预设的阈值P,若连续n个邻域像素点的灰度值大于阈值P,判定检测点为特征点。
4.如权利要求1所述的基于ROS的多功能智能医疗服务机器人系统,其特征在于所述将稀疏点云图转换为2D栅格图,通过创建节点Mynteyepub和Mynteyesub,Mynteyepub节点发布每个关键帧的姿态及所有地图点,再将关键帧的姿态及地图点存储到字典结构,供Mynteyesub节点订阅,通过本地和全局计数器优化空闲单元的映射,当接收到所有关键帧后,计数器关闭,并重新计算所有关键帧和映射点,最后生成2D栅格图。
5.如权利要求4所述的基于ROS的多功能智能医疗服务机器人系统,其特征在于对重新计算所有关键帧和映射点生成的粗糙栅格图,通过斜率阈值计算模块确立障碍物,计算过程如下:
S11,获取移动机器人行进方向上的点云信息;
S12,根据点云信息获取测量点的距离信息和强度信息;
S13,根据距离信息和强度信息计算测量点的曲率分值和强度变化分值;
S14,根据测量点的曲率分值和强度变化分值确定障碍物的位置信息。
6.如权利要求1所述的基于ROS的多功能智能医疗服务机器人系统,其特征在于所述主控模块还包括人脸识别模块,人脸识别模块包括P-Net、R-Net、O-Net神经网络,深度相机(2)采集的原始图像输入第一级神经网络P-Net,通过非最大抑制算法对P-Net输出的人脸特征信息进行筛选,剔除置信度小于设定阈值的人脸特征信息,筛选出的人脸特征信息映射到原始的输入图像上,并截取作为第二级神经网络R-Net的输入;第二级网络R-Net相较P-Net增加全连接层,通过非最大抑制算法再次对R-Net输出人脸特征信息进行筛选;第三级神经网络O-Net与R-Net相同,进一步筛选人脸特征信息;通过人脸特征信息绘制人脸。
7.如权利要求6所述的基于ROS的多功能智能医疗服务机器人系统,其特征在于所述底层控制模块连接有测温模块(3),主控模块还连接有显示模块,主控模块还包括面部信息数据库,主控模块通过深度相机(2)获取人脸图像,经人脸识别模块识别后与面部信息数据库中存储的人脸信息进行比对,确认身份,主控模块再向通讯模块传输测温指令至底层控制模块,底层控制模块通过测温模块(3)测量体温,并将温度数据逐级反馈至主控模块,主控模块将温度数据传输至显示模块显示。
8.如权利要求7所述的基于ROS的多功能智能医疗服务机器人系统,其特征在于所述前景元素个数的阈值在700至1300之间。
9.如权利要求1所述的基于ROS的多功能智能医疗服务机器人系统,其特征在于所述底层控制模块分别与人体感应模块(6)和消毒灯(4)连接,主控模块还包括人物检测模块,深度相机(2)获取原始图像并通过人物检测模块进行监测,人体感应模块(6)是基于红外线的自动控制模块,当监测或感应到有人进入被监测区域或感应区域时,关闭消毒灯(4)。
CN202010899366.2A 2020-08-31 2020-08-31 基于ros的多功能智能医疗服务机器人系统 Active CN112025729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899366.2A CN112025729B (zh) 2020-08-31 2020-08-31 基于ros的多功能智能医疗服务机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899366.2A CN112025729B (zh) 2020-08-31 2020-08-31 基于ros的多功能智能医疗服务机器人系统

Publications (2)

Publication Number Publication Date
CN112025729A CN112025729A (zh) 2020-12-04
CN112025729B true CN112025729B (zh) 2022-02-15

Family

ID=73587023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899366.2A Active CN112025729B (zh) 2020-08-31 2020-08-31 基于ros的多功能智能医疗服务机器人系统

Country Status (1)

Country Link
CN (1) CN112025729B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112698629A (zh) * 2020-12-23 2021-04-23 江苏睿科大器机器人有限公司 一种适用于医院场景的agv调度方法与系统
CN113311825A (zh) * 2021-05-05 2021-08-27 温州大学 一种可视化且自定义的ros智能机器人人机交互系统及其控制方法
CN113110513A (zh) * 2021-05-19 2021-07-13 哈尔滨理工大学 一种基于ros的居家整理移动机器人
CN113276084A (zh) * 2021-06-10 2021-08-20 广西大学 一种ros智能小车
CN113427490A (zh) * 2021-06-11 2021-09-24 大连海事大学 一种消毒作业可视化的远程智能防疫消毒机器人
CN113689502B (zh) * 2021-09-01 2023-06-30 南京信息工程大学 一种多信息融合的障碍物测量方法
CN113885513B (zh) * 2021-10-25 2024-01-26 北京歌锐科技有限公司 一种医疗设备的位置摆放方法、系统及装置
CN114296464B (zh) * 2021-12-30 2024-01-09 武汉华威科智能技术有限公司 一种基于二维码导航的agv控制系统及方法
CN114474061B (zh) * 2022-02-17 2023-08-04 新疆大学 基于云服务的机器人多传感器融合定位导航系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160000162A (ko) * 2014-06-24 2016-01-04 주식회사 네오텍 안내용 서비스 로봇의 자율주행 방법
CN109741815A (zh) * 2018-12-25 2019-05-10 广州天高软件科技有限公司 一种医疗引导机器人及其实现方法
CN110658813A (zh) * 2019-09-17 2020-01-07 五邑大学 基于物联网和slam技术的智能医疗物资补给机器人
CN110675307A (zh) * 2019-08-19 2020-01-10 杭州电子科技大学 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN111070219A (zh) * 2019-12-17 2020-04-28 五邑大学 智能配送药物机器人
CN111079625A (zh) * 2019-12-11 2020-04-28 江苏国光信息产业股份有限公司 一种摄像头自动跟随人脸转动的控制方法
CN111476286A (zh) * 2020-04-02 2020-07-31 哈尔滨工程大学 一种移动机器人构建地图方法
CN111590582A (zh) * 2020-05-27 2020-08-28 华南理工大学 一种可实现生物反馈及远程探望的智能医疗服务机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160000162A (ko) * 2014-06-24 2016-01-04 주식회사 네오텍 안내용 서비스 로봇의 자율주행 방법
CN109741815A (zh) * 2018-12-25 2019-05-10 广州天高软件科技有限公司 一种医疗引导机器人及其实现方法
CN110675307A (zh) * 2019-08-19 2020-01-10 杭州电子科技大学 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN110658813A (zh) * 2019-09-17 2020-01-07 五邑大学 基于物联网和slam技术的智能医疗物资补给机器人
CN111079625A (zh) * 2019-12-11 2020-04-28 江苏国光信息产业股份有限公司 一种摄像头自动跟随人脸转动的控制方法
CN111070219A (zh) * 2019-12-17 2020-04-28 五邑大学 智能配送药物机器人
CN111476286A (zh) * 2020-04-02 2020-07-31 哈尔滨工程大学 一种移动机器人构建地图方法
CN111590582A (zh) * 2020-05-27 2020-08-28 华南理工大学 一种可实现生物反馈及远程探望的智能医疗服务机器人

Also Published As

Publication number Publication date
CN112025729A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112025729B (zh) 基于ros的多功能智能医疗服务机器人系统
US10496103B2 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
US11328158B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10192113B1 (en) Quadocular sensor design in autonomous platforms
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
US10390003B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
JP6288221B2 (ja) 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
Kim et al. Pedx: Benchmark dataset for metric 3-d pose estimation of pedestrians in complex urban intersections
CN111798475A (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
CN111080659A (zh) 一种基于视觉信息的环境语义感知方法
EP3447448B1 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
CN110706248A (zh) 一种基于slam的视觉感知建图算法及移动机器人
CN111664843A (zh) 一种基于slam的智能仓储盘点方法
CN110728751A (zh) 一种室内3d点云语义地图的构建方法
CN114613013A (zh) 一种基于骨骼节点的端到端人类行为识别方法与模型
CN109213138A (zh) 一种避障方法、装置及系统
CN111258311A (zh) 一种基于智能视觉的井下移动机器人避障方法
CN114511931A (zh) 基于视频图像的动作识别方法、装置、设备及存储介质
CN113255779A (zh) 多源感知数据融合识别方法、系统及计算机可读存储介质
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
Ristić-Durrant et al. Low-level sensor fusion-based human tracking for mobile robot
Uzawa et al. Dataset Generation for Deep Visual Navigation in Unstructured Environments
Zhou et al. 2D Grid map for navigation based on LCSD-SLAM
Syntakas et al. Object Detection and Navigation of a Mobile Robot by Fusing Laser and Camera Information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant