一种用于皮肤病智能诊断机器人
技术领域
本发明涉及智能医疗的技术领域,尤其是涉及一种基于人脸检测技术、深度学习技术领域的用于皮肤病智能诊断机器人。
背景技术
目前,医疗服务机器人研究是近年来一项新兴交叉的研究领域,它集合了计算机视觉、机械工程、控制科学等学科技术,具有良好的发展潜力。随着社会的进步、人民生活水平的提高,社会老龄化程度不断提高,社会对医疗服务的需求持续增加,医疗服务机器人有着广阔的应用前景。国内外对机器人的研究已经相对成熟,关键理论和技术有着较好的基础。以皮肤病的诊断为例,利用深度学习的方法来对皮肤病进行诊断已经获得了成功,诊断的准确率达到很高的水平。
智能医疗服务机器人的使用与传统的医疗方式相比有着其独特的优势,其具有操作稳定、执行准确、工作强度大等特点,主要体现在以下几个方面:(1)减少医护工作中的人力成本,节省人力资源;在传统的医疗领域,医护工作的特点是工作强度高,对医护工作者的操作有着高精度的要求。在一些重复性、高强度的环境中,引入医疗服务机器人可以减轻医护工作者的工作压力,也可以降低在医疗服务过程中的人工成本;(2)医疗服务机器人使医护工作更加的安全。传统医护工作中,医护工作者可能需要面对一些高辐射、高病毒感染风险的环境,通过使用机器人来代替医生在危险环境里的工作,可以避免这些不利影响。(3)机器人的操作更加准确高效,以一般的外科手术为例,人的操作不可避免的会受到环境和自身状态的影响,而机器人则可以完全按照指示工作,可以保证准确无误,缩短手术时间,降低手术的风险,同时也可以降低病患的损伤和负担,提高医疗服务的水平。
现有的公开号为CN110164536A的中国发明专利申请公开了一种全流程智能医疗分诊系统,包括一个移动终端、平台服务器和分别与所述平台服务器连接的至少一个车牌识别设备和人脸识别设备,人脸识别设备,用于接收平台服务器发送的预约信息,启动人脸识别功能;当人脸识别成功后,完成就诊报道,并将报道成功信息发送给所述平台服务器。
上述中的现有技术方案存在以下缺陷:上述技术方案仅适用于患者从挂号到就医的过程分诊,对于皮肤病患者的患处信息没有实现自动收集和智能分类处理的功能,皮肤病患者无法得到具体的分诊信息。鉴于此,亟需研发设计一种用于皮肤病智能诊断机器人。
发明内容
针对现有技术存在的不足,本发明的目的是提供一种用于皮肤病智能诊断机器人,通过机器人对皮肤病患者进行自动目标定位和检测,完成对其患处的拍照,便于进行后续的症状诊断,提高了皮肤病患者的分诊效率。
本发明的上述目的是通过以下技术方案得以实现的:
一种用于皮肤病智能诊断机器人,包括带有移动轮的移动平台、单片机、主控计算机以及用于采集患者脸部视频流的导航摄像头,移动轮由直流电机驱动转动,移动平台上安装具有二维自由度的机械臂,机械臂由步进电机驱动执行动作,机械臂的前端安装有用于采集患者手部视频流的摄像机,主控计算机与单片机之间建立协同通信,单片机的输出接口分别与直流电机、步进电机相控制连接;
所述导航摄像头采集患者脸部视频流,接收脸部视频流的主控计算机基于OpenCV人脸检测方式获得人脸宽度与阈值的偏差值,根据偏差值的大小向单片机发送相应的控制信号,直流电机接收该控制信号后驱动移动平台作移动和转向,直至移动至患者的正面附近;
所述摄像机采集患者手部视频流,接收手部视频流的主控计算机通过深度学习目标方式实现患者手部的检测识别,以检测和识别手部的各种手势动作和稳定状态;
所述机械臂由步进电机驱动执行前伸或回缩动作以追踪患者手部的位置,直至检测到手部处于稳定状态,并检测到患者手部的指示动作,控制摄像机定位至患者手部指示的患处实时拍照,获得的患处照片信息输入至主控计算机,并与皮肤病数据库分析对比后,输出相应的分诊指导结果。
通过采用上述技术方案,该机器人执行的分诊程序步骤分为:首先通过人脸检测技术找到皮肤病患者的位置,控制机器人移动到目标位置;然后通过深度学习目标方式,完成对手部的检测功能;最后皮肤病患者通过手部来指示患处,并指引机器人的机械臂对目标进行追踪与拍照等步骤。导航摄像头采集的患者脸部视频流、摄像机采集的患者手部视频流传输至主控计算机,分别经过OpenCV人脸检测方式和深度学习目标方式输出相应的控制信号,通过单片机和主控计算机之间的协同通信,完成对机器人的移动速度、方向和机械臂的动作控制。该分诊方法通过机器人对皮肤病患者进行自动目标定位和检测,完成对其患处的拍照,便于进行后续的症状诊断,提高了皮肤病患者的分诊效率。
本发明在一较佳示例中可以进一步配置为:所述单片机为Arduino单片机,主控计算机与单片机之间通过串行接口建立协同通信。
通过采用上述技术方案,Arduino单片机能够独立完成参数的设定功能,同时串行接口的方式适用于主控计算机与单片机之间的数据传输,节省了传输线的使用。
本发明在一较佳示例中可以进一步配置为:所述移动轮安装于移动平台的底部,且分为两个万向轮和两个行走轮,两个万向轮分别由所述直流电机驱动转动。
通过采用上述技术方案,直流电机的驱动模块接收单片机输出的控制信号,两个万向轮分别由两个直流电机驱动,从而实现移动平台的移动和转向。
本发明在一较佳示例中可以进一步配置为:所述机械臂包括有相铰接的大臂和小臂,大臂的后端与移动平台相铰接,所述摄像机安装于小臂的前端,大臂和小臂分别由所述步进电机驱动转动。
通过采用上述技术方案,机械臂的大臂和小臂分别安装于转轴上,步进电机的输出轴与转轴相传动连接,步进电机的驱动模块接收单片机输出的控制信号,从而实现机械臂完成前伸或后缩动作。
本发明在一较佳示例中可以进一步配置为:所述移动平台顶部安装有三脚架,所述导航摄像头安装于三脚架的顶部。
通过采用上述技术方案,移动平台顶部安装的三脚架可以自由调节高度,从而满足对不同身高的患者使用要求。
本发明在一较佳示例中可以进一步配置为:所述主控计算机对患者脸部视频流中的帧压缩至40%,再将图像灰度化输入分类器中,得到的数据坐标全部放大2.5倍,放大后的坐标结果绘制到原图中,当脸部在原图中的大小超过阈值时,即停止检测脸部。
通过采用上述技术方案,患者脸部视频流中将采集到的图像进行了压缩处理,将原图压缩到了原来的40%,提高了检测速度和程序运行速度。
本发明在一较佳示例中可以进一步配置为:所述深度学习目标方式为SSD神经网络学习方式,具体分为数据收集步骤、数据处理步骤和训练模型步骤。
通过采用上述技术方案,利用SSD网络模型对手部的检测稳定性较好,对于不同手势的手部均可以较好检测,背景中出现的其他肤色也不会对检测结果造成干扰。
本发明在一较佳示例中可以进一步配置为:所述直流电机的驱动模块为L298N驱动模块,所述步进电机的驱动模块是DM542驱动模块。
通过采用上述技术方案,直流电机使用时,将单片机产生的PWM波输入到其驱动模块从而控制转速,高低电平的组合输入方式以控制直流电机转速方向,同时实现移动平台的转向目的;步进电机采用DM542驱动模块以适用于直流电压输入,且电压范围为24~50VDC。
综上所述,本发明包括以下至少一种有益技术效果:
1.本发明的机器人执行的分诊程序步骤分为:首先通过人脸检测技术找到皮肤病患者的位置,控制机器人移动到目标位置;然后通过深度学习目标方式,完成对手部的检测功能;最后皮肤病患者通过手部来指示患处,并指引机器人的机械臂对目标进行追踪与拍照。导航摄像头采集的患者脸部视频流、摄像机采集的患者手部视频流传输至主控计算机,分别经过OpenCV人脸检测方式和深度学习目标方式输出相应的控制信号,通过单片机和主控计算机之间的协同通信,完成对机器人的移动速度、方向和机械臂的动作控制。该分诊方法通过机器人对皮肤病患者进行自动目标定位和检测,完成对其患处的拍照,便于进行后续的症状诊断,提高了皮肤病患者的分诊效率;
2.本发明的直流电机的驱动模块接收单片机输出的控制信号,两个万向轮分别由两个直流电机驱动,从而实现移动平台的移动和转向。机械臂的大臂和小臂分别安装于转轴上,步进电机的输出轴与转轴相传动连接,步进电机的驱动模块接收单片机输出的控制信号,从而实现机械臂完成前伸或后缩动作;
3.本发明的导航摄像头采集患者脸部视频流中将采集到的图像进行了压缩处理,将原图压缩到了原来的40%,提高了检测速度和程序运行速度。SSD神经网络学习方式利用SSD网络模型对手部的检测稳定性较好,对于不同手势的手部均可以较好检测,背景中出现的其他肤色也不会对检测结果造成干扰。
附图说明
图1是本发明的机器人结构示意图。
图2是本发明的分诊程序步骤流程框图。
附图标记:1、移动平台;2、单片机;3、主控计算机;4、导航摄像头;5、机械臂;51、大臂;52、小臂;6、摄像机;7、直流电机;8、步进电机;9、万向轮;10、行走轮;11、三脚架。
具体实施方式
以下结合附图对本发明作进一步详细说明。
参照图1,为本发明公开的一种用于皮肤病智能诊断机器人,包括带有移动轮的移动平台1、单片机2、主控计算机3以及用于采集患者脸部视频流的导航摄像头4,移动平台1顶部安装有三脚架11,导航摄像头4安装于三脚架11的顶部,移动轮安装于移动平台1的底部,且分为两个万向轮9和两个行走轮10,两个万向轮9分别由直流电机7驱动转动,移动平台1上安装具有二维自由度的机械臂5,机械臂5包括有相铰接的大臂51和小臂52,大臂51的后端与移动平台1相铰接,摄像机6安装于小臂52的前端,大臂51和小臂52分别由步进电机8驱动转动,机械臂5的前端安装有用于采集患者手部视频流的摄像机6,单片机2为Arduino单片机,主控计算机3与单片机2之间通过串行接口建立协同通信,单片机2的输出接口分别与直流电机7、步进电机8相控制连接,直流电机7的驱动模块为L298N驱动模块,步进电机8的驱动模块是DM542驱动模块;
导航摄像头4采集患者脸部视频流,接收脸部视频流的主控计算机3基于OpenCV人脸检测方式获得人脸宽度与阈值的偏差值,根据偏差值的大小向单片机2发送相应的控制信号,直流电机7接收该控制信号后驱动移动平台1作移动和转向,直至移动至患者的正面附近;
摄像机6采集患者手部视频流,接收手部视频流的主控计算机3通过深度学习目标方式实现患者手部的检测识别,以检测和识别手部的各种手势动作和稳定状态;
机械臂5由步进电机8驱动执行前伸或回缩动作以追踪患者手部的位置,直至检测到手部处于稳定状态,并检测到患者手部的指示动作,控制摄像机6定位至患者手部指示的患处实时拍照,获得的患处照片信息输入至主控计算机3,并与皮肤病数据库分析对比后,输出相应的分诊指导结果。
参照图2,该智能诊断机器人的分诊程序步骤如下:
S1,机器人的导航摄像头4采集患者脸部视频流,主控计算机3基于OpenCV人脸检测方式获得人脸宽度与阈值的偏差值,根据偏差值的大小向单片机2发送相应的控制信号,直流电机7接收控制信号后带动移动平台1实时转向和移动,直至机器人移动至患者的正面;
S2,机械臂5上的摄像机6采集患者手部视频流,主控计算机3通过深度学习目标方式实现患者手部的检测识别,以检测手部的各种手势动作和手部状态的稳定度;
S3,机器人的机械臂5根据患者手部的位置变化,实时动作以追踪患者手部的位置,直至检测到手部处于稳定状态,再依据检测到患者手部的指示动作,控制摄像机6定位至患者手部指示的患处进行拍照,获得的患处照片信息与皮肤病数据库进行分析对比后,输出相应的分诊指导结果。
其中,步骤S1中主控计算机3对患者脸部视频流中的帧压缩至40%,再将图像灰度化输入分类器中,最后将得到的数据坐标全部放大2.5倍,放大后的坐标结果绘制到原图中,当脸部在原图中的大小超过阈值时,即停止检测脸部。步骤S2中深度学习目标方式为SSD神经网络学习方式,具体分为数据收集步骤、数据处理步骤和训练模型步骤。
本实施例的实施原理为:在实施过程中,通过人脸检测技术找到皮肤病患者的位置,控制机器人移动到目标位置;然后通过深度学习目标方式,完成对手部的检测功能;最后皮肤病患者通过手部来指示患处,并指引机器人的机械臂5对目标进行追踪与拍照。导航摄像头4采集的患者脸部视频流、摄像机6采集的患者手部视频流传输至主控计算机3,分别经过OpenCV人脸检测方式和深度学习目标方式输出相应的控制信号,通过单片机2和主控计算机3之间的协同通信,完成对机器人的移动速度、方向和机械臂5的动作控制。
本具体实施方式的实施例均为本发明的较佳实施例,并非依此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。