CN113086055A - 一种智慧医疗背景下交互式物资传输设备 - Google Patents

Abstract

本发明公开了一种智慧医疗背景下交互式物资传输设备。底座为单片机构成的智能蓝牙小车，两侧设有转向轮，支持小车运作；底座上端设有三根能支撑置物盘的伸缩杆，伸缩杆上装设重量感应装置，能根据物品的实际重量调节合适高度；小车底座核心部件为STC89C52芯片，控制小车运行，具有较强兼容性；此外，底座还装设有蓝牙感应模块、红外避障模块、红外检测循迹模块等。本装置在进行物资传输工作时，使用蓝牙模块将小车与PC端逻辑串联，通过神经网络训练，实现手势对智能小车的控制，在传染病场所代替医务人员进行医疗物资的传输，减少医患间和医务人员间的直接接触，防止交叉感染，进一步推动智慧医疗的发展。

Description

一种智慧医疗背景下交互式物资传输设备

技术领域

本发明涉及智慧医疗技术领域，特别涉及一种智慧医疗背景下交互式物资传输设备。

背景技术

近年来，随着人工智能技术的不断发展，计算机在人们生活中占据越来越重要的地位，人机交互技术也被充分利用。伴随着人机交互技术的发展，人们对其高效性、便捷性的要求也逐渐提高。不同于计算机软件和硬件等技术的飞速发展，人机交互技术发展相对缓慢，传统简便常规的交互方式已显示出局限性，无法满足人们日益增长对交互多样性的需求。

手势是一种十分自然且较为常用的语义表达方式，通过手势可以对计算机设备进行智能化控制，让人们摆脱传统的操作方式(鼠标、键盘等)，使设备具有便携性。目前最常用的手势识别技术有基于模块匹配的手势识别技术、基于隐马尔科夫模型的手势识别技术以及基于神经网络的手势识别技术等。手势识别的发展历程经历了可穿戴设备和计算机视觉两个主要阶段，其中可穿戴设备的手势识别系统主要通过内部传感器发射出的电子信号分析判断手势目前的运动形态，然而可穿戴设备价格昂贵，且便携性差，在应用推广中较为困难。

人工智能技术的进步使得发展基于计算机视觉的手势识别系统成为可能，在人工智能研究领域中逐渐出现了一个新热点——基于计算机视觉的手势识别。近年来，计算机视觉技术发展非常迅速，基于视觉的手势识别技术在人工智能领域有较大的比重，主要应用于HCI、VR等场景。传统的识别方法准确率偏低(如Hu、HOG、SIFT)，复杂环境下，系统鲁棒性较差，一般的人工操作特征提取方式无法像深度学习一样，能很好地表达产品内部基本特点，如若用于模拟人类大脑，就可获得手关节运动的一些特征变化。深度学习算法主要应用于手势估计、手势识别、手语翻译等领域，并且它已成为一种新的发展趋势。

截至目前，全球新冠肺炎累计确诊超过1亿人，200余个国家和地区有确诊病例，众多国家宣布进入紧急状态，亚洲、欧洲、美洲相继成为重灾区，工厂停工、商店停业、学校停课，世界经济正在遭受前所未有的巨大挑战，这是1945年二战结束以来，全球经济体系面临的最大整体威胁。在经济全球化的今天，任何一件产品都可能是多个国家协作的产物，是全球产业链整体价值的体现。

在各大医院，为防止医务人员交叉感染，医疗物资传输问题迫在眉睫，目前各医院采取病房内外不同监管人员的方法来避免内外人员的直接接触，但医护人员数量有限，仍不能很好地遏制接触。基于以上背景，设计出一种智慧医疗背景下通过手势交互控制的物资传输设备，可将其运用于新冠疫情等传染病医疗场所，防止直接接触导致交叉感染。

发明内容

本发明的主要目的在于提供一种智慧医疗背景下交互式物资传输设备，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种智慧医疗背景下交互式物资传输设备，底座为金属开发板，其两侧设有能360度旋转的转向轮，以底座正中间为中心点，前、后两端装有三根支撑置物盘的伸缩杆，其特征在于，在底座上方的置物盘可以承受的重量已进行多次测试，且伸缩杆可以根据物品实际重量调节适当的高度，防止物品掉落。底座包含电源开关、串口通信设备、总控模块、电压输出设备以及实现关键技术的USB转TTL串口，整个设备通过供电端口提供合适电压，保证内外供电均衡。

优选的，所述智能小车的控制源为STC89C52芯片，该芯片属于51单片机系列，具有较强兼容性、实用性。

优选的，所述底座前端设有STC89C52单片机IO口，能更好地适应小车控制模式由遥控向手势交互式控制转变。

优选的，所述底座上部装有红外避障模块，在小车运行过程中，能较快检测出四周障碍物，防止小车因障碍物干扰导致物资无法及时传输。

优选的，所述底座上部装有红外循迹模块，在接收到PC端手势指令基础上，对所行路线进行测算，基于时间和空间两个维度为小车规划最短路径。

优选的，所述显示结构包括LED模块，根据手势指令，显示小车运行状态，此外，小车还配有按键模块，防止因信号紊乱导致故障。

优选的，所述控制结构包括蓝牙串口，与PC端蓝牙模块进行信号传输，读取手势信号，控制小车执行相应命令。

优选的，所述小车操作模块关键技术为基于卷积神经网络的计算机视觉技术，通过手势特征采集、图像处理、手势训练及测试，实现手势与指令的精准匹配。

优选的，所述智能小车分别由“OK”、“指向左边”、“指向右边”及“空白背景或除前三种手势外的其他手势”四种方式控制小车执行“前进”、“左转”、“右转”、“停止”的命令。

优选的，所述设备具有较强的便捷性、实用性，能够适用于设备需求量大，使用时长短的场所，如新冠等传染病的医疗场所，能有效减少直接接触，降低交叉感染概率。

优选的，所述应用场景包含但不仅限于以上所述。

与现有技术相比，本发明具有如下有益效果：

(1)本发明所选用的基础框架解决了传统框架的弊端。由于传统的识别方法需要手工提取图像特征，当手势表达方式发生改变时，识别率会明显降低。本发明采用基于TensorFlow的Keras框架进行卷积神经网络搭建，可对手势自主采集，并进行模型训练。

(2)本发明所选用的操作方式能够解决较多现实问题。首先，手势是聋哑人与正常人进行交流的重要途径，在很多情况下，正常人并不具备手语理解能力，如果能利用智能设备对聋哑人的手语进行翻译，将会大大提高聋哑人与正常人的交流效率；其次，在智慧医疗研究领域，可通过手势来遥控机器人完成精细化操作，以降低手术操作的风险。

(3)本发明所提供的一种智慧医疗背景下交互式物资传输设备具有较强的实用性、便捷性，适用场景更为广泛。目前，市面上已经出现各类物资传输设备，如海底捞智能机器人、无人机等，根据市场调查显示，如上所述的物资传输设备制作过程繁琐、原材料昂贵，导致成本过高，不适用于设备需求量大，使用时长短的场所。与现有设备相比，本发明通过手势控制，既解决了成本过高的问题，同时操作步骤简单，在本发明所列举的应用场景中能有效地减少交叉感染，为医疗场所物资传输提供了巨大便利。

附图说明

图1为本发明的模型概念图。

图2为本发明的结构示意图。

图3为本发明的PC端控制台及操作命令集。

图中1-电源开关，2-串口通信设备，3-总控模块，4-电压输出设备，5-USB转TTL串口，6-模块下载端口，7-供电端口，8-电源切换模块，9-红外信号输入模块，10-温度传感接口，11-LED模块，12-LED复位模块，13-按键模块，14-限位测控模块，15-单片机IO口，16-数码管，17-备用接口，18-显示模块，19-红外循迹模块，20-红外避障模块，21-红外循迹模块，22-红外信号输出模块，23-蓝牙串口，24-无线传感模块，25-STC89C52芯片，26-复位按键，27-警示器，28-微型测控摄像头，29-置物盘，30-转向轮，31-底座，32-伸缩杆。

具体实施方式

下面将结合本发明附图，对实施例中的技术方案进行清楚、完整地描述，显然，所描述的仅仅是本发明一部分实施例，而不是全部。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明描述中，需要说明的是，术语“前进”、“左转”、“右转”、“停止”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅为了对本发明的结构进行简化描述，而不是指示或暗示所指装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“Step1”、“Step2”、“Step3”、“Step4”仅用于表示步骤，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“操作”、“连接”应做广义理解。例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接，也可以是直接相连、通过中间媒介间接相连，或是两个元件内部的连通。对于本领域普通技术人员而言，可以视具体情况理解上述术语在本发明中的具体含义。

一种智慧医疗背景下交互式物资传输设备，底座为单片机构成的智能蓝牙小车，两侧设有转向轮，支持小车运作；底座上端设有三根能支撑置物盘的伸缩杆，伸缩杆上装设重量感应装置，能根据物品的实际重量调节合适高度；小车底座核心部件为STC89C52芯片，控制小车运行，具有较强兼容性；此外，底座还装设有蓝牙感应模块、红外避障模块、红外检测循迹模块等。本装置在进行物资传输工作时，使用蓝牙模块将小车与PC端逻辑串联，通过神经网络训练，实现手势对智能小车的控制，在传染病场所代替医务人员进行医疗物资的传递，减少医患间和医务人员间的直接接触，防止交叉感染，进一步推动智慧医疗的发展。

所述底座包含STC89C52芯片，具有较强的CPU结构及兼并性，由于它是一种内核增强型单片机，因而有利于集成处理。小车使用过程中，无需对引脚进行扩展，极大地降低了操作过程中的难度，同时小车兼容了ARM核心开发板和AVR核心开发板，在众多开发场景中均可使用。小车开发板含有2块红外循迹模块、1块红外避障模块、2个电路驱动装置、1块红外遥控模块、2节3.7V可充电锂电池、充电器以及无线网/蓝牙通信模块等。

所述底座包含微型测控摄像头，该摄像头与PC端相连，在控制端可以清晰的监测到小车行进的轨迹，提高物资传输的准确性与可靠性；所述小车底座中的红外避障模块及红外循迹模块是通过红外接收管与芯片构成放大电路，从而输出相应信号，辅助小车进行物资传输。

所述系统与小车结合前，对卷积神经网络模型进行初始训练，步骤如下：

Step1：自建手势库。首先进行图像采集，神经网络会将采集到的图像进行分类，按不同数据集放入相应文件夹，系统设置了四个手势，每个手势采集300余张图片，共1200余张图片作为数据集；

Step2：图像预处理。由于图像采集具有实时性，为降低噪声、光照等不良环境干扰，需要对图像进行预处理操作，通过图像去噪、光照补偿、形态学处理以及二值化处理，使所述数据集中的图像更为有效；

Step3：网络模型训练及参数设置。本发明的网络结构基于LeNet的基础上进行了完善，LeNet网络包含了卷积层、池化层、全连接层，由于其网络规模较小，在本发明设定的手势识别系统网络结构中，模型参数、卷积核个数、卷积核大小、网络层数等方面均进行了一定程度的修改；

Step4：网络性能监测。在TensowFlow的环境下，以15个epoch(周期)为训练过程，当卷积神经网络完成一次完整训练后，数据集会正比例递增，这时网络性能也会随之呈上升趋势。随着epoch的增加，网络性能亦会逐渐变好，当epoch到达8时便开始出现收敛现象，即数据集递增趋势逐渐降低，达到饱和状态。

(一)实施例1

本发明自建了一个数据分析处理后的小型手势数据集，包括四个手势，即“forward”、“left”、“right”以及“stop”，分别对应小车的四种状态，即“前进”、“左转”、“右转”以及“停止”。具体的，前进则是“OK”的手势，左转则使用右手食指指向左边，右转则使用同样手指指向右边，停止则是空白背景或除前三种手势外的其他手势。图像被提取后，需要进行预处理，而处理后最终会有1200余张图像存放在手势集中，提高了识别的准确性。

智慧医疗背景下交互式物资传输设备共四个模块，首先要进行手势采集，通过功能界面对每个手势拍摄300余张实时图像，便于手势库的建立。拍摄完毕后，将这些图像传送到下一模块进行识别处理，即肤色分割、二值化、增强光照等，最后放在卷积神经网络中进行训练，并应用到智能小车控制中，实现物资传输功能。在初始界面中设置有单独窗口，用于捕捉图像，同时还可以调出该系统的acc图和loss图，确定性能峰值，更好的了解网络特性。

(二)实施例2

本发明PC端显示的初始菜单选项如下：

1-Use pretrained model for gesture recognition&layer visualization

2-Train the model(you will require image samples for training underlimgfolder)

3-Visualize feature maps of different layers for trained models

4-Exit

1号功能为图像采集，需要对四种手势各拍摄300余张照片，选择1号功能后，图像采集窗口和功能选择界面会自动弹出，其后需要用到两个选项，即“n”和“s”。输入“n”，再输入手势名称“forward”，按“s”开始采集，完毕后进行下一个手势“left”的采集，步骤同上。所有手势采集完后，在程序总文件夹中，每种手势会各自生成一个子文件夹，将四个子文件夹里的图片剪切到总文件夹中的imgfolder文件夹中，开始训练，训练次数达8次左右即可将网络速率提升至0.95s左右。

(三)实施例3

在实施例2的基础上，为了方便进行控制操作，训练完毕后调出菜单，选择3号功能，可视化该神经网络中的所有模型，比较其性能，选取最优模型，再返回菜单选择2号功能，输入所选择最优模型的序号，开始操作；将小车通电后需要查验小车蓝牙提示灯是否处于快闪状态，如不是，则重连电源，否则进入下一步；将蓝牙模块插入电脑USB接口，通过蓝牙串口将小车与PC端逻辑串联，实现本发明所述应用。

对于本领域技术人员而言，显然本发明不限于上述实施例，在不违背本发明精神或基本特征的情况下，还能够以其他形式实现本发明。因此，从各方面来看，所述实施例都应具有示范性和非限制性。本发明的适用范围由所附权利要求说明，因此凡属于权利要求同等含义和范围内的所有延展技术或应用均囊括在本发明内，不应将权利要求中的任何附图、标记视为限制所涉及权利范围的因素。

此外，应当理解，虽然本说明书按照实施方式已经加以描述，但每个实施方式并非仅包含一个独立的技术或应用方案，说明书这种叙述方式仅为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术或应用方案也可适当组合，形成本领域技术人员能够实现的其他方案。

Claims (11)

1.一种智慧医疗背景下交互式物资传输设备，底座(31)为金属开发板，其两侧设有能360度旋转的转向轮(30)，以底座(31)正中间为中心点，前、后两端装有三根支撑置物盘(29)的伸缩杆(32)，其特征在于，在底座(31)上方的置物盘(29)可以承受的重量已进行多次测试，且伸缩杆(32)可以根据物品实际重量调节适当高度，防止物品掉落。底座(31)包含电源开关(1)、串口通信设备(2)、总控模块(3)、电压输出设备(4)以及实现关键技术的USB转TTL串口(5)，整个设备通过供电端口(7)提供合适电压，保证内外供电均衡。

2.根据权利要求1所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述智能小车控制源为STC89C52芯片(25)，该芯片属于51单片机系列，具有较强兼容性、实用性。

3.根据权利要求1所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述底座(31)的前端设有STC89C52单片机IO口(15)，能更好的适应小车控制模式由遥控向手势交互式控制转变。

4.根据权利要求1所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述底座(31)上部装有红外避障模块(20)，在小车运行过程中，能较快检测出四周障碍物，防止小车因障碍物干扰导致物资无法及时传送。

5.根据权利要求4所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述底座(31)上部装有红外循迹模块(19)，在接收到PC端手势指令基础上，对所行路线进行测算，基于时间和空间两个维度为小车规划最短路径。

6.根据权利要求1所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述显示结构包括LED模块(11)，根据手势指令，显示小车运行状态。此外，小车还配有按键模块(13)，防止因信号紊乱导致故障。

7.根据权利要求1或2所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述控制结构包括蓝牙串口(23)，与PC端蓝牙模块进行信号传输，读取手势信号，控制小车执行相应命令。

8.根据权利要求7所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述小车操作模块关键技术为基于卷积神经网络的计算机视觉技术，通过手势特征采集、图像处理、手势训练及测试，实现手势与指令的精准匹配。

9.根据权利要求1所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述智能小车分别由“OK”、“指向左边”、“指向右边”及“空白背景或除前三种手势外的其他手势”四种方式控制小车执行“前进”、“左转”、“右转”、“停止”的命令。

10.根据权利要求1或2或3所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述设备具有较强的便捷性、实用性，能够适用于设备需求量大，使用时长短的场所，如新冠等传染病的医疗场所，能有效减少直接接触，降低交叉感染概率。

11.根据权利要求10所述的一种智慧医疗背景下交互式物资传输设备，其特征在于，所述应用场景包含但不仅限于以上所述。

Images