CN113520469B - 基于机器视觉的医疗采样快速候检方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的医疗采样快速候检方法，依托6自由度侯检椅充分利用机器视觉算法，可以实现对患者的身份信息核验、自动送检、在正式采样前对患者位姿进行调整等功能。当患者进入待采样区域时坐入侯检椅，通过其搭载的微型计算机对患者进行身份核验。核验成功后，侯检椅通过循迹控制模块，延地面既定轨道向采样区运动。在正式采样前候诊椅经过一缓冲区，在缓冲区内，通过另一摄像头捕捉人体姿态信息，利用人体姿态估计算法和6自由度侯检椅对患者位姿进行必要调整，其目的在于方便医生采样，缩短整体采样时长。本方法不拘泥于咽拭子采样，也不针对采样瞬间的自动化，更在于协助减少采样时长、实现侯检无人化引导、保护医患和可灵活部署。

Description

基于机器视觉的医疗采样快速候检方法

技术领域

本发明涉及一种医疗卫生装备技术，特别涉及一种基于机器视觉的医疗采 样快速候检方法。

背景技术

在防疫过程中需要进行常态化的大量的咽拭子采样人机协作咽拭子采样系 统的研制不仅能够减轻医护人员负担，加快咽拭子采样效率，减少医护人员感 染几率，还为主动应对未来可能发生的类似传染性疾病具有重要意义。

根据检疫工作的需要，现已催生出很多关于拭子采样的专利，极大数量的 专利思考方向都是对采样器具的发明改进、使用机器人代替医护采样的装置甚 至有为方便采样而为患者设计的座椅。在对采样器具的改进发明方面，一种新 型咽拭子采集器(专利公告号CN212574900U)，该专利可以防止患者呛咳时口 中的气体或飞沫直接喷向采集者，有效避免医护人员感染，保证咽拭子采样时 的安全性。在使用自动化机器人采样方面，一种咽拭子自动采样系统(专利公 告号CN111631754A)，该专利使用多模块单元以实现人员定位、样本采集和样 品自动装卸，利用图像处理技术与深度相机结合可以实现机器人代替医护人员 采样，正如该专利摘要中所提到的，此系统实现了咽拭子采集过程的全自动化。 在为患者设计采样座椅方面，咽拭子采样专用椅(CN112754856A)，该专利主 要发明内容是一个可以手动调节预采样人员空间位置的咽拭子采样座椅，发明 意在解决患者坐姿不舒适医护人员工作效率低的问题。

综上所述，可以看出这些专利的设计初衷更侧重于在瞬时采样过程的安全 性、高效性和舒适性，却极大程度上忽视了采样前的准备工作和采样后的患者 撤离工作，并且这两大过程对于缓解医护人员的工作压力和避免交叉感染同样 极为重要，而且充分利用候诊的时间为采样过程做好基础也是加快采样过程的 重要手段。

发明内容

针对提高医疗采样效率问题，提出了一种基于机器视觉的医疗采样快速候 检方法，基于使用人脸识别算法和人体姿态估计算法，结合装备超声波避障传 感器和红外传感器的6自由度候检椅，实现缩短候检时间提高采样效率、候诊 过程的无人化引导、确定采样前患者位姿已满足采样时位姿要求、避免因候诊 造成交叉感染。

本发明的技术方案为：一种基于机器视觉的医疗采样快速候检方法，患者 从入口首先进入身份核验区，座入6自由度候检椅后，进行身份核实，身份核 实后候检椅沿着轨迹线依次进入等候采样区、位姿调整区调整采样位姿、采集 区进行采样，采样完毕，候检椅沿着轨迹线将患者送至出口后，候检椅沿轨迹 线通过候检椅消毒区进行消毒后再返回至入口位置，候检椅准备进入下一个工 作周期；所述位姿调整区设有位姿摄像头的微型计算机，位姿摄像头捕获患者 的位姿图像信息，并通过显示屏显示出患者当前位姿状态，微型计算机对捕捉 到的图像进行目标检测和人体关节点识别，并将识别结果与先验知识进行比对， 估计出位姿调整信号，微型计算机通过TCP通信协议将估计结果传输给候检椅 的机构运动控制单元，对候检椅位姿调整，直到识别到的人体姿态满足下一步 的采样时位姿要求。

进一步，所述候检椅上通过支架在候检椅前上方搭载带有摄像头的第一微 型计算机，通过摄像头扫描座入候检椅患者脸部进行身份信息核验，确保身份 信息无误并伴随语音提示，同时解锁候检椅，候检椅开始运动。

进一步，所述候检椅下方布置红外传感器，候检椅的左右扶手下分别布置 了超声波避障传感器的发射器和接收器，红外线传感器用来识别轨迹线，实现 沿轨迹线自动行走；超声波避障传感器用于距离识别，在采样过程中，保证患 者与患者之间保持安全距离，在进入区域时的停止与通过。

进一步，所述候检椅包括运动单元、升降单元和平移单元；运动单元为候 检椅的底部四个轮子，两个驱动轮和两个转向轮；升降单元包括4个推杆电机， 并对四个推杆电机实施分布式运动控制，使每个推杆伸缩不同的长度，进而实 现对座椅的升降、摆动和俯仰动作控制；平移单元包括两个线性步进电机，将 候检椅的座椅固定在线性步进电机上以实现座椅的水平位置调整。

进一步，所述在位姿调整区出入口处设置闸机，当侯检椅靠近位姿调整区 时，超声波避障传感器检测到控制进入位姿调整区人数的闸机阻碍迫使侯检椅 停下；识别到的人体姿态满足下一步的采样时位姿要求后触发位姿调整区出口 处的闸机开启，超声波避障传感器检测后启动侯检椅离开位姿调整区。

本发明的有益效果在于：本发明基于机器视觉的医疗采样快速候检方法， 利用机器视觉算法加以一种6自由度候诊椅相辅，可以全自动地实现对被采样 者的身份信息确认、排队候检和采样前患者位姿调整等功能，使患者快速进入 采样瞬时状态，而不需要在采样窗口有过长时间的逗留。并在采样结束后通过 候检椅将被采样者送至采样区域出口处，候检椅经过消毒后沿轨迹线回到起始 位置，准备进入下一个工作周期。

附图说明

图1为本发明基于机器视觉的医疗采样快速候检方法的实施流程图；

图2为本发明基于机器视觉的医疗采样快速候检方法的应用现场布局示意图；

图3为本发明基于机器视觉的医疗采样快速候检方法中候检椅示意图；

图4为本发明基于机器视觉的医疗采样快速候检方法在实现人体姿态调整示意图。

附图标识：1、身份核验区；2、等候采样区；3、位姿调整区；301、入口闸机；302、出口闸机；4、采集区；401、采样窗口；5、候检椅消毒区；6、轨道线； 7、第一摄像头；8、第一微型计算机；9、候检椅；901、红外传感器；902、超 声波避障传感器；903、转向轮；904、驱动轮；905、支架；10、第二微型计算 机；11、第二摄像头；12、纵向位姿调整机构；13、横向位姿调整机构；14、 转动位姿调整机构。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技 术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明 的保护范围不限于下述的实施例。

一种基于机器视觉的医疗采样快速候检方法，如图1所示实施流程图和图2 所示应用现场布局示意图，具体包括如下步骤：

步骤一，准备进行采样的患者从入口处进入等候采样区2前，患者需要先 在身份核验区1进行身份信息核验，身份核验区1有一6自由度候检椅将患者 接入排队序列；

步骤二，如图3所示候检椅示意图，候检椅9将在身份核验区1内接入患 者，当患者坐上候检椅9后，候检椅9不会立即向等候采样区2方向运动，候 检椅9上通过支架905搭载一台具备第一摄像头7的第一微型计算机8，通过第 一摄像头7扫描座入候检椅9患者脸部进行身份信息核验，确保身份信息无误 并伴随语音提示后，同时解锁候检椅，候检椅9启动并向指定等候采样区2运 动；

步骤三，当候检椅9承载患者匀速运动时，因地面涂装了区别于地面颜色 的轨迹线6，候检椅下方的红外传感器901可捕捉轨迹信息，使候检椅9自动沿 既定轨迹线6运动而不需要人工引导；

步骤四，在候检椅9匀速运动过程中，当存在某些外界因素导致轨道内出 现障碍物时，候检椅9搭载的超声波避障传感器902会使候检椅9停止运动， 此功能主要是针对候检椅9的运动方向上可能出现候检堵塞现象，或者进入位 姿调整区3后需要候检椅9止停，亦或某些患者在准备采样时需要与其他患者 之间保持一定的安全距离等目的而设计的；

步骤五，候检椅9从等候采样区2驶出进入位姿调整区3需要候检椅9止 停，当患者在即将进行采样前会经过一缓冲区域，即位姿调整区。如图4所示 实现人体姿态调整示意图，在位姿调整区设有第二摄像头11的第二微型计算机 10，第二摄像头11捕获患者的位姿信息，并通过显示屏显示出患者当前位姿状 态，利用人体姿态估计算法，通过与先验知识进行比对，结合候检椅9的多自 由度运动机构(纵向位姿调整机构12、横向位姿调整机构13、转动位姿调整机 构14)，将患者的位姿调整至最佳采样状态；

步骤六，患者位姿调整完毕，候检椅9将患者送至采集区4的采样窗口401 进行采样；

步骤七，采样完毕，候检椅9将患者送至出口后，候检椅9沿轨迹线6通 过候检椅消毒区5进行消毒后再返回至入口位置，候检椅9准备进入下一个工 作周期。

所述的6自由度候检椅9的6个自由度分别是指：候检椅9底部的轮子沿 轨迹水平运动(X轴直线运动)和转弯(绕Z轴转动)2个自由度；候检椅9的 升降机构由四个推杆电机组成，可以实现垂直升降运动(Z轴直线运动)、椅子 左右摆动(绕Y轴转动)和椅子俯仰摆动(绕X轴转动)3个自由度；候检椅的 升降机构与椅子之间是平移机构，可以实现椅子的水平运动(沿Y轴直线运动) 1个自由度。将整个候检椅9划分成三个组成单元，即运动单元、升降单元和平 移单元。运动单元是指候检椅9的底部装有四个轮子，包括两个驱动轮904和 两个转向轮903；升降单元是由4个推杆电机组成，并对四个推杆电机实施分布 式运动控制，可使每个推杆伸缩不同的长度，进而实现对座椅的升降、摆动和 俯仰动作控制；平移单元是由两个线性步进电机组成，将候检椅9的座椅部分 固定在线性步进电机上以实现座椅的水平位置调整。

所述的候检椅9在经过位姿调整区时会对患者坐姿进行适当调整。位姿调 整区的第二摄像头11用于捕获人体姿态信息，并将图像信息传送至第二微型计 算机10中，通过人体姿态估计算法估计此时人体坐姿是否符合采样时的姿态标 准。首先，使用过分割方法对图像内容进行选择性搜索，并生成大约2000个候 选区域。通过观察现有的区域，以最高概率合并两个区域。重复此步骤，直到 所有图像合并为一个区域位置。此时，所有已经存在的区域都被输出，并生成 候选区域；其次，使用卷积网络提取图片特征。在获取特征映射之后，需要卷 积神经网络来进行卷积操作；最后，在第二步进行的卷积操作过后可以得到特征图，然后确保每个区域的后续分类可以正常执行。在判断人体坐姿是否符合 采样标准坐姿时，第二微型计算机通过TCP通信协议与6自由度候检椅9进行 通信，此时患者只需将身体贴合座椅，然后候检椅9会根据第二微型计算机10 传输进来的姿态估计结果信号，经过候检椅9的各个运动单元调整，达到改变 人体位姿的目的，直至第二微型计算机显示人体姿态满足采样姿态标准，患者 可以通过缓冲区准备进入采集区4。

所述的候检椅9循迹运动，在实现该过程中本发明创新性的将超声波避障 传感器902和红外传感器901应用其中，本发明为实现候诊过程的无人化引导 快速候检功能，使用了自动循迹控制系统，用于候诊椅9循迹的轨迹线6可以 根据医院的实际需求和场地条件快速部署或者灵活调整，红外线传感器901的 作用是用来识别轨迹线。超声波避障传感器902的应用除了保证在候检椅运动 过程中紧急避障以外，主要起到两个作用：一是在采样过程中，患者与患者之 间需要保持一定的安全距离，当使用超声波避障传感器后就可以保证在没有人 工干预的情况下，患者之间保持安全距离。并且在候诊过程中发生堵塞时，可使正在运动的候诊椅自动止停。二是在位姿调整区出入口处设置闸机，需要利 用超声波避障传感器902控制候检椅9在闸机前的停止与通过。

当患者身份核验成功后如图3所示，红外传感器901和超声波避障传感器 902已经开始工作，在整个候检区域的地面上已经使用了区别于地面颜色的颜料 画出预设轨迹线6，通过红外传感器901识别这种特殊的轨迹线6可以实现候检 椅的自动循迹运动。经此设计，候检过程不再需要医护人员或志愿者对患者队 伍进行指挥引导，一定程度上节省了人力物力。在候检椅9驶入如图2所示的 一段较长的等候采样区2，由于某些患者疾病具有传染性，在排队过程中患者与 患者之间需要保持一定的安全距离，或者轨迹线6上肯能会出现某些不可预知 的障碍物。基于上述情况，出于对患者人身安全进行保护的目的，本发明在候 检椅9的左右扶手下分别布置了超声波避障传感器902的发射器和接收器，在 检测到障碍物时候检椅可自动停止运动。

当前方障碍消失后，候检椅9将进入位姿调整区3。在进入位姿调整区3之 前先经过一个位姿调整区入口闸机301，设置此闸机的目的在于控制输入患者数 量，在位姿调整区3一次只能进入一定数量的患者，以避免患者在位姿调整区3 被交叉感染。

如图4所示，患者正式进入位姿调整区并开始进行位姿调整。

首先，本发明将使用第二摄像机11捕捉人体姿态信息，并将人体姿态信息 传输至第二微型计算机10中。

其次，使用人体姿态估计算法对第二摄像机11捕捉到的图像进行目标检测 和人体关节点识别，并将识别结果与先验知识进行比对，如果识别到的人体姿 态结果不满足下一步的采样时位姿要求，第二微型计算机10与候检椅9之间将 通过TCP通信协议将估计结果传输给候检椅9的机构运动控制单元。随之，候 检椅9的升降单元和平移单元将被启动，这两个单元满足了候检椅9六个自由 度中的4个自由度，通过候检椅9的转动位姿调整机构14、横向位姿调整机构 13和纵向位姿调整机构12实现患者全方位位姿调整。

所述的侯检椅在经过位姿调整区域时会对患者坐姿进行适当调整。位姿调 整区的第二摄像头用于捕获人体姿态信息，并将图像信息传送至第二微型计算 机中，通过人体姿态估计算法估计此时人体坐姿是否符合采样时的姿态标准。 首先，使用过分割方法对图像内容进行选择性搜索，并生成大约2000个候选区 域。通过观察现有的区域，以最高概率合并两个区域。重复此步骤，直到所有 图像合并为一个区域位置。此时，所有已经存在的区域都被输出，并生成候选 区域；其次，使用卷积网络提取图片特征。在获取特征映射之后，需要卷积神 经网络来进行卷积操作；最后，在第二步进行的卷积操作过后可以得到特征图， 然后确保每个区域的后续分类可以正常执行。在判断人体坐姿是否符合采样标 准坐姿时，微型计算机2通过TCP通信协议与6自由度侯检椅进行通信，此时 患者只需将身体贴合座椅，然后侯检椅会根据微型计算机2传输进来的姿态估 计结果信号，经过侯检椅的各个运动单元调整，达到改变人体位姿的目的，直 至微型计算机2显示人体姿态满足采样姿态标准，患者可以通过缓冲区准备进 入样品采集区。

本发明中升降单元除了承担对座椅高度进行纵向调节任务外，还可实现对 患者的俯仰姿态和左右位置摆动进行微调。具体实现方式是使用了一组(4个) 电动推杆，利用分布式控制方法可以实现每个电动推杆的推杆伸缩长度不同， 进而达成上述目的。本发明所使用的4个电动推杆参数规格均是电压24V，推力 1400N，速度7mm/s，对于推杆的有效行程可根据实际情况改变。在平移单元本 发明使用了一组(2个)线性步进电机，可实现患者水平位置的前后调整。本发 明所使用的2个线性步进电机参数规格均是工作电流6A，最大负载60Kg，速度 20mm/s～80mm/s，对于推杆的有效行程可根据实际情况改变。

最后，在候诊椅9各个运动单元对患者的位姿不断进行调整时，第二摄像 机11对患者姿态信息进行实时捕捉，由人体姿态估计算法进行评估，直至位姿 调整满足要求后，第二微型计算机10发出信号示意通过。此时，位姿调整区出 口闸机302打开，障碍物(闸机门)消失后候检椅9继续沿轨迹线6进行运动。

通过位姿调整后患者将进入正式采样过程。如图2所示，候诊椅9将患者 带至采集区4，患者的被采样部位朝向采样窗口401准备进行采样。由于采样过 程所涉及的器具和采样方式不是本发明所涉及的发明内容，所以不进行具体描 述。

如图2所示，在患者采样完毕后候检椅9将患者送至出口处，患者离开。 患者离开后，候检椅9继续沿轨迹线6运动，经过一候检椅消毒区5对候检椅9 进行消杀后，候检椅9回到起始位置准备迎接患者并进入下一工作周期。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的 普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改 进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权 利要求为准。

Claims (1)

1.一种基于机器视觉的医疗采样快速候检方法，其特征在于，患者从入口首先进入身份核验区，坐入6自由度候检椅后，进行身份核实，身份核实后候检椅沿着轨迹线依次进入等候采样区、位姿调整区调整采样位姿、采集区进行采样，采样完毕，候检椅沿着轨迹线将患者送至出口后，候检椅沿轨迹线通过候检椅消毒区进行消毒后再返回至入口位置，候检椅准备进入下一个工作周期；所述位姿调整区设有包括位姿摄像头的微型计算机，位姿摄像头捕获患者的位姿图像信息，并通过显示屏显示出患者当前位姿状态，微型计算机对捕捉到的图像进行目标检测和人体关节点识别，并将识别结果与先验知识进行比对，估计出位姿调整信号，微型计算机通过TCP通信协议将估计结果传输给候检椅的机构运动控制单元，对候检椅位姿调整，直到识别到的人体姿态满足下一步的采样时位姿要求；所述候检椅上通过支架在候检椅前上方搭载带有摄像头的第一微型计算机，通过摄像头扫描坐入候检椅患者脸部进行身份信息核验，确保身份信息无误并伴随语音提示，同时解锁候检椅，候检椅开始运动；所述候检椅下方布置红外传感器，候检椅的左右扶手下分别布置了超声波避障传感器的发射器和接收器，红外线传感器用来识别轨迹线，实现沿轨迹线自动行走；超声波避障传感器用于距离识别，在采样过程中，保证患者与患者之间保持安全距离，控制候检椅在进入区域时的停止与通过；在所述位姿调整区出入口处设置闸机，当侯检椅靠近位姿调整区时，超声波避障传感器检测到控制进入位姿调整区人数的闸机阻碍迫使侯检椅停下；识别到的人体姿态满足下一步的采样时位姿要求后触发位姿调整区出口处的闸机开启，超声波避障传感器检测后启动侯检椅离开位姿调整区。