CN113842172B - 基于模板匹配与算数平均的咽后壁视触识别装置 - Google Patents
基于模板匹配与算数平均的咽后壁视触识别装置 Download PDFInfo
- Publication number
- CN113842172B CN113842172B CN202111147202.5A CN202111147202A CN113842172B CN 113842172 B CN113842172 B CN 113842172B CN 202111147202 A CN202111147202 A CN 202111147202A CN 113842172 B CN113842172 B CN 113842172B
- Authority
- CN
- China
- Prior art keywords
- pharyngeal
- pharyngeal wall
- swab
- wall
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 50
- 238000012935 Averaging Methods 0.000 title claims abstract description 13
- 230000010365 information processing Effects 0.000 claims abstract description 56
- 238000005070 sampling Methods 0.000 claims abstract description 46
- 210000000214 mouth Anatomy 0.000 claims abstract description 39
- 238000012937 correction Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 210000003800 pharynx Anatomy 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 210000003300 oropharynx Anatomy 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000004927 fusion Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 208000035473 Communicable disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/0045—Devices for taking samples of body liquids
- A61B10/0051—Devices for taking samples of body liquids for taking saliva or sputum samples
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Abstract
本发明公开了一种基于模板匹配与算数平均的咽后壁视触识别装置，包括：咽后壁视觉信息处理模块，用于采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；咽拭子触觉信息处理模块，用于采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；识别与定位模块，综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。本发明通过机器视觉、力感触觉，引入机器人技术进入口咽拭子采样流程，视触融合精准完成咽后壁(口咽拭子采集部位)的准确识别与定位。
Description
技术领域
本发明涉及医学检测、咽拭子采集、医疗机器人等领域，尤其涉及一种基于模板匹配与算数平均的咽后壁视触识别装置，该装置通过视触信息综合处理，机器人智能完成咽试子采集部位——咽后壁的准确识别与定位，为机器人高效便捷地完成咽拭子采样提供技术支撑。
背景技术
口咽拭子是一种从咽喉处收集鼻腔分泌物的临床测试样本的方法，对采集样本进行分析，以确定是否存在生物体或其他疾病的临床标记。面对COVID-19、SARS等新发突发传染病疫情，咽拭子采样是疫情防控的有效手段。目前口咽试子采样均采用人工方式，医护人员需全天穿戴防护服工作，采样工作负荷高，消耗大量医疗人力资源。引入机器人技术进入口咽拭子采样流程，替代医护人员完成咽试子采集，具有重要的现实需求和社会意义。
咽后壁(口咽试子采集部位)的准确识别与定位是机器人咽拭子采样面对的核心问题。目前通常的解决方案为机器人远程遥操作，医护人员在后端通过视频和力感设备远程确认咽后壁位置。其本质还是人工确认，对于医护人员的学习曲线高，医护人员工作负荷下降十分有限。
发明内容
本发明提供了一种基于模板匹配与算数平均的咽后壁视触识别装置，本发明针对新冠疫情期间的核酸检测咽拭子采样需求，引入机器人技术进入口咽拭子采样流程，设计了基于模板匹配的咽后壁视觉信息处理、基于算数平均的咽拭子触觉信息处理，通过机器视觉、力感触觉，完成口咽拭子区域的准确智能识别，为机器替代人完成咽拭子自动采样提供重要信息参考，推进人机共融智能操作的新型咽拭子采样模式，详见下文描述：
第一方面，一种基于模板匹配与算数平均的咽后壁视触识别装置，所述识别装置包括：
咽后壁视觉信息处理模块，用于采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
咽拭子触觉信息处理模块，用于采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
识别与定位模块，综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。
第二方面，一种基于模板匹配与算数平均的咽后壁视触识别装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行以下步骤：
采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。
第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第二方面中的处理器中的步骤。
本发明提供的技术方案的有益效果是：
1、本发明公开的视触融合的咽后壁识别框架，综合利用视觉摄像头和力觉传感器信息，完成咽后壁(口咽试子采集部位)的准确识别与定位，为机器人自主完成咽拭子采样提供重要的信息参考；
2、本发明通过构建咽拭子采用空间模板，利用68个人脸关键点与口咽位置的拓扑结构关系，完成咽后壁的准确识别与定位；
3、本发明设计的基于算数平均的咽拭子触觉信息处理，有效过滤平台振动等力反馈噪声信息，保证样本有效采集的最小力度，提升采集有效性，同时避免对口腔内壁组织的过度损伤。
附图说明
图1为一种基于模板匹配与算数平均的咽后壁视触识别装置的结构示意图；
图2为咽后壁视觉信息处理模块的结构示意图；
图3为咽拭子触觉信息处理模块的结构示意图；
图4为视触融合的咽后壁识别装置的内部流程图；
图5为人脸68个特征点位置示意图；
图6为基于模板匹配的咽后壁视觉信息处理的技术示意图；
图7为基于模板匹配的咽后壁视觉信息处理的流程图；
图8为相机坐标系咽部区域包络测试结果的示意图；
其中，坐标轴单位为毫米。
图9为基于算数平均的咽拭子触觉信息处理的流程图；
图10为一种基于模板匹配与算数平均的咽后壁视触识别装置的另一结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
针对以上问题，从实际出发，本发明实施例利用人工智能技术，设计了一种基于模板匹配与算数平均的咽后壁视触识别装置，参见图1，该识别装置包括：基于模板匹配的咽后壁视觉信息处理模块1、基于算数平均的咽拭子触觉信息处理模块2、及识别与定位模块3，
咽后壁视觉信息处理模块1，用于采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
咽拭子触觉信息处理模块2，用于采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
识别与定位模块3，综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。
通过上述三个模块之间的相互配合使得机器人能自主完成咽后壁的准确识别与定位，为机器替代人完成咽拭子自动采样提供重要的信息参考。
应用机器人技术完成咽拭子采样，必须准确定位采样区域。不同于传统遥操作采样机器人的后端人工确认方式，本发明实施例综合运用摄像头和力觉传感器，构建智能识别与定位咽拭子采样的空间有效区域，通过基于模板匹配的咽后壁视觉信息处理利用视觉信息划定咽后壁的空间坐标区域，基于算数平均的咽拭子触觉信息处理对咽后壁的深度坐标区域进行精细校正，综合划定咽拭子有效采样区域(咽后壁)的空间坐标。通过基于模板匹配的咽后壁视觉信息处理应用视觉技术划定咽后壁的空间坐标区域，将摄像头布置在人脸的对面位置，确保采集对象的人脸区域准确获取，获取包含人脸的二维彩色图像，然后通过模板匹配检测，获取68个人脸关键点坐标确定口腔嘴唇的坐标位置，当人张嘴待采集时，其咽后壁和口腔嘴唇具有生理结构的拓扑关系，根据口腔与咽后壁的空间拓扑关系计算出咽后壁的空间坐标区域。
即，参见图2，该咽后壁视觉信息处理模块1包括：
第一获取单元11，用于运用摄像头获取包含人脸的二维彩色图像，通过模板匹配检测获取人脸关键点坐标进而确定口腔嘴唇的坐标位置；
第二获取单元12，用于根据口腔与咽后壁的空间拓扑关系计算出咽后壁的空间坐标区域。
进一步地，第一获取单元11包括：
检测通过二维彩色图像对嘴部外轮廓进行检测，通过像素坐标系的二维坐标对相机坐标系三维坐标的转换，完成对嘴部关键点在相机坐标系下三维坐标的解算，通过人体嘴部和咽后壁的生理拓扑关系，得到咽后壁空间位置坐标，坐标连接成的连通区域即为定位的咽部区域。
基于算数平均的咽拭子触觉信息处理应用力觉域识别技术划定咽后壁的深度坐标区域，将力觉传感器布置在咽拭子后端，与拭子处于一条水平线上。力觉传感器可获取拭子端的受力情况，基于算数平均完成连续触觉信号处理，平衡准确度和灵敏性，确定信号采样频率(N)、采样力觉平均值(M)和力觉域带宽(U)，精确校正咽后壁的深度坐标区域。从而获取咽后壁的完整空间坐标，为咽拭子机器采样提供重要信息支撑。
即，参见图3，该咽拭子触觉信息处理模块2包括：
布置单元21，用于将力觉传感器布置在咽拭子后端与拭子处于一条水平线上；
处理单元22，用于基于算数平均完成连续触觉信号处理，确定信号采样频率、采样力觉平均值和力觉域带宽；
校正单元23，用于校正咽后壁的深度坐标区域，划定咽拭子有效采样区域的空间坐标。
进一步地，该处理单元22包括：
力度传感器根据时序定期的回传检测到的咽拭子末端力度数据，采用基于算数平均的咽拭子触觉信息处理，连续取N个采样值进行算数平均运算；
平均值稳定M±U时，很好的完成采集流程，在触碰到咽后壁时及时停止。
其中，算数平均值≤M-U时，增加进给；相反减少进给，深度方向进给量≤1mm/采样周期。
参见图4，该识别装置的内部工作流程如下所示：
1、摄像头实时获取采集对象的人脸信息；
2、采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系，映射到世界坐标系；
3、采用驱动机构(机械臂、多轴云台等)将咽拭子运送到指定位置；
4、采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的精确校正，确保有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
5、综合咽后壁的空间坐标和深度校正数据，完成咽后壁的空间识别和定位后，可以传输信号告知机器人开始采集。
综上所述，本发明实施例通过上述模块之间的相互配合实现了通过机器视觉、力感触觉，完成口咽拭子区域的准确智能识别，为机器替代人完成咽拭子自动采样提供重要信息参考，推进人机共融智能操作的新型咽拭子采样模式。
实施例2
下面结合图1-图9，计算公式，算例对实施例1中的方案进行进一步地介绍，详见下文描述：
(一)基于模板匹配的咽后壁视觉信息处理
准确识别咽拭子采集的口腔咽后壁的准确位置是机器人采集的关键所在，本发明实施例设计了基于模板匹配的咽后壁视觉信息处理，通过给定的二维彩色图像，解算出咽后壁(咽拭子采样部位)相对于相机的空间分布情况，即获取咽后壁(咽拭子采样部位)在相机坐标系下的坐标空间，技术路线如图4所示。
基于模板匹配的咽后壁视觉信息处理通过二维彩色图像对嘴部外轮廓进行检测，通过像素坐标系的二维坐标对相机坐标系三维坐标的转换，完成对嘴部关键点在相机坐标系下三维坐标的解算，通过人体嘴部和咽后壁的生理拓扑关系，得到咽后壁空间位置坐标，坐标连接成的连通区域即为定位的咽部区域。咽部定位算法总共分为以下四个步骤：
(1)通过咽拭子采集机器人上部署的相机获取包含人脸的二维彩色图像；
(2)通过人脸检测与人脸关键点检测算法，提取二维图像中的68个人脸关键点坐标；
(3)参见图5，将像素坐标系中人脸68个关键点坐标中的左右眉顶点坐标(标号18/22/23/27，共四个)、左右眼顶点坐标(标号37/40/43/46，共四个)、鼻子顶点坐标(标号32/36，共两个)、嘴部外轮廓坐标(标号49/51/25/53/55/57/58/59，共8个)、下颚坐标(标号9，共一个)与对应的世界坐标系关键点三维坐标进行匹配，通过PnP(Perspective-N-Point，N点空间配备)算法与摄像机给定的内参数(图6中方框内，图像坐标系到像素坐标系的变换矩阵与相机镜头畸变参数)解算出相机的外部参数(世界坐标系相对相机坐标系的旋转与平移矩阵[R|T])；
(4)通过解算出的旋转与平移矩阵[R|T]，及像素坐标系的二维坐标(x，y)，获得嘴部外轮廓在相机坐标系下的三维坐标值(XC，YC，ZC)，形成针对嘴部的包络，完成对嘴部的定位，同时根据解算出的头部位姿信息及时给出调整建议。
例如：如果嘴部位置距离采样中心位置偏上大于2cm，就提示采集者其向下调整头部，如偏下大于2cm，提示采集者其向上调整头部，同理适用于左右位置，本发明实施例对此不做赘述。
其中，dX与dY的意义分别为每个像素所占的实际宽度和高度值(像素的物理尺寸，量纲为毫米)。公式(1)表示理想图像坐标系到真实像素坐标系的映射关系。
其中，f为相机焦距相机坐标系、世界坐标系(XW，YW，ZW)为模板固有指标。由以上公式(1)、公式(2)、公式(3)可推导出下述公式(4)，通过公式(4)计算得出参数Zc，参数Xc，Yc的取值与XW，YW相同。
(5)嘴部三维坐标(XC，YC，ZC)与咽后壁空间位置(XM，YM，ZM)具有生理结构的拓扑关系，参数由临床实验结果完成微调整定。例如：人体正常开口度在4cm-6.5cm之间，咽后壁深度距离嘴部6cm-7cm，咽后壁的平面位置位于嘴部中心点二侧，如图6中可以看出。当由嘴部三维坐标(XC，YC，ZC)连接得到嘴部包络线后，其包络线中心点二侧0.6cm-1cm处可划定位咽后壁二个中心点。距离中心点边长R(可设定为0.86mm)的矩形区域为咽后壁平面位置(XM，YM)。咽后壁深度坐标ZM为ZC减去K(可设定为65mm)，深度坐标ZM随后会通过力觉方法进行进一步校正。
图7为基于模板匹配的咽后壁视觉信息处理的流程图。本发明实施例设计在相关咽拭子采集视频数据上进行了测试工作，相关测试结果如图8所示。二维彩色图像分辨率为1920*1080。咽部定位算法解算得到的嘴部关键点在相机坐标系下的三维坐标值(XC，YC，ZC)，右下图表示通过解算得到的相机坐标系下三维坐标值绘制成的可视化咽部区域三维包络(XM，YM，ZM)，其空间数据可以指导机器进行下一步的自动采集工作。
(二)基于算数平均的咽拭子触觉信息处理
考虑到咽拭子采样属于半侵入式检备，确保有效性的同时，避免由于一些不可知的原因对人体特别是口腔内壁组织造成潜在危害，咽后壁深度数据必须相当准确。本发明实施例设计了基于算数平均的咽拭子触觉信息处理，使得咽后壁的识别和定位可以通过力觉处理获得更精细的调整，防止采集过程中由于咽拭子抵进咽部的力度过大而对被测人员造成损伤，减小采集时的不适感，在保证采集有效性的同时实现安全自主化的采集。
力度传感器根据时序定期的回传检测到的咽拭子末端力度数据，采用基于算数平均的咽拭子触觉信息处理，连续取N个采样值进行算数平均运算，N值较大时：信号平滑度较高，但灵敏度较低。N值较小时：信号平滑度较低，但灵敏度较高。平均值稳定M±U时，既可以很好的完成采集流程，在触碰到咽后壁时及时停止，而且可以保证采集的安全性，不会使被测人员产生明显的不适感。
其中，M、N和U的数值选取，通过大量的临床实验获得，本发明实施例对此不做限制。基于算数平均的咽拭子触觉信息处理流程图如图9所示：
(1)咽拭子后端装载力度传感器；
(2)力度传感器根据时序定期的回传数据；
(3)连续取N个采样值进行算数平均运算；
(4)算数平均值≤M-U时，需增加力度确保采集有效性，可增加进给；
(5)算数平均值＞M+U，需减少力度以避免过度损伤，可减少进给；
(6)N和U的数值选取，通过大量的临床实验获得；
(7)算数平均值调节，需增加进给或减少进给，建议深度方向进给量≤1mm/采样周期。
本发明实施例实现了对咽拭子采集过程中的低通滤波，同时具有计算量低、抗随机干扰信号的优势，避免可采集平台振动引起的力反馈数据摄动，减少传感器内部测量误差，排除外部噪声对力反馈数据测量的干扰，能对咽后壁深度坐标ZM进行可靠修正。
综上所述，本发明实施例通过机器视觉、力感触觉，完成口咽拭子区域的准确智能识别，为机器替代人完成咽拭子自动采样提供重要信息参考，推进人机共融智能操作的新型咽拭子采样模式。
实施例3
一种基于模板匹配与算数平均的咽后壁视触识别装置，参见图10，该装置包括：处理器4和存储器5，存储器5中存储有程序指令，处理器4调用存储器5中存储的程序指令以使装置执行以下步骤：
采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位。
在一种实施方式中，该采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定具体为：
运用摄像头获取包含人脸的二维彩色图像，通过模板匹配检测获取人脸关键点坐标进而确定口腔嘴唇的坐标位置；
根据口腔与咽后壁的空间拓扑关系计算出咽后壁的空间坐标区域。
在一种实施方式中，采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正具体为：
将力觉传感器布置在咽拭子后端与拭子处于一条水平线上；基于算数平均完成连续触觉信号处理，确定信号采样频率、采样力觉平均值和力觉域带宽；校正咽后壁的深度坐标区域，划定咽拭子有效采样区域的空间坐标。
在一种实施方式中，上述处理器还包括：检测通过二维彩色图像对嘴部外轮廓进行检测，通过像素坐标系的二维坐标对相机坐标系三维坐标的转换，完成对嘴部关键点在相机坐标系下三维坐标的解算，通过人体嘴部和咽后壁的生理拓扑关系，得到咽后壁空间位置坐标，坐标连接成的连通区域即为定位的咽部区域。
在一种实施方式中，上述处理器还包括：力度传感器根据时序定期的回传检测到的咽拭子末端力度数据，采用基于算数平均的咽拭子触觉信息处理，连续取N个采样值进行算数平均运算；平均值稳定M±U时，很好的完成采集流程，在触碰到咽后壁时及时停止。
其中，算数平均值≤M-U时，增加进给；相反减少进给，深度方向进给量≤1mm/采样周期。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器4和存储器5的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器5和处理器4之间通过总线6传输数据信号，本发明实施例对此不做赘述。
实施例4
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例3中装置步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的装置描述相对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于模板匹配与算数平均的咽后壁视触识别装置，其特征在于，所述识别装置包括：
咽后壁视觉信息处理模块，用于采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
咽拭子触觉信息处理模块，用于采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
识别与定位模块，综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位；
所述咽拭子触觉信息处理模块包括：
布置单元，用于将力觉传感器布置在咽拭子后端与拭子处于一条水平线上；
处理单元，用于基于算数平均完成连续触觉信号处理，确定信号采样频率、采样力觉平均值M和力觉域带宽U；
校正单元，用于校正咽后壁的深度坐标区域，划定咽拭子有效采样区域的空间坐标；
所述处理单元包括：
力度传感器根据时序定期的回传检测到的咽拭子末端力度数据，采用基于算数平均的咽拭子触觉信息处理，连续取N个采样值进行算数平均运算；
平均值稳定M±U时，很好的完成采集流程，在触碰到咽后壁时及时停止。
2.根据权利要求1所述的一种基于模板匹配与算数平均的咽后壁视触识别装置，其特征在于，所述咽后壁视觉信息处理模块包括：
第一获取单元，用于运用摄像头获取包含人脸的二维彩色图像，通过模板匹配检测获取人脸关键点坐标进而确定口腔嘴唇的坐标位置；
第二获取单元，用于根据口腔与咽后壁的空间拓扑关系计算出咽后壁的空间坐标区域。
3.根据权利要求2所述的一种基于模板匹配与算数平均的咽后壁视触识别装置，其特征在于，所述第一获取单元包括：
检测通过二维彩色图像对嘴部外轮廓进行检测，通过像素坐标系的二维坐标对相机坐标系三维坐标的转换，完成对嘴部关键点在相机坐标系下三维坐标的解算，通过人体嘴部和咽后壁的生理拓扑关系，得到咽后壁空间位置坐标，坐标连接成的连通区域即为定位的咽部区域。
4.根据权利要求1所述的一种基于模板匹配与算数平均的咽后壁视触识别装置，其特征在于，算数平均值≤M-U时，增加进给；相反减少进给，深度方向进给量≤1mm/采样周期。
5.根据权利要求1-4中的任一权利要求所述的一种基于模板匹配与算数平均的咽后壁视触识别装置，其特征在于，所述识别装置还包括：
驱动模块，用于采用机械臂、多轴云台将咽拭子运送到指定位置。
6.一种基于模板匹配与算数平均的咽后壁视触识别装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行以下步骤：
采用基于模板匹配的咽后壁视觉信息处理，完成咽后壁的空间坐标区域确定，并从摄像头坐标系映射到世界坐标系；
采用基于算数平均的咽拭子触觉信息处理，分析咽拭子的接触力觉，完成咽后壁的深度坐标区域的校正，获取有效采集所需的最小力觉，同时避免对口腔内壁组织的过度损伤；
综合咽后壁的空间坐标区域、校正后的深度坐标区域实现咽后壁的空间识别和定位；
所述咽拭子触觉信息处理包括：将力觉传感器布置在咽拭子后端与拭子处于一条水平线上；基于算数平均完成连续触觉信号处理，确定信号采样频率、采样力觉平均值M和力觉域带宽U；校正咽后壁的深度坐标区域，划定咽拭子有效采样区域的空间坐标；
其中，处理步骤包括：
力度传感器根据时序定期的回传检测到的咽拭子末端力度数据，采用基于算数平均的咽拭子触觉信息处理，连续取N个采样值进行算数平均运算；
平均值稳定M±U时，很好的完成采集流程，在触碰到咽后壁时及时停止。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求6中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111147202.5A CN113842172B (zh) | 2021-09-29 | 2021-09-29 | 基于模板匹配与算数平均的咽后壁视触识别装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111147202.5A CN113842172B (zh) | 2021-09-29 | 2021-09-29 | 基于模板匹配与算数平均的咽后壁视触识别装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113842172A CN113842172A (zh) | 2021-12-28 |
| CN113842172B true CN113842172B (zh) | 2023-10-31 |
Family
ID=78976891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111147202.5A Active CN113842172B (zh) | 2021-09-29 | 2021-09-29 | 基于模板匹配与算数平均的咽后壁视触识别装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113842172B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115711B (zh) * | 2022-06-15 | 2023-06-23 | 深圳市罗湖医院集团 | 鼻咽拭子采样中的视觉标定方法及相关设备 |
| CN114998841B (zh) * | 2022-08-01 | 2022-11-01 | 易凯医疗建筑设计(深圳)有限公司 | 核酸采样的样本识别方法、装置、设备及存储介质 |
| CN115922725B (zh) * | 2022-12-28 | 2024-03-22 | 山东大学 | 一种咽拭子采样机器人定位系统 |
| CN117243642B (zh) * | 2023-11-16 | 2024-01-26 | 山东皇圣堂药业有限公司 | 一种基于机器视觉的智能咽拭子采样设备控制系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215763A (zh) * | 2018-10-26 | 2019-01-15 | 广州华见智能科技有限公司 | 一种基于人脸图像的情感健康监控方法及系统 |
| CN111643123A (zh) * | 2020-05-26 | 2020-09-11 | 清华大学 | 一种咽拭子自动采样装置 |
| CN111906784A (zh) * | 2020-07-23 | 2020-11-10 | 湖南爱米家智能科技有限公司 | 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法 |
| CN112932546A (zh) * | 2021-01-26 | 2021-06-11 | 溥熵微创医疗科技(辽宁)有限公司 | 一种基于视觉分析的咽拭子采样方法 |
| CN113143342A (zh) * | 2021-03-25 | 2021-07-23 | 香港中文大学（深圳） | 确定口腔采样部位的方法、采样机器人及计算机存储介质 |
-
2021
- 2021-09-29 CN CN202111147202.5A patent/CN113842172B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215763A (zh) * | 2018-10-26 | 2019-01-15 | 广州华见智能科技有限公司 | 一种基于人脸图像的情感健康监控方法及系统 |
| CN111643123A (zh) * | 2020-05-26 | 2020-09-11 | 清华大学 | 一种咽拭子自动采样装置 |
| CN111906784A (zh) * | 2020-07-23 | 2020-11-10 | 湖南爱米家智能科技有限公司 | 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法 |
| CN112932546A (zh) * | 2021-01-26 | 2021-06-11 | 溥熵微创医疗科技(辽宁)有限公司 | 一种基于视觉分析的咽拭子采样方法 |
| CN113143342A (zh) * | 2021-03-25 | 2021-07-23 | 香港中文大学（深圳） | 确定口腔采样部位的方法、采样机器人及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113842172A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113842172B (zh) | 基于模板匹配与算数平均的咽后壁视触识别装置 | |
| CA3065878C (en) | Method, device and computer program for virtually adjusting the spectacle frame | |
| EP3309749B1 (en) | Registration of a magnetic tracking system with an imaging device | |
| US7848547B2 (en) | Apparatus for detecting feature point and method of detecting feature point | |
| CN109271914A (zh) | 检测视线落点的方法、装置、存储介质和终端设备 | |
| CN110197169A (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
| CN111898553B (zh) | 一种判别虚像人员的方法、装置及计算机设备 | |
| CN112270993B (zh) | 一种以诊断结果为反馈的超声机器人在线决策方法及系统 | |
| CN111105881B (zh) | 一种3d测量人类表型的数据库系统 | |
| CN107240128B (zh) | 一种基于轮廓特征的x线片和彩色照片配准方法 | |
| Peng et al. | Autonomous recognition of multiple surgical instruments tips based on arrow OBB-YOLO network | |
| CN112206006A (zh) | 自主评估甲状腺结节良恶性的智能辅助识别设备及方法 | |
| CN112151169A (zh) | 一种仿人操作的超声机器人自主扫描方法及系统 | |
| CN113052956A (zh) | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 | |
| Bumacod et al. | Image-processing-based digital goniometer using OpenCV | |
| CN115670710A (zh) | 一种口腔种植牙手术中相机与ct坐标系配准的装置和方法 | |
| JP4682372B2 (ja) | 視線方向の検出装置、視線方向の検出方法およびコンピュータに当該視線方向の検出方法を実行させるためのプログラム | |
| CN111477318B (zh) | 一种用于远程操纵的虚拟超声探头跟踪方法 | |
| CN112132805A (zh) | 一种基于人体特征的超声机器人状态归一化方法及系统 | |
| CN115410233B (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| CN106803065A (zh) | 一种基于深度信息的瞳距测量方法以及系统 | |
| CN116531094A (zh) | 一种角膜移植手术机器人视触觉融合导航方法及系统 | |
| CN106667496A (zh) | 一种面部数据测量方法及装置 | |
| CN111428577B (zh) | 一种基于深度学习与视频放大技术的人脸活体判断方法 | |
| CN114288560A (zh) | 经颅磁刺激导航过程的三维配准方法、系统及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |