CN115969418A - 一种核酸检测口腔采集点识别方法 - Google Patents

Abstract

本发明公开了一种核酸检测口腔采集点识别方法，包括：S 1，通过九点标定法对相机与机械臂之间按照“眼在手上”的方式进行配准标定，获取相机坐标系与机械臂基坐标系之间的转换矩阵；S2，通过机器学习获取口腔采集点模型；S3，检测者下巴支撑在托架装置上并张开口腔，通过相机采集检测者口腔彩色图像与深度图像；S4，获取相机图像中口腔采集点基于相机坐标系的像素坐标；S5，计算口腔采集点基于机械臂基坐标系的坐标数据；S6，通过机械臂驱动拭子到口腔采集点位置进行核酸采样。通过本发明的方法可实现实时定位检测者口腔内采集点坐标，进而实现机械臂实时准确定位并移动至口腔内采集点精准位置进行核酸采样。

Description

一种核酸检测口腔采集点识别方法

技术领域

本发明具体涉及医疗用品技术领域，具体涉及一种核酸检测口腔采集点识别方法。

背景技术

目前确诊新型冠状病毒感染最主要的检测手段是核酸检测，通过直接对采集标本中的病毒核酸进行检测，具有特异性强和敏感度相对较高的优点。核酸检测采样目前采用的主要方式是口腔咽拭子采样检测。而在核酸检测咽拭子采样操作过程中，医护人员需要与患者近距离接触，患者咳嗽、用力呼吸等都会产生大量飞沫或气溶胶，会极大增加医护人员在采样过程中交叉感染风险，有待进一步的改善。

与传统人工采样相比，核酸采样机器人具有工作持久、医护人员感染风险低、全自动化等优势，核酸采样机器人的广泛应用，不仅可解决医护人员紧缺问题，还能有效降低病毒的传播风险，核酸采样机器人市场发展空间广阔。

但是现有的核酸采样机器人受到检测深度与角度的限制，只允许与检测者检测时口腔张开方向与角度和固定检测位置一致的时候进行检测，无法做到不同的检测者都能够精准定位到口腔扁桃体准确的检测位置。其次，这些基于固定位置进行核酸采集的方法，无法处理检测过程中的复杂环境，检测的成功率较低，无法保证核酸检测的准确性与安全性。

中国专利CN114869343A中公开了一种核酸采样机器人装置，其导向定位的方法比较固定，核酸检测过程中检测拭子深入口腔的距离是固定的，并不能根据不同检测者的口腔位置进行精准的识别定位，导航定位过程中无图像实时显示，具体定位是否准确及拭子是否到位、是否检测到扁桃体，只能根据检测者自己的感觉进行判定。

发明内容

本发明的目的是针对现有技术中的不足，提供一种核酸检测口腔采集点识别方法，该方法根据九点标注法，将相机与机械臂进行配准标定，根据口腔平面影像数据以及机器学习出的模型进行口腔采集点的识别，将识别出的平面坐标在相机深度影像数据中找到对应的深度数据和坐标，在根据相机与机械臂的标定结果进行转换，得到口腔采集点在机械臂基座标系下对应的坐标，即可实现实时定位检测者口腔内采集点坐标，进而实现机械臂实时准确定位并移动至口腔内采集点精准位置。

为达到上述目的，本发明采用的技术方案是：

一种核酸检测口腔采集点识别方法，核酸检测时通过机械臂驱动拭子移动进行取样，包括如下步骤：

S1，通过九点标定法对相机与机械臂之间按照“眼在手上”的方式进行配准标定，获取相机坐标系与机械臂基坐标系之间的转换矩阵；

S2，通过机器学习获取口腔采集点模型；

S3，检测者下巴支撑在托架装置上并张开口腔，通过相机采集检测者口腔彩色图像与深度图像；

S4，基于S2和S3获取相机图像中口腔采集点基于相机坐标系的像素坐标；

S5，基于S1和S4计算口腔采集点基于机械臂基坐标系的坐标数据；

S6，通过机械臂驱动拭子到口腔采集点位置进行核酸采样。

优选地，步骤S1包括：

(1)机械臂末端法兰盘位置安装工件，标定工件中心点在机械臂基坐标系的位置，用工件戳标定板上固定位置的九个点，获取每个点对应位置处基于机械臂基坐标系下的坐标数据Pboard(0～8)；

(2)将相机安装到机械臂末端法兰盘位置，通过机械臂移动相机到垂直所述标定板一设定距离位置处，使相机平移到所述标定板的九个位置处，分别在每个位置处进行拍照，记录每个位置处机械臂法兰盘在机械臂基坐标系的坐标数据Probot(0～8)；

(3)保存相机在九个位置处分别拍摄的所述标定板的彩色图像与深度图像；

(4)根据Probot(0～8)及机械臂标定方法计算对应的法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange-base；

(5)根据相机拍摄的彩色图像与深度图像计算所述标定板上九个点基于相机坐标系的像素坐标Prealsense(0～8)；

(6)根据公式Pboard＝Tflang-ebase*Tcam er-aflang*ePrealsen计算相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera-flange；

(7)根据法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange-base以及相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera-flange，计算相机坐标系与机械臂基坐标系之间的转换矩阵Tcamera-base。

进一步地，所述标定板采用棋盘格标定板，相机进行拍照的九个位置分别为所述棋盘格标定板的四个角处、四边的中点以及中心位置。

进一步地，通过相机对所述标定板的九个位置进行拍照时，相机距所述标定板之间的垂直距离为270～290mm。

进一步地，所述拭子通过夹头组件夹取，所述夹头组件设置在所述机械臂的末端法兰盘上，所述相机设置在所述夹头组件上，步骤(1)进行时，通过所述夹头组件夹取所述工件。

优选地，步骤S2包括：

(1)获取用于机器学习的原始图像数据，各所述原始图像数据中均至少包括口腔位置，且口腔处于张开状态；

(2)对原始图像数据中的口腔范围特征点及舌根特征点进行手动标注；

(3)进行模型训练；

(4)根据测试模型给出预测结果。

进一步地，步骤(2)主要包括：

a.在进行手动标注之前，和医生讨论并确定舌根在口腔中的位置；

b.读取原始图像数据；

c.在原始图像数据中标注口腔范围特征点及舌根特征点；

d.对手动标注的特征点进行核查，当手动标注的特点的存在错误时，将手动标注的特征点清洗后重新进行手动标注。

进一步地，步骤(3)包括：

a.选择训练的模型，搭建训练环境；

b.读取手动标注后的图像数据及原始图像数据到训练模型中进行模型推理；

c.提取口腔范围内部舌根位置的特征参数；

d.更新并保存模型参数。

更进一步地，进行模型推理时，对手动标注的图像数据中，以口腔范围为参照，对标注的口腔范围区域外的图像数据进行清洗，保留口腔范围区域内的图像数据，作为目标的理想框，并在原始图像数据中设定一推理框，计算推理框与理想框之间的损失，通过算法迭代修改模型权重，直至理想框与推理框两个框之间的交集除以并集的值为0.9～1。

优选地，步骤S3中，所述托架装置包括托架，所述托架的上端部设置有用于支撑检测者下巴的支撑部，所述托架装置还包括可拆卸地设置在所述支撑部上的支撑垫。

进一步地，所述托架装置还包括设置在所述托架上的灯光装置，所述灯光装置包括支架和灯源，所述支架的一端部能够上下调节高度地、且能够转动地设置在所述托架上，所述灯源通过球形关节转动设置在所述支架的另一端部。

优选地，步骤S3中，当通过相机采集的同一张图像数据中同时存在多人口腔图像时，确认深度值最小的口腔图像为当前检测者的口腔图像，滤除除当前检测者的口腔图像外的其他口腔图像。

优选地，步骤S4中，获取图像数据中口腔采集点基于相机坐标系的像素坐标后进行过滤，得到最佳口腔采集点基于相机坐标系的像素坐标，过滤的判断条件为：

a.当坐标点无深度值，或者深度值不在设定范围内时，深度值无效，该坐标点无效；

b.当坐标点有深度值，且深度值在所述设定范围内时，深度值有效，确定图像数据中口腔范围的中心点，同时定义根据步骤S2找到的口腔采集点为范围终点，对中心点和范围终点之间的各个坐标点的深度进行判断，找到该范围内深度值最深的点，该点即为最佳口腔采集点，获取该点基于相机坐标系的像素坐标。

进一步地，所述设定范围为0～800mm。

由于上述技术方案的运用，本发明的核酸检测口腔采集点识别方法与现有技术相比具有下列优点：

(1)本申请基于相机采集的彩色图像与深度融合图像数据，以及机器学习的识别模型的口腔内部采集点识别算法，较现有基于固定采集模式的方法，具有计算速度快，采集点识别准确，有效性与成功率高，满足实时性要求的特点。

(2)进行核酸检测时，拭子移动的目标可以实时在检测者口腔影像上显示，从而可检测拭子是否能到达指定检测位置，以及检测过程中会否碰到牙齿、舌头以及嘴唇等其他部位，解决了现有技术中核酸检测过程中盲测的问题，同时提高了检测的精度、质量以及检测时间。

附图说明

附图1为本实施例的夹头组件的立体示意图(含拭子)；

附图2为本实施例的夹头组件的立体示意图(去掉拭子)；

附图3为附图2中A处局部放大示意图；

附图4为本实施例的托架装置的立体示意图；

附图5为本实施例的核酸检测口腔采集点识别方法的流程图；

附图6为本实施例的机器学习的流程图；

附图7为本实施例的模型训练及验证结果图；

附图8为本实施例中获取最佳口腔采集点示意图。

其中：1、拭子；2、夹头组件；21、夹爪；211、夹持部；22、驱动机构；23、安装座；3、相机；4、托架装置；41、托架；411、支撑部；42、支撑垫；431、支架；432、灯源；433、套筒。

具体实施方式

下面结合附图和具体实施例来对本发明的技术方案作进一步的阐述。

核酸检测时通过夹头组件2夹取拭子1，夹头组件2安装在机械臂的末端法兰盘上，从而通过机械臂驱动拭子1移动进行取样。

如图1和图2所示，夹头组件2包括两个夹爪21，夹头组件2具有一中心轴线，两个夹爪21对称设置在中心轴线的相对两侧。两个夹爪21能够同步向靠近中心轴线的方向相向移动，以使夹头组件2处于夹紧状态，从而夹持拭子1。两个夹爪21还能够同步向远离中心轴线的方向相背移动，以使夹头组件2处于松开状态，从而松开拭子1。

每个夹爪21的内侧均设置有与拭子1相配合的夹持部211，夹持部211呈V型结构，两个夹爪21的夹持部211对称设置。当夹头组件2处于夹紧状态时，两个夹爪21的夹持部211相互靠近，二者之间形成夹持拭子1的夹持空间。当拭子1被夹持在夹持空间中时，可使拭子1的中心轴线自动与夹头组件的中心轴线对准，使二者沿同一直线方向延伸，从而在进行核酸采样时，可使拭子1能够准确地对准检测者的口腔采集点位置进行取样。

夹头组件2还包括驱动机构22，驱动机构22用于驱使两个夹爪21同步相向和相背移动，两个夹爪21分别设置在驱动机构22上。本实施例中，驱动机构22采用电动夹爪，夹头组件2还包括安装座23，驱动机构22固定设置在安装座23上。

本申请的核酸检测口腔采集点识别方法的流程图如图5所示，具体包括如下步骤：

S1，手眼标定。

通过九点标定法对相机与机械臂之间按照“眼在手上”的方式进行配准标定，获取相机坐标系与机械臂基坐标系之间的转换矩阵。

本实施例中，在进行手眼标定时，采用标准边长为15mm的12*9的棋盘格标定板进行辅助，具体包括如下步骤：

1)机械臂末端法兰盘位置安装工件，具体的，通过两个夹爪21夹持工件，标定工件中心点在机械臂基坐标系的位置。用工件戳标定板上固定位置的九个点，获取每个点对应位置处基于机械臂基坐标系下的坐标数据Pboard(0～8)。

2)将相机3安装到机械臂末端法兰盘位置，本实施例中，相机3安装在安装座23的上端。通过机械臂移动相机3到垂直标定板一设定距离位置处，本实施例中，设定距离为270～290mm，优选为280mm。在该位置处，可通过相机3获取标定板清晰的彩色图像与深度图像。

使相机3平移到标定板的九个位置处，分别在每个位置处进行拍照，记录每个位置处机械臂法兰盘在机械臂基坐标系的坐标数据Probot(0～8)。本实施例中，相机3平移的九个位置分别为棋盘格标定板的四个角处、四条边的中点位置以及棋盘格标定板的中心位置。

3)保存相机3在九个位置处分别拍摄的标定板的彩色图像与深度图像。

4)根据Probot(0～8)及机械臂标定方法，计算对应的法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange-base。

5)根据相机3拍摄的彩色图像与深度图像计算标定板上九个点基于相机坐标系的像素坐标Prealsense(0～8)。

6)根据Pbo ar(d0～8)、Tflange-base及Prealsense(0～8)，计算相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera-flange，计算公式为：

Pboard＝Tflange-base*Tcamera-flange*Prealsense

上述公式转换为矩阵形式为：

上式中，R为旋转矩阵，T为平移矩阵。

7)根据法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange-base以及相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera-flange，计算相机坐标系与机械臂基坐标系之间的转换矩阵Tcamera-base。具体计算公式为：

Tcamera-base＝Tcamera-flange*Tflange-base

S2，口腔采集点识别。

进行核酸检测时主要对扁桃体位置来回擦拭多次，而扁桃体位置位于舌根两侧，因此在确定舌根位置后即可确定扁桃体位置。因此本申请中，通过机器学习方法获取口腔范围内舌根模型。其流程如图6所示，具体包括如下步骤：

1)采集图像。

获取大量用于机器学习的原始图像数据，对获取的大量原始图像数据进行判定，各原始图像数据是否符合要求。要求各原始图像数据中需要清晰地显示口腔位置，且口腔处于张开状态，剔除不符合要求的原始图像数据。当原始图像数据不符合要求时，需要重新获取原始图像数据。

2)对原始图像数据中的口腔范围特征点及舌根特征点进行手动标注，并判断在图像数据中手动标注的特征点是否符合要求。

手动标注主要包括如下步骤：

(1)在进行手动标注之前，需要和医生讨论并确定舌根在口腔中的位置。

(2)读取原始图像数据。

(3)根据医生给出的意见确定舌根位置后，在原始图像数据中标注口腔范围特征点及舌根特征点，保存标注文件。

(4)对手动标注的图像数据进行检查，以确定手动标注的特征点是否正确。

当图像数据中手动标注的特征点符合要求时进行下一步模型训练。当图像数据中手动标注的特征点不符合要求，如舌根未标注到正确位置时，需清洗已标注的特征点，在图像数据中重新进行手动标注特征点。

3)进行模型训练。

主要包括如下步骤：

(1)选择训练的模型，搭建训练环境。

本实施例中，采用的训练模型为Yolov5。

(2)分别读取手动标注特征点后的图像数据及原始图像数据到训练模型中进行模型推理。

a.设定理想框与推理框

为了降低计算的数据量，提高计算速度，对手动标注的图像数据中，以口腔范围为参照，对标注的口腔范围区域外的图像数据进行清洗，保留口腔范围区域内的图像数据，作为目标的理想框。并在原始图像数据中设定一推理框，具体为：找出原始图像数据的中心点，以该中心点作为推理框的中心，以理想框的边界对原始图像数据进行截取得到推理框。

b.计算推理框与理想框之间的损失，通过算法迭代修改模型权重。用符号表示如下：

loss＝loss(label,inference)

Back＝Backpropagation(loss)

Weight＝weight+Back

Label表示理想框点集合，inference表示推理框点集合；

loss表示计算出交叉熵值，浮点值；

Back表示网络的反向传播，即理想框与推理框之间的误差矩阵，根据loss进行修正；

Weight表示最终的模型矩阵，根据误差矩阵修改模型权重后得到。

c.最终通过评价指标确定权重是否迭代完毕，评价指标为理想框与推理框两个框之间的交集除以并集，当评价指标值为0.9～1时，说明迭代完毕。

d.提取口腔范围内部舌根位置的特征参数。

e.更新并保存模型参数。

具体模型训练及验证结果如图7所示，图7中纵坐标是recall，recall是召回率，横坐标是precision，precision是精准率，图7两条数据线的交点就是模型训练的最终点。

判定测试模型是否达到需求，如测试模型不符合需求，需删除已标注的特征点，在图像数据中重新进行手动标注，之后重新进行模型训练，直至测试模型达到需求。

4)根据测试模型给出预测结果。

S3，图像获取。

检测者下巴支撑在托架装置4上并张开口腔，通过相机3采集检测者口腔彩色图像与深度图像。

如图3所示，托架装置4包括托架41，托架41的下端部固定设置，托架41的上部设置有支撑部411，支撑部411用于放置检测者的下巴。支撑部411呈弧形，以便于与检测者的下巴更好地贴合，以形成稳定的支撑，从而固定检测者口腔位置，保证不同的检测者口腔张开的角度与位置相对固定，保证了口腔采集点识别的准确性。

如图3所示，托架装置4还包括支撑垫42，支撑垫42与支撑部411相匹配，支撑垫42可拆卸地贴设在支撑部411的上端面上。这样，在每个检测者进行核酸检测后，都可将支撑垫42从支撑部411上拆卸，在下一检测者进行核酸检测时，可更换新的支撑垫42到支撑部411上，从而可避免交叉感染。

如图3所示，托架装置4还包括灯光装置，灯光装置设置在托架41上，灯光装置主要在进行核酸检测时提供照明，以使得相机3能够清晰地采集检测者的口腔的图像信息。

灯光装置包括支架431和设置在支架431上的灯源432。支架431的一端部能够上下滑动地设置在托架41上，从而可使支架431带动灯源432上下滑动，以调节灯源432的高度。支架431的一端部与托架41转动连接，使得支架431还能够带动灯源432绕托架41在水平面内转动，从而调节灯源432的周向位置。灯源432通过球形关节转动设置在支架431上，从而可调节灯源432与支架431之间的角度。以保证针对不同的检测者都可以通过灯源432将光线打进检测者口腔内部，保证口腔内部的光源环境良好，以保证口腔采集点的准确性与可靠性。

沿支架431转动的圆周方向，支架431可设置有多个，每个支架431上均设置有一个灯源432。灯光装置还包括套筒433，套筒433套设在托架41的外部并能够绕托架41转动地设置。每个支架431的一端部均可调位置地设置在套筒433上。

当通过相机采集的同一张图像数据中同时存在多人口腔图像时，当前检测者的口腔图像一定是深度值最近的，所以当存在多个口腔图像时，会自动滤除除当前检测者口腔图像外的其他口腔图像，以保证不出问题。

S4，相机坐标获取

1)通过相机3采集检测者口腔的彩色图像与深度图像后，获取图像数据中口腔采集点基于相机坐标系的像素坐标Prealsense。

2)对图像数据中口腔采集点基于相机坐标系的像素坐标进行过滤，得到最佳口腔采集点基于相机坐标系的像素坐标。

过滤的判断条件为：

a.当坐标点无深度值，或者深度值不在设定范围内时，深度值无效，该坐标点无效；

b.当坐标点有深度值，且深度值在设定范围内时，深度值有效，确定图像数据中口腔范围的中心点，同时定义根据机器学习找到的舌根坐标点为范围终点，对中心点和范围终点之间的各个坐标点的深度进行判断，见图8所示。找到该范围内深度值最深的点，该点即为最佳口腔采集点，获取该点基于相机坐标系的像素坐标；

上述判定过程中，深度值的设定范围为0～800mm之间。

S5，坐标转换

根据公式Pboard＝Tflange-base*Tcamera-flange*Prealsense，计算检测者口腔采集点在机械臂基坐标系下对应的坐标数据Pboard。

S6，核酸采样

按照口腔采集点在机械臂基坐标系的坐标数据Pboard，通过机械臂驱动拭子1移动到相应的位置进行核酸采样。

如此，通过上述步骤即可实现实时定位检测者口腔内采集点坐标，进而实现机械臂实时准确定位并移动至口腔内采集点精准位置进行核酸采样。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (14)

1.一种核酸检测口腔采集点识别方法，核酸检测时通过机械臂驱动拭子移动进行取样，其特征在于：包括如下步骤：

S1，通过九点标定法对相机与机械臂之间按照“眼在手上”的方式进行配准标定，获取相机坐标系与机械臂基坐标系之间的转换矩阵；

S2，通过机器学习获取口腔采集点模型；

S3，检测者下巴支撑在托架装置上并张开口腔，通过相机采集检测者口腔彩色图像与深度图像；

S4，基于S2和S3获取相机图像中口腔采集点基于相机坐标系的像素坐标；

S5，基于S1和S4计算口腔采集点基于机械臂基坐标系的坐标数据；

S6，通过机械臂驱动拭子到口腔采集点位置进行核酸采样。

2.根据权利要求1所述的核酸检测口腔采集点识别方法，其特征在于：步骤S1包括：

(1)机械臂末端法兰盘位置安装工件，标定工件中心点在机械臂基坐标系的位置，用工件戳标定板上固定位置的九个点，获取每个点对应位置处基于机械臂基坐标系下的坐标数据Pboard(0～8)；

(2)将相机安装到机械臂末端法兰盘位置，通过机械臂移动相机到垂直所述标定板一设定距离位置处，使相机平移到所述标定板的九个位置处，分别在每个位置处进行拍照，记录每个位置处机械臂法兰盘在机械臂基坐标系的坐标数据Probot(0～8)；

(3)保存相机在九个位置处分别拍摄的所述标定板的彩色图像与深度图像；

(4)根据Probot(0～8)及机械臂标定方法计算对应的法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange-base；

(5)根据相机拍摄的彩色图像与深度图像计算所述标定板上九个点基于相机坐标系的像素坐标Prealsense(0～8)；

(6)根据公式Pboard＝Tflange-base*Tcamera-flange*Prealsense计算相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera-flange；

(7)根据法兰盘坐标系与机械臂基坐标系之间的转换矩阵Tflange-base以及相机坐标系与法兰盘坐标系之间的转换矩阵Tcamera-flange，计算相机坐标系与机械臂基坐标系之间的转换矩阵Tcamera-base。

3.根据权利要求2所述的核酸检测口腔采集点识别方法，其特征在于：所述标定板采用棋盘格标定板，相机进行拍照的九个位置分别为所述棋盘格标定板的四个角处、四边的中点以及中心位置。

4.根据权利要求2所述的核酸检测口腔采集点识别方法，其特征在于：通过相机对所述标定板的九个位置进行拍照时，相机距所述标定板之间的垂直距离为270～290mm。

5.根据权利要求2所述的核酸检测口腔采集点识别方法，其特征在于：所述拭子通过夹头组件夹取，所述夹头组件设置在所述机械臂的末端法兰盘上，所述相机设置在所述夹头组件上，步骤(1)进行时，通过所述夹头组件夹取所述工件。

6.根据权利要求1所述的核酸检测口腔采集点识别方法，其特征在于：步骤S2包括：

(1)获取用于机器学习的原始图像数据，各所述原始图像数据中均至少包括口腔位置，且口腔处于张开状态；

(2)对原始图像数据中的口腔范围特征点及舌根特征点进行手动标注；

(3)进行模型训练；

(4)根据测试模型给出预测结果。

7.根据权利要求6所述的核酸检测口腔采集点识别方法，其特征在于：步骤(2)主要包括：

a.在进行手动标注之前，和医生讨论并确定舌根在口腔中的位置；

b.读取原始图像数据；

c.在原始图像数据中标注口腔范围特征点及舌根特征点；

d.对手动标注的特征点进行核查，当手动标注的特点的存在错误时，将手动标注的特征点清洗后重新进行手动标注。

8.根据权利要求6所述的核酸检测口腔采集点识别方法，其特征在于：步骤(3)包括：

a.选择训练的模型，搭建训练环境；

b.读取手动标注后的图像数据及原始图像数据到训练模型中进行模型推理；

c.提取口腔范围内部舌根位置的特征参数；

d.更新并保存模型参数。

9.根据权利要求8所述的核酸检测口腔采集点识别方法，其特征在于：进行模型推理时，对手动标注的图像数据中，以口腔范围为参照，对标注的口腔范围区域外的图像数据进行清洗，保留口腔范围区域内的图像数据，作为目标的理想框，并在原始图像数据中设定一推理框，计算推理框与理想框之间的损失，通过算法迭代修改模型权重，直至理想框与推理框两个框之间的交集除以并集值为0.9～1。

10.根据权利要求1所述的核酸检测口腔采集点识别方法，其特征在于：步骤S3中，所述托架装置包括托架，所述托架的上端部设置有用于支撑检测者下巴的支撑部，所述托架装置还包括可拆卸地设置在所述支撑部上的支撑垫。

11.根据权利要求10所述的核酸检测口腔采集点识别方法，其特征在于：所述托架装置还包括设置在所述托架上的灯光装置，所述灯光装置包括支架和灯源，所述支架的一端部能够上下调节高度地、且能够转动地设置在所述托架上，所述灯源通过球形关节转动设置在所述支架的另一端部。

12.根据权利要求1所述的核酸检测口腔采集点识别方法，其特征在于：步骤S3中，当通过相机采集的同一张图像数据中同时存在多人口腔图像时，确认深度值最小的口腔图像为当前检测者的口腔图像，滤除除当前检测者的口腔图像外的其他口腔图像。

13.根据权利要求1所述的核酸检测口腔采集点识别方法，其特征在于：步骤S4中，获取图像数据中口腔采集点基于相机坐标系的像素坐标后进行过滤，得到最佳口腔采集点基于相机坐标系的像素坐标，过滤的判断条件为：

a.当坐标点无深度值，或者深度值不在设定范围内时，深度值无效，该坐标点无效；

b.当坐标点有深度值，且深度值在所述设定范围内时，深度值有效，确定图像数据中口腔范围的中心点，同时定义根据步骤S2找到的口腔采集点为范围终点，对中心点和范围终点之间的各个坐标点的深度进行判断，找到该范围内深度值最深的点，该点即为最佳口腔采集点，获取该点基于相机坐标系的像素坐标。

14.根据权利要求13所述的核酸检测口腔采集点识别方法，其特征在于：所述设定范围为0～800mm。

Images