CN116168385B - 一种基于视觉三维场景重建的样本采集结果评估方法 - Google Patents

Abstract

本发明公开一种基于视觉三维场景重建的样本采集结果评估方法，包括步骤：S1、通过双目摄像头采集核酸采集过程中视频流图像；S2、三维点云重建算法将从双目摄像头输入的左右两个视频流中提取图像特征点；S3、采用特征点描述子对特征点进行识别和匹配；S7、利用接触检测算法，判断当前咽后壁三维mesh和咽拭子三维mesh的空间位置关系；S10、通过动作完成评估算法对视频流的多个连续视频帧进行步骤S1‑S7的检测判定，在视频流记录的采集动作达到算法指定条件时，给出采集动作完成的二分类结果判定。本发明实现了对整个咽拭子样本采集过程的采集部位指示、咽拭子头识别和指示、动作完成检测和评估的综合判定。

Description

一种基于视觉三维场景重建的样本采集结果评估方法

技术领域

本发明属于图像识别技术领域，具体来说，涉及一种基于视觉三维场景重建的样本采集结果评估方法。

背景技术

在核酸检测全流程中，核酸样本的采集是重要的一个环节。这个环节也非常容易发生受检人员和采集医务人员的交叉感染。为了保护医务人员，同时也为了节约社会人力资源，采用无人值守的自动化核酸采集亭方式是目前该领域的一个重要发展方向。无人化的自动采集亭目前实现的方式大多数是采用机械臂夹具夹取拭子伸入受检人员口腔进行咽部拭子的采集。而机械辅助采集的过程中，如出现机械故障，极易出现伤害被采样者口腔的情况，又因每个被采集者的口腔深度不同，身高不同，年龄不同，左右扁桃腺和后咽壁的生长角度不同等等，极易出现触碰不到口腔采集关键点，从而出现采集样本无效的情况，导致采集成功率低。

在专利号为CN202210941936.9的中国发明专利中，公开了一种基于目标检测的人体扁桃体区域检测系统及边侧部署方法，其方法包括将人体扁桃体区域检测系统部署到边缘计算设备上，选取nvidia jetson nana开发板进行部署，对原始生成的.pt最优模型进行压缩优化部署，具体如下：S1、使用ONNX工具对人体扁桃体区域检测系统进行初步优化，生成.onnx模型文件；S2、使用tensorrt对.onnx模型进行框架层间映射、张量融合及数据类型变换，生成.engine引擎模型文件；S3、使用c++编写调用.engine模型文件对视频进行人体扁桃体区域检测的.cpp文件；S4、编写CMakelists.txt编译文件；S5、使用cmake工具对源码进行编译，生成人体扁桃体区域检测的可执行文件.exe；S6、使用python编写调用人体扁桃体区域检测可执行文件和模型文件的.py文件；S7、配置jetpack框架下ubuntu系统的python环境；S8、编写shell调用相关资源实现基于usb或csi摄像头的人体扁桃体区域检测。解决如何通过分析摄像头拍摄到的图像和视频，判别出被采样者采样行为是否合规，提高被采样者自主完成咽拭子标本采集精准度的问题。

现有专利的缺陷在于，上述专利中虽然解决了如何判别出被采样者采样行为是否合规，但缺乏对整个咽拭子样本采集过程的采集部位指示、咽拭子头识别和指示、动作完成检测和评估的综合判定。

发明内容

针对现有技术缺乏对整个咽拭子样本采集过程的采集部位指示、咽拭子头识别和指示、动作完成检测和评估的综合判定的问题，本发明提供了一种基于视觉三维场景重建的样本采集结果评估方法。

为实现上述技术目的，本发明采用的技术方案如下：

一种基于视觉三维场景重建的样本采集结果评估方法，包括步骤：

S1、通过双目摄像头采集核酸采集过程中视频流图像；

S2、三维点云重建算法将从双目摄像头输入的左右两个视频流中提取图像特征点；

S3、采用特征点描述子对特征点进行识别和匹配，根据同一个特征点在两个视频图像中的位置关系，利用空间几何计算该特征点的视觉深度信息，对每一个特征点在三维空间中的空间位置进行还原，获得特征点组成的三维点云；

S4、通过三维物体识别算法对三维点云样本进行标注和训练，得到在三维点云中分割出咽后壁点云簇和咽拭子点云簇的神经网络模型；

S5、对后壁点云簇和咽拭子点云簇进行点云到mesh计算，还原出咽后壁三维mesh和咽拭子三维mesh；

S6、将两个三维mesh投影到一个摄像头图像中，即可得到二维图像中咽后壁和咽拭子位置多边形；

S7、利用接触检测算法，判断当前咽后壁三维mesh和咽拭子三维mesh的空间位置关系，若判断为接触，则进入步骤S8，若判断为没有接触，则进入步骤S9；

S8、结合置信度计算，给出接触概率的连续估计评分，进入步骤S10；

S9、给出预警信号，采集结果无效；

S10、通过动作完成评估算法对视频流的多个连续视频帧进行步骤S1-S7的检测判定，在视频流记录的采集动作达到算法指定条件时，给出采集动作完成的二分类结果判定。

2.进一步地，对步骤S2中提取图像特征点的详细步骤包括：

S201、图像裁剪和增强，对输入的双目高清图像进行预处理，从原始的像素图像中检测有效区域；

S202、构建图像金字塔，获取图像金字塔各层所需提取的特征点最大数量；

S203、以FAST算法提取特征点。

进一步地，FAST算法提取特征点的详细步骤：S2031、选取像素p，假设它的灰度为I_p；

S2032、设置一个阈值T(例如I_p的10％)；

S2033、以像素p为中心，选取半径为3的圆上的16个像素点得到特征区域Z；

S2034、假如选取的Z上有连续的N个点的灰度大于I_p+T或小于I_p-T，那么像素p可以被认为是特征点。

S2035、循环以上4步，对每一个像素执行相同操作，提取出图像金字塔各层图像的特征点集。

进一步地，S301、以四叉树算法选取特征点，对步骤S203的特征点集进行四叉树均匀化选取，选出步骤S202定义的N个特征点；

S302、计算特征点方向，

采用灰度质心法计算特征点方向属性：

定义特征点区域图像的矩为：

式中，p和q取0或者1；I(x，y)表示在像素坐标处图像的灰度值；表示图像的矩，

在半径为R的圆形图像区域，沿两个坐标轴x，y方向的图像矩分别为：

圆形区域内所有像素的灰度值总和为：

计算图像的灰度质心：

特征点的方向表示为从圆形图像几何中心指向灰度质心的方向向量特征点的旋转角度为：

θ＝arctan(c_y，c_x)＝arctan(m₀₁，m₁₀)；

S303、计算特征点描述子，

对图像进行高斯模糊，采用高斯公式进行高斯模糊处理：

其中，σ为x方向的标准差，取值为1.5，

将步骤S205得到的每个特征点进行Steer Brief处理，得到具有方向不变性的特征点描述子；

S304、特征点去畸变，

设相机内参矩阵为：

设相机畸变参数矩阵为：

distCoeffs＝[k₁，k₂，P₁，p₂，k₃]

这两个矩阵的值初始预设，特征点去畸变过程为：

x′←(u-c_x)/f_x

y′←(v-c_y)/f_y

(x，y)＝undistort(x′，y′，distCoeffs)

其中undistort为一种近似迭代算法；

S305、将左右目的图像进行特征点匹配；

S306、计算特征点深度值，

根据匹配到的左右图特征点坐标，可计算得到特征点视差d，从而还原出特征点的深度z。

进一步地，三维物体识别算法采用基于PointCnn神经网络构建，在点云图上按咽后壁、咽拭子、其它背景这三组特征进行标注，通过PointCnn神经网络进行模型训练：

PointCnn神经网络的模型训练算法为：设K为卷积网格的尺寸，即提取p周围的K个相邻点，输入点云的某一特征点为p，其相邻的点为P，F为点云的输入feature；最后获取在点云图中区分出咽后壁、咽拭子、其它背景三种特征点。

进一步地，通过接触检测算法对分类出的咽后壁点云，咽拭子点云进行碰撞检测；

在步骤S204中选择出的包含有效特征点的四叉树区域进行遍历，在每个区域内分别比较咽后壁和咽拭子两组特征点集进行接触可能性判定，首先求出每个区域内的两组特征点平均距离，平均距离公式如下：

其中，D_n标识第n个区域的特征点平均距离，n和m分别为两组特征点的个数；对区域内两组特征点两两求三维距离后进行算术平均即可得到D_n。

进一步地，动作完成评估算法对采样动作是否完成的最终判定：

定义判定函数：

定义打分函数：

其中fps是当前视频流帧率，cp是置信距离，累加2秒内视频帧的判定值J后，得到当前采集动作完成分数；设置分数门限范围(0，fps*2-1)中的一个值来作为动作完成门限，当score大于等于这个门限即可视为采集完成。

本发明相比现有技术，具有如下有益效果：

本发明所提供算可用于无人值守自助式核酸采样亭，与双目高清摄像头配合，即可实现对受检人员的自助采样过程进行动作完成判别。与机械臂式的核酸采集方案相比，对受检人员的心理压力最小，一次性采集成功率和采集效率也更高，建设成本也更低。

本发明将四个算法(三维点云重建算法、三维物体识别算法、接触检测算法、动作完成评估算法)整合在一个视频处理流程中，一套流程即可完成核酸采集过程对算法模型提出的三个任务，即采集部位指示、咽拭子头识别和指示、动作完成检测和评估。

与其它基于图像识别的采集动作判定算法相比，本发明方法结合了三维空间视觉重建技术和人工智能技术，大大提升提升了对无效动作的识别准确率，防止恶意欺骗和无效采集。相比其它算法普通达到90％左右的准确度，本算法可以将识别准确率提升到99.5％以上。此外，本发明不光适合核酸检测场景，也适用于其它自助样本获取场景。

附图说明

图1为本发明一种基于视觉三维场景重建的样本采集结果评估方法的整体流程图；

图2为本发明实施例步骤S2和步骤S3的整体流程图；

图3为本发明实施例步骤S2的流程图；

图4为本发明实施例步骤S3的流程图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

如图1所示，本实施例提供了一种基于视觉三维场景重建的样本采集结果评估方法，包括步骤：

S1、通过双目摄像头采集核酸采集过程中视频流图像；

S2、三维点云重建算法将从双目摄像头输入的左右两个视频流中提取图像特征点；

S3、采用特征点描述子对特征点进行识别和匹配，根据同一个特征点在两个视频图像中的位置关系，利用空间几何计算该特征点的视觉深度信息，对每一个特征点在三维空间中的空间位置进行还原，获得特征点组成的三维点云；

S4、通过三维物体识别算法对三维点云样本进行标注和训练，得到在三维点云中分割出咽后壁点云簇和咽拭子点云簇的神经网络模型；

S5、对后壁点云簇和咽拭子点云簇进行点云到mesh计算，还原出咽后壁三维mesh和咽拭子三维mesh；

S6、将两个三维mesh投影到一个摄像头图像中，即可得到二维图像中咽后壁和咽拭子位置多边形；

S7、利用接触检测算法，判断当前咽后壁三维mesh和咽拭子三维mesh的空间位置关系，若判断为接触，则进入步骤S8，若判断为没有接触，则进入步骤S9；

S8、结合置信度计算，给出接触概率的连续估计评分，进入步骤S10；

S9、给出预警信号，采集结果无效；

S10、通过动作完成评估算法对视频流的多个连续视频帧进行步骤S1-S7的检测判定，在视频流记录的采集动作达到算法指定条件时，给出采集动作完成的二分类结果判定。

如图2和3所示，对步骤S2中三维点云重建算法详细步骤包括：

S201、图像裁剪和增强，首先对输入的双目高清图像进行预处理，从原始的1920×1000像素图像中检测有效区域，如图像中间的320×320像素区域。此后，将裁剪后的图像按如下公式对RGB三通道彩色图像转灰度图：

P＝0.315×Red+0.507×Green+0.093×Blue

S202、构建图像金字塔，设置图像金字塔层数Levels＝m，即层数从Level₀到Level_m-1，设置图像金字塔层间缩放比例为s＝1.2。

以s进行图像逐层缩放，第0层为步骤S201处理后的灰度图，其分辨率是320×320，则第n层图像的分辨率为：

确定图像金字塔各层所需提取的特征点最大数量。图像金字塔层数越高，对应层数的图像分辨率越低，面积(像素宽×像素高)越小，所需要提取到的特征点数量就越少。特征点分配策略根据图像的面积来定，将总特征点数目根据面积比例均摊到每层图像上。

设置特征点总数为N＝1024，计算整个图像金字塔的图像面积是：

单位面积应该分配的特征点数量为：

第n层应该分配的特征点数量为：

S203、以FAST算法提取特征点，

S2031、选取像素p，假设它的灰度为I_p；

S2032、设置一个阈值T(例如I_p的10％)；

S2033、以像素p为中心，选取半径为3的圆上的16个像素点得到特征区域Z；

S2034、假如选取的Z上，有连续的N个点的灰度大于I_p+T或小于I_p-T，那么像素p可以被认为是特征点。

S2035循环以上4步，对每一个像素执行相同操作，提取出图像金字塔各层图像的特征点集。

如图2和4所示，S301、以四叉树算法选取特征点，

对步骤S203的特征点集进行四叉树均匀化选取，选出步骤S202定义的N个特征点，防止特征点过度集中的某一些区域而使得其它区域没有选取到特征点。选择过程如下：

如第n层图像需要选择特征点数量为，将第n层图像进行四叉树分裂，分为等分的四个区域，此时区域数为4，设其中包含至少一个特征点的区域个数为A，如果，则每个区域继续分裂为4个等分区域，直到包含至少一个特征点的区域个数，则停止分裂。在每个区域中，选择亮度值差异最大的特征点进行下一步计算。

S302、计算特征点方向，

采用灰度质心法计算特征点方向属性来使得特征点具备旋转不变性，即特征点在图像中发生旋转后也能被识别出来。

定义特征点区域图像的矩为：

式中，p和q取0或者1；I(x，y)表示在像素坐标处图像的灰度值；表示图像的矩。

在半径为R的圆形图像区域，沿两个坐标轴x，y方向的图像矩分别为：

圆形区域内所有像素的灰度值总和为：

计算图像的灰度质心：

特征点的方向可以表示为从圆形图像几何中心指向灰度质心的方向向量特征点的旋转角度为：

θ＝arctan(c_y，c_x)＝arctan(m₀₁，m₁₀)

S303、计算特征点描述子，

对图像进行高斯模糊，采用高斯公式进行高斯模糊处理：

其中，σ为x方向的标准差，取值为1.5。高斯滤波半径取2，即对每个像素采用5×5的高斯核进行模糊计算。

将步骤S205得到的每个特征点进行Steer Brief处理，得到具有方向不变性的特征点描述子，具体过程为：

定义Brief选点矩阵，将Brief选点矩阵按每个特征点的灰度质心角度进行旋转，得到Steer Brief选点矩阵。这个过程使用二维旋转矩阵进行旋转计算：

此后按Steer Brief定义的选择点值为坐标，在特征点附近区域上进行像素点俩俩组合，每16个随机点值可得到8组(p₀，p₁)像素点组合，对比组合内像素的灰度值大小，来获得描述子中每bit的数值b：

每八个b组成了一个字节，即为该特征点描述子中的一个字节。

对以上过程重复执行32次，即选择32组不同的Steer Brief点值，得到32个字节的描述子，这个描述子用于唯一标识这个特征点。

按照上述方法，对每个特征点进行Steer Brief处理，即可将每个特征点表达为32个字节的描述子。

S304、特征点去畸变，

考虑到双目相机左右两个摄像头可能存在不一样的内外参数，造成左右目图像可能存在枕型畸变和桶型畸变，因此，需要对各特征点根据摄像头预先标定的内外参进行去畸变操作来修正特征点的坐标。

设相机内参矩阵为：

设相机畸变参数矩阵为：

distCoeffs＝[k₁，k₂，p₁，p₂，k₃]

这两个矩阵的值由相机硬件厂家给出，特征点去畸变过程为：

x′←(u-c_x)/f_x

y′←(v-c_y)/f_y

(x，y)＝undistort(x′，y′，distCoeffs)

其中undistort是一种近似迭代算法，它从失真点坐标中估计出归一化的原点坐标。

S305、左右目特征点匹配，

将左右目的图像进行特征点匹配，确定某一特征点在左右图像中的坐标(xl，yl)和(xr，yr)。

采用稀疏立体匹配算法进行左右图的特征点匹配，首先进行行特征点统计，根据左图中所有特征点计算右图中可能的特征点位置，对于坐标为(x₁，y₁)的左图特征点，当双目相机基线为b时，在右图的(x₁±2，y₁±b)这个区域进行搜索。通过预测搜索区域，可以减少特征点匹配的计算量。

通过计算左图特征点和右图指定区域的特征点进行对比，得到粗匹配特征点集。特征点匹配是通过计算两个特征点描述子的汉明距离。所有汉明距离小于100的特征点中取得最小汉明距离的特征点，作为匹配特征点对。对于非level0层的特征点对，需要通过图像金字塔缩放比例s还原到level0层的坐标上。

将上一步匹配到的特征点集逐一通过SAD算法进行尺寸为精确匹配，SAD滑动块尺寸为5×5像素。以此来获得精确的左右图特征点坐标。块匹配相似度阈值使用：

相似度阈值＝块相似度中位数×1.5×1.4

相似度大于相似度阈值的特征点作为离群特征点而被舍弃。

S306、计算特征点深度值，

根据匹配到的左右图特征点坐标，可计算得到特征点视差d，从而还原出特征点的深度z，公式为：

记左右目光心为0₁0_r，特征点P₁P_r与光心的距离为：

u_l＝O_l-P_l

u_r＝O_r-P_r

相机基线b为：

b＝O_r-O_l

则该特征点的深度值可以用下面公式计算：

至此，由最多N个三维特征点的建立的点云图构建完成。此后进行三维物体识别算法模块的处理。

三维物体识别算法采用基于PointCnn神经网络构建，在点云图上按咽后壁、咽拭子、其它背景这三组特征进行标注，通过PointCnn神经网络进行模型训练：

PointCnn网络的算法为：设K为卷积网格的尺寸，即提取p周围的K个相邻点，输入点云的某一特征点为p，其相邻的点为P，F为点云的输入feature；最后获取在点云图中区分出咽后壁、咽拭子、其它背景三种特征点。

通过接触检测算法对分类出的咽后壁点云，咽拭子点云进行碰撞检测；

在步骤S204中选择出的包含有效特征点的四叉树区域进行遍历，在每个区域内分别比较咽后壁和咽拭子两组特征点集进行接触可能性判定，首先求出每个区域内的两组特征点平均距离，平均距离公式如下：

其中，D_n标识第n个区域的特征点平均距离，n和m分别为两组特征点的个数；对区域内两组特征点两两求三维距离后进行算术平均即可得到D_n。

动作完成评估算法对采样动作是否完成的最终判定：

定义判定函数：

定义打分函数：

其中fps是当前视频流帧率，cp是置信距离，累加2秒内视频帧的判定值J后，得到当前采集动作完成分数；设置分数门限范围(0，fps*2-1)中的一个值来作为动作完成门限，当score大于等于这个门限即可视为采集完成。

本发明相比现有技术，具有如下有益效果：

本发明所提供算可用于无人值守自助式核酸采样亭，与双目高清摄像头配合，即可实现对受检人员的自助采样过程进行动作完成判别。与机械臂式的核酸采集方案相比，对受检人员的心理压力最小，一次性采集成功率和采集效率也更高，建设成本也更低。

本发明将四个算法(三维点云重建算法、三维物体识别算法、接触检测算法、动作完成评估算法)整合在一个视频处理流程中，一套流程即可完成核酸采集过程对算法模型提出的三个任务，即采集部位指示、咽拭子头识别和指示、动作完成检测和评估。

以上对本申请提供的一种基于视觉三维场景重建的样本采集结果评估方法进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (7)

1.一种基于视觉三维场景重建的样本采集结果评估方法，其特征在于，包括步骤：

S1、通过双目摄像头采集核酸采集过程中视频流图像；

S2、从双目摄像头输入的左右两个视频流中提取图像特征点；

S3、采用特征点描述子对特征点进行识别和匹配，利用空间几何计算该特征点的视觉深度信息，对每一个特征点在三维空间中的空间位置进行还原，获得特征点组成的三维点云；

S4、通过三维物体识别算法对三维点云样本进行标注和训练，得到在三维点云中分割出咽后壁点云簇和咽拭子点云簇的神经网络模型；

S5、对后壁点云簇和咽拭子点云簇进行点云到mesh计算，还原出咽后壁三维mesh和咽拭子三维mesh；

S6、将两个三维mesh投影到一个摄像头图像中，即可得到二维图像中咽后壁和咽拭子位置多边形；

S7、利用接触检测算法，判断当前咽后壁三维mesh和咽拭子三维mesh的空间位置关系，若判断为接触，则进入步骤S8，若判断为没有接触，则进入步骤S9；

S8、结合置信度计算，给出接触概率的连续估计评分，进入步骤S10；

S9、给出预警信号，采集结果无效；

S10、通过动作完成评估算法对视频流的多个连续视频帧进行步骤S1-S7的检测判定，在视频流记录的采集动作达到算法指定条件时，给出采集动作完成的二分类结果判定。

2.根据权利要求1所述的一种基于视觉三维场景重建的样本采集结果评估方法，其特征在于，对步骤S2中提取图像特征点的详细步骤包括：

S201、图像裁剪和增强，对输入的双目高清图像进行预处理，从原始的像素图像中检测有效区域；

S202、构建图像金字塔，获取图像金字塔各层所需提取的特征点最大数量N；

S203、以FAST算法提取特征点。

3.根据权利要求2所述的一种基于视觉三维场景重建的样本采集结果评估方法，其特征在于，FAST算法提取特征点的详细步骤：

S2031、选取像素p，预设它的灰度值为Ip；

S2032、设置一个灰度Ip的阈值为T；

S2033、以像素p为中心，选取半径为3的圆上的16个像素点得到特征区域Z；

S2034、假如选取的特征区域Z上有连续的N个点的灰度值大于Ip+T或小于Ip-T，则像素p判定为特征点；

S2035循环以上4步，对每一个像素执行相同操作，提取出图像金字塔各层图像的特征点集。

4.根据权利要求3所述的一种基于视觉三维场景重建的样本采集结果评估方法，其特征在于，步骤S3中获取特征点组成的三维点云图的详细步骤：

S301、以四叉树算法选取特征点，对步骤S203的特征点集进行四叉树均匀化选取，选出步骤S202定义的N个特征点；

S302、计算特征点方向，

采用灰度质心法计算特征点方向属性：

定义特征点区域图像的矩为：

式中，p和q取0或者1；I(x，y)表示在像素坐标处图像的灰度值；表示图像的矩，

在半径为R的圆形图像区域，沿两个坐标轴x，y方向的图像矩分别为：

圆形区域内所有像素的灰度值总和为：

计算图像的灰度质心：

特征点的方向表示为从圆形图像几何中心指向灰度质心的方向向量特征点的旋转角度为：

θ＝arctan(c_y，c_x)＝arctan(m₀₁，m₁₀)；

S303、计算特征点描述子，

对图像进行高斯模糊，采用高斯公式进行高斯模糊处理：

其中，σ为x方向的标准差，取值为1.5，

将步骤S205得到的每个特征点进行Steer Brief处理，得到具有方向不变性的特征点描述子；

S304、特征点去畸变，

设相机内参矩阵为：

设相机畸变参数矩阵为：

distCoeffs＝[k₁，k₂，p₁，p₂，k₃]

这两个矩阵的值初始预设，特征点去畸变过程为：

x′←(u-c_x)/f_x

y′←(v-c_y)/f_y

(x，y)＝undistort(x′，y′，distCoeffs)

其中undistort为一种近似迭代算法；

S305、将左右目的图像进行特征点匹配；

S306、计算特征点深度值，

根据匹配到的左右图特征点坐标，可计算得到特征点视差d，从而还原出特征点的深度z。

5.根据权利要求4所述的一种基于视觉三维场景重建的样本采集结果评估方法，其特征在于，三维物体识别算法采用基于PointCnn神经网络构建，在点云图上按咽后壁、咽拭子、其它背景这三组特征进行标注，通过PointCnn神经网络进行模型训练：

PointCnn神经网络的模型训练算法为：设K为卷积网格的尺寸，即提取p周围的K个相邻点，输入点云的某一特征点为p，其相邻的点为P，F为点云的输入feature；最后获取在点云图中区分出咽后壁、咽拭子、其它背景三种特征点。

6.根据权利要求4所述的一种基于视觉三维场景重建的样本采集结果评估方法，其特征在于，通过接触检测算法对分类出的咽后壁点云，咽拭子点云进行碰撞检测；

在步骤S301中选择出的包含有效特征点的四叉树区域进行遍历，在每个区域内分别比较咽后壁和咽拭子两组特征点集进行接触可能性判定，首先求出每个区域内的两组特征点平均距离，平均距离公式如下：

其中，D_n标识第n个区域的特征点平均距离，n和m分别为两组特征点的个数；对区域内两组特征点两两求三维距离后进行算术平均即可得到D_n。

7.根据权利要求6所述的一种基于视觉三维场景重建的样本采集结果评估方法，其特征在于，动作完成评估算法对采样动作是否完成的最终判定：

定义判定函数：

定义打分函数：

其中fps是当前视频流帧率，cp是置信距离，累加2秒内视频帧的判定值J后，得到当前采集动作完成分数；设置分数门限范围(0，fps*2-1)中的一个值来作为动作完成门限，当score大于等于这个门限即可视为采集完成。