CN114998841A - 核酸采样的样本识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供了一种核酸采样的样本识别方法、装置、设备及存储介质。本申请实施例通过获取包含口腔区域的实时人脸图像点云图，建立用户的人脸模型。通过对实时人脸图像点云图进行灰度处理、调高亮度处理和增加对比度处理，可以基于处理后的实时人脸图像点云图的灰度分布，准确地筛选出灰度值差值最大的两个相邻的灰度区域。再基于筛选出的两个灰度区域之间的分界线、实时人脸图像点云图的深度信息以及灰度阈值，在筛选出的两个灰度区域的范围内，准确地确定出核酸采样的目标采样区域。当拭子的移动轨迹经过目标采样区域，表明拭子在正确的核酸采样部位进行了采样。从而可以判定该拭子采集的样本有效，可以提高核酸检测结果的有效率。

Description

核酸采样的样本识别方法、装置、设备及存储介质

技术领域

本申请属于核酸检测技术领域，尤其涉及一种核酸采样的样本识别方法、装置、设备及存储介质。

背景技术

核酸检测是筛查新型冠状病毒感染的重要方式。核酸检测的样本可以通过拭子采样获得。例如通过拭子对用户的咽部进行采样，以获得核酸检测所需的样本。

但是，由于核酸采样过程不一定符合核酸采样要求，可能造成样本无效，导致核酸检测结果错误或者无效。因此需要一种可以识别核酸采样的样本是否有效的方法。

发明内容

有鉴于此，本申请实施例提供了一种核酸采样的样本识别方法、装置、设备及存储介质，可以判定采集的样本是否有效。

本申请实施例的第一方面提供了一种核酸采样的样本识别方法，包括：获取包含用户的口腔区域的实时人脸图像点云图，其中，口腔区域处于张开状态；获取实时人脸图像点云图的灰度分布，并沿着灰度分布中的灰度渐变方向将口腔区域划分为多个灰度值不同的灰度区域；从各个灰度区域中，筛选出灰度值差值最大的两个相邻的灰度区域；基于筛选出的两个灰度区域之间的分界线，在筛选出的两个灰度区域的范围内，确定出核酸采样的目标采样区域；在用户进行核酸采样的过程中，获取拭子的移动轨迹；若移动轨迹经过目标采样区域，则判定拭子采集的样本有效；否则，发出第一提示信息。

在第一方面的第一种可能的实现方式中，基于筛选出的两个灰度区域之间的分界线，在筛选出的两个灰度区域的范围内，确定出核酸采样的目标采样区域，包括：在筛选出的两个灰度区域中，基于分界线、实时人脸图像点云图的深度信息以及灰度阈值，确定出目标采样区域。

在第一方面的第二种可能的实现方式中，在获取实时人脸图像点云图的灰度分布，并沿着灰度分布中的灰度渐变方向将口腔区域划分为多个灰度值不同的灰度区域之前，还包括：对实时人脸图像点云图进行灰度化处理、调高亮度处理以及增加对比度处理。

在第一方面的第三种可能的实现方式中，获取包含用户的口腔区域的实时人脸图像点云图，包括：获取用户的唇部的轮廓特征，口腔区域包含唇部。若轮廓特征满足口腔区域的张开幅度要求，则获取包含口腔区域的实时人脸图像点云图；否则，发出第二提示信息。

基于第一方面的第三种可能实现方式，在第一方面的第四种可能的实现方式中，张开幅度要求包括：轮廓特征的高度与宽度的比值大于预设阈值。

基于第一方面的第三种可能实现方式，在第一方面的第五种可能的实现方式中，获取用户的唇部的轮廓特征，包括：获取用户的人脸的实时朝向。若实时朝向满足人脸朝向要求，则获取唇部的轮廓特征；否则，发出第三提示信息。在第一方面的第六种可能的实现方式中，在基于筛选出的两个灰度区域之间的分界线，在筛选出的两个灰度区域的范围内，确定出核酸采样的目标采样区域之后，还包括：展示目标采样区域，并在展示的目标采样区域中展示指引标记，指引标记用于指引拭子在移动过程中，经过目标采样区域。

在第一方面的第七种可能的实现方式中，在获取包含用户的口腔区域的实时人脸图像点云图之前，还包括：对用户进行身份验证。例如，身份验证包括：身份证验证、人脸图像验证。人脸图像可以与身份证上的照片信息进行比对。若验证通过，则进行下一步；否则，发出第四提示信息。

本申请实施例的第二方面提供了一种核酸采样的样本识别装置，包括：第一获取模块，用于获取包含用户的口腔区域的实时人脸图像点云图，其中，口腔区域处于张开状态；划分模块，用于获取实时人脸图像点云图的灰度分布，并沿着灰度分布中的灰度渐变方向将口腔区域划分为多个灰度值不同的灰度区域；筛选模块，用于从各个灰度区域中，筛选出灰度值差值最大的两个相邻的灰度区域；确定模块，用于基于筛选出的两个灰度区域之间的分界线，在筛选出的两个灰度区域的范围内，确定出核酸采样的目标采样区域；第二获取模块，用于在用户进行核酸采样的过程中，获取拭子的移动轨迹；判定模块，用于若移动轨迹经过目标采样区域，则判定拭子采集的样本有效。

本申请实施例的第三方面提供了一种终端设备，包括存储器和处理器，存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面提供的核酸采样的样本识别方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述第一方面提供的核酸采样的样本识别方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面提供的核酸采样的样本识别方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：

在口腔区域处于张开状态时，获取包含口腔区域的实时人脸图像点云图。实时人脸图像点云图可以包含三维坐标信息，能够更加准确地判断拭子的移动轨迹是否经过目标采样区域。基于实时人脸图像点云图的灰度分布，可以沿着灰度渐变方向将口腔区域划分为多个灰度区域。由于口腔区域的不同部位的灰度值不一致。因此可以基于相邻的两个灰度区域之间的灰度值差值，筛选出最大的灰度值差值对应的两个相邻的灰度区域。从而可以基于筛选出的两个灰度区域之间的分界线，在筛选出的两个灰度区域的范围内，确定出核酸采样的目标采样区域。当拭子的移动轨迹经过目标采样区域，表明拭子在正确的核酸采样部位进行了采样。从而可以判定该拭子采集的样本有效。本申请实施例通过判定拭子的移动轨迹是否经过目标采样区域，可以识别拭子采集的样本是否有效。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的核酸采样的样本识别方法的流程示意图；

图2是本申请一实施例提供的人脸图像点云图的示意图；

图3是本申请一实施例提供的核酸采样的样本识别方法的流程示意图；

图4是本申请一实施例提供的灰度图的示意图；

图5是本申请一实施例提供的增大亮度后的灰度图的示意图；

图6是本申请一实施例提供的增大对比度后的灰度图的示意图；

图7是本申请一实施例提供的划分多个灰度区域的示意图；

图8是本申请一实施例提供的目标采样区域的示意图；

图9是本申请一实施例提供的目标采样区域的示意图；

图10是本申请一实施例提供的核酸采样的样本识别方法的流程示意图；

图11是本申请一实施例提供的核酸采样的样本识别方法的流程示意图；

图12是本申请一实施例提供的核酸采样的样本识别装置的结构示意图；

图13是本申请一实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

核酸检测是筛查新型冠状病毒感染的重要方式。核酸检测的样本可以通过拭子采样获得，例如咽拭子采样。咽拭子采样包括以下三种采样形式：（1）医务人员通过拭子对用户的咽部进行采样；（2）机器人利用其机械手，通过拭子对用户的咽部进行采样；（3）用户通过拭子对自身的咽部进行采样。

由于上述三种形式的咽拭子采样均缺乏对核酸采样过程的反馈，无法有效监控核酸采样过程。因此核酸采样过程不一定符合核酸采样要求，可能造成样本无效，导致核酸检测结果错误或者无效。

有鉴于此，本申请实施例提供了一种核酸采样的样本识别方法。可以获取包含用户的口腔区域的实时人脸图像点云图。基于实时人脸图像点云图的灰度分布，沿着灰度分布中的灰度渐变方向将口腔区域划分为多个灰度值不同的灰度区域。并在多个灰度区域中，确定核酸采样的目标采样区域。通过判定拭子的移动轨迹是否经过目标采样区域，以判定拭子采集的样本是否有效，从而提高核酸检测结果的有效率。

本申请实施例提供的核酸采样的样本识别方法，可以应用于核酸采样机器人、手机、平板电脑、可穿戴设备等终端设备上。并且，适用于上述三种咽拭子采样形式。此终端设备即为本申请实施例提供的核酸采样的样本识别方法的执行主体。本申请实施例对终端设备的具体类型和咽拭子采样形式的具体种类不作限制。

为了说明本申请所述的技术方案，下面以执行主体为核酸采样机器人、咽拭子采样形式为上述第（3）种形式：用户通过拭子对自身的咽部进行采样作为例子，通过具体实施例来进行说明。

图1示出了本申请一实施例提供的核酸采样的样本识别方法的流程示意图，详述如下：

S101、获取包含用户的口腔区域的实时人脸图像点云图，其中，口腔区域处于张开状态。

咽拭子采样需要用户口腔区域处于张开状态，因此需要获取口腔区域处于张开状态的人脸图像。同时，考虑到二维图像包含的信息较为有限，为了提高对用户人脸检测的精度，以实现对目标采样区域的精确识别定位。本申请实施例会采集包含人脸各个部位的三维信息、颜色信息等信息的人脸图像点云图，并以该人脸图像点云图作为分析对象。

本申请实施例中，可通过人脸3D表面提取模型FaceMesh提取人脸点云数据。在其他实施例中，也可通过双目立体视觉技术获取人脸点云数据，本申请实施例对获取人脸点云数据的方法不作限定。作为示例而非限定，人脸图像点云图如图2所示。

在实际的核酸采样过程中，用户可能会有微小的晃动，从而造成人脸的位置移动。即在核酸采样过程中，不同时刻的人脸图像点云图存在差异。为此，需要采集连续的多帧实时人脸图像点云图，通过对连续的多帧实时人脸图像点云图进行分析，达到监控核酸采样过程的目的。

需要说明的是，实时人脸图像点云图可以是指一帧一帧的图像数据。在一些实施例中，通过实时监控一帧一帧的实时图像数据，实现实时监控核酸采样过程。并在实时监控过程中，判定采集的样本是否有效。在另一些实施例中，可以先录制核酸采样过程的视频，然后对视频中一帧一帧的图像数据进行分析，实现监控核酸采样过程。并在分析过程中判定采集的样本是否有效。

应理解，上述实时监控方式和录制视频的监控方式，均适用于本申请实施例，均可以识别拭子采集的样本的有效性。作为一种可选实施方式，在本申请实施例中，通过实时监控的方式监控核酸采样过程。

在本申请实施例中，口腔区域包含唇部和口腔内部。其中，唇部包括上唇和下唇。口腔内部包含核酸采样的目标采样区域。

应理解，当口腔区域的张开幅度较小时，既无法观察到目标采样区域，也无法进行核酸采样。因此，作为本实施例的一种可选实施方式，为了能够定位到目标采样区域，在获取实时人脸图像点云图之前，应检测口腔区域的张开幅度是否满足张开幅度要求。

如图3所示，基于上述分析，S101中的获取包含用户的口腔区域的实时人脸图像点云图，包括以下S301至S303。

S301、获取用户的唇部的轮廓特征。

S302、若轮廓特征满足口腔区域的张开幅度要求，则获取包含口腔区域的实时人脸图像点云图。

S303、若轮廓特征不满足口腔区域的张开幅度要求，则发出第二提示信息。

本实施例在S301中，获取用户的唇部的轮廓特征。通过唇部的轮廓特征，可以判定口腔区域的张开幅度是否符合要求。在S302中，当判定出唇部的轮廓特征满足口腔区域的张开幅度要求时，获取包含口腔区域的实时人脸图像点云图。在S303中，当判定出唇部的轮廓特征不满足口腔区域的张开幅度要求时，则发出第二提示信息。

需要说明的是，由于唇部的肤色带有粉色，相较于其他区域的肤色更深。因此可以基于该特点，定位唇部的位置，以及获取唇部的轮廓特征。例如，如图2所示中的矩形框为唇部的位置。通过两个矩形框的尺寸，可以计算得到唇部的轮廓特征。

本申请实施例对如何定位唇部的位置，以及获取唇部的轮廓特征不作具体限定，技术人员可以根据需要选择相关技术手段实现。作为示例而非限定，可以将实时人脸图像点云图转换为CMYK（印刷色彩）模式图像。然后可以基于CMYK模式的颜色差异和唇部颜色差异，快速定位唇部的位置，以及获取唇部的轮廓特征。

应理解，唇部的轮廓特征由上唇和下唇的轮廓特征组成。随着口腔区域的张开幅度逐渐增大，上唇和下唇之间的距离会逐渐增大，唇部的轮廓特征的形状也会发生改变。其中，上唇和下唇之间的距离也可以称为唇部的轮廓特征中的高度。因此，唇部的轮廓特征可以包括宽度、高度和形状等特征。作为示例而非限定，唇部的宽度等于两侧嘴角之间的距离，唇部的高度等于上唇的中心和下唇的中心之间的距离。例如，图4所示，坐标点M1、N1、M4和N4为唇部的外轮廓；坐标点M2、N2、M3和N3为唇部的内轮廓。

因此，本申请实施例通过判定唇部的轮廓特征是否满足口腔区域的张开幅度要求，以决定是否获取包含口腔区域的实时人脸图像点云图，可以提高判定样本有效性的判定效率。

作为示例而非限定，第二提示信息可以是文字、声音和/或视频信息。例如，提示正确张开口腔，或者提示增大口腔区域的张开幅度等。

在一些实施例中，张开幅度要求包括：轮廓特征的高度与宽度的比值大于预设阈值。由于不同的用户的唇部的高度和宽度不一致，因此通过高度与宽度的比值判定是否满足张开幅度要求，可以获得较为准确的判定结果。作为示例而非限定，如图4所示，该比值等于(N3-N2)/(M3-M2)，或者等于(N4-N1)/(M4-M1)。

作为示例而非限定，该预设阈值为1.2~1.6。例如，预设阈值等于1.5。

S102、获取实时人脸图像点云图的灰度分布，并沿着灰度分布中的灰度渐变方向将口腔区域划分为多个灰度值不同的灰度区域。

由于口腔区域的不同部位的亮暗程度不一致。因此可以基于实时人脸图像点云图的灰度分布，定位目标采样区域。灰度通常显示为从最暗的黑色到最亮的白色的灰度。白色与黑色之间可以分为若干等阶。本申请实施例对等阶数量不作具体限制，技术人员可以根据需要进行设定。

在一些实施例中，白色与黑色之间可以按对数关系分为若干等阶。例如分为256阶。因此，作为示例而非限定，每个像素的灰度可以用0~255之间的数值进行表示。0表示黑色，255表示白色。

由于是利用口腔区域的不同部位的亮暗程度不一致的特点，进行定位目标采样区域。因此可以对灰度图进行调高亮度处理和增加对比度处理。调高亮度处理，可以使得口腔区域的不同部位的亮度更高，以便于观察和分析。增加对比度处理，可以使得口腔区域的不同部位的亮暗程度的差异更加明显，以便于更加准确地定位目标采样区域。应理解，灰度化处理、调高亮度处理以及增加对比度处理均是对实时人脸图像点云图进行操作。本申请实施例对灰度化处理、调高亮度处理和增加对比度处理之间的顺序不作任何限定。

作为示例而非限定，本实施例依次对实时人脸图像点云图进行灰度化处理、调高亮度处理和增加对比度处理，分别得到如图4所示的灰度图、如图5所示的调高亮度后的灰度图、如图6所示的增加对比度后的灰度图。

基于上述分析，在一些实施例中，在S102之前，核酸采样的样本识别方法还包括以下步骤：对实时人脸图像点云图进行灰度化处理、调高亮度处理以及增加对比度处理。

灰度分布是指灰度图中的灰度值分布情况。由于环境光照无法完全照进口腔内部，因此口腔区域的不同部位的灰度值不一致。并且，口腔外部的灰度大于口腔内部的灰度。即实时人脸图像点云图的灰度分布存在一个灰度渐变方向。该灰度渐变方向表现为：越靠近口腔内部深处的部位，其灰度值越小，且口腔内左右两侧的灰度值小于口腔内中间部位的灰度值。

因此，可以沿着灰度渐变方向，将口腔区域划分为多个灰度区域。此处的多个表示两个及两个以上的含义。不同灰度区域的灰度值不一致。

划分多个灰度区域的一个目的在于，可以过滤掉一些不符合灰度渐变方向特征的像素点。例如，在一些实施例中，由于毛发、分泌物或外来物质贴附在口腔区域，其对应的像素点的灰度值较小。但其不符合灰度渐变方向特征。因此可以通过划分多个灰度区域，基于灰度渐变方向特征，将该像素点过滤。

如图7所示，可以在图6的基础上，将口腔区域划分为多个区域。为了便于计算，可以在图7中建立坐标系。作为示例而非限定，多个灰度区域包括：X1、Y1、X5、X6、Y2、X2围设的第一区域；X2、Y2、X6、X7、Y3、X3围设的第二区域；X3、Y3、X7、X8、Y4、X4围设的第三区域。

S103、从各个灰度区域中，筛选出灰度值差值最大的两个相邻的灰度区域。

S104、基于筛选出的两个灰度区域之间的分界线，在筛选出的两个灰度区域的范围内，确定出核酸采样的目标采样区域。

需要说明的是，根据核酸采样标准，核酸采样部位应是双侧咽侧壁扁桃体及咽后壁等部位。这些部位均位于口腔区域的较深部位，使得这些部位的灰度值较小。而与这些部位相邻的部位，例如舌根部位，位于口腔区域的中间或者外围，使得这些相邻的部位的灰度值较大。基于这些分析，筛选出的两个灰度区域之间的分界线，相当于核酸采样部位和与之相邻的部位之间的分界线。

因此筛选出灰度值差值最大的两个相邻的灰度区域中，包括有目标采样区域。从而可以基于筛选出的两个灰度区域之间的分界线，确定出核酸采样的目标采样区域。

需要说明的是，本申请实施例对灰度区域的数量和划分方法不作具体限定，技术人员可以根据需要进行选择。作为示例而非限定，可以基于口腔区域的灰度范围和唇部的高度，进行划分灰度区域，并以此确定划分灰度区域的数量。例如，通过设定每个灰度区域占唇部的高度的比值，进行划分灰度区域和确定划分灰度区域的数量。又例如，通过设定每个灰度区域的灰度范围，进行划分灰度区域和确定划分灰度区域的数量。

如图8所示，作为示例而非限定，由于第二区域和第三区域之间的灰度差值最大，因此分界线为X2、Y2和X6相连的曲线。作为示例而非限定，可以以分界线为基础，选择如图8所示的矩形框或者如图9所示的三角形框，作为核酸采样的目标采样区域。作为示例而非限定，目标采样区域包括位于两侧的第一采样区域和第二采样区域。例如图8中的两个矩形框，或者图9中的两个三角形框。

作为示例而非限定，图8所示的矩形框的下边线或者图9所示的三角形框的下边线可以与分界线大致相切。换言之，在图8所示实施例中，通过选择与分界线相切的切线、切线的长度以及切线偏向上嘴唇轮廓的距离，可以确定该矩形框的大小。在图9所示实施例中，通过选择与分界线相切的切线、切线的长度以及切线和三角形框的斜边之间的夹角大小，可以确定该三角形框的大小。作为示例而非限定，还可以通过限制矩形框或者三角形框的面积，确定矩形框或者三角形框的面积大小，从而确定核酸采样的目标采样区域。

基于上述分析，可以在筛选出的两个灰度区域的范围内，确定核酸采样的目标采样区域。

与通过几何形状识别、定位目标采样区域的技术相比，本实施例通过划分多个灰度区域，并基于分界线在筛选出的两个灰度区域的范围内，确定核酸采样的目标采样区域，可以更加精准地确定该目标采样区域。

S105、在用户进行核酸采样的过程中，获取拭子的移动轨迹。

S106、若移动轨迹经过目标采样区域，则判定拭子采集的样本有效。

本申请实施例在S105中，是通过以下方法获取拭子的移动轨迹：

首先，在监测出目标为拭子之后，监测拭子是否为移动目标。本申请实施例中，可通过帧差法、混合高斯模型等方法监测拭子是否为移动目标。

其次，在确定移动目标后，可以获取拭子的中心点。本申请实施例中，可通过拭子的外接矩形取中心点的方法，或计算拭子的质心的方法获取拭子的中心点。

最后，将同一拭子的中心点进行连接，以得到拭子的移动轨迹。本申请实施例中，可通过目标跟踪的方法监测出同一拭子，将同一拭子的中心点进行连接形成轨迹。目标跟踪的方法可以为卡尔曼滤波、匹配搜索、深度学习等任一方法，本申请实施例对目标跟踪的方法不作限定。

本申请实施例在S106中，判断移动轨迹是否经过目标采样区域的方法为：

首先，确定拭子的拭子头的位置和目标采样区域的位置。

具体的，可利用感兴趣提取算法确定拭子头区域和目标采样区域的位置，示例性的，可用矩形框表征拭子头区域，用矩形框表征目标采样区域。

根据拭子头区域，确定拭子的拭子头的位置，以及根据目标采样区域，确定目标采样区域的位置。

具体的，表征拭子头区域的矩形框所在区域的坐标即为拭子头的位置。表征目标采样区域的矩形框所在区域的坐标即为目标采样区域的位置。

然后，判断目标采样区域的位置是否包含拭子的拭子头的位置。

具体的，判断表征目标采样区域的矩形框所在区域的坐标集中是否包含表征拭子头区域的矩形框所在区域的坐标集。

最后，若目标采样区域的位置包含拭子的拭子头的位置，则判定拭子的移动轨迹经过目标采样区域。

其他实施例在S106中，判断移动轨迹是否经过目标采样区域的方法为：

通过建立的轨迹识别模型判定移动轨迹是否经过目标采样区域内。即在轨迹识别模型中输入移动轨迹，根据模型的输出结果即可判断移动轨迹是否符合预设的采样轨迹，若为采样轨迹，则判定移动轨迹经过目标采样区域。

轨迹识别模型的训练方法为：

获取多组样本数据，样本数据包括采样轨迹数据和其他轨迹数据，采样轨迹是指拭子移动到目标采样区域内的轨迹，其他轨迹是指除采样轨迹外的轨迹，如：手指移动到目标采样区域内的轨迹，拭子移动到非目标采样区域的轨迹。

确定各样本数据对应的标准类型，即将采样轨迹和其他轨迹标记为不同类型。

将各样本数据输入初始的轨迹识别模型，得到初始的轨迹识别模型输出的预测类型；

根据各样本数据对应的标准类型和预测类型，确定初始的轨迹识别模型的预测准确率；

当预测准确率不满足预设条件时（示例性的，预测准确率小于80%至90%，例如预测准确率小于85%），调整初始的轨迹识别模型的模型参数，并将模型参数调整后的轨迹识别模型确定为初始的轨迹识别模型，返回执行将各样本数据输入初始的轨迹识别模型，得到初始的轨迹识别模型输出的预测类型的步骤以及后续步骤；

当预测准确率满足预设条件时，确定训练完成，并将初始的轨迹识别模型确定为训练完成的轨迹识别模型。

本申请实施例中，当拭子的移动轨迹经过目标采样区域，表明拭子在正确的核酸采样部位进行了采样。从而可以判定该拭子采集的样本有效。作为示例而非限定，由于拭子的采集部是白色的棉球。因此通过获取棉球的移动轨迹，即可快速、准确地获取拭子的移动轨迹。

应用本申请实施例提供的核酸采样的样本识别方法，核酸检测时可以避免对无效的样本进行检测，可以提高核酸检测的效率和提高核酸检测结果的有效率。

结合上述S101至S106的描述，与通过几何形状识别、定位目标采样区域的技术相比，本实施例基于实时人脸图像点云图的灰度分布确定目标采样区域，可以更加精准地确定核酸采样的目标采样区域。通过判定拭子的移动轨迹是否经过目标采样区域，可以识别拭子采集的样本是否有效，可以提高核酸检测结果的有效率。

如图1所示，在本申请的另一实施例中，在S105之后，核酸采样的样本识别方法还包括以下步骤：

S107、若拭子的移动轨迹未经过目标采样区域，则发出第一提示信息。

如果拭子的移动轨迹未经过目标采样区域，则可以判定拭子采集的样本无效。此时，可以发出第一提示信息。作为示例而非限定，该第一提示信息可以是文字、声音和/或视频信息。例如，提示拭子采集的样本无效，以及提示用户重新进行核酸采样。

因此，S101至S107组成的实施例，可以对核酸采样的过程进行监督和反馈，提高采集的样本的有效率。

如图10所示，在本申请的另一实施例中，S104包括以下步骤：

S1001、在筛选出的两个灰度区域中，基于分界线、实时人脸图像点云图的深度信息以及灰度阈值，确定出目标采样区域。

需要说明的是，基于人体口腔结构，目标采样区域具有以下特点：（一）具有左右两个采样区域；（二）位于口腔区域内较深的位置；（三）灰度值较低。

悬雍垂位于口腔咽部的中间部位。而核酸采样时应尽量避免触碰悬雍垂。因此，目标采样区域包括位于两侧的第一采样区域和第二采样区域。作为示例而非限定，可以以参考位置为基准，第一采样区域和第二采样区域分别位于参考位置的两侧。本申请实施例对参考位置的具体位置不作限定，技术人员可以根据需要进行选择。例如，参考位置可以是悬雍垂、鼻子、唇部的竖直中心线。

作为示例而非限定，在筛选出的两个灰度区域的范围内，选择深度信息符合深度要求的区域作为目标采样区域。例如，深度要求包括：与上嘴唇轮廓的距离大于预设距离值。

作为示例而非限定，在筛选出的两个灰度区域的范围内，选择灰度值小于灰度阈值的区域，作为目标采样区域。该灰度阈值可以根据实际情况进行调整。需要说明的是，不同程度的亮度处理和对比度处理，其对应的灰度阈值可能存在差异。

因此，与图1所示实施例相比，基于分界线、实时人脸图像点云图的深度信息以及灰度阈值，共同确定出的目标采样区域的位置更加精确。

如图11所示，在本申请的另一实施例中，S301中的获取用户的唇部的轮廓特征，包括以下S1101至S1103。

S1101、获取用户的人脸的实时朝向。

S1102、若实时朝向满足人脸朝向要求，则获取唇部的轮廓特征。

S1103、若实时朝向不满足人脸朝向要求，则发出第三提示信息。

由于摄像头的位置通常是固定的。因此当用户的人脸朝向发生改变时，会使得图2所示实施例中的实时人脸图像点云图包含的口腔区域和灰度分布发生变化，也会使得图3所示实施例中的唇部的轮廓特征发生变化。

有鉴于此，为了降低对图2所示实施例和图3所示实施例的影响，以及提高判定样本有效性的判定效率，本实施例需要验证人脸的实时朝向是否满足人脸朝向要求。当用户的人脸的实时朝向满足人脸朝向要求时，则执行获取唇部的轮廓特征的步骤。当用户的人脸的实时朝向不满足人脸朝向要求时，则发出第三提示信息。

作为示例而非限定，第三提示信息可以是文字、声音和/或视频信息。例如，提示调整人脸的朝向。

本实施例中，通过判定人脸的实时朝向是否满足人脸朝向要求，以决定是否获取唇部的轮廓特征，可以提高判定样本有效性的判定效率。

在本申请的另一实施例中，在确定核酸采样的目标采样区域之后，核酸采样的样本识别方法还包括以下步骤：

展示目标采样区域，并在展示的目标采样区域中展示指引标记。指引标记用于指引拭子在移动过程中，经过目标采样区域。

指引标记可以是动态的，也可以是静态的。作为示例而非限定，为了增强提示效果，可以将指引标记设置为动态的。在一些实施例中，指引标记包括第一标记和第二标记。目标采样区域的第一采样区域设置有第一标记。第二采样区域设置有第二标记。

作为示例而非限定，在进行核酸采样时，拭子可以先沿着第一标记的指引方向移动多次，然后再沿着第二标记的指引方向移动多次，从而完成核酸采样。其中，多次表示两次以及两次以上的含义。

需要说明的是，本申请实施例对采用何种技术手段进行上述展示不作具体限定，技术人员可以根据需要进行选择。作为示例而非限定，核酸采样机器人可以通过显示屏等具有显示功能的设备进行上述展示，也可以通过具备全息投影功能的AR（增强现实）设备进行上述展示。

本实施例利用指引标记指引拭子的移动过程，可以提高核酸采样的效率。

基于以上所有实施例的描述，在本申请的另一实施例中，核酸采样的样本识别方法，包括以下步骤：

（1）身份验证。作为示例而非限定，身份验证可以包括身份证验证、人脸图像验证。人脸图像可以与身份证中的照片信息进行比对。身份验证可以减少冒名顶替进行核酸采样的现象。在该过程中，还可以进行安全验证。例如验证用户的健康码、行程码和体温。健康码记载有用户的核酸检测信息、健康状态。行程码记载有用户的行程信息。通过安全验证，减少高风险人群在该核酸采样机器人处进行采样，以降低病毒交叉感染率。

（2）核酸采样机器人弹出拭子。拭子用于用户对自身的咽部进行采样。

（3）提示用户站到指定位置，以便识别用户的人脸图像。

（4）获取用户的人脸的实时朝向。若实时朝向满足人脸朝向要求，则进行下一步；否则，发出图11所示实施例中的第三提示信息。

（5）基于用户的人脸图像，定位唇部的位置和获取唇部的轮廓特征。

（6）若唇部的轮廓特征满足口腔区域的张开幅度要求，则进行下一步；否则，发出图3所示实施例中的第二提示信息。

（7）获取包含口腔区域的实时人脸图像点云图。

（8）对实时人脸图像点云图进行灰度处理、亮度处理和对比度处理，得到处理后的实时人脸图像点云图。

（9）基于处理后的实时人脸图像点云图的灰度分布，沿着灰度渐变方向将口腔区域划分为多个灰度值不同的灰度区域。

（10）从各个灰度区域中，筛选出灰度值差值最大的两个相邻的灰度区域。

（11）基于筛选出的两个灰度区域之间的分界线、实时人脸图像点云图的深度信息以及灰度阈值，在筛选出的两个灰度区域的范围内，确定出核酸采样的目标采样区域。目标采样区域包括第一采样区域和第二采样区域。例如，第一采样区域为图8所示中左侧的矩形框，第二采样区域为图8所示中右侧的矩形框。

（12）展示目标采样区域以及指引标记。指引标记包括位于第一采样区域的第一标记和位于第二采样区域的第二标记。

（13）在用户进行核酸采样的过程中，获取拭子的移动轨迹。核酸采样过程包括：先以第一标记为指引，用户操作拭子移动多次；再以第二标记为指引，用户操作拭子移动多次。

（14）在步骤（13）中：若移动轨迹经过第一采样区域，则继续采样第二采样区域；否则，发出图1所示实施例中的第一提示信息。若移动轨迹经过第二采样区域，则判定拭子采集的样本有效；否则，发出图1所示实施例中的第一提示信息。

（15）在判定拭子采集的样本有效后，提示用户将拭子放入试管中。

在本实施例中，分别进行了身份验证、人脸的朝向验证、口腔区域的张开幅度验证以及拭子的移动轨迹验证，可以监控核酸采样过程。并在相应步骤中增加了反馈提示，例如步骤（4）、（6）和（14）。从而能够更加全面地判定拭子采集的样本是否有效，提高判定的效率以及提高核酸检测结果的有效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应当理解地，在无逻辑冲突的前提下，上述各个申请实施例之间可以相互组合实施，以适应实际的应用需求。这些组合后得到的具体实施例或实施方案，仍属于本申请的保护范围内。

对应于上述实施例所述的核酸采样的样本识别方法，图12示出了本申请一实施例提供的核酸采样的样本识别装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。

如图12所示，核酸采样的样本识别装置，包括：

第一获取模块121，用于获取包含用户的口腔区域的实时人脸图像点云图，其中，口腔区域处于张开状态。

划分模块122，用于获取实时人脸图像点云图的灰度分布，并沿着灰度分布中的灰度渐变方向将口腔区域划分为多个灰度值不同的灰度区域。

筛选模块123，用于从各个灰度区域中，筛选出灰度值差值最大的两个相邻的灰度区域。

确定模块124，用于基于筛选出的两个灰度区域之间的分界线，在筛选出的两个灰度区域的范围内，确定出核酸采样的目标采样区域。

第二获取模块125，用于在用户进行核酸采样的过程中，获取拭子的移动轨迹。

判定模块126，用于若移动轨迹经过目标采样区域，则判定拭子采集的样本有效。

在一些实施例中，确定模块124包括：确定单元，用于在筛选出的两个灰度区域中，基于分界线、实时人脸图像点云图的深度信息以及灰度阈值，确定出目标采样区域。

在一些实施例中，核酸采样的样本识别装置还包括：图像处理模块，用于对实时人脸图像点云图进行灰度化处理、调高亮度处理以及增加对比度处理。

在一些实施例中，第一获取模块121包括：第一获取单元，用于获取用户的唇部的轮廓特征。第二获取单元，用于若轮廓特征满足口腔区域的张开幅度要求，则获取包含口腔区域的实时人脸图像点云图。

在一些实施例中，第一获取单元包括：第三获取单元，用于获取用户的人脸的实时朝向。第四获取单元，用于若实时朝向满足人脸朝向要求，则获取唇部的轮廓特征。

在一些实施例中，核酸采样的样本识别装置还包括：展示模块，用于展示目标采样区域，并在展示的目标采样区域中展示指引标记。指引标记用于指引拭子在移动过程中，经过目标采样区域。

在一些实施例中，核酸采样的样本识别装置还包括：验证模块，用于对用户进行身份验证。

本申请实施例提供的核酸采样的样本识别方法装置中各模块实现各自功能的过程，具体可参考前述图1所示实施例以及其他相关方法实施例的描述，此处不再赘述。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。还应理解的是，虽然术语“第一”、“第二”等在文本中在一些本申请实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一获取单元可以被命名为第二获取单元，并且类似地，第二获取单元可以被命名为第一获取单元，而不背离各种所描述的实施例的范围。第一获取单元和第二获取单元都是获取单元，但是它们不是同一获取单元。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的核酸采样的样本识别方法可以应用于核酸采样机器人、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

图13是本申请一实施例提供的终端设备的结构示意图。如图13所示，该实施例的终端设备13包括：至少一个处理器130（图13中仅示出一个）、存储器131，所述存储器131中存储有可在所述处理器130上运行的计算机程序132。所述处理器130执行所述计算机程序132时实现上述各个核酸采样的样本识别方法实施例中的步骤，例如图1所示的S101至107。或者，所述处理器130执行所述计算机程序132时实现上述各装置实施例中各模块/单元的功能，例如图12所示模块121至126的功能。

所述终端设备13可以是核酸采样机器人、桌上型计算机、笔记本、掌上电脑及云端服务器等终端设备。所述终端设备可包括，但不仅限于，处理器130、存储器131。本领域技术人员可以理解，图13仅仅是终端设备13的示例，并不构成对终端设备13的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入设备、网络接入设备、总线等。

所称处理器130可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器131在一些实施例中可以是所述终端设备13的内部存储单元，例如终端设备13的硬盘或内存。所述存储器131也可以是所述终端设备13的外部存储设备，例如所述终端设备13上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器131还可以既包括所述终端设备13的内部存储单元也包括外部存储设备。所述存储器131用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器131还可以用于暂时地存储已经发送或者将要发送的数据。

另外，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请实施例还提供了一种终端设备，所述终端设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时，使所述终端设备实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时可实现上述各个方法实施例中的步骤。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.核酸采样的样本识别方法，其特征在于，包括：

获取包含用户的口腔区域的实时人脸图像点云图，其中，所述口腔区域处于张开状态；

获取所述实时人脸图像点云图的灰度分布，并沿着所述灰度分布中的灰度渐变方向将所述口腔区域划分为多个灰度值不同的灰度区域；

从各个所述灰度区域中，筛选出所述灰度值差值最大的两个相邻的所述灰度区域；

基于筛选出的两个所述灰度区域之间的分界线，在筛选出的两个所述灰度区域的范围内，确定出所述核酸采样的目标采样区域；

在所述用户进行所述核酸采样的过程中，获取拭子的移动轨迹；

若所述移动轨迹经过所述目标采样区域，则判定所述拭子采集的样本有效。

2.根据权利要求1所述的核酸采样的样本识别方法，其特征在于，所述基于筛选出的两个所述灰度区域之间的分界线，在筛选出的两个所述灰度区域的范围内，确定出所述核酸采样的目标采样区域，包括：

在筛选出的两个所述灰度区域中，基于所述分界线、所述实时人脸图像点云图的深度信息以及灰度阈值，确定出所述目标采样区域。

3.根据权利要求1所述的核酸采样的样本识别方法，其特征在于，在所述获取所述实时人脸图像点云图的灰度分布，并沿着所述灰度分布中的灰度渐变方向将所述口腔区域划分为多个灰度值不同的灰度区域之前，还包括：

对所述实时人脸图像点云图进行灰度化处理、调高亮度处理以及增加对比度处理。

4.根据权利要求1所述的核酸采样的样本识别方法，其特征在于，所述获取包含用户的口腔区域的实时人脸图像点云图，包括：

获取所述用户的唇部的轮廓特征，所述口腔区域包含所述唇部；

若所述轮廓特征满足所述口腔区域的张开幅度要求，则获取包含所述口腔区域的所述实时人脸图像点云图。

5.根据权利要求4所述的核酸采样的样本识别方法，其特征在于，所述张开幅度要求包括：所述轮廓特征的高度与宽度的比值大于预设阈值。

6.根据权利要求4所述的核酸采样的样本识别方法，其特征在于，所述获取所述用户的唇部的轮廓特征，包括：

获取所述用户的人脸的实时朝向；

若所述实时朝向满足人脸朝向要求，则获取所述唇部的所述轮廓特征。

7.根据权利要求1所述的核酸采样的样本识别方法，其特征在于，在所述基于筛选出的两个所述灰度区域之间的分界线，在筛选出的两个所述灰度区域的范围内，确定出所述核酸采样的目标采样区域之后，还包括：

展示所述目标采样区域，并在展示的所述目标采样区域中展示指引标记，所述指引标记用于指引所述拭子在移动过程中，经过所述目标采样区域。

8.核酸采样的样本识别装置，其特征在于，包括：

第一获取模块，用于获取包含用户的口腔区域的实时人脸图像点云图，其中，所述口腔区域处于张开状态；

划分模块，用于获取所述实时人脸图像点云图的灰度分布，并沿着所述灰度分布中的灰度渐变方向将所述口腔区域划分为多个灰度值不同的灰度区域；

筛选模块，用于从各个所述灰度区域中，筛选出所述灰度值差值最大的两个相邻的所述灰度区域；

确定模块，用于基于筛选出的两个所述灰度区域之间的分界线，在筛选出的两个所述灰度区域的范围内，确定出所述核酸采样的目标采样区域；

第二获取模块，用于在所述用户进行所述核酸采样的过程中，获取拭子的移动轨迹；

判定模块，用于若所述移动轨迹经过所述目标采样区域，则判定所述拭子采集的样本有效。

9.终端设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述核酸采样的样本识别方法的步骤。

10.计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述核酸采样的样本识别方法的步骤。

Images