CN115337044A - 核酸采样监测方法、装置、系统与计算机可读存储介质 - Google Patents

核酸采样监测方法、装置、系统与计算机可读存储介质 Download PDF

Info

Publication number
CN115337044A
CN115337044A CN202210844677.8A CN202210844677A CN115337044A CN 115337044 A CN115337044 A CN 115337044A CN 202210844677 A CN202210844677 A CN 202210844677A CN 115337044 A CN115337044 A CN 115337044A
Authority
CN
China
Prior art keywords
sampling
mouth
dimensional
nucleic acid
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210844677.8A
Other languages
English (en)
Other versions
CN115337044B (zh
Inventor
陈锦海
贾红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Security Digital Sensing Technology Co ltd
Original Assignee
Shenzhen Security Digital Sensing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Security Digital Sensing Technology Co ltd filed Critical Shenzhen Security Digital Sensing Technology Co ltd
Priority to CN202210844677.8A priority Critical patent/CN115337044B/zh
Publication of CN115337044A publication Critical patent/CN115337044A/zh
Application granted granted Critical
Publication of CN115337044B publication Critical patent/CN115337044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0045—Devices for taking samples of body liquids
    • A61B10/0051—Devices for taking samples of body liquids for taking saliva or sputum samples
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0045—Devices for taking samples of body liquids
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0266—Operational features for monitoring or limiting apparatus function
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hematology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种核酸采样监测方法、装置、系统与计算机可读存储介质，该方法包括：在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功；本发明通过获取被采样人的人脸视频流，在被采样人嘴部张开时，获取被采样人的口腔二维图像和口腔深度图像，根据口腔二维图像和口腔深度图像确定咽拭子是否与目标采样部位接触，以确定并提示是否采样成功，避免了采样人员主观判断产生判断误差，提升了核酸采样的效率和准确性。

Description

核酸采样监测方法、装置、系统与计算机可读存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及核酸采样监测方法、装置、系统与计算机可读存储介质。
背景技术
采样人员往往需要在一天之内完成数千人的采样任务，这容易使得采样人员的工作负担较重，导致采样人员疲乏后引发误操作的风险，因此，如何提高核酸采样的效率和准确性，是急需解决的问题。
发明内容
本发明的主要目的在于提出一种核酸采样监测方法、装置、系统与计算机可读存储介质，旨在解决如何提高核酸采样的效率和准确性的问题。
为实现上述目的，本发明提供一种核酸采样监测方法，所述核酸采样监测方法包括如下步骤：
在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；
若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；
根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功。
可选地，根据所述人脸视频流确定所述被采样人的嘴部是否张开的步骤包括：
将所述人脸视频流输入预先创建的关键点识别模型，通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合；
根据所述嘴部关键点集合和所述人脸视频流，确定嘴部关键点坐标集合；
根据所述嘴部关键点坐标集合，计算出嘴部张开系数，并根据所述嘴部张开系数确定所述被采样人的嘴部是否张开。
可选地，根据所述嘴部关键点坐标集合，计算出嘴部张开系数，并根据所述嘴部张开系数确定所述被采样人的嘴部是否张开的步骤包括：
根据所述嘴部关键点坐标集合中的嘴角关键点坐标，计算出嘴角间距；
根据所述嘴部关键点坐标集合中的上唇中心关键点坐标和下唇中心关键点坐标，计算出上下唇间距；
根据所述嘴角间距和所述上下唇间距计算出嘴部张开系数，并将所述嘴部张开系数与预设嘴部张开阈值进行对比；
若所述嘴部张开系数大于预设嘴部张开阈值，则确定所述被采样人的嘴部张开；
若所述嘴部张开系数不大于预设嘴部张开阈值，则确定所述被采样人的嘴部未张开，并将人脸视频流的下一帧图像作为当前帧图像，重复执行步骤：通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合。
可选地，根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功的步骤包括：
将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合；
根据所述预设相机参数、所述口腔深度图像、所述咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合，计算出所述咽拭子的三维坐标和所述目标采样部位的三维坐标；
根据所述咽拭子的三维坐标和所述目标采样部位的三维坐标，确定并提示是否采样成功。
可选地，根据所述预设相机参数、所述口腔深度图像、所述咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合，计算出所述咽拭子的三维坐标和所述目标采样部位的三维坐标的步骤包括：
根据所述预设相机参数、所述口腔深度图像和所述咽拭子的二维坐标集合，计算出所述口腔二维图像中用于表征所述咽拭子的第一像素点集合中的每个像素点对应的三维坐标；
根据所述第一像素点集合中的每个像素点对应的三维坐标，计算出所述咽拭子的三维坐标；
根据所述预设相机参数、所述口腔深度图像和所述目标采样部位的二维坐标集合，计算出所述口腔二维图像中用于表征所述目标采样部位的第二像素点集合中的每个像素点对应的三维坐标；
根据所述第二像素点集合中的每个像素点对应的三维坐标，计算出所述目标采样部位的三维坐标。
可选地，根据所述咽拭子的三维坐标和所述目标采样部位的三维坐标，确定并提示是否采样成功的步骤包括：
计算所述咽拭子的三维坐标和所述目标采样部位的三维坐标的欧氏距离，并将所述欧氏距离与预设距离阈值进行对比；
若所述欧氏距离小于所述预设距离阈值，则获取所述咽拭子和所述目标采样部位的接触时长，并将所述接触时长与预设时长阈值进行对比；
若所述接触时长大于所述预设时长阈值，则确定并提示采样成功；
若所述欧氏距离不小于所述预设距离阈值，则确定采样未成功，提示采样人员移动所述咽拭子，重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
可选地，若所述接触时长大于所述预设时长阈值，则确定并提示采样成功的步骤之后，所述核酸采样监测方法包括：
获取采样成功次数，并将所述采样成功次数与预设次数阈值进行对比；
若所述采样成功次数等于所述预设次数阈值，则确定并提示对所述被采样人的核酸采样完成；
若所述采样成功次数小于所述预设次数阈值，则提示所述采样人员对调整所述咽拭子的位置，并重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
此外，为实现上述目的，本发明还提供一种核酸采样监测装置，所述核酸采样监测装置包括：
检测模块，用于在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；
获取模块，若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；
确定模块，用于根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功。
进一步地，所述检测模块还用于：
将所述人脸视频流输入预先创建的关键点识别模型，通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合；
根据所述嘴部关键点集合和所述人脸视频流，确定嘴部关键点坐标集合；
根据所述嘴部关键点坐标集合，计算出嘴部张开系数，并根据所述嘴部张开系数确定所述被采样人的嘴部是否张开。
进一步地，所述检测模块还用于：
根据所述嘴部关键点坐标集合中的嘴角关键点坐标，计算出嘴角间距；
根据所述嘴部关键点坐标集合中的上唇中心关键点坐标和下唇中心关键点坐标，计算出上下唇间距；
根据所述嘴角间距和所述上下唇间距计算出嘴部张开系数，并将所述嘴部张开系数与预设嘴部张开阈值进行对比；
若所述嘴部张开系数大于预设嘴部张开阈值，则确定所述被采样人的嘴部张开；
若所述嘴部张开系数不大于预设嘴部张开阈值，则确定所述被采样人的嘴部未张开，并将人脸视频流的下一帧图像作为当前帧图像，重复执行步骤：通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合。
进一步地，所述确定模块还用于：
将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合；
根据所述预设相机参数、所述口腔深度图像、所述咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合，计算出所述咽拭子的三维坐标和所述目标采样部位的三维坐标；
根据所述咽拭子的三维坐标和所述目标采样部位的三维坐标，确定并提示是否采样成功。
进一步地，所述确定模块还用于：
根据所述预设相机参数、所述口腔深度图像和所述咽拭子的二维坐标集合，计算出所述口腔二维图像中用于表征所述咽拭子的第一像素点集合中的每个像素点对应的三维坐标；
根据所述第一像素点集合中的每个像素点对应的三维坐标，计算出所述咽拭子的三维坐标；
根据所述预设相机参数、所述口腔深度图像和所述目标采样部位的二维坐标集合，计算出所述口腔二维图像中用于表征所述目标采样部位的第二像素点集合中的每个像素点对应的三维坐标；
根据所述第二像素点集合中的每个像素点对应的三维坐标，计算出所述目标采样部位的三维坐标。
进一步地，所述确定模块还于：
计算所述咽拭子的三维坐标和所述目标采样部位的三维坐标的欧氏距离，并将所述欧氏距离与预设距离阈值进行对比；
若所述欧氏距离小于所述预设距离阈值，则获取所述咽拭子和所述目标采样部位的接触时长，并将所述接触时长与预设时长阈值进行对比；
若所述接触时长大于所述预设时长阈值，则确定并提示采样成功；
若所述欧氏距离不小于所述预设距离阈值，则确定采样未成功，提示采样人员移动所述咽拭子，重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
进一步地，所述确定模块还用于：
获取采样成功次数，并将所述采样成功次数与预设次数阈值进行对比；
若所述采样成功次数等于所述预设次数阈值，则确定并提示对所述被采样人的核酸采样完成；
若所述采样成功次数小于所述预设次数阈值，则提示所述采样人员对调整所述咽拭子的位置，并重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
此外，为实现上述目的，本发明还提供一种核酸采样监测系统，所述核酸采样监测系统包括：存储器、处理器及储存在所述存储器上并可在所述处理器上运行的核酸采样监测程序，所述核酸采样监测程序被所述处理器执行时实现如上所述的核酸采样监测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上储存有核酸采样监测程序，所述核酸采样监测程序被处理器执行时实现如上所述的核酸采样监测方法的步骤。
本发明提出的核酸采样监测方法，在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功；本发明通过获取被采样人的人脸视频流，在确定被采样人嘴部张开时，获取被采样人的口腔二维图像和口腔深度图像，根据口腔二维图像和口腔深度图像确定咽拭子是否与目标采样部位接触，以确定并提示是否采样成功，避免了采样人员的主观判断产生的判断误差，提升了核酸采样的效率和准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明核酸采样监测方法第一实施例的流程示意图；
图3为本发明核酸采样监测方法第一实施例确定嘴部是否张开的一子实施例的流程示意图；
图4为本发明核酸采样监测方法第一实施例确定嘴部是否张开的另一子实施例的流程示意图；
图5为本发明核酸采样监测方法第一实施例确定是否采样成功的一子实施例的流程示意图；
图6为本发明核酸采样监测方法第一实施例计算三维坐标的一子实施例的流程示意图；
图7为本发明核酸采样监测方法第一实施例确定是否采样成功的另一子实施例的流程示意图；
图8为本发明核酸采样监测方法第二实施例的流程示意图；
图9为本发明核酸采样监测装置结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例设备可以是PC机或服务器设备。
如图1所示，该设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的储存装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机储存介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及核酸采样监测程序。
其中，操作系统是管理和控制便携储存设备与软件资源的程序，支持网络通信模块、用户接口模块、核酸采样监测程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。
在图1所示的储存设备中，所述储存设备通过处理器1001调用存储器1005中储存的核酸采样监测程序，并执行下述核酸采样监测方法各个实施例中的操作。
基于上述硬件结构，提出本发明核酸采样监测方法实施例。
参照图2，图2为本发明核酸采样监测方法第一实施例的流程示意图，所述方法包括：
步骤S10，在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；
步骤S20，若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；
步骤S30，根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功。
本实施例核酸采样监测方法运用于采样人员对被采样人进行核酸采样的过程中，辅助采样人员判断是否采样成功，核酸采样监测方法可应用于对应的核酸采样监测设备，该核酸采样监测设备包括但不限于深度相机；核酸采样监测设备在检测到启动指令时，通过深度相机实时采集被采样人的人脸视频流，将人脸视频流输入预先创建的关键点识别模型，通过关键点识别模型确定人脸视频流中被采样人的嘴部关键点集合；核酸采样监测设备根据嘴部关键点集合和人脸视频流，确定嘴部关键点坐标集合；核酸采样监测设备根据嘴部关键点坐标集合，计算出嘴部张开系数，并根据嘴部张开系数确定被采样人的嘴部是否张开；核酸采样监测设备若确定嘴部张开，则基于人脸视频流获取被采样人的口腔二维图像和口腔深度图像；核酸采样监测设备将口腔二维图像输入预先创建的检测模型，通过检测模型确定口腔二维图像中的咽拭子的二维坐标集合和目标采样部位的二维坐标集合；核酸采样监测设备根据预设相机参数、口腔深度图像、咽拭子的二维坐标集合和目标采样部位的二维坐标集合，计算出咽拭子的三维坐标和目标采样部位的三维坐标；核酸采样监测设备根据咽拭子的三维坐标和目标采样部位的三维坐标，确定并提示是否采样成功。需要说明的是，咽拭子是采样人员用于采集被采样人的样本的工具；目标采样部位为被采样人的扁桃体或咽后壁等部位。
本实施例中的核酸采样监测设备在检测到启动指令时，获取被采样人的人脸视频流，并根据人脸视频流确定被采样人的嘴部是否张开；若确定嘴部张开，则基于人脸视频流获取被采样人的口腔二维图像和口腔深度图像；根据口腔二维图像、口腔深度图像和预设相机参数，确定并提示是否采样成功；本发明通过获取被采样人的人脸视频流，在确定被采样人嘴部张开时，获取被采样人的口腔二维图像和口腔深度图像，根据口腔二维图像和口腔深度图像确定咽拭子是否与目标采样部位接触，以确定并提示是否采样成功，避免了采样人员的主观判断产生的判断误差，提升了核酸采样的效率和准确性。
以下将对各个步骤进行详细说明：
步骤S10，在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；
在本实施例中，在采样人员准备进行核酸采样时，开启核酸采样监测设备，核酸采样监测设备在检测到启动指令时，获取被采样人的人脸视频流，并根据人脸视频流确定被采样人的嘴部是否张开；优选地，由于采样人员一般都需要佩戴护目镜，核酸采样监测设备设计为佩戴在采样人员眼睛处的可穿戴设备，不仅可以起到保护采样人员的作用，还可以使得采样人员的操作更加便捷。可选地，核酸采样监测设备还可以是其他智能设备。
具体地，如图3所示，根据所述人脸视频流确定所述被采样人的嘴部是否张开的步骤包括：
步骤a，将所述人脸视频流输入预先创建的关键点识别模型，通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合；
在该步骤中，核酸采样监测设备在获取到被采样人的人脸视频流时，将人脸视频流输入预先创建的关键点识别模型，通过关键点识别模型确定人脸视频流的当前帧图像中被采样人的嘴部关键点集合，需要说明的是，关键点识别模型采用了多级沙漏型网络级联提取图像特征，结合注意力机制实现人脸关键点的精确定位，可定位98个关键点，主要取嘴部的关键点进行区域提取。
步骤b，根据所述嘴部关键点集合和所述人脸视频流，确定嘴部关键点坐标集合；
在该步骤中，核酸采样监测设备在确定嘴部关键点集合后，根据人脸视频流中的当前帧图像，对应地确定当前帧图像中的嘴部关键点对应的坐标，得到嘴部关键点坐标集合。
步骤c，根据所述嘴部关键点坐标集合，计算出嘴部张开系数，并根据所述嘴部张开系数确定所述被采样人的嘴部是否张开。
在该步骤中，核酸采样监测设备根据嘴部关键点坐标集合，计算出嘴部张开系数，并根据嘴部张开系数确定被采样人的嘴部是否张开；可选地，核酸采样监测设备根据嘴部关键点坐标集合中的所有的上唇关键点的坐标和所有的下唇关键点坐标，分别计算每个上唇关键点与对应的下唇关键点的嘴部张开系数，并将每个上唇关键点与对应的下唇关键点的嘴部张开系数与对应的距离阈值进行对比，当所有的上唇关键点与对应的下唇关键点的嘴部张开系数都大于对应的距离阈值时，则确定被采样人的嘴部张开；优选地，核酸采样监测设备根据嘴部关键点坐标集合中的嘴角关键点坐标、上唇中心关键点坐标和下唇关键点坐标，计算出嘴部张开系数，若嘴部张开系数大于预设嘴部张开阈值，则确定被采样人的嘴部张开，进而提高确定被采样人的嘴部是否张开的效率。
进一步地，如图4所示，步骤c包括：
步骤c1，根据所述嘴部关键点坐标集合中的嘴角关键点坐标，计算出嘴角间距；
步骤c2，根据所述嘴部关键点坐标集合中的上唇中心关键点坐标和下唇中心关键点坐标，计算出上下唇间距；
步骤c3，根据所述嘴角间距和所述上下唇间距计算出嘴部张开系数，并将所述嘴部张开系数与预设嘴部张开阈值进行对比；
步骤c4，若所述嘴部张开系数大于预设嘴部张开阈值，则确定所述被采样人的嘴部张开；
步骤c5，若所述嘴部张开系数不大于预设嘴部张开阈值，则确定所述被采样人的嘴部未张开，并将人脸视频流的下一帧图像作为当前帧图像，重复执行步骤：通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合。
在步骤c1至步骤c5中，核酸采样监测设备获取嘴部关键点坐标集合中的嘴角关键点坐标、上唇中心关键点坐标和下唇关键点坐标，根据嘴部关键点坐标集合中的嘴角关键点坐标，计算出嘴角间距，根据上唇中心关键点坐标和下唇中心关键点坐标，计算出上下唇间距；核酸采样监测设备根据嘴角间距和上下唇间距计算出嘴部张开系数，并将嘴部张开系数与预设嘴部张开阈值进行对比，若嘴部张开系数大于预设嘴部张开阈值，则确定被采样人的嘴部张开；若嘴部张开系数不大于预设嘴部张开阈值，则确定被采样人的嘴部未张开，并获取人脸视频流中的下一帧图像作为当前帧图像，并重复执行通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合的步骤以及后续步骤，直到确定被采样人的嘴部张开。需要说明的是，预设嘴部张开阈值一般为1.2，具体的还可以根据具体情况进行调整；嘴角关键点坐标包括被采样人的左嘴角关键点坐标和右嘴角关键点坐标，上唇中心关键点坐标为被采样人的人中下方对应的上唇坐标，下唇中心关键点坐标为被采样人的人中下方对应的下唇坐标；在计算嘴部张开系数时，计算嘴角间距与上下唇间距的比值，即可得到嘴部张开系数。
步骤S20，若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；
在本实施例中，核酸采样监测设备在确定被采样人的嘴部张开后，开启深度相机的“凝视”模式，即仅仅通过深度相机将采样人的人脸视频流的画面进行放大，采集被采样人的嘴部视频流，并根据嘴部视频流的当前帧图像确定被采样人的口腔二维图像和口腔深度图像。
步骤S30，根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功。
在本实施例中，在被采样人的嘴部张开后，采样人员将咽拭子伸进被采样人的口腔进行核酸采样，因此口腔二维图像和口腔深度图像中会存在咽拭子和被采样人口腔内的目标采样部位，核酸采样监测设备根据口腔二维图像，计算出咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合，核酸采样监测设备根据预设相机参数、口腔深度图像、咽拭子的二维坐标集合和目标采样部位的二维坐标集合，计算出咽拭子的三维坐标和目标采样部位的三维坐标，并根据咽拭子的三维坐标和目标采样部位的三维坐标，确定并提示是否采样成功。
具体地，如图5所示，步骤S30包括：
步骤d，将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合；
在该步骤中，核酸采样监测设备将口腔二维图像输入预先创建的检测模型，通过检测模型确定口腔二维图像中的咽拭子的二维坐标集合和目标采样部位的二维坐标集合，可以理解的是，由于咽拭子和目标采样部位都存在一定的体积，因此，在口腔二维图像中，会用多个像素点来分别表征咽拭子和目标采样部位，核酸采样监测设备需要通过检测模型计算出口腔二维图像中每个用于表征的咽拭子的像素点的二维坐标，进而得到咽拭子的二维坐标集合，以及通过检测模型计算出口腔二维图像中每个用于表征的目标采样部位的像素点的二维坐标，进而得到目标采样部位的二维坐标集合。
步骤e，根据所述预设相机参数、所述口腔深度图像、所述咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合，计算出所述咽拭子的三维坐标和所述目标采样部位的三维坐标；
在该步骤中，核酸采样监测设备根据预设相机参数中的焦距和主点、口腔深度图像中用于表征咽拭子和目标采样部位的每个像素点对应的深度值、咽拭子的二维坐标集合和目标采样部位的二维坐标集合，计算出咽拭子的三维坐标和目标采样部位的三维坐标。
进一步地，如图6所示，步骤e包括：
步骤e1，根据所述预设相机参数、所述口腔深度图像和所述咽拭子的二维坐标集合，计算出所述口腔二维图像中用于表征所述咽拭子的第一像素点集合中的每个像素点对应的三维坐标；
步骤e2，根据所述第一像素点集合中的每个像素点对应的三维坐标，计算出所述咽拭子的三维坐标；
在步骤e1至步骤e2中，核酸采样监测设备根据预设相机参数中的焦距和主点，口腔深度图像中表征咽拭子的像素点对应的深度值和咽拭子的二维坐标集合，计算出口腔二维图像中用于表征咽拭子的第一像素点集合中的每个像素点对应的三维坐标，并在第一像素点集合中随机选取若干个(5～10个)像素点，并根据选取的像素点对应的三维坐标，计算出咽拭子的三维坐标；如：计算第一像素点集合中的每个像素点对应的三维坐标的公式如下：
Figure BDA0003750721710000131
Figure BDA0003750721710000132
ZS＝d (3)
其中，Xp为每个像素点对应的二维横坐标，Yp为每个像素点对应的二维纵坐标，d是每个像素点在口腔深度图像中对应的深度值，Xs为每个像素点对应的三维横坐标，Ys为每个像素点对应的三维纵坐标，Zs为每个像素点对应的三维竖坐标，fx为深度相机在横坐标上的焦距，fy为深度相机在纵坐标上的焦距，cx为深度相机在横坐标上的主点，cy为深度相机在纵坐标上的主点。核酸采样监测设备根据上述公式(1)、(2)和(3)，分别计算出第一像素点集合中的每个像素点对应的三维坐标，并在第一像素点集合中随机选取若干个(5～10个)像素点，并分别根据选取的像素点对应的三维横坐标均值、三维纵坐标均值和三维竖坐标均值，将三维横坐标均值、三维纵坐标均值和三维竖坐标均值分别作为咽拭子的三维横坐标、三维纵坐标和三维竖坐标，进而确定咽拭子的三维坐标。
步骤e3，根据所述预设相机参数、所述口腔深度图像和所述目标采样部位的二维坐标集合，计算出所述口腔二维图像中用于表征所述目标采样部位的第二像素点集合中的每个像素点对应的三维坐标；
步骤e4，根据所述第二像素点集合中的每个像素点对应的三维坐标，计算出所述目标采样部位的三维坐标。
在步骤e3至步骤e4中，核酸采样监测设备根据预设相机参数中的焦距和主点，口腔深度图像中表征目标采样部位的像素点对应的深度值和目标采样部位的二维坐标集合，计算出口腔二维图像中用于表征目标采样部位的第二像素点集合中的每个像素点对应的三维坐标，并在第二像素点集合中随机选取若干个(5～10个)像素点，并根据选取的像素点对应的三维坐标，计算出目标采样部位的三维坐标；需要说明的是，计算目标采样部位的三维坐标的过程与上述计算咽拭子的三维坐标的过程相似，在此便不一一赘述。
进一步地，由于可能存在表征咽拭子和目标采样部位的像素点重合的情况，核酸采样监测设备在随机选取第二像素点集合中的像素点时，需要避开与第一像素点集合中相同的像素点，以提高后续计算是否采样成功的准确性。
步骤f，根据所述咽拭子的三维坐标和所述目标采样部位的三维坐标，确定并提示是否采样成功。
在该步骤中，核酸采样监测设备在确定咽拭子的三维坐标和目标采样部位的三维坐标后，根据咽拭子的三维坐标和目标采样部位的三维坐标，计算出咽拭子与目标采样部位的欧式距离，根据欧式距离确定并提示是否采样成功。
进一步地，如图7所示，步骤f包括：
步骤f1，计算所述咽拭子的三维坐标和所述目标采样部位的三维坐标的欧氏距离，并将所述欧氏距离与预设距离阈值进行对比；
步骤f2，若所述欧氏距离小于所述预设距离阈值，则获取所述咽拭子和所述目标采样部位的接触时长，并将所述接触时长与预设时长阈值进行对比；
步骤f3，若所述接触时长大于所述预设时长阈值，则确定并提示采样成功；
在该步骤f1至步骤f3中，核酸采样监测设备计算咽拭子的三维坐标和目标采样部位的三维坐标的欧氏距离，并将欧氏距离与预设距离阈值进行对比，得到对比结果，若对比结果为欧氏距离小于预设距离阈值，核酸采样监测设备便可确定咽拭子与目标采样部位进行了解除，核酸采样监测设备获取咽拭子和目标采样部位的接触时长，并将接触时长与预设时长阈值进行对比，得到对比结果，若对比结果为接触时长大于预设时长阈值，则确定并提示采样成功。需要说明的是，预设距离阈值一般设定为0.5毫米；预设时长阈值一般设定为2秒；核酸采样监测设备需要同时确定欧氏距离小于预设距离阈值，并且接触时长大于预设时长阈值，才能确定采样成功。
步骤f4，若所述欧氏距离不小于所述预设距离阈值，则确定采样未成功，提示采样人员移动所述咽拭子，重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
在该步骤中，核酸采样监测设备得到对比结果为欧氏距离不小于预设距离阈值，则确定采样未成功，提示采样人员移动咽拭子，重复执行将口腔二维图像输入预先创建的检测模型，通过检测模型确定口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合的步骤以及后续步骤，直到确定采样成功；如：核酸采样监测设备得到对比结果为欧氏距离不小于预设距离阈值，则确定采样未成功，并根据咽拭子的三维坐标和目标采样部位的三维坐标，提示采样人员将咽拭子向横坐标轴、纵坐标轴或竖坐标轴的方向上移动，并重新获取对应的被采样人的口腔二维图像和口腔深度图像，重新执行将口腔二维图像输入预先创建的检测模型，通过检测模型确定口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合的步骤以及后续步骤，直到确定采样成功。
本实施例中的核酸采样监测设备在检测到启动指令时，通过深度相机实时采集被采样人的人脸视频流，将人脸视频流输入预先创建的关键点识别模型，通过关键点识别模型确定人脸视频流中被采样人的嘴部关键点集合；核酸采样监测设备根据嘴部关键点集合和人脸视频流，确定嘴部关键点坐标集合；核酸采样监测设备根据嘴部关键点坐标集合，计算出嘴部张开系数，并根据嘴部张开系数确定被采样人的嘴部是否张开；核酸采样监测设备若确定嘴部张开，则基于人脸视频流获取被采样人的口腔二维图像和口腔深度图像；核酸采样监测设备将口腔二维图像输入预先创建的检测模型，通过检测模型确定口腔二维图像中的咽拭子的二维坐标集合和目标采样部位的二维坐标集合；核酸采样监测设备根据预设相机参数、口腔深度图像、咽拭子的二维坐标集合和目标采样部位的二维坐标集合，计算出咽拭子的三维坐标和目标采样部位的三维坐标；核酸采样监测设备根据咽拭子的三维坐标和目标采样部位的三维坐标，确定并提示是否采样成功。本发明通过获取被采样人的人脸视频流，在确定被采样人嘴部张开时，获取被采样人的口腔二维图像和口腔深度图像，根据口腔二维图像和口腔深度图像确定咽拭子是否与目标采样部位接触，以确定并提示是否采样成功，避免了采样人员的主观判断产生的判断误差，提升了核酸采样的效率和准确性。
进一步地，如图8所示，基于本发明核酸采样监测方法第一实施例提出本发明核酸采样监测方法第二实施例。
第二实施例与第一实施例的区别在于，所述若所述接触时长大于所述预设时长阈值，则确定并提示采样成功的步骤之后，所述核酸采样监测方法包括：
步骤g，获取采样成功次数，并将所述采样成功次数与预设次数阈值进行对比；
步骤h，若所述采样成功次数等于所述预设次数阈值，则确定并提示对所述被采样人的核酸采样完成；
步骤i，若所述采样成功次数小于所述预设次数阈值，则提示所述采样人员对调整所述咽拭子的位置，并重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
在本实施例中，核酸采样监测设备在确定采样成功后，获取当前的被采样人的采样成功次数，并将采样成功次数与预设次数阈值进行对比，若采样成功次数等于预设次数阈值，则确定并提示对被采样人的核酸采样完成；若采样成功次数小于预设次数阈值，则提示采样人员对调整咽拭子的位置，并重新获取对应的被采样人的口腔二维图像和口腔深度图像，重新执行将口腔二维图像输入预先创建的检测模型，通过检测模型确定口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合的步骤以及后续步骤，直到确定采样成功。需要说明的是，预设次数阈值一般为3次，核酸采样监测设备在确定采样成功后，便累计增加一次采样成功次数。
可以理解的是，核酸采样一般需要对被采样人的口腔内左右两边的目标采样部位即扁桃体或后咽壁分别进行采样，核酸采样监测设备可根据咽拭子的在被采样人的口腔中移动的方向，自动确定采样人员需要采样的目标采样部位，进而有助于提高采样效率和准确性。
本实施例的核酸采样监测设备在确定采样成功后，获取当前的被采样人的采样成功次数，并将采样成功次数与预设次数阈值进行对比，若采样成功次数等于预设次数阈值，则确定并提示对被采样人的核酸采样完成；若采样成功次数小于预设次数阈值，则提示采样人员对调整咽拭子的位置，并重新获取对应的被采样人的口腔二维图像和口腔深度图像，重新执行将口腔二维图像输入预先创建的检测模型，通过检测模型确定口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合的步骤以及后续步骤，直到确定采样成功，通过累计采样成功次数，避免了采样人员的主观判断产生的判断误差造成的操作不规范，提升了核酸采样的效率和准确性。
如图9所示，本发明还提供一种核酸采样监测装置。本发明核酸采样监测装置包括：
检测模块101，用于在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；
获取模块102，若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；
确定模块103，用于根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功。
进一步地，所述检测模块还用于：
将所述人脸视频流输入预先创建的关键点识别模型，通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合；
根据所述嘴部关键点集合和所述人脸视频流，确定嘴部关键点坐标集合；
根据所述嘴部关键点坐标集合，计算出嘴部张开系数，并根据所述嘴部张开系数确定所述被采样人的嘴部是否张开。
进一步地，所述检测模块还用于：
根据所述嘴部关键点坐标集合中的嘴角关键点坐标，计算出嘴角间距；
根据所述嘴部关键点坐标集合中的上唇中心关键点坐标和下唇中心关键点坐标，计算出上下唇间距；
根据所述嘴角间距和所述上下唇间距计算出嘴部张开系数，并将所述嘴部张开系数与预设嘴部张开阈值进行对比；
若所述嘴部张开系数大于预设嘴部张开阈值，则确定所述被采样人的嘴部张开；
若所述嘴部张开系数不大于预设嘴部张开阈值，则确定所述被采样人的嘴部未张开，并将人脸视频流的下一帧图像作为当前帧图像，重复执行步骤：通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合。
进一步地，所述确定模块还用于：
将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合；
根据所述预设相机参数、所述口腔深度图像、所述咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合，计算出所述咽拭子的三维坐标和所述目标采样部位的三维坐标；
根据所述咽拭子的三维坐标和所述目标采样部位的三维坐标，确定并提示是否采样成功。
进一步地，所述确定模块还用于：
根据所述预设相机参数、所述口腔深度图像和所述咽拭子的二维坐标集合，计算出所述口腔二维图像中用于表征所述咽拭子的第一像素点集合中的每个像素点对应的三维坐标；
根据所述第一像素点集合中的每个像素点对应的三维坐标，计算出所述咽拭子的三维坐标；
根据所述预设相机参数、所述口腔深度图像和所述目标采样部位的二维坐标集合，计算出所述口腔二维图像中用于表征所述目标采样部位的第二像素点集合中的每个像素点对应的三维坐标；
根据所述第二像素点集合中的每个像素点对应的三维坐标，计算出所述目标采样部位的三维坐标。
进一步地，所述确定模块还于：
计算所述咽拭子的三维坐标和所述目标采样部位的三维坐标的欧氏距离，并将所述欧氏距离与预设距离阈值进行对比；
若所述欧氏距离小于所述预设距离阈值，则获取所述咽拭子和所述目标采样部位的接触时长，并将所述接触时长与预设时长阈值进行对比；
若所述接触时长大于所述预设时长阈值，则确定并提示采样成功；
若所述欧氏距离不小于所述预设距离阈值，则确定采样未成功，提示采样人员移动所述咽拭子，重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
进一步地，所述确定模块还用于：
获取采样成功次数，并将所述采样成功次数与预设次数阈值进行对比；
若所述采样成功次数等于所述预设次数阈值，则确定并提示对所述被采样人的核酸采样完成；
若所述采样成功次数小于所述预设次数阈值，则提示所述采样人员对调整所述咽拭子的位置，并重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
本发明还提供一种核酸采样监测系统。
核酸采样监测系统包括：存储器、处理器及储存在所述存储器上并可在所述处理器上运行的核酸采样监测程序，所述核酸采样监测程序被所述处理器执行时实现如上所述的核酸采样监测方法的步骤。
其中，在所述处理器上运行的核酸采样监测程序被执行时所实现的方法可参照本发明核酸采样监测方法各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
计算机可读存储介质上储存有核酸采样监测程序，所述核酸采样监测程序被处理器执行时实现如上所述的核酸采样监测方法的步骤。
其中，在所述处理器上运行的核酸采样监测程序被执行时所实现的方法可参照本发明核酸采样监测方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品储存在如上所述的一个储存介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种核酸采样监测方法，其特征在于，所述核酸采样监测方法包括如下步骤：
在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；
若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；
根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功。
2.如权利要求1所述的核酸采样监测方法，其特征在于，所述根据所述人脸视频流确定所述被采样人的嘴部是否张开的步骤包括：
将所述人脸视频流输入预先创建的关键点识别模型，通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合；
根据所述嘴部关键点集合和所述人脸视频流，确定嘴部关键点坐标集合；
根据所述嘴部关键点坐标集合，计算出嘴部张开系数，并根据所述嘴部张开系数确定所述被采样人的嘴部是否张开。
3.如权利要求2所述的核酸采样监测方法，其特征在于，所述根据所述嘴部关键点坐标集合，计算出嘴部张开系数，并根据所述嘴部张开系数确定所述被采样人的嘴部是否张开的步骤包括：
根据所述嘴部关键点坐标集合中的嘴角关键点坐标，计算出嘴角间距；
根据所述嘴部关键点坐标集合中的上唇中心关键点坐标和下唇中心关键点坐标，计算出上下唇间距；
根据所述嘴角间距和所述上下唇间距计算出嘴部张开系数，并将所述嘴部张开系数与预设嘴部张开阈值进行对比；
若所述嘴部张开系数大于预设嘴部张开阈值，则确定所述被采样人的嘴部张开；
若所述嘴部张开系数不大于预设嘴部张开阈值，则确定所述被采样人的嘴部未张开，并将人脸视频流的下一帧图像作为当前帧图像，重复执行步骤：通过所述关键点识别模型确定所述人脸视频流的当前帧图像中所述被采样人的嘴部关键点集合。
4.如权利要求1所述的核酸采样监测方法，其特征在于，所述根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功的步骤包括：
将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合；
根据所述预设相机参数、所述口腔深度图像、所述咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合，计算出所述咽拭子的三维坐标和所述目标采样部位的三维坐标；
根据所述咽拭子的三维坐标和所述目标采样部位的三维坐标，确定并提示是否采样成功。
5.如权利要求4所述的核酸采样监测方法，其特征在于，所述根据所述预设相机参数、所述口腔深度图像、所述咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合，计算出所述咽拭子的三维坐标和所述目标采样部位的三维坐标的步骤包括：
根据所述预设相机参数、所述口腔深度图像和所述咽拭子的二维坐标集合，计算出所述口腔二维图像中用于表征所述咽拭子的第一像素点集合中的每个像素点对应的三维坐标；
根据所述第一像素点集合中的每个像素点对应的三维坐标，计算出所述咽拭子的三维坐标；
根据所述预设相机参数、所述口腔深度图像和所述目标采样部位的二维坐标集合，计算出所述口腔二维图像中用于表征所述目标采样部位的第二像素点集合中的每个像素点对应的三维坐标；
根据所述第二像素点集合中的每个像素点对应的三维坐标，计算出所述目标采样部位的三维坐标。
6.如权利要求4所述的核酸采样监测方法，其特征在于，所述根据所述咽拭子的三维坐标和所述目标采样部位的三维坐标，确定并提示是否采样成功的步骤包括：
计算所述咽拭子的三维坐标和所述目标采样部位的三维坐标的欧氏距离，并将所述欧氏距离与预设距离阈值进行对比；
若所述欧氏距离小于所述预设距离阈值，则获取所述咽拭子和所述目标采样部位的接触时长，并将所述接触时长与预设时长阈值进行对比；
若所述接触时长大于所述预设时长阈值，则确定并提示采样成功；
若所述欧氏距离不小于所述预设距离阈值，则确定采样未成功，提示采样人员移动所述咽拭子，重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
7.如权利要求6所述的核酸采样监测方法，其特征在于，所述若所述接触时长大于所述预设时长阈值，则确定并提示采样成功的步骤之后，所述核酸采样监测方法包括：
获取采样成功次数，并将所述采样成功次数与预设次数阈值进行对比；
若所述采样成功次数等于所述预设次数阈值，则确定并提示对所述被采样人的核酸采样完成；
若所述采样成功次数小于所述预设次数阈值，则提示所述采样人员对调整所述咽拭子的位置，并重复执行步骤：将所述口腔二维图像输入预先创建的检测模型，通过所述检测模型确定所述口腔二维图像中的咽拭子的二维坐标集合和所述目标采样部位的二维坐标集合。
8.一种核酸采样监测装置，其特征在于，所述核酸采样监测装置包括：
检测模块，用于在检测到启动指令时，获取被采样人的人脸视频流，并根据所述人脸视频流确定所述被采样人的嘴部是否张开；
获取模块，若确定所述嘴部张开，则基于所述人脸视频流获取所述被采样人的口腔二维图像和口腔深度图像；
确定模块，用于根据所述口腔二维图像、所述口腔深度图像和预设相机参数，确定并提示是否采样成功。
9.一种核酸采样监测系统，其特征在于，所述核酸采样监测系统包括：存储器、处理器及储存在所述存储器上并可在所述处理器上运行的核酸采样监测程序，所述核酸采样监测程序被所述处理器执行时实现如权利要求1至7中任一项所述的核酸采样监测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上储存有核酸采样监测程序，所述核酸采样监测程序被处理器执行时实现如权利要求1至7中任一项所述的核酸采样监测方法的步骤。
CN202210844677.8A 2022-07-18 2022-07-18 核酸采样监测方法、装置、系统与计算机可读存储介质 Active CN115337044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844677.8A CN115337044B (zh) 2022-07-18 2022-07-18 核酸采样监测方法、装置、系统与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210844677.8A CN115337044B (zh) 2022-07-18 2022-07-18 核酸采样监测方法、装置、系统与计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN115337044A true CN115337044A (zh) 2022-11-15
CN115337044B CN115337044B (zh) 2023-06-09

Family

ID=83950958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844677.8A Active CN115337044B (zh) 2022-07-18 2022-07-18 核酸采样监测方法、装置、系统与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115337044B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661271A (zh) * 2022-12-27 2023-01-31 珞石（北京）科技有限公司 一种基于视觉的机器人核酸采样引导方法
CN115661728A (zh) * 2022-12-29 2023-01-31 北京正大创新医药有限公司 基于图像识别的病毒采样到位判断方法及病毒采样系统
CN116109982A (zh) * 2023-02-16 2023-05-12 哈尔滨星云智造科技有限公司 一种基于人工智能的生物样本采集有效性检验方法
CN117338270A (zh) * 2023-12-06 2024-01-05 广州逆熵电子科技有限公司 一种家用多参数监测仪

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170304008A1 (en) * 2016-04-26 2017-10-26 Siemens Medical Solutions Usa, Inc. Tissue Sampling System
CN111759361A (zh) * 2020-07-02 2020-10-13 南方医科大学深圳医院 咽试子检测样本自助采样机及方法
CN112036217A (zh) * 2019-06-04 2020-12-04 初速度（苏州）科技有限公司 一种基于嘴部信息的人员状态检测方法及装置
CN212128157U (zh) * 2020-02-12 2020-12-11 北京康华源科技发展有限公司 一种用于人体病原微生物检测的样本采样装置
CN112472148A (zh) * 2020-09-13 2021-03-12 张新语 一种核酸检测装置
CN213656975U (zh) * 2020-11-30 2021-07-09 李秋菊 咽拭子采样装置
CN113143342A (zh) * 2021-03-25 2021-07-23 香港中文大学（深圳） 确定口腔采样部位的方法、采样机器人及计算机存储介质
CN113378804A (zh) * 2021-08-12 2021-09-10 中国科学院深圳先进技术研究院 一种自助采样的检测方法、装置、终端设备和存储介质
CN214434304U (zh) * 2020-12-28 2021-10-22 上海市第一妇婴保健院 一种新型核酸检测装置
CN113724887A (zh) * 2021-07-22 2021-11-30 深圳市罗湖医院集团 核酸检测信息系统、核酸检测方法及存储介质
WO2021237962A1 (zh) * 2020-05-26 2021-12-02 清华大学 一种咽拭子自动采样系统
CN113749692A (zh) * 2021-09-03 2021-12-07 中国科学院长春光学精密机械与物理研究所 基于图像识别定位的咽拭子采集方法
CN113842171A (zh) * 2021-09-29 2021-12-28 北京清智图灵科技有限公司 一种用于咽拭子机器采样的有效性判定装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170304008A1 (en) * 2016-04-26 2017-10-26 Siemens Medical Solutions Usa, Inc. Tissue Sampling System
CN112036217A (zh) * 2019-06-04 2020-12-04 初速度（苏州）科技有限公司 一种基于嘴部信息的人员状态检测方法及装置
CN212128157U (zh) * 2020-02-12 2020-12-11 北京康华源科技发展有限公司 一种用于人体病原微生物检测的样本采样装置
WO2021237962A1 (zh) * 2020-05-26 2021-12-02 清华大学 一种咽拭子自动采样系统
CN111759361A (zh) * 2020-07-02 2020-10-13 南方医科大学深圳医院 咽试子检测样本自助采样机及方法
CN112472148A (zh) * 2020-09-13 2021-03-12 张新语 一种核酸检测装置
CN213656975U (zh) * 2020-11-30 2021-07-09 李秋菊 咽拭子采样装置
CN214434304U (zh) * 2020-12-28 2021-10-22 上海市第一妇婴保健院 一种新型核酸检测装置
CN113143342A (zh) * 2021-03-25 2021-07-23 香港中文大学（深圳） 确定口腔采样部位的方法、采样机器人及计算机存储介质
CN113724887A (zh) * 2021-07-22 2021-11-30 深圳市罗湖医院集团 核酸检测信息系统、核酸检测方法及存储介质
CN113378804A (zh) * 2021-08-12 2021-09-10 中国科学院深圳先进技术研究院 一种自助采样的检测方法、装置、终端设备和存储介质
CN113749692A (zh) * 2021-09-03 2021-12-07 中国科学院长春光学精密机械与物理研究所 基于图像识别定位的咽拭子采集方法
CN113842171A (zh) * 2021-09-29 2021-12-28 北京清智图灵科技有限公司 一种用于咽拭子机器采样的有效性判定装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661271A (zh) * 2022-12-27 2023-01-31 珞石（北京）科技有限公司 一种基于视觉的机器人核酸采样引导方法
CN115661728A (zh) * 2022-12-29 2023-01-31 北京正大创新医药有限公司 基于图像识别的病毒采样到位判断方法及病毒采样系统
CN116109982A (zh) * 2023-02-16 2023-05-12 哈尔滨星云智造科技有限公司 一种基于人工智能的生物样本采集有效性检验方法
CN117338270A (zh) * 2023-12-06 2024-01-05 广州逆熵电子科技有限公司 一种家用多参数监测仪
CN117338270B (zh) * 2023-12-06 2024-03-08 广州逆熵电子科技有限公司 一种家用多参数监测仪

Also Published As

Publication number Publication date
CN115337044B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN115337044A (zh) 核酸采样监测方法、装置、系统与计算机可读存储介质
US10990803B2 (en) Key point positioning method, terminal, and computer storage medium
US11410415B2 (en) Processing method for augmented reality scene, terminal device, system, and computer storage medium
US11450146B2 (en) Gesture recognition method, apparatus, and device
US9953506B2 (en) Alarming method and device
WO2018076622A1 (zh) 图像处理方法、装置及终端
EP3217637A1 (en) Remote control method and system for virtual operation interface
US9904865B2 (en) Setting apparatus which sets a detection region for a detection process
JP2011095862A (ja) 画像処理装置、画像処理方法、及びプログラム
CN112509005B (zh) 图像处理方法、装置、电子设备及存储介质
CN112492201B (zh) 拍照方法、装置及电子设备
CN113486785A (zh) 基于深度学习的视频换脸方法、装置、设备及存储介质
CN111626240B (zh) 一种人脸图像识别方法、装置、设备及可读存储介质
US20240104769A1 (en) Information processing apparatus, control method, and non-transitory storage medium
CN112333439B (zh) 面部清洁设备控制方法、装置及电子设备
CN110852220B (zh) 人脸表情的智能识别方法、终端和计算机可读存储介质
CN111241930A (zh) 一种用于人脸识别的方法及系统
CN116261044A (zh) 一种亿级相机的智能调焦方法及装置
CN108205652B (zh) 一种吃饭动作的识别方法和装置
CN110807403B (zh) 一种用户身份识别方法、装置及电子设备
CN114764897A (zh) 行为识别方法、装置、终端设备以及存储介质
CN110991307B (zh) 人脸识别的方法、装置、设备及存储介质
JP2006133937A (ja) 動作識別装置
CN116469156A (zh) 体态识别方法、装置、计算机设备及计算机可读存储介质
CN115375854B (zh) 融合液晶器件的超声影像设备图像处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant