CN114841990A - 一种基于人工智能的自助核酸采集方法及装置 - Google Patents

一种基于人工智能的自助核酸采集方法及装置 Download PDF

Info

Publication number
CN114841990A
CN114841990A CN202210586202.3A CN202210586202A CN114841990A CN 114841990 A CN114841990 A CN 114841990A CN 202210586202 A CN202210586202 A CN 202210586202A CN 114841990 A CN114841990 A CN 114841990A
Authority
CN
China
Prior art keywords
nucleic acid
target
swab
action
wiping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210586202.3A
Other languages
English (en)
Inventor
肖克江
黄鹏
朱广杰
邱家瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Yunjiang Zhike Information Technology Co ltd
Original Assignee
Changsha Yunjiang Zhike Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Yunjiang Zhike Information Technology Co ltd filed Critical Changsha Yunjiang Zhike Information Technology Co ltd
Priority to CN202210586202.3A priority Critical patent/CN114841990A/zh
Publication of CN114841990A publication Critical patent/CN114841990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0045—Devices for taking samples of body liquids
    • A61B10/0051—Devices for taking samples of body liquids for taking saliva or sputum samples
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Hematology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于人工智能的自助核酸采集方法及装置，先构建活体检测模型和核酸采集动作检测模型，再对比用户人脸和用户身份证信息，确保用户和身份证是同一个人，然后通过活体检测确保用户是对应的生命体，最后提示用户自助进行核酸采集动作，并检测核酸采集动作是否满足咽拭子目标擦拭位置和目标擦拭次数的要求，确保核酸采集动作规范。本发明不需要医护人员人工采集，降低了医护人员的感染风险和工作量，不会造成伤害被采样者口腔的机械伤害，且能保证自助采集样本的有效性。

Description

一种基于人工智能的自助核酸采集方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于人工智能的自助核酸采集方法及装置。
背景技术
核酸检测采样目前主要采用的是口腔咽拭子采样。采集方式主要为人工采集和机械辅助采集两种，在人工采集的过程中，医护人员需要与患者近距离接触，患者咳嗽、用力呼吸等都会产生大量飞沫或气溶胶，会极大增加医护人员在采样过程中交叉感染风险，工作风险和工作压力巨大，且耗费大量的人力物力财力，医护人员和被采集民众因繁重的采集工作容易产生对立情绪；而机械辅助采集的过程中，如出现机械故障，极易出现伤害被采样者口腔的情况，又因每个被采集者的口腔深度不同，身高不同，年龄不同，左右扁桃腺和后咽壁的生长角度不同等等，极易出现触碰不到口腔采集关键点，从而出现采集样本无效的情况，导致采集成功率低，且民众对机械采集操作容易出现恐惧心理，民众接受度有限，机械辅助采集一般为机械臂设计，机械臂设计成本高，不利于大范围的推广应用。
发明内容
(一)要解决的技术问题
基于上述问题，本发明提供一种基于人工智能的自助核酸采集方法及装置，针对人工采集和机械辅助采集的弊端，通过被检人员根据提示自助采样，并通过图像识别确保自助采样的有效性，解决机械辅助采集成功率低、易造成伤害，医护人员工作风险和工作量大的问题。
(二)技术方案
基于上述的技术问题，本发明提供一种基于人工智能的自助核酸采集方法，包括：
S0、构建活体检测模型和核酸采集动作检测模型，所述活体检测模型通过将标注人脸特征点的人脸照片集输入选择的人工智能算法训练得到，输出人脸特征点的坐标；所述核酸采集动作检测模型通过将标注好的带咽拭子的口腔图片集输入选择的人工智能算法训练得到，所述标注的对象为边界框、中心点中的一种和/或分类标签，输出标注的边界框、中心点中的一种的坐标和/或分类标签；
S1、人证对比：判断对比用户人脸和用户身份证信息是否是同一人，若是，则进入步骤S2，否则结束；
S2、活体检测：判断用户是否是对应的生命体，若是，则进入步骤S3，否则返回步骤S1；
S3、自助核酸采集动作检测：用户在规定时间内根据屏幕提示完成咽拭子的目标擦拭位置和目标擦拭次数，获取口腔图像，持续根据坐标计算方法或模型识别方法在所述咽拭子触碰到某一个目标擦拭位置且存在擦拭动作时，记录一次触碰到的所述目标擦拭位置的擦拭成功次数，直到所有目标擦拭位置的擦拭成功次数满足所述目标擦拭次数时，核酸采集动作合格，结束采集。
进一步的，所述步骤S1包括：
S11、读取身份证信息，包括姓名，身份证号和身份证件照；
S12、对所述身份证件照进行人脸检测，通过特征提取得到n维特征向量，记为features_1；
S13、通过视觉采集装置实时捕获用户的人脸，调取视频流；
S14、对所述视频流的当前帧进行人脸检测，通过特征提取得到n维特征向量，记为features_2；
S15、计算所述features_1与features_2的相似度，判断所述相似度是否达到设定阈值r，若是，则进入步骤S2，否则，进入步骤S16；
S16、判断当前帧数是否小于等于设置的帧数阈值q，若是，则帧数加一，返回步骤S14，否则，返回步骤S11。
进一步的，所述步骤S2包括：
S21、加载所述活体检测模型，开启视觉采集装置，j＝1；
S22、提示用户进行随机的第j个活体检测动作，记录动作时间；
S23、判断所述动作时间是否超时，若是，则返回步骤S11，否则，进入步骤S24；
S24、捕获连续m帧数据，m≥2,通过所述活体检测模型得到连续两帧图像的人脸特征点坐标，记录眨眼次数，并计算当前活体检测动作的变化幅度，记为f，判断f是否符合对应的阈值，若是，则当前活体检测动作达标，j＝j+1，进入步骤S25；否则，j不变，返回步骤S22；
S25、判断j是否大于3，若是，则进入步骤S26；否则，返回步骤S22；
S26、判断所述眨眼次数是否达到阈值Dz，若是，则表示用户是活体，活体检测成功；否则返回步骤S11。
进一步的，所述眨眼次数的记录方法包括：眨眼次数初始为零，计算连续两帧图像中眨眼动作的变化幅度，记为F，判断F是否符合对应的阈值D，若是，则眨眼次数加一，否则眨眼次数不变。
进一步的，所述眨眼动作的判断条件为：连续两帧图像中眼睛的纵横比是否小于对应的阈值D；所述活体检测动作从七个活体检测动作中随机选择，所述七个活体检测动作包括抬头、低头、向左看、向右看、张嘴、点头和摇头，所述抬头的达标条件为：连续两帧图像欧拉角中的俯仰角变化的差值大于对应的阈值；所述低头的达标条件为：连续两帧图像欧拉角中的俯仰角变化的差值小于对应的阈值；所述向左看的达标条件为：连续两帧图像欧拉角中的偏航角变化的差值小于对应的阈值；所述向右看的达标条件为：连续两帧图像欧拉角中的偏航角变化的差值大于对应的阈值；所述张嘴的达标条件为：连续两帧图像上下外嘴唇或上下内嘴唇的长宽比变化大于对应的阈值；所述点头的达标条件为：连续两帧图像鼻子沿竖轴的比值变化大于对应的阈值；所述摇头的达标条件为：连续两帧图像鼻子沿横轴的比值变化大于对应的阈值。
进一步的，所述步骤S3包括以下步骤：
S31、加载模型及参数，开启视觉采集装置；
S32、屏幕提示咽拭子的目标擦拭位置和目标擦拭次数，记录操作时间；所述目标擦拭位置的擦拭成功次数初始为零，所述目标擦拭位置包括左扁桃腺、右扁桃腺和/或咽后壁；
S33、判断所述操作时间是否超时，若是，则返回步骤S11，否则，进入步骤S34；
S34、根据坐标计算方法或模型识别方法判断所述咽拭子是否触碰到某一个目标擦拭位置并存在擦拭动作，若是，则触碰到的所述目标擦拭位置对应的擦拭成功次数加一，进入步骤S35；否则，屏幕提示未完成情况，返回步骤S33；
S35、判断所有目标擦拭位置的擦拭成功次数是否满足所述目标擦拭次数，若是，则核酸采集动作合格，结束采集；否则，屏幕提示未规范处，返回步骤S33。
进一步的，所述步骤S0中，所述核酸采集动作检测模型为咽拭子口腔目标检测模型、咽拭子口腔关键点检测模型、核酸采集动作分类模型或核酸采集动作多任务分类模型，构建方法均包括：拍照获取带咽拭子的口腔照片集，对各带咽拭子的口腔照片进行标注后预处理，然后输入到选择的人工智能算法中进行训练；
所述咽拭子口腔目标检测模型标注的对象为边界框，包括左侧扁桃腺、右侧扁桃腺、咽后壁和咽拭子的边界框，选择的人工智能算法包括YOLOv5、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD、YOLO、YOLOv2、YOLOv3和YOLOv4；
所述咽拭子口腔关键点检测模型标注的对象为中心点，包括左侧扁桃腺、右侧扁桃腺、扁桃体和咽拭子头的中心点，选择的人工智能算法包括Resnet残差网络系列、HRNet高分辨率网络系列、CornerNet系列、MTCNN和VGG系列；
所述核酸采集动作分类模型标注的对象为分类标签，包括：0：未触碰到目标擦拭位置，1：触碰到左扁桃体腺，2：触碰到右扁桃体腺，3：触碰到咽后壁的分类标签，选择的人工智能算法包括Resnet系列和VGG系列；
所述核酸采集动作多任务分类模型采用多任务学习MTL，任务一与任务二并行，任务一为所述核酸采集动作分类模型，标注的对象和训练方法与所述核酸采集动作分类模型相同，任务二为所述咽拭子口腔目标检测模型或所述咽拭子口腔关键点检测模型，标注的对象和训练方法先与所述咽拭子口腔目标检测模型或咽拭子口腔关键点检测模型相同，再将输出的所述目标或关键点的坐标优化为分类标签，最后使用以下带权重因子的目标函数综合任务一和任务二的分类结果：
Figure BDA0003663511030000051
其中，第一项表示任务一的损失函数，λa表示任务一的重要性因子，第二项表示任务二的损失函数，λb表示任务二的重要性因子，la表示任务一的损失函数，lb表示任务二的损失函数，f(xi；wa)表示xi与任务一的权值矩阵wa相乘之后经过函数f(*)，f(xi；wb)表示xi与任务二的权值矩阵wb相乘之后经过函数f(*)，wt表示整个多任务的权值矩阵，Φ(*)是正则项，xi表示输入的图片，
Figure BDA0003663511030000052
表示任务一的标签，
Figure BDA0003663511030000053
表示任务二的标签；
所述预处理包括图像裁剪和筛选、几何归一化、灰度化和数据增强，所述数据增强包括图像增强和仿射变换。
进一步的，所述步骤S34中，根据坐标计算方法判断所述咽拭子是否触碰到某一个目标擦拭位置并存在擦拭动作，包括：
S34A1、根据所述咽拭子口腔目标检测模型、咽拭子口腔关键点检测模型或核酸采集动作多任务分类模型，识别并计算出当前帧中的咽拭子、左扁桃体腺、右扁桃体腺及咽后壁的中心坐标，判断是否识别成功，若是，则进入步骤S34A2；否则，屏幕提示未规范处，返回步骤S33；
S34A2、获取所述咽拭子的中心坐标和各目标擦拭位置的坐标关系，判断咽拭子是否触碰到某一个目标擦拭位置，若是，则触碰到该目标擦拭位置，进入步骤S34A3；否则，未触碰到任一目标擦拭位置，屏幕提示未完成情况，返回步骤S33；
S34A3、获取连续m帧中咽拭子与各目标擦拭位置的距离，计算每两帧中对应距离的差值，判断各距离差值中的最大值是否大于阈值dx，若是，则咽拭子有擦拭动作，步骤S34A2触碰的所述目标擦拭位置对应的擦拭成功次数加一，进入步骤S35；否则，咽拭子无擦拭动作，屏幕提示未完成情况，返回步骤S33。
进一步的，当所述核酸采集动作检测模型为咽拭子口腔目标检测模型，或所述核酸采集动作多任务分类模型的任务二为咽拭子口腔目标检测模型时，
所述步骤S34A1包括：先通过所述咽拭子口腔目标检测模型或任务二为咽拭子口腔目标检测模型的所述核酸采集动作多任务分类模型，获取各目标的边界框坐标，再通过各目标的边界框坐标计算得到每个目标即咽拭子、左扁桃体腺、右扁桃体腺和咽后壁的中心坐标；
所述步骤S34A2包括：比较判断所述咽拭子的中心坐标是否在所述目标擦拭位置对应的边界框内，若是，则擦拭到该目标擦拭位置，否则，未擦拭到任一目标擦拭位置。
进一步的，当所述核酸采集动作检测模型为咽拭子口腔关键点检测模型，或所述核酸采集动作多任务分类模型的任务二为咽拭子口腔关键点检测模型时，
所述步骤S34A1包括：直接通过所述咽拭子口腔关键点检测模型或任务二为咽拭子口腔关键点检测模型的所述核酸采集动作多任务分类模型，得到咽拭子、左扁桃体腺、右扁桃体腺和咽后壁的中心坐标，咽拭子的中心坐标即所述咽拭子头的中心点坐标，咽后壁的中心坐标即所述扁桃体的中心点坐标；
所述步骤S34A2包括：先分别计算所述左扁桃腺的中心坐标、右扁桃腺的中心坐标、咽后壁的中心坐标到咽拭子的中心坐标之间的距离，分别记为ρ1、ρ2、ρ3；再取min{ρ1，ρ2，ρ3}与距离阈值dy进行比对，当min{ρ1，ρ2，ρ3}>dy时，表示未擦拭到任一目标擦拭位置；当min{ρ1，ρ2，ρ3}≤dy时，表示擦拭到min{ρ1，ρ2，ρ3}对应的目标擦拭位置。
进一步的，所述步骤S34中，根据模型识别方法判断所述咽拭子是否触碰到某一个目标擦拭位置并存在擦拭动作，包括：
S34B1、根据所述核酸采集动作分类模型或所述核酸采集动作多任务分类模型识别核酸采集动作的分类结果，判断是否识别成功，若是，则进入步骤S34B2；否则，屏幕提示未完成情况，返回步骤S33；所述分类结果即所述分类标签；定义0为假，1、2、3为真；
S34B2、判断是否“当前帧u的分类结果为真，且上一帧u-1的分类结果为假”，若是，则进入步骤S34B3，否则，令u＝u+1，判断当前帧数是否达到帧数阈值，若是，则屏幕提示未完成情况，返回步骤S33；否则重新进入步骤S34B2；
S34B3、判断是否“当前帧u的分类结果为真，且下一帧u+1的分类结果为假”，若是，则进行了一次有效擦拭动作，所述真对应的目标擦拭位置的擦拭成功次数加一，令u＝u+2，进入步骤S35；否则，令u＝u+1，判断当前帧数是否达到帧数阈值，若是，则屏幕提示未完成情况，返回步骤S33；否则重新进入步骤S34B3。
本发明也公开了一种基于人工智能的自助核酸采集装置，包括控制模块，以及分别与所述控制模块连接的身份证读卡器、视觉采集装置、屏幕和存储模块，所述身份证读卡器用于读取身份证信息，所述视觉采集装置用于捕获用户的人脸和口腔图像，所述存储模块用于存储构建好的所述活体检测模型和核酸采集动作检测模型及其参数，以及采集的视频流，所述控制模块运行所述的基于人工智能的自助核酸采集方法。
(三)有益效果
本发明的上述技术方案具有如下优点：
(1)本发明提供了的核酸采集方法和装置，由采集者自助操作采集动作，通过图像智能识别技术进行人证对比和活体检测的双重身份确认，确保是真实本人进行的采集，并通过图像智能识别技术对核酸采样的关键位置进行判断，确保自助核酸采集动作的规范性，从而有利于保证采集样本的有效性；
(2)本发明构建了带咽拭子的口腔图像数据集，对核酸采样的关键位置的判断中，利用人工智能算法建模，由此进行的图像智能识别技术精度高，包括坐标计算方法和模型识别方法，都满足咽拭子触碰到各目标擦拭位置和咽拭子是动态具有擦拭动作的双重条件，提高了核酸采集动作规范性的识别准确度；对活体检测的判断中，除了对随机抽取的活体检测动作进行判断，也记录有效眨眼次数，进一步确保是生命体正在进行自助操作，提高了活体检测的准确度；能适用于不同地区的核酸检测标准，具有较好的推广意义；
(3)本发明的坐标计算方法分别采用了目标检测方法和关键点检测方法两种不同的建模方法，对应选择不同的特征，由此进行的识别方法也存在不同；本发明的模型识别方法对图像识别的运用更多，核酸采集动作分类模型直接根据标注的分类标签进行识别，核酸采集动作多任务分类模型运用多任务学习，有利于增强识别准确度，并通过带权重因子的目标函数，进一步提高识别的准确度，且在构建数据集时就根据坐标计算进行了触碰分类，从而使得用户应用时，减少了计算量，准确度高且计算速度更快；
(4)本发明相比于普通的机械辅助采集，除了提高了采集样本的有效性以外，由采集者自助操作采集动作，避免了伤害被采样者口腔的机械事故，且民众不会出现对机械采集操作的恐惧心理；未采用机械臂，装置结构简单，大幅降低了设备成本，有利于大范围的推广应用；
(5)本发明相比于人工采集，能24小时不间断工作，提高采集效率，避免了采集工作的人群集中和拥堵，大幅度减轻人工采集工作量，节约大量的人力物力财力，避免了医护人员交叉感染的风险，极大的减轻医护人员的工作风险和工作压力，同时避免了医护人员和被采集民众因繁重的采集工作带来的对立情绪。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例的一种基于人工智能的自助核酸采集方法的流程图；
图2为本发明实施例的咽拭子口腔分类检测模型的图像数据集标注示意图；
图3为本发明实施例的咽拭子口腔关键点检测模型的图像数据集标注示意图；
图4为本发明实施例的人证对比的流程图；
图5为本发明实施例的活体检测的流程图；
图6为本发明实施例的采用坐标计算方法的核酸采集动作检测的流程图；
图7为本发明实施例的采用模型识别方法的核酸采集动作检测的流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明公开了一种基于人工智能的自助核酸采集方法，如图1所示，包括以下步骤：
S0、构建活体检测模型和核酸采集动作检测模型，所述活体检测模型通过将标注人脸特征点的人脸照片集输入选择的人工智能算法训练得到，输出人脸特征点的坐标；所述核酸采集动作检测模型通过将标注好的带咽拭子的口腔图片集输入选择的人工智能算法训练得到，输出选择的对象；所述核酸采集动作检测模型为咽拭子口腔目标检测模型、咽拭子口腔关键点检测模型、核酸采集动作分类模型或核酸采集动作多任务分类模型；具体的：
S0A、活体检测模型的构建方法为：
1)拍照获取人脸照片集；
2)使用labelImg(或labelme、Labelbox、RectLabel、CVAT、liblabel、AnnoMage)标注人脸照片集中人脸的68个特征点，获得数据集；
3)再利用卷积神经网络如ResNet-50算法(或ResNet系列、TCDCN、CornerNet系列、HRNet(高分辨率网络)系列、Openpose、MTCNN、VGG系列)在数据集上训练，得到活体检测模型及其模型参数。
S0B、咽拭子口腔目标检测模型的构建方法为：
1)拍照获取带咽拭子的口腔照片集；
2)对各带咽拭子的口腔照片进行目标对象的标注，目标对象包括左侧扁桃腺、右侧扁桃腺、咽后壁和咽拭子的边界框，得到含四个目标标签的咽拭子口腔图像数据集，标注工具可选用labelimg(或labelme、Labelbox、RectLabel、CVAT、liblabel、AnnoMage)，如图2所示；
3)预处理后通过迁移学习，将所述含四个目标标签的咽拭子口腔图像数据集输入到选择的神经网络算法中进行训练，得到咽拭子口腔目标检测模型及其模型参数，可以用到的神经网络有YOLOv5、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD、YOLO、YOLOv2、YOLOv3、YOLOv4等，这里采用YOLOv5算法，模型的输出为上述四个目标对象的边界框坐标。
S0C、咽拭子口腔关键点检测模型的构建方法为：
1)拍照获取带咽拭子的口腔图片；
2)对处理后的带咽拭子的口腔图片进行关键点对象标注，关键点对象包括左侧扁桃腺、右侧扁桃腺、扁桃体和咽拭子头的中心，(这里由于扁桃体的特征比较明显并且二维的位置与咽后壁的位置是一致的，所以用扁桃体来代替咽后壁的位置)，如图3所示，得到含四个关键点标签的咽拭子口腔图像数据集，标注工具可选用VOTT(或CVAT，Labelme，labelImg，VIA-VGG Image Annotator,Pixel Annotation Tool,Vatic等)，标记的坐标存储起来作为标签：左扁桃腺x坐标、左扁桃腺y坐标、右扁桃腺x坐标、右扁桃腺y坐标、扁桃体x坐标、扁桃体y坐标、咽拭子头中心x坐标；
3)预处理后通过迁移学习，将所述含四个关键点标签的咽拭子口腔图像数据集输入到选择的神经网络算法中进行训练，得到口腔咽拭子关键点检测模型及其模型参数，可以用到的神经网络有：Resnet(残差网络)系列，HRNet(高分辨率网络)系列，MTCNN，VGG系列，CornerNet系列等，这里选择Resnet-18做迁移学习，Resnet-18基于VGG19进行改进的现有算法，模型的输出为上述四个关键点对象的坐标。
S0D、构建核酸采集动作分类模型：
1)拍照获取带咽拭子的口腔照片集；
2)对各带咽拭子的口腔照片进行分类标签的对象标注，对象分类标签包括：0：未触碰到目标擦拭位置，1：触碰到左扁桃体腺，2：触碰到右扁桃体腺，3：触碰到咽后壁，得到含四种分类标签对象的咽拭子口腔图像数据集；比如照片中触碰到右扁桃体腺则标注为2；
3)预处理后通过迁移学习，将所述含四种分类标签的咽拭子口腔图像数据集输入到选择的深度学习模型中进行训练，以80％为训练集，10％为验证集，10％为测试集，得到核酸采集动作分类模型及其模型参数，可以用到的深度学习模型有Resnet(残差网络)系列、VGG系列等，这里选择VGG-19做迁移学习，模型的输出为四种分类结果：0：未触碰到目标擦拭位置，1：触碰到左扁桃体腺，2：触碰到右扁桃体腺，3：触碰到咽后壁。
S0E、构建核酸采集动作多任务分类模型：
1)拍照获取带咽拭子的口腔照片集；
2)将核酸采集动作分类模型当作任务一，将咽拭子口腔目标检测模型或咽拭子口腔关键点检测模型当作任务二：
任务一的标注、预处理和训练与步骤S0C中构建核酸采集动作分类模型的相同；任务二的标注、预处理和训练与步骤S0B1中构建咽拭子口腔目标检测模型相同，或与步骤S0B2中构建咽拭子口腔关键点检测模型相同，再对每张图片的目标边界框坐标或关键点的坐标计算得到咽拭子、左扁桃体腺、右扁桃体腺及咽后壁的中心坐标，判断出咽拭子是否触碰到左扁桃体腺、右扁桃体腺和咽后壁中某一个目标擦拭位置(具体计算方法类似于下文中的S34A1a和S34A2a，S34A1b和S34A2b)，从而优化分类结果：0：未触碰到目标擦拭位置，1：触碰到左扁桃体腺，2：触碰到右扁桃体腺，3：触碰到咽后壁；最后使用以下带权重因子的目标函数综合任务一和任务二的分类结果：
Figure BDA0003663511030000121
其中，第一项表示任务一，即核酸采集动作分类的损失函数，λa表示任务一的重要性因子，第二项表示任务二，即目标分类检测的损失函数，λb表示任务二的重要性因子，la表示任务一的损失函数，lb表示任务二的损失函数，f(xi；wa)表示xi与任务一的权值矩阵wa相乘之后经过函数f(*)，f(xi；wb)表示xi与任务二的权值矩阵wb相乘之后经过函数f(*)，Φ(*)是正则项，wt表示整个多任务的权值矩阵，xi表示输入的图片，
Figure BDA0003663511030000122
表示任务一的标签，
Figure BDA0003663511030000123
表示任务二的标签，标签包括分类标签，中心点坐标标签，目标边界框标签。
该模型的输出为包括四种分类结果：0：未触碰到目标擦拭位置，1：触碰到左扁桃体腺，2：触碰到右扁桃体腺，3：触碰到咽后壁，以及上述四个目标的边界框坐标或上述四个关键点的坐标。
多任务学习(MTL)：给定m个学习任务，其中所有或一部分任务是相关但并不完全一样的，多任务学习的目标是通过使用这m个任务中包含的知识来帮助提升各个任务的性能，因此，任务二可以增强任务一的分类准确度；而且在传统的MTL中，各任务的重要程度一致，其目标函数如下：
Figure BDA0003663511030000131
其中，
Figure BDA0003663511030000132
表示
Figure BDA0003663511030000133
与权值矩阵wt相乘之后经过函数f(*)，l(*)表示损失函数，Φ(*)是正则项。
不同的任务的学习难易程度不同，若采用相同的损失权重，会导致学习任务难以收敛。因此本方案通过上述带权重因子的目标函数综合任务一和任务二的模型，进一步提高模型的精确度。
在利用采集来的数据进行模型训练之前，为了减少干扰，提高核酸动作检测的精准度，需要对采集来的原始数据进行图像预处理。图像预处理的主要目的消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。所述预处理方法包括：图像裁剪和筛选、几何归一化、灰度化和数据增强，具体如下：
(1)图像裁剪和筛选：
在采集过程中，因为是人为操作，有一些照片里面可能存在除口腔外的其他面部部分，这时候需要手动进行图像的裁剪，只保留口腔部分，目的是为了减少口腔外部分图像的噪音对模型精度的影响。在裁剪过程中，还发现有一些照片中的咽拭子被遮挡或口腔内部过暗以至于无法分清特征点等情况，这时候需要将这些照片从数据集中移出。
(2)几何归一化：对图像进行几何归一化的目的是把图像变换为统一的尺度，为接下来的图片标注奠定基础。将图像统一缩放到a*a(根据经验a可以取128，256，512等)。
(3)灰度化：彩色图像是由三个不同的分量组成，当我们在对彩色图像进行处理时往往需要对三个通道依次进行处理，时间开销将会増大。因此为了提高处理速度，减少需要处理的数据量，我们往往将三通道的彩色图像变为单通道的灰度图像，也就是对图像进行灰度化处理。目前，最常用的有4种方法：单分量法、最大值法、平均值法、加权平均法。本实施例选用平均值法。
(4)数据增强：数据增强主要是为了增加数据集的样本数量，减少网络的过拟合现象，通过对训练图片进行变换可以得到泛化能力更强的网络，更好的适应应用场景。本实施例的数据增强包括图像增强和仿射变换。
1)图像增强
图像增强的目的是改善图像的视觉效果，并依据某些特定的场合有意地强调图像中的整体特征或局部特征，扩大不同特征之间的差别，经过处理后的图像具有更高的识别性和判读性。近几十年出现了众多的图像增强算法，其中应用比较广泛的有：直方图均衡算法、拉普拉斯增强算法、clahe算法、小波变换算法和Retinex算法等。
2)仿射变换
仿射变换(Affine Transformation)是指在向量空间中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量)，变换到另一个向量空间的过程。图像的仿射变换有：平移(Translation)、缩放(Scale)、旋转(Rotation)、翻转(Flip)和错切(Shear)。
本方案对图片进行随机旋转、移动、缩放、边缘填充等仿射变换操作来增加样本数量，标注点的坐标也随之变化。
构建好各模型后，基于人工智能的自助核酸采集的方法的操作流程如下所示：
S1、人证对比：确保用户人脸和用户身份证信息是同一人，即读取用户身份证信息，捕获用户的人脸照片，q次计算二者的相似度，若某一帧的相似度能达到设定阈值，判定二者为同一个人，进入步骤S2，否则判定为不是同一个人，结束；如图4所示包括：
S11、用身份证读卡器读取用户的身份证信息，包括姓名，身份证号和身份证件照；
S12、对所述身份证件照进行人脸检测，通过特征提取得到n维特征向量，记为features_1；
本实施例中，通过Face_recognition算法模型将所述身份证件照的人脸特征提取出n＝128维特征向量，
feature_1＝array([-0.16499846,0.09575517,0.04623203,0.03399656,-0.07989036,············，-0.01364356,0.08971558,0.01900284])；
Face_recognition是深度学习算法库dlib里的人脸识别算法模型，包含人脸检测、人脸关键点检测、人脸识别等接口。其使用世界上最简单的人脸识别工具，在Python或命令行中识别和操作人脸。使用dlib最先进的人脸识别技术构建而成，并具有深度学习功能。该模型在LFW人脸数据库(Labeled Faces in the Wild)基准中的准确率为99.38％。
S13、通过摄像头实时捕获用户的人脸，调取摄像头的视频流；
S14、对所述视频流的当前帧进行人脸检测，通过特征提取得到n维特征向量，记为features_2；
计算前，features_1与features_2已进行了归一化操作。本实施例中，也通过Face_recognition算法模型将当前帧中检测到的人脸特征提取出n＝128维特征向量，
feature_2＝array([-0.153552,0.120262,0.0191236,0.026432,-0.104621,-0.0100934,············，0.0794868,-0.00760809,0.137932,0.0470171])。
S15、计算所述features_1与features_2的相似度，判断所述相似度是否达到设定阈值r，若是，则二者是同一个人，进入步骤S2，否则，进入步骤S16；
本实施例中相似度通过计算所述features_1与features_2的欧式距离来评价，相似度达到设定阈值r时，即欧式距离小于等于设定阈值r时，n维欧式距离的计算公式如下：
Figure BDA0003663511030000161
其中xi表示features_1中第i维的值，yi表示features_2中第i维的值，i≤n，设定的相似度阈值r根据实际数据统计得来，r一般取[0.3,0.6]，本实施例中，计算得到的d(x,y)为features_1和features_2这两个向量的欧式距离为0.34，设定阈值r为0.4，人证对比成功；
S16、判断当前帧数是否小于等于设置的帧数阈值q，若是，则帧数加一，返回步骤S14，进行下一帧的人脸检测，更新features_2，否则，二者不是同一个人，结束人证对比，返回步骤S11。
捕获的人脸因妆容、年龄、角度的差异，当前帧计算得到的相似度不满足要求，但下一帧的相似度有可能满足要求，因此应在q次计算得到的相似度判断完成后，才能得出不是同一个人的结论，所述帧数阈值q通过实验统计获得。
S2、活体检测：确保用户是对应的生命体，即用户在规定时间内根据提示依次完成随机的p个活体检测动作，p≥3，获取人脸图像，根据所述活体检测模型判断所述活体检测动作的变化幅度是否符合对应的阈值，判断连续帧中的眨眼次数是否符合对应的阈值，若都满足，则活体检测成功，进入步骤S3，否则返回步骤S1；如图5所示包括：
S21、加载所述活体检测模型，开启摄像头，j＝1；
S22、提示用户进行随机的第j个活体检测动作，记录动作时间；
S23、判断所述动作时间是否超时，若是，则返回步骤S11进行人证对比，否则，进入步骤S24；
此处加入了超时检测，确保自助检测的有序进行。
S24、捕获连续2-3帧数据，通过所述活体检测模型得到连续两帧图像的人脸特征点坐标，记录眨眼次数，并计算当前活体检测动作的变化幅度，记为f，判断f是否符合对应的阈值，若是，则当前活体检测动作达标，j＝j+1，进入步骤S25；否则仍重复当前动作，j不变，返回步骤S22；
所述眨眼次数的记录方法包括：眨眼次数初始为零，计算连续两帧图像中眨眼动作的变化幅度，记为F，判断F是否符合对应的阈值D，若是，则眨眼次数加一，否则眨眼次数不变；其中，眨眼动作的判断条件为：连续两帧图像中眼睛的纵横比是否小于对应的阈值D，若是，则完成一次眨眼动作，眨眼次数加一，根据经验对应的阈值为0.2。
S25、判断j是否大于3，若是，则随机的3个活体检测动作均已达标，进入步骤S26；否则，进行下一个活体检测动作的检测，返回步骤S22；
S26、判断所述眨眼次数是否大于等于阈值Dz，若是，则表示用户是活体，活体检测成功；否则，表示用户可能不是活体，返回步骤S11。
通过活体检测动作的检测和眨眼次数的检测，双重确保是生命体正在进行自助操作，而不是图片、模型等，进一步确保身份确认的准确性。
该活体检测在七个活体检测动作中随机选择三个进行检测，前一个动作检测达标后才能进入下一个动作，否则重复当前动作，随机的三个动作均达标，且眨眼次数符合要求，以及未超时，则能充分证明用户为活体，活体检测通过，三个条件缺一则活体检测失败，返回人证对比环节。眨眼次数的阈值Dz和超时判断的阈值均根据大量实验数据得到。所述七个活体检测动作包括抬头、低头、向左看、向右看、张嘴、点头和摇头，各活体检测动作的达标判断方法分别为：
抬头：判断连续两帧图像欧拉角中的俯仰角变化的差值是否大于阈值，根据经验对应阈值为30°。
低头：判断连续两帧图像欧拉角中的俯仰角变化的差值是否小于阈值，根据经验对应阈值为-30°。
向左看：判断连续两帧图像欧拉角中的偏航角变化的差值是否小于阈值，根据经验对应阈值为-40°。
向右看：判断连续两帧图像欧拉角中的偏航角变化的差值是否大于阈值，根据经验对应阈值为40°。
张嘴：判断连续两帧图像上下外嘴唇的长宽比变化是否大于阈值，根据经验对应阈值为0.7，或上下内嘴唇的长宽比变化是否大于阈值，根据经验对应阈值为0.3。
点头：判断连续两帧图像鼻子沿竖轴的比值变化是否大于阈值，根据经验对应阈值为0.03。
摇头：判断连续两帧图像鼻子沿横轴的比值变化是否大于阈值，根据经验对应阈值为0.05。
所述欧拉角是一种最直观的姿态描述方式，它的核心思想是一个坐标系到另一个坐标系的变换可以通过绕不同坐标轴的三次连续转动来实现，这三次的转动角度统一称为欧拉角。而欧拉角只是说明了两种坐标系之间的变换关系，实际上我们在姿态估计中使用的姿态角是欧拉角中的一种，是人为约定的一种。欧拉角的特定转动顺序为Z-Y-X，其中绕Z轴转动的角度为偏航角(Yaw)，绕Y轴转动的角度为俯仰角(Pitch)，绕X轴转动的角度为横滚角(Roll)。
S3、自助核酸采集动作检测：用户在规定时间内根据屏幕提示完成咽拭子的目标擦拭位置和目标擦拭次数，获取口腔图像，持续根据坐标计算方法或模型识别方法在所述咽拭子触碰到某一个目标擦拭位置且存在擦拭动作时，记录一次触碰到的所述目标擦拭位置的擦拭成功次数，直到所有目标擦拭位置的擦拭成功次数满足所述目标擦拭次数时，核酸采集动作合格，结束采集；如图6和图7所示包括：
S31、加载模型及参数，开启摄像头，选择核酸采集动作标准，所述核酸采集动作标准包括咽拭子的目标擦拭位置和目标擦拭次数；
由于目前各地的咽拭子核酸采集动作判断标准不一致，大致分为以下三种：
标准一：左扁桃腺、右扁桃腺、咽后壁，三个点中任意一点(不限于一点)，擦拭至少三次；
标准二：左扁桃腺、右扁桃腺(无顺序要求)，各擦拭至少三次；
标准三：左扁桃腺、右扁桃腺、咽后壁，三个点(无顺序要求)各擦拭至少三次；
因此三种标准分别作为核酸采集动作检测的要求不一样，根据选择或需要设定：
采用标准一的核酸采集动作检测时，目标擦拭位置为左扁桃腺、右扁桃腺或咽后壁，目标擦拭次数为左扁桃腺、右扁桃腺和咽后壁擦拭成功次数和大于等于3；
采用标准二的核酸采集动作检测时，目标擦拭位置为左扁桃腺和右扁桃腺，目标擦拭次数为左扁桃腺的擦拭成功次数大于等于3且右扁桃腺的擦拭成功次数大于等于3；
采用标准三的核酸采集动作检测时，目标擦拭位置为左扁桃腺和右扁桃腺和咽后壁，目标擦拭次数为左扁桃腺的擦拭成功次数大于等于3，右扁桃腺的擦拭成功次数大于等于3，且咽后壁的擦拭成功次数大于等于3。
S32、屏幕提示咽拭子的目标擦拭位置和目标擦拭次数，记录操作时间；所述目标擦拭位置的擦拭成功次数初始为零，所述目标擦拭位置包括左扁桃腺、右扁桃腺和/或咽后壁；
根据采用的核酸检测标准不同，所述目标擦拭位置和目标擦拭次数均不同，根据采用的核酸检测标准，设置目标擦拭位置和目标擦拭次数，即可适用于各标准的核酸检测。
S33、判断所述操作时间是否超时，若是，则返回步骤S11进行人证对比，否则，进入步骤S34；
所述操作时间的阈值根据经验为3分钟。
S34、根据坐标计算方法或模型识别方法判断所述咽拭子是否触碰到某一个目标擦拭位置并存在擦拭动作，若是，则触碰到的所述目标擦拭位置对应的擦拭成功次数加一，进入步骤S35；否则，屏幕提示未完成情况，返回步骤S33；
所述坐标计算方法如图6所示，包括以下步骤：
S34A1、根据所述咽拭子口腔目标检测模型、咽拭子口腔关键点检测模型或所述核酸采集动作多任务分类模型，识别并计算出当前帧中的咽拭子、左扁桃体腺、右扁桃体腺及咽后壁的中心坐标，判断是否识别成功，若是，则进入步骤S34A2；否则，屏幕提示未规范处，返回步骤S33；
S34A2、获取所述咽拭子的中心坐标和各目标擦拭位置的坐标关系，判断咽拭子是否触碰到某一个目标擦拭位置，若是，则触碰到该目标擦拭位置，进入步骤S34A3；否则，未触碰到任一目标擦拭位置，屏幕提示未完成情况，返回步骤S33；
由于所述当前帧中的咽拭子、左扁桃体腺、右扁桃体腺及咽后壁的中心坐标根据核酸采集动作检测模型选择的不同，步骤S34A1识别模型后计算得到坐标的方法不同，步骤S34A2由此计算的坐标关系的方法也不同，因此，步骤S34A1和S34A2分以下两种情况：
(1)使用咽拭子口腔目标检测模型时：
S34A1a、先通过所述咽拭子口腔目标检测模型或任务二为咽拭子口腔目标检测模型的所述核酸采集动作多任务分类模型，获取各目标的边界框坐标，即咽拭子、左扁桃体腺、右扁桃体腺或咽后壁的左上角及右下角的坐标，如表1所示，单位为像素，本实施例的图像的一个像素大约为0.078毫米；并通过各目标的边界框坐标计算得到每个目标的中心坐标，如表2所示，中心坐标(x,y)计算公式：
x＝(xend-xstart)/2
y＝(yend-ystart)/2
其中(xend,yend)表示边界框右下角坐标，(xstart,ystart)表示边界框左上角坐标；
表1咽拭子口腔目标检测模型得到的咽拭子、左扁桃体腺、右扁桃体腺或咽后壁的边界框坐标(单位：像素)
左上角x坐标 左上角y坐标 右下角x坐标 右下角y坐标
咽拭子 70.30707 106.5621469 113.6642 124.781925
左扁桃体腺 67.93496 100.8475 99.82682 140.6486
右扁桃体腺 199.1924 102.998868 227.9214 144.9514165
咽后壁 127.7651 92.51073857 160.7113 123.9751474
表2咽拭子口腔目标检测模型得到的咽拭子、左扁桃体腺、右扁桃体腺或咽后壁的中心坐标(单位：像素)
x坐标 y坐标
咽拭子中心点 91.98564 115.672
左扁桃体腺中心点 83.88089 120.748
右扁桃体腺中心点 213.5569 123.9751
咽后壁中心点 144.2382 108.2429
S34A2a、根据S34A1a得到的坐标，比较判断咽拭子的中心坐标是否在所述目标擦拭位置对应的边界框内，若是，则擦拭到该目标擦拭位置，否则，未擦拭到任一目标擦拭位置。
例如，咽拭子中心坐标记为(xs,ys),左扁桃体腺边界框坐标记为(xstart,ystart,xend,yend)，当满足判别式xstart≤xs≤xend，ystart≤ys≤yend时，表示咽拭子触碰到左扁桃体腺。
如根据表1和表2数据，将咽拭子中心坐标与左扁桃体腺边界框做比较，发现左扁桃体腺边界框左下角x坐标<咽拭子中心x坐标<左扁桃体腺边界框右下角x坐标，左扁桃体腺边界框左下角y坐标<咽拭子中心y坐标<左扁桃体腺边界框右下角y坐标，说明咽拭子在左扁桃体腺的边界框内，以此类推。
(2)使用咽拭子口腔关键点检测模型时：
S34A1b、直接通过所述咽拭子口腔关键点检测模型或任务二为咽拭子口腔关键点检测模型的所述核酸采集动作多任务分类模型得到咽拭子、左扁桃体腺、右扁桃体腺或咽后壁的中心坐标，咽拭子的中心坐标即所述咽拭子头的中心点坐标，咽后壁的中心坐标即所述扁桃体的中心点坐标。如表3所示：
表3咽拭子口腔关键点检测模型得到的咽拭子、左扁桃体腺、右扁桃体腺或咽后壁的中心坐标(单位：像素)
Figure BDA0003663511030000211
Figure BDA0003663511030000221
S34A2b、根据S34A1b得到的坐标，先分别计算左扁桃腺中心坐标(x1,y1)、右扁桃腺中心坐标(x3,y3)、咽后壁中心坐标(x4,y4)到咽拭子中心坐标(x2,y2)之间的距离，分别记为ρ1、ρ2、ρ3，计算距离的公式可选用欧式距离、曼哈顿距离、切比雪夫距离、闵氏距离、标准化欧式距离、余弦相似度、马氏距离、汉明距离、巴氏距离、杰卡德相似度系数、相关系数与相关距离、信息熵，其中计算两点之间的距离最常用的为欧氏距离，计算公式如下：
Figure BDA0003663511030000222
再取min{ρ1，ρ2，ρ3}与事先设置好的距离阈值dy(这个阈值dy需要根据大量实际数据取均值得来)进行比对，分两种情况：
当min{ρ1，ρ2，ρ3}>dy时，表示咽拭子头离左、右扁桃腺和咽后壁距离都很远，未触碰到任一目标擦拭位置；
当min{ρ1，ρ2，ρ3}≤dy时，表示触碰到某一目标擦拭位置，且触碰到min{ρ1，ρ2，ρ3}对应的目标擦拭位置，又分三种情况：
且当min{ρ1，ρ2，ρ3}＝ρ1时，表示咽拭子头在触碰左扁桃腺；
且当min{ρ1，ρ2，ρ3}＝ρ2时，表示咽拭子头在触碰右扁桃腺；
且当min{ρ1，ρ2，ρ3}＝ρ3时，表示咽拭子头在触碰咽后壁。
如根据表3数据，计算得到的ρ1＝13.435338272630128，ρ2＝149.4996088139364，ρ3＝67.81337414581286，假设dy＝30，发现ρ1<dy说明咽拭子头触碰到了做左扁桃腺，记录下此次触碰的位置(左扁桃腺)并且记录ρ1，ρ1，ρ3这三个值。
S34A3、获取连续m帧中咽拭子与各目标擦拭位置的距离，计算每两帧中对应距离的差值，判断各距离差值中的最大值是否大于阈值dx，若是，则表示咽拭子是动态的，即咽拭子有擦拭动作，步骤S34A2a或S34A2b触碰的所述目标擦拭位置对应的擦拭成功次数加一，进入步骤S35；否则，表示咽拭子不是动态的，即咽拭子无擦拭动作，屏幕提示未完成情况，返回步骤S33；
若咽拭子与左扁桃体腺、右扁桃体腺、咽后壁的距离差值分别为d1、d2、d3，则判断max{d1,d2,d3}是否大于阈值dx即可，若目标擦拭位置没有咽后壁，则认为d3为零，咽后壁的擦拭成功次数始终为零。
因口腔难以检测，获取的连续两帧图像中可能出现未检测成功的情况，因此获取连续m帧图像，m≥2，m通过实际情况统计得出。例如，计算当前帧中咽拭子中心点到左扁桃体腺中心点、右扁桃体腺中心点及咽后壁中心点的距离，并保存留着下一帧计算距离差值时使用：咽拭子中心点到左扁桃体腺中心点距离记为：x1＝9.56；咽拭子中心点到右扁桃体腺中心点距离记为：x2＝121.85；咽拭子中心点到咽后壁中心点距离记为：x3＝52.77；
从上一帧保存下来的距离数据为：咽拭子中心点到左扁桃体腺中心点距离记为：y1＝60.09；咽拭子中心点到右扁桃体腺中心点距离记为：y2＝50.56；咽拭子中心点到咽后壁中心点距离记为：y3＝30.43；
计算两帧之间的距离差值的绝对值：咽拭子与左扁桃体腺距离差值记为：d1＝50.53；咽拭子与右扁桃体腺距离差值记为：d2＝71.29；咽拭子与咽后壁距离差值记为：d3＝22.34；
这里距离差阈值设为dx＝20，因为max{d1,d2,d3}>dx,所以判断为咽拭子有擦拭动作。这里成功检测动作数加1。
所述模型识别方法也包括采用所述核酸采集动作分类模型或所述核酸采集动作多任务分类模型两种情况，如图7所示，具体为：
S34B1、根据所述核酸采集动作分类模型或所述核酸采集动作多任务分类模型识别核酸采集动作的分类结果，判断是否识别成功，若是，则进入步骤S34B2；否则，屏幕提示未完成情况，返回步骤S33；
模型输出的分类结果包括四种：0：未触碰到目标擦拭位置，1：触碰到左扁桃体腺，2：触碰到右扁桃体腺，3：触碰到咽后壁；定义0为假，1、2、3为真。
由于咽拭子的触碰位置不好掌控，且咽拭子是动态、来回移动的，一次有效的擦拭是先未触碰到，再触碰到，再移开，因此有效擦拭时的各帧分类结果应包含“假真假”、“假真真···真假”，识别的各帧的分类结果中必定先“假真”，再“真假”，两个假之间至少有一个真；若全是假，则必定未触碰到目标擦拭位置，若全是真、先真后全假或先假后全真，则咽拭子没动，没有擦拭动作；因此，具体步骤为：
S34B2、判断是否“当前帧u的分类结果为真，且上一帧u-1的分类结果为假”，若是，则进入步骤S34B3，否则，令u＝u+1，判断当前帧数是否达到帧数阈值，若是，则屏幕提示未完成情况，返回步骤S33；否则重新进入步骤S34B2；
先寻找“假真”，若当前帧数达到帧数阈值也未找到，则一直是假，停止寻找，返回步骤S33，若当前帧数未达到帧数阈值，则向后移动一帧。
S34B3、判断是否“当前帧u的分类结果为真，且下一帧u+1的分类结果为假”，若是，则进行了一次有效擦拭动作，所述真对应的目标擦拭位置的擦拭成功次数加一，令u＝u+2，进入步骤S35；否则，令u＝u+1，判断当前帧数是否达到帧数阈值，若是，则屏幕提示未完成情况，返回步骤S33；否则重新进入步骤S34B3；
再寻找“真假”，若当前帧数达到帧数阈值也未找到，则前面全是假，后面全是真，未进行动作停止寻找；寻找到“真假”后，若令u＝u+1，已知此时的当前帧u为假，循环到S34B2时判断结果必定不满足“当前帧u的分类结果为真”，需要再次令u＝u+1后进行判断，为节省运算量，寻找到“真假”后，令u＝u+2。
因先寻找到“假真”，再寻找到“真假”，真说明已触碰到某一个目标擦拭位置，真前的假和真后的假，说明咽拭子是运动的，存在擦拭动作。
S35、判断所有目标擦拭位置的擦拭成功次数是否满足所述目标擦拭次数，若是，则核酸采集动作合格，结束采集；否则，屏幕提示未完成情况，返回步骤S33。
用户一直根据屏幕提示进行动作，视觉采集装置持续采集视频流，程序也在持续运行，若未超时，且未完成所述目标擦拭次数，则以当前帧若未满足所述目标擦拭次数的要求，提示未完成情况的同时，返回步骤S33，若还未超时，对更新后的当前帧重复S34的识别判断，继续识别循环。
最后需要说明的是，上述的方法可以转换为软件程序指令，既可以使用包括处理器和存储器的装置来运行实现，也可以通过非暂态计算机可读存储介质中存储的计算机指令来实现。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明还公开了实施例为一种基于人工智能的自助核酸采集装置，包括控制模块，以及分别与所述控制模块连接的身份证读卡器、视觉采集装置、屏幕和存储模块，所述身份证读卡器用于读取身份证信息，所述视觉采集装置用于捕获用户的人脸和口腔图像，数量至少有一个；所述存储模块用于存储构建好的所述活体检测模型和核酸采集动作检测模型及其参数，以及采集的视频流，所述控制模块运行所述的基于人工智能的自助核酸采集方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种基于人工智能的自助核酸采集方法，其特征在于，包括：
S0、构建活体检测模型和核酸采集动作检测模型，所述活体检测模型通过将标注人脸特征点的人脸照片集输入选择的人工智能算法训练得到，输出人脸特征点的坐标；所述核酸采集动作检测模型通过将标注好的带咽拭子的口腔图片集输入选择的人工智能算法训练得到，所述标注的对象为边界框、中心点中的一种和/或分类标签，输出标注的边界框、中心点中的一种的坐标和/或分类标签；
S1、人证对比：判断对比用户人脸和用户身份证信息是否是同一人，若是，则进入步骤S2，否则结束；
S2、活体检测：判断用户是否是对应的生命体，若是，则进入步骤S3，否则返回步骤S1；
S3、自助核酸采集动作检测：用户在规定时间内根据屏幕提示完成咽拭子的目标擦拭位置和目标擦拭次数，获取口腔图像，持续根据坐标计算方法或模型识别方法在所述咽拭子触碰到某一个目标擦拭位置且存在擦拭动作时，记录一次触碰到的所述目标擦拭位置的擦拭成功次数，直到所有目标擦拭位置的擦拭成功次数满足所述目标擦拭次数时，核酸采集动作合格，结束采集。
2.根据权利要求1所述的基于人工智能的自助核酸采集方法，其特征在于，所述步骤S1包括：
S11、读取身份证信息，包括姓名，身份证号和身份证件照；
S12、对所述身份证件照进行人脸检测，通过特征提取得到n维特征向量，记为features_1；
S13、通过视觉采集装置实时捕获用户的人脸，调取视频流；
S14、对所述视频流的当前帧进行人脸检测，通过特征提取得到n维特征向量，记为features_2；
S15、计算所述features_1与features_2的相似度，判断所述相似度是否达到设定阈值r，若是，则进入步骤S2，否则，进入步骤S16；
S16、判断当前帧数是否小于等于设置的帧数阈值q，若是，则帧数加一，返回步骤S14，否则，返回步骤S11。
3.根据权利要求2所述的基于人工智能的自助核酸采集方法，其特征在于，所述步骤S2包括：
S21、加载所述活体检测模型，开启视觉采集装置，j＝1；
S22、提示用户进行随机的第j个活体检测动作，记录动作时间；
S23、判断所述动作时间是否超时，若是，则返回步骤S11，否则，进入步骤S24；
S24、捕获连续m帧数据，m≥2,通过所述活体检测模型得到连续两帧图像的人脸特征点坐标，记录眨眼次数，并计算当前活体检测动作的变化幅度，记为f，判断f是否符合对应的阈值，若是，则当前活体检测动作达标，j＝j+1，进入步骤S25；否则，j不变，返回步骤S22；
S25、判断j是否大于3，若是，则进入步骤S26；否则，返回步骤S22；
S26、判断所述眨眼次数是否达到阈值Dz，若是，则表示用户是活体，活体检测成功；否则返回步骤S11。
4.根据权利要求3所述的基于人工智能的自助核酸采集方法，其特征在于，所述眨眼次数的记录方法包括：眨眼次数初始为零，计算连续两帧图像中眨眼动作的变化幅度，记为F，判断F是否符合对应的阈值D，若是，则眨眼次数加一，否则眨眼次数不变。
5.根据权利要求4所述的基于人工智能的自助核酸采集方法，其特征在于，所述眨眼动作的判断条件为：连续两帧图像中眼睛的纵横比是否小于对应的阈值D；所述活体检测动作从七个活体检测动作中随机选择，所述七个活体检测动作包括抬头、低头、向左看、向右看、张嘴、点头和摇头，所述抬头的达标条件为：连续两帧图像欧拉角中的俯仰角变化的差值大于对应的阈值；所述低头的达标条件为：连续两帧图像欧拉角中的俯仰角变化的差值小于对应的阈值；所述向左看的达标条件为：连续两帧图像欧拉角中的偏航角变化的差值小于对应的阈值；所述向右看的达标条件为：连续两帧图像欧拉角中的偏航角变化的差值大于对应的阈值；所述张嘴的达标条件为：连续两帧图像上下外嘴唇或上下内嘴唇的长宽比变化大于对应的阈值；所述点头的达标条件为：连续两帧图像鼻子沿竖轴的比值变化大于对应的阈值；所述摇头的达标条件为：连续两帧图像鼻子沿横轴的比值变化大于对应的阈值。
6.根据权利要求3所述的基于人工智能的自助核酸采集方法，其特征在于，所述步骤S3包括以下步骤：
S31、加载模型及参数，开启视觉采集装置；
S32、屏幕提示咽拭子的目标擦拭位置和目标擦拭次数，记录操作时间；所述目标擦拭位置的擦拭成功次数初始为零，所述目标擦拭位置包括左扁桃腺、右扁桃腺和/或咽后壁；
S33、判断所述操作时间是否超时，若是，则返回步骤S11，否则，进入步骤S34；
S34、根据坐标计算方法或模型识别方法判断所述咽拭子是否触碰到某一个目标擦拭位置并存在擦拭动作，若是，则触碰到的所述目标擦拭位置对应的擦拭成功次数加一，进入步骤S35；否则，屏幕提示未完成情况，返回步骤S33；
S35、判断所有目标擦拭位置的擦拭成功次数是否满足所述目标擦拭次数，若是，则核酸采集动作合格，结束采集；否则，屏幕提示未规范处，返回步骤S33。
7.根据权利要求6所述的基于人工智能的自助核酸采集方法，其特征在于，所述步骤S0中，所述核酸采集动作检测模型为咽拭子口腔目标检测模型、咽拭子口腔关键点检测模型、核酸采集动作分类模型或核酸采集动作多任务分类模型，构建方法均包括：拍照获取带咽拭子的口腔照片集，对各带咽拭子的口腔照片进行标注后预处理，然后输入到选择的人工智能算法中进行训练；
所述咽拭子口腔目标检测模型标注的对象为边界框，包括左侧扁桃腺、右侧扁桃腺、咽后壁和咽拭子的边界框，选择的人工智能算法包括YOLOv5、R-CNN、Fast R-CNN、Faster R-CNN、R-FCN、SSD、YOLO、YOLOv2、YOLOv3和YOLOv4；
所述咽拭子口腔关键点检测模型标注的对象为中心点，包括左侧扁桃腺、右侧扁桃腺、扁桃体和咽拭子头的中心点，选择的人工智能算法包括Resnet残差网络系列、HRNet高分辨率网络系列、CornerNet系列、MTCNN和VGG系列；
所述核酸采集动作分类模型标注的对象为分类标签，包括：0：未触碰到目标擦拭位置，1：触碰到左扁桃体腺，2：触碰到右扁桃体腺，3：触碰到咽后壁的分类标签，选择的人工智能算法包括Resnet系列和VGG系列；
所述核酸采集动作多任务分类模型采用多任务学习MTL，任务一与任务二并行，任务一为所述核酸采集动作分类模型，标注的对象和训练方法与所述核酸采集动作分类模型相同，任务二为所述咽拭子口腔目标检测模型或所述咽拭子口腔关键点检测模型，标注的对象和训练方法先与所述咽拭子口腔目标检测模型或咽拭子口腔关键点检测模型相同，再将输出的所述目标或关键点的坐标优化为分类标签，最后使用以下带权重因子的目标函数综合任务一和任务二的分类结果：
Figure FDA0003663511020000041
其中，第一项表示任务一的损失函数，λa表示任务一的重要性因子，第二项表示任务二的损失函数，λb表示任务二的重要性因子，la表示任务一的损失函数，lb表示任务二的损失函数，f(xi；wa)表示xi与任务一的权值矩阵wa相乘之后经过函数f(*)，f(xi；wb)表示xi与任务二的权值矩阵wb相乘之后经过函数f(*)，wt表示整个多任务的权值矩阵，Φ(*)是正则项，xi表示输入的图片，
Figure FDA0003663511020000042
表示任务一的标签，
Figure FDA0003663511020000043
表示任务二的标签；
所述预处理包括图像裁剪和筛选、几何归一化、灰度化和数据增强，所述数据增强包括图像增强和仿射变换。
8.根据权利要求7所述的基于人工智能的自助核酸采集方法，其特征在于，所述步骤S34中，根据坐标计算方法判断所述咽拭子是否触碰到某一个目标擦拭位置并存在擦拭动作，包括：
S34A1、根据所述咽拭子口腔目标检测模型、咽拭子口腔关键点检测模型或核酸采集动作多任务分类模型，识别并计算出当前帧中的咽拭子、左扁桃体腺、右扁桃体腺及咽后壁的中心坐标，判断是否识别成功，若是，则进入步骤S34A2；否则，屏幕提示未规范处，返回步骤S33；
S34A2、获取所述咽拭子的中心坐标和各目标擦拭位置的坐标关系，判断咽拭子是否触碰到某一个目标擦拭位置，若是，则触碰到该目标擦拭位置，进入步骤S34A3；否则，未触碰到任一目标擦拭位置，屏幕提示未完成情况，返回步骤S33；
S34A3、获取连续m帧中咽拭子与各目标擦拭位置的距离，计算每两帧中对应距离的差值，判断各距离差值中的最大值是否大于阈值dx，若是，则咽拭子有擦拭动作，步骤S34A2触碰的所述目标擦拭位置对应的擦拭成功次数加一，进入步骤S35；否则，咽拭子无擦拭动作，屏幕提示未完成情况，返回步骤S33。
9.根据权利要求8所述的基于人工智能的自助核酸采集方法，其特征在于，当所述核酸采集动作检测模型为咽拭子口腔目标检测模型，或所述核酸采集动作多任务分类模型的任务二为咽拭子口腔目标检测模型时，
所述步骤S34A1包括：先通过所述咽拭子口腔目标检测模型或任务二为咽拭子口腔目标检测模型的所述核酸采集动作多任务分类模型，获取各目标的边界框坐标，再通过各目标的边界框坐标计算得到每个目标即咽拭子、左扁桃体腺、右扁桃体腺和咽后壁的中心坐标；
所述步骤S34A2包括：比较判断所述咽拭子的中心坐标是否在所述目标擦拭位置对应的边界框内，若是，则擦拭到该目标擦拭位置，否则，未擦拭到任一目标擦拭位置。
10.根据权利要求8所述的基于人工智能的自助核酸采集方法，其特征在于，当所述核酸采集动作检测模型为咽拭子口腔关键点检测模型，或所述核酸采集动作多任务分类模型的任务二为咽拭子口腔关键点检测模型时，
所述步骤S34A1包括：直接通过所述咽拭子口腔关键点检测模型或任务二为咽拭子口腔关键点检测模型的所述核酸采集动作多任务分类模型，得到咽拭子、左扁桃体腺、右扁桃体腺和咽后壁的中心坐标，咽拭子的中心坐标即所述咽拭子头的中心点坐标，咽后壁的中心坐标即所述扁桃体的中心点坐标；
所述步骤S34A2包括：先分别计算所述左扁桃腺的中心坐标、右扁桃腺的中心坐标、咽后壁的中心坐标到咽拭子的中心坐标之间的距离，分别记为ρ1、ρ2、ρ3；再取min{ρ1，ρ2，ρ3}与距离阈值dy进行比对，当min{ρ1，ρ2，ρ3}>dy时，表示未擦拭到任一目标擦拭位置；当min{ρ1，ρ2，ρ3}≤dy时，表示擦拭到min{ρ1，ρ2，ρ3}对应的目标擦拭位置。
11.根据权利要求9或10所述的基于人工智能的自助核酸采集方法，其特征在于，所述步骤S34中，根据模型识别方法判断所述咽拭子是否触碰到某一个目标擦拭位置并存在擦拭动作，包括：
S34B1、根据所述核酸采集动作分类模型或所述核酸采集动作多任务分类模型识别核酸采集动作的分类结果，判断是否识别成功，若是，则进入步骤S34B2；否则，屏幕提示未完成情况，返回步骤S33；所述分类结果即所述分类标签；定义0为假，1、2、3为真；
S34B2、判断是否“当前帧u的分类结果为真，且上一帧u-1的分类结果为假”，若是，则进入步骤S34B3，否则，令u＝u+1，判断当前帧数是否达到帧数阈值，若是，则屏幕提示未完成情况，返回步骤S33；否则重新进入步骤S34B2；
S34B3、判断是否“当前帧u的分类结果为真，且下一帧u+1的分类结果为假”，若是，则进行了一次有效擦拭动作，所述真对应的目标擦拭位置的擦拭成功次数加一，令u＝u+2，进入步骤S35；否则，令u＝u+1，判断当前帧数是否达到帧数阈值，若是，则屏幕提示未完成情况，返回步骤S33；否则重新进入步骤S34B3。
12.一种基于人工智能的自助核酸采集装置，其特征在于，包括控制模块，以及分别与所述控制模块连接的身份证读卡器、视觉采集装置、屏幕和存储模块，所述身份证读卡器用于读取身份证信息，所述视觉采集装置用于捕获用户的人脸和口腔图像，所述存储模块用于存储构建好的所述活体检测模型和核酸采集动作检测模型及其参数，以及采集的视频流，所述控制模块运行权利要求1-11任一项所述的基于人工智能的自助核酸采集方法。
CN202210586202.3A 2022-05-26 2022-05-26 一种基于人工智能的自助核酸采集方法及装置 Pending CN114841990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210586202.3A CN114841990A (zh) 2022-05-26 2022-05-26 一种基于人工智能的自助核酸采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210586202.3A CN114841990A (zh) 2022-05-26 2022-05-26 一种基于人工智能的自助核酸采集方法及装置

Publications (1)

Publication Number Publication Date
CN114841990A true CN114841990A (zh) 2022-08-02

Family

ID=82573089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210586202.3A Pending CN114841990A (zh) 2022-05-26 2022-05-26 一种基于人工智能的自助核酸采集方法及装置

Country Status (1)

Country Link
CN (1) CN114841990A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115399961A (zh) * 2022-08-08 2022-11-29 浙江大华技术股份有限公司 一种隔离检测舱及检测方法
CN116109982A (zh) * 2023-02-16 2023-05-12 哈尔滨星云智造科技有限公司 一种基于人工智能的生物样本采集有效性检验方法
CN116129112A (zh) * 2022-12-28 2023-05-16 深圳市人工智能与机器人研究院 一种核酸检测机器人的口腔三维点云分割方法及机器人
CN116308149A (zh) * 2023-03-02 2023-06-23 无锡市第五人民医院 一种高灵敏度抗原检测的便捷监督管理方法及系统
CN117911421A (zh) * 2024-03-20 2024-04-19 杭州臻稀生物科技有限公司 基于样本采集真实度核验的全流程自助特定物检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170238692A1 (en) * 2014-08-04 2017-08-24 Sarubbo Davide A system for checking a correct oral hygiene procedure
CN111759361A (zh) * 2020-07-02 2020-10-13 南方医科大学深圳医院 咽试子检测样本自助采样机及方法
CN112101100A (zh) * 2020-08-06 2020-12-18 鞍山极致创新科技有限公司 一种生物标本自助采集系统及采集方法
CN112949580A (zh) * 2021-03-30 2021-06-11 福建诺诚数字科技有限公司 基于动态人脸识别的人证比对方法、装置及存储介质
CN113378804A (zh) * 2021-08-12 2021-09-10 中国科学院深圳先进技术研究院 一种自助采样的检测方法、装置、终端设备和存储介质
US20210369252A1 (en) * 2020-05-26 2021-12-02 Tsinghua University Automatic Throat Swab Sampling System

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170238692A1 (en) * 2014-08-04 2017-08-24 Sarubbo Davide A system for checking a correct oral hygiene procedure
US20210369252A1 (en) * 2020-05-26 2021-12-02 Tsinghua University Automatic Throat Swab Sampling System
CN111759361A (zh) * 2020-07-02 2020-10-13 南方医科大学深圳医院 咽试子检测样本自助采样机及方法
CN112101100A (zh) * 2020-08-06 2020-12-18 鞍山极致创新科技有限公司 一种生物标本自助采集系统及采集方法
CN112949580A (zh) * 2021-03-30 2021-06-11 福建诺诚数字科技有限公司 基于动态人脸识别的人证比对方法、装置及存储介质
CN113378804A (zh) * 2021-08-12 2021-09-10 中国科学院深圳先进技术研究院 一种自助采样的检测方法、装置、终端设备和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115399961A (zh) * 2022-08-08 2022-11-29 浙江大华技术股份有限公司 一种隔离检测舱及检测方法
CN116129112A (zh) * 2022-12-28 2023-05-16 深圳市人工智能与机器人研究院 一种核酸检测机器人的口腔三维点云分割方法及机器人
CN116109982A (zh) * 2023-02-16 2023-05-12 哈尔滨星云智造科技有限公司 一种基于人工智能的生物样本采集有效性检验方法
CN116109982B (zh) * 2023-02-16 2023-07-28 哈尔滨星云智造科技有限公司 一种基于人工智能的生物样本采集有效性检验方法
CN116308149A (zh) * 2023-03-02 2023-06-23 无锡市第五人民医院 一种高灵敏度抗原检测的便捷监督管理方法及系统
CN116308149B (zh) * 2023-03-02 2024-05-24 无锡市第五人民医院 一种高灵敏度抗原检测的便捷监督管理方法及系统
CN117911421A (zh) * 2024-03-20 2024-04-19 杭州臻稀生物科技有限公司 基于样本采集真实度核验的全流程自助特定物检测方法
CN117911421B (zh) * 2024-03-20 2024-05-31 杭州臻稀生物科技有限公司 基于样本采集真实度核验的全流程自助特定物检测方法

Similar Documents

Publication Publication Date Title
CN114841990A (zh) 一种基于人工智能的自助核酸采集方法及装置
Gao et al. A fused deep learning architecture for viewpoint classification of echocardiography
US10049262B2 (en) Method and system for extracting characteristic of three-dimensional face image
JP5121506B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
CN109684925B (zh) 一种基于深度图像的人脸活体检测方法及设备
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
CN106845384B (zh) 一种基于递归模型的手势识别方法
JP2003517910A (ja) 心臓磁気共鳴画像において学習ベースでオブジェクトを検出する方法
CN107368778A (zh) 人脸表情的捕捉方法、装置及存储装置
CN111199197B (zh) 一种人脸识别的图像提取方法及处理设备
CN111460976B (zh) 一种数据驱动的基于rgb视频的实时手部动作评估方法
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN114202794B (zh) 一种基于人脸ppg信号的疲劳检测方法和装置
CN115205933A (zh) 面部表情识别方法、装置、设备及可读存储介质
Biswas et al. Face recognition in low-resolution videos using learning-based likelihood measurement model
CN106778491A (zh) 人脸3d特征信息的获取方法及设备
CN117877085A (zh) 一种基于微表情识别的心理分析方法
CN111723688B (zh) 人体动作识别结果的评价方法、装置和电子设备
JP3252941B2 (ja) 画像切り出し認識装置
Hsu A hybrid approach for brain image registration with local constraints
Guha A report on automatic face recognition: Traditional to modern deep learning techniques
CN112149517A (zh) 一种人脸考勤方法、系统、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination