CN115063851A - 采样方法、采样装置及计算机可读取存储介质 - Google Patents

采样方法、采样装置及计算机可读取存储介质 Download PDF

Info

Publication number
CN115063851A
CN115063851A CN202210604271.2A CN202210604271A CN115063851A CN 115063851 A CN115063851 A CN 115063851A CN 202210604271 A CN202210604271 A CN 202210604271A CN 115063851 A CN115063851 A CN 115063851A
Authority
CN
China
Prior art keywords
sampling
mouth
person
image
opening size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210604271.2A
Other languages
English (en)
Inventor
李明洋
杨帆
王家鹏
云鹏辉
许雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jaka Robotics Ltd
Original Assignee
Shanghai Jaka Robotics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jaka Robotics Ltd filed Critical Shanghai Jaka Robotics Ltd
Priority to CN202210604271.2A priority Critical patent/CN115063851A/zh
Publication of CN115063851A publication Critical patent/CN115063851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0045—Devices for taking samples of body liquids
    • A61B10/0051—Devices for taking samples of body liquids for taking saliva or sputum samples
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Hematology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种采样方法、采样装置及计算机可读取存储介质，涉及机器人检测技术领域。采样方法应用于采样装置，该方法包括：获取被测人员的嘴部图像；基于嘴部图像确定被测人员嘴部的张开尺寸；张开尺寸达到预设值，根据被测人员的口腔内部图像确定采样装置的采样端的采样位置。本申请能够对被测人员的嘴部张开尺寸进行检测，从而在嘴部张开尺寸达到采样条件时，根据张开的嘴部获取被测人员口腔内部图像并由其确定相应的采样位置。通过对嘴部张开尺寸的检测，无需多个被测人员在张嘴时共用张口器或咬合器对嘴部进行固定尺寸地张开，减少被测人员之间交叉感染的情况，降低核酸采样时感染的风险。

Description

采样方法、采样装置及计算机可读取存储介质
技术领域
本申请涉及机器人检测技术领域，具体而言，涉及一种采样方法、采样装置及计算机可读取存储介质。
背景技术
针对呼吸道病原体的检测，尤其是核酸检测，主要是查找患者的呼吸道标本，检测其中是否存在外来入侵的病毒的核酸，来确定是否被病毒感染。目前所采用的检测方式一般为人工检测或机器人检测，在进行人工采样时，目前的核酸检测过程中，由于检测量大，受检人员过多、成本等众多因素，容易造成医护人员和被测人员之间的交叉感染。
为了减小医护人员与被测人员之间的交叉感染现象，目前还有一些使用机器人进行核酸采样的方式，但是采样时，被测人员通常需要口含张口器或咬合器，若张口器或咬合器反复使用，则增大了检测时被测人员被感染的风险；若使用一次性张口器或咬口器，则提高了检测成本及造成资源浪费。
发明内容
有鉴于此，本申请实施例的目的在于提供一种采样方法、采样装置及计算机可读取存储介质，以改善现有技术中存在的采样时被测人员感染风险较大的问题。
为了解决上述问题，第一方面，本申请提供了一种采样方法，应用于采样装置，所述方法包括：
获取被测人员的嘴部图像；
基于所述嘴部图像确定被测人员嘴部的张开尺寸；
所述张开尺寸达到预设值，根据被测人员的口腔内部图像确定所述采样装置的采样端的采样位置。
在上述实现过程中，获取拍摄的被测人员相应的嘴部图像，从而能够对被测人员的嘴部进行精确地定位和状态识别，通过机器视觉算法在嘴部图像的基础上计算被测人员嘴部的张开尺寸，能够在张开尺寸达到预设值时，即被测人员嘴部张开至满足采样条件的大小时，根据张开的嘴部，获取被测人员口腔内部图像，并根据口腔内部图像确定相应的采样位置。在采样时，通过图像采集和计算即可对嘴部的张开尺寸进行检测，无需使用张口器或咬合器使被测人员张嘴至采样时所需的大小，从而减少张口器或咬合器带来的交叉感染情况，降低核酸采样时感染的风险，且提高了核酸检测时的卫生情况和被测人员对采样的接受程度。
可选地，所述获取被测人员的嘴部图像之前，所述方法还包括：
获取被测人员的脸部图像；
识别被测人员的所述脸部图像，得到脸部特征信息；
根据所述脸部特征信息确定与被测人员之间的距离信息；
根据所述脸部特征信息和所述距离信息，确定被测人员的嘴部位置；
控制所述采样端运动至所述嘴部位置。
在上述实现过程中，在确定被测人员的嘴部图像前，还可以先确定预采样时被测人员的脸部位置。以采集的脸部图像为基础，根据机器视觉算法、特征提取方法等多种算法对脸部图像进行识别，能够得到反应被测人员脸部情况的脸部特征信息，结合检测得到的采样端与被测人员之间的距离信息，能够对被测人员的头部以及嘴巴所在的空间位置进行定位，得到对应的嘴部位置，从而控制采样端运动至嘴部位置进行进一步地定位和识别。先对被测人员的嘴部位置进行提取和计算，以使采样端能够在嘴部位置进行引导后续采样时的操作，能够适应不同位置、不同高度的被测人员，根据各个被测人员的位置、高度、脸部具体情况进行适应性地调整，有效地提高了嘴部位置定位的准确性和效率。
可选地，所述基于所述嘴部图像确定被测人员嘴部的张开尺寸，包括：
提取所述嘴部图像中的多个特征点；
根据多个所述特征点，确定被测人员的嘴部轮廓信息和嘴唇距离信息；
根据所述嘴部轮廓信息和嘴唇距离信息，确定被测人员嘴部的所述张开尺寸。
在上述实现过程中，根据机器视觉等算法，对采样端运动至预采样的嘴部位置时采集的被测人员的嘴部图像进行进一步地定位和状态识别，能够从嘴部图像中提取得到多个特征点，从而根据多个特征点确定被测人员的嘴部轮廓信息，并计算得到被测人员上下嘴唇之间的距离信息。能够根据嘴部轮廓信息与嘴唇距离信息计算嘴部的张开尺寸，以确定被测人员是否将嘴部张开至采样所需的大小，无需使用张口器或咬合器将被测人员的嘴部固定张开。
可选地，所述基于所述嘴部图像确定被测人员嘴部的张开尺寸之后，所述方法还包括：
对所述张开尺寸与采样对应的所述预设值进行对比；
所述张开尺寸未达到所述预设值，根据所述张开尺寸生成提示信息，以供被测人员根据所述提示信息对嘴部的张开尺寸进行调整；
获取被测人员调整后的嘴部图像；
基于所述调整后的嘴部图像确定被测人员调整后的嘴部的张开尺寸，直至所述调整后的嘴部的张开尺寸达到所述预设值。
在上述实现过程中，为了使被测人员嘴部的张开尺寸能够达到满足采样条件时的预设值，可以将计算得到的目前的张开尺寸与采样时的预设值进行对比，在张开尺寸未达到预设值时，则表示被测人员嘴部张开程度较小，在此情况下对口腔内部图像进行采集时可能无法对口腔内部进行准确地定位。可以通过生成相应的提示信息对被测人员进行嘴部调整的引导，以引导被测人员继续张大嘴部，能够获取调整后的嘴部图像以确定调整后的嘴部张开尺寸，从而通过重复多次调整、采集和计算的步骤，直至当前的张开尺寸达到预设值。通过计算得到的张开尺寸进行比较和提示，能够对张开尺寸进行相应地调整，无需使用张口器或咬合器就能够使被测人员的嘴部张开至采样时所需的大小，有效地避免了使用张口器或咬合器时的交叉感染情况。
可选地，所述根据被测人员的口腔内部图像确定所述采样装置的采样端的采样位置，包括：
获取在被测人员的口腔内采集的所述口腔内部图像；
对所述口腔内部图像进行识别，确定被测人员口腔中多个器官的位置信息；
获取被测人员口腔中的深度信息；
根据所述位置信息和所述深度信息进行计算，确定所述采样端的所述采样位置。
在上述实现过程中，在张开尺寸达到预设值时，则表示被测人员的嘴部张开程度较大，采样端上的拍摄设备能够在张开的嘴部的情况下对被测人员的口腔内部的图像进行采集，从而在采集的口腔内部图像的基础上，通过机器学习等算法对出图像中口腔内部多个器官的位置进行定位，识别得到相应的位置信息，同时获取对口腔内部检测得到的深度信息，结合位置信息和深度信息，确定采样端进行咽拭子采样时对应的采样位置，有效地提高了采样位置的准确性和针对性。
可选地，所述方法还包括：
控制所述采样端运动至所述采样位置进行采样；
获取所述采样端采样时的力度数据；
基于所述力度数据对所述采样端的位姿进行调整，得到调整位姿；
控制所述采样端根据所述调整位姿进行采样。
在上述实现过程中，控制采样端携带采样棉签运动至采样位置进行采样时，通过获取对采样时的采样力度进行检测得到的力度数据，对采样端的位姿进行调整，以使采样端能够以调整位姿继续进行采样。能够对采样时的力度进行控制，使采样端的采样棉签与被测人员口腔内部的组织保持较为恒定的力接触，减少采样时力度过大对被测人员带来的不适感或受伤情况，提升被测人员的被测体验。
可选地，所述方法还包括：
获取采样时的采样数据；
根据获取的所述采样数据，计算所述采样端的采样进度；
对所述采样进度进行显示。
在上述实现过程中，在采样端的采样过程中，还可以对采样时反馈的采样数据进行采集，从而根据采样数据计算并显示采样时的采样进度。能够使医护人员或被测人员对采样的进度进行查看和了解，还能够确保每一次采样的完整性，从而提高采样得到的样品的有效性。
可选地，所述方法还包括：
在所述采样端在所述采样位置采样完成后，控制所述采样端运动至消毒装置中进行消毒。
在上述实现过程中，由于采样装置会对多个被测人员进行依次采样，为了减少被测人员之间交叉感染的情况，在每一次采样完成后，都控制采样端运动到消毒装置中进行消毒，从而减少下一次采样时采样端上携带病毒的可能性，保障了被测人员的生命安全。
第二方面，本申请还提供了一种采样装置，所述装置包括：处理器和采样端；
所述处理器，用于获取被测人员的嘴部图像，以基于所述嘴部图像确定被测人员嘴部的张开尺寸；
所述张开尺寸达到预设值，所述处理器，还用于根据被测人员的口腔内部图像确定所述采样端的采样位置；
所述采样端，用于运动至所述采样位置进行采样。
第三方面，本申请实施例还提供了一种计算机可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述采样方法中任一实现方式中的步骤。
综上所述，本申请提供了一种采样方法、采样装置及计算机可读取存储介质，在进行核酸采样时，通过图像采集和计算即可对嘴部张开尺寸进行检测，无需使用张口器或咬合器使被测人员张嘴至采样时所需的尺寸，从而减少张口器或咬合器带来的交叉感染情况，降低核酸采样时感染的风险，且提高了核酸检测时的卫生情况和被测人员对采样的接受程度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的第一种采样方法的流程示意图；
图2为本申请实施例提供的第二种采样方法的流程示意图；
图3为本申请实施例提供的一种步骤S400的详细流程示意图；
图4为本申请实施例提供的第三种采样方法的流程示意图；
图5为本申请实施例提供的一种步骤S600的详细流程示意图；
图6为本申请实施例提供的第四种采样方法的流程示意图；
图7为本申请实施例提供的第五种采样方法的流程示意图；
图8为本申请实施例提供的一种采样装置的结构示意图。
图标：900-采样装置；910-处理器；920-采样端。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请实施例的一部分实施例，而不是全部的实施例。基于本申请实施例的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。
在进行核酸检测时，人工检测通过医护人员手工操作，医护人员戴上手套、防护服等防护用品，手持棉签对被测人员进行采样。由于目前核酸采样的工作量较大，人工操作动作简单但是在多人采集期间需反复消毒，脱换手套，效率低，对医护人员以及防护用品的需求量较大。而部分地区，由于检测量大、受检人员过多以及成本等众多因素，医护人员不能做到每人一套防护用品，防护用品没有及时更换以及核酸检测位置特殊等原因，可能导致病毒以气溶胶的形式附着在手套上，容易造成医护人员和被测人员之间的交叉感染。
因此，为了减小医护人员与被测人员之间的交叉感染现象，目前还有一些使用机器人进行核酸采样的方式，但是采样时，被测人员通常需要口含张口器或咬合器，若张口器或咬合器反复使用，则增大了检测时被测人员被感染的风险；若使用一次性张口器或咬口器，则提高了检测成本及造成资源浪费。
为了解决上述问题，本申请提供了一种采样方法，请参阅图1，图1为本申请实施例提供的第一种采样方法的流程示意图，该方法可以包括步骤S200-S600。
步骤S200，获取被测人员的嘴部图像。
其中，可以通过采样装置中的拍摄设备对在嘴部位置对被测人员的嘴部进行拍摄，从而采集并获取相应的嘴部图像。采样装置的内部设置有处理器，处理器与拍摄设备电性连接，从而获取拍摄设备中采集得到的嘴部图像。
步骤S400，基于嘴部图像确定被测人员嘴部的张开尺寸。
其中，处理器能够基于机器视觉的多种算法，根据获取的嘴部图像对被测人员的嘴部进行精确地定位和状态识别，从而确定被测人员嘴部的张开尺寸。张开尺寸可以为被测人员嘴部张开的形状以及大小的尺寸。
可选地，机器视觉算法可以根据图像中像素的分布、亮度、颜色等信息，转变成数字化信号，并对这些信号进行多种处理和运算，从而提取图像中的特征，例如面积、数量、位置、长度等，再根据预设的允许度和其他条件输出计算结果，例如轮廓、位置、尺寸大小等。
步骤S600，张开尺寸达到预设值，根据被测人员的口腔内部图像确定采样装置的采样端的采样位置。
其中，嘴部图像和口腔内部图像可以为设置在采样端上的第一拍摄设备采集的图像，第一拍摄设备可以为像素较高、体积较小的微型相机，能够设置在采样端上，与采样端共享相同的视角，第一拍摄设备与采样端在空间上的位置相同，能够根据采样端的运动进行对应的移动。
可选地，预设值为满足采样条件的嘴部张开的尺寸值，在被测人员嘴部的张开尺寸达到预设值，即张开尺寸大于或等于预设值时，则表示此时被测人员的嘴部张开大小合适，因此可以通过第一拍摄设备在张开的嘴部的基础上，对被测人员的口腔内部进行拍摄，获取完整、清晰的口腔内部图像，并基于机器视觉算法对口腔内部图像进行计算，确定采样端进行采样时的采样位置。
可选地，采样端可以为采样装置中采样机器人的机械臂的末端，采样的机械臂可以为六轴机械臂或七轴机械臂，采样机器人可以包括一条或多条手臂，能够对多个被测人员同时进行检测。
可选地，采样端可以为多种类型的末端执行器，采样端上还可以包括夹取的采样棉签，采样位置为采样端的采样棉签与被测人员接触的位置，本申请提供的采样方式为咽拭子采样，采样位置一般为口腔内舌头根部以及上颚到扁桃体之间的位置区域。
值得说明的是，在采样端在采样位置采样完成后，控制采样端运动至消毒装置中进行消毒。
其中，由于采样装置会对多个被测人员进行依次采样，为了减少被测人员之间交叉感染的情况，采样装置中还可以包括消毒装置，例如消杀盒等装置。消毒装置可以设置在采样端的周围，以使机器人手臂采用酒精、紫外线的方式进行消毒，或采用酒精加紫外线的双重消毒方式，在每一次采样完成后，都控制采样端运动到消毒装置中进行消毒，有效地减少下一次采样时采样端上携带病毒的可能性，保障了被测人员的生命安全。并且，将消毒装置设置在采样端周围，能够减小机械臂的运动距离，从而减小消毒时所需的时间，提高消毒的效率和采样装置的能力损耗。
在图1所示的实施例中，通过对被测人员的嘴部进行图像采集和特征提取，能够对嘴部的张开尺寸进行计算，在张开尺寸满足采样条件时根据张开的嘴部对口腔内部的图像进行采集和特征提取，确定咽拭子采样时的采样位置。
可选地，请参阅图2，图2为本申请实施例提供的第二种采样方法的流程示意图，在步骤S200之前，该方法还可以包括步骤S110-S150。
步骤S110，获取被测人员的脸部图像。
其中，脸部图形可以为采样装置中的第二拍摄设备采集得到的图像。第二拍摄设备为全局的RGB-D深度相机，可以设置在采样装置的本体上，从而在固定的位置对被测人员的整体情况进行全局地拍摄和采集，脸部图像可以为相应的采集得到的RGB图像。第二拍摄设备与处理器电性连接，从而将采集的脸部图像传输给处理器进行处理。
步骤S120，识别被测人员的脸部图像，得到脸部特征信息。
其中，处理器基于机器视觉算法对脸部图像进行识别，从而提取得到被测人员的脸部特征信息。示例地，可以使用多种人脸特征提取方法进行特征提取，例如HOG(Histogram of Oriented Gradient，方向梯度直方图)、CNN(Convolutional NeuralNetworks，卷积神经网络)或Dlib(一种在C++中创建复杂软件以解决实际问题的机器学习算法和工具)等实现脸部特征点的提取算法；脸部特征信息可以包括从脸部的RGB图像中提取到的人脸上嘴角、上下嘴唇等多个位置的特征点。
步骤S130，根据脸部特征信息确定与被测人员之间的距离信息。
其中，由于第二拍摄设备可以为全局的深度相机，因此第二拍摄设备还具有测距功能，考虑到被测人员与采样装置的实际物理距离以及每个被测人员的高度都不相同，第二拍摄设备能够根据脸部特征信息中的多个脸部特征点计算出采样端与第二拍摄设备之间的距离信息，从而针对不同位置、不同高度的被测人员进行相应地计算和调整。
可选地，距离信息中可以包括第二拍摄设备与被测人员的头部或脸部之间的三维空间距离，包括水平方向上的实际物理距离和高度距离。
步骤S140，根据脸部特征信息和距离信息，确定被测人员的嘴部位置。
其中，处理器能够对获取的脸部特征信息以及距离信息进行计算，能够对被测人员的头部以及嘴巴所在的空间位置进行定位，得到对应的嘴部位置，从而以嘴部位置作为后续采样时的预采样位置。
可选地，嘴部位置为结合被测人员的脸部特征、脸部位置以及脸部高度确定的信息。本申请中确定嘴部位置的方式能够适应不同位置、不同高度的被测人员。
步骤S150，控制采样端运动至嘴部位置。
其中，处理器中可以根据嘴部位置对采样机器人的机械臂的运动路径进行规划，并将规划好的运动路径发送相应的控制指令给采样机器人，从而控制机械臂以运动路径进行运动，使采样端能够运动到嘴部位置进行后续的采样。
可选地，对机械臂进行路径规划时，可以选择无碰撞、路径最短的路径作为机械臂的运动路径。
在图2所示的实施例中，能够根据各个被测人员的位置、高度、脸部具体情况确定相应的嘴部位置，有效地提高了嘴部位置定位的准确性和效率。
可选地，请参阅图3，图3为本申请实施例提供的一种步骤S400的详细流程示意图，步骤S400中还可以包括步骤S410-S430。
步骤S410，提取嘴部图像中的多个特征点。
其中，处理器基于机器视觉算法，在获取的嘴部图像的基础上进行特征提取，对被测人员的嘴部就那些更加精确地定位和状态识别，提取得到嘴部图像中嘴部的多个特征点，包括嘴角的特征点以及嘴唇的特征点等。
步骤S420，根据多个特征点，确定被测人员的嘴部轮廓信息和嘴唇距离信息。
其中，处理器基于机器视觉算法，能够在嘴部的多个特征点的基础上，绘制出被测人员的嘴部轮廓信息，还能够对嘴角特征点之间的距离以及上下嘴唇特征点之间的距离进行计算，得到相应的嘴唇距离信息。
步骤S430，根据嘴部轮廓信息和嘴唇距离信息，确定被测人员嘴部的张开尺寸。
其中，处理器根据嘴部轮廓信息以及嘴唇距离信息计算嘴角特征点之间的距离与上下嘴唇特征点之间的距离的比值，从而根据该比值确定被测人员嘴部的张开尺寸。
可选地，还可以设置相应的开启阈值，在张开尺寸满足开启阈值，即张开尺寸大于或等于开启阈值时，则表示被测人员的嘴部张开，在张开尺寸不满足开启阈值，即张开尺寸小于开启阈值时，则表示被测人员的嘴部闭合。
在图3所示的实施例中，通过嘴部图像即可对被测人员的嘴部张开尺寸进行确定，无需使用张口器或咬合器将被测人员的嘴部固定张开。
可选地，请参阅图4，图4为本申请实施例提供的第三种采样方法的流程示意图，在步骤S400之后，该方法还可以包括步骤S510-S540。
步骤S510，对张开尺寸与采样对应的预设值进行对比。
其中，采样时的预设值为满足采样条件时的嘴部的张开尺寸，而采样条件即为在嘴部张开的情况下能够完整、清晰地采集口腔内部的图像。因此，可以将计算得到的张开尺寸与预设值进行对比，从而确定张开尺寸是否满足采样条件。
步骤S520，张开尺寸未达到预设值，根据张开尺寸生成提示信息；
其中，提示信息是供被测人员对嘴部的张开尺寸进行调整的信息。在张开尺寸达到预设值时，则表示被测人员的嘴部张开程度较大，可以对口腔内部的图像进行采集，在张开尺寸未达到预设值，即张开尺寸小于预设值时，则表示被测人员的嘴部张开程度较小，在此情况下对口腔内部图像进行采集时可能无法对口腔内部进行准确地定位。因此，在张开尺寸未达到预设值时，为了对被测人员的口腔内部图像进行完整、清楚地采集，可以生成相应的提示信息，并发送给采样装置中的语音播放设备，显示设备等设备，以语音、图像或视频的方式对提示信息进行对应的播放或展示，从而引导被测人员对嘴部的张开尺寸进行调整，在目前嘴部张开的情况下继续更大力度地张开嘴部。
步骤S530，获取被测人员调整后的嘴部图像。
其中，能够在被测人员对嘴部的开合就那些调整后，继续获取拍摄设备在嘴部位置采集的调整后的嘴部图像，并将其传输给处理器进行处理。
可选地，为了在被测人员对嘴部进行调整后继续获取调整后的嘴部图像，可以在采样装置中设置相应的拍摄按钮。在被测人员对嘴部进行调整后，通过与拍摄按钮的互动，对拍摄设备下发相应的拍摄指令，从而对被测人员的嘴部再次进行拍摄。也可以设定可调节的时间间隔，使拍摄装备能够根据时间间隔对被测人员的嘴部图像进行多次拍摄，并通过机器视觉算法对多张图像进行比较，以确定条周的嘴部图像。
步骤S540，基于调整后的嘴部图像确定被测人员调整后的嘴部的张开尺寸，直至调整后的嘴部的张开尺寸达到预设值。
其中，处理器能够对调整后的嘴部图像继续进行识别和计算，从而得到调整后的嘴部的张开尺寸。识别和计算的方式与图3所示的实施例中的相同，这里不再进行赘述。可以重复多次调整、采集和计算的步骤，直至当前的张开尺寸达到预设值，从而使张开尺寸能够满足采样条件进行后续的采样。
在图4所示的实施例中，通过计算得到的张开尺寸进行比较和提示，能够对张开尺寸进行相应地调整，无需使用张口器或咬合器就能够使被测人员的嘴部张开至采样时所需的大小，有效地避免了使用张口器或咬合器时的交叉感染情况。
可选地，请参阅图5，图5为本申请实施例提供的一种步骤S600的详细流程示意图，步骤S600中还可以包括步骤S610-S640。
步骤S610，获取在被测人员的口腔内采集的口腔内部图像。
其中，当被测人员嘴部的张开尺寸达到预设值时，则表示被测人员的嘴部张开程度较大，因此可以通过采样端上的第一拍摄设备根据被测人员张大的嘴部采集其中的口腔内部图像，并将采集得到的口腔内部图像传输给处理器进行处理。
步骤S620，对口腔内部图像进行识别，确定被测人员口腔中多个器官的位置信息。
其中，处理器能够基于机器学习算法对获取的口腔内部图像进行识别，从而对口腔内部中的多个器官进行定位，确定相应的位置信息。示例地，口腔内部中的多个器官可以包括舌头、悬雍垂、上颚、扁桃体、牙齿等器官。
步骤S630，获取被测人员口腔中的深度信息。
其中，为了在空间上进行定位，采样端上还可以设置相应的第一传感器，第一传感器可以为多种型号的测距传感器，能够在第一拍摄设备对口腔内部图像进行采集时，同步地检测被测人员口腔中的深度信息，深度信息中可以包含与各个器官之间的深度以及方向信息。
步骤S640，根据位置信息和深度信息进行计算，确定采样端的采样位置。
其中，处理器能够结合多个器官的位置信息以及口腔内部的深度信息，从平面角度和深度角度上确定空间上的采样位置，有效地提高了采样位置的准确性和针对性。
在图5所示的实施例中，对被测人员的口腔内部进行识别和检测，能够确定出合适的采样位置。
可选地，请参阅图6，图6为本申请实施例提供的第四种采样方法的流程示意图，该方法还可以包括步骤S710-740。
步骤S710，控制采样端运动至采样位置进行采样。
其中，处理器能够根据确定的采样位置规划采样端的运动路径，并根据运动路径发送对应的指令，从而控制采样端进行运动，以使采样端能够带着采样棉签运动到确定的采样位置处进行采样。
可选地，采样端进行采样时，能够根据预设的程序，模仿医护人员进行核酸检测时的手法，例如在采样位置进行平移和旋转三次、在采样位置来回扫掠三次等方式进行采样，可以根据实际情况和具体需求对采样端采样时的手法进行修改和调整。
步骤S720，获取采样端采样时的力度数据。
其中，考虑到机器人采样时，采样力度不稳定使被测人员受伤或者不适，因此采样端上还可以设置有第二传感器，第二传感器可以为多种型号的力传感器，能够在采样端进行采样时，对采样棉签与被测人员的口腔内组织之间的接触力度进行采集，并将采集得到的力度数据反馈给处理器进行处理。
步骤S730，基于力度数据对采样端的位姿进行调整，得到调整位姿。
其中，处理器能够根据力传感器实时反馈回来的力度数据，对采样端进行采样时的位姿进行调整。示例地，调整时可以将力度数据中的采样端接触力F和末端位姿变换X设定为一个映射关系φ，φ(F)＝X，例如，在采样端的Z方向力Fz受到的力大于预设的力值时，根据φ(F)＝X，可以在Z方向对采样端进行相反方向的移动，以减小Fz。能够根据各个角度中力度的情况对采样端的位姿进行相应的调整。
可选地，如果出现力度过大的情况，可以由控制停止采样端的采样过程，减少被测人员出现不适或受伤的情况。
步骤S740，控制采样端根据调整位姿进行采样。
其中，处理器能够控制采样端以调整位姿继续进行采样，从而使采样端的采样棉签与被测人员口腔内部的组织保持较为恒定的力接触。
在图6所示的实施例中，能够减少采样时力度过大对被测人员带来的不适感或受伤情况，提升被测人员的被测体验。
可选地，请参阅图7，图7为本申请实施例提供的第五种采样方法的流程示意图，该方法还可以包括步骤S810-S830。
步骤S810，获取采样时的采样数据。
其中，采样端在采样过程中，可以对采样时的采样数据进行采集和反馈，以供处理器进行相应的处理。
可选地，采样数据可以包括在采样位置实际扫掠过的路径与预设路径的比值、采样时各个角度的力是否在设定范围内等多种数据。
步骤S820，根据获取的采样数据，计算采样端的采样进度。
其中，处理器能够根据采样数据计算采样过程中已完成的采样进度，并以百分比的形式计算结果。例如，在采样数据中实际扫掠的路径为预设路径的二分之一，且采样时各个角度的力在设定范围内时，则采样进度为百分之五十。通过对采样进度进行计算，能够保证每一次采样时的完整性，防止因采样时间过短、采样力度较小或未在采样位置进行采样等多种情况造成的无效采样结果，从而人提高了采样得到的生物样品的有效性。
示例地，当时间较久但是采样进度低于预设的进度阈值时，则此次采样失败。
步骤S830，对采样进度进行显示。
其中，采样装置中还可以设置相应的显示设备，例如显示器、显示屏等多种设备，显示设备与处理器连接，能够实时地获取并显示计算得到的采样进度，以使医护人员或被测人员对采样的进度进行查看和了解。
可选地，为了使机器人与人员站立区隔离开，可以将采样装置设置在的壳体中，例如设置在采样方舱中，从而使采样装置与被测人员的站立区隔离开，可以只在采样过程中通过采样窗口进行采样，采样结束后关闭采样窗口，以减少病毒感染的情况。可以在采样进度达到百分百时，或者采样失败此时超过设定值时，对采样窗口进行关闭。
在图7所示的实施例中，通过对采样过程的进度进行计算和显示，能够提高采样时的有效性。
请参阅图8，图8为本申请实施例提供的一种采样装置的结构示意图，采样装置900可以包括：处理器910和采样端920；处理器910与采样端920电性连接；
处理器910，用于获取被测人员的嘴部图像，以基于嘴部图像确定被测人员嘴部的张开尺寸；
张开尺寸达到预设值，处理器910，还用于根据口腔内部图像确定采样端920的采样位置；
采样端920，用于运动至采样位置进行采样。
可选地，处理器910可能是一种集成电路芯片，具有信号的处理能力。上述的处理器910可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一可选的实施方式中，处理器910，还用于采集被测人员的脸部图像；识别获取的被测人员的脸部图像，得到脸部特征信息；根据脸部特征信息确定与被测人员之间的距离信息；根据脸部特征信息和距离信息，确定被测人员的嘴部位置；
处理器910，还用于控制采样端920运动至嘴部位置。
在一可选的实施方式中，处理器910，还用于获取被测人员的脸部图像；识别被测人员的脸部图像，得到脸部特征信息；根据脸部特征信息确定与被测人员之间的距离信息；根据脸部特征信息和距离信息，确定被测人员的嘴部位置；控制采样端920运动至嘴部位置。
在一可选的实施方式中，处理器910，还用于提取嘴部图像中的多个特征点；根据多个特征点，确定被测人员的嘴部轮廓信息和嘴唇距离信息；根据嘴部轮廓信息和嘴唇距离信息，确定被测人员嘴部的张开尺寸。
在一可选的实施方式中，处理器910，还用于对张开尺寸与采样对应的预设值进行对比；张开尺寸未达到预设值，根据张开尺寸生成提示信息，以供被测人员根据提示信息对嘴部的张开尺寸进行调整；获取被测人员调整后的嘴部图像；基于调整后的嘴部图像确定被测人员调整后的嘴部的张开尺寸，直至调整后的嘴部的张开尺寸达到预设值。
在一可选的实施方式中，处理器910，还用于获取在被测人员的口腔内采集的口腔内部图像；对口腔内部图像进行识别，确定被测人员口腔中多个器官的位置信息；获取被测人员口腔中的深度信息；根据位置信息和深度信息进行计算，确定采样端920的采样位置。
在一可选的实施方式中，处理器910，还用于控制采样端920运动至采样位置进行采样；获取采样端920采样时的力度数据；基于力度数据对采样端920的位姿进行调整，得到调整位姿；控制采样端920根据调整位姿进行采样。
在一可选的实施方式中，处理器910，还用于获取采样时的采样数据；根据获取的采样数据，计算采样端920的采样进度；
采样装置900中还可以包括显示设备，用于对采样进度进行显示。
在一可选的实施方式中，采样装置900中还可以包括消毒装置，在采样端920在采样位置采样完成后，处理器910，还用于控制采样端920运动920至消毒装置中进行消毒。
由于本申请实施例中的采样装置900解决问题的原理与前述的采样方法的实施例相似，因此本实施例中的采样装置900的实施可以参见上述采样方法的实施例中的描述，重复之处不再赘述。
本申请实施例还提供了一种计算机可读取存储介质，可读取存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本实施例提供的采样方法中任一项方法中的步骤。
综上所述，本申请实施例提供了一种采样方法、采样装置及计算机可读取存储介质，在进行核酸采样时，通过图像采集和计算即可对嘴部张开尺寸进行检测，无需使用张口器或咬合器使被测人员张嘴至采样时所需的大小，从而减少张口器或咬合器带来的交叉感染情况，降低核酸采样时感染的风险，且提高了核酸检测时的卫生情况和被测人员对采样的接受程度。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种采样方法，其特征在于，应用于采样装置，所述方法包括：
获取被测人员的嘴部图像；
基于所述嘴部图像确定被测人员嘴部的张开尺寸；
所述张开尺寸达到预设值，根据被测人员的口腔内部图像确定所述采样装置的采样端的采样位置。
2.根据权利要求1所述的方法，其特征在于，所述获取被测人员的嘴部图像之前，所述方法还包括：
获取被测人员的脸部图像；
识别被测人员的所述脸部图像，得到脸部特征信息；
根据所述脸部特征信息确定与被测人员之间的距离信息；
根据所述脸部特征信息和所述距离信息，确定被测人员的嘴部位置；
控制所述采样端运动至所述嘴部位置。
3.根据权利要求1所述的方法，其特征在于，所述基于所述嘴部图像确定被测人员嘴部的张开尺寸，包括：
提取所述嘴部图像中的多个特征点；
根据多个所述特征点，确定被测人员的嘴部轮廓信息和嘴唇距离信息；
根据所述嘴部轮廓信息和嘴唇距离信息，确定被测人员嘴部的所述张开尺寸。
4.根据权利要求1所述的方法，其特征在于，所述基于所述嘴部图像确定被测人员嘴部的张开尺寸之后，所述方法还包括：
对所述张开尺寸与采样对应的所述预设值进行对比；
所述张开尺寸未达到所述预设值，根据所述张开尺寸生成提示信息，以供被测人员根据所述提示信息对嘴部的张开尺寸进行调整；
获取被测人员调整后的嘴部图像；
基于所述调整后的嘴部图像确定被测人员调整后的嘴部的张开尺寸，直至所述调整后的嘴部的张开尺寸达到所述预设值。
5.根据权利要求1所述的方法，其特征在于，所述根据被测人员的口腔内部图像确定所述采样装置的采样端的采样位置，包括：
获取在被测人员的口腔内采集的所述口腔内部图像；
对所述口腔内部图像进行识别，确定被测人员口腔中多个器官的位置信息；
获取被测人员口腔中的深度信息；
根据所述位置信息和所述深度信息进行计算，确定所述采样端的所述采样位置。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
控制所述采样端运动至所述采样位置进行采样；
获取所述采样端采样时的力度数据；
基于所述力度数据对所述采样端的位姿进行调整，得到调整位姿；
控制所述采样端根据所述调整位姿进行采样。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取采样时的采样数据；
根据获取的所述采样数据，计算所述采样端的采样进度；
对所述采样进度进行显示。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述采样端在所述采样位置采样完成后，控制所述采样端运动至消毒装置中进行消毒。
9.一种采样装置，其特征在于，所述装置包括：处理器和采样端；
所述处理器，用于获取被测人员的嘴部图像，以基于所述嘴部图像确定被测人员嘴部的张开尺寸；
所述张开尺寸达到预设值，所述处理器，还用于根据被测人员的口腔内部图像确定所述采样端的采样位置；
所述采样端，用于运动至所述采样位置进行采样。
10.一种计算机可读取存储介质，其特征在于，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-8任一项所述方法中的步骤。
CN202210604271.2A 2022-05-30 2022-05-30 采样方法、采样装置及计算机可读取存储介质 Pending CN115063851A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210604271.2A CN115063851A (zh) 2022-05-30 2022-05-30 采样方法、采样装置及计算机可读取存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210604271.2A CN115063851A (zh) 2022-05-30 2022-05-30 采样方法、采样装置及计算机可读取存储介质

Publications (1)

Publication Number Publication Date
CN115063851A true CN115063851A (zh) 2022-09-16

Family

ID=83197713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210604271.2A Pending CN115063851A (zh) 2022-05-30 2022-05-30 采样方法、采样装置及计算机可读取存储介质

Country Status (1)

Country Link
CN (1) CN115063851A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116308149A (zh) * 2023-03-02 2023-06-23 无锡市第五人民医院 一种高灵敏度抗原检测的便捷监督管理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9693695B1 (en) * 2016-09-23 2017-07-04 International Business Machines Corporation Detecting oral temperature using thermal camera
CN107203734A (zh) * 2016-03-17 2017-09-26 掌赢信息科技（上海）有限公司 一种获取嘴部状态的方法及电子设备
CN112036217A (zh) * 2019-06-04 2020-12-04 初速度（苏州）科技有限公司 一种基于嘴部信息的人员状态检测方法及装置
CN112472148A (zh) * 2020-09-13 2021-03-12 张新语 一种核酸检测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203734A (zh) * 2016-03-17 2017-09-26 掌赢信息科技（上海）有限公司 一种获取嘴部状态的方法及电子设备
US9693695B1 (en) * 2016-09-23 2017-07-04 International Business Machines Corporation Detecting oral temperature using thermal camera
CN112036217A (zh) * 2019-06-04 2020-12-04 初速度（苏州）科技有限公司 一种基于嘴部信息的人员状态检测方法及装置
CN112472148A (zh) * 2020-09-13 2021-03-12 张新语 一种核酸检测装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116308149A (zh) * 2023-03-02 2023-06-23 无锡市第五人民医院 一种高灵敏度抗原检测的便捷监督管理方法及系统
CN116308149B (zh) * 2023-03-02 2024-05-24 无锡市第五人民医院 一种高灵敏度抗原检测的便捷监督管理方法及系统

Similar Documents

Publication Publication Date Title
EP3713446B1 (en) Handheld dental tracking device
WO2014112631A1 (ja) 動作情報処理装置及びプログラム
Gaber et al. Automated grading of facial paralysis using the Kinect v2: a proof of concept study
CN112472148A (zh) 一种核酸检测装置
CN115063851A (zh) 采样方法、采样装置及计算机可读取存储介质
JP2019208831A (ja) 歯科分析システムおよび歯科分析ｘ線システム
CN113130058A (zh) 手部卫生管理系统、方法、计算机设备及可读存储介质
CN112957041A (zh) 基于血管图像的采血机器人控制方法及装置
CN111798445B (zh) 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
Hoke et al. Using electromagnetic articulography to measure denture micromovement during chewing with and without denture adhesive
Coulson et al. Three-dimensional quantification of “still” points during normal facial movement
EP3909515A1 (en) A robot system arranged for autonomously obtaining biological surface samples from a patient
Pahl et al. Cervix detection using squared error subtraction
CN115137405A (zh) 自动化核酸检测车及核酸检测的采集方法
US20230329565A1 (en) Device and method for detecting the medical status of a person
JP7343470B2 (ja) 制御装置、制御方法、および制御プログラム
US20220096004A1 (en) System for visualizing patient stress
Cheng et al. Trajectory tracking control method of robotic intra-oral treatment
CN116690551A (zh) 基于视觉检测的咽拭子采样引导方法、装置和存储介质
CN109620414A (zh) 一种针对外科手术的机械抓手力反馈方法以及系统
JP7428683B2 (ja) 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム
JP7428634B2 (ja) 制御装置、制御方法、および制御プログラム
JP7509371B2 (ja) 推定装置、推定方法、および推定用プログラム
JP7496995B2 (ja) 推定装置、推定方法、および推定用プログラム
JP7296433B2 (ja) 医療行為中の消耗品のモニタリング方法及び医用画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Building 6, 646 Jianchuan Road, Minhang District, Shanghai 201100

Applicant after: Jieka Robot Co.,Ltd.

Address before: Building 6, 646 Jianchuan Road, Minhang District, Shanghai 201100

Applicant before: SHANGHAI JAKA ROBOTICS Ltd.

CB02 Change of applicant information