CN113143342A - 确定口腔采样部位的方法、采样机器人及计算机存储介质 - Google Patents

确定口腔采样部位的方法、采样机器人及计算机存储介质 Download PDF

Info

Publication number
CN113143342A
CN113143342A CN202110319652.1A CN202110319652A CN113143342A CN 113143342 A CN113143342 A CN 113143342A CN 202110319652 A CN202110319652 A CN 202110319652A CN 113143342 A CN113143342 A CN 113143342A
Authority
CN
China
Prior art keywords
coordinates
tonsil
coordinate value
measurement
oral cavity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110319652.1A
Other languages
English (en)
Other versions
CN113143342B (zh
Inventor
高庆
陈勇全
王启文
池楚亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Artificial Intelligence and Robotics
Chinese University of Hong Kong CUHK
Original Assignee
Shenzhen Institute of Artificial Intelligence and Robotics
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Artificial Intelligence and Robotics, Chinese University of Hong Kong CUHK filed Critical Shenzhen Institute of Artificial Intelligence and Robotics
Priority to CN202110319652.1A priority Critical patent/CN113143342B/zh
Publication of CN113143342A publication Critical patent/CN113143342A/zh
Application granted granted Critical
Publication of CN113143342B publication Critical patent/CN113143342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B2010/0216—Sampling brushes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例公开了一种确定口腔采样部位的方法、采样机器人及计算机存储介质，用于更加准确地确定口腔的采样部位的具体位置。本申请实施例包括：根据口腔三维空间模型表示的口腔部位之间的位置关系以及嘴部的测量坐标、咽后壁的测量坐标，估算扁桃体的预测坐标，并将扁桃体的预测坐标与扁桃体的测量坐标进行对比，根据对比结果确定待输出的扁桃体的坐标，从而当扁桃体的图像识别出错或者无法识别扁桃体的具体位置时，可以根据扁桃体的坐标的估算结果确定出更加准确的扁桃体的坐标，确保了扁桃体采样的准确性，提高了自动化咽拭子采样的安全性和可靠性。

Description

确定口腔采样部位的方法、采样机器人及计算机存储介质
技术领域
本申请实施例涉及机器人自动化领域，具体涉及一种确定口腔采样部位的方法、采样机器人及计算机存储介质。
背景技术
人体医学检测的一种具体检测手段是口腔检测，具体可以使用咽拭子对口腔内的某些采样部位进行采样。其中，机器人自动化咽拭子采样成为一种趋势，自动化咽拭子采样主要是对口腔的采样部位进行采样，例如对扁桃体、咽后壁等部位进行采样。机器人在采样过程中根据图像检测算法和图像分割算法识别和测量采样部位的具体位置，进而对识别到的采样部位进行采样。
但是，在实际操作中，由于扁桃体体积小，结构简单，特征少且边界不明显，这导致图像检测算法和图像分割算法难以准确地识别出扁桃体的具体位置，例如识别不到扁桃体的具体位置或者出现错误识别，从而影响口腔咽拭子的采样。
发明内容
本申请实施例提供了一种确定口腔采样部位的方法、采样机器人及计算机存储介质，用于更加准确地确定口腔的采样部位的具体位置。
本申请实施例第一方面提供了一种确定口腔采样部位的方法，所述方法应用于采样机器人，所述采样机器人包括摄像头；所述采样机器人用于对口腔中的扁桃体进行采样，所述摄像头用于采集口腔图像，所述口腔图像包括扁桃体、嘴部及咽后壁的图像；
所述方法包括：
在预先建立的口腔三维空间模型中根据所述摄像头采集到的口腔图像确定所述嘴部的测量坐标、所述咽后壁的测量坐标以及所述扁桃体的测量坐标；
根据所述口腔三维空间模型表示的口腔部位之间的位置关系以及所述嘴部的测量坐标、所述咽后壁的测量坐标，估算所述扁桃体的预测坐标；
将所述扁桃体的预测坐标与所述扁桃体的测量坐标进行对比，根据对比结果确定待输出的所述扁桃体的坐标。
本申请实施例第二方面提供了一种采样机器人，所述采样机器人包括摄像头；所述采样机器人用于对口腔中的扁桃体进行采样，所述摄像头用于采集口腔图像，所述口腔图像包括扁桃体、嘴部及咽后壁的图像；
所述采样机器人包括：
确定单元，用于在预先建立的口腔三维空间模型中根据所述摄像头采集到的口腔图像确定所述嘴部的测量坐标、所述咽后壁的测量坐标以及所述扁桃体的测量坐标；
估算单元，用于根据所述口腔三维空间模型表示的口腔部位之间的位置关系以及所述嘴部的测量坐标、所述咽后壁的测量坐标，估算所述扁桃体的预测坐标；
输出单元，用于将所述扁桃体的预测坐标与所述扁桃体的测量坐标进行对比，根据对比结果确定待输出的所述扁桃体的坐标。
本申请实施例第三方面提供了一种采样机器人，所述采样机器人包括摄像头；所述采样机器人用于对口腔中的扁桃体进行采样，所述摄像头用于采集口腔图像，所述口腔图像包括扁桃体、嘴部及咽后壁的图像；所述采样机器人包括：
处理器、存储器、总线、输入输出设备；
所述处理器与所述存储器、输入输出设备相连；
所述总线分别连接所述处理器、存储器以及输入输出设备；
所述处理器用于在预先建立的口腔三维空间模型中根据所述摄像头采集到的口腔图像确定所述嘴部的测量坐标、所述咽后壁的测量坐标以及所述扁桃体的测量坐标；根据所述口腔三维空间模型表示的口腔部位之间的位置关系以及所述嘴部的测量坐标、所述咽后壁的测量坐标，估算所述扁桃体的预测坐标；将所述扁桃体的预测坐标与所述扁桃体的测量坐标进行对比，根据对比结果确定待输出的所述扁桃体的坐标。
本申请实施例第四方面提供了一种计算机存储介质，计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，可以根据口腔三维空间模型表示的口腔部位之间的位置关系以及嘴部的测量坐标、咽后壁的测量坐标，估算扁桃体的预测坐标，并将扁桃体的预测坐标与扁桃体的测量坐标进行对比，根据对比结果确定待输出的扁桃体的坐标，从而当扁桃体的图像识别出错或者无法识别扁桃体的具体位置时，可以根据扁桃体的坐标的估算结果确定出更加准确的扁桃体的坐标，确保了扁桃体采样的准确性，提高了自动化咽拭子采样的安全性和可靠性。
附图说明
图1为本申请实施例中采样机器人的结构示意图；
图2为本申请实施例中采样机器人一个组件的局部放大示意图；
图3为本申请实施例中确定口腔采样部位的方法一个流程示意图；
图4为本申请实施例中确定口腔采样部位的方法另一流程示意图；
图5为本申请实施例中口腔三维空间模型的一种结构示意图；
图6为本申请实施例中采样机器人一个结构示意图；
图7为本申请实施例中采样机器人另一结构示意图。
具体实施方式
本申请实施例提供了一种确定口腔采样部位的方法、采样机器人及计算机存储介质，用于更加准确地确定口腔的采样部位的具体位置。
请参阅图1及图2，其中图2为图1所示的采样机器人结构中组件10的局部放大示意图，本申请实施例中采样机器人的结构包括：
本申请实施例中，采样机器人可用于对目标物体的采样部位进行自动化采样，例如在咽拭子口腔采样过程中对扁桃体进行采样，该扁桃体可以是左扁桃体和/或右扁桃体。其中，组件10的组成包括采样部件101、夹持装置103等，夹持装置103用于夹持采样部件101以提供采样部件101的运动支撑点，采样部件101用于对采样部位进行采样。在具体的应用场景中，采样部件101的末端可连接采样材料102，在采样机器人的控制下，采样部件101带动采样材料102对采样部位进行擦拭以采集采样部位的待检测样本，该采样材料102可以是棉签、拭子等采样材料。
其中，采样部件101可以由柔性材料制成，从而使得采样部件101在擦拭采样部位时受到外界的作用力而产生一定程度的形变，以避免对采样部位造成损伤。柔性材料具体可以是弹性树脂、橡胶等材料。
夹持装置103可以是任意的能够为采样部件101提供运动支撑点的装置，具体的，夹持装置103可以是直线电机(linear motor)等装置。
本申请实施例的采样机器人还包括摄像头105，摄像头105用于采集采样部位的图像，以便于采样机器人根据该图像控制采样部件的采样轨迹和运动过程。优选的，摄像头105可以是深度相机。与普通相机相比，普通的彩色相机所拍摄到的图像仅能看到相机视角内的所有物体，但是图像所记录的数据不包含这些物体与相机的距离，而深度相机则恰恰解决了该问题，通过深度相机获取到的图像，能准确知道图像中每个点与摄像头的距离，再加上每一点在2D图像中的坐标，就能获取图像中每个点的三维坐标，通过三维坐标就能还原真实场景，实现场景建模等应用。本申请实施例正是利用深度相机的特性，根据多组人体口腔样本的结构建立口腔的三维空间模型。
当采样部位的光照条件不足以使摄像头105采集到清晰的图像时，本申请实施例的采样机器人还可配置光照装置104，光照装置104发出的光线照射采样部位，从而改善采样部位的光照条件，提高摄像头105采集图像的清晰度。优选的，光照装置104可由LED灯等光源材料组成。
除上述的各个部件之外，采样机器人还包括用于输出各种运动指令的中央处理器，中央处理器可执行数据计算、数据处理和数据分析等任务。
下面结合图1及图2的采样机器人结构，对本申请实施例中采样机器人所执行的确定口腔采样部位的方法进行描述：
请参阅图3，本申请实施例中确定口腔采样部位的方法一个实施例包括：
301、在预先建立的口腔三维空间模型中根据摄像头采集到的口腔图像确定嘴部的测量坐标、咽后壁的测量坐标以及扁桃体的测量坐标；
本实施例中，根据多组人体口腔样本的结构构建口腔三维空间模型，该口腔三维空间模型描述了各个口腔部位之间在三维空间上的位置关系。具体的，可基于神经网络算法、遗传算法、拟合算法等建立口腔三维空间模型。其中，多组人体口腔样本可以是不同年龄段、不同性别人群的口腔样本。
摄像头可以是深度相机，则摄像头采集到的口腔图像为深度图像，因此口腔图像还记录了口腔部位到摄像头的距离，根据口腔图像可以计算得到各个口腔部位在口腔三维空间模型中的坐标。其中口腔部位包括嘴部、咽后壁以及扁桃体等部位。
302、根据口腔三维空间模型表示的口腔部位之间的位置关系以及嘴部的测量坐标、咽后壁的测量坐标，估算扁桃体的预测坐标；
303、将扁桃体的预测坐标与扁桃体的测量坐标进行对比，根据对比结果确定待输出的扁桃体的坐标；
在采样机器人的工作过程中，由于嘴部和咽后壁的面积相对较大，轮廓清晰，特征较明显，因此嘴部和咽后壁的图像识别率更高，可以准确计算出嘴部和咽后壁的测量坐标，在实际采样过程中可以直接使用该测量坐标。而相反地，扁桃体由于其体积小，结构简单，特征少且边界不明显，导致图像检测算法和图像分割算法难以准确地识别出扁桃体的具体位置，难以准确识别出扁桃体的具体位置，甚至识别不出扁桃体，因此，计算得到的扁桃体的测量坐标可能会存在较大的误差，若采样机器人直接根据该测量坐标进行采样，可能会采集到错误的样本，进而导致口腔咽拭子样本的检测结果不准确。因此，需要对计算得到的扁桃体的测量坐标进行验证，以确定其是否可以应用于扁桃体的采样过程。
在根据口腔图像计算得到各个口腔部位的测量坐标之后，由于口腔三维空间模型表示了各个口腔部位之间的位置关系，因此，可以根据该口腔三维空间模型表示的口腔部位之间的位置关系以及嘴部的测量坐标、咽后壁的测量坐标，估算出该扁桃体的预测坐标。
为验证该扁桃体的测量坐标的准确性，本实施例中，将该扁桃体的预测坐标与该扁桃体的测量坐标进行对比，并根据对比结果确定待输出的该扁桃体的坐标，即对比结果显示该扁桃体的测量坐标更加准确可信，则确定该扁桃体的测量坐标为待输出的该扁桃体的坐标；反之，若对比结果显示该扁桃体的预测坐标更加准确可信，则确定该扁桃体的预测坐标为待输出的该扁桃体的坐标。其中，待输出的该扁桃体的坐标是指在该扁桃体的采样过程中，输出到运动轨迹计算中的该扁桃体的坐标，即采样机器人在对该扁桃体执行采样操作时所依据的该扁桃体的坐标，采样机器人依据输出的该扁桃体的坐标计算执行采样操作时的运动轨迹。
因此，本实施例中，可以根据口腔三维空间模型表示的口腔部位之间的位置关系以及嘴部的测量坐标、咽后壁的测量坐标，估算扁桃体的预测坐标，并将扁桃体的预测坐标与扁桃体的测量坐标进行对比，根据对比结果确定待输出的扁桃体的坐标，从而当扁桃体的图像识别出错或者无法识别扁桃体的具体位置时，可以根据扁桃体的坐标的估算结果确定出更加准确的扁桃体的坐标，确保了扁桃体采样的准确性，提高了自动化咽拭子采样的安全性和可靠性。
下面将在前述图3所示实施例的基础上，进一步详细地描述本申请实施例。请参阅图4，本申请实施例中确定口腔采样部位的方法另一实施例包括：
401、在预先建立的口腔三维空间模型中根据摄像头采集到的口腔图像确定嘴部的测量坐标、咽后壁的测量坐标以及扁桃体的测量坐标；
本实施例中，口腔图像为深度图像，深度图像不仅记录了口腔部位的图像的RGB三通道信息，还记录了口腔部位到摄像头的距离这一深度信息。在根据口腔图像计算各个口腔部位的测量坐标时，可以根据图像检测算法、图像分割算法等算法计算各个口腔部位的测量坐标。
口腔三维空间模型基于三维坐标系进行构建，即口腔三维空间模型中的各个口腔部位均可以通过三维坐标来表示其具体位置。作为举例，图5示出了一种口腔三维空间模型的示意图，如图所示，l_tonsil、r_tonsil、pp_wall、mouth分别指代左扁桃体、右扁桃体、咽后壁和嘴，lplt、lprt、lmlt、lmrt和lpm分别为各个口腔部位之间的距离。可以看出，口腔三维空间模型建立在三维坐标系中，口腔三维空间模型中的各个口腔部位均可以通过三维坐标来表示具体位置。各个口腔部位的测量坐标可以使用图像检测算法、图像分割算法等算法对口腔图像进行计算而获得，同时，各个口腔部位之间的距离也可以根据口腔部位的测量坐标计算得到。
例如，可以根据咽后壁的测量坐标以及扁桃体的测量坐标计算扁桃体至咽后壁之间的距离lpt，其计算公式为：
Figure BDA0002992593340000061
其中，px-测量、py-测量、pz-测量分别表示咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；tx-测量、ty-测量、tz-测量分别表示扁桃体的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值。
因此，当该扁桃体为右扁桃体时，可计算出右扁桃体至咽后壁的距离lprt；当该扁桃体为左扁桃体时，可计算出左扁桃体至咽后壁的距离lplt。
同理，可以根据嘴部的测量坐标以及扁桃体的测量坐标计算扁桃体至嘴部之间的距离lmt，其计算公式为：
Figure BDA0002992593340000062
其中，mx-测量、my-测量、mz-测量分别表示嘴部的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值。
因此，当该扁桃体为右扁桃体时，可计算出右扁桃体至嘴部的距离lmrt；当该扁桃体为左扁桃体时，可计算出左扁桃体至嘴部的距离lmlt。
同理，可以根据咽后壁的测量坐标和嘴部的测量坐标计算得到咽后壁至嘴部的距离lpm。
402、根据口腔三维空间模型表示的口腔部位之间的位置关系以及嘴部的测量坐标、咽后壁的测量坐标，估算扁桃体的预测坐标；
本实施例中，口腔三维空间模型所表示的各个口腔部位之间的位置关系，可以通过函数表达式来描述和表示该位置关系，即该位置关系可以用各个口腔部位的坐标之间的函数关系来表示。其中，该函数关系的表达式有多种表示形式，因此，根据口腔部位之间的位置关系估算扁桃体的预测坐标也就有多种方式。
在一种实施方式中，口腔三维空间模型表示的口腔部位之间的位置关系，其函数表达式可以是：
Figure BDA0002992593340000071
其中，tx、ty、tz分别为扁桃体的预测坐标的x轴坐标值、y轴坐标值以及z轴坐标值；px、py、pz分别为咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；
Figure BDA0002992593340000072
my、mz分别为嘴部的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；
Δ为一元二次方程
Figure BDA0002992593340000073
的根的判别式。
其中，上述一元二次方程可由以下等式推导而得：
等式1：(px-tx)2+(py-ty)2+(pz-tz)2＝lpt 2；
等式2：(mx-tx)2+(my-ty)2+(mz-tz)2＝lmt 2；
等式3：ty＝py；
其中，假设采样机器人的摄像头与人脸均保持水平，则扁桃体的预测坐标的y轴坐标值可以视为与咽后壁的测量坐标的y轴坐标值相等，从而得到等式3。
具体推导过程为，等式1减等式2，并代入等式3，得到等式4：
Figure BDA0002992593340000081
对等式4进行变换，得到等式5：
Figure BDA0002992593340000082
等式5的等号两边同时除以2(mx-px)，使等式5转化为tx与tz之间的函数关系，得到等式6：
tx＝A·tz+B；
其中，
Figure BDA0002992593340000083
将等式6代入到等式1，即将等式1中的tx转换为包含tz的值，得到等式7：
[(px-B)-A·tz]2+(pz-tz)2＝lpt 2；
对等式7进行展开，即得到上述的一元二次方程，该一元二次方程为关于未知数tz的一元二次方程。
进一步地，该一元二次方程的根的判别式为：
Figure BDA0002992593340000084
则根据该根的判别式对该一元二次方程进行求解，可以求得该一元二次方程的解(根)为：
Figure BDA0002992593340000085
进一步地，可以根据等式6计算得到tx的值。
因此，根据上述的表达式1，可以估算得到扁桃体的预测坐标的x轴坐标值tx、y轴坐标值ty以及z轴坐标值tz。
在另一实施方式中，口腔三维空间模型表示的口腔部位之间的位置关系，其函数表达式还可以是：
tz＝a(px-mx)+b·px+c·mx+e·pz+f·mz、ty＝py、tx＝g(pz-mz)+h·px+i·mx(以下称表达式2)；
其中，px、py、pz分别为咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；mx、mz分别为嘴部的测量坐标的x轴坐标值以及z轴坐标值；
参数a、b、c、d、e、f、g、h、i的值分别由拟合算法拟合扁桃体样本的坐标与咽后壁样本的坐标及嘴部样本的坐标之间的函数关系而获得，即采集多个扁桃体样本的坐标、多个咽后壁样本的坐标以及多个嘴部样本的坐标，每个个体的扁桃体样本的坐标、咽后壁样本的坐标及嘴部样本的坐标构成一组训练样本，通过拟合算法对多组训练样本进行拟合，拟合出扁桃体的坐标与咽后壁的坐标及嘴部的坐标之间的函数关系，参数a、b、c、d、e、f、g、h、i即为该函数关系的表达式中的一系列参数。其中，拟合算法具体可以是神经网络算法、线性回归算法、逻辑回归算法、朴素贝叶斯算法、k-近邻算法(K-Nearest Neighbors，KNN)、随机森林算法(Random Forest)等拟合算法。
因此，根据上述的表达式2，可以估算得到扁桃体的预测坐标的x轴坐标值tx、y轴坐标值ty以及z轴坐标值tz。
403、将扁桃体的预测坐标与扁桃体的测量坐标进行对比，根据对比结果确定待输出的扁桃体的坐标；
本实施例中，可以预设扁桃体的预测坐标与扁桃体的测量坐标之间的差异值的阈值范围，当扁桃体的预测坐标与扁桃体的测量坐标之间的差异值在预设阈值范围内时，确定扁桃体的测量坐标为待输出的扁桃体的坐标；当该差异值不在预设阈值范围内时，则确定扁桃体的预测坐标为待输出的扁桃体的坐标。
本实施例中，嘴部具体可以是口腔中的多个部位，例如可以是嘴唇上的某个部位，或者是口腔打开之后，口腔中除了咽后壁及扁桃体以外的其他部位。优选的，嘴部可以是口腔打开之后，嘴唇内表面与牙齿之间的平面的一个中心点。
口腔三维空间模型中的x轴方向、y轴方向及z轴方向可以是任意的方向。优选的，在一种实施方式中，口腔三维空间模型的x轴的方向为人脸所在平面的横轴所对应的方向、y轴的方向为人脸所在平面的纵轴所对应的方向、z轴的方向为扁桃体至摄像头之间的距离所对应的方向。
本实施例提供了多种估算扁桃体的预测坐标的实施方式，这多种实施方式均充分利用了图像检测和图像分割所计算得到的有限信息来估算扁桃体的预测坐标，弥补了对采样部位的图像检测识别的不足，提高采样部位识别的准确性和可靠性。
上面对本申请实施例中的确定口腔采样部位的方法进行了描述，下面对本申请实施例中的采样机器人进行描述，请参阅图6，本申请实施例中采样机器人一个实施例包括：
采样机器人包括摄像头；采样机器人用于对口腔中的扁桃体进行采样，摄像头用于采集口腔图像，口腔图像包括扁桃体、嘴部及咽后壁的图像；
采样机器人包括：
确定单元601，用于在预先建立的口腔三维空间模型中根据摄像头采集到的口腔图像确定嘴部的测量坐标、咽后壁的测量坐标以及扁桃体的测量坐标；
估算单元602，用于根据口腔三维空间模型表示的口腔部位之间的位置关系以及嘴部的测量坐标、咽后壁的测量坐标，估算扁桃体的预测坐标；
输出单元603，用于将扁桃体的预测坐标与扁桃体的测量坐标进行对比，根据对比结果确定待输出的扁桃体的坐标。
本实施例一种优选的实施方式中，估算单元602具体用于：
根据咽后壁的测量坐标以及扁桃体的测量坐标计算扁桃体至咽后壁之间的距离lpt，根据嘴部的测量坐标以及扁桃体的测量坐标计算扁桃体至嘴部之间的距离lmt；
根据位置关系的表达式
Figure BDA0002992593340000101
tx＝A·tz+B、ty＝py估算扁桃体的坐标，获得扁桃体的预测坐标的x轴坐标值tx、y轴坐标值ty以及z轴坐标值tz；
其中，px、py、pz分别为咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；
Figure BDA0002992593340000102
且
Figure BDA0002992593340000103
其中，mx、my、mz分别为嘴部的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；
Δ为一元二次方程
Figure BDA0002992593340000104
的根的判别式。
本实施例一种优选的实施方式中，估算单元602具体用于：
根据位置关系的表达式tz＝a(px-mx)+b·px+c·mx+e·pz+f·mz、ty＝py、tx＝g(pz-mz)+h·px+i·mx估算扁桃体的坐标，获得扁桃体的预测坐标的x轴坐标值tx、y轴坐标值ty以及z轴坐标值tz；
其中，px、py、pz分别为咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；mx、mz分别为嘴部的测量坐标的x轴坐标值以及z轴坐标值；
参数a、b、c、d、e、f、g、h、i的值分别由拟合算法拟合扁桃体样本的坐标与咽后壁样本的坐标及嘴部样本的坐标之间的函数关系而获得。
本实施例一种优选的实施方式中，输出单元603具体用于当扁桃体的预测坐标与扁桃体的测量坐标之间的差异值在预设阈值范围内时，确定扁桃体的测量坐标为待输出的扁桃体的坐标；当差异值不在预设阈值范围内时，确定扁桃体的预测坐标为待输出的扁桃体的坐标。
本实施例一种优选的实施方式中，口腔三维空间模型的x轴的方向为人脸所在平面的横轴所对应的方向、y轴的方向为人脸所在平面的纵轴所对应的方向、z轴的方向为扁桃体至摄像头之间的距离所对应的方向。
本实施例中，采样机器人中各单元所执行的操作与前述图3至图4所示实施例中描述的类似，此处不再赘述。
本实施例中，估算单元602可以根据口腔三维空间模型表示的口腔部位之间的位置关系以及嘴部的测量坐标、咽后壁的测量坐标，估算扁桃体的预测坐标，输出单元603将扁桃体的预测坐标与扁桃体的测量坐标进行对比，根据对比结果确定待输出的扁桃体的坐标，从而当扁桃体的图像识别出错或者无法识别扁桃体的具体位置时，可以根据扁桃体的坐标的估算结果确定出更加准确的扁桃体的坐标，确保了扁桃体采样的准确性，提高了自动化咽拭子采样的安全性和可靠性。
下面对本申请实施例中的采样机器人进行描述，请参阅图7，本申请实施例中采样机器人一个实施例包括：
该采样机器人700可以包括一个或一个以上中央处理器(central processingunits，CPU)701和存储器705，该存储器705中存储有一个或一个以上的应用程序或数据。
其中，存储器705可以是易失性存储或持久存储。存储在存储器705的程序可以包括一个或一个以上模块，每个模块可以包括对采样机器人中的一系列指令操作。更进一步地，中央处理器701可以设置为与存储器705通信，在采样机器人700上执行存储器705中的一系列指令操作。
采样机器人700还可以包括一个或一个以上电源702，一个或一个以上有线或无线网络接口703，一个或一个以上输入输出接口704，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器701可以执行前述图3至图4所示实施例中采样机器人所执行的操作，具体此处不再赘述。
本申请实施例还提供了一种计算机存储介质，其中一个实施例包括：该计算机存储介质中存储有指令，该指令在计算机上执行时，使得该计算机执行前述图3至图4所示实施例中采样机器人所执行的操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种确定口腔采样部位的方法，其特征在于，所述方法应用于采样机器人，所述采样机器人包括摄像头；所述采样机器人用于对口腔中的扁桃体进行采样，所述摄像头用于采集口腔图像，所述口腔图像包括扁桃体、嘴部及咽后壁的图像；
所述方法包括：
在预先建立的口腔三维空间模型中根据所述摄像头采集到的口腔图像确定所述嘴部的测量坐标、所述咽后壁的测量坐标以及所述扁桃体的测量坐标；
根据所述口腔三维空间模型表示的口腔部位之间的位置关系以及所述嘴部的测量坐标、所述咽后壁的测量坐标，估算所述扁桃体的预测坐标；
将所述扁桃体的预测坐标与所述扁桃体的测量坐标进行对比，根据对比结果确定待输出的所述扁桃体的坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述口腔三维空间模型表示的口腔部位之间的位置关系以及所述嘴部的测量坐标、所述咽后壁的测量坐标，估算所述扁桃体的预测坐标，包括：
根据所述咽后壁的测量坐标以及所述扁桃体的测量坐标计算所述扁桃体至所述咽后壁之间的距离lpt，根据所述嘴部的测量坐标以及所述扁桃体的测量坐标计算所述扁桃体至所述嘴部之间的距离lmt；
根据所述位置关系的表达式
Figure FDA0002992593330000011
tx＝A·tz+B、ty＝py估算所述扁桃体的坐标，获得所述扁桃体的预测坐标的x轴坐标值tx、y轴坐标值ty以及z轴坐标值tz；
其中，px、py、pz分别为所述咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；
Figure FDA0002992593330000012
且
Figure FDA0002992593330000013
其中，mx、my、mz分别为所述嘴部的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；
Δ为一元二次方程
Figure FDA0002992593330000014
的根的判别式。
3.根据权利要求1所述的方法，其特征在于，所述根据所述口腔三维空间模型表示的口腔部位之间的位置关系以及所述嘴部的测量坐标、所述咽后壁的测量坐标，估算所述扁桃体的预测坐标，包括：
根据所述位置关系的表达式tz＝a(px-mx)+b·px+c·mx+e·pz+f·mz、ty＝py、tx＝g(pz-mz)+h·px+i·mx估算所述扁桃体的坐标，获得所述扁桃体的预测坐标的x轴坐标值tx、y轴坐标值ty以及z轴坐标值tz；
其中，px、py、pz分别为所述咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；mx、mz分别为所述嘴部的测量坐标的x轴坐标值以及z轴坐标值；
参数a、b、c、d、e、f、g、h、i的值分别由拟合算法拟合扁桃体样本的坐标与咽后壁样本的坐标及嘴部样本的坐标之间的函数关系而获得。
4.根据权利要求1所述的方法，其特征在于，所述根据对比结果确定待输出的所述扁桃体的坐标，包括：
当所述扁桃体的预测坐标与所述扁桃体的测量坐标之间的差异值在预设阈值范围内时，确定所述扁桃体的测量坐标为所述待输出的所述扁桃体的坐标；
当所述差异值不在所述预设阈值范围内时，确定所述扁桃体的预测坐标为所述待输出的所述扁桃体的坐标。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述口腔三维空间模型的x轴的方向为人脸所在平面的横轴所对应的方向、y轴的方向为人脸所在平面的纵轴所对应的方向、z轴的方向为所述扁桃体至所述摄像头之间的距离所对应的方向。
6.一种采样机器人，其特征在于，所述采样机器人包括摄像头；所述采样机器人用于对口腔中的扁桃体进行采样，所述摄像头用于采集口腔图像，所述口腔图像包括扁桃体、嘴部及咽后壁的图像；
所述采样机器人包括：
确定单元，用于在预先建立的口腔三维空间模型中根据所述摄像头采集到的口腔图像确定所述嘴部的测量坐标、所述咽后壁的测量坐标以及所述扁桃体的测量坐标；
估算单元，用于根据所述口腔三维空间模型表示的口腔部位之间的位置关系以及所述嘴部的测量坐标、所述咽后壁的测量坐标，估算所述扁桃体的预测坐标；
输出单元，用于将所述扁桃体的预测坐标与所述扁桃体的测量坐标进行对比，根据对比结果确定待输出的所述扁桃体的坐标。
7.根据权利要求6所述的采样机器人，其特征在于，所述估算单元具体用于：
根据所述咽后壁的测量坐标以及所述扁桃体的测量坐标计算所述扁桃体至所述咽后壁之间的距离lpt，根据所述嘴部的测量坐标以及所述扁桃体的测量坐标计算所述扁桃体至所述嘴部之间的距离lmt；
根据所述位置关系的表达式
Figure FDA0002992593330000031
tx＝A·tz+B、ty＝py估算所述扁桃体的坐标，获得所述扁桃体的预测坐标的x轴坐标值tx、y轴坐标值ty以及z轴坐标值tz；
其中，px、py、pz分别为所述咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；
Figure FDA0002992593330000032
且
Figure FDA0002992593330000033
其中，mx、my、mz分别为所述嘴部的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；
Δ为一元二次方程(A2+1)tz 2-2[A(px-B)+pz]tz+[(px-B)2+pz 2-lpt 2]＝0的根的判别式。
8.根据权利要求6所述的采样机器人，其特征在于，所述估算单元具体用于：
根据所述位置关系的表达式tz＝a(px-mx)+b·px+c·mx+e·pz+f·mz、ty＝py、tx＝g(pz-mz)+h·px+i·mx估算所述扁桃体的坐标，获得所述扁桃体的预测坐标的x轴坐标值tx、y轴坐标值ty以及z轴坐标值tz；
其中，px、py、pz分别为所述咽后壁的测量坐标的x轴坐标值、y轴坐标值以及z轴坐标值；mx、mz分别为所述嘴部的测量坐标的x轴坐标值以及z轴坐标值；
参数a、b、c、d、e、f、g、h、i的值分别由拟合算法拟合扁桃体样本的坐标与咽后壁样本的坐标及嘴部样本的坐标之间的函数关系而获得。
9.一种采样机器人，其特征在于，所述采样机器人包括摄像头；所述采样机器人用于对口腔中的扁桃体进行采样，所述摄像头用于采集口腔图像，所述口腔图像包括扁桃体、嘴部及咽后壁的图像；所述采样机器人包括：
处理器、存储器、总线、输入输出设备；
所述处理器与所述存储器、输入输出设备相连；
所述总线分别连接所述处理器、存储器以及输入输出设备；
所述处理器用于在预先建立的口腔三维空间模型中根据所述摄像头采集到的口腔图像确定所述嘴部的测量坐标、所述咽后壁的测量坐标以及所述扁桃体的测量坐标；根据所述口腔三维空间模型表示的口腔部位之间的位置关系以及所述嘴部的测量坐标、所述咽后壁的测量坐标，估算所述扁桃体的预测坐标；将所述扁桃体的预测坐标与所述扁桃体的测量坐标进行对比，根据对比结果确定待输出的所述扁桃体的坐标。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求1至5中任一项所述的方法。
CN202110319652.1A 2021-03-25 2021-03-25 确定口腔采样部位的方法、采样机器人及计算机存储介质 Active CN113143342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110319652.1A CN113143342B (zh) 2021-03-25 2021-03-25 确定口腔采样部位的方法、采样机器人及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110319652.1A CN113143342B (zh) 2021-03-25 2021-03-25 确定口腔采样部位的方法、采样机器人及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113143342A true CN113143342A (zh) 2021-07-23
CN113143342B CN113143342B (zh) 2024-06-21

Family

ID=76884667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110319652.1A Active CN113143342B (zh) 2021-03-25 2021-03-25 确定口腔采样部位的方法、采样机器人及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113143342B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113693636A (zh) * 2021-08-30 2021-11-26 南方科技大学 采样方法、采样系统及存储介质
CN113842172A (zh) * 2021-09-29 2021-12-28 北京清智图灵科技有限公司 基于模板匹配与算数平均的咽后壁视触识别装置
CN113855087A (zh) * 2021-09-29 2021-12-31 清华大学 一种便携自助式口咽拭子采样机器人
CN114916964A (zh) * 2022-07-14 2022-08-19 河南科技学院 一种咽拭子采样有效性检测方法及自助式咽拭子采样方法
CN115337044A (zh) * 2022-07-18 2022-11-15 深圳市安保数字感控科技有限公司 核酸采样监测方法、装置、系统与计算机可读存储介质
CN116109982A (zh) * 2023-02-16 2023-05-12 哈尔滨星云智造科技有限公司 一种基于人工智能的生物样本采集有效性检验方法
CN116476041A (zh) * 2022-12-28 2023-07-25 深圳市人工智能与机器人研究院 一种核酸采样机器人的力位混合控制方法及机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1164381A (zh) * 1997-04-04 1997-11-12 华南理工大学 视网膜血管管径形变智能化测定系统及其测定方法
US20160158534A1 (en) * 2014-12-03 2016-06-09 Neurohabilitation Corporation Devices for Delivering Non-Invasive Neuromodulation to a Patient
KR20190071620A (ko) * 2017-12-14 2019-06-24 경상대학교산학협력단 구강 내 영상 기반 폐쇄성 수면무호흡 진단장치 및 진단방법
KR20190081321A (ko) * 2017-12-29 2019-07-09 (주)허니냅스 폐쇄성 수면 무호흡증 치료를 위한 수술 시행 전 수술 성공률을 예측하는 장치 및 방법
CN111631754A (zh) * 2020-05-26 2020-09-08 清华大学 一种咽拭子自动采样系统
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1164381A (zh) * 1997-04-04 1997-11-12 华南理工大学 视网膜血管管径形变智能化测定系统及其测定方法
US20160158534A1 (en) * 2014-12-03 2016-06-09 Neurohabilitation Corporation Devices for Delivering Non-Invasive Neuromodulation to a Patient
KR20190071620A (ko) * 2017-12-14 2019-06-24 경상대학교산학협력단 구강 내 영상 기반 폐쇄성 수면무호흡 진단장치 및 진단방법
KR20190081321A (ko) * 2017-12-29 2019-07-09 (주)허니냅스 폐쇄성 수면 무호흡증 치료를 위한 수술 시행 전 수술 성공률을 예측하는 장치 및 방법
CN111631754A (zh) * 2020-05-26 2020-09-08 清华大学 一种咽拭子自动采样系统
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IWASAKI T, 等: "Relationships among nasal resistance, adenoids, tonsils, and tongue posture and maxillofacial form in Class II and Class III children", AMERICAN JOURNAL OF ORTHODONTICS AND DENTOFACIAL ORTHOPEDICS, 27 April 2017 (2017-04-27) *
刘文君，等: "咽腔的形态学测量及其临床意义", 中国临床解剖学杂志, vol. 17, no. 1, 25 January 1991 (1991-01-25), pages 59 - 60 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113693636A (zh) * 2021-08-30 2021-11-26 南方科技大学 采样方法、采样系统及存储介质
CN113693636B (zh) * 2021-08-30 2023-11-24 南方科技大学 采样方法、采样系统及存储介质
CN113842172A (zh) * 2021-09-29 2021-12-28 北京清智图灵科技有限公司 基于模板匹配与算数平均的咽后壁视触识别装置
CN113855087A (zh) * 2021-09-29 2021-12-31 清华大学 一种便携自助式口咽拭子采样机器人
CN113842172B (zh) * 2021-09-29 2023-10-31 北京清智图灵科技有限公司 基于模板匹配与算数平均的咽后壁视触识别装置
CN114916964A (zh) * 2022-07-14 2022-08-19 河南科技学院 一种咽拭子采样有效性检测方法及自助式咽拭子采样方法
CN114916964B (zh) * 2022-07-14 2022-11-04 河南科技学院 一种咽拭子采样有效性检测方法及自助式咽拭子采样方法
CN115337044A (zh) * 2022-07-18 2022-11-15 深圳市安保数字感控科技有限公司 核酸采样监测方法、装置、系统与计算机可读存储介质
CN116476041A (zh) * 2022-12-28 2023-07-25 深圳市人工智能与机器人研究院 一种核酸采样机器人的力位混合控制方法及机器人
CN116476041B (zh) * 2022-12-28 2024-01-30 深圳市人工智能与机器人研究院 一种核酸采样机器人的力位混合控制方法及机器人
CN116109982A (zh) * 2023-02-16 2023-05-12 哈尔滨星云智造科技有限公司 一种基于人工智能的生物样本采集有效性检验方法

Also Published As

Publication number Publication date
CN113143342B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN113143342A (zh) 确定口腔采样部位的方法、采样机器人及计算机存储介质
US10687713B2 (en) Diagnostic apparatus
CN109271914A (zh) 检测视线落点的方法、装置、存储介质和终端设备
EP2199983A1 (en) A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product
US8396531B2 (en) System and method for quasi-real-time ventricular measurements from M-mode echocardiogram
JP2009500042A (ja) ターゲットの運動行動の３ｄのモニタリング及び分析のためのシステム
CN112634333B (zh) 一种基于eco算法和卡尔曼滤波的跟踪装置方法及装置
CN113842172B (zh) 基于模板匹配与算数平均的咽后壁视触识别装置
CN112418251A (zh) 红外体温检测方法及系统
Olsen et al. Model-based motion tracking of infants
JP2020010735A (ja) 検査支援装置、方法およびプログラム
Song et al. BDIS: Bayesian dense inverse searching method for real-time stereo surgical image matching
Cordella et al. Robust pose estimation algorithm for wrist motion tracking
JP6618631B2 (ja) コンピュータシステム、動物の診断方法及びプログラム
Allain et al. Re-localisation of a biopsy site in endoscopic images and characterisation of its uncertainty
US20230326251A1 (en) Work estimation device, work estimation method, and non-transitory computer readable medium
Seewald et al. Toward analyzing mutual interference on infrared-enabled depth cameras
Tsuruda et al. 3D body parts tracking of mouse based on RGB-D video from under an open field
Kowalski et al. A simultaneous localization and tracking method for a worm tracking system
Rezaei et al. Long-term non-contact tracking of caged rodents
KR102458065B1 (ko) 안면 인식 체온 측정 장치 및 방법
US10390798B2 (en) Computer-aided tracking and motion analysis with ultrasound for measuring joint kinematics
Schwarz et al. Multiple-activity human body tracking in unconstrained environments
CN109002791B (zh) 一种基于视频自动跟踪奶牛反刍行为的系统及方法
KR101726505B1 (ko) 설 촬영 장치 및 설 영상의 프로세싱 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant