CN115530998A - 一种用于跟踪记录牙科诊疗的双模图像处理系统及方法 - Google Patents

一种用于跟踪记录牙科诊疗的双模图像处理系统及方法 Download PDF

Info

Publication number
CN115530998A
CN115530998A CN202211273318.8A CN202211273318A CN115530998A CN 115530998 A CN115530998 A CN 115530998A CN 202211273318 A CN202211273318 A CN 202211273318A CN 115530998 A CN115530998 A CN 115530998A
Authority
CN
China
Prior art keywords
module
tracking
image information
positioning
dual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211273318.8A
Other languages
English (en)
Inventor
赵智满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202211273318.8A priority Critical patent/CN115530998A/zh
Publication of CN115530998A publication Critical patent/CN115530998A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明提出了一种用于跟踪记录牙科诊疗的双模图像处理系统及方法，涉及记录跟踪技术领域。该用于跟踪记录牙科诊疗的双模图像处理系统，包括控制单元、图像采集单元、跟踪定位单元和移动单元。控制单元分别与跟踪信息获取模块、定位模块、图像采集模块和移动执行模块连接。控制单元连接有AI计算模块，AI计算模块包括：第一子模块和第二子模块。该系统能够达到确定并获取不同面部特征的效果。此外本发明还提出一种用于跟踪记录牙科诊疗的双模图像处理的方法，该方法具有根据有无佩戴遮挡罩的情况，确定并获取不同面部特征的功能，极大的提升了牙科诊疗的记录使用范围和记录精度。

Description

一种用于跟踪记录牙科诊疗的双模图像处理系统及方法
技术领域
本发明涉及记录跟踪技术领域，具体而言，涉及一种用于跟踪记录牙科诊疗的双模图像处理系统及方法。
背景技术
牙齿疾病是国内外十分常见的疾病，对牙齿疾病的诊治在全世界都存在医务人员不足，看病困难且昂贵的问题，与此同时，牙科医生看病过程中，因作业时间长、医术差异、各环节精细化操作较多，容易出现医疗事故：种植体螺丝型号错误，种植体位置错误，拔错牙以及因医德问题在诊治过程中有不透明的牟利操作。
与此同时，每个人的牙齿属性都独一无二，相比人的指纹信息更具有身份标识作用，因此，造成了牙齿疾病有大量的差异性特点，在牙医学术研究与培训中，对典型牙齿疾病的样本素材的收集困难，也是目前牙医领域的一个难点。
针对以上在牙科领域比较大的痛点，国内外有不少研究机构已投入一种带录像功能的机械臂装置，可在医生诊断牙齿疾病的同时，记录整个过程，既能减少医患纠纷的取证问题，减少牙科诊断事故，同时，采集典型的牙科案例，形成宝贵的知识库。但实际应用中，单纯的机械臂加录像功能，往往不能够拍摄清楚口腔内部操作，对精细化的病灶部位一般无法记录，且牙科医生对病人的头部有前后左右较大幅度的移动，这种固定位置无法跟踪的机械臂装置很难发挥作用。目前，申请人设计了一种能够实施跟踪记录图像信息的系统以及用于实时跟踪记录牙科诊疗过程的方法。这种系统和方法虽然能够实现在牙科诊疗中记录诊疗过程，同时能够在记录过程中随着病人头部位置的改变而进行有效地自动跟踪，可持续地记录到清楚的影像资料，但是，其只能针对单一的特征来进行识别进行持续跟踪获取影像资料。目前，在实际的牙科诊断中，一些患者会佩戴遮挡罩，而一些患者又不会佩戴遮挡罩，因此对获取到的图像信息进行面部特征提取时，现有的算法无法做到根据不同情况，确定并获取不同面部特征的效果。
发明内容
本发明的目的在于提供一种用于跟踪记录牙科诊疗的双模图像处理系统及方法，其能够实现在牙科诊疗中记录诊疗过程，同时能够在记录过程中随着病人头部位置的改变而进行有效地自动跟踪，可持续地记录到清楚的影像资料；同时，其还能够实现根据有无佩戴遮挡罩的情况，确定并获取不同面部特征的效果，极大的提升了牙科诊疗的记录使用范围和记录精度。
本发明的另一目的在于提供一种用于跟踪记录牙科诊疗的双模图像处理的方法，其能够适用于上述用于跟踪记录牙科诊疗的双模图像处理系统，以便于能够实现根据有无佩戴遮挡罩的情况，确定并获取不同面部特征的效果，极大的提升了牙科诊疗的记录使用范围和记录精度。
本发明的实施例是这样实现的：
第一方面，本申请实施例提供一种用于跟踪记录牙科诊疗的双模图像处理系统，包括控制单元、图像采集单元、跟踪定位单元和移动单元，跟踪定位单元包括跟踪信息获取模块和定位模块，图像采集单元包括图像采集模块，移动单元包括移动执行模块，控制单元分别与跟踪信息获取模块、定位模块、图像采集模块和移动执行模块连接；
跟踪信息获取模块、定位模块和图像采集模块均设置于移动执行模块的移动端；
控制单元连接有AI计算模块，AI计算模块包括：
第一子模块，用于确定当前画面相对上一帧画面的移动矢量；
第二子模块，将移动矢量转化为机械臂的移动目的地发出移动命令。
在本发明的一些实施例中，上述移动执行模块为机械臂模块。
在本发明的一些实施例中，上述定位模块包括点状镭射定位指示瞄准灯，点状镭射定位指示瞄准灯设置于机械臂模块的自由端。
在本发明的一些实施例中，上述跟踪信息获取模块包括RGBD相机，RGBD相机设置于机械臂模块的自由端。
在本发明的一些实施例中，上述图像采集模块包括设置于机械臂模块的自由端的摄像器。
在本发明的一些实施例中，上述制单元连接有通讯模块，通讯模块与AI计算模块。
在本发明的一些实施例中，上述控制单元连接有命令输入端，命令输入端包括与控制单元连接的建模启动按键。
第二方面，本申请实施例提供一种用于跟踪记录牙科诊疗的双模图像处理的方法，其特征在于，包括如下步骤：
定位特征部分，调整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位；获取基准图像信息，通过跟踪信息获取模块获取基准部分时的初始图像信息；设定有遮挡罩算法和无遮光罩算法，使用分类算法根据获取的初始图像信息识别面部是否有遮挡罩；若识别有遮挡罩，则根据初始图像信息运行有遮光罩算法获取特征部分；若识别无遮光罩则运行无遮光罩算法获取特征部分；根据初始图像信息进行患者面部建模处理，并进行配准；获取跟踪信息，通过跟踪信息获取模块获取诊疗开始后每一帧的实时图像信息，将第一帧的实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量；将第一帧的实时图像信息以后的每一帧的实时图像信息与前一帧的实时图像信息对比分析得出相对于特征部分的位置偏移量，并生成需要位移量；根据需要位移量，控制移动执行模块实时移动到需要位置。
在本发明的一些实施例中，上述无遮光罩算法步骤为：根据分别检测分割病人口腔两颗上门牙、两颗下门牙和分割嘴唇部位，并判断三组特征的响应强度和画面大小，判断最符合尺寸与特征强度要求的一组作为特征部分。
在本发明的一些实施例中，上述有遮光罩算法步骤为：根据分别检测分割病人口腔两颗上门牙、两颗下门牙和鼻部，并判断三组特征的响应强度和画面大小，判断最符合尺寸与特征强度要求的一组作为特征部分。
相对于现有技术，本发明的实施例至少具有如下优点或有益效果：
本发明提供一种用于跟踪记录牙科诊疗的双模图像处理系统，包括控制单元、图像采集单元、跟踪定位单元和移动单元。上述图像采集单元用于采集患者诊疗过程中的视频图像信息。上述跟踪定位单元主要用于瞄准进行牙科诊疗的患者，通过瞄准进行牙科诊疗患者的特征部位来达到对患者面部进行初始的基准部分的目的，同时能够获取到患者面部定位后的初始图像信息和实时图像信息，从而能够根据这些信息来分析计算出患者面部位置改变后的位移改变量。上述移动单元能够根据上述位移改变量来带动图像采集单元和跟踪定位单元移动，从而能够使图像采集单元一直跟踪患者面部，达到持续记录诊疗过程，保证采集到的图像信息清楚完整的目的。上述控制单元用于分析计算需要用的参数，同时用于控制其它单元进行自动化动作。
上述跟踪定位单元包括跟踪信息获取模块和定位模块，上述图像采集单元包括图像采集模块，上述移动单元包括移动执行模块，上述控制单元分别与上述跟踪信息获取模块、定位模块、图像采集模块和移动执行模块连接。上述跟踪信息获取模块主要用于实时获取实时图像信息和初始图像信息等。上述跟踪信息获取模块将获取的实时图像信息和初始图像信息输送到控制单元后，控制单元将上述实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量。上述定位模块主要用于起到定位作用，整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位，该基准部分下跟踪信息获取模块获取的图像信息即为初始图像信息。
上述跟踪信息获取模块、上述定位模块和上述图像采集模块均设置于上述移动执行模块的移动端。上述跟踪信息获取模块、上述定位模块和上述图像采集模块均设置于上述移动执行模块的移动端后，能够通过移动端来带动它们移动到需要的位置。上述过程中，上述跟踪信息获取模块、上述定位模块和上述图像采集模块的位移量始终相同，因此，可通定位模块的定位信息来定位跟踪信息获取模块的初始位置信息。同时，能够通过跟踪信息获取模块获取到的图像信息即可通过控制单元预设的算法来计算出图像采集模块获取图像的位置信息。
具体使用时，通过定位模块定位特征部分，调整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位。再通过跟踪信息获取模块获取基准图像信息，通过跟踪信息获取模块获取基准部分时的初始图像信息。将初始图像信息传输到控制单元，控制单元根据初始图像信息进行患者面部建模处理，并进行配准。然后跟踪信息获取模块继续获取到获取跟踪信息，通过跟踪信息获取模块获取诊疗开始后每一帧的实时图像信息，将第一帧的实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量；将第一帧的实时图像信息以后的每一帧的实时图像信息与前一帧的实时图像信息对比分析得出相对于特征部分的位置偏移量，并生成需要位移量。根据需要位移量，控制移动执行模块实时移动到需要位置即可。
上述控制单元连接有AI计算模块，上述AI计算模块包括：第一子模块，用于确定当前画面相对上一帧画面的移动矢量；第二子模块，将所述移动矢量转化为机械臂的移动目的地发出移动命令。上述第一子模块，具体用于实现位置偏移量的分析对比计算。上述第二子模块用于实现生成需要位移量，并用于发送控制命令，来控制移动执行模块实时移动到需要位置。
因此，该用于实时跟踪记录牙科诊疗过程的系统能够实现在牙科诊疗中记录诊疗过程，同时能够在记录过程中随着病人头部位置的改变而进行有效地自动跟踪，可持续地记录到清楚的影像资料；同时，其还能够实现根据有无佩戴遮挡罩的情况，确定并获取不同面部特征的效果，极大的提升了牙科诊疗的记录使用范围和记录精度。
本发明还提供一种用于跟踪记录牙科诊疗的双模图像处理的方法，包括如下步骤：
定位特征部分，调整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位；获取基准图像信息，通过跟踪信息获取模块获取基准部分时的初始图像信息；设定有遮挡罩算法和无遮光罩算法，使用分类算法根据获取的初始图像信息识别面部是否有遮挡罩；若识别有遮挡罩，则根据初始图像信息运行有遮光罩算法获取特征部分；若识别无遮光罩则运行无遮光罩算法获取特征部分；根据初始图像信息进行患者面部建模处理，并进行配准；获取跟踪信息，通过跟踪信息获取模块获取诊疗开始后每一帧的实时图像信息，将第一帧的实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量；将第一帧的实时图像信息以后的每一帧的实时图像信息与前一帧的实时图像信息对比分析得出相对于特征部分的位置偏移量，并生成需要位移量；根据需要位移量，控制移动执行模块实时移动到需要位置。
该用于跟踪记录牙科诊疗的双模图像处理的方法能够识别患者面部是否佩戴遮挡罩，以便于能够实现根据有无佩戴遮挡罩的情况，确定并获取不同面部特征的效果，极大的提升了牙科诊疗的记录使用范围和记录精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的结构示意图；
图2为本发明实施例的控制示意图。
图标：1-RGBD相机，2-机械臂模块，3-点状镭射定位指示瞄准灯，4-摄像器，5-通讯模块，6-AI计算模块，601-第一子模块，602-第二子模块，7-建模启动按键，8-控制单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，若出现术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，若出现“多个”代表至少2个。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例1
请参照图1和图2，图1所示为本发明实施例的结构示意图；图2为本发明实施例的控制示意图。本实施例提供一种用于跟踪记录牙科诊疗的双模图像处理系统，包括控制单元8、图像采集单元、跟踪定位单元和移动单元。上述图像采集单元用于采集患者诊疗过程中的视频图像信息。上述跟踪定位单元主要用于瞄准进行牙科诊疗的患者，通过瞄准进行牙科诊疗患者的特征部位来达到对患者面部进行初始的基准部分的目的，同时能够获取到患者面部定位后的初始图像信息和实时图像信息，从而能够根据这些信息来分析计算出患者面部位置改变后的位移改变量。上述移动单元能够根据上述位移改变量来带动图像采集单元和跟踪定位单元移动，从而能够使图像采集单元一直跟踪患者面部，达到持续记录诊疗过程，保证采集到的图像信息清楚完整的目的。上述控制单元8用于分析计算需要用的参数，同时用于控制其它单元进行自动化动作。
在本实施例中，上述跟踪定位单元包括跟踪信息获取模块和定位模块，上述图像采集单元包括图像采集模块，上述移动单元包括移动执行模块，上述控制单元8分别与上述跟踪信息获取模块、定位模块、图像采集模块和移动执行模块连接。
在本实施例中，上述跟踪信息获取模块主要用于实时获取实时图像信息和初始图像信息等。上述跟踪信息获取模块将获取的实时图像信息和初始图像信息输送到控制单元8后，控制单元8将上述实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量。上述定位模块主要用于起到定位作用，整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位，该基准部分下跟踪信息获取模块获取的图像信息即为初始图像信息。
在本实施例中，上述跟踪信息获取模块、上述定位模块和上述图像采集模块均设置于上述移动执行模块的移动端。
在本实施例中，上述跟踪信息获取模块、上述定位模块和上述图像采集模块均设置于上述移动执行模块的移动端后，能够通过移动端来带动它们移动到需要的位置。上述过程中，上述跟踪信息获取模块、上述定位模块和上述图像采集模块的位移量始终相同，因此，可通定位模块的定位信息来定位跟踪信息获取模块的初始位置信息。同时，能够通过跟踪信息获取模块获取到的图像信息即可通过控制单元8预设的算法来计算出图像采集模块获取图像的位置信息。
在本实施例中，具体使用时，通过定位模块定位特征部分，调整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位。再通过跟踪信息获取模块获取基准图像信息，通过跟踪信息获取模块获取基准部分时的初始图像信息。将初始图像信息传输到控制单元8，控制单元8根据初始图像信息进行患者面部建模处理，并进行配准。然后跟踪信息获取模块继续获取到获取跟踪信息，通过跟踪信息获取模块获取诊疗开始后每一帧的实时图像信息，将第一帧的实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量；将第一帧的实时图像信息以后的每一帧的实时图像信息与前一帧的实时图像信息对比分析得出相对于特征部分的位置偏移量，并生成需要位移量。根据需要位移量，控制移动执行模块实时移动到需要位置即可。
在本实施例中，上述控制单元8连接有AI计算模块，上述AI计算模块包括：第一子模块601，用于确定当前画面相对上一帧画面的移动矢量；第二子模块，将所述移动矢量转化为机械臂的移动目的地发出移动命令。上述第一子模块601，具体用于实现位置偏移量的分析对比计算。上述第二子模块602用于实现生成需要位移量，并用于发送控制命令，来控制移动执行模块实时移动到需要位置。上述第一子模块601和第二子模块602均与控制单元8实现通讯连接。
因此，该用于实时跟踪记录牙科诊疗过程的系统能够实现在牙科诊疗中记录诊疗过程，同时能够在记录过程中随着病人头部位置的改变而进行有效地自动跟踪，可持续地记录到清楚的影像资料；同时，其还能够实现根据有无佩戴遮挡罩的情况，确定并获取不同面部特征的效果，极大的提升了牙科诊疗的记录使用范围和记录精度。
在本实施例的一些实施方式中，上述移动执行模块为机械臂模块2。
在本实施例中，上述机械臂模块2是机械人技术领域中得到最广泛实际应用的自动化机械装置，在工业制造、医学治疗、娱乐服务、军事、半导体制造以及太空探索等领域都能见到它的身影。尽管它们的形态各有不同，但它们都有一个共同的特点，就是能够接受指令，精确地定位到三维(或二维)空间上的某一点进行作业。因此，采用机械臂模块2在不启动时，可人工带动机械臂模块2移动，使上述定位模块发射的定位信号指向对应的患者的特征部位。然后，在控制移动执行模块根据需要位移量移动到需要位置时，控制单元8能够控制上述机械臂模块2进行自动化的，高精度的移动，从而保证移动稳定性和精确性，能够进一步的提升图像采集模块获取到的诊疗过程影像资料的清晰性和准确性。
在本实施例的一些实施方式中，上述定位模块包括点状镭射定位指示瞄准灯3，上述点状镭射定位指示瞄准灯3设置于上述机械臂模块2的自由端。
在本实施例中，上述点状镭射定位指示瞄准灯3主要用于发生管束照射在患者的特征部位。
在本实施例的一些实施方式中，上述跟踪信息获取模块包括RGBD相机1，上述RGBD相机1设置于上述机械臂模块2的自由端。
在本实施例中，上述RGBD相机1能够采集患者面部的RGB信息与深度点云信息，并将采集的信息传输到控制单元8，以实现跟踪患者面部口腔位置的目的。
在本实施例的一些实施方式中，上述图像采集模块包括设置于上述机械臂模块2的自由端的摄像器4。
在本实施例中，上述摄像器4主要用于采集患者面部和口腔的图像信息，上述摄像器4与控制单元8连接后，可将图像信息传输到控制单元8进行分析处理，可通过控制单元8获得诊疗视频等信息。
在本实施例的一些实施方式中，上述控制单元8连接有通讯模块5，上述通讯模块5与所述AI计算模块6。
在本实施例中，上述通讯模块5用于实现控制单元8和外部设备的无线通讯，可达到实施传输数据信息的目的。
在本实施例的一些实施方式中，控制单元8连接有命令输入端，命令输入端包括与控制单元8连接的建模启动按键7。上述命令输入端主要用于输入控制命令，其中建模启动按键7在点状镭射定位指示瞄准灯3完成定位位置后按下，即可使控制单元8进行后续对应的控制工作。
在使用时，先进行定位特征部分，调整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位。然后获取基准图像信息，通过跟踪信息获取模块获取基准部分时的初始图像信息。使用分类算法根据获取的初始图像信息识别面部是否有遮挡罩；若识别有遮挡罩，则根据初始图像信息运行有遮光罩算法获取特征部分；若识别无遮光罩则运行无遮光罩算法获取特征部分；根据初始图像信息进行患者面部建模处理，并进行配准。在然后获取跟踪信息，通过跟踪信息获取模块获取诊疗开始后的实时图像信息，将第一帧实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量。最后，控制移动执行模块根据需要位移量移动到需要位置。具体的，在开始给病人检查之前，使控制单元8控制点状镭射定位指示瞄准灯3开启，然后移动臂使此点状镭射定位指示瞄准灯3发射的光束对准病人上门牙中缝或鼻尖位置(如果病人面部有遮挡布，对准门牙，如果病人面部没有遮挡布，对准鼻尖)。然后微调摄像器4，使其对准患者的口腔，并通过控制单元8控制启动摄像器4的录像功能。最后通过控制单元8启动建模功能后，控制单元8会启动RGBD相机1，并采集患者面部的RGB信息与深度点云信息，并传输到控制单元8。控制单元8能够通过获取到的点状镭射定位指示瞄准灯3的起始状态定位的位置信息以及RGBD相机采集的RGB信息与深度点云信息等来进行自动建模和配准，经过分析可得到跟踪信息。同时，控制单元8可根据跟踪信息判断移动臂需要移动的空间位置，并控制移动臂执行位移命令，从而带动移动臂自由端的摄像器4以及RGBD相机1移动到对应的位置。由此，可在患者面部位置改变后，使摄像器4以及RGBD相机1持续的进行跟踪，保证摄像器4持续的获取到患者面部和口腔的诊疗影像资料。需要说明的是，上述获取跟踪信息阶段中的特征部分获取，指定为判断有无遮挡罩后，对应特征部分的获取。
实施例2
本实施例提供一种用于跟踪记录牙科诊疗的双模图像处理的方法，包括如下步骤：
定位特征部分，调整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位；获取基准图像信息，通过跟踪信息获取模块获取基准部分时的初始图像信息；设定有遮挡罩算法和无遮光罩算法，使用分类算法根据获取的初始图像信息识别面部是否有遮挡罩；若识别有遮挡罩，则根据初始图像信息运行有遮光罩算法获取特征部分；若识别无遮光罩则运行无遮光罩算法获取特征部分；根据初始图像信息进行患者面部建模处理，并进行配准；获取跟踪信息，通过跟踪信息获取模块获取诊疗开始后每一帧的实时图像信息，将第一帧的实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量；将第一帧的实时图像信息以后的每一帧的实时图像信息与前一帧的实时图像信息对比分析得出相对于特征部分的位置偏移量，并生成需要位移量；根据需要位移量，控制移动执行模块实时移动到需要位置。
在本实施例的一些实施方式中，上述无遮光罩算法步骤为：根据分别检测分割病人口腔两颗上门牙、两颗下门牙和分割嘴唇部位，并判断三组特征的响应强度和画面大小，判断最符合尺寸与特征强度要求的一组作为特征部分。
在本实施例的一些实施方式中，上述有遮光罩算法步骤为：根据分别检测分割病人口腔两颗上门牙、两颗下门牙和鼻部，并判断三组特征的响应强度和画面大小，判断最符合尺寸与特征强度要求的一组作为特征部分。
在本实施例的一些实施方式中，上述将第一帧实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量的具体步骤为：上述将第一帧实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量的具体步骤为：计算第一帧实时图像信息中画面的特征部分的位置相对于初始基准画面中特征部分的位置在图像中上下左右的像素偏移量，通过上述像素偏移量计算得到位置偏移量；上述将第一帧的实时图像信息以后的每一帧的实时图像信息与前一帧的实时图像信息对比分析得出相对于特征部分的位置偏移量的具体步骤为：计算前一帧实时图像信息中画面的特征部分的位置相对于后一帧实时图像信息中画面的特征部分的位置在图像中上下左右的像素偏移量，通过上述像素偏移量计算得到位置偏移量。
在本实施例的一些实施方式中，上述需要位移量的生成步骤为：进行相机坐标系到移动执行模块坐标系的转换，映射分析计算出当前像素偏移量在移动执行模块的坐标系下的移动距离，获得了移动执行模块移动目标点在X方向坐标和Y方向坐标，同时，逐帧分析计算实时图像信息中画面内的特征部分位置深度信息相对于初始图像信息中画面内特征部分的深度位置信息的偏移量，而后进行坐标系转换和偏移量映射，得到移动执行模块移动目标点的Z方向坐标，将上述X方向坐标、上述Y方向坐标和上述Z方向坐标作为移动执行模块的移动目的点的需要位移量。
因此，该用于跟踪记录牙科诊疗的双模图像处理的方法能够识别患者面部是否佩戴遮挡罩，以便于能够实现根据有无佩戴遮挡罩的情况，确定并获取不同面部特征的效果，极大的提升了牙科诊疗的记录使用范围和记录精度。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于跟踪记录牙科诊疗的双模图像处理系统，其特征在于，包括控制单元、图像采集单元、跟踪定位单元和移动单元，所述跟踪定位单元包括跟踪信息获取模块和定位模块，所述图像采集单元包括图像采集模块，所述移动单元包括移动执行模块，所述控制单元分别与所述跟踪信息获取模块、定位模块、图像采集模块和移动执行模块连接；
所述跟踪信息获取模块、所述定位模块和所述图像采集模块均设置于所述移动执行模块的移动端；
所述控制单元连接有AI计算模块，所述AI计算模块包括：
第一子模块，用于确定当前画面相对上一帧画面的移动矢量；
第二子模块，将所述移动矢量转化为机械臂的移动目的地发出移动命令。
2.根据权利要求1所述的用于跟踪记录牙科诊疗的双模图像处理系统，其特征在于，所述移动执行模块为机械臂模块。
3.根据权利要求2所述的用于跟踪记录牙科诊疗的双模图像处理系统，其特征在于，所述定位模块包括点状镭射定位指示瞄准灯，所述点状镭射定位指示瞄准灯设置于所述机械臂模块的自由端。
4.根据权利要求3所述的用于跟踪记录牙科诊疗的双模图像处理系统，其特征在于，所述跟踪信息获取模块包括RGBD相机，所述RGBD相机设置于所述机械臂模块的自由端。
5.根据权利要求2所述的用于跟踪记录牙科诊疗的双模图像处理系统，其特征在于，所述图像采集模块包括设置于所述机械臂模块的自由端的摄像器。
6.根据权利要求1所述的用于跟踪记录牙科诊疗的双模图像处理系统，其特征在于，所述制单元连接有通讯模块，所述通讯模块与所述AI计算模块。
7.根据权利要求1所述的用于跟踪记录牙科诊疗的双模图像处理系统，其特征在于，所述控制单元连接有命令输入端，所述命令输入端包括与所述控制单元连接的建模启动按键。
8.一种用于跟踪记录牙科诊疗的双模图像处理的方法，其特征在于，包括如下步骤：
定位特征部分，调整移动执行模块使定位模块发射的定位信号指向患者面部的基准部分作为基准定位；
获取基准图像信息，通过跟踪信息获取模块获取基准部分时的初始图像信息；
设定有遮挡罩算法和无遮光罩算法，使用分类算法根据获取的初始图像信息识别面部是否有遮挡罩；
若识别有遮挡罩，则根据初始图像信息运行有遮光罩算法获取特征部分；若识别无遮光罩则运行无遮光罩算法获取特征部分；
根据初始图像信息进行患者面部建模处理，并进行配准；
获取跟踪信息，通过跟踪信息获取模块获取诊疗开始后每一帧的实时图像信息，将第一帧的实时图像信息与初始图像信息对比分析得出相对于基准部分的位置偏移量，并生成需要位移量；将第一帧的实时图像信息以后的每一帧的实时图像信息与前一帧的实时图像信息对比分析得出相对于特征部分的位置偏移量，并生成需要位移量；
根据需要位移量，控制移动执行模块实时移动到需要位置。
9.根据权利要求8所述的用于跟踪记录牙科诊疗的双模图像处理的方法，其特征在于，所述无遮光罩算法步骤为：根据分别检测分割病人口腔两颗上门牙、两颗下门牙和分割嘴唇部位，并判断三组特征的响应强度和画面大小，判断最符合尺寸与特征强度要求的一组作为特征部分。
10.根据权利要求8所述的用于跟踪记录牙科诊疗的双模图像处理的方法，其特征在于，所述有遮光罩算法步骤为：根据分别检测分割病人口腔两颗上门牙、两颗下门牙和鼻部，并判断三组特征的响应强度和画面大小，判断最符合尺寸与特征强度要求的一组作为特征部分。
CN202211273318.8A 2022-10-18 2022-10-18 一种用于跟踪记录牙科诊疗的双模图像处理系统及方法 Pending CN115530998A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211273318.8A CN115530998A (zh) 2022-10-18 2022-10-18 一种用于跟踪记录牙科诊疗的双模图像处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211273318.8A CN115530998A (zh) 2022-10-18 2022-10-18 一种用于跟踪记录牙科诊疗的双模图像处理系统及方法

Publications (1)

Publication Number Publication Date
CN115530998A true CN115530998A (zh) 2022-12-30

Family

ID=84735651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211273318.8A Pending CN115530998A (zh) 2022-10-18 2022-10-18 一种用于跟踪记录牙科诊疗的双模图像处理系统及方法

Country Status (1)

Country Link
CN (1) CN115530998A (zh)

Similar Documents

Publication Publication Date Title
JP5688825B2 (ja) カメラシステムの座標系の較正および変換
US7912257B2 (en) Real time display of acquired 3D dental data
CN101903140B (zh) 机器人、医疗工作台和用于将图像投影到对象表面的方法
US11915378B2 (en) Method and system for proposing and visualizing dental treatments
WO2024027647A1 (zh) 机器人控制方法、系统和计算机程序产品
CN113855287B (zh) 一种带评估种植精度的口腔种植手术机器人及控制方法
CN112741643A (zh) 一种可自动定位和扫描的ct系统及其定位和扫描方法
CN112957041A (zh) 基于血管图像的采血机器人控制方法及装置
JPH07260446A (ja) 画像処理装置
Zou et al. Robotic-assisted automatic orientation and insertion for bronchoscopy based on image guidance
CN115530998A (zh) 一种用于跟踪记录牙科诊疗的双模图像处理系统及方法
CN113647972A (zh) 一种辅助口腔医疗影像的双臂协作机器人控制方法及系统
CN110363811A (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
US20230301757A1 (en) Identification apparatus and identification method
CN102768541A (zh) 手术机器人的控制方法和系统
CN115399882A (zh) 一种用于实时跟踪记录牙科诊疗过程的系统及方法
Brügger et al. Computer-aided tracking of body motions using a ccd-image sensor
TWI774537B (zh) 用於毛髮毛囊擷取的系統及方法
CN111524592B (zh) 一种用于皮肤病智能诊断机器人
CN113100967B (zh) 一种可穿戴的手术工具定位装置及定位方法
CN115414014A (zh) 一种用于实时跟踪记录牙科诊疗过程的设备
TWI756996B (zh) 生物檢體自動採檢系統及其採檢方法和非揮發性電腦可讀記錄媒體
CN113945589B (zh) 一种带防脱落检测的口腔种植手术机器人及控制方法
CN112834764B (zh) 机械臂的采样控制方法及装置、采样系统
CN116712203A (zh) 牙颌运动轨迹检测方法和牙颌运动轨迹检测设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20221230

WD01 Invention patent application deemed withdrawn after publication