CN115457093A - 一种牙齿图像的处理方法、装置、电子设备及存储介质 - Google Patents

一种牙齿图像的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115457093A
CN115457093A CN202211024407.9A CN202211024407A CN115457093A CN 115457093 A CN115457093 A CN 115457093A CN 202211024407 A CN202211024407 A CN 202211024407A CN 115457093 A CN115457093 A CN 115457093A
Authority
CN
China
Prior art keywords
image
processed
images
tooth
dentition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211024407.9A
Other languages
English (en)
Other versions
CN115457093B (zh
Inventor
尚方信
杨叶辉
王晓荣
黄海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211024407.9A priority Critical patent/CN115457093B/zh
Publication of CN115457093A publication Critical patent/CN115457093A/zh
Application granted granted Critical
Publication of CN115457093B publication Critical patent/CN115457093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开提供了一种牙齿图像的处理方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及智慧医疗、图像处理、深度学习技术领域。具体实现方案为：将至少两个待处理图像分别进行规范化处理，得到至少两个处理后的图像，该处理后的图像中的牙齿按照预定方式排布；将至少两个处理后的图像进行配准，得到至少两个配准后的图像，使同一牙齿在至少两个配准后的图像中的位置相同。本公开能够使处理后的牙齿图像更加规范化。

Description

一种牙齿图像的处理方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域，尤其涉智慧医疗、图像处理、深度学习技术领域。
背景技术
在口腔医学领域，拍摄口腔内图像(或牙齿图像)是重要的辅助手段。由于口腔内空间狭小，拍摄不便，容易导致拍摄的牙齿图像出现透视畸变、旋转、偏差等情况，从而影响观察、归档、诊断等后续操作。
发明内容
本公开提供了一种用于牙齿图像的处理方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种牙齿图像的处理方法，包括：
将至少两个待处理图像分别进行规范化处理，得到至少两个处理后的图像，该处理后的图像中的牙齿按照预定方式排布；
将至少两个处理后的图像进行配准，得到至少两个配准后的图像，使同一牙齿在至少两个配准后的图像中的位置相同。
根据本公开的另一方面，提供了一种牙齿图像的处理装置，包括：
处理模块，用于将至少两个待处理图像分别进行规范化处理，得到至少两个处理后的图像，该处理后的图像中的牙齿按照预定方式排布；
配准模块，用于将至少两个处理后的图像进行配准，得到至少两个配准后的图像，使同一牙齿在至少两个配准后的图像中的位置相同。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
本公开实施例提出的牙齿图像的处理方法，将待处理的牙齿图像进行规范化处理及配准处理，使处理后的牙齿图像能够规范化，便于后续相关操作。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是可以应用本公开实施例的牙齿图像的处理方法的一种系统100架构示意图；
图2是根据本公开一实施例的牙齿图像的处理方法200的实现流程图；
图3是根据本公开一实施例的牙齿图像的处理方法300的实现流程图；
图4A是采用第一模型确定出的牙齿中心点的示意图；
图4B是采用第二模型确定出的牙齿中心点的示意图；
图5是在不同视点拍摄得到的针对门牙区域的牙齿图像视图；
图6是本公开一实施例建立抛物线参数a和拍摄视角与牙列平面的夹角θ的对应关系的过程示意图；
图7A是根据本公开实施例对应非门牙区域的原始图像；
图7B是根据本公开实施例对应非门牙区域的规范化处理后的图像；
图8A是根据本公开一实施例匹配方式一的示意图；
图8B是根据本公开一实施例匹配方式二的示意图；
图8C是根据本公开一实施例匹配方式三的示意图；
图8D是根据本公开一实施例匹配方式四的示意图；
图9是根据本公开一实施例的一种牙齿图像的处理装置800的结构示意图；
图10是根据本公开一实施例的一种牙齿图像的处理装置900的结构示意图；
图11示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少两个
为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
相关技术中，牙齿图像在现代口腔医学领域尤其在牙科中得到了越来越广泛的应用。在临床诊断、牙齿治疗等环节中，医生需要精准地观察牙齿图像，以诊断并确定个性化的治疗方案；在个人牙齿保健场景中，用户也可以通过观察自己的牙齿图像，及早发现问题。然而，由于口腔内空间狭小，拍摄不便，容易导致拍摄的牙齿图像出现透视畸变、旋转、偏差等情况，从而影响观察、归档、诊断等后续操作。
针对该问题，本公开实施例提出一种牙齿图像的处理方法，能够对待处理的牙齿图像(以下称为待处理图像)进行规范化处理和配准处理，使处理后的图像能够规范化，从而便于后续操作。
在以下内容中，以口腔内窥镜拍摄的牙齿图像为例进行说明。与传统的X光成像技术相比，口腔内窥镜无放射性，可以连续、多次采集影像，实时性好，并且操作简便。但是，由于设备操作人员的拍摄手法差异，可能导致牙齿图像的差异较大(例如同一牙位的多幅图像存在不同的透视畸变、旋转等)。为了便于后续处理操作，需要首先对牙齿图像进行规范化和配准。采用本公开实施例提出的牙齿图像处理方式，可以对牙齿图像进行规范化和配准等操作，将牙齿图像调整为便于观察的形式。需要强调的是，本公开实施例并不仅限于对口腔内窥镜拍摄的牙齿图像进行处理，而是可以应用于任何方式拍摄的牙齿图像。
图1是可以应用本公开实施例的牙齿图像的处理方法的一种系统100架构示意图。如图1所示，该系统架构中包括：图像采集装置110、网络120和牙齿图像的处理装置130。图像采集装置110和牙齿图像的处理装置130图像可以通过网络120建立通信连接图像采集装置110通过网络120向牙齿图像的处理装置130发送待处理图像，牙齿图像的处理装置130响应于接收到的待处理图像，对待处理图像进行规范化处理和配准，得到配准后的图像。最后，牙齿图像的处理装置130将配准后的图像保存或显示。牙齿图像的处理装置130可以包括具有视觉信息处理能力的视觉处理设备或远程服务器。网络120可以采用有线或无线连接方式。其中，当牙齿图像的处理装置130为视觉处理设备时，图像采集装置110可以通过有线连接的方式与视觉处理设备通信连接，例如通过总线进行数据通信；当牙齿图像的处理装置130为远程服务器时，图像采集装置110可以通过无线网络与远程服务器进行数据交互。
或者，在一些场景中，图像采集装置110可以是带有图像采集模组的视觉处理设备，具体实现为带有摄像头的主机。这时，本公开实施例的牙齿图像的处理方法可以由图像采集装置110执行，上述系统架构可以不包含网络120和牙齿图像的处理装置130。
图2是根据本公开一实施例的牙齿图像的处理方法200的实现流程图。在本公开的一些实施例中，牙齿图像的处理方法可以由终端设备或服务器或其它处理设备执行。其中，终端设备可以是用户设备(UE，User Equipment)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备或者可穿戴设备等。在本公开的一些实施例中，牙齿图像的处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图2所示，牙齿图像的处理方法包括以下步骤：
S210：将至少两个待处理图像分别进行规范化处理，得到至少两个处理后的图像，该处理后的图像中的牙齿按照预定方式排布；
S220：将至少两个处理后的图像进行配准，得到至少两个配准后的图像，使同一牙齿在至少两个配准后的图像中的位置相同。
在一些实施例中，该至少两个待处理图像可以是针对同一口腔区域的图像。针对同一口腔区域的图像，可以指采用相同的图像采集装置、在不同时刻对同一区域拍摄的图像。由于图像采集装置可能是由人工操作的，难以保证多次拍摄时图像采集装置的镜头方向保持一致；并且难以保证被拍摄者始终保持同一姿势和位置，因此，针对同一口腔区域的不同图像中包含的内容只是大体相同、而不能保证完全一致。这也正是对不同像进行配准的原因所在。
按照口腔医学领域的一般惯例，牙齿在整个图像中按照水平方向排列、并且位于中心水平线位置更便于观察，基于此，上述步骤S210中的处理后的图像中的牙齿按照预定方式排布，可以包括：处理后的图像中的牙齿按照水平方向排列，并且位于处理后的图像的中心水平线位置。处理后的图像中的牙齿采用前述进行排列，能够便于对牙齿图像的归档、分析、诊断等后续流程。
容易理解的是，上述“位于中心水平线位置”可以指整个图像中牙齿中心点的连线(或中心点的连线所拟合出的直线)与水平中心线完全重合，或者与水平中心线的距离在预定范围内；该预定范围可以采用固定长度确定、或者采用与整个图像的比例确定。
下面通过一个具体的应用示例说明本公开实施例提供的牙齿图像的处理方法，该示例以对图像A和图像B进行规范化处理和配准为例进行介绍。图3是根据本公开一实施例的牙齿图像的处理方法300的实现流程图，如图3所示，包括以下过程。
首先，图像处理装置获取图像A和图像B，图像A和图像B可以是口腔内窥镜针对口腔内部同一区域拍摄的图像。例如，图像处理装置通过网络接收口腔内窥镜所拍摄的牙齿图像信息，或者图像处理装置通过网络读取口腔内窥镜拍摄并存储于图像库中的牙齿图像。
第二，图像处理装置分别对图像A和图像B进行规范化处理，得到图像A’和图像B’。规范化处理的目的，是使图像A’和图像B’中的牙齿按照同样的方式排列。例如，使图像A’和图像B’中的牙齿都按照水平方向排列、并且位于中心水平线位置。
针对不同的口腔区域，规范化处理的方式不同。一些示例中，针对门牙区域和非门牙区域，采用不同的规范化处理方式。其中，门牙区域可以指上下两侧尖牙及切牙区域，非门牙区域可以指门牙区域以外的区域。以图像A为例：
如果图像A对应门牙区域，可以将图像A中多个牙齿的中心点拟合成抛物线，再根据该抛物线的参数(如曲率)，对图像A进行透视变换，使变换后的图像中多个牙齿的中心点连线为一条直线；再根据需要，将变换后的图像在垂直方向移动，得到图像A’；
如果图像A对应非门牙区域，可以将图像A中多个牙齿的中心点拟合成直线，再根据该直线的参数(如斜率和截距)，对图像A进行旋转，使旋转后的图像中多个牙齿的中心点连线为一条直线；再根据需要，将旋转后的图像在垂直方向移动，得到图像A’；
图像B的处理方式与上述针对图像A的方式相同。
在一些实施方式中，在拍摄待处理图像时，可以标注该待处理图像对应的区域(如门牙区域或非门牙区域)，并将待处理图像对应的区域与该待处理图像一起保存和/或传输。这样，图像处理装置在接收到该待处理图像及其对应区域的信息时，可以根据待处理图像所对应的区域，对其进行相应的规范化处理。或者，可以在图像处理装置对待处理图像进行规范化之前，由图像处理装置识别待处理图像所对应的区域、或者由人工识别待处理图像所对应的区域，根据识别结果，图像处理装置可以对待处理图像进行相应的规范化处理。
第三，将图像A’和图像B’进行配准，例如，通过确定图像A’和图像B’中牙齿的匹配方式，可以确定出图像A’和图像B’之间的水平偏移值，并利用该水平偏移值移动图像A’和/或图像B’，使移动后的图像A’和图像B’中，同一牙齿位于相同的位置。
以上内容是以两个待处理图像为例进行介绍的；针对多个待处理图像，其处理方法相同。首先分别对各个待处理图像进行规范化处理，再将处理后的图像依次进行配准。例如，将图像A、图像B和图像C分别进行规范化处理，得到图像A’、图像B’和图像C’；再从图像A’、图像B’和图像C’中选择一个作为第一图像，将其余图像作为第二图像。例如，将图像A’作为第一图像，将图像B’和图像C’作为第二图像。之后，以图像A’作为基准图像，分别对图像B’和图像C’进行配准，使配准之后的三个图像中，同一牙齿位于相同的位置。
以上介绍了本公开实施例牙齿图像处理方法的整体流程，以下结合附图，分别详细介绍上述各个步骤。
一些示例中，牙齿图像的处理方法还包括以下步骤：
针对至少两个待处理图像中的各个待处理图像，将待处理图像输入预先训练的第一模型，得到第一模型输出的牙列轮廓图像；
将牙列轮廓图像进行腐蚀处理，得到多个第一区域，每个第一区域对应一个牙齿；
确定各个第一区域的中心点，将确定出的中心点作为对应牙齿的中心点。
例如，该第一模型可以为无监督分割模型、语义分割模型等，无监督分割模型或语义分割模型从输入的待处理图像中提取牙列轮廓。相连的牙列区域经腐蚀操作后，缩小为若干不连续的区域，进而可以计算每个区域中心点的坐标，每个区域的中心点即为对应牙齿的中心点。图4A是采用第一模型确定出的牙齿中心点的示意图。作为一种实施例，无监督分割模型可以采用无监督分割算法，无监督分割算法可以为水平集方法、分水岭算法等；语义分割模型可以为全卷积网络(FCN，Fully Convolutional Networks)模型、U型网络(UNet)模型等。采用无监督分割模型、语义分割模型等模型、并利用图像腐蚀等图像处理方式，能够准确确定各个牙齿的中心点，为后续对牙齿图像进行规范化处理提供基础。
另外一些示例中，牙齿图像的处理方法包括以下步骤：
针对至少两个待处理图像中的各个待处理图像，将待处理图像输入预先训练的第二模型，得到第二模型输出的多个第二区域，每个第二区域对应一个牙齿；
确定各个第二区域的中心点，将确定出的中心点作为对应牙齿的中心点。
例如，该第二模型可以为实例分割模型。实例分割模型将每颗牙齿对应的部分单独分割，分割得到的每个第二区域对应一个牙齿，可以直接对每个第二区域计算中心点，该中心点即为对应牙齿的中心点。图4B是采用第二模型确定出的牙齿中心点的示意图。作为一种实施例，实例分割模型可以为掩膜区域卷积神经网络(Mask R-CNN，Mask Region-Convolutional Neural Networks)等。采用实例分割模型等模型，能够准确确定各个牙齿的中心点，便于对牙齿图像进行规范化处理。
采用待处理图像中各个牙齿的中心点，可以对待处理图像进行规范化处理，可以包括：
针对至少两个待处理图像中的各个待处理图像，分别进行以下处理：
利用待处理图像中各个牙齿的中心点，确定待处理图像中的牙列的拟合线；
利用该牙列的拟合线对待处理图像进行调整，得到处理后的图像。
针对不同的口腔区域，规范化处理的方式不同。以下分别介绍对应针对门牙区域和非门牙区域的规范化处理方式。
第一种，针对门牙区域：
图5是在不同视点(viewpoint)拍摄得到的针对门牙区域的牙齿图像视图。视点可以认为是图像采集装置拍摄图像时镜头所在的位置。观察图5可以发现，由于图像采集时设备姿态的差异，各图像中牙列中心点连线的朝向不一致，规范化处理就是要将牙列调整为沿中心水平线排列的形式。定义图像水平方向为x方向，竖直方向为y方向。对于门牙区域，当拍摄视角(可以认为是视点与牙列中心点的连线)与牙列平面之间存在夹角时，拍摄出的牙齿图像中牙齿中心点呈现近似抛物线状排布。
抛物线函数的公式为：
y＝f(x)＝ax2+bx+c (1)
在一些示例中，对牙齿图像中各个牙齿的中心点进行拟合，可以得到待处理图像中的牙列的拟合线，对于门牙区域的待处理图像，该拟合线可以为抛物线。例如，利用上述公式(1)和各个牙齿的中心点坐标，采用最小二乘法，可以拟合得到牙列对应的抛物线，即确定出公式(1)中各个参数的值。
其中，抛物线的参数和拍摄视角与牙列平面的夹角(记为θ)相关。如图5所示，三幅口腔内窥镜图像均拍摄上牙的门牙区域，但其中牙齿排布呈现不同形状。这是由于拍摄视点(viewpoint)与牙列平面的三维空间位置关系不同导致的。假设视点与牙列中心点之间的距离均为r，三幅牙齿图像分别对应拍摄视角(可以认为是视点与牙列中心点的连线)与牙列平面平行、拍摄视角与牙列平面的夹角为45度、拍摄视角与牙列平面的夹角为90度的情况。可以发现，随着拍摄视角与牙列平面的夹角θ逐渐增大，牙列在图像中从直线排布趋于抛物线排布，且抛物线曲率a与夹角θ正相关。夹角θ与图像中呈现的抛物线曲率的关系为单调函数g(θ)，即如下公式(2)：
Figure BDA0003814411680000091
并且，g(0)＝0
由于g(θ)为单调函数，可以定义h为g的反函数，以获拍摄视角与牙列平面的夹角θ，即如下公式(3)：
θ＝h(a)＝invg(θ) (3)
在确定出牙齿中心点拟合得到的抛物线的曲率a的情况下，采用上述公式(3)，可以确定出拍摄视角与牙列平面的夹角θ。利用该夹角对待处理图像进行透视变换，得到透视变换图像，该透视变换图像对应的拍摄视角与牙列平面的夹角为0。
接着，在透视变换图像中的牙齿位于中心水平线位置的情况下，将透视变换图像作为处理后的图像；或者，在透视变换图像中的牙齿不位于中心水平线位置的情况下，将透视变换图像在垂直方向移动，使图像中的牙齿位于中心水平线位置，得到处理后的图像。
具体地，通过透视变换移动视点到θ＝0的位置，使得牙齿中心点连线由抛物线转为直线。并在y轴方向移动图像，使得中心点连线与图像中线重合。
透视变换(Perspective Transformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。简而言之，透视变换能够将图像投影到一个新的视角或平面上。
将牙齿图像中的牙齿中心线拟合为抛物线，符合门牙区域牙齿图像本身的特点，并且，采用透视算法能够方便地将抛物线图像转换成直线图像，因此这种规范化处理的方式简便易行，并且规范化处理之后的图像不影响牙齿本身的排列关系，且便于观察、归档、诊断等后续操作。
此外，在确定出抛物线的曲率a之后，利用上述公式(3)确定待处理图像的拍摄视角与牙列平面的夹角θ的具体方式可以包括：
将该抛物线的曲率输入预先训练的神经网络模型，由该神经网络模型输出待处理图像的拍摄视角与牙列平面的夹角。
该神经网络模型可以为全连接神经网络模型，该模型能够建立函数关系θ＝h(a)，或记为θ＝h(a，w)，其中w是函数的可训练参数。图6是本公开一实施例建立抛物线参数a和拍摄视角与牙列平面的夹角θ的对应关系的过程示意图，包括：
S610：在三维(3D)口腔模型上随机选取视点角度θ，并生成模拟的牙齿图像；
S620：利用该模拟的牙齿图像提取牙位中心点；
S630：确定牙齿中心点拟合得到的抛物线的参数a，b，c；
S640：由一个全连接神经网络实现函数θ＝h(a，w)，设其输出为θ′；
S650：调节函数θ＝h(a，w)的参数w，使得θ与θ′的差异越小越好；例如，计算函数argmin(MSE(θ，θ′))，其中，MSE(θ，θ′)表示计算θ和θ′的均方误差；argmin(MSE(θ，θ′))表示MSE(θ，θ′)取值最小时的参数值；
若θ与θ′的差异小于预期阈值，如MSE(θ，θ′)小于预期阈值，则跳出循环，即执行步骤S660；否则，返回步骤S610；
S660：获得最终确定的参数w*，进而获得函数h(a，w*)。
由于拍摄视角与牙列平面夹角θ和抛物线曲率a的关系为单调函数，因此上述神经网络模型的训练方式简单、且结构简单。采用该神经网络模型，能够快速地根据抛物线曲率确定出拍摄视角与牙列平面的夹角，提高对图像进行规范化处理的效率。
第二种，针对非门牙区域：
对于非门牙区域，例如后槽牙、尖牙等区域的牙齿图像，这些牙齿在图像中的排布近似为一条直线，但直线与水平中心线存在夹角和截距。基于该特点，本方案采用以下步骤调整图像：
对待处理图像各个牙齿的中心点进行拟合，得到待处理图像中的牙列的拟合线；对于非门牙区域的待处理图像，该拟合线可以为直线；
利用该直线的斜率和截距，对待处理图像进行旋转和/或垂直方向移动，得到处理后的图像。
例如，利用各个牙齿的中心点坐标，采用最小二乘法获取直线解析方程，如以下公式(4)：
y＝f(x)＝kx+b (4)
其中k，b为参数，分别代表夹角牙齿中心点拟合得到的直线的斜率和截距：
采用最小二乘法确定的直线表达函数，使以下公式中L的取值最小化，
Figure BDA0003814411680000111
其中，yi表示第i个牙齿中心点的纵坐标，f(xi)表示对第i个牙齿中心点的横坐标采用函数(4)进行计算得到的数值，也就是拟合得到的直线上第i个牙齿中心点对应的纵坐标。
确定出该直线的斜率和截距后，可以确定出该直线与水平线的夹角angle，如公式(5)：
Figure BDA0003814411680000112
之后，以图像中心点为中心，将原始图像旋转-angle度，使得拟合直线与水平中线平行；将相同的变换过程应用至各个牙齿的中心点坐标，使得旋转后图像与牙齿的中心点对应。
之后，可以重新拟合牙齿中心点对应的直线，该直线的斜率k＝0，截距为b；根据截距b将图像沿竖直方向平移，使得最终处理得到的图像的牙齿中心点连线与中心水平线重合。
可见，将牙齿图像中的牙齿中心线拟合为直线，符合非门牙区域牙齿图像本身的特点，并且，采用简便的算法能够该直线转换为位于水平中心线的直线。因此这种规范化处理的方式简便易行，并且规范化处理之后的图像不影响牙齿本身的排列关系，便于观察、归档、诊断等。
图7A和图7B显示了本公开实施例将直线牙列规范化处理的效果。其中，图7A是对应非门牙区域的原始图像，图7A中，多个牙齿中心点大体构成一条直线，但该直线存在倾斜。图7B是对应非门牙区域的规范化处理后的图像，图7B中，通过将对原始图像进行倾斜和垂直方向移动，得到与牙齿中心线的连线与中心水平线重合的图像。
以上介绍了针对不同牙齿区域，对原始图像进行规范化处理的具体实现方式。在得到处理后的图像后，本公开实施例可以对两个或多个处理后的图像进行配准，得到配准后的图像。
图像配准是图像处理的基本任务之一，用于将不同时间拍摄的关于同一目标或场景的两幅或多幅图像进行主要是几何意义上的匹配的过程。本公开实施例中，将处理后的图像进行配准，可以使配准后的两个或多个图像中、同一牙齿处于图像中同样的位置。
在一些实施方式中，可以从上述多个处理后的图像中选择(如随机选择)一个作为第一图像，将其余处理后的图像作为第二图像；确定第一图像所包含的各个牙齿的第一前景区域；
之后，针对各个第二图像，可以分别执行以下步骤：
确定第二图像所包含的各个牙齿的第二前景区域；
利用第一前景区域与第二前景区域的重合度，确定第二图像相对于第一图像的偏移值；
根据该偏移值移动第二图像，得到配准后的图像。
可见，上述过程是将第一图像作为基准图像，在配准过程中，移动其余图像(即第二图像)，使其余图像与第一图像配准。上述配准过程中，虽然没有移动第一图像，但是为了便于记录，在所有的第二图像配准完成之后，第一图像也可以称为配准后的图像。
具体地，利用第一前景区域与第二前景区域的重合度，确定第二图像相对于第一图像的偏移值，可以包括：
按照不同的匹配方式，对第一前景图像与第二前景图像进行匹配；
针对不同匹配方式，计算第一前景图像与第二前景图像的重合度；
确定重合度最高的匹配方式；
根据重合度最高的匹配方式，确定两个处理后的图像之间的偏移值。
例如，图像A和图像B是两个经过规范化处理后的图像。图像A的牙齿中心点的集合为
Figure BDA0003814411680000131
图像B的牙齿中心点的集合
Figure BDA0003814411680000132
分别按照X轴坐标升序排列。即，图像A中牙齿中心点从左到右依次为：
Figure BDA0003814411680000133
图像B中牙齿中心点从左到右依次为：
Figure BDA0003814411680000134
如果NA＝NB，也就是图像A中包含的牙齿与图像B中包含的牙齿个数相同。那么，可以优先从如下的三种匹配方式中选择对应牙列分割前景区域重合度最高的组合：
方式一：
Figure BDA0003814411680000135
图8A是根据本公开一实施例匹配方式一的示意图。如图8A所示，图像A中的第1个牙齿与图像B中的第1个牙齿匹配，图像A中的第2个牙齿与图像B中的第2个牙齿匹配，直至图像A中的最后一个牙齿与图像B中的最后一个牙齿匹配。
方式二：
Figure BDA0003814411680000136
图8B是根据本公开一实施例匹配方式二的示意图。如图8B所示，图像A中的第2个牙齿与图像B中的第1个牙齿匹配，图像A中的第3个牙齿与图像B中的第2个牙齿匹配，直至图像A中的最后一个牙齿与图像B中的倒数第2个牙齿匹配。
方式三：
Figure BDA0003814411680000137
图8C是根据本公开一实施例匹配方式三的示意图。如图8C所示，图像A中的第1个牙齿与图像B中的第2个牙齿匹配，图像A中的第2个牙齿与图像B中的第3个牙齿匹配，直至图像A中的倒数第2个牙齿与图像B中的最后一个牙齿匹配。
计算对应牙列分割前景区域重合度，可以针对上述各个匹配方式，计算不同图像中、具有匹配关系的牙齿图像面积的交并比，交并比越大，则重合度越高。例如，针对方式一，计算图像A中的第1个牙齿对应的区域与图像B中的第1个牙齿对应的区域的交并比，记为L1；计算图像A中的第2个牙齿对应的区域与图像B中的第2个牙齿对应的区域的交并比，记为L2；直至计算图像A中的最后一个牙齿对应的区域与图像B中的最后一个区域对应的面积的交并比，记为Ln。对前述几个交并比求和或求并均值，得到的结果越大，表明重合度越高。
假定图像A和图像B采用方式一确定的重合度最高，则根据图像A和图像B中同一牙齿的坐标，确定两个图像之间的水平偏移值。例如，图像A中第1个牙齿的坐标为(x1，y)，图像B中第1个牙齿的坐标为(x2，y)，其中x1＜x2，则说明图像A相对于图B偏左，则可以将图像A向右移动x2-x1，以使得配准后得到的两个图像中，同一牙齿处于同样的位置。
如果NA＜NB，也就是图像A中包含的牙齿小于图像B中包含的牙齿个数，其匹配方式可以参见图8D，如图8D所示，可以依次计算
Figure BDA0003814411680000141
的分割区域重合度，并建立重合度最高的匹配组合
Figure BDA0003814411680000142
利用该匹配组合确定图像A和图像B之间的水平偏移值，并对其中的一个或两个图像进行水平方向移动，得到配准后的图像。
可见，上述实施方式中，利用了不同牙齿的形状不同这一特性，计算两个处理后的图像之间牙齿的前景区域的重合度；在不同的匹配方式中，重合度最高(并且高于预定阈值)的匹配方式，可以认为是真实的匹配方式。这种匹配方式下，根据相同牙齿在不同图像中的位置能够方便地确定出两个图像之间的偏移值，从而进行配准。因此，这种配准方式简便、准确且高效。
在一些实施方式中，在水平偏移之后，还可以对图像A或图像B进行垂直方向的压缩或拉伸，使两个图像的前景区域重合度最高。
本公开实施例还提出一种牙齿图像的处理装置，图9是根据本公开一实施例的一种牙齿图像的处理装置900的结构示意图，包括：
处理模块910，用于将至少两个待处理图像分别进行规范化处理，得到至少两个处理后的图像，该处理后的图像中的牙齿按照预定方式排布；
配准模块920，用于将至少两个处理后的图像进行配准，得到至少两个配准后的图像，使同一牙齿在至少两个配准后的图像中的位置相同。
在一些实施方式中，该处理后的图像中的牙齿按照预定方式排布，包括：
该处理后的图像中的牙齿按照水平方向排列，并且位于该处理后的图像的中心水平线位置。
在一些实施方式中，至少两个待处理图像为针对同一口腔区域的图像；
图10是根据本公开一实施例的一种牙齿图像的处理装置1000的结构示意图，如图10所示，处理模块910，包括：
确定子模块911，用于利用该待处理图像中各个牙齿的中心点，确定该待处理图像中的牙列的拟合线；
调整子模块912，用于利用牙列的拟合线，对该待处理图像进行调整，得到处理后的图像。
在一些实施方式中，该同一口腔区域包括门牙区域；
该确定子模块911，用于对该各个牙齿的中心点进行拟合，得到该待处理图像中的牙列的拟合线，该牙列的拟合线为抛物线。
在一些实施方式中，调整子模块912用于：
利用该抛物线的曲率，确定该待处理图像的拍摄视角与牙列平面的夹角；
利用该夹角对该待处理图像进行透视变换，得到透视变换图像，该透视变换图像对应的拍摄视角与该牙列平面的夹角为0；
在该透视变换图像中的牙齿位于中心水平线位置的情况下，将该透视变换图像作为该处理后的图像；或者，在该透视变换图像中的牙齿不位于中心水平线位置的情况下，将该透视变换图像在垂直方向移动，得到该处理后的图像。
在一些实施方式中，该调整子模块912，用于将该抛物线的曲率输入预先训练的神经网络模型，由该神经网络模型输出该待处理图像的拍摄视角与牙列平面的夹角。
在一些实施方式中，该同一口腔区域包括非门牙区域；
确定子模块911，用于对该各个牙齿的中心点进行拟合，得到该待处理图像中的牙列的拟合线，该拟合线为直线。
在一些实施方式中，该调整子模块912，用于利用该直线的斜率和截距，对该待处理图像进行旋转和/或移动，得到该处理后的图像。
在一些实施方式中，该配准模块920，包括：
前景区域确定子模块921，用于确定第一图像所包含的各个牙齿的第一前景区域和第二图像所包含的各个牙齿的第二前景区域，其中，第一图像是至少两个处理后的图像中的一个图像，第二图像是至少两个处理后的图像中、除第一图像以外的图像；
偏移值确定子模块922，用于利用第一前景区域与第二前景区域的重合度，确定第二图像相对于第一图像的偏移值；
移动子模块923，用于根据该偏移值移动第二图像，得到配准后的图像。
在一些实施方式中，该偏移值确定子模块922用于：
按照不同的匹配方式，对第一前景图像与第二前景图像进行匹配；针对不同匹配方式，计算该第一前景图像与该第二前景图像的重合度；确定该重合度最高的匹配方式；根据该重合度最高的匹配方式，确定两个处理后的图像之间的偏移值。
如图10所示，在一些实施方式中，本公开实施例提出的一种牙齿图像的处理装置1000，还包括第一中心点确定模块1030，用于：
针对至少两个待处理图像中的各个待处理图像，将该待处理图像输入预先训练的第一模型，得到该第一模型输出的牙列轮廓图像；
将该牙列轮廓图像进行腐蚀处理，得到多个第一区域，每个第一区域对应一个牙齿；
确定各个第一区域的中心点，将确定出的中心点作为对应牙齿的中心点。
在一些实施方式中，本公开实施例提出的一种牙齿图像的处理装置1000，还包括第二中心点确定模块1040，用于：
针对至少两个待处理图像中的各个待处理图像，将该待处理图像输入预先训练的第二模型，得到该第二模型输出的多个第二区域，每个第二区域对应一个牙齿；
确定各个该第二区域的中心点，将确定出的中心点作为对应牙齿的中心点。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如牙齿图像的处理方法。例如，在一些实施例中，牙齿图像的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的牙齿图像的处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行牙齿图像的处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (27)

1.一种牙齿图像的处理方法，包括：
将至少两个待处理图像分别进行规范化处理，得到至少两个处理后的图像，所述处理后的图像中的牙齿按照预定方式排布；
将所述至少两个处理后的图像进行配准，得到至少两个配准后的图像，使同一牙齿在所述至少两个配准后的图像中的位置相同。
2.根据权利要求1所述的方法，其中，所述处理后的图像中的牙齿按照预定方式排布，包括：
所述处理后的图像中的牙齿按照水平方向排列，并且位于所述处理后的图像的中心水平线位置。
3.根据权利要求1或2所述的方法，其中，所述至少两个待处理图像为针对同一口腔区域的图像；
所述将至少两个待处理图像分别进行规范化处理，包括：
针对所述至少两个待处理图像中的各个待处理图像，分别进行以下处理：
利用所述待处理图像中各个牙齿的中心点，确定所述待处理图像中的牙列的拟合线；
利用所述牙列的拟合线对所述待处理图像进行调整，得到处理后的图像。
4.根据权利要求3所述的方法，其中，所述同一口腔区域包括门牙区域；
所述利用所述待处理图像中各个牙齿的中心点，确定所述待处理图像中的牙列的拟合线，包括：
对所述各个牙齿的中心点进行拟合，得到所述待处理图像中的牙列的拟合线，所述牙列的拟合线为抛物线。
5.根据权利要求4所述的方法，其中，所述利用所述牙列的拟合线对所述待处理图像进行调整，得到处理后的图像，包括：
利用所述抛物线的曲率，确定所述待处理图像的拍摄视角与牙列平面的夹角；
利用所述夹角对所述待处理图像进行透视变换，得到透视变换图像，所述透视变换图像对应的拍摄视角与所述牙列平面的夹角为0；
在所述透视变换图像中的牙齿位于中心水平线位置的情况下，将所述透视变换图像作为所述处理后的图像；或者，在所述透视变换图像中的牙齿不位于中心水平线位置的情况下，将所述透视变换图像在垂直方向移动，得到所述处理后的图像。
6.根据权利要求5所述的方法，其中，所述利用所述抛物线的曲率，确定所述待处理图像的拍摄视角与牙列平面的夹角，包括：
将所述抛物线的曲率输入预先训练的神经网络模型，由所述神经网络模型输出所述待处理图像的拍摄视角与牙列平面的夹角。
7.根据权利要求3所述的方法，其中，所述同一口腔区域包括非门牙区域；
所述利用所述待处理图像中各个牙齿的中心点，确定所述待处理图像中的牙列的拟合线，包括：
对所述各个牙齿的中心点进行拟合，得到所述待处理图像中的牙列的拟合线，所述拟合线为直线。
8.根据权利要求7所述的方法，其中，所述利用所述牙列的拟合线对所述待处理图像进行调整，得到处理后的图像，包括：
利用所述直线的斜率和截距，对所述待处理图像进行旋转和/或移动，得到所述处理后的图像。
9.根据权利要求1-8中任一所述的方法，其中，所述将所述至少两个处理后的图像进行配准，包括：
将所述至少两个处理后的图像中的一个处理后的图像作为第一图像，将其余处理后的图像作为第二图像；确定所述第一图像所包含的各个牙齿的第一前景区域；
针对各个所述第二图像，分别执行以下步骤：
确定所述第二图像所包含的各个牙齿的第二前景区域；
利用所述第一前景区域与所述第二前景区域的重合度，确定所述第二图像相对于所述第一图像的偏移值；
根据所述偏移值移动所述第二图像，得到配准后的图像。
10.根据权利要求9所述的方法，其中，所述利用所述第一前景区域与所述第二前景区域的重合度，确定所述第二图像相对于所述第一图像的偏移值，包括：
按照不同的匹配方式，对所述第一前景图像与所述第二前景图像进行匹配；
针对不同匹配方式，计算所述第一前景图像与所述第二前景图像的重合度；
确定所述重合度最高的匹配方式；
根据所述重合度最高的匹配方式，确定所述两个处理后的图像之间的偏移值。
11.根据权利要求3-8中任一所述的方法，还包括：
针对所述至少两个待处理图像中的各个待处理图像，将所述待处理图像输入预先训练的第一模型，得到所述第一模型输出的牙列轮廓图像；
将所述牙列轮廓图像进行腐蚀处理，得到多个第一区域，每个所述第一区域对应一个牙齿；
确定各个所述第一区域的中心点，将确定出的中心点作为对应牙齿的中心点。
12.根据权利要求3-8中任一所述的方法，还包括：
针对所述至少两个待处理图像中的各个待处理图像，将所述待处理图像输入预先训练的第二模型，得到所述第二模型输出的多个第二区域，每个所述第二区域对应一个牙齿；
确定各个所述第二区域的中心点，将确定出的中心点作为对应牙齿的中心点。
13.一种牙齿图像的处理装置，包括：
处理模块，用于将至少两个待处理图像分别进行规范化处理，得到至少两个处理后的图像，所述处理后的图像中的牙齿按照预定方式排布；
配准模块，用于将所述至少两个处理后的图像进行配准，得到至少两个配准后的图像，使同一牙齿在所述至少两个配准后的图像中的位置相同。
14.根据权利要求13所述的装置，其中，所述处理后的图像中的牙齿按照预定方式排布，包括：
所述处理后的图像中的牙齿按照水平方向排列，并且位于所述处理后的图像的中心水平线位置。
15.根据权利要求13或14所述的装置，其中，所述至少两个待处理图像为针对同一口腔区域的图像；
所述处理模块，包括：
确定子模块，用于利用所述待处理图像中各个牙齿的中心点，确定所述待处理图像中的牙列的拟合线；
调整子模块，用于利用所述牙列的拟合线，对所述待处理图像进行调整，得到处理后的图像。
16.根据权利要求15所述的装置，其中，所述同一口腔区域包括门牙区域；
所述确定子模块，用于对所述各个牙齿的中心点进行拟合，得到所述待处理图像中的牙列的拟合线，所述牙列的拟合线为抛物线。
17.根据权利要求16所述的装置，其中，调整子模块用于：
利用所述抛物线的曲率，确定所述待处理图像的拍摄视角与牙列平面的夹角；
利用所述夹角对所述待处理图像进行透视变换，得到透视变换图像，所述透视变换图像对应的拍摄视角与所述牙列平面的夹角为0；
在所述透视变换图像中的牙齿位于中心水平线位置的情况下，将所述透视变换图像作为所述处理后的图像；或者，在所述透视变换图像中的牙齿不位于中心水平线位置的情况下，将所述透视变换图像在垂直方向移动，得到所述处理后的图像。
18.根据权利要求17所述的装置，其中，所述调整子模块，用于将所述抛物线的曲率输入预先训练的神经网络模型，由所述神经网络模型输出所述待处理图像的拍摄视角与牙列平面的夹角。
19.根据权利要求15所述的装置，其中，所述同一口腔区域包括非门牙区域；
确定子模块，用于对所述各个牙齿的中心点进行拟合，得到所述待处理图像中的牙列的拟合线，所述拟合线为直线。
20.根据权利要求19所述的装置，其中，所述调整子模块，用于利用所述直线的斜率和截距，对所述待处理图像进行旋转和/或移动，得到所述处理后的图像。
21.根据权利要求13-20中任一所述的装置，其中，所述配准模块，包括：
前景区域确定子模块，用于确定第一图像所包含的各个牙齿的第一前景区域和第二图像所包含的各个牙齿的第二前景区域，其中，所述第一图像是所述至少两个处理后的图像中的一个图像，所述第二图像是所述至少两个处理后的图像中、除所述第一图像以外的图像；
偏移值确定子模块，用于利用所述第一前景区域与所述第二前景区域的重合度，确定所述第二图像相对于所述第一图像的偏移值；
移动子模块，用于根据所述偏移值移动所述第二图像，得到配准后的图像。
22.根据权利要求21所述的装置，其中，所述偏移值确定子模块用于：
按照不同的匹配方式，对所述第一前景图像与所述第二前景图像进行匹配；针对不同匹配方式，计算所述第一前景图像与所述第二前景图像的重合度；确定所述重合度最高的匹配方式；根据所述重合度最高的匹配方式，确定所述两个处理后的图像之间的偏移值。
23.根据权利要求15-20中任一所述的装置，还包括第一中心点确定模块，用于：
针对所述至少两个待处理图像中的各个待处理图像，将所述待处理图像输入预先训练的第一模型，得到所述第一模型输出的牙列轮廓图像；
将所述牙列轮廓图像进行腐蚀处理，得到多个第一区域，每个所述第一区域对应一个牙齿；
确定各个所述第一区域的中心点，将确定出的中心点作为对应牙齿的中心点。
24.根据权利要求15-20中任一所述的装置，还包括第二中心点确定模块，用于：
针对所述至少两个待处理图像中的各个待处理图像，将所述待处理图像输入预先训练的第二模型，得到所述第二模型输出的多个第二区域，每个所述第二区域对应一个牙齿；
确定各个所述第二区域的中心点，将确定出的中心点作为对应牙齿的中心点。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的方法。
CN202211024407.9A 2022-08-24 2022-08-24 一种牙齿图像的处理方法、装置、电子设备及存储介质 Active CN115457093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211024407.9A CN115457093B (zh) 2022-08-24 2022-08-24 一种牙齿图像的处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211024407.9A CN115457093B (zh) 2022-08-24 2022-08-24 一种牙齿图像的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115457093A true CN115457093A (zh) 2022-12-09
CN115457093B CN115457093B (zh) 2024-03-22

Family

ID=84298358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211024407.9A Active CN115457093B (zh) 2022-08-24 2022-08-24 一种牙齿图像的处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115457093B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315161A (zh) * 2023-10-31 2023-12-29 广州穗华口腔门诊部有限公司 一种用于数字化牙齿模型的图像采集处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080626A (ja) * 2004-09-07 2006-03-23 Aisin Seiki Co Ltd 広角画像の補正方法及び車両の周辺監視システム
US20130044932A1 (en) * 2008-05-23 2013-02-21 Eyeic, Inc. System and method for detecting and tracking change in dental x-rays and dental images
CN105608747A (zh) * 2015-12-17 2016-05-25 首都师范大学 一种从三维牙科锥形束ct数据中提取全景图的方法
CN113570645A (zh) * 2021-01-19 2021-10-29 腾讯科技（深圳）有限公司 图像配准方法、装置、计算机设备及介质
CN113808175A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像配准方法、装置、设备及可读存储介质
US20220122264A1 (en) * 2018-12-28 2022-04-21 Trophy Sas Tooth segmentation using tooth registration
WO2022141262A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Object detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080626A (ja) * 2004-09-07 2006-03-23 Aisin Seiki Co Ltd 広角画像の補正方法及び車両の周辺監視システム
US20130044932A1 (en) * 2008-05-23 2013-02-21 Eyeic, Inc. System and method for detecting and tracking change in dental x-rays and dental images
CN105608747A (zh) * 2015-12-17 2016-05-25 首都师范大学 一种从三维牙科锥形束ct数据中提取全景图的方法
US20220122264A1 (en) * 2018-12-28 2022-04-21 Trophy Sas Tooth segmentation using tooth registration
WO2022141262A1 (en) * 2020-12-30 2022-07-07 SZ DJI Technology Co., Ltd. Object detection
CN113570645A (zh) * 2021-01-19 2021-10-29 腾讯科技（深圳）有限公司 图像配准方法、装置、计算机设备及介质
CN113808175A (zh) * 2021-08-31 2021-12-17 数坤（北京）网络科技有限公司 一种图像配准方法、装置、设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315161A (zh) * 2023-10-31 2023-12-29 广州穗华口腔门诊部有限公司 一种用于数字化牙齿模型的图像采集处理系统
CN117315161B (zh) * 2023-10-31 2024-03-29 广州穗华口腔门诊部有限公司 一种用于数字化牙齿模型的图像采集处理系统

Also Published As

Publication number Publication date
CN115457093B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
WO2021115071A1 (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN110070564B (zh) 一种特征点匹配方法、装置、设备及存储介质
CN110751719B (zh) 乳房三维点云重建方法、装置、存储介质及计算机设备
CN108363995B (zh) 用于生成数据的方法和装置
US20160199147A1 (en) Method and apparatus for coordinating position of surgery region and surgical tool during image guided surgery
CN111783605B (zh) 一种人脸图像识别方法、装置、设备及存储介质
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN112382359B (zh) 患者注册方法、装置、电子设备及计算机可读介质
WO2016165614A1 (zh) 一种即时视频中的表情识别方法和电子设备
JP2021174554A (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
CN115457093B (zh) 一种牙齿图像的处理方法、装置、电子设备及存储介质
CN111860388A (zh) 图像处理方法及装置、电子设备和存储介质
CN111145259A (zh) 自动校准的系统和方法
CN115661493B (zh) 一种对象位姿的确定方法及装置、设备及存储介质
US10765297B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
CN113643328B (zh) 标定物的重建方法、装置、电子设备及计算机可读介质
CN115797416A (zh) 基于点云图像的图像重建方法、装置、设备及存储介质
CN113140031B (zh) 三维影像建模系统、方法及应用其的口腔扫描设备
CN108446653B (zh) 用于处理面部图像的方法和装置
CN113408551A (zh) 指针仪表读数的识别方法、系统、设备及计算机存储介质
CN112053349A (zh) 一种用于法医鉴定的伤情图像处理方法
CN113450398B (zh) 标定物中的标记物的匹配方法、装置、设备及可读介质
CN115456875A (zh) 一种图像处理方法、装置、设备以及存储介质
CN112991179B (zh) 用于输出信息的方法、装置、设备以及存储介质
CN116492082B (zh) 基于三维模型的数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant