CN110363750B - 一种基于多模态数据融合的牙根管形态自动提取方法 - Google Patents

一种基于多模态数据融合的牙根管形态自动提取方法 Download PDF

Info

Publication number
CN110363750B
CN110363750B CN201910575125.XA CN201910575125A CN110363750B CN 110363750 B CN110363750 B CN 110363750B CN 201910575125 A CN201910575125 A CN 201910575125A CN 110363750 B CN110363750 B CN 110363750B
Authority
CN
China
Prior art keywords
image
tooth
cbct
micro
root canal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910575125.XA
Other languages
English (en)
Other versions
CN110363750A (zh
Inventor
邹峥
刘石坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN201910575125.XA priority Critical patent/CN110363750B/zh
Publication of CN110363750A publication Critical patent/CN110363750A/zh
Application granted granted Critical
Publication of CN110363750B publication Critical patent/CN110363750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于多模态数据融合的牙根管形态自动提取方法，通过学习高分辨的离体牙齿图像获取更多信息，来补充目前活体牙齿CBCT图像的信息不足。主要包括：对CBCT图像实施上采样，将其图像分辨率提升到目标微CT图像的图像分辨率；选取图像中的根管感兴趣区域，去除根管无关数据；变换离体微CT图像，使其与CBCT图像中的目标在空间对齐；针对感兴趣区域提取CBCT图像的纹理特征以及灰度一阶特征；将微CT的手工分割结果和CBCT图像的图像特征作为输入，利用极端随机树分类器构建牙齿分类模型；对活体CBCT图像上采样，选取感兴趣区域，提取图像特征，将其作为牙齿分类模型的输入，获得牙齿超分辨率边界，并对其三维重建，得到精确的牙根三维模型。

Description

一种基于多模态数据融合的牙根管形态自动提取方法
技术领域
本发明涉及医学图像分析及计算机辅助技术领域，尤其涉及一种基于多模态数据融合的牙根管形态自动提取方法。
背景技术
在口腔临床上，掌握牙根管的正确形态是保证根管治疗手术成功的关键。但目前根管形态完全依赖医生经验，这种借助器械的不可视的人工探索常常存在的盲点，可能造成部分根管遗漏，导致消毒不彻底或填充不严密，最终造成根管治疗失败。实现根管形态提取自动化可以从治疗前期提高根管制备的成功率，减少反复治疗降低病人痛苦。根管起点从牙冠髓室开始，延伸到牙根根尖与外界互通，其复杂的解剖学结构使根管提取面临许多挑战：根管深藏于高度矿化牙体硬组织内，其外形不可见；根管存在多个分支，分支又可能存在融合，或可能继续分支，总体上形成了一个复杂的根管分布网络；口腔不同位置的牙齿的根管数量性化差异明显；考虑到适量的辐射剂量问题，现有口腔扫描设备最常用的是CBCT(Cone Beam Computed Tomography)，相比用于标本扫描的微CT(Micro ComputedTomography)，该设备图像分辨率较低，特别是牙根部分，由于其骨密度相比牙冠较小，且牙根周围有骨密度相似的牙槽骨，导致牙根模糊较难精确辨认。
发明内容
本发明针对根管解剖学结构的特殊性以及目前口腔图像分辨率较低的现状，，提供一种基于多模态数据融合的牙根管形态自动提取方法。
本发明采用的技术方案是：
一种基于多模态数据融合的牙根管形态自动提取方法，其包括以下步骤：
步骤1，将离体CBCT图像的图像分辨率进行图像上采样提升到离体微CT图像的图像分辨率；
步骤2，对齐离体CBCT图像和离体微CT图像；调整离体微CT图像使得离体微CT图像中的牙齿目标和离体CBCT图像中的牙齿目标对齐；
步骤3，在离体微CT图像上手工标注选取的根管感兴趣区域；
步骤4，对原始CBCT图像和上采样后的CBCT图像的感兴趣区域提取图像特征；
步骤5，利用极端随机树构建点的特征和点的响应映射构建牙齿分类模型；
步骤6，将活体CBCT图像按步骤1至4处理后获取对应的图像特征并输入牙齿分类模型；牙齿分类模型预测活体CBCT图像的图像特征进行分获取超分辨率牙签边界并对牙齿编辑进行三维重建得到根管模型。
所述步骤1中采用三次B样条插值方法实现CBCT图像的图像分辨率提升到目标微CT图像的图像分辨率，也可选用插值方法实现，例如线性插值，这对后续操作没有影响。
所述步骤2中，采用归一化互信息法来完成CBCT图像和微CT图像的刚性配准，变换调整微CT图像使其和CBCT图像在空间上对齐。
所述步骤3中，因为要处理的部分只有图像中的牙齿的部分，采用一种基于牙齿轮廓区域的感兴趣区域提取方法，这样感兴趣区域可以根据图像中牙齿位置不同而自适应变化，最大程度地减少计算量。我们对上采样后的CBCT图像进基本的阈值分割法，便可获取牙齿区域作为感兴趣区域。
所述步骤4中，提取一系列纹理的特征：素灰度值的均值和方差以及7个灰度共生矩阵特征参数，其中包含：能量，纹理对比度，纹理相关，纹理熵，逆差分距，惯性矩，显著聚类；同时，特征提取的统计区域以图像块为划分单元进行，因此需要预先将感兴趣区域划分成许多具有相同尺寸的图像块，其尺寸为7×7，并按块计算特征，获得相应特征向量；
所述步骤5中，利用极端随机树构建点的特征和点的响应映射即建立分类模型。步骤5中每张图像被划分成M个图像块，其训练集为T＝{(Vi,Ri)|i＝1,…,M}，针对各个图像块提取n个分量的特征向量Vi＝(v1,…vn)，相关响应Ri∈{0,1}代表着图像块i中对应的中心像素点的归属标记；当该点为背景点则响应值为0，当该点为牙齿像素点则响应值为1；对微CT图像的实施手工分割，并将其结果和CBCT图像提取的特征作为极端随机树的输入，通过训练得到牙齿分类模型。
所述步骤6中，首先，使用B样条插值方法对活体CBCT图像上采样，使其图像分辨率和微CT图像相同；然后，对CBCT图像采用阈值分割方法获取牙齿感兴趣区域；接下来，提取CBCT图像的像素灰度值均值以及灰度共生矩阵等图像特征，获得图像特征向量。
本发明采用以上技术方案，具有如下优点：(1)本发明可以实现牙根形态的自动提取，鲁棒性好，实现方便。(2)本发明的基于牙齿初分割提取感兴趣区域的方法，能自适应地去除了牙齿无关数据，有效地提升系统效率。(3)本发明在较低分辨率的CBCT图像基础上，通过学习离体高分辨微CT图像牙齿信息来补充现有图像信息，无需提高辐射量或增加额外设备，也能获取精确的牙根信息。(4)本发明对研究根管病变过程提供了可视化的依据，同时在根管治疗前期提高根管制备的成功率，降低病人痛苦。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于多模态数据融合的牙根管形态自动提取方法的流程示意图。
具体实施方式
如图1所示，本发明公开了一种基于多模态数据融合的牙根管形态自动提取方法，其包括以下步骤：
步骤1，将离体CBCT图像的图像分辨率进行图像上采样提升到离体微CT图像的图像分辨率；
步骤2，对齐离体CBCT图像和离体微CT图像；调整离体微CT图像使得离体微CT图像中的牙齿目标和离体CBCT图像中的牙齿目标对齐；
步骤3，在离体微CT图像上手工标注选取的根管感兴趣区域；
步骤4，对原始CBCT图像和上采样后的CBCT图像的感兴趣区域提取图像特征；
步骤5，利用极端随机树构建点的特征和点的响应映射构建牙齿分类模型；
步骤6，将活体CBCT图像按步骤1至4处理后获取对应的图像特征并输入牙齿分类模型；牙齿分类模型预测活体CBCT图像的图像特征进行分获取超分辨率牙签边界并对牙齿编辑进行三维重建得到根管模型。
所述步骤1中采用三次B样条插值方法实现CBCT图像的图像分辨率提升到目标微CT图像的图像分辨率，也可选用插值方法实现，例如线性插值，这对后续操作没有影响。具体地，作为一种较优的实施方式，在进行图像插值时，采用4个点作为B样条插值的控制点，并取4个像素点对应的灰度值的均值作为被插值像素点的灰度值。
所述步骤2中，采用归一化互信息法来完成CBCT图像和微CT图像的刚性配准，变换调整微CT图像使其和CBCT图像在空间上对齐。
具体地，在对齐前预先在微CT图像上手工标注标记一些解剖学特征点如牙根尖，切嵴等，然后根据归一化互信息指标对微CT图像完成旋转、缩放、移动等一系列变换，使调整后的微CT图像中的牙齿目标和CBCT图像中的牙齿目标对齐。
所述步骤3中，因为要处理的部分只有图像中的牙齿的部分，采用一种基于牙齿轮廓区域的感兴趣区域提取方法，这样感兴趣区域可以根据图像中牙齿位置不同而自适应变化，最大程度地减少计算量。我们对上采样后的CBCT图像进基本的阈值分割法，便可获取牙齿区域作为感兴趣区域。
具体地，对上采样后的CBCT图像进基本的阈值分割法，阈值取190即可(牙齿像素最大灰度值为255)。为了避免感兴趣区域结果对阈值选取敏感，在获得的阈值分割结构基础上采用先腐蚀再膨胀的形态学开操作，其中形态学操作的结构元素大小为4×4。
所述步骤4中，提取一系列纹理的特征：素灰度值的均值和方差以及7个灰度共生矩阵特征参数，其中包含：能量，纹理对比度，纹理相关，纹理熵，逆差分距，惯性矩，显著聚类；同时，特征提取的统计区域以图像块为划分单元进行，因此需要预先将感兴趣区域划分成许多具有相同尺寸的图像块，其尺寸为7×7，并按块计算特征，获得相应特征向量。对原始CBCT图像和上采样后的CBCT图像的感兴趣区域提取灰度共生矩阵的特征参数，比只在原始CBCT图像提取特征可以得到更全面的特征信息。
所述步骤5中，利用极端随机树构建点的特征和点的响应映射即建立分类模型。极端随机树利用Python中Sklearn机器学习库实现，为了尽量降低无关特征，极端树的输入变量个数设置与特征向量分量个数相同。步骤5中每张图像被划分成M个图像块，其训练集为T＝{(Vi,Ri)|i＝1,…,M}，针对各个图像块提取n个分量的特征向量Vi＝(v1,…vn)，相关响应Ri∈{0,1}代表着图像块i中对应的中心像素点的归属标记；对微CT图像实施手工分割时，分割结果为一系列标注了值的像素点集合；当该点为背景点则响应值为0，当该点为牙齿像素点则响应值为1；并将其结果和CBCT图像提取的特征作为极端随机树的输入，通过训练得到牙齿分类模型。
所述步骤6中针对活体CBCT图像采用B样条插值方法采用4个控制像素点来对中心像素点插值；对活体CBCT图像上采样，使其图像分辨率和微CT图像相同；然后，对CBCT图像阈值分割中阈值选择为190分割获取牙齿感兴趣区域；接下来，提取CBCT图像的像素灰度值均值以及灰度共生矩阵等图像特征，获得图像特征向量，提取CBCT图像特征参数个数和离体CBCT图像特征个数一致。
最后，采用分类模型的获取分类结果，即得到像素点的响应值，根据响应值便可以得到图像中精确的牙齿区域，使用MarchingCube对其重建得到三维根管模型。
本发明采用以上技术方案，具有如下优点：(1)本发明可以实现牙根形态的自动提取，鲁棒性好，实现方便。(2)本发明的基于牙齿初分割提取感兴趣区域的方法，能自适应地去除了牙齿无关数据，有效地提升系统效率。(3)本发明在较低分辨率的CBCT图像基础上，通过学习离体高分辨微CT图像牙齿信息来补充现有图像信息，无需提高辐射量或增加额外设备，也能获取精确的牙根信息。(4)本发明对研究根管病变过程提供了可视化的依据，同时在根管治疗前期提高根管制备的成功率，降低病人痛苦。

Claims (5)

1.一种基于多模态数据融合的牙根管形态自动提取方法，其特征在于：其包括以下步骤：
步骤1，获取离体CBCT图像和离体微CT图像并将离体CBCT图像的图像分辨率进行图像上采样提升到离体微CT图像的图像分辨率；
步骤2，对齐离体CBCT图像和离体微CT图像；调整离体微CT图像使得离体微CT图像中的牙齿目标和离体CBCT图像中的牙齿目标对齐；
步骤3，在离体微CT图像上手工标注选取的根管感兴趣区域；
步骤4，对原始CBCT图像和上采样后的CBCT图像的感兴趣区域提取图像特征；感兴趣区域划分成若干具有相同尺寸的图像块，按图像块计算特征，获得相应特征向量；提取的图像特征包括基于灰度共生矩阵的纹理特征和像素灰度均值和方差；灰度共生矩阵的纹理特征包括7个矩阵特征参数，其包括能量、纹理对比度、纹理、纹理熵、逆差分距、惯性矩和显著聚类；
步骤5，利用极端随机树构建点的特征和点的响应映射构建牙齿分类模型；每张图像被划分成M个图像块，其训练集为T＝{(Vi,Ri)|i＝1,…,M}，针对各个图像块提取n个分量的特征向量Vi＝(v1,…vn)，相关响应Ri∈{0,1}代表着图像块i中对应的中心像素点的归属标记；当该点为背景点则响应值为0，当该点为牙齿像素点则响应值为1；对微CT图像的实施手工分割，并将其结果和CBCT图像提取的特征作为极端随机树的输入，通过训练得到牙齿分类模型；
步骤6，将活体CBCT图像按步骤1至4方法处理后获取对应的活体微CT图像的图像特征并输入牙齿分类模型；牙齿分类模型对活体CBCT图像的图像特征进行分类获取超分辨率牙齿边界并对牙齿编辑进行三维重建得到根管模型。
2.根据权利要求1所述的一种基于多模态数据融合的牙根管形态自动提取方法，其特征在于：步骤1中采用三次B样条插值方法将离体CBCT图像的图像分辨率提升到离体微CT图像的图像分辨率。
3.根据权利要求1所述的一种基于多模态数据融合的牙根管形态自动提取方法，其特征在于：步骤2中采用归一化互信息法来完成离体CBCT图像和离体微CT图像的刚性配准，变换调整离体微CT图像使其和离体CBCT图像在空间上对齐。
4.根据权利要求1所述的一种基于多模态数据融合的牙根管形态自动提取方法，其特征在于：步骤3中采用基于牙齿轮廓区域的感兴趣区域提取方法，根据图像中牙齿位置不同而自适应变化，对上采样后的CBCT图像进行基本的阈值分割法获取牙齿轮廓区域作为感兴趣区域。
5.根据权利要求1所述的一种基于多模态数据融合的牙根管形态自动提取方法，其特征在于：步骤6中，首先，使用B样条插值方法对活体CBCT图像上采样使其图像分辨率和微CT图像相同；然后对CBCT图像采用阈值分割方法获取牙齿感兴趣区域；再提取CBCT图像的像素灰度值均值以及灰度共生矩阵图像特征，获得图像特征向量。
CN201910575125.XA 2019-06-28 2019-06-28 一种基于多模态数据融合的牙根管形态自动提取方法 Active CN110363750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910575125.XA CN110363750B (zh) 2019-06-28 2019-06-28 一种基于多模态数据融合的牙根管形态自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910575125.XA CN110363750B (zh) 2019-06-28 2019-06-28 一种基于多模态数据融合的牙根管形态自动提取方法

Publications (2)

Publication Number Publication Date
CN110363750A CN110363750A (zh) 2019-10-22
CN110363750B true CN110363750B (zh) 2023-05-09

Family

ID=68216027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910575125.XA Active CN110363750B (zh) 2019-06-28 2019-06-28 一种基于多模态数据融合的牙根管形态自动提取方法

Country Status (1)

Country Link
CN (1) CN110363750B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927358A (zh) * 2021-03-10 2021-06-08 杭州美齐科技有限公司 一种基于多模态数据配准的自动化完整牙齿重建方法
CN116883246B (zh) * 2023-09-06 2023-11-14 感跃医疗科技(成都)有限公司 一种用于cbct图像的超分辨率方法
CN116912426B (zh) * 2023-09-11 2023-11-21 山东迈尔医疗科技有限公司 一种基于图像处理的义齿模型生成系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408734A (zh) * 2014-12-11 2015-03-11 山东师范大学 联合图像分割与形变配准技术的自适应目标区域转换方法
CN104574411A (zh) * 2015-01-22 2015-04-29 北京交通大学 一种基于离体牙cbct的龋齿图像处理方法
WO2016003257A2 (ko) * 2014-07-04 2016-01-07 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
WO2018214950A1 (en) * 2017-05-26 2018-11-29 Wuxi Ea Medical Instruments Technologies Limited Image segmentation method for teeth images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016003257A2 (ko) * 2014-07-04 2016-01-07 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
CN104408734A (zh) * 2014-12-11 2015-03-11 山东师范大学 联合图像分割与形变配准技术的自适应目标区域转换方法
CN104574411A (zh) * 2015-01-22 2015-04-29 北京交通大学 一种基于离体牙cbct的龋齿图像处理方法
WO2018214950A1 (en) * 2017-05-26 2018-11-29 Wuxi Ea Medical Instruments Technologies Limited Image segmentation method for teeth images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
.A semi-automatic segmentation for tooth on cone beam CT volume following the anatomic guidance;Zheng Zou et.al;《Journal of Information Hiding & Multimedia Signal Processing》;20170430;全文 *
Tooth Segmentation from Cone Beam Computed Tomography Images Using the Identified Root Canal and Harmonic Fields;ShiJian Liu et.al;《The Euro-China Conference on Intelligent Data Analysis and Applications》;20161231;全文 *

Also Published As

Publication number Publication date
CN110363750A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
US20200350059A1 (en) Method and system of teeth alignment based on simulating of crown and root movement
US11645746B2 (en) Dental image segmentation and registration with machine learning
CN110363750B (zh) 一种基于多模态数据融合的牙根管形态自动提取方法
Kainmueller et al. Automatic extraction of mandibular nerve and bone from cone-beam CT data
CN107808156A (zh) 感兴趣区域提取方法
CN107106117B (zh) 牙齿和牙槽骨的分割与重构方法及装置
CN112120810A (zh) 一种牙齿正畸隐型矫治器的三维数据生成方法
WO2005112563A2 (en) Virtual surgical system and methods
Kumar et al. Descriptive analysis of dental X-ray images using various practical methods: A review
CN110097557B (zh) 基于3D-UNet的医学图像自动分割方法及系统
US11704819B2 (en) Apparatus and method for aligning 3-dimensional data
CN112785609B (zh) 一种基于深度学习的cbct牙齿分割方法
CN112102495A (zh) 一种基于cbct影像的牙弓曲面生成方法
CN110610198A (zh) 一种基于Mask RCNN的口腔CBCT影像下颌神经管自动识别方法
CN114757960A (zh) 一种基于cbct图像的牙齿分割与重建方法及存储介质
JP2013236750A (ja) 画像処理装置、撮像システム、およびプログラム
US8352059B2 (en) Method for the manufacturing of a reproduction of an encapsulated head of a foetus and objects obtained by the method
Zhang et al. Jaw Segmentation from CBCT Images
Pavaloiu et al. Knowledge based segmentation for fast 3D dental reconstruction from CBCT
Pavaloiu et al. Automatic segmentation for 3D dental reconstruction
KR101657285B1 (ko) 초음파 치료 시뮬레이션시스템
EP3806034A1 (en) Segmentation device
Zhu et al. An algorithm for automatically extracting dental arch curve
CN111145353B (zh) 通过图像分割和网格特征点提取算法生成3d点云的方法
Păvăloiu et al. 3D dental reconstruction from CBCT data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant