CN116843648A - 基于锥形束ct影像的髁突骨改建三维自动定量测量系统 - Google Patents

基于锥形束ct影像的髁突骨改建三维自动定量测量系统 Download PDF

Info

Publication number
CN116843648A
CN116843648A CN202310809024.0A CN202310809024A CN116843648A CN 116843648 A CN116843648 A CN 116843648A CN 202310809024 A CN202310809024 A CN 202310809024A CN 116843648 A CN116843648 A CN 116843648A
Authority
CN
China
Prior art keywords
condyle
image
cone
segmentation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310809024.0A
Other languages
English (en)
Other versions
CN116843648B (zh
Inventor
傅开元
雷杰
李源
徐子能
丁鹏
白海龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University School of Stomatology
Original Assignee
Peking University School of Stomatology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University School of Stomatology filed Critical Peking University School of Stomatology
Priority to CN202310809024.0A priority Critical patent/CN116843648B/zh
Publication of CN116843648A publication Critical patent/CN116843648A/zh
Application granted granted Critical
Publication of CN116843648B publication Critical patent/CN116843648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种基于锥形束CT影像的髁突骨改建三维自动定量测量系统,涉及口腔医学技术领域,系统包括训练数据集获取模块、模型训练和优化模块、治疗前后髁突的锥形束CT影像获取模块、髁突分割模块、图像配准模块、髁突再分割模块和髁突骨改建的体积变化量测量模块;通过模型训练和优化模块实现2D分割卷积神经网络模型的训练和优化,髁突分割模块利用优化后的2D分割卷积神经网络模型得到治疗前后髁突的锥形束CT影像中髁突的分割结果,髁突再分割模块利用优化后的2D分割卷积神经网络模型得到配准后治疗后髁突的锥形束CT影像中髁突的分割结果。本发明可准确测量颞下颌关节髁突骨改建的体积变化量,从而准确反映髁突骨改建程度。

Description

基于锥形束CT影像的髁突骨改建三维自动定量测量系统
技术领域
本发明涉及口腔医学技术领域,特别是涉及一种基于锥形束CT影像的髁突骨改建三维自动定量测量系统。
背景技术
颞下颌关节是下颌骨生长发育的中心,当关节局部的环境发生变化时,髁突往往会发生相应的骨改建变化。对于骨关节病患者,需通过X线检查来观察治疗前后髁突表面骨质,评估骨关节病的病变进展。可采用X线平片如曲面体层片、经咽侧位片等进行二维层面的定性评价。也可采用CBCT影像资料进行三维评价,其中定量测量髁突体积是最为精确的测量方法,不仅可以比较治疗前后髁突体积量变化,也可反映骨改建的确切部位,对于判断临床治疗效果及病情进展变化有着重要意义。
曲面体层片、经咽侧位片等二维影像,对髁突测量的结果并不能显示骨质变化的空间位置,很难从立体层面对髁突骨质改建进行评价。另外,二维X线平片的重叠现象甚至可能掩盖骨质改建明显部位,常常是不足之处。
相比二维影像,CBCT(锥形束CT)作为三维断层图像,可重建髁突三维立体模型,准确反映髁突骨改建的体积变化以及变化部位。目前,有基于锥形束CT影像的颞下颌关节髁突骨改建三维定量测量方法,定量测量治疗前后髁突、髁头的体积及体积变化量(髁突和髁头的体积变化量即颞下颌关节髁突骨改建的体积变化量),髁突和髁头的体积变化量定量反映髁突骨改建程度。但目前基于锥形束CT影像的颞下颌关节髁突骨改建三维定量测量方法中实现图像分割采用的是半自动分割方法,由于增加了人为操作,大量样本预标注耗时费力。并且,由于医学图像自身的复杂性,在分割过程中需要解决图像不均匀性以及人为操作偏差,导致图像分割结果的可靠性和准确性难以保证,进而影响髁突体积测量的准确性。
综上,目前基于锥形束CT影像的颞下颌关节髁突骨改建三维定量测量方法无法准确测量颞下颌关节髁突骨改建的体积变化量,因而无法准确反映髁突骨改建程度。
发明内容
本发明的目的是提供一种基于锥形束CT影像的髁突骨改建三维自动定量测量系统,可准确测量颞下颌关节髁突骨改建的体积变化量,从而准确反映髁突骨改建程度。
为实现上述目的,本发明提供了如下方案:
一种基于锥形束CT影像的髁突骨改建三维自动定量测量系统,所述系统包括:
训练数据集获取模块,用于获取训练数据集;所述训练数据集包括多张带标注的正常形态髁突的锥形束CT影像以及多张带标注的骨关节病髁突的锥形束CT影像;所述标注为髁突的锥形束CT影像中髁突的分割结果;
模型训练和优化模块,用于利用所述训练数据集对2D分割卷积神经网络模型进行训练和优化,得到优化后的2D分割卷积神经网络模型;所述优化后的2D分割卷积神经网络模型的输入为髁突的锥形束CT影像,输出为髁突的锥形束CT影像中髁突的分割结果;
治疗前后髁突的锥形束CT影像获取模块,用于获取同一患者治疗前髁突的锥形束CT影像以及治疗后髁突的锥形束CT影像;
髁突分割模块,用于利用所述优化后的2D分割卷积神经网络模型得到治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果;
图像配准模块,用于对治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果进行图像配准,得到配准后治疗后髁突的锥形束CT影像;
髁突再分割模块,用于利用所述优化后的2D分割卷积神经网络模型得到配准后治疗后髁突的锥形束CT影像中髁突的分割结果;
髁突骨改建的体积变化量测量模块,用于根据配准后治疗后髁突的锥形束CT影像中髁突的分割结果测量颞下颌关节髁突骨改建的体积变化量;所述颞下颌关节髁突骨改建的体积变化量包括治疗前后髁突的体积变化量以及治疗前后髁头的体积变化量。
可选地,所述系统还包括:
原始图像集获取模块,用于获取原始图像集;所述原始图像集包括多张带标注的正常形态髁突的锥形束CT影像以及多张带标注的骨关节病髁突的锥形束CT影像;所述标注为锥形束CT影像中髁突的分割结果;
原始图像集处理模块,用于对所述原始图像集进行处理,得到训练数据集;所述训练数据集中带标注的正常形态髁突的锥形束CT影像的数量大于所述原始图像集中带标注的正常形态髁突的锥形束CT影像的数量;所述训练数据集中带标注的骨关节病髁突的锥形束CT影像的数量大于所述原始图像集中带标注的骨关节病髁突的锥形束CT影像的数量。
可选地,所述原始图像集处理模块具体包括:
图像预处理单元,用于利用查找表对所述原始图像集进行图像预处理,得到映射后的图像集;所述映射后的图像集包括多张映射后的正常形态髁突的锥形束CT影像以及多张映射后的骨关节病髁突的锥形束CT影像;
图像灰度值归一化单元,用于对所述映射后的图像集进行图像灰度值归一化,得到灰度值归一化后的图像集;所述灰度值归一化后的图像集包括多张灰度值归一化后的正常形态髁突的锥形束CT影像以及多张灰度值归一化后的骨关节病髁突的锥形束CT影像;
图像增广单元,用于对所述灰度值归一化后的图像集进行图像增广,得到训练数据集。
可选地,所述2D分割卷积神经网络模型采用Unet的网络框架,编码器部分使用在ImageNet图像数据库上预训练好的EfficientNet-B2网络,解码器部分引入CBAMattention机制。
可选地,所述模型训练和优化模块具体包括:
模型训练和优化单元,用于利用所述训练数据集,采用梯度下降算法Adam对2D分割卷积神经网络模型进行迭代训练和优化,根据在验证集上的Dice值来确定所述2D分割卷积神经网络模型的最优参数,得到优化后的2D分割卷积神经网络模型;所述优化后的2D分割卷积神经网络模型的输入为髁突的锥形束CT影像,输出为髁突的锥形束CT影像中髁突的分割结果;所述验证集为所述训练数据集的20%。
可选地,所述模型训练和优化模块还包括:
髁突的分割结果处理单元,用于针对每一张髁突的锥形束CT影像中髁突的分割结果二值图mask1、所述髁突的锥形束CT影像左右翻转后得到的影像中髁突的分割结果二值图mask2以及所述髁突的锥形束CT影像上下翻转后得到的影像中髁突的分割结果二值图mask3,将mask2左右翻转得到mask2_,mask3上下翻转得到mask3_,最终的分割结果mask由公式计算得到;其中,round()表示四舍五入取整。
可选地,所述图像配准模块具体包括:
图像配准单元,用于采用基于互信息相似性准则的图像配准方法对治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果进行图像配准,得到配准后治疗后髁突的锥形束CT影像。
可选地,所述髁突骨改建的体积变化量测量模块具体包括:
髁突治疗前后像素点个数及像素差值计算单元,用于根据配准后治疗后髁突的锥形束CT影像中髁突的分割结果计算髁突治疗前后像素点个数及像素差值,根据髁突治疗前后像素点个数及像素差值定量测量治疗前后髁突的体积和体积变化量以及治疗前后髁头的体积和体积变化量。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开的基于锥形束CT影像的髁突骨改建三维自动定量测量系统通过模型训练和优化模块实现2D分割卷积神经网络模型的训练和优化,从而得到优化后的2D分割卷积神经网络模型,髁突分割模块利用优化后的2D分割卷积神经网络模型得到治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果,髁突再分割模块利用优化后的2D分割卷积神经网络模型得到配准后治疗后髁突的锥形束CT影像中髁突的分割结果,由于采用了全自动分割方法,即基于优化后的2D分割卷积神经网络模型实现全自动图像分割,避免了分割过程中的人为操作以及大量样本预标注耗时费力,保证了图像分割结果的可靠性和准确性,进而提高了髁突体积测量的准确性,达到了准确测量颞下颌关节髁突骨改建的体积变化量,从而准确反映髁突骨改建程度的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于锥形束CT影像的髁突骨改建三维自动定量测量系统实施例的结构图;
图2为颞下颌关节3D分割流程图;
图3为图像分割流程图;
图4为原始图像映射处理示意图;
图5为分割结果示意图;
图6为治疗前后图像自动化配准流程图;
图7为计算机自动定量化测量过程与模型示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于锥形束CT影像的髁突骨改建三维自动定量测量系统,可准确测量颞下颌关节髁突骨改建的体积变化量,从而准确反映髁突骨改建程度。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于锥形束CT影像的髁突骨改建三维自动定量测量系统实施例的结构图。如图1所示,本实施例提供了一种基于锥形束CT影像的髁突骨改建三维自动定量测量系统,该系统包括以下模块:
训练数据集获取模块101,用于获取训练数据集;训练数据集包括多张带标注的正常形态髁突的锥形束CT影像以及多张带标注的骨关节病髁突的锥形束CT影像;标注为髁突的锥形束CT影像中髁突的分割结果。
模型训练和优化模块102,用于利用训练数据集对2D分割卷积神经网络模型进行训练和优化,得到优化后的2D分割卷积神经网络模型;优化后的2D分割卷积神经网络模型的输入为髁突的锥形束CT影像,输出为髁突的锥形束CT影像中髁突的分割结果。
治疗前后髁突的锥形束CT影像获取模块103,用于获取同一患者治疗前髁突的锥形束CT影像以及治疗后髁突的锥形束CT影像。
髁突分割模块104,用于利用优化后的2D分割卷积神经网络模型得到治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果。
图像配准模块105,用于对治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果进行图像配准,得到配准后治疗后髁突的锥形束CT影像。
髁突再分割模块106,用于利用优化后的2D分割卷积神经网络模型得到配准后治疗后髁突的锥形束CT影像中髁突的分割结果。
髁突骨改建的体积变化量测量模块107,用于根据配准后治疗后髁突的锥形束CT影像中髁突的分割结果测量颞下颌关节髁突骨改建的体积变化量;颞下颌关节髁突骨改建的体积变化量包括治疗前后髁突的体积变化量以及治疗前后髁头的体积变化量。
其中,模型训练和优化模块102具体包括:
模型训练和优化单元,用于利用训练数据集,采用梯度下降算法Adam对2D分割卷积神经网络模型进行迭代训练和优化,根据在验证集上的Dice值来确定2D分割卷积神经网络模型的最优参数,得到优化后的2D分割卷积神经网络模型;优化后的2D分割卷积神经网络模型的输入为髁突的锥形束CT影像,输出为髁突的锥形束CT影像中髁突的分割结果;验证集为训练数据集的20%。
图像配准模块105具体包括:
图像配准单元,用于采用基于互信息相似性准则的图像配准方法对治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果进行图像配准,得到配准后治疗后髁突的锥形束CT影像。
髁突骨改建的体积变化量测量模块107具体包括:
髁突治疗前后像素点个数及像素差值计算单元,用于根据配准后治疗后髁突的锥形束CT影像中髁突的分割结果计算髁突治疗前后像素点个数及像素差值,根据髁突治疗前后像素点个数及像素差值定量测量治疗前后髁突的体积和体积变化量以及治疗前后髁头的体积和体积变化量。
2D分割卷积神经网络模型采用Unet的网络框架,编码器部分使用在ImageNet图像数据库上预训练好的EfficientNet-B2网络,解码器部分引入CBAM attention机制。
具体的,模型训练和优化模块102还包括:
髁突的分割结果处理单元,用于针对每一张髁突的锥形束CT影像中髁突的分割结果二值图mask1、髁突的锥形束CT影像左右翻转后得到的影像中髁突的分割结果二值图mask2以及髁突的锥形束CT影像上下翻转后得到的影像中髁突的分割结果二值图mask3,将mask2左右翻转得到mask2_,mask3上下翻转得到mask3_,最终的分割结果mask由公式计算得到;其中,round()表示四舍五入取整。
具体的,本发明基于锥形束CT影像的髁突骨改建三维自动定量测量系统还包括:
原始图像集获取模块,用于获取原始图像集;原始图像集包括多张带标注的正常形态髁突的锥形束CT影像以及多张带标注的骨关节病髁突的锥形束CT影像;标注为锥形束CT影像中髁突的分割结果。
原始图像集处理模块,用于对原始图像集进行处理,得到训练数据集;训练数据集中带标注的正常形态髁突的锥形束CT影像的数量大于原始图像集中带标注的正常形态髁突的锥形束CT影像的数量;训练数据集中带标注的骨关节病髁突的锥形束CT影像的数量大于原始图像集中带标注的骨关节病髁突的锥形束CT影像的数量。
其中,原始图像集处理模块具体包括:
图像预处理单元,用于利用查找表对原始图像集进行图像预处理,得到映射后的图像集;映射后的图像集包括多张映射后的正常形态髁突的锥形束CT影像以及多张映射后的骨关节病髁突的锥形束CT影像。
图像灰度值归一化单元,用于对映射后的图像集进行图像灰度值归一化,得到灰度值归一化后的图像集;灰度值归一化后的图像集包括多张灰度值归一化后的正常形态髁突的锥形束CT影像以及多张灰度值归一化后的骨关节病髁突的锥形束CT影像。
图像增广单元,用于对灰度值归一化后的图像集进行图像增广,得到训练数据集。
下面对本发明基于锥形束CT影像的髁突骨改建三维自动定量测量系统的具体构建过程进行详细介绍:
(1)病例选择
选择自2015年1月至2020年6月于口腔医院颞下颌关节病及口颌面疼痛诊治中心就诊并拍摄双关节CBCT的患者。选取正常形态髁突及骨关节病髁突的CBCT影像(锥形束CT影像)数据152例,其中正常形态髁突的CBCT影像数据76例,骨关节病髁突的CBCT影像数据76例,并匿去所有的患者身份信息,进行人工智能(Artificial intelligence,AI)学习。扫描机型为3D Accuitomo(J Morita Mfg.Corp.,Kyoto,Japan),电压:90kV,电流:5mA.扫描范围6cm×6cm。每个病例影像数据以dicom格式导出。
纳入标准:①正常形态髁突为近似椭圆形的结构,表面相对光滑;OA髁突选取影像学表现为磨损、增生、硬化、磨平短小、皮质骨下囊样变等形态。②早期及晚期OA同等均匀纳入;③髁突图像清晰完整,无明显伪影。
排除标准:①发育畸形;②关节区占位性病变;③关节强直;④开放性手术治疗史。
另选取单侧患有早期骨关节病并且接受关节盘复位后前伸再定位咬合板治疗的患者10例,获取治疗前及治疗后6~12个月CBCT影像数据,采用传统的人工手动测量方法作为体积的三维定量测量金标准,对人工智能辅助的髁突骨改建自动定量测量方法进行验证。
(2)影像的标注
按照20%的比例随机抽取测试样本,120例数据作为训练样本,32例作为测试样本。
训练样本的标注:先由一位口腔影像专业医师A进行颞下颌关节髁突CBCT影像勾画,软件采用ITK-SNAP 3.2(www.itksnap.org)。之后再由另一位口腔影像医师B对勾画的影像进行修改及确认。其中,颞下颌关节髁突即下颌骨髁突(mandibular condyle)。
测试样本的标注:先由一位口腔影像专业医师A进行颞下颌关节髁突CBCT影像勾画,再由另外两位口腔影像专业医师B、C一起对勾画的影像进行修改及确认。以此作为影像分割评价的金标准。
经过上述标注过程得到了用于训练2D分割卷积神经网络模型的训练数据集。
(3)深度学习模型训练
本发明的技术路线采用深度学习算法,使用深度学习分割算法实现颞下颌关节的三维分割,如图2所示。
①深度学习模型设计:由于CBCT影像中的颞下颌关节轮廓较为清晰明确,因此模型采用2D分割卷积神经网络(Convolutional neuralnetworks,CNN)结构(2D分割卷积神经网络模型),然后将每一张CBCT影像序列依次输入2D模型(2D分割卷积神经网络模型),最终得到3D分割结果,记该2D模型为ConPNet。ConPNet采用Unet的网络框架,编码器(Encoder)部分使用在大型图像数据库ImageNet上预训练好的EfficientNet-B2网络,解码器(Decoder)部分引入CBAM attention机制,如图3所示。
②图像预处理:原始图像集中的原始CBCT图像的像素值是整型16bit,即取值范围在[-215,215],利用查找表(Look-up table,LUT),将像素值映射到无符号整型8bit,即取值范围在[0,255],LUT的设计如下:像素值小于Imin或大于Imax,其映射值为0,其余像素按照线性映射至[0,255];其中Imax的值为图像像素的最大值,Imin的值通过以下方式求得:首先计算图像的灰度直方图,灰度级数取1000,得到两个长度为1000的列表L1和L2;L1表示1000种灰度级对应的像素个数,L2表示1000种灰度级的值(从小到大排序好的);首先找到像素个数最多的灰度级在列表中的位置k,然后依次判断L1的第k+j个值(这里j=[1,2,…,100])的大小,如果该值大于100,则Imin等于L2的第k+j个值。当j遍历完成后还是没能找到大于100的值,则Imin等于L2的第k+30个值。映射前后对比图如图4所示。图4中(a)部分为原始图像,图4中(b)部分为映射后的图像。
③图像灰度值归一化:为了使得模型(2D分割卷积神经网络模型)训练能够快速收敛,需要将图像按照公式进行归一化处理。其中,x表示原始灰度值,y表示归一化后的灰度值。
④图像增广:对训练样本中每张图像,以一定概率进行旋转(-10度至10度),添加高斯噪声和左右镜像,以此增加训练样本数量,满足深度学习(Deep learning)对训练样本量的需求。
⑤模型训练:将训练样本的20%,即24个样本,作为验证集;模型(2D分割卷积神经网络模型)采用梯度下降算法Adam对模型进行迭代训练,根据在验证集上的Dice值来确定模型的最优参数。
⑥分割结果后处理:对于每一张序列图像,进行分别左右翻转、上下翻转,加上原图,可以得到3张分割结果二值图mask1,mask2,mask3,然后将mask2左右翻转得到mask2_,mask3上下翻转得到mask3_,最终的分割结果mask由公式计算得到。其中round()表示四舍五入取整。分割图示如图5所示。图5中(a)部分为原图,图5中(b)部分为分割结果图。
(4)深度学习模型测试,并与影像医师、临床医师进行比较。
①采用深度学习算法对前后总计32例测试样本进行自动影像分割,计算颞下颌关节分割准确性及所需时间。
②影像医师D对32例测试样本利用ITK-SNAP进行手动影像分割,结果与测试数据金标准进行比较。计算分割准确性及所需时间。
③口腔外科医师F对32例测试样本利用ITK-SNAP进行手动影像分割,结果与测试数据金标准进行比较。计算分割准确性及所需时间。
(5)髁突治疗前后图像的自动配准
采用基于互信息相似性准则的图像配准方法,通过数值优化方法寻找最佳的平移和旋转量,使治疗后影像经过空间变换后与治疗前影像的互信息值(相似度)最大。配准区选择乙状切迹下的升支部分为基准,配准过程包括两步,即基于距离图像的初始配准和基于灰度信息的二次配准。在进行初始配准时,首先根据髁突的分割结果计算髁突距离图像,距离图像中每一点的值即为该点距离髁突分割边缘的最短距离;然后利用距离图像进行配准,对治疗前后的影像进行初始对齐。在此基础上,利用髁突像素的灰度信息进行二次配准,且基于体素信息配准是更有效的配准方法,进一步提升配准效果。配准时仅考虑髁突以及周边5个像素范围内的灰度信息,以消除其他不相关组织对配准的影响。自动化配准过程,为了避免二值化的分割结果矩阵变换时产生偏移问题,而导致像素值丢失,再次仅对治疗后髁突dicom数据进行矩阵变化,利用已经实现的图像自动分割算法,对治疗后髁突配准后的dicom图像再次进行自动化分割,确保配准后图像分割精度保持不变,利用再分割的结果进行体积计算。自动化配准及图像再分割过程如图6所示。图6中(a)部分为治疗前dicom原始数据,(b)部分为治疗前分割结果,(c)部分为治疗后dicom原始数据,(d)部分为治疗后分割结果,(e)部分为治疗后髁突配准后的dicom数据,(f)部分为配准后治疗后髁突的再分割结果,(g)部分为配准前示意图,(h)部分为AI自动配准结果示意图。
(6)计算机自动化定点测量髁突/髁头体积变化量
设计算法来自动寻找髁突体积测量的标志点。将配准后髁突图像在坐标中进行矢状位投影,定义投影方向治疗前髁突的乙状切迹最低点为测量髁突体积的标志点。测量髁头体积的标志点时,在坐标中对髁突进行轴位方向的局部头影,定义投影层外侧最凸点为测量髁头体积的标志点。通过计算髁突治疗前后像素点个数及像素差值,来定量测量治疗前后髁突、髁头的体积及体积变化量,流程如图7所示。图7中(a)部分为治疗前髁突,(b)部分为髁突矢状投影,(c)部分为选取乙状切迹最低点,(d)部分为截取配准后髁突体积示意图,(e)部分为冠状位投影,(f)部分为选取过髁突外极点平面,(g)部分为截取配准后髁头体积示意图。定义治疗前髁突dicom数据中,从髁突底部向髁头部位的CBCT层数为正向计数,记录AI自动及人工手动测量体积时选取的CBCT层数。其中,髁头即下颌骨髁头(mandibular condylar head)。
(7)开发软件,临床推广应用
整合图像自动分割、自动化配准、骨改建自动测量分析等步骤,建立一套完整的AI辅助的髁突骨改建三维自动定量测量软件,即本发明基于锥形束CT(cone beamcomputedtomography,CBCT)影像的髁突骨改建三维自动定量测量系统,达到准确测量颞下颌关节髁突骨改建的体积变化量,从而准确反映髁突骨改建程度,并准确显示髁突骨改建变化部位的效果。本发明基于锥形束CT影像的髁突骨改建三维自动定量测量系统是一种基于深度学习的人工智能辅助的颞下颌关节髁突骨改建的CBCT影像自动定量评价系统。
本发明旨在建立人工智能辅助的颞下颌关节髁突骨改建自动定量评价系统(即基于锥形束CT影像的髁突骨改建三维自动定量测量系统),自动计算治疗前后髁突体积量的变化,自动显示髁突骨改建的部位。本发明人工智能系统(基于锥形束CT影像的髁突骨改建三维自动定量测量系统)在经过严谨的数据训练后,可快速处理大量CBCT数据信息,帮助临床医师高效、准确的判断颞下颌关节髁突骨改建的体积变化量以及变化部位,提高工作效率,节省工作时间,增加对疾病预后判断的准确性。
本发明利用人工智能技术和CBCT影像开发了一种应用软件(基于锥形束CT影像的髁突骨改建三维自动定量测量系统)来实现颞下颌关节髁突骨改建的自动定量评价。本发明技术思路为:采用基于深度学习的图像语义分割算法在髁突图像自动分割取得理想的效果,结合图像的自动化配准及体积定点测量,实现基于人工智能辅助的颞下颌关节髁突骨改建定量评价方法,以帮助口腔医师准确、快速、直观地了解髁突骨改建情况,评估疾病进展情况,指导治疗策略的制定,并便于医患沟通。本发明技术关键点在于:采用基于深度学习的人工智能技术,实现颞下颌关节髁突骨改建的自动定量评价,包括自动计算变化的体积量,并自动显示髁突骨改建变化部位。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于锥形束CT影像的髁突骨改建三维自动定量测量系统,其特征在于,所述系统包括:
训练数据集获取模块,用于获取训练数据集;所述训练数据集包括多张带标注的正常形态髁突的锥形束CT影像以及多张带标注的骨关节病髁突的锥形束CT影像;所述标注为髁突的锥形束CT影像中髁突的分割结果;
模型训练和优化模块,用于利用所述训练数据集对2D分割卷积神经网络模型进行训练和优化,得到优化后的2D分割卷积神经网络模型;所述优化后的2D分割卷积神经网络模型的输入为髁突的锥形束CT影像,输出为髁突的锥形束CT影像中髁突的分割结果;
治疗前后髁突的锥形束CT影像获取模块,用于获取同一患者治疗前髁突的锥形束CT影像以及治疗后髁突的锥形束CT影像;
髁突分割模块,用于利用所述优化后的2D分割卷积神经网络模型得到治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果;
图像配准模块,用于对治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果进行图像配准,得到配准后治疗后髁突的锥形束CT影像;
髁突再分割模块,用于利用所述优化后的2D分割卷积神经网络模型得到配准后治疗后髁突的锥形束CT影像中髁突的分割结果;
髁突骨改建的体积变化量测量模块,用于根据配准后治疗后髁突的锥形束CT影像中髁突的分割结果测量颞下颌关节髁突骨改建的体积变化量;所述颞下颌关节髁突骨改建的体积变化量包括治疗前后髁突的体积变化量以及治疗前后髁头的体积变化量。
2.根据权利要求1所述的基于锥形束CT影像的髁突骨改建三维自动定量测量系统,其特征在于,所述系统还包括:
原始图像集获取模块,用于获取原始图像集;所述原始图像集包括多张带标注的正常形态髁突的锥形束CT影像以及多张带标注的骨关节病髁突的锥形束CT影像;所述标注为锥形束CT影像中髁突的分割结果;
原始图像集处理模块,用于对所述原始图像集进行处理,得到训练数据集;所述训练数据集中带标注的正常形态髁突的锥形束CT影像的数量大于所述原始图像集中带标注的正常形态髁突的锥形束CT影像的数量;所述训练数据集中带标注的骨关节病髁突的锥形束CT影像的数量大于所述原始图像集中带标注的骨关节病髁突的锥形束CT影像的数量。
3.根据权利要求2所述的基于锥形束CT影像的髁突骨改建三维自动定量测量系统,其特征在于,所述原始图像集处理模块具体包括:
图像预处理单元,用于利用查找表对所述原始图像集进行图像预处理,得到映射后的图像集;所述映射后的图像集包括多张映射后的正常形态髁突的锥形束CT影像以及多张映射后的骨关节病髁突的锥形束CT影像;
图像灰度值归一化单元,用于对所述映射后的图像集进行图像灰度值归一化,得到灰度值归一化后的图像集;所述灰度值归一化后的图像集包括多张灰度值归一化后的正常形态髁突的锥形束CT影像以及多张灰度值归一化后的骨关节病髁突的锥形束CT影像;
图像增广单元,用于对所述灰度值归一化后的图像集进行图像增广,得到训练数据集。
4.根据权利要求1所述的基于锥形束CT影像的髁突骨改建三维自动定量测量系统,其特征在于,所述2D分割卷积神经网络模型采用Unet的网络框架,编码器部分使用在ImageNet图像数据库上预训练好的EfficientNet-B2网络,解码器部分引入CBAMattention机制。
5.根据权利要求1所述的基于锥形束CT影像的髁突骨改建三维自动定量测量系统,其特征在于,所述模型训练和优化模块具体包括:
模型训练和优化单元,用于利用所述训练数据集,采用梯度下降算法Adam对2D分割卷积神经网络模型进行迭代训练和优化,根据在验证集上的Dice值来确定所述2D分割卷积神经网络模型的最优参数,得到优化后的2D分割卷积神经网络模型;所述优化后的2D分割卷积神经网络模型的输入为髁突的锥形束CT影像,输出为髁突的锥形束CT影像中髁突的分割结果;所述验证集为所述训练数据集的20%。
6.根据权利要求5所述的基于锥形束CT影像的髁突骨改建三维自动定量测量系统,其特征在于,所述模型训练和优化模块还包括:
髁突的分割结果处理单元,用于针对每一张髁突的锥形束CT影像中髁突的分割结果二值图mask1、所述髁突的锥形束CT影像左右翻转后得到的影像中髁突的分割结果二值图mask2以及所述髁突的锥形束CT影像上下翻转后得到的影像中髁突的分割结果二值图mask3,将mask2左右翻转得到mask2_,mask3上下翻转得到mask3_,最终的分割结果mask由公式计算得到;其中,round()表示四舍五入取整。
7.根据权利要求1所述的基于锥形束CT影像的髁突骨改建三维自动定量测量系统,其特征在于,所述图像配准模块具体包括:
图像配准单元,用于采用基于互信息相似性准则的图像配准方法对治疗前髁突的锥形束CT影像中髁突的分割结果以及治疗后髁突的锥形束CT影像中髁突的分割结果进行图像配准,得到配准后治疗后髁突的锥形束CT影像。
8.根据权利要求1所述的基于锥形束CT影像的髁突骨改建三维自动定量测量系统,其特征在于,所述髁突骨改建的体积变化量测量模块具体包括:
髁突治疗前后像素点个数及像素差值计算单元,用于根据配准后治疗后髁突的锥形束CT影像中髁突的分割结果计算髁突治疗前后像素点个数及像素差值,根据髁突治疗前后像素点个数及像素差值定量测量治疗前后髁突的体积和体积变化量以及治疗前后髁头的体积和体积变化量。
CN202310809024.0A 2023-07-04 2023-07-04 基于锥形束ct影像的髁突骨改建三维自动定量测量系统 Active CN116843648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310809024.0A CN116843648B (zh) 2023-07-04 2023-07-04 基于锥形束ct影像的髁突骨改建三维自动定量测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310809024.0A CN116843648B (zh) 2023-07-04 2023-07-04 基于锥形束ct影像的髁突骨改建三维自动定量测量系统

Publications (2)

Publication Number Publication Date
CN116843648A true CN116843648A (zh) 2023-10-03
CN116843648B CN116843648B (zh) 2024-07-05

Family

ID=88173871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310809024.0A Active CN116843648B (zh) 2023-07-04 2023-07-04 基于锥形束ct影像的髁突骨改建三维自动定量测量系统

Country Status (1)

Country Link
CN (1) CN116843648B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128946A1 (en) * 2008-11-22 2010-05-27 General Electric Company Systems, apparatus and processes for automated medical image segmentation using a statistical model
CN106890009A (zh) * 2017-03-17 2017-06-27 深圳大学 一种骨骼肌体积变化的自动测量方法和装置
US20200065969A1 (en) * 2018-08-27 2020-02-27 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network
CN111047591A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 基于深度学习的病灶体积测量方法、系统、终端及存储介质
CN112150473A (zh) * 2020-09-24 2020-12-29 北京羽医甘蓝信息技术有限公司 基于ct的三维颌骨图像分割建模方法、装置及终端设备
CN112150472A (zh) * 2020-09-24 2020-12-29 北京羽医甘蓝信息技术有限公司 基于cbct的三维颌骨图像分割方法、装置及终端设备
KR20210055847A (ko) * 2019-11-07 2021-05-18 부산대학교 산학협력단 영상처리와 cnn을 이용한 자동 3차원 세팔로메트리 장치 및 방법
US20210401392A1 (en) * 2019-03-15 2021-12-30 Genentech, Inc. Deep convolutional neural networks for tumor segmentation with positron emission tomography
US20220230310A1 (en) * 2019-08-14 2022-07-21 Genentech, Inc. Three-dimensional object segmentation of medical images localized with object detection
KR20230030682A (ko) * 2021-08-25 2023-03-07 연세대학교 산학협력단 Ct를 이용한 3d 두부 계측 랜드마크 자동 검출 장치 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128946A1 (en) * 2008-11-22 2010-05-27 General Electric Company Systems, apparatus and processes for automated medical image segmentation using a statistical model
CN106890009A (zh) * 2017-03-17 2017-06-27 深圳大学 一种骨骼肌体积变化的自动测量方法和装置
US20200065969A1 (en) * 2018-08-27 2020-02-27 Siemens Healthcare Gmbh Medical image segmentation from raw data using a deep attention neural network
US20210401392A1 (en) * 2019-03-15 2021-12-30 Genentech, Inc. Deep convolutional neural networks for tumor segmentation with positron emission tomography
US20220230310A1 (en) * 2019-08-14 2022-07-21 Genentech, Inc. Three-dimensional object segmentation of medical images localized with object detection
KR20210055847A (ko) * 2019-11-07 2021-05-18 부산대학교 산학협력단 영상처리와 cnn을 이용한 자동 3차원 세팔로메트리 장치 및 방법
CN111047591A (zh) * 2020-03-13 2020-04-21 北京深睿博联科技有限责任公司 基于深度学习的病灶体积测量方法、系统、终端及存储介质
CN112150473A (zh) * 2020-09-24 2020-12-29 北京羽医甘蓝信息技术有限公司 基于ct的三维颌骨图像分割建模方法、装置及终端设备
CN112150472A (zh) * 2020-09-24 2020-12-29 北京羽医甘蓝信息技术有限公司 基于cbct的三维颌骨图像分割方法、装置及终端设备
KR20230030682A (ko) * 2021-08-25 2023-03-07 연세대학교 산학협력단 Ct를 이용한 3d 두부 계측 랜드마크 자동 검출 장치 및 방법

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
BAPTISTE NOBLET, ET AL.: "Registration of 2D monocular endoscopy to 3D CBCT for video-assisted thoracoscopic surgery", 《PROCEEDINGS VOLUMN 12466, MEDICAL 2023:IMAGE-GUIDED PROCEDURES, ROBOTIC INTERVENTIONS, AND MODELING》, 3 April 2023 (2023-04-03) *
HUIYING LIU,ET AL.: "NMAR3: Normalized Metal Artifact Reduction for Cone Beam Computed Tomography", 《 2020 42ND ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE & BIOLOGY SOCIETY (EMBC)》, 27 August 2020 (2020-08-27) *
XIAOTING ZHAI,ET AL.: "Cone-beam computed tomographic characteristics in degenerative temporomandibular joint disease patients with chewing side preference", 《CLINICAL ORAL INVESTIGATIONS (2023)》, 5 April 2023 (2023-04-05) *
李源, 徐子能等.: "人工智能辅助颞下颌关节髁突体积的定量测量", 《 第18次全国口腔颌面医学影像学专题研讨会》, 26 October 2021 (2021-10-26), pages 97 *
王雨婕等: "颞下颌关节多模态图像配准及三维重建的研究进展", 《口腔颌面修复学杂志》, 31 March 2022 (2022-03-31), pages 147 - 150 *
肖建英: "基于深度学习的腹膜后淋巴结CT的分割与量化研究", 《中国优秀硕士学位论文全文数据库(电子期刊)》, 12 August 2022 (2022-08-12) *
郭浩.: "动物体表三维数据获取与处理算法研究", 《中国优秀博士学位论文全文库(电子期刊)》, 15 July 2015 (2015-07-15) *
钟家强等.: "基于互信息相似性度量的多时相遥感图像配准", 《宇航学报》, 31 July 2006 (2006-07-31) *

Also Published As

Publication number Publication date
CN116843648B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
Klein et al. Automatic bone segmentation in whole-body CT images
Montúfar et al. Hybrid approach for automatic cephalometric landmark annotation on cone-beam computed tomography volumes
Shahidi et al. The accuracy of a designed software for automated localization of craniofacial landmarks on CBCT images
EP2252204B1 (en) Ct surrogate by auto-segmentation of magnetic resonance images
Dot et al. Accuracy and reliability of automatic three-dimensional cephalometric landmarking
Hamwood et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images
Dot et al. Fully automatic segmentation of craniomaxillofacial CT scans for computer-assisted orthognathic surgery planning using the nnU-Net framework
Hung et al. Automatic detection and segmentation of morphological changes of the maxillary sinus mucosa on cone-beam computed tomography images using a three-dimensional convolutional neural network
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
CN110503652A (zh) 下颌智齿与邻牙及下颌管关系确定方法、装置、存储介质及终端
Lin et al. Micro–computed tomography–guided artificial intelligence for pulp cavity and tooth segmentation on cone-beam computed tomography
Nguyen et al. Localization of cementoenamel junction in intraoral ultrasonographs with machine learning
Seo et al. Deep focus approach for accurate bone age estimation from lateral cephalogram
Chiplunkar et al. Segmentation and quantitation of the primary human airway tree
Huang et al. Uncertainty-based active learning by bayesian U-Net for Multi-Label Cone-Beam CT segmentation
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
Gupta On imaging modalities for cephalometric analysis: a review
Ikeda et al. Novel 3-dimensional analysis to evaluate temporomandibular joint space and shape
CN116843648B (zh) 基于锥形束ct影像的髁突骨改建三维自动定量测量系统
Płotka et al. Convolutional neural networks in orthodontics: a review
Antila et al. Segmentation of facial bone surfaces by patch growing from cone beam CT volumes
Hwang et al. SinusC-Net for automatic classification of surgical plans for maxillary sinus augmentation using a 3D distance-guided network
US20220076421A1 (en) Method for identifying bone images
Bao et al. Automatic identification and segmentation of orbital blowout fractures based on artificial intelligence
Tsukiboshi et al. Surface-based 3-dimensional cephalometry: An objective analysis of cranio-mandibular morphology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant