CN111968120A - 一种3d多特征融合的牙齿ct图像分割方法 - Google Patents
一种3d多特征融合的牙齿ct图像分割方法 Download PDFInfo
- Publication number
- CN111968120A CN111968120A CN202010683245.4A CN202010683245A CN111968120A CN 111968120 A CN111968120 A CN 111968120A CN 202010683245 A CN202010683245 A CN 202010683245A CN 111968120 A CN111968120 A CN 111968120A
- Authority
- CN
- China
- Prior art keywords
- image
- node
- sampling stage
- neural network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003709 image segmentation Methods 0.000 title claims abstract description 14
- 230000004927 fusion Effects 0.000 title abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000003062 neural network model Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 89
- 230000006870 function Effects 0.000 claims description 28
- 239000013589 supplement Substances 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 4
- 206010004966 Bite Diseases 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 16
- 238000002591 computed tomography Methods 0.000 description 40
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005295 random walk Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000004373 mandible Anatomy 0.000 description 2
- DJGAAPFSPWAYTJ-UHFFFAOYSA-M metamizole sodium Chemical compound [Na+].O=C1C(N(CS([O-])(=O)=O)C)=C(C)N(C)N1C1=CC=CC=C1 DJGAAPFSPWAYTJ-UHFFFAOYSA-M 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007408 cone-beam computed tomography Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000332 tooth crown Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种3D多特征融合的牙齿CT图像分割方法，属于图像处理技术领域。本发明首先对CT图像进行图像转换处理，将其转换为灰度图；然后构建用于牙齿分割的神经网络模型及对其进行训练，所述神经网络模型的骨架采用U‑net网络；最后，对待分割的图像进行CT图像预处理，得到灰度图像并输入训练好的神经网络模型，基于其输出得到分割结果。本发明结合CT图像上下的相似性，提出了一种3D多特征融合的牙齿分割方法，提高了神经网络的训练精度；同时结合CRF算法，去除神经网络模型产生的冗余信息，使得分割结果更加精确。
Description
技术领域
本发明涉及医学CT(Computed Tomography，计算机断层扫描)图像分割技术领域，具体涉及一种基于神经网络的3D多特征融合的牙齿CT图像分割方法。
背景技术
医学CT图像分割在临床应用中拥有巨大价值，但是相比于自然图像，医学CT图像存在诸多缺陷：(1)低分辨度以及图像上的种种伪影增加分割难度，(2)CT图像中相应组织难以标定。现今的分割方法主要分为：神经网络的方法和非神经网络方法，其中神经网络方法又分为2D神经网络和3D神经网络方法两种。
非神经网络方法主要采用随机森林进行级联分割(HAAR特征分割、HOG特征分割)以及使用Level Set(水平集)等进行边缘的分割。
例如，S.Barone在“基于特定几何特征驱动分割”的方案中，通过在特定几何特征驱动下，针对一些重要视图建立一系列小而多的平面，从而提高重建精度，对堆叠图像进行形态学上的处理，获取最大连通分量，细化提取图形骨骼，以此为基准进行小面片的生成和合成，该方法对分割精度要求不高，主要提升分割后重建的模型清晰度。S.Barone X.Chen在“结合多视图进行分割”的方案中，提出将三维点云和俯视图、鸟瞰图、单目图像融合，进行三维空间内物体的检测与分割，用以提升分割精度与速度，但此方法用于医学图像成本太高。Y.Gan在“基于全局凸水平集分割”的方案中，先使用全局凸水平集(global convexlevel set model)获取牙齿与牙槽骨之间的连接区域，然后用Radon Transform(积分变换)和局部水平集模型进行牙齿与牙槽骨分离。同时使用半监督的水平集，实现自动化CT图像序列的自动分割，但对输入图像存在很高的要求。X.Zhou在“CT图像与激光扫描结合”的方案中，使用激光扫描图像与CT图像，采取激光扫描图像取其牙冠部分，CT图像取其牙根部分，然后将两者融合，得到最终的模型，方法能很好的应对三维模型重建，但在分割方面存在很多不足。Y.Pei在“基于随机游走与半监督标签方法”的方案中，将随机游走(randomwalks)算法和半监督标签传播及正则化的三维样本配准方法相结合，方法分为两阶段，(1)使用基于随机游走分割得到的具有良好拓扑结构的三维样本来拟合牙齿轮廓，以样本配准得到前景牙概率和SVM分类得到的外观概率来定义体素标记的软约束；(2)根据随机游走算法和软约束更新体素的标签。
而在基于神经网络的分割中，FCN(Fully Convolutional Networks)语义分割得到了大量的拓展与完善，分割方法也日趋成熟。J.Dai在“多实例语义分割”的方案中，针对FCN难以完成实例分割的问题，进行修正，因为FCN对同样的像素，即使像素在不同的位置，网络对其的操作和响应也是一致的，所以FCN能较好的完成语义分割，并且将一类物体分割出去，但需要对单个示例进行分割时就难以办到。FCN网络最终输出1个score map图，用以表示该像素属于某一类别的概率，最终输出K*K个score map，不仅记录属于那类的概率，还记录在不同位置的概率。除此之外，还提出使用多任务方式，除了实例分割的共享特征外，下一任务还需依赖上一任务完成结果和共享特征，形成多层次的级联结构，主要任务有三个：实例区分(Differentiating instances)、掩膜估计(Estimating masks)、分类目标(Categorizing objects)，算法中使用VGG16的前13层作为共享特征。S.Xie在“CNN+SVMmodel”的方案中，基于标准的CNN结构框架，在output层和隐藏层中添加了SVM model或softmax，直接向中间层注入loss，辅助loss用于正则化，网络能够有效的加快训练收敛速度，减轻梯度消失或梯度爆炸问题。Y.Miki在“AlexNet+ROI”的方案中，在AlexNet基础框架上，加入ROI(regions of interest)方法,用以分割特定的7种牙齿类型，算法多应用于离体牙所用的CT图像，其HF(Hounsfield)值非常高，但其难以用于活体使用，且实验效果不佳。Q.Dou在“体数据填充+CRF”的方案中，进行数据的训练与分析时，使用中间层数据来填补数据的缺失，克服在网络训练中梯度信息消失的问题，之后仍使用CRF(Conditionalrandom field，条件随机场)来进行后处理来剔除冗余或错误的信息，用以优化输出结果。
二维神经网络在医学图像分割上取得很大进展，但难以再进一步精进，因为2D神经网络存在一些局限：(1)2D神经网络使用的训练集标签，难以分辨位置相近组织间的信息。(2)2D图像本身难以准确表述不同个体的差异。H.Chen提出将FCN网络从2D转为3D的方式来解决医学图像体数据端到端的分割问题，分析使用2D FCN无法精确分割原因是：1)椎间盘CT前后形态差异不大，从CT图像上难以分清椎间盘上下部位形态；2)椎间盘CT存在太多类似结构或伪影，阻碍定位过程和分割；3)不同个体的椎间盘可能存在较大差异，2D分割的鲁棒性不足。针对上述问题，三维卷积开始出现在视野中，常用方法如表3所示。由于3D能提供更多信息进行补充，因此3D CNN逐渐应用于医学图像分割。K.Kamnitsas设计实现3DCNN结构，用以对脑损伤MRI图像分割，采用多尺度的输入，并行计算来解决数据精度与速度问题，并联的图像patch能够很好的消除图像类内不平衡的问题，降低计算复杂度，最后使用3D全连接条件随机场进行后处理，消除一些错误的位置信息。
综上述所，采用3D神经网络方法计算自身训练数据并提取相关特征模型，更新网络权重，利用得到的模型权重进行分割。在医学图像分割上也能取得良好效果，但由于医学图像本身的特点，该方法仍存在很多不足，需要进一步改进。
发明内容
本发明的发明目的在于：针对上述现有技术存在的不足，提出一种准确率更高、更加稳定的牙齿CT图像分割方法。
本发明的技术方案是：
一种3D多特征融合的牙齿CT图像分割方法，包括以下步骤：
步骤一、CT图像预处理：
对CT图像进行图像转换处理：
根据公式
得到转换后的图像的各像素点的灰度值nPixel，其中，Piexl为转换前像素点的CT值，WWmin、WWmax分别为CT图像的最小和最大CT值；
对作为训练样本的各转换后的CT图像(即训练样本图像)，进行标签标定，将训练样本图像的每个像素点分为牙齿和背景两类；
步骤二、用于牙齿分割的神经网络模型构建及训练：
所述神经网络模型的骨架采用U-net网络，并采用三维卷积层替换U-net网络中的二维卷积层；
所述神经网络模型包括下采样阶段和上采样阶段；
下采样阶段包括四个节点，各下节点的网络结构相同，按照前向传播的方向包括：两层三维卷积层、批量归一化层和最大池化层；下采样部分中，上个节点的输出的特征图谱作为下一个节点的输入；
上采样阶段包括四个上节点，每个节点用于对输入的特征图谱进行反卷积，且每个节点的卷积核大小和步长与下采样阶段的节点的最大池化层保持一致；
下采样阶段的第四个节点通过最大池化层与上采样阶段的第一个节点相连；即四次下采样后的输出结果作为上采样部分最初的输入；
并将上采样阶段的第四个节点输出的特征图谱输入一层1*1*1的三维卷积层，同时使用Sigmoid激活函数，将三维卷积层输出的特征图谱通道转化为牙齿和背景的分类概率结果；
上采样阶段的每个节点会进行高维语义的补充：
下采样阶段第一节点分别对上采样阶段第二、第三、第四节点进行信息补充，补充路径中分别进行三、二、一次卷积；
下采样阶段第二节点对上采样阶段第二、第三节点进行信息补充，补充路径中分别进行二、一次卷积；
下采样阶段第三节点对上采样阶段第二节点进行信息补充，补充路径分别进行一次卷积；下采样阶段第四节点采用的信息补充方式与U-net网络的信息补充方式相同；
上采样阶段，每一节点采用1*1*1的卷积层将从上一节点与下采样对应传输的语义信息进行卷积拼接，并使用拼接后的特征图谱对神经网络模型进行网络模型训练；
模型训练时使用交叉熵基础函数，损失函数由上采样阶段、下采样阶段及全局损失函数共同构成，将上采样阶段与下采样阶段的损失函数为中间层损失函数，定义K表示中间层数；则网络模型训练的损失函数为：
其中，Wk表示第k个中间层的权重参数，Biss为参数偏值，lossk表示第k个中间层的交叉熵损失函数：
其中
表示真实标签，yi表示神经网络模型的输出分类结果，i表示像素点标识符，n表示像素点数量。
步骤三、对待分割的图像进行CT图像预处理(步骤一的预处理方式)，得到灰度图像并输入训练好的神经网络模型，基于其输出得到分割结果。
本发明中，还可以通过在网络中加入监督机制，获取中间层数据，并使其参与网络模型的训练过程中，用以补充随着网络层加深所损失的高层信息，中间层的输出结果会进行k1+k2次反卷积处理，其中k1为经过的下采样阶段数，k2为经过的上采样阶段数，反卷积后的结果分别与标签图像进行标准交叉熵的计算，其计算结果添加入损失函数中参与训练，用以克服三维卷积层容易出现的梯度消失问题。
进一步的，还可以采用条件随机场(Conditional Random Field,CRF)算法对结果进行优化，去除错误或冗余的定位信息。具体处理为：
将模型最终层的特征图谱进行一次softmax，得到最终层的分类概率probability。
将得到的probability输入所采用的条件随机场公式中，除去最终层结果中存在的冗余信息与一些不准确信息，用以优化输出结果，使得分割更加精确。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
与传统方法相比，本发明的牙齿CT图像分割方法结合CT图像上下的相似性，提出了一种3D多特征融合的牙齿分割方法，提高了神经网络的训练精度；同时结合CRF算法，去除神经网络模型产生的冗余信息，使得分割结果更加精确，解决了三维神经网络存在的边界模糊、拓扑结构不明确的问题。
附图说明
图1本发明整体流程框图；
图2网络模型中下采样节点结构示意图；
图3网络模型中语义补充路径结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明的3D多特征融合的牙齿分割方法，结合CT图像上下的相似性提高了神经网络的训练精度；同时结合CRF算法，去除神经网络模型产生的冗余信息，使得分割结果更加精确。本发明的基于3D多特征融合的牙齿CT图像分割方法的具体实现包括以下步骤：
第1步，数据收集。
本具体实施方式中，数据集采用华西医院提供CT图像，记为X0，其存储格式为DICOM，数据样本X0存储值为锥形束扫描录入，其单位为HF。
本实施例中，数据集具体为：6组CBCT扫描图像，每组由401张图像组成，CT图像的扫描范围为下颌骨到鼻梁位置，格式为DICOM，对于下颌骨部分，将文件名备注为“-”，即负样本，共200张；上颌骨部分，将文件名则备注为“+”，即正样本，共201张。扫描图像中从牙根到牙冠位置的图像编号为0～51。
第2步，对收集到的数据集X0进行预处理：
统计数据集X0中的各CT图像的CT值的显示范围(即CT值跨度)，设置适用于牙齿的窗宽WW(Windows Width)和窗位WL(Windows Level)，将其映射到正常图像格式范围内：
其中，窗宽是指显示图像时所选用的CT值范围，窗位是指窗宽上下限的CT值平均数，窗位的高低影响图像的亮度。
本具体实施方式中，以CT值跨度作为窗宽WW，窗宽的中心CT值作为窗位WL，对数据进行加窗，基于公式(1)的图像转换公式，将数据映射到标准图像的0-255像素级之间，转化为8位的uint类型数据(32位无符号整数)并保存为PNG图像文件。
其中，WWmin为显示的最小CT值，WWmax为显示的最大CT值，原始DICOM文件中，将CT值不在WWmin-Wwmax范围内的位置的灰度值均设为0，piexl表示转换前位置上的CT值，nPixel为转化后图像的灰度值，用于牙齿的检测。本实施例中，所设定的窗宽定为400，窗位定为1200。
第3步，训练集制作。
将DICOM文件转化为容易修改编辑的PNG格式后，进行分割目标标签制作。以病人为单位将其对应的CT图像进行标签(label)标定，刻录下完整的牙齿边缘，使其分为牙齿和背景两类。标记的文件名与原文件一一对应。一组完整的病人CT图像与标记图像作为一个数据，原图与生成的label进行组合，再压缩排列，生成“nii.gz”文件，然后将文件输入3D神经网络中进行训练。
第4步，搭建神经网络模型。
本发明的用于牙齿分割的神经网络模型骨架采用U-net网络，使用三维卷积层代替U-net网络中的二维卷积层，如图1所示，神经网络模型包括压缩路径(下采样阶段)和扩展路径(上采样阶段)，其中，压缩路径包括4个用于下采样的节点(Down1～Down4)，每个节点采用2个卷积层、1个BN(Batch Normalization，批量归一化)层和1个3*3*3的最大池化层，如图2所示。即当将一组CT图像作为一个数据输入该神经网络模型后，每进行两次卷积后进行一次BN，然后再进行一次池化运算，以此方式循环四次，获得下采样的结果。
扩展路径包括4个用于上采样的节点(Up1～Up4)，下采样所输出的结果(特征图谱)作为上采样的输入，对其进行逆卷积，卷积核大小、步长与下采样中最大池化层保持一致，逆卷积后的结果再与下采样中对应节点进行裁剪拼接融合，用以补充特征图谱高层位置信息，上采样阶段节点结构与下采样阶段保持一致。
下采样阶段的Down4的输出通过2*2*2的最大池化层后，接入上采样阶段的Up1；且上采样结束后，再将Up4输出的特征图谱输入一层1*1*1的卷积层，使用Sigmoid激活函数，将神经网络模型输出的特征图谱通道转化为需要的分类结果。
上采样阶段每一层(即每个节点)会进行高维语义的补充，其结构如图3所示，下采样阶段第一节点分别对上采样阶段的第二、第三、第四节点进行信息补充，补充路径中分别进行三、二、一次卷积；下采样阶段第二节点对上采样阶段的第二、第三节点进行信息补充，补充路径中分别进行二、一次卷积；下采样阶段第三节点对上采样阶段第二节点进行信息补充，补充路径分别进行一次卷积；下采样阶段第四节点采用U-net网络中方法进行信息补充，不作额外修改。上采样阶段，每一节点将使用1*1*1的卷积层将从上一节点与下采样对应传输的语义信息进行卷积拼接，使用拼接后的特征图谱来完成模型训练。
在网络中加入监督机制，获取中间层(隐藏层)数据，即图1中位于节点(Down1～Down4和Up1～Up4)下方的线条表示网络模型中设立的中间层监督机制，并使其参与神经网络模型的训练过程中，用以补充随着网络层加深所损失的高层信息，中间层的输出结果会进行n-m次反卷积处理，其中n为经过的下采样阶段数，m为经过的上采样阶段数，反卷积后的结果分别与标签图像进行标准交叉熵的计算，其计算结果添加入损失函数中参与训练，用以克服三维卷积层容易出现的梯度消失问题，本具体实施方式中，选取下采样阶段第二节点输出与上采样阶段第二节点输出作为数据补充，均只需进行两次反卷积处理。
第5步，损失函数构建。
模型训练时使用交叉熵基础函数，如公式(2)所示，损失函数由上采样阶段、下采样阶段及全局损失函数共同构成，上采样阶段与下采样阶段共提供K个中间层损失函数，用以对全局函数的修正与信息补充，如公式(3)所示，实验训练中，提取2个中间层进行数据补充。
其中，
表示真实标签，yi表示神经网络模型的输出分类结果，Wi表示第i个中间层的权重参数，权重初始矩阵可以设置为(1,1,2)，Biss为参数偏值，使用高斯核进行初始化。lossi表示第i个中间层的交叉熵损失函数，即基于公式(2)计算对应层的交叉熵损失函数。之外，W表示网络的所有权重矩阵，神经网络模型训练中优化器使用Adam优化器。
第6步，采用CRF算法进行冗余优化。
通过上述步骤得到的神经网络模型，利用它对测试集进行分割，将神经网络模型最终层的特征图谱进行一次softmax，得到最终层的分类概率probability。
进一步的，构建条件随机场，如公式(4)所示，将得到的probability输入条件随机场，从而除去最终层结果中存在的冗余信息与一些不准确信息，用以优化输出结果，使得分割更加精确。
其中，Z(x)表示规范化因子，
即为神经网络模型输出的分类概率probability，即每个像素点的分类结果(牙齿或背景)；f(yi,yj)为用于控制各节点是否存在影响，其值仅为0或1；i，j用于区分不同像素点，
为各类的影响项参数，具体如公式(5)所示，
其中，
为两核势函数，由图像颜色和位置所定义，其包括外观核
和平滑核
外观核用于表征相近的颜色的像素很可能是同一类，接近度(距离接近度)和相似度(颜色相似度)由参数θα和θβ控制；平滑核用于清除小的孤立的区域。μ1、μ2表示两个权重，si和sj表示像素点i,j的位置，Ii和Ij表示像素点i,j的图像灰度值，μ1、θα和θβ为外观核参数，μ2和θγ为平滑核参数，外观核和平滑核参数的值均可以基于学习获得。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
Claims (2)
1.一种3D多特征融合的牙齿CT图像分割方法，其特征在于，包括以下步骤：
步骤一、CT图像预处理：
对CT图像进行图像转换处理：
根据公式
得到转换后的图像的各像素点的灰度值nPixel，其中，Piexl为转换前像素点的CT值，WWmin、WWmax分别为CT图像的最小和最大CT值；
对作为训练样本的各转换后的CT图像，进行标签标定，将训练样本图像的每个像素点分为牙齿和背景两类；
步骤二、用于牙齿分割的神经网络模型构建及训练：
所述神经网络模型的骨架采用U-net网络，并采用三维卷积层替换U-net网络中的二维卷积层；
所述神经网络模型包括下采样阶段和上采样阶段；
下采样阶段包括四个节点，各下节点的网络结构相同，按照前向传播的方向包括：两层三维卷积层、批量归一化层和最大池化层；下采样部分中，上个节点的输出的特征图谱作为下一个节点的输入；
上采样阶段包括四个上节点，每个节点用于对输入的特征图谱进行反卷积，且每个节点的卷积核大小和步长与下采样阶段的节点的最大池化层保持一致；
下采样阶段的第四个节点通过最大池化层与上采样阶段的第一个节点相连；即四次下采样后的输出结果作为上采样部分最初的输入；
并将上采样阶段的第四个节点输出的特征图谱输入一层1*1*1的三维卷积层，同时使用Sigmoid激活函数，将三维卷积层输出的特征图谱通道转化为牙齿和背景的分类概率结果；
上采样阶段的每个节点会进行高维语义的补充：
下采样阶段第一节点分别对上采样阶段第二、第三、第四节点进行信息补充，补充路径中分别进行三、二、一次卷积；
下采样阶段第二节点对上采样阶段第二、第三节点进行信息补充，补充路径中分别进行二、一次卷积；
下采样阶段第三节点对上采样阶段第二节点进行信息补充，补充路径分别进行一次卷积；下采样阶段第四节点采用的信息补充方式与U-net网络的信息补充方式相同；
上采样阶段，每一节点采用1*1*1的卷积层将从上一节点与下采样对应传输的语义信息进行卷积拼接，并使用拼接后的特征图谱对神经网络模型进行网络模型训练；
模型训练时使用交叉熵基础函数，损失函数由上采样阶段、下采样阶段及全局损失函数共同构成，将上采样阶段与下采样阶段的损失函数为中间层损失函数，定义K表示中间层数；则网络模型训练的损失函数为：
其中，Wk表示第k个中间层的权重参数，Biss为参数偏值，lossk表示第k个中间层的交叉熵损失函数：
其中
表示真实标签，yi表示神经网络模型的输出分类结果，i表示像素点标识符，n表示像素点数量。
步骤三、对待分割的图像进行CT图像预处理，得到灰度图像并输入训练好的神经网络模型，基于其输出得到分割结果。
2.如权利要求1所述的方法，其特征在于，采用条件随机场(Conditional RandomField,CRF)算法对神经网络模型输出分类概率结果进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010683245.4A CN111968120B (zh) | 2020-07-15 | 2020-07-15 | 一种3d多特征融合的牙齿ct图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010683245.4A CN111968120B (zh) | 2020-07-15 | 2020-07-15 | 一种3d多特征融合的牙齿ct图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968120A true CN111968120A (zh) | 2020-11-20 |
| CN111968120B CN111968120B (zh) | 2022-03-15 |
Family
ID=73362076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010683245.4A Expired - Fee Related CN111968120B (zh) | 2020-07-15 | 2020-07-15 | 一种3d多特征融合的牙齿ct图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968120B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614127A (zh) * | 2020-12-31 | 2021-04-06 | 北京朗视仪器有限公司 | 一种基于端到端的交互式三维cbct牙齿图像分割算法 |
| CN112785609A (zh) * | 2021-02-07 | 2021-05-11 | 重庆邮电大学 | 一种基于深度学习的cbct牙齿分割方法 |
| CN112790782A (zh) * | 2021-02-02 | 2021-05-14 | 广州柏视医疗科技有限公司 | 基于深度学习的盆腔肿瘤ctv的自动勾画方法 |
| CN113298786A (zh) * | 2021-05-26 | 2021-08-24 | 北京长木谷医疗科技有限公司 | 图像识别及模型训练的方法、真臼位置识别的方法及装置 |
| CN113344933A (zh) * | 2021-06-01 | 2021-09-03 | 电子科技大学 | 一种基于多层次特征融合网络的腺体细胞分割方法 |
| CN113628222A (zh) * | 2021-08-05 | 2021-11-09 | 杭州隐捷适生物科技有限公司 | 一种基于深度学习的3d牙齿分割和分类方法 |
| CN113920314A (zh) * | 2021-09-30 | 2022-01-11 | 北京百度网讯科技有限公司 | 语义分割、模型训练方法，装置，设备以及存储介质 |
| CN114187293A (zh) * | 2022-02-15 | 2022-03-15 | 四川大学 | 基于注意力机制和集成配准的口腔腭部软硬组织分割方法 |
| CN115830287A (zh) * | 2023-02-20 | 2023-03-21 | 汉斯夫(杭州)医学科技有限公司 | 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质 |
| CN117095145A (zh) * | 2023-10-20 | 2023-11-21 | 福建理工大学 | 一种牙齿网格分割模型的训练方法及终端 |
| CN117152093A (zh) * | 2023-09-04 | 2023-12-01 | 山东奇妙智能科技有限公司 | 基于数据融合和深度学习的轮胎缺陷检测系统及方法 |
| WO2024125156A1 (zh) * | 2022-12-14 | 2024-06-20 | 华为技术有限公司 | 特征提取单元、特征提取方法及相关设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130022251A1 (en) * | 2011-07-21 | 2013-01-24 | Shoupu Chen | Method and system for tooth segmentation in dental images |
| CN105741288A (zh) * | 2016-01-29 | 2016-07-06 | 北京正齐口腔医疗技术有限公司 | 牙齿图像的分割方法和装置 |
| CN109146897A (zh) * | 2018-08-22 | 2019-01-04 | 北京羽医甘蓝信息技术有限公司 | 口腔放射图像质量控制方法及装置 |
| CN109741347A (zh) * | 2018-12-30 | 2019-05-10 | 北京工业大学 | 一种基于卷积神经网络的迭代学习的图像分割方法 |
| CN109816661A (zh) * | 2019-03-22 | 2019-05-28 | 电子科技大学 | 一种基于深度学习的牙齿ct图像分割方法 |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN109903396A (zh) * | 2019-03-20 | 2019-06-18 | 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) | 一种基于曲面参数化的牙齿三维模型自动分割方法 |
| CN110473243A (zh) * | 2019-08-09 | 2019-11-19 | 重庆邮电大学 | 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 |
| CN110889850A (zh) * | 2019-12-13 | 2020-03-17 | 电子科技大学 | 一种基于中心点检测的cbct牙齿图像分割方法 |
| CN110930421A (zh) * | 2019-11-22 | 2020-03-27 | 电子科技大学 | 一种用于cbct牙齿图像的分割方法 |
| US10685259B2 (en) * | 2017-07-21 | 2020-06-16 | Dental Monitoring | Method for analyzing an image of a dental arch |
-
2020
- 2020-07-15 CN CN202010683245.4A patent/CN111968120B/zh not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130022251A1 (en) * | 2011-07-21 | 2013-01-24 | Shoupu Chen | Method and system for tooth segmentation in dental images |
| CN105741288A (zh) * | 2016-01-29 | 2016-07-06 | 北京正齐口腔医疗技术有限公司 | 牙齿图像的分割方法和装置 |
| US10685259B2 (en) * | 2017-07-21 | 2020-06-16 | Dental Monitoring | Method for analyzing an image of a dental arch |
| CN109146897A (zh) * | 2018-08-22 | 2019-01-04 | 北京羽医甘蓝信息技术有限公司 | 口腔放射图像质量控制方法及装置 |
| CN109741347A (zh) * | 2018-12-30 | 2019-05-10 | 北京工业大学 | 一种基于卷积神经网络的迭代学习的图像分割方法 |
| CN109903292A (zh) * | 2019-01-24 | 2019-06-18 | 西安交通大学 | 一种基于全卷积神经网络的三维图像分割方法及系统 |
| CN109903396A (zh) * | 2019-03-20 | 2019-06-18 | 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) | 一种基于曲面参数化的牙齿三维模型自动分割方法 |
| CN109816661A (zh) * | 2019-03-22 | 2019-05-28 | 电子科技大学 | 一种基于深度学习的牙齿ct图像分割方法 |
| CN110473243A (zh) * | 2019-08-09 | 2019-11-19 | 重庆邮电大学 | 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 |
| CN110930421A (zh) * | 2019-11-22 | 2020-03-27 | 电子科技大学 | 一种用于cbct牙齿图像的分割方法 |
| CN110889850A (zh) * | 2019-12-13 | 2020-03-17 | 电子科技大学 | 一种基于中心点检测的cbct牙齿图像分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| MIAO GOU ET AL: "Automatic Image Annotation and Deep Leaning for tooth CT Image Segmentation", 《INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》 * |
| 吴婷等: "水平集活动轮廓模型的3维牙齿重建", 《中国图象图形学报》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614127A (zh) * | 2020-12-31 | 2021-04-06 | 北京朗视仪器有限公司 | 一种基于端到端的交互式三维cbct牙齿图像分割算法 |
| CN112790782A (zh) * | 2021-02-02 | 2021-05-14 | 广州柏视医疗科技有限公司 | 基于深度学习的盆腔肿瘤ctv的自动勾画方法 |
| CN112790782B (zh) * | 2021-02-02 | 2022-06-24 | 广州柏视医疗科技有限公司 | 基于深度学习的盆腔肿瘤ctv的自动勾画系统 |
| CN112785609A (zh) * | 2021-02-07 | 2021-05-11 | 重庆邮电大学 | 一种基于深度学习的cbct牙齿分割方法 |
| CN112785609B (zh) * | 2021-02-07 | 2022-06-03 | 重庆邮电大学 | 一种基于深度学习的cbct牙齿分割方法 |
| CN113298786A (zh) * | 2021-05-26 | 2021-08-24 | 北京长木谷医疗科技有限公司 | 图像识别及模型训练的方法、真臼位置识别的方法及装置 |
| CN113344933B (zh) * | 2021-06-01 | 2022-05-03 | 电子科技大学 | 一种基于多层次特征融合网络的腺体细胞分割方法 |
| CN113344933A (zh) * | 2021-06-01 | 2021-09-03 | 电子科技大学 | 一种基于多层次特征融合网络的腺体细胞分割方法 |
| CN113628222A (zh) * | 2021-08-05 | 2021-11-09 | 杭州隐捷适生物科技有限公司 | 一种基于深度学习的3d牙齿分割和分类方法 |
| CN113920314A (zh) * | 2021-09-30 | 2022-01-11 | 北京百度网讯科技有限公司 | 语义分割、模型训练方法，装置，设备以及存储介质 |
| CN113920314B (zh) * | 2021-09-30 | 2022-09-02 | 北京百度网讯科技有限公司 | 语义分割、模型训练方法，装置，设备以及存储介质 |
| CN114187293B (zh) * | 2022-02-15 | 2022-06-03 | 四川大学 | 基于注意力机制和集成配准的口腔腭部软硬组织分割方法 |
| CN114187293A (zh) * | 2022-02-15 | 2022-03-15 | 四川大学 | 基于注意力机制和集成配准的口腔腭部软硬组织分割方法 |
| WO2024125156A1 (zh) * | 2022-12-14 | 2024-06-20 | 华为技术有限公司 | 特征提取单元、特征提取方法及相关设备 |
| CN115830287A (zh) * | 2023-02-20 | 2023-03-21 | 汉斯夫(杭州)医学科技有限公司 | 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质 |
| CN115830287B (zh) * | 2023-02-20 | 2023-12-12 | 汉斯夫(杭州)医学科技有限公司 | 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质 |
| CN117152093A (zh) * | 2023-09-04 | 2023-12-01 | 山东奇妙智能科技有限公司 | 基于数据融合和深度学习的轮胎缺陷检测系统及方法 |
| CN117152093B (zh) * | 2023-09-04 | 2024-05-03 | 山东奇妙智能科技有限公司 | 基于数据融合和深度学习的轮胎缺陷检测系统及方法 |
| CN117095145A (zh) * | 2023-10-20 | 2023-11-21 | 福建理工大学 | 一种牙齿网格分割模型的训练方法及终端 |
| CN117095145B (zh) * | 2023-10-20 | 2023-12-19 | 福建理工大学 | 一种牙齿网格分割模型的训练方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968120B (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111968120B (zh) | 一种3d多特征融合的牙齿ct图像分割方法 | |
| WO2022199143A1 (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN107369160B (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
| WO2022095612A1 (zh) | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 | |
| CN107169974A (zh) | 一种基于多监督全卷积神经网络的图像分割方法 | |
| CN108364288A (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
| WO2020109630A1 (en) | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ | |
| CN110930421A (zh) | 一种用于cbct牙齿图像的分割方法 | |
| CN110544264A (zh) | 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法 | |
| CN109447998A (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
| CN112785609B (zh) | 一种基于深度学习的cbct牙齿分割方法 | |
| CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
| CN110689564A (zh) | 一种基于超像素聚类的牙弓线绘制方法 | |
| CN106327479A (zh) | 血管造影中介下先心病术中血管辨识的装置及方法 | |
| CN115131280A (zh) | 一种融合注意力机制的改进YOLO v4肺结节检测方法 | |
| CN110047075A (zh) | 一种基于对抗网络的ct图像分割方法 | |
| CN115908297A (zh) | 基于拓扑知识的医学影像中血管分割建模方法 | |
| CN113160120A (zh) | 基于多模态融合与深度学习的肝脏血管分割方法及系统 | |
| CN116152500A (zh) | 一种基于深度学习的全自动牙齿cbct图像分割方法 | |
| Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network | |
| CN112638262A (zh) | 相似度确定装置、方法及程序 | |
| Ben-Hamadou et al. | 3DTeethSeg'22: 3D Teeth Scan Segmentation and Labeling Challenge | |
| Liu et al. | Tracking-based deep learning method for temporomandibular joint segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220315 |