CN116883246B - 一种用于cbct图像的超分辨率方法 - Google Patents
一种用于cbct图像的超分辨率方法 Download PDFInfo
- Publication number
- CN116883246B CN116883246B CN202311145632.2A CN202311145632A CN116883246B CN 116883246 B CN116883246 B CN 116883246B CN 202311145632 A CN202311145632 A CN 202311145632A CN 116883246 B CN116883246 B CN 116883246B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- module
- super
- cbct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007408 cone-beam computed tomography Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000010410 layer Substances 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 33
- 238000010603 microCT Methods 0.000 claims description 25
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 8
- 239000011229 interlayer Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000004262 dental pulp cavity Anatomy 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 8
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Abstract
本发明公开了一种用于CBCT图像的超分辨率方法，涉及计算机视觉领域的图像处理技术，其基于深度学习实现CBCT图像超分辨率处理，提高CBCT图像的质量和分辨率，解决了图像超分辨率处理在实际中的应用限制，从而提高医学诊断的准确性。
Description
技术领域
本发明属于计算机视觉领域的图像处理技术，基于深度学习实现CBCT图像超分辨率处理。
背景技术
CBCT（Cone-beam computed tomography，锥形束计算机断层扫描）是一种近年来发展迅速的医学成像技术，其能够产生高质量的三维图像，并在许多临床应用中发挥重要作用，如口腔、颌面部和头颈部成像等。然而，CBCT图像在成像时同样存在着一些问题，如低分辨率、噪声和伪影等，这些问题可能影响CBCT图像的可视化效果和诊断准确性。因此，CBCT图像超分辨率处理也成为了一个研究热点。
近年来，基于深度学习的图像超分辨率处理方法已经得到广泛研究和应用。2014年，Dong等人提出的SRCNN（Super-Resolution Convolutional Neural Network）是第一个将深度学习用于图像超分辨率的网络。他们的方法直接学习低/高分辨率图像之间的端到端映射。该映射由一个卷积神经网络（CNN）表示，它以低分辨率图像作为输入，高分辨率图像作为输出。他们的结果表明深度学习应用于图像超分辨率领域具有巨大潜力。
现有方法难以基于未配对的CT图像训练超分辨率网络，而在实际环境中很难采集到配对的训练数据，限制了图像超分辨率处理的应用。
发明内容
本发明的目的是提供一种用于CBCT图像的超分辨率方法，以解决背景技术中提到的现有技术的不足。
为实现上述目的，本发明提供如下技术方案：
一种用于CBCT图像的超分辨率方法，包括基于双向二阶传播的 SR 网络，其中断层间对齐模块能够综合上下断层信息，帮助当前断层重建高分辨率图像，算法步骤如下：
S1.构造训练数据集：采集低分辨率的CBCT图像以及高分辨率Micro-CT图像，两者无需像素级对应，但应来自相同物体。数据集配准流程具体如下：
S1-1.牙体分割：由人工标注，标注得到牙体的二值图；
S1-2.三维重建：分别对原始Micro-CT图像、Micro-CT图像的牙体标注结果、CBCT图像的牙体标注结果三维重建，分别得到点云、/>、/>；
S1-3.点云配准：将作为源点云，/>作为目标点云，利用迭代最近点算法进行位置精配准，得到从源点云到目标点云的变换矩阵/>；
S1-4.变换和投影：利用变换矩阵将点云/>变换至目标位置，得到点云/>，并将按照CBCT图像所在的各个平面投影，得到与CBCT图像对应的Micro-CT图像。将此Micro-CT图像按照CBCT图像的空间分辨率和图像分辨率裁剪并缩放至用于超分辨率训练的倍数；
S1-5.灰度值校准：和/>分别代表位置配准后的CBCT图像和Micro-CT图像，其关系表示为：
其中/>和/>分别表示线性变换的斜率与偏置；至此，已获得相应倍数的CT图像超分辨率数据集；
S2.构建基于层间相关性的CBCT图像超分辨率网络，其中包括浅层特征提取模块、对齐模块、超分辨率模块，在特征提取过程中包括一阶特征传播和二阶特征传播，步骤如下：
S2-1.构建浅层特征提取模块及超分辨率模块：浅层特征提取模块提取图片浅层特征，以方便后续特征提取，超分辨率模块通过提取的深层图像特征重构高分辨率图像，浅层特征提取模块由卷积层和残差块级联而成；超分辨率模块由残差模块、PixelShuffle模块和卷积层级联而成，其中残差块与上述相同，通过调整PixelShuffle模块的上采样倍数和数量改变整个超分辨率网络的超分辨率倍率，如果PixelShuffle模块取K倍上采样，数量为N K，则其所构成的网络超分辨率倍率为，与之相应地，上采样倍数为/>；除第一个卷积层和最后一个卷积层外，输入与输出通道数均为/>，第一个卷积层输入通道数为1，最后一个卷积层的输出通道数为1；卷积层的卷积核大小为/>，卷积操作步长为1，padding为1；
S2-2.构建对齐模块：特征拼接均为按通道维度拼接，其组成部分包括卷积层、DCN模块、残差块、偏移提取模块、掩码提取模块，以实现CT图像的不同断层之间的信息聚合，提取到更加准确的图像特征；利用得到的偏移和掩码进行可变形卷积（DCN）计算：估计当前断层中牙齿或根管与之前断层之间的偏移，再对特征图进行扭曲（warp）并卷积，使得计算当前断层能够利用的之前断层的特征；将DCN模块的输出与/>拼接，作为后续模块的输入；后续卷积层及残差块中的卷积层输入与输出通道数均为/>，卷积核大小为/>，卷积操作步长为1，padding为1。最终将DCN模块的输出与残差块的输出按元素求和得到当前模块的当前断层、当前对齐模块的输出/>，其中/>表示对于第i个断层的第k个对齐模块的输出；
S3.构建训练流程：输入图片为一个物体通过CT采集到的数据的个断层图像，表示为/>，其中W和H分别为断层图像的宽度和高度，预处理包括将随机裁剪至/>，其中M为随机裁剪后的宽度，并在三个维度随机翻转，归一化至0-1之间，最终得到网络的输入/>，相应地由高分辨率图像/>得到真值/>，用于计算网络损失函数；
S4.测试：将待测试图像归一化至0-1之间，作为网络输入，使用S3中得到的参数进行测试得到输出。
进一步地，步骤S1中，神经网络传播层数，候选集/>的大小取值为。
进一步地，步骤S1-5中与/>均为已知，利用最小二乘法求得/>和/>并实现亮度校准：/>，其中/>为亮度校准后的Micro-CT图像。
进一步地，步骤S2-1中残差块由卷积层组成，设残差块输入为，则其输出表示为：
其中/>代表卷积层，其输入与输出通道数均为/>，卷积核大小为/>，卷积操作步长为1，padding为1。
进一步地，步骤S2-2中DCN模块表示为：
其中/>表示对于第i个断层的第k个对齐模块的输出，/>（/>）表示DCN模块计算，令第i个断层的浅层特征提取模块的输出为/>；
DCN模块需要的偏移和掩码将由输入计算而得：
其中/>表示沿着通道维度进行拼接；/>为偏移提取模块，/>为掩码提取模块。
进一步地，步骤S3中网络损失函数为：
，其中
，/>表示超分辨率网络，/>为超参数，z为断层图像的数量，i为断层图像的宽，j为断层图像的高，经训练得到网络参数/>。
本发明的有益效果是：通过对低分辨率CBCT图像进行增强处理，从而得到更高分辨率的图像，提高CBCT图像的质量和分辨率，解决了图像超分辨率处理在实际中的应用限制，从而提高医学诊断的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明的总流程图；
图2是本发明的数据集配准流程图；
图3是本发明的基于层间相关性的CT图像超分辨率网络图；
图4是本发明的浅层特征提取模块与超分辨率模块图；
图5是本发明的对齐模块图；
图6是本发明的训练流程图；
图7是本发明的部分输入与输出图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如图1-图6所示，本发明总流程包括：S1.构造训练数据集：采集低分辨率的CBCT图像以及高分辨率Micro-CT图像，两者无需像素级对应，但应来自相同物体。数据集配准流程具体如下：
S1-1.牙体分割：由人工标注，标注得到牙体的二值图；
S1-2.三维重建：分别对原始Micro-CT图像、Micro-CT图像的牙体标注结果、CBCT图像的牙体标注结果三维重建，分别得到点云、/>、/>；
S1-3.点云配准：将作为源点云，/>作为目标点云，利用迭代最近点算法进行位置精配准，得到从源点云到目标点云的变换矩阵/>；
S1-4.变换和投影：利用变换矩阵将点云/>变换至目标位置，得到点云/>，并将按照CBCT图像所在的各个平面投影，得到与CBCT图像对应的Micro-CT图像。将此Micro-CT图像按照CBCT图像的空间分辨率和图像分辨率裁剪并缩放至用于超分辨率训练的倍数；
S1-5.灰度值校准：和/>分别代表位置配准后的CBCT图像和Micro-CT图像，其关系表示为：
其中和/>分别表示线性变换的斜率与偏置；至此，已获得相应倍数的CT图像超分辨率数据集；
S2.构建基于层间相关性的CBCT图像超分辨率网络，其中包括浅层特征提取模块、对齐模块、超分辨率模块，在特征提取过程中包括一阶特征传播和二阶特征传播，步骤如下：
S2-1.构建浅层特征提取模块及超分辨率模块：浅层特征提取模块提取图片浅层特征，以方便后续特征提取，超分辨率模块通过提取的深层图像特征重构高分辨率图像，浅层特征提取模块由卷积层和残差块级联而成；超分辨率模块由残差模块、PixelShuffle模块和卷积层级联而成，其中残差块与上述相同，通过调整PixelShuffle模块的上采样倍数和数量改变整个超分辨率网络的超分辨率倍率，如果PixelShuffle模块取K倍上采样，数量为N K，则其所构成的网络超分辨率倍率为，与之相应地，上采样倍数为/>；除第一个卷积层和最后一个卷积层外，输入与输出通道数均为/>，第一个卷积层输入通道数为1，最后一个卷积层的输出通道数为1；卷积层的卷积核大小为/>，卷积操作步长为1，padding为1；
S2-2.构建对齐模块：特征拼接均为按通道维度拼接，其组成部分包括卷积层、DCN模块、残差块、偏移提取模块、掩码提取模块，以实现CT图像的不同断层之间的信息聚合，提取到更加准确的图像特征；利用得到的偏移和掩码进行可变形卷积（DCN）计算：估计当前断层中牙齿或根管与之前断层之间的偏移，再对特征图进行扭曲（warp）并卷积，使得计算当前断层能够利用的之前断层的特征；将DCN模块的输出与/>拼接，作为后续模块的输入；后续卷积层及残差块中的卷积层输入与输出通道数均为/>，卷积核大小为/>，卷积操作步长为1，padding为1。最终将DCN模块的输出与残差块的输出按元素求和得到当前模块的当前断层、当前对齐模块的输出/>，其中/>表示对于第i个断层的第k个对齐模块的输出；
S3.构建训练流程：输入图片为一个物体通过CT采集到的数据的个断层图像，表示为/>，其中W和H分别为断层图像的宽度和高度，预处理包括将随机裁剪至/>，其中M为随机裁剪后的宽度，并在三个维度随机翻转，归一化至0-1之间，最终得到网络的输入/>，相应地由高分辨率图像/>得到真值/>，用于计算网络损失函数；
S4.测试：将待测试图像归一化至0-1之间，作为网络输入，使用S3中得到的参数进行测试得到输出。
步骤S1中，神经网络传播层数，候选集/>的大小取值为。
步骤S1-5中与/>均为已知，利用最小二乘法求得/>和/>并实现亮度校准：/>，其中/>为亮度校准后的Micro-CT图像。
步骤S2-1中残差块由卷积层组成，设残差块输入为，则其输出表示为：
其中/>代表卷积层，其输入与输出通道数均为/>，卷积核大小为/>，卷积操作步长为1，padding为1。
步骤S2-2中DCN模块表示为：
其中/>表示对于第i个断层的第k个对齐模块的输出，/>（/>）表示DCN模块计算，特别地，令第i个断层的浅层特征提取模块的输出为/>；
DCN模块需要的偏移和掩码将由输入计算而得：
其中/>表示沿着通道维度进行拼接；/>为偏移提取模块，/>为掩码提取模块。/>与/>的网络参数如表1所示。
表1 与/>的网络参数
步骤S3中网络损失函数为：
，其中
，/>表示超分辨率网络，/>为超参数，z为断层图像的数量，i为断层图像的宽，j为断层图像的高，经训练得到网络参数/>。
实施例1：
按照步骤S1构造训练数据集，其中数据为同一批离体牙齿的CBCT扫描图像与Micro-CT扫描图像。扫描得到的Micro-CT图像空间分辨率为CBCT图像的10倍，设其中一颗牙齿的CBCT图像表示为，其中/>表示其中的每个断层，宽和高分别为/>和/>。同一颗牙齿经步骤1-4点云变换后的Micro-CT图像表示为/>。利用三线性插值将/>缩放至维度为/>并进行灰度值校准即可用于四倍超分辨率训练。
按照步骤S2构建基于层间相关性的CBCT图像超分辨率网络，其中步骤2-1的取2，/>取2，即四倍超分辨率网络，/>取64。
按照步骤S3所述构建训练流程，其中取32，/>取64，/>取/>，同时学习率选择/>，最大迭代次数100000，Batch size选择1。
测试：使用步骤S2构建的超分辨率网络对输入图片进行超分辨率，网络参数为步骤S3训练得到的网络参数W G 。将待超分辨率处理的同一颗牙齿的CBCT图像堆叠作为超分辨率网络的一个输入。
图7展示了将一个牙齿的扫描的CBCT图像作为输入，网络的输出结果，从图中可以清晰看出，本发明所提网络对离体牙CBCT图像由较好超分辨率效果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种用于CBCT图像的超分辨率方法，包括基于双向二阶传播的 SR 网络，其中断层间对齐模块能够综合上下断层信息，帮助当前断层重建高分辨率图像，其特征在于，算法步骤如下：
S1.构造训练数据集：采集低分辨率的CBCT图像以及高分辨率Micro-CT图像，两者无需像素级对应，但应来自相同物体；数据集配准流程具体如下：
S1-1.牙体分割：由人工标注，标注得到牙体的二值图；
S1-2.三维重建：分别对原始Micro-CT图像、Micro-CT图像的牙体标注结果、CBCT图像的牙体标注结果三维重建，分别得到点云、/>、/>；
S1-3.点云配准：将作为源点云，/>作为目标点云，利用迭代最近点算法进行位置精配准，得到从源点云到目标点云的变换矩阵/>；
S1-4.变换和投影：利用变换矩阵将点云/>变换至目标位置，得到点云/>，并将/>按照CBCT图像所在的各个平面投影，得到与CBCT图像对应的Micro-CT图像；将此Micro-CT图像按照CBCT图像的空间分辨率和图像分辨率裁剪并缩放至用于超分辨率训练的倍数；
S1-5.灰度值校准：和/>分别代表位置配准后的CBCT图像和Micro-CT图像，其关系表示为：
其中/>和/>分别表示线性变换的斜率与偏置；至此，已获得相应倍数的CT图像超分辨率数据集；
S2.构建基于层间相关性的CBCT图像超分辨率网络，其中包括浅层特征提取模块、对齐模块、超分辨率模块，在特征提取过程中包括一阶特征传播和二阶特征传播，步骤如下：
S2-1.构建浅层特征提取模块及超分辨率模块：浅层特征提取模块提取图片浅层特征，以方便后续特征提取，超分辨率模块通过提取的深层图像特征重构高分辨率图像，浅层特征提取模块由卷积层和残差块级联而成；超分辨率模块由残差模块、PixelShuffle模块和卷积层级联而成，其中残差块与上述相同，通过调整PixelShuffle模块的上采样倍数和数量改变整个超分辨率网络的超分辨率倍率，如果PixelShuffle模块取K倍上采样，数量为N K，则其所构成的网络超分辨率倍率为，与之相应地，上采样倍数为/>；除第一个卷积层和最后一个卷积层外，输入与输出通道数均为/>，第一个卷积层输入通道数为1，最后一个卷积层的输出通道数为1；卷积层的卷积核大小为/>，卷积操作步长为1，padding为1；
S2-2.构建对齐模块：特征拼接均为按通道维度拼接，其组成部分包括卷积层、DCN模块、残差块、偏移提取模块、掩码提取模块，以实现CT图像的不同断层之间的信息聚合，提取到更加准确的图像特征；利用得到的偏移和掩码进行可变形卷积（DCN）计算：估计当前断层中牙齿或根管与之前断层之间的偏移，再对特征图进行扭曲（warp）并卷积，使得计算当前断层能够利用的之前断层的特征；将DCN模块的输出与/>拼接，作为后续模块的输入；后续卷积层及残差块中的卷积层输入与输出通道数均为/>，卷积核大小为/>，卷积操作步长为1，padding为1；最终将DCN模块的输出与残差块的输出按元素求和得到当前模块的当前断层、当前对齐模块的输出/>，其中/>表示对于第i个断层的第k个对齐模块的输出；
S3.构建训练流程：输入图片为一个物体通过CT采集到的数据的个断层图像，表示为，其中W和H分别为断层图像的宽度和高度，预处理包括将/>随机裁剪至/>，其中M为随机裁剪后的宽度，并在三个维度随机翻转，归一化至0-1之间，最终得到网络的输入/>，相应地由高分辨率图像/>得到真值，用于计算网络损失函数；
S4.测试：将待测试图像归一化至0-1之间，作为网络输入，使用S3中得到的参数进行测试得到输出。
2.根据权利要求1所述的用于CBCT图像的超分辨率方法，其特征在于，步骤S1中，神经网络传播层数，候选集/>的大小取值为/>。
3.根据权利要求1所述的用于CBCT图像的超分辨率方法，其特征在于，步骤S1-5中与/>均为已知，利用最小二乘法求得/>和/>并实现亮度校准：，其中/>为亮度校准后的Micro-CT图像。
4.根据权利要求1所述的用于CBCT图像的超分辨率方法，其特征在于，步骤S2-1中残差块由卷积层组成，设残差块输入为，则其输出表示为：
其中/>代表卷积层，其输入与输出通道数均为/>，卷积核大小为/>，卷积操作步长为1，padding为1。
5.根据权利要求1所述的用于CBCT图像的超分辨率方法，其特征在于，步骤S2-2中DCN模块表示为：
其中/>表示对于第i个断层的第k个对齐模块的输出，/>（/>）表示DCN模块计算，令第i个断层的浅层特征提取模块的输出为/>；
DCN模块需要的偏移和掩码将由输入计算而得：
其中/>表示沿着通道维度进行拼接；/>为偏移提取模块，/>为掩码提取模块。
6.根据权利要求1所述的用于CBCT图像的超分辨率方法，其特征在于，步骤S3中网络损失函数为：
，其中
，/>表示超分辨率网络，/>为超参数，z为断层图像的数量，i为断层图像的宽，j为断层图像的高，经训练得到网络参数/>。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311145632.2A CN116883246B (zh) | 2023-09-06 | 2023-09-06 | 一种用于cbct图像的超分辨率方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311145632.2A CN116883246B (zh) | 2023-09-06 | 2023-09-06 | 一种用于cbct图像的超分辨率方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116883246A CN116883246A (zh) | 2023-10-13 |
| CN116883246B true CN116883246B (zh) | 2023-11-14 |
Family
ID=88264853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311145632.2A Active CN116883246B (zh) | 2023-09-06 | 2023-09-06 | 一种用于cbct图像的超分辨率方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883246B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2896210A1 (en) * | 2012-12-24 | 2014-07-03 | Dentlytec G.P.L. Ltd | Device and method for subgingival measurement |
| CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| CA3068526A1 (en) * | 2017-06-30 | 2019-01-03 | Frank Theodorus Catharina CLAESSEN | Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods |
| CN110363750A (zh) * | 2019-06-28 | 2019-10-22 | 福建师范大学 | 一种基于多模态数据融合的牙根管形态自动提取方法 |
| CN112184556A (zh) * | 2020-10-28 | 2021-01-05 | 万申(北京)科技有限公司 | 一种基于口腔cbct重建点云的超分辨成像方法 |
| CN112967219A (zh) * | 2021-03-17 | 2021-06-15 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及系统 |
| CN113344950A (zh) * | 2021-07-28 | 2021-09-03 | 北京朗视仪器股份有限公司 | 一种深度学习结合点云语义的cbct图像牙齿分割方法 |
| WO2022020267A1 (en) * | 2020-07-21 | 2022-01-27 | Get-Grin Inc. | Systems and methods for modeling dental structures |
| CN114612306A (zh) * | 2022-03-15 | 2022-06-10 | 北京工业大学 | 一种面向裂缝检测的深度学习超分辨率方法 |
| CN115546103A (zh) * | 2022-08-25 | 2022-12-30 | 杭州键嘉医疗科技股份有限公司 | 一种口腔cbct自动配准方法 |
| CN116188452A (zh) * | 2023-03-17 | 2023-05-30 | 昆明理工大学 | 医学图像层间插值及三维重建方法 |
| CN116205956A (zh) * | 2021-11-30 | 2023-06-02 | 合肥美亚光电技术股份有限公司 | 点云配准方法、装置以及医疗影像设备 |
-
2023
- 2023-09-06 CN CN202311145632.2A patent/CN116883246B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2896210A1 (en) * | 2012-12-24 | 2014-07-03 | Dentlytec G.P.L. Ltd | Device and method for subgingival measurement |
| CA3068526A1 (en) * | 2017-06-30 | 2019-01-03 | Frank Theodorus Catharina CLAESSEN | Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods |
| CN108921786A (zh) * | 2018-06-14 | 2018-11-30 | 天津大学 | 基于残差卷积神经网络的图像超分辨率重构方法 |
| CN110363750A (zh) * | 2019-06-28 | 2019-10-22 | 福建师范大学 | 一种基于多模态数据融合的牙根管形态自动提取方法 |
| WO2022020267A1 (en) * | 2020-07-21 | 2022-01-27 | Get-Grin Inc. | Systems and methods for modeling dental structures |
| CN112184556A (zh) * | 2020-10-28 | 2021-01-05 | 万申(北京)科技有限公司 | 一种基于口腔cbct重建点云的超分辨成像方法 |
| CN112967219A (zh) * | 2021-03-17 | 2021-06-15 | 复旦大学附属华山医院 | 基于深度学习网络的二阶段牙体点云补全方法及系统 |
| CN113344950A (zh) * | 2021-07-28 | 2021-09-03 | 北京朗视仪器股份有限公司 | 一种深度学习结合点云语义的cbct图像牙齿分割方法 |
| CN116205956A (zh) * | 2021-11-30 | 2023-06-02 | 合肥美亚光电技术股份有限公司 | 点云配准方法、装置以及医疗影像设备 |
| CN114612306A (zh) * | 2022-03-15 | 2022-06-10 | 北京工业大学 | 一种面向裂缝检测的深度学习超分辨率方法 |
| CN115546103A (zh) * | 2022-08-25 | 2022-12-30 | 杭州键嘉医疗科技股份有限公司 | 一种口腔cbct自动配准方法 |
| CN116188452A (zh) * | 2023-03-17 | 2023-05-30 | 昆明理工大学 | 医学图像层间插值及三维重建方法 |
Non-Patent Citations (5)
| Title |
|---|
| Merging and Annotating Teeth and Roots and from Automated Segmentation of Multimodal Images;Romain Deleat-Besson 等;ML-CDS 2021: Multimodal Learning for Clinical Decision Support;81-92 * |
| Tooth Point Cloud Segmentation of Dental Model Based on Region Growing;Jiawen He 等;Proceedings of the 2nd International Conference on Artificial Intelligence and Advanced Manufacturer;489-492 * |
| 一种基于齿科序列图像的超分辨率重建算法;程斌 等;小型微型计算机系统;第41卷(第01期);177-184 * |
| 基于TOF三维相机相邻散乱点云配准技术研究;张旭东 等;机械工程学报;第49卷(第12期);8-16+23 * |
| 高分辨率深度生成网络的缺失牙体形态设计;郭闯 等;中国图象图形学报;第25卷(第10期);2249-2258 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116883246A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Artifact correction in low‐dose dental CT imaging using Wasserstein generative adversarial networks | |
| CN109146988B (zh) | 基于vaegan的非完全投影ct图像重建方法 | |
| CN108898642A (zh) | 一种基于卷积神经网络的稀疏角度ct成像方法 | |
| EP1644897B1 (en) | A fourier tomographic image reconstruction method for fan-beam data | |
| CN113298710B (zh) | 基于外部注意力机制的光学相干层析超分辨率成像方法 | |
| CN114241077B (zh) | 一种ct图像分辨率优化方法及装置 | |
| Gajera et al. | CT-scan denoising using a charbonnier loss generative adversarial network | |
| Zhu et al. | Metal artifact reduction for X-ray computed tomography using U-net in image domain | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN113487503A (zh) | 一种基于通道注意力生成对抗网络的pet超分辨率方法 | |
| CN116188452A (zh) | 医学图像层间插值及三维重建方法 | |
| Feng et al. | Dual residual convolutional neural network (DRCNN) for low-dose CT imaging | |
| Fang et al. | Snaf: Sparse-view cbct reconstruction with neural attenuation fields | |
| CN113344876A (zh) | 一种ct和cbct间可变形配准方法 | |
| CN116883246B (zh) | 一种用于cbct图像的超分辨率方法 | |
| Friot et al. | Iterative tomographic reconstruction with TV prior for low-dose CBCT dental imaging | |
| Kim et al. | CNN-based CT denoising with an accurate image domain noise insertion technique | |
| Khodajou-Chokami et al. | PARS-NET: a novel deep learning framework using parallel residual conventional neural networks for sparse-view CT reconstruction | |
| Chen et al. | Dual-domain modulation for high-performance multi-geometry low-dose CT image reconstruction | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| Yu et al. | Deep learning single view computed tomography guided by FBP algorithm | |
| CN113902912A (zh) | Cbct影像的处理方法、神经网络系统的创建方法、以及装置 | |
| CN116883247B (zh) | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 | |
| CN112509089B (zh) | 基于截断数据外推网络的ct局部重建方法 | |
| Çelik et al. | Improving resolution of panoramic radiographs: super-resolution concept |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |