CN110473196B - 一种基于深度学习的腹部ct图像目标器官配准方法 - Google Patents

一种基于深度学习的腹部ct图像目标器官配准方法 Download PDF

Info

Publication number
CN110473196B
CN110473196B CN201910746634.4A CN201910746634A CN110473196B CN 110473196 B CN110473196 B CN 110473196B CN 201910746634 A CN201910746634 A CN 201910746634A CN 110473196 B CN110473196 B CN 110473196B
Authority
CN
China
Prior art keywords
image
target organ
abdominal
registration
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910746634.4A
Other languages
English (en)
Other versions
CN110473196A (zh
Inventor
赵于前
杨少迪
杨振
张帆
廖胜辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Tiao Medical Technology Co.,Ltd.
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201910746634.4A priority Critical patent/CN110473196B/zh
Publication of CN110473196A publication Critical patent/CN110473196A/zh
Application granted granted Critical
Publication of CN110473196B publication Critical patent/CN110473196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的腹部CT图像目标器官配准方法。首先，构建腹部CT图像数据库；其次，构建基于深度学习的网络模型，在其卷积神经网络模块中，引入坐标卷积层，以增强其对目标位置信息的学习能力；然后，考虑到含目标器官边界框的腹部CT图像数据量较少，基于迁移学习技术，输入自然场景数据库预训练网络模型，再输入腹部CT图像数据库对该模型进行参数微调，以实现腹部目标器官检测；最后，构建腹部目标器官CT图像对，根据图像对像素点之间梯度和灰度分布特征，构建相似性度量函数，基于梯度下降法最小化该函数，实现腹部CT图像对目标器官配准。本发明采用先提取腹部CT图像目标器官区域再配准的策略，减小了腹部CT图像复杂背景和噪声等因素对目标器官配准的影响，且配准精度高，鲁棒性强。

Description

一种基于深度学习的腹部CT图像目标器官配准方法
技术领域
本发明属于医学图像处理领域，涉及腹部CT图像多器官的配准，特别涉及基于深度学习的腹部CT图像目标器官配准。
背景技术
图像配准是现代计算机视觉和医学图像处理中的一项重要技术，其目的是对同一对象或不同对象在不同的设备、不同的时间、不同的拍摄角度等条件下得到的图像对进行比较或融合。利用配准可以辅助腹部的目标器官分割、三维重建、组织参数估计和呼吸运动跟踪等工作。目前的腹部CT图像配准方法在临床应用中存在计算量大、耗时长、鲁棒性差等问题。因此，研究一种高效、准确的腹部CT图像配准方法对于腹部器官的疾病诊断和放射治疗具有重要意义。
现有的腹部图像配准方法一般可分为基于灰度和基于特征两大类。单纯基于灰度的配准方法是指以图像对之间的灰度分布为依据，建立相似性度量，主要包括误差平方和、互信息、序贯相似性检测和互相关算法等。这些配准技术能捕捉细微的空间变换，因此配准精度高、人工干预少，但是计算复杂度高、耗时长。基于特征的配准方法首先对图像对进行点、线、边缘等特征提取，然后以特征为模型进行配准，该类方法只采用了小部分的特征信息，因此配准速度快、抗干扰能力更强，但是在特征的选取过程中会引入额外的误差，且容易损失图像内部纹理信息。
发明内容
本发明的目的在于针对腹部CT图像背景复杂、噪声大以及配准过程中构建相似性度量的计算量大、时耗长等问题，利用先提取腹部CT图像目标器官区域再配准的两步法策略，提出了一种高效、精确、鲁棒的基于深度学习的腹部CT图像目标器官配准方法。
本发明提出的基于深度学习的腹部CT图像目标器官配准方法包括以下步骤：
步骤1：构建腹部CT图像数据库：
首先，提取腹部图像序列切片中肝、左肾、右肾和脾的坐标信息，获得带有目标器官边界框的XML格式注释文件，再利用原始图像及其目标器官的坐标信息组成样本训练集、验证集和测试集。
步骤2：提取腹部目标器官感兴趣区域，具体包括以下步骤：
步骤2.1：构建基于深度学习的网络模型，具体包括以下步骤：
步骤2.1.1：以改进的卷积神经网络为第一模块，首先对输入图像进行自动补零，然后进入卷积操作，该操作共包含五个部分，其中第一部分包含1个坐标卷积层、批归一化层和池化层，第二部分包含1个残差块和2个恒等映射块，第三部分包含1个残差块和3个恒等映射块，第四部分包含1个残差块和5个恒等映射块，第五部分包含1个残差块和2个恒等映射块，最后进行池化、排序展平和全连接，实现特征图的提取，其中1个卷积层和1个批归一化层为1组卷积，每3组卷积增加一个短连接，构成1个恒等映射块，在短连接上加1组卷积，构成残差块，卷积神经网络选取ResNet50网络，在第一部分中第1层卷积层里添加含有坐标信息的通道，变为坐标卷积层，使用7×7个卷积核，卷积核大小为2×2，用于输出64个特征图；
步骤2.1.2：以区域生成网络为第二模块，将第一模块输出的特征图输入第二模块，经卷积层、池化层、全连接层，获得初步边界框的回归和分类；
步骤2.1.3：根据第二模块的边界框初步预测结果，取整裁剪第一模块输出的特征图，输入候选区域池化层，获得固定大小的特征图；
步骤2.1.4：将步骤2.1.3输出的特征图，输入全连接层，通过分类和回归获得目标器官的检测结果。
步骤2.2：训练网络模型：
首先利用自然场景公共数据库，预训练步骤2.1构建的网络模型，然后基于迁移学习技术，利用腹部CT图像数据库对预训练模型进行参数微调，获得腹部CT图像目标器官检测网络模型，其中自然场景公共数据库选取PASCAL VOC2007。
步骤2.3：检测腹部目标器官：
采用步骤2.2所得的网络模型对测试集中的腹部目标器官进行检测，根据边界框的分类结果和坐标信息，获得测试集的肝、左肾、右肾和脾的感兴趣区域。
步骤3：构建腹部CT图像对目标器官感兴趣区域：
根据测试集中每个序列相应的目标器官检测结果，随机抽取1个序列图像作为参考，并将剩余序列图像依次与其配对，获得多组腹部CT图像对目标器官感兴趣区域，搜索每组图像对所有序列切片图像目标器官的边界框检测结果，获得包含图像对目标器官在内的最小横、纵坐标，按坐标提取尺寸统一的图像对目标器官感兴趣区域。
步骤4：构建相似性度量函数：
Figure GDA0003028031030000031
其中，If为参考图像，Im为浮动图像，T为空间变换，S为配准目标函数，R为惩罚项，λ为平衡惩罚项和目标函数之间误差的权重系数，λ为0～1之间的常数，具体包括以下步骤：
步骤4.1：利用待配准图像对之间的灰度分布的相关性，计算图像对所有像素点之间的误差平方和距离，构建配准目标函数：
Figure GDA0003028031030000032
其中，x为整体图像空间Ω中的像素点，
Figure GDA0003028031030000033
为浮动图像Im的空间变换；引入
Figure GDA0003028031030000034
复合梯度：
Figure GDA0003028031030000035
其中，K为恒等变换，它与T构成复合函数，用于保持空间变换域的平滑性，
Figure GDA0003028031030000036
为
Figure GDA0003028031030000037
的梯度算子；
步骤4.2：利用吉洪诺夫(Tikhonov)正则化，约束配准目标函数，以构建惩罚项：
Figure GDA0003028031030000038
其中，I为恒等矩阵，
Figure GDA0003028031030000039
为关于T对x求导，||·||F为图像对像素点之间灰度差的弗罗贝尼乌斯(Frobenius)范数；
步骤5：基于梯度下降算法，最小化相似性度量函数，实现腹部CT图像对的目标器官配准，其中梯度下降算法选取线性搜索方式，其步长为0.1～5.0之间的常数。
与现有方法相比，本发明具有如下优点：
(1)本发明采用的基于深度学习的腹部CT图像目标器官配准方法，通过引入坐标卷积层，对卷积神经网络模块进行改进，增强网络模型对目标位置信息的学习能力，可提高网络模型检测的精度；
(2)本发明针对现有的含目标器官边界框腹部CT图像数据量较少的情况，引入迁移学习技术，利用自然场景图库进行网络模型预训练，能减少随后腹部CT图像数据库训练的迭代次数，加快网络收敛速度，从而进一步提高对目标器官检测的精度；
(3)本发明不需要进行全图配准，通过网络模型获得腹部肝、左肾、右肾和脾的感兴趣区域，可实现指定目标器官配准，能减少计算复杂度、时间损耗和内存使用量，改善腹部图像配准算法时间较长的问题。
(4)本发明由于结合了腹部CT图像对目标器官感兴趣区域像素点之间的梯度和灰度特征的度量，并利用惩罚项加以约束，其抗噪、抗干扰能力强，能提高目标器官配准精度，鲁棒性强。
附图说明
图1本发明实施方式的基于深度学习的腹部CT图像目标器官配准方法流程图；
图2本发明实施方式的改进的卷积神经网络框架图；
图3本发明实施方式的用户指定腹部CT序列切片图像对目标器官检测结果图。
具体实施方式
图1为本发明所实施的基于深度学习的腹部CT图像目标器官配准方法流程图。首先，构建腹部CT图像数据库。其次，构建基于深度学习的网络模型，在其卷积神经网络模块中，引入坐标卷积层，以增强其对目标位置信息的学习能力。然后，基于迁移学习技术，输入自然场景数据库预训练网络模型，再输入腹部CT图像数据库对该模型进行参数微调，以实现腹部目标器官检测。最后，构建腹部目标器官CT图像对，根据图像对像素点之间梯度和灰度分布特征，构建相似性度量函数，基于梯度下降法最小化该函数，实现腹部CT图像目标器官配准。
下面结合图1，以一实施例详细说明本发明的基于深度学习的腹部CT图像目标器官配准方法。
步骤1：构建腹部CT图像数据库
首先，通过提取多个数据库的腹部CT序列切片中肝、左肾、右肾和脾的坐标信息，获得带有目标器官边界框的XML格式注释文件，再利用原始图像及其目标器官的坐标信息按约0.6:0.2:0.2比例组成样本训练集、验证集和测试集。
步骤2：提取腹部目标器官感兴趣区域
步骤2.1：构建基于深度学习的网络模型，具体包括以下步骤：
步骤2.1.1：采用改进的ResNet50残差网络为第一模块，如图2所示，首先对输入图像进行自动补零，然后进入卷积操作，该操作共包含五个部分，其中第一部分包含1个坐标卷积层、批归一化层和池化层，第二部分包含1个残差块和2个恒等映射块，第三部分包含1个残差块和3个恒等映射块，第四部分包含1个残差块和5个恒等映射块，第五部分包含1个残差块和2个恒等映射块，最后进行池化、排序展平和全连接，实现特征图的提取，其中1个卷积层和1个批归一化层为1组卷积，每3组卷积增加一个短连接，构成1个恒等映射块，在短连接上加1组卷积，构成残差块，卷积神经网络优选ResNet50网络，在第一部分的第1个卷积层里添加含有坐标信息的通道，变为坐标卷积层，使用7×7个卷积核，卷积核大小为2×2，用于输出64个特征图；
步骤2.1.2：以区域生成网络为第二模块，将第一模块输出的特征图输入第二模块，经卷积层、池化层、全连接层，获得初步边界框的回归和分类；
步骤2.1.3：根据第二模块的边界框初步预测结果，取整裁剪第一模块输出的特征图，输入候选区域池化层，获得固定大小的特征图；
步骤2.1.4：将上述输出的特征图，输入全连接层，通过分类和回归获得目标器官的检测结果。
步骤2.2：训练网络模型
步骤2.2.1：采用PASCAL VOC2007数据库预训练网络模型；
步骤2.2.2：基于迁移学习技术，利用腹部CT图像数据库对预训练模型进行参数微调，获得腹部CT图像目标器官检测网络模型。
步骤2.3：检测腹部目标器官
采用训练所得的网络模型对测试集中的腹部目标器官进行检测，根据边界框的分类结果和坐标信息，获得测试集的肝、左肾、右肾和脾的感兴趣区域。
步骤3：构建腹部目标器官CT序列图像对
根据测试集中每个序列相应的目标器官检测结果，随机抽取1个序列图像作为参考，并将剩余序列图像依次与其配对，获得多组腹部CT图像对目标器官感兴趣区域，搜索每组图像对所有序列切片图像目标器官的边界框检测结果，获得包含图像对目标器官在内的最小横、纵坐标，按坐标提取尺寸统一的图像对目标器官感兴趣区域。
步骤4：输入每一组经过尺寸统一后的腹部目标器官感兴趣区域CT序列图像对，构建相似性度量函数：
Figure GDA0003028031030000061
其中，If为参考图像，Im为浮动图像，T为空间变换，S为配准目标函数，R为惩罚项，λ为平衡惩罚项和目标函数之间误差的权重系数，λ为0～1之间的常数，本实施例优选为0.001，具体包括以下步骤：
步骤4.1：利用待配准图像对之间的灰度分布的相关性，计算图像对所有像素点之间的误差平方和距离，构建配准目标函数：
Figure GDA0003028031030000062
其中x为整体图像空间Ω中的像素点，
Figure GDA0003028031030000063
为浮动图像Im的空间变换；引入
Figure GDA0003028031030000064
复合梯度：
Figure GDA0003028031030000065
其中K为恒等变换，它与T构成复合函数，用于保持空间变换域的平滑性，
Figure GDA0003028031030000066
为关于
Figure GDA0003028031030000067
的梯度算子；
步骤4.2：利用吉洪诺夫(Tikhonov)正则化约束，规范相似性度量函数，构建惩罚项：
Figure GDA0003028031030000068
其中I为恒等矩阵，
Figure GDA0003028031030000069
为关于T对x求导，||·||F为图像对像素点之间灰度差的弗罗贝尼乌斯(Frobenius)范数；
步骤5：基于梯度下降算法，最小化相似性度量函数，实现腹部CT图像对的目标器官配准，其中梯度下降算法优选线性搜索方式，其步长为0.1～5.0之间的常数，本实施例优选为1.0。
为验证本发明的有效性，从公开的数据库3D-IRCADb，LiTS，SLIVER07以及自建的XHCSU19数据库中选取57个腹部CT图像序列，序列的平面分辨率均为512×512像素，平面像素间距为0.55～1.0mm，层间距为0.45～6.0mm，其中35例为训练集，11例为验证集，11例为测试集，并从测试集中随机选取了1例与其余10例逐一配对。
图3给出了随机抽取的一组腹部CT序列切片图像对的目标器官检测结果图，第一行为一组原始腹部CT序列切片图像对，第二行为基于深度学习的网络模型对腹部CT图像对的目标器官检测结果图，第三行为基于检测结果提取腹部CT图像对的感兴趣区域结果图。从图中可以看出，本发明能准确地检测腹部CT序列切片图像对的肝、左肾、右肾和脾，并提取出指定目标器官区域。
为了定量评价本发明的有效性，采用精确度、重叠率对基于深度学习的网络模型的性能进行评价，得到结果如表1所示。可以看到，对于测试集，本方法的精确度较高，重叠率较好，表明本发明方法能准确有效地检测腹部CT序列切片图像中的目标器官。
表1本发明基于深度学习网络模型检测的性能指标
Figure GDA0003028031030000071
采用均方误差、峰值信噪比和结构相似性三个指标对10组腹部CT序列图像对目标器官配准结果进行评价，得到结果如表2所示。可以看到，对于10组腹部CT序列图像对，本方法配准的误差小，峰值信噪比和结构相似性好，表明本发明方法能获得好的腹部CT图像目标器官配准效果，且鲁棒性强。
表2本发明对10组腹部CT序列图像对目标器官配准结果的性能指标
Figure GDA0003028031030000072

Claims (7)

1.一种基于深度学习的腹部CT图像目标器官配准方法，其特征在于包括以下步骤：
步骤1：构建腹部CT图像数据库：
首先，提取腹部图像序列切片中肝、左肾、右肾和脾的坐标信息，获取带有目标器官边界框的XML格式注释文件，再利用原始图像及其目标器官的坐标信息组成样本训练集、验证集和测试集；
步骤2：提取腹部目标器官感兴趣区域，具体包括以下步骤：
步骤2.1：构建基于深度学习的网络模型，具体包括以下步骤：
步骤2.1.1：以改进的卷积神经网络为第一模块，首先对输入图像进行自动补零，然后进入卷积操作，该操作共包含五个部分，其中第一部分包含1个坐标卷积层、批归一化层和池化层，第二部分包含1个残差块和2个恒等映射块，第三部分包含1个残差块和3个恒等映射块，第四部分包含1个残差块和5个恒等映射块，第五部分包含1个残差块和2个恒等映射块，最后进行池化、排序展平和全连接，实现特征图的提取，其中1个卷积层和1个批归一化层为1组卷积，每3组卷积增加一个短连接，构成1个恒等映射块，在短连接上加1组卷积，构成残差块；
步骤2.1.2：以区域生成网络为第二模块，将第一模块输出的特征图输入第二模块，经卷积层、池化层、全连接层，获得初步边界框的回归和分类；
步骤2.1.3：根据第二模块的边界框初步预测结果，取整裁剪第一模块输出的特征图，输入候选区域池化层，获得固定大小的特征图；
步骤2.1.4：将步骤2.1.3输出的特征图，输入全连接层，通过分类和回归获得目标器官的检测结果；
步骤2.2：训练网络模型：
首先利用自然场景公共数据库，预训练步骤2.1构建的网络模型，然后基于迁移学习技术，利用腹部CT图像数据库对预训练模型进行参数微调，获得腹部CT图像目标器官检测网络模型；
步骤2.3：检测腹部目标器官：
采用步骤2.2所得的网络模型检测测试集中的腹部目标器官，获得边界框的分类结果和坐标信息，提取测试集的肝、左肾、右肾和脾的感兴趣区域；
步骤3：构建腹部CT图像对目标器官感兴趣区域：
根据测试集中每个序列相应的目标器官检测结果，随机抽取1个序列图像作为参考，并将剩余序列图像依次与其配对，获得多组腹部CT图像对目标器官感兴趣区域；
步骤4：构建配准相似性度量函数：
Figure FDA0003028031020000021
其中，If为参考图像，Im为浮动图像，T为空间变换，S为配准目标函数，R为惩罚项，λ为平衡惩罚项和目标函数之间误差的权重系数，具体包括以下步骤：
步骤4.1：利用待配准图像对之间灰度分布的相关性，计算图像对所有像素点之间的误差平方和距离，构建配准目标函数：
Figure FDA0003028031020000022
其中，x为整体图像空间Ω中的像素点，
Figure FDA0003028031020000023
为浮动图像Im的空间变换；引入
Figure FDA0003028031020000024
复合梯度：
Figure FDA0003028031020000025
其中，K为恒等变换，它与T构成复合函数，用于保持空间变换域的平滑性，
Figure FDA0003028031020000026
为
Figure FDA0003028031020000027
的梯度算子；
步骤4.2：利用吉洪诺夫正则化，即Tikhonov正则化，约束配准目标函数，以构建惩罚项：
Figure FDA0003028031020000028
其中，I为恒等矩阵，
Figure FDA0003028031020000029
为关于T对x求导，||·||F为图像对像素点之间灰度差的弗罗贝尼乌斯范数，即Frobenius范数；
步骤5：基于梯度下降算法最小化相似性度量函数，实现腹部CT图像对的目标器官配准。
2.如权利要求1所述的一种基于深度学习的腹部CT图像目标器官配准方法，其特征在于，所述步骤1中，腹部CT图像数据库包括：公开的数据库3D-IRCADb，LiTS和SLIVER07。
3.如权利要求1所述的一种基于深度学习的腹部CT图像目标器官配准方法，其特征在于，所述步骤2.1.1中，卷积神经网络选取ResNet50网络，且在卷积操作第一部分的第1个卷积层里添加含有坐标信息的通道，变为坐标卷积层，使用7×7个卷积核，卷积核大小为2×2，用于输出64个特征图。
4.如权利要求1所述的一种基于深度学习的腹部CT图像目标器官配准方法，其特征在于，所述步骤2.2中，自然场景公共数据库选取PASCAL VOC2007。
5.如权利要求1所述的一种基于深度学习的腹部CT图像目标器官配准方法，其特征在于，所述步骤3中，腹部目标器官感兴趣区域CT序列图像组对后，搜索每组图像对所有序列切片图像目标器官的边界框检测结果，获得包含图像对目标器官在内的最小横、纵坐标，按坐标提取尺寸统一的图像对目标器官感兴趣区域。
6.如权利要求1所述的一种基于深度学习的腹部CT图像目标器官配准方法，其特征在于，所述步骤4中，λ选取0～1之间的常数。
7.如权利要求1所述的一种基于深度学习的腹部CT图像目标器官配准方法，其特征在于，所述步骤5中，梯度下降算法选取线性搜索方式，其步长选取0.1～5.0之间的常数。
CN201910746634.4A 2019-08-14 2019-08-14 一种基于深度学习的腹部ct图像目标器官配准方法 Active CN110473196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910746634.4A CN110473196B (zh) 2019-08-14 2019-08-14 一种基于深度学习的腹部ct图像目标器官配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910746634.4A CN110473196B (zh) 2019-08-14 2019-08-14 一种基于深度学习的腹部ct图像目标器官配准方法

Publications (2)

Publication Number Publication Date
CN110473196A CN110473196A (zh) 2019-11-19
CN110473196B true CN110473196B (zh) 2021-06-04

Family

ID=68510627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910746634.4A Active CN110473196B (zh) 2019-08-14 2019-08-14 一种基于深度学习的腹部ct图像目标器官配准方法

Country Status (1)

Country Link
CN (1) CN110473196B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884819A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像配准及神经网络的训练方法、装置和设备
CN112884820A (zh) * 2019-11-29 2021-06-01 杭州三坛医疗科技有限公司 一种影像初始配准及神经网络的训练方法、装置和设备
CN111027508B (zh) * 2019-12-23 2022-09-06 电子科技大学 一种基于深层神经网络的遥感图像覆被变化检测方法
CN111260705B (zh) * 2020-01-13 2022-03-15 武汉大学 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
CN111292315A (zh) * 2020-03-05 2020-06-16 四川大学华西医院 一种病理切片组织区域快速配准算法
CN111524170B (zh) * 2020-04-13 2023-05-26 中南大学 一种基于无监督深度学习的肺部ct图像配准方法
CN113538572A (zh) * 2020-04-17 2021-10-22 杭州三坛医疗科技有限公司 一种目标对象的坐标确定方法、装置和设备
CN113724300A (zh) * 2020-05-25 2021-11-30 北京达佳互联信息技术有限公司 图像配准方法、装置、电子设备及存储介质
CN111739016B (zh) * 2020-07-20 2020-12-08 平安国际智慧城市科技股份有限公司 目标检测模型训练方法、装置、电子设备及存储介质
CN112001896B (zh) * 2020-08-03 2021-05-11 什维新智医疗科技(上海)有限公司 一种甲状腺边界不规则度检测装置
CN111968135B (zh) * 2020-08-15 2022-03-08 中南大学 一种基于全卷积网络的三维腹部ct图像多器官配准方法
CN111709976B (zh) * 2020-08-24 2020-11-06 湖南国科智瞳科技有限公司 一种显微图像的快速配准方法、系统及计算机设备
CN113506331A (zh) * 2021-06-29 2021-10-15 武汉联影智融医疗科技有限公司 组织器官的配准方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013503A (zh) * 2007-01-26 2007-08-08 清华大学 一种医学图像中腹部器官分割方法
CN106991695A (zh) * 2017-03-27 2017-07-28 苏州希格玛科技有限公司 一种图像配准方法及装置
CN108596887A (zh) * 2018-04-17 2018-09-28 湖南科技大学 一种腹部ct序列图像肝脏肿瘤自动分割方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127117B (zh) * 2007-09-11 2010-05-26 华中科技大学 一种利用序列数字减影血管造影图像分割血管数据的方法
US10575774B2 (en) * 2017-02-27 2020-03-03 Case Western Reserve University Predicting immunotherapy response in non-small cell lung cancer with serial radiomics
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
US10818019B2 (en) * 2017-08-14 2020-10-27 Siemens Healthcare Gmbh Dilated fully convolutional network for multi-agent 2D/3D medical image registration
CN107767409B (zh) * 2017-09-22 2020-04-03 中国科学院西安光学精密机械研究所 基于高维表达的一致点漂移配准方法
CN108269272B (zh) * 2018-01-31 2019-03-22 北京青燕祥云科技有限公司 肝部ct配准方法和系统
CN108648233B (zh) * 2018-03-24 2022-04-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法
CN108830889B (zh) * 2018-05-24 2022-05-31 中国科学院遥感与数字地球研究所 基于全局几何约束的遥感影像与基准影像的匹配方法
CN109345575B (zh) * 2018-09-17 2021-01-19 中国科学院深圳先进技术研究院 一种基于深度学习的图像配准方法及装置
CN109712175B (zh) * 2018-12-19 2022-09-23 浙江大学常州工业技术研究院 Ct图片的配准方法
CN109801268B (zh) * 2018-12-28 2023-03-14 东南大学 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法
CN109767459B (zh) * 2019-01-17 2022-12-27 中南大学 新型眼底图配准方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013503A (zh) * 2007-01-26 2007-08-08 清华大学 一种医学图像中腹部器官分割方法
CN106991695A (zh) * 2017-03-27 2017-07-28 苏州希格玛科技有限公司 一种图像配准方法及装置
CN108596887A (zh) * 2018-04-17 2018-09-28 湖南科技大学 一种腹部ct序列图像肝脏肿瘤自动分割方法

Also Published As

Publication number Publication date
CN110473196A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110473196B (zh) 一种基于深度学习的腹部ct图像目标器官配准方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN108389201B (zh) 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN108765414B (zh) 基于小波分解和自然场景统计的无参考立体图像质量评价方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN103699578B (zh) 一种基于谱图分析的图像检索方法
CN111968135B (zh) 一种基于全卷积网络的三维腹部ct图像多器官配准方法
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN112329871B (zh) 一种基于自校正卷积与通道注意力机制的肺结节检测方法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN112651955A (zh) 一种肠道图像的识别方法及终端设备
CN106934398B (zh) 基于超像素聚类和稀疏表示的图像去噪方法
CN117557733B (zh) 基于超分辨率的自然保护区三维重建方法
Yao et al. GeminiNet: combine fully convolution network with structure of receptive fields for object detection
CN109584203A (zh) 基于深度学习与语义信息的重定位图像质量评价方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN116563096B (zh) 用于图像配准的形变场的确定方法、装置以及电子设备
Yao et al. Registrating oblique SAR images based on complementary integrated filtering and multilevel matching
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
CN103606189A (zh) 一种面向非刚体三维重建的轨迹基选择方法
CN112801908B (zh) 图像去噪方法、装置、计算机设备和存储介质
CN115601535A (zh) 联合Wasserstein距离与差异度量的胸片异常识别域自适应方法及系统
Pandian et al. Performance analysis of texture image retrieval for curvelet, contourlet transform and local ternary pattern using MRI brain tumor image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220608

Address after: 410000 room 105, building 5, R & D headquarters, Central South University Science Park, changzuo Road, Yuelu street, Yuelu District, Changsha City, Hunan Province

Patentee after: Hunan Theo Technology Co.,Ltd.

Address before: School of automation, Central South University, 932 Lushan South Road, Yuelu District, Changsha City, Hunan Province, 410083

Patentee before: CENTRAL SOUTH University

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 410000 room 105, building 5, R & D headquarters, Central South University Science Park, changzuo Road, Yuelu street, Yuelu District, Changsha City, Hunan Province

Patentee after: Hunan Tiao Medical Technology Co.,Ltd.

Address before: 410000 room 105, building 5, R & D headquarters, Central South University Science Park, changzuo Road, Yuelu street, Yuelu District, Changsha City, Hunan Province

Patentee before: Hunan Theo Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder