CN106296581B - 基于图割的肺4d-ct图像超分辨率重建方法 - Google Patents

基于图割的肺4d-ct图像超分辨率重建方法 Download PDF

Info

Publication number
CN106296581B
CN106296581B CN201610578561.9A CN201610578561A CN106296581B CN 106296581 B CN106296581 B CN 106296581B CN 201610578561 A CN201610578561 A CN 201610578561A CN 106296581 B CN106296581 B CN 106296581B
Authority
CN
China
Prior art keywords
image
resolution
lung
phase
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610578561.9A
Other languages
English (en)
Other versions
CN106296581A (zh
Inventor
张煜
陈瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN201610578561.9A priority Critical patent/CN106296581B/zh
Publication of CN106296581A publication Critical patent/CN106296581A/zh
Application granted granted Critical
Publication of CN106296581B publication Critical patent/CN106296581B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于图割的肺4D‑CT图像超分辨率重建方法，包括(1)读取肺部4D‑CT图像，该4D‑CT图像由多个不同相位的低分辨率肺部3D‑CT图像组成；(2)将多个不同相位的低分辨率的肺部3D‑CT图像均进行插值，得到不同相位的肺部3D‑CT图像的初始高分辨率图像fk0；(3)选取任意一相位的由步骤(2)得到的初始高分辨率图像fk0的像素值集作为所有像素点匹配的初始标签集；(4)计算各相位的投影重建高分辨率观察图像构建全局图能量函数式；(5)通过图割方法优化求解构建的全局图能量函数式，得到的最优解即为重建出来的肺4D‑CT高分辨率图像。该方法能够提高肺4D‑CT图像在Z轴方向上的分辨率。

Description

基于图割的肺4D-CT图像超分辨率重建方法
技术领域
本发明涉及医学图像处理技术领域，具体是指基于图割的肺4D-CT图像超分辨率重建方法。
背景技术
肺4D断层扫描(4D-CT)是当今的肺癌放射治疗中必不可少的元素。肺4D-CT图像在肺癌放射治疗中可以捕获肺部随呼吸运动的信息，能够指导精确放射治疗。然而，由于一些因素，例如人体能承受的放射剂量有限，成像硬件以及时间限制等导致肺4D-CT图像在Z轴方向上的分辨率较低，并且图像常伴有伪影和噪声。而在大多数临床工作中，常需要高分辨率的肺4D-CT图像来引导放射治疗，因此提高肺4D-CT图像Z轴分辨率的工作十分重要。
常用的肺4D-CT图像的超分辨率重建方法，大多都是对肺4D-CT图像的每个相位图像逐个重建。这些方法的求解大多是经过不断迭代，这容易造成非凸集优化问题。针对这一问题，我们提出了一种基于图割的超分辨率重建方法来提高肺4D-CT图像在Z轴方向上的分辨率，因为图割方法本身的特性能获得全局最优解，而构建的全局图的形式能够同时重建出所有相位的高分辨率图像，同时采用的马尔科夫正则化项，有助于保持图像的平滑，降低重建图像的噪声。
发明内容
本发明的目的在于提供基于图割的肺4D-CT图像超分辨率重建方法，该方法能够提高肺4D-CT图像在Z轴方向上的分辨率。
本发明的目的可通过下述技术措施来实现：基于图割的肺4D-CT图像超分辨率重建方法，其特征在于，该方法包括如下步骤：
步骤(1)：读取肺部4D-CT图像，该4D-CT图像由多个不同相位的低分辨率肺部3D-CT图像组成；
步骤(2)：将步骤(1)中的多个不同相位的低分辨率的肺部3D-CT图像均进行插值，得到不同相位的肺部3D-CT图像的初始高分辨率图像fk0；
步骤(3)：选取任意一相位的由步骤(2)得到的初始高分辨率图像fk0的像素值集作为所有像素点匹配的初始标签集；
步骤(4)：计算各相位的投影重建高分辨率观察图像构建全局图能量函数式；
步骤(5)：通过图割方法优化求解构建的全局图能量函数式，得到的最优解即为重建出来的肺4D-CT高分辨率图像。
本发明中，所述步骤(4)中，计算各相位的投影重建高分辨率观察图像所采用的方法是相位K通过三次样条插值得到的初始高分辨率图像fk0，采用Demons配准方法分别向其他相位的低分辨率图像上投影，然后根据投影位置插值重建高分辨率观察图像。
本发明中，所述步骤(4)构建的全局图能量函数式为：
其中，fk(p)为待求解的各相位高分辨率重建图像，S为初始高分辨率图像像素集，T表示相位数，p为高分辨率图像上邻域N内的一个像素点，q为高分辨率图像上邻域N内的另一个像素点，h表示点扩散函数，λ为平滑项系数，Vp,q(fk(p),fk(q))表示平滑项，可以保证重建出的每一相位高分辨率图像保持平滑，N表示邻域，设定
Vp,q(fk(p),fk(q))＝min(τ,|fk(p)-fk(q)|) 式(2)
其中τ为阈值大小。
本发明中，所述步骤(5)中采用的图割方法具体为：假设g＝(ν,ε)表示带权图，顶点称为终端，ν是顶点的集合，ε是边的集合，图中有两个与其他顶点相连的终端，该图的一个切割C就是ε的一个子集，使得两个终端之间没有通路连接，图割问题就是要寻找这样的一个切割C，使得C中包含的边的权值最小，该重建方法将超分辨率重建问题转化成图割优化问题，假设给图中所有的像素点都赋有标签，找到像素点最佳的标签匹配值，使图像能量函数值最小，最佳的标签匹配即为重建出高分辨率图像的像素值。
和现有技术相比，本发明具有如下有益效果：
(1)本发明的图割方法可以得到全局最优解，避免了非凸集优化问题，使得重建结果的各个细节结构在图像上得到最优恢复。
(2)本发明提出的本发明提出的基于图割方法的超分辨率重建方法避免了迭代的过程，其中图割算法结合了马尔科夫的正则化项有效的保证了图像的平滑，降低了图像的噪声。
附图说明
下面结合附图和具体实施方式对本发明做进一步的详细说明。
图1是本发明基于图割的肺4D-CT图像超分辨率重建方法的流程图；
图2A是采用线性插值算法得到的相位0分辨率增强的矢状面图像重建的结果图；
图2B是采用本发明方法得到的相位0分辨率增强的矢状面图像重建的结果图；
图3A是对应于图2A中方框部分的放大示意图；
图3B是对应于图2B中方框部分的放大示意图；
图4A是是采用线性插值算法得到的相位0分辨率增强的冠状面图像重建的结果图；
图4B是采用本发明方法得到的相位0分辨率增强的冠状面图像重建的结果图；
图5A是对应于图4A中方框部分的放大示意图；
图5B是对应于图4B中方框部分的放大示意图。
具体实施方式
本发明基于图割的肺4D-CT图像超分辨率重建方法的实施例，结合一套公共可用的肺4D-CT数据，该数据集由10组肺4D-CT数据组成，每组数据包含10个相位图像，如图1所示，该方法的具体步骤如下：
步骤(1)：读取肺部4D-CT数据，该4D-CT图像由多个不同相位的低分辨率肺部3D-CT图像组成，此数据选自公共数据集的第4组，图像大小为256*256*99，图像层内分辨率为1.13mm，层间分辨为2.5mm。
步骤(2)：将步骤(1)中的多个不同相位的低分辨率的肺部3D-CT图像均进行插值，得到不同相位的肺部3D-CT图像的初始高分辨率图像fk0；
步骤(3)：选取任意一相位的由步骤(2)得到的初始高分辨率图像fk0的像素值集作为所有像素点匹配的初始标签集；
步骤(4)：计算各相位的投影重建高分辨率观察图像构建全局图能量函数式；
步骤(5)：通过图割方法优化求解构建的全局图能量函数式，得到的最优解即为重建出来的肺4D-CT高分辨率图像。
本发明中，步骤(4)中，计算各相位的投影重建高分辨率观察图像所采用的方法是相位K通过三次样条插值得到的初始高分辨率图像fk0，采用Demons配准方法分别向其他相位的低分辨率图像上投影，然后根据投影位置插值重建高分辨率观察图像。
步骤(4)构建的全局图能量函数式为：
其中，fk(p)为待求解的各相位高分辨率重建图像，S为初始高分辨率图像像素集，T表示相位数，p为高分辨率图像上邻域N内的一个像素点，q为高分辨率图像上邻域N内的另一个像素点，h表示点扩散函数，λ为平滑项系数，Vp,q(fk(p),fk(q))表示平滑项，可以保证重建出的每一相位高分辨率图像保持平滑，N表示邻域，设定
Vp,q(fk(p),fk(q))＝min(τ,|fk(p)-fk(q)|) 式(2)
其中τ为阈值大小。
步骤(5)中采用的图割方法具体为：假设g＝(ν,ε)表示带权图，顶点称为终端，ν是顶点的集合，ε是边的集合，图中有两个与其他顶点相连的终端，该图的一个切割C就是ε的一个子集，使得两个终端之间没有通路连接，图割问题就是要寻找这样的一个切割C，使得C中包含的边的权值最小，该重建方法将超分辨率重建问题转化成图割优化问题，假设给图中所有的像素点都赋有标签，找到像素点最佳的标签匹配值，使图像能量函数值最小，最佳的标签匹配即为重建出高分辨率图像的像素值。
由不同方法得到的相位0矢状面低分辨图像重建结果对比图如图2A、图2B、图3A、图3B所示。
由不同方法得到的相位0冠状面低分辨图像重建结果对比图如4A、图4B、图5A、图5B所示。
除了视觉效果以外，本实例也通过量化指标客观评价本发明的有效性。本实例采用图像平均梯度评价10组冠矢状面重建结果。图像平均梯度反映图像对细节对比的表达能力，能表征图像的相对清晰度，值越大，表明图像清晰度越高，细节保持越好。定义为
其中，f(i,j)，和分别是像素点灰度以及其在行、列方向上的梯度。M和N分别为图像的行数和列数。
利用式(3)分别计算线性插值算法，本发明中方法重建出的10组冠矢状面高分辨图像的平均梯度，结果如表1所示。
表1：10组冠矢状面重建结果图像平均梯度对比表
从表1可见，本发明的方法较线性插值算法，图像的平均梯度显著提高。
图2A至图5B所示，本发明的方法重建的高分辨图像更为清晰；从局部放大图像来看，肺实质中的血管等细微结构均得到增强；表1也反映出本发明方法重建出的图像清晰度愈高，图像细节保持愈好，能够有效提高肺4D-CT数据冠矢状面的图像质量。
可见，与现有技术相比，本发明不仅能够有效消除图像噪声，还能够得到清晰度更高，边缘、细节显著增强的高分辨率图像。
本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。

Claims (4)

1.基于图割的肺4D-CT图像超分辨率重建方法，其特征在于，该方法包括如下步骤：
步骤(1)：读取肺部4D-CT图像，该4D-CT图像由多个不同相位的低分辨率肺部3D-CT图像组成；
步骤(2)：将步骤(1)中的多个不同相位的低分辨率的肺部3D-CT图像均进行插值，得到不同相位的肺部3D-CT图像的初始高分辨率图像fk0；
步骤(3)：选取任意一相位的由步骤(2)得到的初始高分辨率图像fk0的像素值集作为所有像素点匹配的初始标签集；
步骤(4)：计算各相位的投影重建高分辨率观察图像构建全局图能量函数式；
步骤(5)：通过图割方法优化求解构建的全局图能量函数式，得到的最优解即为重建出来的肺4D-CT高分辨率图像。
2.根据权利要求1所述的基于图割的肺4D-CT图像超分辨率重建方法，其特征在于：所述步骤(4)中，计算各相位的投影重建高分辨率观察图像所采用的方法是相位K通过三次样条插值得到的初始高分辨率图像fk0，采用Demons配准方法分别向其他相位的低分辨率图像上投影，然后根据投影位置插值重建高分辨率观察图像。
3.根据权利要求1所述的基于图割的肺4D-CT图像超分辨率重建方法，其特征在于：所述步骤(4)构建的全局图能量函数式为：
其中，fk(p)为待求解的各相位高分辨率重建图像，S为初始高分辨率图像像素集，T表示相位数，p为高分辨率图像上邻域N内的一个像素点，q为高分辨率图像上邻域N内的另一个像素点，h表示点扩散函数，λ为平滑项系数，Vp,q(fk(p),fk(q))表示平滑项，可以保证重建出的每一相位高分辨率图像保持平滑，N表示邻域，设定
Vp,q(fk(p),fk(q))＝min(τ,|fk(p)-fk(q)|) 式(2)
其中τ为阈值大小。
4.根据权利要求1所述的基于图割的肺4D-CT图像超分辨率重建方法，其特征在于：所述步骤(5)中采用的图割方法具体为：假设g＝(ν,ε)表示带权图，顶点称为终端，ν是顶点的集合，ε是边的集合，图中有两个与其他顶点相连的终端，该图的一个切割C就是ε的一个子集，使得两个终端之间没有通路连接，图割问题就是要寻找这样的一个切割C，使得C中包含的边的权值最小，该重建方法将超分辨率重建问题转化成图割优化问题，假设给图中所有的像素点都赋有标签，找到像素点最佳的标签匹配值，使图像能量函数值最小，最佳的标签匹配即为重建出高分辨率图像的像素值。
CN201610578561.9A 2016-07-21 2016-07-21 基于图割的肺4d-ct图像超分辨率重建方法 Expired - Fee Related CN106296581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610578561.9A CN106296581B (zh) 2016-07-21 2016-07-21 基于图割的肺4d-ct图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610578561.9A CN106296581B (zh) 2016-07-21 2016-07-21 基于图割的肺4d-ct图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN106296581A CN106296581A (zh) 2017-01-04
CN106296581B true CN106296581B (zh) 2019-06-11

Family

ID=57651766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610578561.9A Expired - Fee Related CN106296581B (zh) 2016-07-21 2016-07-21 基于图割的肺4d-ct图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN106296581B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886568A (zh) * 2014-03-18 2014-06-25 南方医科大学 基于配准的肺4d-ct图像超分辨率重建方法
CN105096331A (zh) * 2015-08-21 2015-11-25 南方医科大学 基于图割的肺4d-ct肿瘤自动分割方法
CN105279741A (zh) * 2015-11-17 2016-01-27 集美大学 基于图割算法的图像超分辨率重建方法及系统
CN105513014A (zh) * 2016-01-21 2016-04-20 集美大学 一种多帧图像超分辨率重建方法及其重建系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886568A (zh) * 2014-03-18 2014-06-25 南方医科大学 基于配准的肺4d-ct图像超分辨率重建方法
CN105096331A (zh) * 2015-08-21 2015-11-25 南方医科大学 基于图割的肺4d-ct肿瘤自动分割方法
CN105279741A (zh) * 2015-11-17 2016-01-27 集美大学 基于图割算法的图像超分辨率重建方法及系统
CN105513014A (zh) * 2016-01-21 2016-04-20 集美大学 一种多帧图像超分辨率重建方法及其重建系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Fast Approximate Energy Minimization with Label Costs;Andrew Delong 等;《Int J Comput Vis》;20121231;第1-27页
一种MRF_MAP框架下的图像超分辨率重建方法;鲁林 等;《厦门大学学报（自然科学版）》;20120731;第51卷(第4期);第696-700页
基于亚像素位移的超分辨率图像重建算法;张东晓 等;《自动化学报》;20141231;第40卷(第12期);第2851-2861页
基于分块的肺4D_CT图像超分辨率重建;王婷婷 等;《中国生物医学工程学报》;20150430;第34卷(第2期);第160-167页
基于配准的肺4D_CT图像超分辨率重建;吴秀秀 等;《电子学报》;20150228;第43卷(第2期);第383-386页

Also Published As

Publication number Publication date
CN106296581A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
Yu et al. Computed tomography super-resolution using convolutional neural networks
WO2021077997A9 (zh) 图像去噪的多生成器生成对抗网络学习方法
Yu et al. A segmentation-based method for metal artifact reduction
CN115953494B (zh) 基于低剂量和超分辨率的多任务高质量ct图像重建方法
CN106056576B (zh) 一种融合边缘和区域特征的ct图像中主动脉的分割方法
CN108416821A (zh) 一种深度神经网络的ct图像超分辨重建方法
CN104751502B (zh) 一种用于扩大视野的ct图像重建方法
US11915347B2 (en) Systems and methods for reconstructing cardiac images
CN102163329A (zh) 基于尺度类推的单幅红外图像的超分辨率重建方法
Claus et al. Metal-artifact reduction using deep-learning based sinogram completion: initial results
CN107016653B (zh) 基于总曲率联合总变分的ct图像稀疏角度重建方法及装置
CN102930552A (zh) 基于对称结构减影的脑肿瘤自动提取方法
Gajera et al. CT-scan denoising using a charbonnier loss generative adversarial network
Cui et al. Populational and individual information based PET image denoising using conditional unsupervised learning
CN106254720B (zh) 一种基于联合正则化的视频超分辨率重建方法
Jing et al. Training low dose CT denoising network without high quality reference data
Dong et al. A deep unsupervised learning framework for the 4D CBCT artifact correction
CN106296581B (zh) 基于图割的肺4d-ct图像超分辨率重建方法
Fan et al. SGUNet: Style-guided UNet for adversely conditioned fundus image super-resolution
CN102743185B (zh) 一种肺4d-ct图像数据层间插值方法
Jiang et al. Learning a frequency separation network with hybrid convolution and adaptive aggregation for low-dose CT denoising
CN116894783A (zh) 基于时变约束的对抗生成网络模型的金属伪影去除方法
Li et al. Quad-Net: Quad-domain network for CT metal artifact reduction
Li et al. Dual-domain fusion deep convolutional neural network for low-dose CT denoising
Li et al. Super-resolution based on noise resistance deep convolutional network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190611

Termination date: 20210721