CN108038840B - 一种图像处理方法、装置、图像处理设备及存储介质 - Google Patents

一种图像处理方法、装置、图像处理设备及存储介质 Download PDF

Info

Publication number
CN108038840B
CN108038840B CN201711187572.5A CN201711187572A CN108038840B CN 108038840 B CN108038840 B CN 108038840B CN 201711187572 A CN201711187572 A CN 201711187572A CN 108038840 B CN108038840 B CN 108038840B
Authority
CN
China
Prior art keywords
resolution
image
low
training
training image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711187572.5A
Other languages
English (en)
Other versions
CN108038840A (zh
Inventor
胡战利
蒋昌辉
梁栋
杨永峰
刘新
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201711187572.5A priority Critical patent/CN108038840B/zh
Publication of CN108038840A publication Critical patent/CN108038840A/zh
Application granted granted Critical
Publication of CN108038840B publication Critical patent/CN108038840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用图像处理技术领域，提供了一种图像处理方法、装置、图像处理设备及存储介质，该方法包括：将待处理的断层扫描图像分割为断层扫描图像块，提取断层扫描图像块的图像特征，根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对断层扫描图像块的图像特征进行处理，生成每个断层扫描图像块对应的高分辨率图像块，将所有断层扫描图像块对应的高分辨率图像块进行组合，获得断层扫描图像对应的高分辨率重建图像并输出，从而通过深度学习与稀疏编码结合，对低分辨率的断层扫描图像进行伪影去除和细节补偿，减少了断层扫描图像处理的计算量和硬件成本，同时有效地提高了断层扫描图像的处理效率和处理效果。

Description

一种图像处理方法、装置、图像处理设备及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种图像处理方法、装置、图像处理设备及存储介质。
背景技术
现在的医学影像主要包括正电子发射计算机断层扫描(Positron EmissionTomography，PET)图像、计算机断层扫描(Computed Tomography，CT)图像以及PET/CT融合图像，其中，PET可以从细胞及分子水平研究机体的生理或病理信息，已经成为脑功能成像和癌症早期诊断特别重要的医学检查手段，CT是一种通过X射线在扫描目标周围不断地采集信息、通过计算机将这些采集的信息转化为断层图像的技术，可以给医生直接提供患者身体组织或器官的生理及病理变化。
目前，PET、CT对采集到的低计数、欠采样数据进行成像，导致成像后的图像存在较多伪影、且图像细节丢失较为严重，而且采集过程中患者的呼吸也会导致医学图像上出现运动伪影。然而，医学影像上的伪影校正方法大多为基于硬件的扫描协议的图像重建方法、以及处理低剂量采样数据的图像重建方法，基于硬件的扫描协议的图像重建方法依赖于对成像系统硬件性能的精确了解，而处理低剂量采样数据的图像重建方法中复杂的重建或者配准算法占用大量的计算资源。
发明内容
本发明的目的在于提供一种图像处理方法、装置、图像处理设备及存储介质，旨在解决由于现有医学断层扫描图像处理方法依赖于硬件设备、算法复杂，导致硬件成本较高、计算资源占用较多的问题。
一方面，本发明提供了一种图像处理方法，所述方法包括下述步骤：
当接收到待处理的断层扫描图像时，将所述断层扫描图像分割为断层扫描图像块，并提取所述断层扫描图像块的图像特征；
根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对所述断层扫描图像块的图像特征进行处理，生成所述断层扫描图像块对应的高分辨率图像块；
将所述所有断层扫描图像块对应的高分辨率图像块进行组合，获得所述断层扫描图像对应的高分辨率重建图像并输出。
另一方面，本发明提供了一种图像处理装置，所述装置包括：
图像分割单元，用于当接收到待处理的断层扫描图像时，将所述断层扫描图像分割为断层扫描图像块，并提取所述断层扫描图像块的图像特征；
图像处理单元，用于根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对所述断层扫描图像块的图像特征进行处理，生成所述断层扫描图像块对应的高分辨率图像块；以及
图像重建输出单元，用于将所述所有断层扫描图像块对应的高分辨率图像块进行组合，获得所述断层扫描图像对应的高分辨率重建图像并输出。
另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述一种图像处理方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述一种图像处理方法所述的步骤。
本发明将待处理的断层扫描图像分割为断层扫描图像块，提取每个断层扫描图像块的图像特征，根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对这些图像特征进行处理，得到断层扫描图像块对应的高分辨率图像块，将所有高分辨率图像块组合，获得断层扫描图像对应的高分辨率重建图像并输出，从而通过深度学习与稀疏编码结合，对低分辨率的断层扫描图像进行伪影去除和细节补偿，节约了断层扫描图像处理的硬件成本和计算资源消耗，同时有效地提高了断层扫描图像的处理效率和处理效果。
附图说明
图1是本发明实施例一提供的一种图像处理方法的实现流程图；
图2是本发明实施例二提供的一种图像处理方法中稀疏编码网络训练过程的实现流程图；
图3是本发明实施例三提供的一种图像处理装置的结构示意图；
图4是本发明实施例四提供的一种图像处理装置的结构示意图；
图5是本发明实施例四提供的一种图像处理装置的优选结构示意图；以及
图6是本发明实施例五提供的一种图像处理设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的一种图像处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当接收到待处理的断层扫描图像时，将断层扫描图像分割为断层扫描图像块，并提取断层扫描图像块的图像特征。
在本发明实施例中，在接收到待处理的断层扫描图像时，可将断层扫描图像分割为多个图像块，并提取这些图像块的图像特征。其中，断层扫描图像可为低分辨率的PET图像或CT图像，不同图像块之间可存在重叠部分，为了便于区分，将这些图像块称为断层扫描图像块。
作为示例地，可通过哈尔滤波器(Harr)与断层扫描图像进行卷积运算将断层扫描图像分割为断层扫描图像块、并提取断层扫描图像块的特征。
在步骤S102中，根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对断层扫描图像块的图像特征进行处理，生成断层扫描图像块对应的高分辨率图像块。
在本发明实施例中，在训练过程中预先训练高分辨率字典和低分辨率字典，再根据训练好的高分辨率字典和低分辨率字典对稀疏编码网络进行训练。在将断层扫描图像划分为多个断层扫描图像块时，将每个断层扫描图像块的图像特征输入训练好的稀疏编码网络，以对每个断层扫描图像块进行伪影去除和细节补偿，得到每个断层扫描图像块对应的高分辨率图像块。其中，稀疏编码网络的具体训练过程可参照实施例二中各步骤的详细描述，在此不再赘述。
在步骤S103中，将所有断层扫描图像块对应的高分辨率图像块进行组合，获得断层扫描图像对应的高分辨率重建图像并输出。
在本发明实施例中，在获得每个断层扫描图像块对应的高分辨率图像块后，可将这些高分辨率图像块按照对应的断层扫描图像块在断层扫描图像中的位置进行组合，得到断层扫描图像对应的高分辨率重建图像并输出，从而完成断层扫描图像的伪影去除和细节补偿。作为示例地，可通过预设的卷积滤波器与断层扫描图像块进行卷积操作来得到断层扫描图像对应的高分辨率重建图像，其中，卷积滤波器可以为不同断层扫描图像块的重叠回收分配适当的权重。
在本发明实施例中，提取断层扫描图像中断层扫描图像块的特征，通过训练好的稀疏编码网络、高分辨率字典和低分辨率字典对这些图像特征进行处理，获得断层扫描图像块对应的高分辨率图像块，由这些高分辨率图像块组合得到断层扫描图像对应的高分辨率重建图像，从而通过深度学习和稀疏编码的结合，减少了断层扫描图像处理的计算量和硬件成本，同时有效地提高了断层扫描图像的处理效率和处理效果。
实施例二：
图2示出了本发明实施例二提供的一种图像处理方法中稀疏编码网络训练过程的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S201中，根据预设训练图像集训练得到高分辨率字典和低分辨率字典，训练图像集由低分辨率训练图像和相应的高分辨率训练图像构成的训练图像对组成。
在本发明实施例中，预先收集高分辨率的断层扫描图像，为了便于区分，将这些高分辨率的断层扫描图像称为高分辨率训练图像，可对高分辨率训练图像进行将模糊、下采样、差值放大等操作，获得相应的低分辨率的断层扫描图像，将这些低分辨率的断层扫描图像称为低分辨率训练图像，由低分辨率训练图像和低分辨率训练图像对应的高分辨率训练图像构成训练图像对，由多组训练图像对构成训练图像集。
在本发明实施例中，在构建好训练图像集后，可提取训练图像对中的低分辨率训练图像、高分辨率训练图像的图像特征，将这些图像特征用于字典训练，可分别得到训练好的低分辨率字典和高分辨率字典。在此对低分辨率字典、高分辨率字典的训练方式不做限制。
在步骤S202中，根据高分辨率字典和低分辨率字典，对稀疏编码网络的权重参数进行初始化，并对稀疏编码网络的当前训练次数进行初始化。
在本发明实施例中，根据训练好的高分辨率字典和低分辨率字典，对稀疏编码网络中不同网络层的权重参数进行初始化，以提高稀疏编码网络的训练效率、提高稀疏编码网络对断层扫描图像进行处理的效果，同时，对稀疏编码网络的当前训练次数进行初始化。具体地，根据高分辨率字典和低分辨率字典对网络层的权重参数进行初始化的公式可表示为：
Figure BDA0001480384560000061
其中，W、S和U分别为稀疏编码网络中输入层、隐藏层和输出层的权重参数，Dl和Dh分别为高分辨率字典和低分辨率字典，E为正则化算子的恒等算子，L为
Figure BDA0001480384560000062
Dl最大特征值的预设上限，C为稀疏编码网络中对图像特征进行归一化处理时用于神经网络节点激活的阈值，也即预设参数。
在步骤S203中，将低分辨率训练图像分割为低分辨率训练图像块，并提取低分辨率训练图像块的图像特征，根据低分辨率训练图像块的图像特征、权重参数和低分辨率字典，生成每个低分辨率训练图像块对应的高分辨率图像块。
在本发明实施例中，对低分辨率训练图像进行分割，得到低分辨率训练图像块，提取每个低分辨率训练图像块的图像特征，将这些图像特征输入稀疏编码网络，以得到每个低分辨率训练图像块对应的高分辨率图像块。
在本发明实施例中，在通过稀疏编码网络对所有低分辨率训练图像块的图像特征进行处理，得到低分辨率训练图像块对应的高分辨率图像块时，可先通过稀疏编码网络输入层的权值参数、隐藏层的权值参数以及预设的阈值函数，计算每个低分辨率训练图像块对应的中间稀疏系数(中间稀疏系数可理解为临时的稀疏系数)，再由中间稀疏系数、低分辨率字典以及预设的正则化参数，可计算得到每个低分辨率训练图像块对应的稀疏系数，最后，根据稀疏编码网络输出层的权值参数和每个低分辨率训练图像块的稀疏系数，可计算得到每个低分辨率训练图像块对应的高分辨率图像块。
优选地，每个低分辨率训练图像块对应的中间稀疏系数的计算公式可为：
zm+1＝hθ(Wy+Szm)，其中，y为低分辨率训练图像块的图像特征，m为当前训练次数，zm+1、zm分别为第m次训练、第m-1次训练中低分辨率训练图像块对应的中间稀疏系数，hθ(x)为预设的阈值收缩函数(element-wise shrinkage function)，阈值收缩函数的计算公式可表示为[hθ(ai)]i＝sign(ai)θi(|ai|/θi-1)+，θi为预设的收缩阈值，通常被设置为1，ai为阈值收缩函数的输入，i表示为第i组训练图像对在训练图像对中的编号。
每个低分辨率训练图像块对应的稀疏系数的计算公式可表示为：
Figure BDA0001480384560000071
其中，λ为预设的正则化系数，α为低分辨率训练图像块对应的稀疏系数。
每个低分辨率训练图像块对应的高分辨率图像块的计算公式可表示为：
x＝Uα，其中，U为输出层的权重参数，x为低分辨率训练图像块对应的高分辨率图像块，从而通过稀疏编码网络、低分辨率字典和高分辨率字典，在一次训练过程中得到每个低分辨率训练图像中每个低分辨率训练图像块对应的高分辨率图像块。
在步骤S204中，将低分辨率训练图像块对应的高分辨率图像块进行组合，获得低分辨率训练图像对应的高分辨率重建图像，根据低分辨率训练图像对应的高分辨率训练图像、高分辨率重建图像，计算当前训练次数对应的训练成本。
在本发明实施例中，将每个低分辨率训练图像中每个低分辨率训练图像块对应的高分辨率图像块，按照低分辨率训练图像块在低分辨率训练图像中的位置组合，可得到每个低分辨率训练图像对应的高分辨率重建图像。将这些高分辨率重建图像与对应的低分辨率训练图像所对应的高分辨率训练图像进行比较，计算得到当前训练中所有低分辨率训练图像的训练成本，即当前训练次数对应的训练成本。
优选地，根据预设的均方误差函数，计算当前训练中所有低分辨率训练图像的训练成本，计算公式为：
Figure BDA0001480384560000072
其中，
Figure BDA0001480384560000073
为稀疏编码网络的输出，即低分辨率训练图像对应的高分辨率重建图像，Θ为稀疏编码网络的权重参数，
Figure BDA0001480384560000074
分别为训练图像集中第i组训练图像对中的低分辨率训练图像和高分辨率训练图像，从而稀疏编码网络的优化目标可表示为：
Figure BDA0001480384560000075
后续通过调整稀疏编码网络的权重参数来对该优化目标进行优化。
在步骤S205中，判断训练成本是否超过预设成本阈值。
在本发明实施例中，判断当前训练次数对应的训练成本是否超过预设的成本阈值，当超过时，执行步骤S206，否则，执行步骤S207。
在步骤S206中，通过训练成本的反向传播对权重参数进行调整，将当前训练次数加一，并将低分辨率训练图像对应的高分辨率重建图像设置为低分辨率训练图像。
在本发明实施例中，当当前训练次数对应的训练成本超过成本阈值时，将该训练成本通过反向传播的方式对稀疏编码网络中各网络层的权值参数进行调整，同时，将当前训练次数加一，将低分辨率训练图像对应的高分辨率重建图像设置为低分辨率训练图像，跳转至步骤S203执行对将低分辨率训练图像分割为低分辨率训练图像块的操作，直至训练成本不超过成本阈值。
在步骤S207中，获得训练好的稀疏编码网络。
在本发明实施例中，在当前训练次数对应的训练成本不超过成本阈值时，即在低分辨率训练图像对应的高分辨率重建图像与低分辨率训练图像对应的高分辨率训练图像之间差异很小时，获得训练好的稀疏编码网络。
在本发明实施例中，将低分辨率字典、高分辨率字典、深度学习网络进行结合，得到训练好的稀疏编码网络，从而在通过稀疏编码网络对断层扫描图像进行处理时，有效地降低了断层扫描图像处理的计算量和硬件依赖程度，节约了断层扫描图像处理的计算资源和硬件成本，同时提高了断层扫描图像的处理效率和处理效果。
实施例三：
图3示出了本发明实施例三提供的一种图像处理装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
图像分割单元31，用于当接收到待处理的断层扫描图像时，将断层扫描图像分割为断层扫描图像块，并提取断层扫描图像块的图像特征。
在本发明实施例中，在接收到待处理的断层扫描图像时，可将断层扫描图像分割为多个断层扫描图像块，不同断层扫描图像块之间可存在重叠部分。作为示例地，可通过哈尔滤波器(Harr)与断层扫描图像进行卷积运算，来将断层扫描图像分割为断层扫描图像块、并提取断层扫描图像块的特征。
图像处理单元32，用于根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对断层扫描图像块的图像特征进行处理，生成断层扫描图像块对应的高分辨率图像块。
在本发明实施例中，在训练过程中预先训练高分辨率字典和低分辨率字典，再根据训练好的高分辨率字典和低分辨率字典对稀疏编码网络进行训练。在将断层扫描图像划分为多个断层扫描图像块时，将每个断层扫描图像块的图像特征输入训练好的稀疏编码网络，以对每个断层扫描图像块进行伪影去除和细节补偿，得到每个断层扫描图像块对应的高分辨率图像块。其中，稀疏编码网络的具体训练过程可参照实施例四中相应单元的详细描述，在此不再赘述。
图像重建输出单元33，用于将所有断层扫描图像块对应的高分辨率图像块进行组合，获得断层扫描图像对应的高分辨率重建图像并输出。
在本发明实施例中，在获得每个断层扫描图像块对应的高分辨率图像块后，可将这些高分辨率图像块按照对应的断层扫描图像块在断层扫描图像中的位置进行组合，得到断层扫描图像对应的高分辨率重建图像并输出，从而完成断层扫描图像的伪影去除和细节补偿。作为示例地，可通过预设的卷积滤波器与断层扫描图像块进行卷积操作来得到断层扫描图像对应的高分辨率重建图像，其中，卷积滤波器可以为不同断层扫描图像块的重叠回收分配适当的权重。
在本发明实施例中，提取断层扫描图像中断层扫描图像块的特征，通过训练好的稀疏编码网络、高分辨率字典和低分辨率字典对这些图像特征进行处理，获得断层扫描图像块对应的高分辨率图像块，由这些高分辨率图像块组合得到断层扫描图像对应的高分辨率重建图像，从而通过深度学习和稀疏编码的结合，减少了断层扫描图像处理的计算量和硬件成本，同时有效地提高了断层扫描图像的处理效率和处理效果。
实施例四：
图4示出了本发明实施例四提供的一种图像处理装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
字典训练单元41，用于根据预设训练图像集训练得到高分辨率字典和低分辨率字典，训练图像集由低分辨率训练图像和相应的高分辨率训练图像构成的训练图像对组成。
在本发明实施例中，预先收集高分辨率的断层扫描图像，为了便于区分，将这些高分辨率的断层扫描图像称为高分辨率训练图像，可对高分辨率训练图像进行将模糊、下采样、差值放大等操作，获得相应的低分辨率的断层扫描图像，将这些低分辨率的断层扫描图像称为低分辨率训练图像，由低分辨率训练图像和低分辨率训练图像对应的高分辨率训练图像构成训练图像对，由多组训练图像对构成训练图像集。
在本发明实施例中，在构建好训练图像集后，可提取训练图像对中的低分辨率训练图像、高分辨率训练图像的图像特征，将这些图像特征用于字典训练，可分别得到训练好的低分辨率字典和高分辨率字典。在此对低分辨率字典、高分辨率字典的训练方式不做限制。
训练初始化单元42，用于根据高分辨率字典和低分辨率字典，对稀疏编码网络的权重参数进行初始化，并对稀疏编码网络的当前训练次数进行初始化。
在本发明实施例中，根据训练好的高分辨率字典和低分辨率字典，对稀疏编码网络中不同网络层的权重参数进行初始化，以提高稀疏编码网络的训练效率，进而提高稀疏编码网络对断层扫描图像进行处理的效果，同时，对稀疏编码网络的当前训练次数进行初始化。具体地，根据高分辨率字典和低分辨率字典对网络层的权重参数进行初始化的公式可表示为：
Figure BDA0001480384560000101
其中，W、S和U分别为稀疏编码网络中输入层、隐藏层和输出层的权重参数，Dl和Dh分别为高分辨率字典和低分辨率字典，E为正则化算子的恒等算子，L为
Figure BDA0001480384560000111
Dl最大特征值的预设上限，C为稀疏编码网络中对图像特征进行归一化处理时用于神经网络节点激活的阈值，也即预设参数。
训练图像块处理单元43，用于将低分辨率训练图像分割为低分辨率训练图像块，并提取低分辨率训练图像块的图像特征，根据低分辨率训练图像块的图像特征、权重参数和低分辨率字典，生成每个低分辨率训练图像块对应的高分辨率图像块。
在本发明实施例中，对低分辨率训练图像进行分割，得到低分辨率训练图像块，提取每个低分辨率训练图像块的图像特征，将这些图像特征输入稀疏编码网络，以得到每个低分辨率训练图像块对应的高分辨率图像块。
在本发明实施例中，在通过稀疏编码网络对所有低分辨率训练图像块的图像特征进行处理，得到低分辨率训练图像块对应的高分辨率图像块时，可先通过稀疏编码网络输入层的权值参数、隐藏层的权值参数以及预设的阈值函数，计算每个低分辨率训练图像块对应的中间稀疏系数，再由中间稀疏系数、低分辨率字典以及预设的正则化参数，可计算得到每个低分辨率训练图像块对应的稀疏系数，最后，根据稀疏编码网络输出层的权值参数和每个低分辨率训练图像块的稀疏系数，可计算得到每个低分辨率训练图像块对应的高分辨率图像块。
优选地，每个低分辨率训练图像块对应的中间稀疏系数的计算公式可为：
zm+1＝hθ(Wy+Szm)，其中，y为低分辨率训练图像块的图像特征，m为当前训练次数，zm+1、zm分别为第m次训练、第m-1次训练中低分辨率训练图像块对应的中间稀疏系数，hθ(x)为预设的阈值收缩函数(element-wise shrinkage function)，阈值收缩函数的计算公式可表示为[hθ(ai)]i＝sign(ai)θi(|ai|/θi-1)+，θi为预设的收缩阈值，通常被设置为1，ai为阈值收缩函数的输入，i表示为第i组训练图像对在训练图像对中的编号。
每个低分辨率训练图像块对应的稀疏系数的计算公式可表示为：
Figure BDA0001480384560000121
其中，λ为预设的正则化系数，α为低分辨率训练图像块对应的稀疏系数。
每个低分辨率训练图像块对应的高分辨率图像块的计算公式可表示为：
x＝Uα，其中，U为输出层的权重参数，x为低分辨率训练图像块对应的高分辨率图像块，从而通过稀疏编码网络、低分辨率字典和高分辨率字典，在一次训练过程中得到每个低分辨率训练图像中每个低分辨率训练图像块对应的高分辨率图像块。
训练成本计算单元44，用于将低分辨率训练图像块对应的高分辨率图像块进行组合，获得每个低分辨率训练图像对应的高分辨率重建图像，根据低分辨率训练图像对应的高分辨率训练图像和低分辨率训练图像对应的高分辨率重建图像，计算当前训练次数对应的训练成本。
在本发明实施例中，将低分辨率训练图像分割为多个图像块，为了便于区分，将这些图像块称为低分辨率训练图像块，提取每个低分辨率训练图像块的图像特征，将这些图像特征输入初始化好的稀疏编码网络，以得到每个低分辨率训练图像块对应的高分辨率图像块。
在本发明实施例中，在通过稀疏编码网络对所有低分辨率训练图像块的图像特征进行处理，得到低分辨率训练图像块对应的高分辨率图像块时，可先通过稀疏编码网络输入层的权值参数、隐藏层的权值参数以及预设的阈值函数，计算每个低分辨率训练图像块对应的中间稀疏系数，再由中间稀疏系数、低分辨率字典以及预设的正则化参数，可计算得到每个低分辨率训练图像块对应的稀疏系数，最后，根据稀疏编码网络输出层的权值参数和每个低分辨率训练图像块的稀疏系数，可计算得到每个低分辨率训练图像块对应的高分辨率图像块。
优选地，根据预设的均方误差函数，计算当前训练中所有低分辨率训练图像的训练成本，计算公式为：
Figure BDA0001480384560000122
其中，
Figure BDA0001480384560000123
为稀疏编码网络的输出，即低分辨率训练图像对应的高分辨率重建图像，Θ为稀疏编码网络的权重参数，
Figure BDA0001480384560000131
分别为训练图像集中第i组训练图像对中的低分辨率训练图像和高分辨率训练图像，从而稀疏编码网络的优化目标可表示为：
Figure BDA0001480384560000132
后续通过调整稀疏编码网络的权重参数来对该优化目标进行优化。
训练成本判断单元45，用于判断训练成本是否超过预设成本阈值，是则通过训练成本的反向传播对权重参数进行调整，将当前训练次数加一，并将低分辨率训练图像对应的高分辨率重建图像设置为低分辨率训练图像，由训练图像块处理单元43执行将低分辨率训练图像分割为低分辨率训练图像块的操作，否则获得训练好的稀疏编码网络。
在本发明实施例中，判断当前训练次数对应的训练成本是否超过预设的成本阈值，当超过时，将该训练成本通过反向传播的方式对稀疏编码网络中各网络层的权值参数进行调整，同时，将当前训练次数加一，将低分辨率训练图像对应的高分辨率重建图像设置为低分辨率训练图像，当未超过时，即当低分辨率训练图像对应的高分辨率重建图像与低分辨率训练图像对应的高分辨率训练图像之间差异很小时，获得训练好的稀疏编码网络。
图像分割单元46，用于当接收到待处理的断层扫描图像时，将断层扫描图像分割为断层扫描图像块，并提取断层扫描图像块的图像特征。
图像处理单元47，用于根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对断层扫描图像块的图像特征进行处理，生成断层扫描图像块对应的高分辨率图像块。
图像重建输出单元48，用于将所有断层扫描图像块对应的高分辨率图像块进行组合，获得断层扫描图像对应的高分辨率重建图像并输出。
在本发明实施例中，图像分割单元46、图像处理单元47和图像重建输出单元48的具体内容可参照实施例三中相应单元的详细描述，在此不再赘述。
优选地，如图5所示，训练图像块处理单元43包括：
中间系数计算单元531，用于根据低分辨率训练图像块的图像特征、稀疏编码网络中输入层和隐藏层的权重参数、以及预设的阈值函数，计算每个低分辨率训练图像块对应的中间稀疏系数；
稀疏系数计算单元532，用于根据每个低分辨率训练图像块对应的中间稀疏系数和对应的图像特征、低分辨率字典以及预设的正则化参数，计算每个低分辨率训练图像块对应的稀疏系数；以及
训练图像块计算单元533，用于根据每个低分辨率训练图像块对应的稀疏系数和稀疏编码网络中输出层的权重参数，计算每个低分辨率训练图像块对应的高分辨率图像块。
在本发明实施例中，在训练过程中将低分辨率字典、高分辨率字典、深度学习网络进行结合，得到训练好的稀疏编码网络，通过该训练好的稀疏编码网络对用户输入的断层扫描图像处理，从而通过有效地降低了断层扫描图像处理的计算量和硬件依赖程度，节约了断层扫描图像处理的计算资源和硬件成本，同时提高了断层扫描图像的处理效率和处理效果。
在本发明实施例中，一种图像处理装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例五：
图6示出了本发明实施例五提供的图像处理设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的图像处理设备6包括处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62。该处理器60执行计算机程序62时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，处理器60执行计算机程序62时实现上述各装置实施例中各单元的功能，例如图3所示单元31至33的功能。
在本发明实施例中，将待处理的断层扫描图像分割为断层扫描图像块，提取每个断层扫描图像块的图像特征，根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对这些图像特征进行处理，生成断层扫描图像块对应的高分辨率图像块，将所有高分辨率图像块组合，获得断层扫描图像对应的高分辨率重建图像并输出，从而过深度学习与稀疏编码结合，对低分辨率的断层扫描图像进行伪影去除和细节补偿，节约了断层扫描图像处理的硬件成本和计算资源，同时有效地提高了断层扫描图像处理效率和处理效果。
实施例六：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各个方法实施例中的步骤，例如，图1所示的步骤S101至S103。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至33的功能。
在本发明实施例中，将待处理的断层扫描图像分割为断层扫描图像块，提取每个断层扫描图像块的图像特征，根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对这些图像特征进行处理，生成断层扫描图像块对应的高分辨率图像块，将所有高分辨率图像块组合，获得断层扫描图像对应的高分辨率重建图像并输出，从而过深度学习与稀疏编码结合，对低分辨率的断层扫描图像进行伪影去除和细节补偿，节约了断层扫描图像处理的硬件成本和计算资源，同时有效地提高了断层扫描图像处理效率和处理效果。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像处理方法，其特征在于，所述方法包括下述步骤：
当接收到待处理的断层扫描图像时，将所述断层扫描图像分割为断层扫描图像块，并提取所述断层扫描图像块的图像特征；
根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对所述断层扫描图像块的图像特征进行处理，生成所述断层扫描图像块对应的高分辨率图像块；
将所述所有断层扫描图像块对应的高分辨率图像块进行组合，获得所述断层扫描图像对应的高分辨率重建图像并输出；
当接收到待处理的断层扫描图像时，将所述断层扫描图像分割为断层扫描图像块的步骤之前，所述方法还包括：
根据预设训练图像集训练得到所述高分辨率字典和所述低分辨率字典，所述训练图像集由低分辨率训练图像和相应的高分辨率训练图像构成的训练图像对组成；
根据所述高分辨率字典和所述低分辨率字典，对所述稀疏编码网络的权重参数进行初始化，并对所述稀疏编码网络的当前训练次数进行初始化；
将所述低分辨率训练图像分割为低分辨率训练图像块，并提取所述低分辨率训练图像块的图像特征，根据所述低分辨率训练图像块的图像特征、所述权重参数和所述低分辨率字典，生成所述每个低分辨率训练图像块对应的高分辨率图像块；
将所述低分辨率训练图像块对应的高分辨率图像块进行组合，获得所述每个低分辨率训练图像对应的高分辨率重建图像，根据所述低分辨率训练图像对应的高分辨率训练图像和所述低分辨率训练图像对应的高分辨率重建图像，计算所述当前训练次数对应的训练成本；
判断所述训练成本是否超过预设成本阈值，是则通过所述训练成本的反向传播对所述权重参数进行调整，将所述当前训练次数加一，并将所述低分辨率训练图像对应的高分辨率重建图像设置为所述低分辨率训练图像，跳转至将所述低分辨率训练图像分割为低分辨率训练图像块的步骤，否则获得训练好的所述稀疏编码网络。
2.如权利要求1所述的方法，其特征在于，根据所述低分辨率训练图像块的图像特征、所述权重参数和所述低分辨率字典，生成所述每个低分辨率训练图像块对应的高分辨率图像块的步骤，包括：
根据所述低分辨率训练图像块的图像特征、所述稀疏编码网络中输入层和隐藏层的所述权重参数、以及预设的阈值函数，计算所述每个低分辨率训练图像块对应的中间稀疏系数，所述中间稀疏系数的计算公式为：
zm+1＝hθ(Wy+Szm)，其中，所述y为所述低分辨率训练图像块的图像特征，所述W、所述S分别为所述输入层和隐藏层的所述权重参数，所述m为所述当前训练次数，所述hθ(x)为预设的阈值收缩函数，所述zm+1、所述zm分别为第m次训练、第m-1次训练中所述低分辨率训练图像块对应的所述中间稀疏系数；
根据所述每个低分辨率训练图像块对应的所述中间稀疏系数和对应的所述图像特征、所述低分辨率字典以及预设的正则化参数，计算所述每个低分辨率训练图像块对应的稀疏系数，所述稀疏系数的计算公式为：
Figure FDA0002311520850000021
其中，所述Dl为所述低分辨率字典，所述λ为所述正则化系数，所述α为所述稀疏系数；
根据所述每个低分辨率训练图像块对应的稀疏系数和所述稀疏编码网络中输出层的所述权重参数，计算所述每个低分辨率训练图像块对应的高分辨率图像块，所述低分辨率训练图像块对应的高分辨率图像块的计算公式为：
x＝Uα，其中，所述U为所述输出层的所述权重参数，所述x为低分辨率训练图像块对应的高分辨率图像块。
3.如权利要求1所述的方法，其特征在于，根据所述低分辨率训练图像对应的高分辨率训练图像和所述低分辨率训练图像对应的高分辨率重建图像，计算所述当前训练次数对应的训练成本的步骤，包括：
根据所述低分辨率训练图像对应的高分辨率训练图像、所述低分辨率训练图像对应的高分辨率重建图像和预设的均方误差函数，计算所述当前次数下所述所有低分辨率训练图像的训练成本，所述训练成本的计算公式为：
Figure FDA0002311520850000031
其中，所述
Figure FDA0002311520850000032
为所述稀疏编码网络的输出，所述Θ为所述稀疏编码网络的权重参数，所述
Figure FDA0002311520850000033
分别为所述训练图像集中第i组训练图像对中的所述低分辨率训练图像和所述高分辨率训练图像。
4.如权利要求1所述的方法，其特征在于，根据所述高分辨率字典和所述低分辨率字典，对所述稀疏编码网络的权重参数进行初始化的步骤，包括：
根据所述高分辨率字典和所述低分辨率字典，分别对所述稀疏编码网络中输入层、隐藏层和输出层的所述权重参数进行初始化，所述权重参数的初始化公式为：
Figure FDA0002311520850000034
其中，所述W、所述S和所述U分别为所述稀疏编码网络中输入层、隐藏层和输出层的所述权重参数，所述Dl和所述Dh分别为所述高分辨率字典和所述低分辨率字典，所述E为预设的恒等算子，所述L为所述
Figure FDA0002311520850000035
最大特征值的预设上限，所述C为预设参数。
5.一种图像处理装置，其特征在于，所述装置包括：
图像分割单元，用于当接收到待处理的断层扫描图像时，将所述断层扫描图像分割为断层扫描图像块，并提取所述断层扫描图像块的图像特征；
图像处理单元，用于根据预先训练好的稀疏编码网络、高分辨率字典和低分辨率字典，对所述断层扫描图像块的图像特征进行处理，生成所述断层扫描图像块对应的高分辨率图像块；以及
图像重建输出单元，用于将所述所有断层扫描图像块对应的高分辨率图像块进行组合，获得所述断层扫描图像对应的高分辨率重建图像并输出；
所述装置还包括：
字典训练单元，用于根据预设训练图像集训练得到所述高分辨率字典和所述低分辨率字典，所述训练图像集由低分辨率训练图像和相应的高分辨率训练图像构成的训练图像对组成；
训练初始化单元，用于根据所述高分辨率字典和所述低分辨率字典，对所述稀疏编码网络的权重参数进行初始化，并对所述稀疏编码网络的当前训练次数进行初始化；
训练图像块处理单元，用于将所述低分辨率训练图像分割为低分辨率训练图像块，并提取所述低分辨率训练图像块的图像特征，根据所述低分辨率训练图像块的图像特征、所述权重参数和所述低分辨率字典，生成所述每个低分辨率训练图像块对应的高分辨率图像块；
训练成本计算单元，用于将所述低分辨率训练图像块对应的高分辨率图像块进行组合，获得所述每个低分辨率训练图像对应的高分辨率重建图像，根据所述低分辨率训练图像对应的高分辨率训练图像和所述低分辨率训练图像对应的高分辨率重建图像，计算所述当前训练次数对应的训练成本；以及
训练成本判断单元，用于判断所述训练成本是否超过预设成本阈值，是则通过所述训练成本的反向传播对所述权重参数进行调整，将所述当前训练次数加一，并将所述低分辨率训练图像对应的高分辨率重建图像设置为所述低分辨率训练图像，由所述训练图像块处理单元执行将所述低分辨率训练图像分割为低分辨率训练图像块的操作，否则获得训练好的所述稀疏编码网络。
6.如权利要求5所述的装置，其特征在于，所述训练图像块处理单元包括：
中间系数计算单元，用于根据所述低分辨率训练图像块的图像特征、所述稀疏编码网络中输入层和隐藏层的所述权重参数、以及预设的阈值函数，计算所述每个低分辨率训练图像块对应的中间稀疏系数，所述中间稀疏系数的计算公式为：
zm+1＝hθ(Wy+Szm)，其中，所述y为所述低分辨率训练图像块的图像特征，所述W、所述S分别为所述输入层和隐藏层的所述权重参数，所述m为所述当前训练次数，所述hθ(x)为预设的阈值收缩函数，所述zm+1、所述zm分别为第m次训练、第m-1次训练中所述低分辨率训练图像块对应的所述中间稀疏系数；
稀疏系数计算单元，用于根据所述每个低分辨率训练图像块对应的所述中间稀疏系数和对应的所述图像特征、所述低分辨率字典以及预设的正则化参数，计算所述每个低分辨率训练图像块对应的稀疏系数，所述稀疏系数的计算公式为：
Figure FDA0002311520850000051
其中，所述Dl为所述低分辨率字典，所述λ为所述正则化系数，所述α为所述稀疏系数；以及
训练图像块计算单元，用于根据所述每个低分辨率训练图像块对应的稀疏系数和所述稀疏编码网络中输出层的所述权重参数，计算所述每个低分辨率训练图像块对应的高分辨率图像块，所述低分辨率训练图像块对应的高分辨率图像块的计算公式为：
x＝Uα，其中，所述U为所述输出层的所述权重参数，所述x为低分辨率训练图像块对应的高分辨率图像块。
7.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN201711187572.5A 2017-11-24 2017-11-24 一种图像处理方法、装置、图像处理设备及存储介质 Active CN108038840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711187572.5A CN108038840B (zh) 2017-11-24 2017-11-24 一种图像处理方法、装置、图像处理设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711187572.5A CN108038840B (zh) 2017-11-24 2017-11-24 一种图像处理方法、装置、图像处理设备及存储介质

Publications (2)

Publication Number Publication Date
CN108038840A CN108038840A (zh) 2018-05-15
CN108038840B true CN108038840B (zh) 2020-03-17

Family

ID=62092526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711187572.5A Active CN108038840B (zh) 2017-11-24 2017-11-24 一种图像处理方法、装置、图像处理设备及存储介质

Country Status (1)

Country Link
CN (1) CN108038840B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805840B (zh) * 2018-06-11 2021-03-26 Oppo（重庆）智能科技有限公司 图像去噪的方法、装置、终端及计算机可读存储介质
CN110113604B (zh) * 2019-04-26 2021-03-30 电子科技大学 一种图像分层编码方法
CN110533738B (zh) * 2019-09-02 2021-06-18 上海联影医疗科技股份有限公司 重建数据处理方法、装置、医学成像系统及存储介质
CN110599420B (zh) * 2019-05-27 2022-03-15 首都师范大学 基于深度学习的ct图像分块重建方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013165396A1 (en) * 2012-05-01 2013-11-07 Analogic Corporation Determination of z-effective value for set of voxels using ct density image and sparse multi-energy data
CN105374060A (zh) * 2015-10-15 2016-03-02 浙江大学 一种基于结构字典约束的pet图像重建方法
CN105637536A (zh) * 2013-07-02 2016-06-01 外科信息科学股份有限公司 脑图像流水线和脑图像区域位置和形状预测的方法和系统
CN106228198A (zh) * 2016-08-17 2016-12-14 广东工业大学 一种医疗ct图像的超分辨率识别方法
CN107146263A (zh) * 2017-04-27 2017-09-08 浙江大学 一种基于张量字典约束的动态pet图像重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013165396A1 (en) * 2012-05-01 2013-11-07 Analogic Corporation Determination of z-effective value for set of voxels using ct density image and sparse multi-energy data
CN105637536A (zh) * 2013-07-02 2016-06-01 外科信息科学股份有限公司 脑图像流水线和脑图像区域位置和形状预测的方法和系统
CN105374060A (zh) * 2015-10-15 2016-03-02 浙江大学 一种基于结构字典约束的pet图像重建方法
CN106228198A (zh) * 2016-08-17 2016-12-14 广东工业大学 一种医疗ct图像的超分辨率识别方法
CN107146263A (zh) * 2017-04-27 2017-09-08 浙江大学 一种基于张量字典约束的动态pet图像重建方法

Also Published As

Publication number Publication date
CN108038840A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
Armanious et al. Unsupervised medical image translation using cycle-MedGAN
US11580410B2 (en) 3-D convolutional autoencoder for low-dose CT via transfer learning from a 2-D trained network
CN110461228B (zh) 使用多对比度和深度学习改进医学图像的质量
CN110443867B (zh) 基于生成对抗网络的ct图像超分辨率重构方法
CN106600609B (zh) 一种医学图像中脊柱的分割方法及系统
CN110827216A (zh) 图像去噪的多生成器生成对抗网络学习方法
CN109409503B (zh) 神经网络的训练方法、图像转换方法、装置、设备及介质
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN111340903B (zh) 基于非衰减校正pet图像生成合成pet-ct图像的方法和系统
Jiang et al. Low-dose CT lung images denoising based on multiscale parallel convolution neural network
Ko et al. Rigid and non-rigid motion artifact reduction in X-ray CT using attention module
CN115953494B (zh) 基于低剂量和超分辨率的多任务高质量ct图像重建方法
CN106530236B (zh) 一种医学图像处理方法及系统
CN108898578B (zh) 一种医疗图像的处理方法、装置及计算机存储介质
CN112419173A (zh) 一种由pet图像生成ct图像的深度学习框架和方法
CN113706409A (zh) 基于人工智能的cbct图像增强方法、装置和存储介质
US20220138936A1 (en) Systems and methods for calcium-free computed tomography angiography
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
Li et al. Learning non-local perfusion textures for high-quality computed tomography perfusion imaging
CN113205461B (zh) 一种低剂量ct影像去噪模型训练方法、去噪方法及装置
US11455755B2 (en) Methods and apparatus for neural network based image reconstruction
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN117710317A (zh) 检测模型的训练方法及检测方法
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
CN103366348A (zh) 一种抑制x线图像中骨骼影像的方法及处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant