CN111353958B - 图像处理方法、装置及系统 - Google Patents

图像处理方法、装置及系统 Download PDF

Info

Publication number
CN111353958B
CN111353958B CN202010130515.9A CN202010130515A CN111353958B CN 111353958 B CN111353958 B CN 111353958B CN 202010130515 A CN202010130515 A CN 202010130515A CN 111353958 B CN111353958 B CN 111353958B
Authority
CN
China
Prior art keywords
image
processed
sample
noise
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010130515.9A
Other languages
English (en)
Other versions
CN111353958A (zh
Inventor
吴承暘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Beijing Neusoft Medical Equipment Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Beijing Neusoft Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd, Beijing Neusoft Medical Equipment Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN202010130515.9A priority Critical patent/CN111353958B/zh
Publication of CN111353958A publication Critical patent/CN111353958A/zh
Priority to US17/187,051 priority patent/US11645736B2/en
Application granted granted Critical
Publication of CN111353958B publication Critical patent/CN111353958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置及系统，所述方法通过从待处理图像中提取图像噪声信息和目标对象的轮廓信息，基于图像噪声信息和轮廓信息，生成待处理图像的噪声分布图像，使用噪声分布图像对待处理图像进行去噪处理，获得待处理图像的去噪图像，本方法增加了对图像中轮廓信息即结构边缘信息的保护，提高了图像去噪效果。

Description

图像处理方法、装置及系统
技术领域
本申请涉及医学技术领域，尤其涉及图像处理方法、装置及系统。
背景技术
部分医疗设备利用射线原理进行成像，例如计算机断层摄影(ComputedTomography，CT)设备利用X射线进行成像，血管减影造影(Digital SubtractionAngiography,DSA)设备利用X射线进行成像等，这类设备主要包括射线源和探测器，其中，射线源用于发射射线，探测器用于探测穿过待扫描对象的射线，设备利用探测器探测到的射线进行成像。
在成像过程中，基于X射线散射和探测器性能的原因产生了一定的噪声，导致所得的图像模糊，图像质量较差。相关技术中，通过加大X射线剂量的方式解决图像模糊的问题。但是，较大剂量X射线产生的辐射危害较大，严重威胁患者和医生的身体健康。
发明内容
为克服相关技术中存在的问题，本申请提供了一种图像处理方法、装置及系统。
第一方面，提供一种图像处理方法，所述方法包括：
获取待处理图像，所述待处理图像包括目标对象；
从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息；
基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像；
使用所述噪声分布图像对所述待处理图像进行去噪处理，获得所述待处理图像的目标图像。
第二方面，提供一种图像处理装置，所述装置包括：
第一获取模块，被配置为获取待处理图像，所述待处理图像包括目标对象；
提取模块，被配置为从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息；
生成模块，被配置为基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像；
第一去噪模块，被配置为使用所述噪声分布图像对所述待处理图像进行去噪处理，获得所述待处理图像的目标图像。
第三方面，提供一种图像处理系统，包括：内部总线，以及通过内部总线连接的存储器、处理器和外部接口；其中，
所述外部接口，用于获取数据；
所述存储器，用于存储图像处理对应的机器可读指令；
所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令实现如下操作：
获取待处理图像，所述待处理图像包括目标对象；
从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息；
基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像；
使用所述噪声分布图像对所述待处理图像进行去噪处理，获得所述待处理图像的目标图像。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请实施例提供了一种图像处理方法，通过从待处理图像中提取图像噪声信息和目标对象的轮廓信息，基于图像噪声信息和轮廓信息，生成待处理图像的噪声分布图像，使用噪声分布图像对待处理图像进行去噪处理，获得待处理图像的去噪图像，本方法增加了对图像中轮廓信息即结构边缘信息的保护，提高了图像去噪效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请一示例性实施例示出的一种图像处理方法的流程图；
图2是本申请一示例性实施例示出的一种神经网络的结构示意图；
图3是本申请一示例性实施例示出的一种图像生成子网络的训练方法的流程图；
图4是本申请一示例性实施例示出的一种图像处理装置的示意图；
图5是本申请一示例性实施例示出的一种图像处理系统的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面结合说明书附图，对本申请实施例进行详细描述。
本申请实施例提供了一种图像处理方法，应用于图像处理系统。在医疗领域中，适用的图像处理系统有多种，例如CT系统、DSA系统等具有扫描功能的系统，或者，图像处理系统可以是独立于具有扫描功能的系统设置的、仅用于图像处理的系统。
图1是本申请一示例性实施例示出的一种图像处理方法的流程图，图1所示的图像处理方法可以包括以下步骤：
在步骤101中，获取待处理图像，待处理图像包括目标对象。
待处理图像包含噪声。如果图像处理系统利用射线原理进行成像，则本步骤中的待处理图像可以是图像处理系统在扫描结束后获得的、包含噪声的图像。
在医疗领域中，目标对象可以为患者整体、患者的指定部位或指定物体(如扫描床等)等。目标对象的数量可以为一个或多个。
在步骤102中，从待处理图像中提取图像噪声信息和目标对象的轮廓信息。
图像噪声信息和目标对象的轮廓信息可以均用像素矩阵的形式表示，像素矩阵中每个像素点的值均为灰度值。
在一个实施例中，图像处理系统可以预先获取神经网络，利用神经网络进行图像处理，在神经网络包括信息提取子网络的情况下，图像处理系统从待处理图像中提取图像噪声信息和目标对象的轮廓信息的操作，可以通过下面方式实现：利用信息提取子网络从待降噪图像中提取图像噪声信息和轮廓信息。具体地，可以将待降噪图像输入信息提取子网络中，获得信息提取子网络输出的图像噪声信息和轮廓信息。
信息提取子网络可以由第一信息提取子网络和第二信息提取子网络构成，第一信息提取子网络和第二信息提取子网络级联，图像处理系统可以利用第一信息提取子网络从待降噪图像中提取图像噪声信息，利用第二信息提取子网络从待降噪图像中提取轮廓信息。
具体地，可以将待降噪图像输入分别输入第一信息提取子网络和第二信息提取子网络中，获得第一信息提取子网络输出的图像噪声信息，以及获得第二信息提取子网络输出的轮廓信息。
例如，第一信息提取子网络可以为预先训练的残差网络，第二信息提取子网络可以是预先训练的迁移网络，如预先训练的VGG16网络。
在步骤103中，基于图像噪声信息和目标对象的轮廓信息，生成待处理图像的噪声分布图像。
在一个实施例中，预先获取的神经网络除包括信息提取子网络外，还可以包括图像生成子网络，图像生成子网络基于输入的图像噪声信息和目标对象的轮廓信息进行进一步的特征提取和计算，从而获得噪声分布图像。
图像处理系统生成噪声分布图像的操作，可以通过下面方式实现：利用图像生成子网络基于图像噪声信息和目标对象的轮廓信息，生成待处理图像的噪声分布图像。具体地，可以将图像噪声信息和目标对象的轮廓信息输入图像生成子网络，获得图像生成子网络输出的噪声分布图像。
在步骤104中，使用噪声分布图像对待处理图像进行去噪处理，获得待处理图像的目标图像。
待处理图像的目标图像为待处理图像去噪后的图像。
基于待处理图像和噪声分布图像，确定待处理图像的目标图像的实现方式有多种，例如，第一种方式：计算待处理图像与噪声分布图像之间的像素值差异，得到目标图像。
在实现上，待处理图像与噪声分布图可以均用像素矩阵形式表示，可以计算两个像素矩阵中相同像素位置的像素值的差值，将所得的像素矩阵作为目标图像的像素矩阵，从而得到目标图像。
第二种方式：首先，计算待处理图像与噪声分布图像之间的像素值差异，得到待处理图像的一级降噪图像；其次，将待处理图像的一级降噪图像作为配准目标，对历史待处理图像的一级降噪图像进行配准，获得历史待处理图像的配准图像，历史待处理图像是在待处理图像之前拍摄的图像；最后，对待处理图像的一级降噪图像和配准图像进行时域降噪，获得目标图像。
图像处理系统可以基于待处理图像的一级降噪图像和历史待处理图像的一级降噪图像，确定一图像形变场，使用该图像形变场将历史待处理图像的一级降噪图像配准至待处理图像的一级降噪图像，获得历史待处理图像的配准图像。
待处理图像的一级降噪图像和配准图像可以均用像素矩阵形式表示，可以对两个像素矩阵进行像素值计算，例如，对两个像素矩阵进行平均像素值计算，具体地，计算两个像素矩阵中相同像素位置的像素值的平均值，将所得的像素矩阵作为目标图像的像素矩阵，从而获得目标图像，或者，对两个像素矩阵进行像素值权重计算，具体地，将一个像素矩阵与其相应的权重值相乘，获得第一像素矩阵，将另一个像素矩阵与其相应的权重值相乘，获得第二像素矩阵，将第一像素矩阵与第二像素矩阵相加，将所得的像素矩阵作为目标图像的像素矩阵，从而获得目标图像。
历史待处理图像可以包括一帧或多帧图像。当历史待处理图像包括多帧图像时，可以确定每帧历史待处理图像对应的图像形变场，以待处理图像的一级降噪图像作为配准目标，对每帧历史待处理图像进行配准，从而获得多帧配准图像。将待处理图像的一级降噪图像和多帧配准目标进行像素值计算，获得目标图像。
在一个实施例中，图像处理系统可以预先获取一时域降噪网络，该时域降噪网络可以包括形变场生成子网络、图像配准子网络和图像降噪子网络，其中，形变场生成子网络用于生成图像形变场；像配准子网络用于通过图像形变场将一个图像配准至另一个图像，获得所述一个图像的配准图像；图像降噪子网络用于对所述另一个图像和配准图像进行时域降噪，获得所述另一个图像的时域降噪图像。
应用中，图像处理系统可以利用形变场生成子网络，生成历史待处理图像的一级降噪图像相对于待处理图像的一级降噪图像的图像形变场，利用图像配准子网络通过图像形变场对历史待处理图像的一级降噪图像进行配准，获得历史待处理图像的一级降噪图像，利用图像降噪子网络对待处理图像的一级降噪图像和配准图像进行时域降噪，获得目标图像。
本实施例在对待处理图像进行空间降噪后，又利用前帧图像对当前帧图像进行降噪处理，增加了降噪图像的信噪比，去除了降噪图像中的伪影，提高了图像降噪效果。
本申请实施例提供了一种图像处理方法，通过从待处理图像中提取图像噪声信息和目标对象的轮廓信息，基于图像噪声信息和轮廓信息，生成待处理图像的噪声分布图像，基于待处理图像与噪声分布图像，获得了待处理图像的降噪图像，在保证图像降噪效果的基础上，增加了对图像中轮廓信息即结构边缘信息的保护，提高了去噪效果。
在一个实施例中，图2是本申请一示例性实施例示出的一种神经网络的结构示意图，下面结合图2对本申请提供的神经网络和图像处理方法进行解释说明。
神经网络包括迁移网络、第一卷积网络和第二卷积网络，第一卷积网络和迁移网络级联，其中，迁移网络用于从图像中提取轮廓信息，第一卷积网络用于从图像中提取图像噪声信息，迁移网络提取的轮廓信息和第一卷积网络提取的图像噪声信息输入第二卷积网络中，第二卷积网络基于轮廓信息和图像噪声信息，获取该图像的噪声分布图像。
图像处理系统将待处理的图像输入上述的神经网络中，获取神经网络输出的该图像的噪声分布图像，并使用该噪声分布图像对待处理的图像进行去噪处理，从而获得去噪后的图像。
对于上述的神经网络，可以根据设备所需要的算法实时性和所需要的视野域，调整第一卷积网络中卷积层的层数和第二卷积网络中卷积层的层数。
如果噪声分布图像中某个像素点的像素值大于预设的像素值上限，则可以将像素值上限作为该像素点的像素值，如果噪声分布图像中某个像素点的像素值小于预设的像素值下限，则可以将像素值下限作为该像素点的像素值，从而去除神经网络预测的异常值，保证了图像去噪结果的准确性。像素值上限和像素值下限可以根据经验和需要进行设置，例如，像素值上限为噪声分布图像的标准差的三倍。
可以根据需要设置卷积网络中卷积核的尺寸和特征视野域的大小。例如，卷积网络a仅包括一层卷积层且卷积层采用宽和高均为5的卷积核，卷积网络b包括两层卷积层且每层卷积层均采用宽和高均为3的卷积核，相比于卷积网络a，卷积网络b通过增加卷积层数量来增加视野域的大小，充分发挥在相同视野域下计算量较小的优势。
卷积网络可以采用带泄露线性整流函数(Leaky Rectified Linear Unit,LeakyReLU)作为激活函数使线性函数转换至非线性空间，用简单的线性函数来拟合复杂的非线性函数。卷积网络可以对每个卷积层的处理结果进行批归一化(Batch Normalization)处理，以减少过拟合风险。
在一个实施例中，图3是本申请一示例性实施例示出的一种图像生成子网络的训练方法的流程图，图3所示的图像生成子网络的训练方法可以包括：
在步骤201中，获取第一样本图像和第二样本图像，第二样本图像是在第一样本图像中添加噪声后得到的图像，第一样本图像标注了像素信息和样本轮廓信息。
第一样本图像可以理解为无噪图像，第二样本图像可以理解为含噪图像，第一样本图像和第二样本图像构成训练集。
可以通过下面方式获得训练集：
a、获取连续拍摄的多帧图像，对连续拍摄的多帧图像进行平均像素值计算，获得无噪图像(即第一样本图像)。
连续拍摄的多帧图像可以是具有扫描功能的系统连续扫描后得到的多帧图像。
拍摄的每帧图像均为像素矩阵形式，像素矩阵中每个像素点的值均为像素值。可以计算多个像素矩阵中相同像素位置的像素值的平均值，将所得的像素矩阵作为无噪图像的像素矩阵，从而获得无噪图像。
b、对所得的无噪图像进行Anscombe变换。
Anscombe变换是将图像中的噪声类型从柏松高斯混合分布近似转换为高斯分布。
本实施例对所得的无噪图像进行Anscombe变换的目的是：将无噪图像中的像素值分布和像素值范围适用于神经网络使用。
c、向Anscombe变换后的无噪图像中添加高斯噪声，获得含噪图像(即第二样本图像)。
可以向Anscombe变换后的无噪图像中加入方差不同的高斯噪声，获得包含不同噪声的含噪图像(即第二样本图像)。
在步骤202中，将第二样本图像输入神经网络中，获得神经网络输出的样本噪声分布图像。
样本噪声分布图像是第二样本图像的噪声分布图像。
预先训练的神经网络具有获取图像的噪声分别图像的功能，神经网络的输入是图像，输出是该图像的噪声分布图像。
本步骤在实现上，可以将第二样本图像输入神经网络中的信息提取子网络中，获得信息提取子网络输出的图像噪声信息和目标对象的轮廓信息，将图像噪声信息和目标对象的轮廓信息输入图像生成子网络中，获得图像生成子网络输出的样本噪声分布图像。
在信息提取子网络包括第一信息提取子网络和第二信息提取子网络的情况下，可以将第二样本图像分别输入第一信息提取子网络和第二信息提取子网络中，获得第一信息提取子网络输出的图像噪声信息，以及第二信息提取子网络输出的目标对象的轮廓信息，将第一信息提取子网络输出的图像噪声信息和第二信息提取子网络输出的轮廓信息输入图像生成子网络，获得图像生成子网络输出的样本噪声分布图像。
在步骤203中，使用样本噪声分布图像对第二样本图像进行去噪处理，获得第二样本图像的样本目标图像。
第二样本图像的样本目标图像为第二样本图像去噪后的图像。
使用样本噪声分布图像对第二样本图像进行去噪处理，获得第二样本图像的样本目标图像的实现方式有多种，例如，第一种方式：计算第二样本图像与样本噪声分布图像之间的像素值差异，得到样本目标图像。
第二种方式：首先，计算第二样本图像与样本噪声分布图像之间的像素值差异，得到第二样本图像的一级降噪图像；其次，将第二样本图像的一级降噪图像作为配准目标，对历史第二样本图像的一级降噪图像进行配准，获得历史第二样本图像的配准图像，历史第二样本图像是在待处理图像之前拍摄的图像；最后，对第二样本图像的一级降噪图像和历史第二样本图像的配准图像进行时域降噪，获得样本目标图像。
在步骤204中，基于第一样本图像和样本目标图像之间的像素值差异和轮廓信息差异，调整图像生成子网络中的网络参数。
本实施例利用第一样本图像和样本目标图像之间的像素值差异和轮廓信息差异的统计值，反向传播优化图像生成子网络中的网络参数，实现图像生成子网络的优化。
在一实施例中，第二样本图像是在第一样本图像上添加噪声后得到的图像，第一样本图像可以理解为无噪图像，样本目标图像是利用神经网络对第二样本图像进行去噪处理后得到的图像，如果神经网络优化很好，那么利用神经网络获得的样本目标图像与第一样本图像之间的差异很小，甚至差异为零。因此可以利用第一样本图像与样本目标图像之间的差异，对神经网络进行优化。
第一样本图像和样本目标图像之间的差异可以包括像素值差异和轮廓信息差异，像素值差异和轮廓信息差异可以均用像素矩阵形式表示，本步骤可以计算像素值差异和轮廓信息差异的统计值，调整图像生成子网络中的网络参数，使得统计值小于预设值。预设值较小，可选为零。
计算像素值差异和轮廓信息差异的统计值的操作，可以通过下面方式实现：对像素值差异和轮廓信息差异进行权重加和计算。例如，像素值差异对应的权重值为n，轮廓信息差异对应的权重值为m，将n倍的像素值差异与m倍的轮廓信息差异相乘，得到像素值差异和轮廓信息差异的统计值。
通常图像去噪程度越大，轮廓信息(可以理解为结构边缘信息)损失越多，所得图像中轮廓越模糊。可以通过调整像素值差异对应的权重值和轮廓信息差异对应的权重值，来调整目标图像中图像颜色和结构轮廓(即结构边缘信息)的呈现效果。
为获得轮廓清晰的目标图像，需要在降噪过程中减少生成的噪声分布图像中的轮廓信息，以便经待处理图像减去噪声分布图像后得到的目标图像中的轮廓清晰显示，这时可以增大轮廓信息差异对应的权重值，减小像素值差异对应的权重值。
例如，轮廓信息差异对应的原权重值为m，像素值差异对应的原权重值为n，经权重值调整后，轮廓信息差异对应的新权重值为m′，像素值差异对应的新权重值为n′，
在一个实施例中，可以计算像素值差异和轮廓信息差异的统计值，调整图像生成子网络中的网络参数，使得统计值按照一个方向变化，例如统计值逐渐变小，当图像生成子网络的调整次数达到预设次数后，结束网络调整。
在一个实施例中，利用上面实施例中步骤a-c获得的连续拍摄的多帧含噪图像，即多帧第二样本图像(下面简称为多帧图像)，对形变场生成子网络进行训练，形变场生成子网络的训练方法可以包括：
步骤a，获取连续拍摄的多帧图像，按照上述方法获得每帧图像的噪声分布图像，针对每帧图像，计算该帧图像与其噪声分布图像之间的像素值差异，获得该帧图像的一级降噪图像。
连续拍摄的多帧图像包括当前图像和历史图像，历史图像是在当前图像之前拍摄的图像。
步骤b，针对每帧历史图像，将该帧历史图像的一级降噪图像和当前图像的一级降噪图像输入预先构建的形变场生成子网络中，获得形变场生成子网络输出的图像形变场。
步骤c，利用该图像形变场对该帧历史图像的一级降噪图像进行配准，得到该帧历史图像的一级降噪图像的配准图像。
步骤d，计算当前图像的一级降噪图像与步骤c中得到的配准图像之间的像素值差异。
计算像素值差异的方式有多种，例如，计算两个图像的灰度值均方差，将计算结果确定为像素值差异，或者，计算两个图像的灰度值二范数，将计算结果确定为像素值差异。
步骤e，基于像素值差异，调整形变场生成子网络中的网络参数。
具体地，可以调整形变场生成子网络中的网络参数，使得像素值差异小于差异阈值，即在像素值差异小于差异阈值后，结束网络调整。差异阈值较小，可选为零。或者，可以调整形变场生成子网络中的网络参数，使得像素值差异朝一个方向变换，如像素值差异逐渐变小，在形变场生成子网络的调整次数达到预设次数后，结束网络调整。
例如，获取连续拍摄的当前帧图像t、前一帧图像t-1、前二帧图像t-2，将当前帧图像t的一级降噪图像和前一帧图像t-1的一级降噪图像输入形变场生成子网络中，获得形变场生成子网络输出的第一图像形变场，利用第一图像形变场对前一帧图像t-1进行配准，获得第一配准图像，计算当前帧图像t和第一配准图像之间的第一像素值差异，在第一像素值差异大于或等于预设的差异阈值的情况下，利用第一像素值差异对形变场生成子网络中的参数进行调整，获得一次优化的形变场生成子网络；
同样地，将当前帧图像t的一级降噪图像和前二帧图像t-2的一级降噪图像输入一次优化的形变场生成子网络中，获得一次优化的形变场生成子网络输出的第二图像形变场，利用第二图像形变场对前二帧图像t-2进行配准，获得第二配准图像，计算当前帧图像t和第二配准图像之间的第二像素值差异，在第二像素值差异大于或等于预设的差异阈值的情况下，利用第二像素值差异对一次优化的形变场生成子网络中的参数进行调整，获得二次优化的形变场生成子网络；
当连续拍摄的图像数量较多时，可以通过上述优化方法，使得像素值差异小于差异阈值。
本实施例利用当前第二样本图像的一级降噪图像和配准图像之间的像素值差异，反向传播优化形变场生成子网络中的参数，提高了形变场生成子网络生成的图像形变场的准确性，实现形变场生成子网络的优化和时域降噪网络的优化。
在一个实施例中，可以将训练集中大尺寸的图片裁剪为小尺寸的图像，如256×256的方形图像块，利用小尺寸的图像进行训练。
如果训练集中的图片数量较多时，可以对训练集中的图像进行划分，将每N张图像划分为一个训练组，获得M组，其中，N和M均为正整数，N可以根据需要和经验进行设置，例如N为4或6等。按照M个训练组的排序，依次将M个训练组代入网络中，实现对网络的M次训练，之后可以按照上述方法，再次将M个训练组代入网络中，实现对网络的进一步优化。
可以根据需要设置网络参数的优化速度，例如，每向网络中代入一个训练组，网络参数的优化速度即网络的学习率为0.0001。可以根据需要设置M个训练组的循环迭代次数，例如，M个训练组的循环迭代次数为100，在完成M个训练组的100次循环迭代后，完成网络优化。
与前述图像处理方法相对应，本申请还提供了图像处理装置及系统的实施例。
参照图4是本申请一示例性实施例示出的一种图像处理装置的示意图，所述装置包括：第一获取模块31、提取模块32、生成模块33和第一去噪模块34；其中，
所述第一获取模块31，被配置为获取待处理图像，所述待处理图像包括目标对象；
所述提取模块32，被配置为从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息；
所述生成模块33，被配置为基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像；
所述第一去噪模块34，被配置为使用所述噪声分布图像对所述待处理图像进行去噪处理，获得所述待处理图像的目标图像。
在一个可选的实施例中，在图4所示的装置的基础上，所述装置利用神经网络进行图像处理，所述神经网络包括：信息提取子网络和图像生成子网络；
所述提取模块32，可以被配置为使用所述信息提取子网络从所述待降噪图像中提取所述图像噪声信息和所述轮廓信息；
所述生成模块33，可以被配置为使用所述图像生成子网络基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像。
在一个可选的实施例中，所述装置还可以包括：第二获取模块、输入模块、第二去噪模块和调整模块；其中，
所述第二获取模块，被配置为获取第一样本图像和第二样本图像，所述第二样本图像是在所述第一样本图像中添加噪声后得到的图像，所述第一样本图像标注了像素信息和样本轮廓信息；
所述输入模块，被配置为将所述第二样本图像输入所述神经网络中，获得所述神经网络输出的样本噪声分布图像；
所述第二去噪模块，被配置为使用所述样本噪声分布图像对所述第二样本图像进行去噪处理，获得所述第二样本图像的样本目标图像；
所述调整模块，被配置为基于所述样本图像和所述样本目标图像之间的像素值差异和轮廓信息差异，调整所述图像生成子网络中的网络参数。
在一个可选的实施例中，在图4所示的装置的基础上，所述第一去噪模块34，可以包括：第一计算子模块；
所述第一计算子模块，被配置为计算所述待处理图像与所述噪声分布图像之间的像素值差异，得到所述目标图像。
在一个可选的实施例中，在图4所示的装置的基础上，所述第一去噪模块34，可以包括：第二计算子模块、配准子模块和降噪子模块；其中，
所述第二计算子模块，被配置为计算所述待处理图像与所述噪声分布图像之间的像素值差异，得到所述待处理图像的一级降噪图像；
所述配准子模块，被配置为将所述待处理图像的一级降噪图像作为配准目标，对历史待处理图像的一级降噪图像进行配准，获得所述历史待处理图像的配准图像，所述历史待处理图像是在所述待处理图像之前拍摄的图像；
所述降噪子模块，被配置为对所述待处理图像的一级降噪图像和所述配准图像进行时域降噪，获得所述目标图像。
参照图5是本申请一示例性实施例示出的一种图像处理系统的示意图，该图像处理系统可以包括：内部总线410，以及通过内部总线410连接的存储器420、处理器430和外部接口440；
其中，外部接口440，用于获取数据；
存储器420，用于存储图像处理对应的机器可读指令；
处理器430，用于读取所述存储器420上的所述机器可读指令，并执行所述指令以实现如下操作：
获取待处理图像，所述待处理图像包括目标对象；
从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息；
基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像；
使用所述噪声分布图像对所述待处理图像进行去噪处理，获得所述待处理图像的目标图像。
在公开实施例中，计算机可读存储介质可以是多种形式，比如，在不同的例子中，所述机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。特殊的，所述的计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。使用这些介质，这些程序可以被通过电学的方式获取到(例如，光学扫描)、可以被以合适的方式编译、解释和处理，然后可以被存储到计算机介质中。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法利用神经网络进行图像处理，所述神经网络包括：信息提取子网络和图像生成子网络，包括：
获取待处理图像，所述待处理图像包括目标对象；
从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息，包括：使用所述信息提取子网络从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息；
基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像，包括：使用所述图像生成子网络基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像；
使用所述噪声分布图像对所述待处理图像进行去噪处理，获得所述待处理图像的目标图像；
所述图像生成子网络通过下面方法训练得到：
获取第一样本图像和第二样本图像，所述第一样本图像为无噪图像，所述第二样本图像为含噪图像，所述第一样本图像标注了像素信息和样本轮廓信息；
将所述第二样本图像输入所述神经网络中，获得所述神经网络输出的样本噪声分布图像；
使用所述样本噪声分布图像对所述第二样本图像进行去噪处理，获得所述第二样本图像的样本目标图像；
基于所述第一样本图像和所述样本目标图像之间的像素值差异和轮廓信息差异，调整所述图像生成子网络中的网络参数。
2.根据权利要求1所述的方法，其特征在于，所述第二样本图像是在所述第一样本图像中添加噪声后得到的图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述样本图像和所述样本目标图像之间的像素值差异和轮廓信息差异，调整所述图像生成子网络中的网络参数，包括：
计算所述像素值差异和所述轮廓信息差异的统计值；
调整所述图像生成子网络中的网络参数，使得所述统计值小于预设值。
4.根据权利要求3所述的方法，其特征在于，所述像素值差异和所述轮廓信息差异均用像素矩阵的形式表示；所述计算所述像素值差异和所述轮廓信息差异的统计值，包括：
对所述像素值差异和所述轮廓信息差异进行权重加和计算。
5.根据权利要求1所述的方法，其特征在于，所述使用所述噪声分布图像对所述待处理图像进行去噪处理，获得所述待处理图像的目标图像，包括：
计算所述待处理图像与所述噪声分布图像之间的像素值差异，得到所述目标图像；或者，
计算所述待处理图像与所述噪声分布图像之间的像素值差异，得到所述待处理图像的一级降噪图像；
将所述待处理图像的一级降噪图像作为配准目标，对历史待处理图像的一级降噪图像进行配准，获得所述历史待处理图像的配准图像，所述历史待处理图像是在所述待处理图像之前拍摄的图像；
对所述待处理图像的一级降噪图像和所述配准图像进行时域降噪，获得所述目标图像。
6.一种图像处理装置，其特征在于，所述装置利用神经网络进行处理，所述神经网络包括：信息提取子网络和图像生成子网络，包括：
第一获取模块，被配置为获取待处理图像，所述待处理图像包括目标对象；
提取模块，被配置为从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息，包括：使用信息提取子网络从所述待处理图像中提取图像噪声信息和所述目标对象的轮廓信息；
生成模块，被配置为基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像，包括：使用图像生成子网络基于所述图像噪声信息和所述轮廓信息，生成所述待处理图像的噪声分布图像；
第一去噪模块，被配置为使用所述噪声分布图像对所述待处理图像进行去噪处理，获得所述待处理图像的目标图像；
第二获取模块，被配置为获取第一样本图像和第二样本图像，所述第一样本图像为无噪图像，所述第二样本图像为含噪图像，所述第一样本图像标注了像素信息和样本轮廓信息；
输入模块，被配置为将所述第二样本图像输入所述神经网络中，获得所述神经网络输出的样本噪声分布图像；
第二去噪模块，被配置为使用所述样本噪声分布图像对所述第二样本图像进行去噪处理，获得所述第二样本图像的样本目标图像；
调整模块，被配置为基于所述第一样本图像和所述样本目标图像之间的像素值差异和轮廓信息差异，调整所述图像生成子网络中的网络参数。
7.根据权利要求6所述的装置，其特征在于，所述第二获取模块具体被配置为：获取第一样本图像和第二样本图像，所述第二样本图像是在所述第一样本图像中添加噪声后得到的图像，所述第一样本图像标注了像素信息和样本轮廓信息。
8.根据权利要求6所述的装置，其特征在于，所述第一去噪模块，包括：
第一计算子模块，被配置为计算所述待处理图像与所述噪声分布图像之间的像素值差异，得到所述目标图像；或者，
第二计算子模块，被配置为计算所述待处理图像与所述噪声分布图像之间的像素值差异，得到所述待处理图像的一级降噪图像；
配准子模块，被配置为将所述待处理图像的一级降噪图像作为配准目标，对历史待处理图像的一级降噪图像进行配准，获得所述历史待处理图像的配准图像，所述历史待处理图像是在所述待处理图像之前拍摄的图像；
降噪子模块，被配置为对所述待处理图像的一级降噪图像和所述配准图像进行时域降噪，获得所述目标图像。
9.一种图像处理系统，其特征在于，包括：内部总线，以及通过内部总线连接的存储器、处理器和外部接口；其中，
所述外部接口，用于获取数据；
所述存储器，用于存储图像处理对应的机器可读指令；
所述处理器，用于读取所述存储器上的所述机器可读指令，并执行所述指令实现如权利要求1至5任一项所述的方法。
CN202010130515.9A 2020-02-28 2020-02-28 图像处理方法、装置及系统 Active CN111353958B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010130515.9A CN111353958B (zh) 2020-02-28 2020-02-28 图像处理方法、装置及系统
US17/187,051 US11645736B2 (en) 2020-02-28 2021-02-26 Image processing methods, apparatuses and systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010130515.9A CN111353958B (zh) 2020-02-28 2020-02-28 图像处理方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111353958A CN111353958A (zh) 2020-06-30
CN111353958B true CN111353958B (zh) 2023-07-25

Family

ID=71195943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010130515.9A Active CN111353958B (zh) 2020-02-28 2020-02-28 图像处理方法、装置及系统

Country Status (2)

Country Link
US (1) US11645736B2 (zh)
CN (1) CN111353958B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529804A (zh) * 2020-12-14 2021-03-19 深圳开立生物医疗科技股份有限公司 一种图像去噪方法、装置、设备及计算机可读存储介质
WO2022178715A1 (zh) * 2021-02-24 2022-09-01 深圳市大疆创新科技有限公司 图像处理方法及装置
CN114663307B (zh) * 2022-03-22 2023-07-04 哈尔滨工业大学 基于不确定性网络的集成图像去噪系统
CN114612462A (zh) * 2022-03-25 2022-06-10 成都爱迦飞诗特科技有限公司 乳腺超声图像采集方法、装置、设备和存储介质
CN115098901B (zh) * 2022-06-27 2023-07-21 广东时谛智能科技有限公司 基于个人数据分析的确定鞋体各个部位材质的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186888A (zh) * 2011-12-30 2013-07-03 Ge医疗系统环球技术有限公司 一种去除ct图像噪声的方法及装置
CN107818300A (zh) * 2017-10-18 2018-03-20 河海大学 一种基于隐马尔科夫模型的步态去噪方法
CN108876734A (zh) * 2018-05-31 2018-11-23 沈阳东软医疗系统有限公司 图像去噪方法、装置、电子设备及存储介质
JP2019212275A (ja) * 2018-06-07 2019-12-12 北京曠視科技有限公司Ｂｅｉｊｉｎｇ Ｋｕａｎｇｓｈｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 画像処理方法、画像処理装置および電子機器
CN110717888A (zh) * 2019-09-06 2020-01-21 天津大学 一种血管内光学相干层析成像血管壁内轮廓自动识别方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US20030174890A1 (en) * 2002-03-14 2003-09-18 Masaki Yamauchi Image processing device and ultrasonic diagnostic device
JP3862620B2 (ja) * 2002-06-28 2006-12-27 キヤノン株式会社 画像処理装置、及び画像処理方法
US7653235B2 (en) * 2005-10-27 2010-01-26 Honeywell International Inc. Surface anomaly detection system and method
US20080316364A1 (en) * 2007-06-25 2008-12-25 The Hong Kong University Of Science And Technology Rate distortion optimization for video denoising
US8031963B2 (en) * 2008-04-09 2011-10-04 Eyep Inc. Noise filter
CN107633486B (zh) 2017-08-14 2021-04-02 成都大学 基于三维全卷积神经网络的结构磁共振图像去噪方法
US10467501B2 (en) * 2017-10-30 2019-11-05 Sap Se Computer vision architecture with machine learned image recognition models
CN108765319B (zh) 2018-05-09 2020-08-14 大连理工大学 一种基于生成对抗网络的图像去噪方法
US11234666B2 (en) * 2018-05-31 2022-02-01 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET)
CN109035163B (zh) 2018-07-09 2022-02-15 南京信息工程大学 一种基于深度学习的自适应图像去噪方法
US11030487B2 (en) * 2018-09-05 2021-06-08 Vanderbilt University Noise-robust neural networks and methods thereof
US11415656B2 (en) * 2019-01-30 2022-08-16 Canon Medical Systems Corporation Medical information processing apparatus, magnetic resonance imaging apparatus, and medical information processing method
KR20190119548A (ko) * 2019-10-02 2019-10-22 엘지전자 주식회사 이미지 노이즈 처리방법 및 처리장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186888A (zh) * 2011-12-30 2013-07-03 Ge医疗系统环球技术有限公司 一种去除ct图像噪声的方法及装置
CN107818300A (zh) * 2017-10-18 2018-03-20 河海大学 一种基于隐马尔科夫模型的步态去噪方法
CN108876734A (zh) * 2018-05-31 2018-11-23 沈阳东软医疗系统有限公司 图像去噪方法、装置、电子设备及存储介质
JP2019212275A (ja) * 2018-06-07 2019-12-12 北京曠視科技有限公司Ｂｅｉｊｉｎｇ Ｋｕａｎｇｓｈｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 画像処理方法、画像処理装置および電子機器
CN110717888A (zh) * 2019-09-06 2020-01-21 天津大学 一种血管内光学相干层析成像血管壁内轮廓自动识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bo Fu等.Patch-based contour prior image denoising for salt and pepper noise.《Multimedia Tools and Applications》.2018,1-11. *
付仲凯等.一种新的非下采样Contourlet域图像去噪算法.《计算机科学》.2009,第36卷286-289. *

Also Published As

Publication number Publication date
US11645736B2 (en) 2023-05-09
CN111353958A (zh) 2020-06-30
US20210272243A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
CN111353958B (zh) 图像处理方法、装置及系统
JP5315157B2 (ja) 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
EP2533197B1 (en) Parameter-less noise reduction filter
US10672108B2 (en) Image processing apparatus, image processing method, and image processing program
US10832381B2 (en) Processing at least one X-ray image
EP2579207A2 (en) Method of noise reduction in digital x-ray frames series
US9619893B2 (en) Body motion detection device and method
US9922409B2 (en) Edge emphasis in processing images based on radiation images
US20160019678A1 (en) Real-time image enhancement for x-ray imagers
US11935160B2 (en) Method of generating an enhanced tomographic image of an object
Iwasokun et al. Image enhancement methods: a review
US9595116B2 (en) Body motion detection device and method
JP2023174512A (ja) 放射線撮影により獲得された映像に含まれているノイズを低減するための映像処理方法および装置
CN111050648B (zh) 放射线摄影装置
CN109813259B (zh) 高动态x射线成像方法、存储介质和装置
KR102492949B1 (ko) 의료영상의 처리장치 및 처리방법
JP5855210B2 (ja) 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
Babacan et al. Variational Bayesian Super-Resolution Reconstruction
CN111091516B (zh) 一种基于人工智能的抗散射光栅方法及装置
Harizanov et al. Restoration of Low-dose CT Radiographic Images
Zheng et al. Double regularized Bayesian estimation for blur identification in video sequences
Jin et al. Improved total variation based CT reconstruction algorithm with noise estimation
JPWO2020012520A1 (ja) 医用ｘ線画像処理装置およびｘ線画像撮影装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant