CN110210524B - 一种图像增强模型的训练方法、图像增强方法及装置 - Google Patents

一种图像增强模型的训练方法、图像增强方法及装置 Download PDF

Info

Publication number
CN110210524B
CN110210524B CN201910395631.0A CN201910395631A CN110210524B CN 110210524 B CN110210524 B CN 110210524B CN 201910395631 A CN201910395631 A CN 201910395631A CN 110210524 B CN110210524 B CN 110210524B
Authority
CN
China
Prior art keywords
image
image enhancement
model
network structure
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910395631.0A
Other languages
English (en)
Other versions
CN110210524A (zh
Inventor
黄峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Medical Systems Co Ltd
Original Assignee
Neusoft Medical Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Medical Systems Co Ltd filed Critical Neusoft Medical Systems Co Ltd
Priority to CN201910395631.0A priority Critical patent/CN110210524B/zh
Publication of CN110210524A publication Critical patent/CN110210524A/zh
Priority to US15/930,047 priority patent/US11151414B2/en
Application granted granted Critical
Publication of CN110210524B publication Critical patent/CN110210524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像增强模型的训练方法、图像增强方法及装置，其中，所述图像增强模型的训练方法包括：对金标准图像分别提取至少一个约束特征参数，获得与每个所述约束特征参数对应的特征图像；分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型；根据所有所述网络结构模型，确定所述图像增强模型的损失函数；根据所述损失函数，建立所述图像增强模型。本公开对损失函数进行建模，在解决了图像增强过程中的过平滑、过模糊等问题的同时，加快了图像增强处理的速度。

Description

一种图像增强模型的训练方法、图像增强方法及装置
技术领域
本公开涉及图像处理领域，尤其涉及一种图像增强模型的训练方法、图像增强方法及装置。
背景技术
神经网络作为一种数据表达方式，理论上可以逼近任何函数，其训练的本质是通过一种学习算法，找到每一层对应的权重，确保神经网络的输出能够拟合所有的训练输入，通常采用损失函数来量化这一目标。
相关技术中会采用人为设计损失函数的某些特征参数的方式来进行图像增强处理，达到图像去噪、去模糊、图像复原等图像增强效果。
人为进行设计时，如果将损失函数设置的比较简单，则可以采用解析的方式表达该损失函数，但是这样的损失函数绝大部分会平等对待图像中的每一个像素点，考虑的一般只是像素点的灰度信息，并没有考虑其与邻域像素的关系以及所处位置的信息，会造成最终图像的过模糊、过平滑等问题。
可是一旦人为设计的损失函数比较复杂，那么该损失函数很难用解析的形式表示。即使能够得到解析表达式，也很难对其进行求导。
另外，考虑到大部分的损失函数仅仅包括一部分或者两部分的特征参数，并不能全面的体现需要约束的多个特性参数，如果增加损失函数的组成部分，一方面会增加算法的运行时间，另一方面则会造成损失函数复杂所带来的上述问题。
发明内容
有鉴于此，本公开提供了一种图像增强模型的训练方法、图像增强方法及装置，以解决相关技术中的不足。
根据本公开实施例的第一方面，提供一种图像增强模型的训练方法，所述方法包括：
对金标准图像分别提取至少一个约束特征参数，获得与每个所述约束特征参数对应的特征图像；
分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型；
根据所有所述网络结构模型，确定所述图像增强模型的损失函数；
根据所述损失函数，建立所述图像增强模型。
可选地，所述约束特征参数包括：
索贝尔sobel特征参数、普鲁伊特prewitt特征参数、轮廓波变换特征参数、梯度特征参数或所述网络结构模型中目标层的特征参数；
其中，所述目标层的所述特征参数优于其他层的所述特征参数。
可选地，所述分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型，包括：
将所述金标准图像作为输入图像，且将每个所述特征图像分别作为标签label图像，基于深度学习分别训练得到与每个所述特征图像对应的CNN的所述网络结构模型。
可选地，所述根据所有所述网络结构模型，确定所述图像增强模型的损失函数，包括：
分别确定每个所述网络结构模型的权重值；
将每个所述网络结构模型与各自对应的所述权重值相乘后的和值，作为所述图像增强模型的所述损失函数。
可选地，所述分别确定每个所述网络结构模型的权重值，包括：
根据每个所述网络结构模型对应的数量级和偏重程度，分别确定每个所述网络结构模型的权重值；其中，所有所述网络结构模型所对应的数量级与各自相应的权重值所对应的数量级相乘后，得到的目标数量级相同，所述权重值的数值与所述偏重程度成正比。
根据本公开实施例的第二方面，提供一种图像增强方法，所述方法包括：
将待增强图像输入预先建立的图像增强模型，得到增强后的目标图像；其中，所述图像增强模型是采用第一方面所述的方法进行训练后得到的模型。
可选地，所述将待增强图像输入预先建立的图像增强模型，得到增强后的目标图像，包括：
将待增强图像输入预先建立的图像增强模型后，采用优化算法或深度学习算法进行求解，得到增强后的目标图像。
根据本公开实施例的第三方面，提供一种图像增强模型的训练装置，所述装置包括：
特征参数提取模块，被配置为对金标准图像分别提取至少一个约束特征参数，获得与每个所述约束特征参数对应的特征图像；
训练模块，被配置为分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型；
损失函数确定模块，被配置为根据所有所述网络结构模型，确定所述图像增强模型的损失函数；
模型建立模块，被配置为根据所述损失函数，建立所述图像增强模型。
可选地，所述约束特征参数包括：
索贝尔sobel特征参数、普鲁伊特prewitt特征参数、轮廓波变换特征参数、梯度特征参数或所述网络结构模型中目标层的特征参数；
其中，所述目标层的所述特征参数优于其他层的所述特征参数。
可选地，所述训练模块包括：
训练子模块，被配置为将所述金标准图像作为输入图像，且将每个所述特征图像分别作为标签label图像，基于深度学习分别训练得到与每个所述特征图像对应的CNN的所述网络结构模型。
可选地，所述损失函数确定模块包括：
权重值确定子模块，被配置为分别确定每个所述网络结构模型的权重值；
损失函数确定子模块，被配置为将每个所述网络结构模型与各自对应的所述权重值相乘后的和值，作为所述图像增强模型的所述损失函数。
可选地，所述权重值确定子模块包括：
权重值确定单元，被配置为根据每个所述网络结构模型对应的数量级和偏重程度，分别确定每个所述网络结构模型的权重值；其中，所有所述网络结构模型所对应的数量级与各自相应的权重值所对应的数量级相乘后，得到的目标数量级相同，所述权重值的数值与所述偏重程度成正比。
根据本公开实施例的第四方面，提供一种图像增强装置，所述装置包括：
图像增强模块，被配置为将待增强图像输入预先建立的图像增强模型，得到增强后的目标图像；其中，所述图像增强模型是采用第三方面所述的装置得到的模型。
可选地，所述图像增强模块包括：
图像增强子模块，被配置为将待增强图像输入预先建立的图像增强模型后，采用优化算法或深度学习算法进行求解，得到增强后的目标图像。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例中可以针对每个约束特征参数，分别训练得到对应的CNN的网络结构模型，从而基于所有所述网络结构模型，得到图像增强模型的损失函数，最终建立图像增强模型。通过上述过程，不再采用解析方式表达损失函数，而是对损失函数进行建模，在解决了图像增强过程中的过平滑、过模糊等问题的同时，加快了图像增强处理的速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1A至图1B是相关技术中结合先验知识进行图像增强的效果示意图；
图2是相关技术中图像增强模型的训练场景示意图；
图3是本公开根据一示例性实施例示出的图像增强模型的训练方法流程图；
图4A至4B是本公开根据一示例性实施例示出的图像增强模型的训练场景下特征图的示意图；
图5是本公开根据一示例性实施例示出的一种网络结构模型的训练场景示意图；
图6是本公开根据一示例性实施例示出的另一种图像增强模型的训练方法流程图；
图7是本公开根据一示例性实施例示出的一种图像增强模型示意图；
图8A至8C是本公开根据一示例性实施例示出的图像增强效果示意图；
图9是本公开根据一示例性实施例示出的一种图像增强模型的训练装置框图；
图10是本公开根据一示例性实施例示出的另一种图像增强模型的训练装置框图；
图11是本公开根据一示例性实施例示出的另一种图像增强模型的训练装置框图；
图12是本公开根据一示例性实施例示出的另一种图像增强模型的训练装置框图；
图13是本公开根据一示例性实施例示出的一种图像增强装置框图；
图14是本公开根据一示例性实施例示出的另一种图像增强装置框图；
图15是本公开根据一示例性实施例示出的一种用于图像增强装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开运行的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所运行的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中运行的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所运行的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在介绍本公开实施例提供的图像增强模型的训练方法之前，先介绍一下相关技术中的图像增强处理过程。
图像增强(Image Enhancement)是一系列的逆推导问题，包括图像去噪(Denoising)，伪影去除(Artifact Reduction)，去模糊(De-blur)，图像复原(Recovery)等范畴，属于由果求因的过程。目的是寻找到一组最优参数，来表征直接观察到的系统，在很多的科学领域和工程领域都有所涉及，如公式1所示。
g＝T(ftrue+δg)                          公式1
公式1是需要从数据g∈Y中重构出信号ftrue∈X，X、Y表示向量空间，δg为噪声，存在映射关系X→Y能够对于加入了噪声的给定信号建模，从而实现空间的转换。
目前是采用先验知识来约束这类逆问题。先验知识可以从众多的解空间中通过约束图像的独特特征，从而缩小解空间的范围，有利于最终找到全局的最优解。因此，在这个过程中，设计一个强有力的先验知识正则化项是至关重要的一步。
通常情况下，图像增强的先验知识是根据图像特点以及经验，人为设计的特征。例如，自然图像经过小波变换后大部分都表现出稀疏性以及分段平滑，此时先验知识就是约束小波系数或者梯度空间具有稀疏性。虽然这些先验知识可以用于图像增强领域，但是，如果基于先验知识构造损失函数，进而对图像进行增强处理，并不能对损失函数的最优解进行约束，很容易造成处理后的图像过平滑的问题。例如图1A所示的图像经过图像增强处理后得到图1B的增强图像，但是图1B的增强图像存在图像过平滑的问题。相关技术中，如果为了解决采用先验知识构造损失函数时，图像过平滑的问题，可以采用人为设计突出损失函数的某些特征参数的方式，来达到不同的图像增强效果。
例如要达到突出图像边界的图像增强效果，在设计损失函数时可对L1范数进行加权，如公式2所示。
Figure BDA0002058071980000071
其中，α表示权重系数值，需要人为手工设定，对于梯度较大的边界区域，权重设为较大值。反之，对于平坦区域，权重设为较小值。x是输入图像，y是金标准图像，A是算法对应的矩阵，例如当前算法为图像增强时，A为图像增强矩阵；当前算法为图像去噪时，A为图像去噪矩阵。1代表L1范数，argmin是使目标函数取最小值的变量值。
上述算法的结构如图2所示，将网络结构Networkinverse计算得到的预测图像，与待增强图像对应的高质量的金标准图像同时代入人为设计的损失函数中，计算得到误差值(error)，并将此误差值反向逆推，调整Networkinverse中每一层相应的参数，以便达到减小误差的目的。
将待增强图像输入到训练完成的Networkinverse中，前向传播计算得到网络预测值，即为增强后的图像。
但是上述方式中涉及到的损失函数要么过于简单，会造成得到的图像过模糊、过平滑等问题，要么损失函数比较复杂，无法通过解析形式表达，造成求导困难，且不能全面体现多个约束特征。
为了解决上述问题，本公开实施例提供了一种图像增强模型的训练方法。如图3所示，图3是根据一示例性实施例示出的一种图像增强模型的训练方法，包括以下步骤：
在步骤101中，对金标准图像分别提取至少一个约束特征参数，获得与每个所述约束特征参数对应的特征图像；
在步骤102中，分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型；
在步骤103中，根据所有所述网络结构模型，确定所述图像增强模型的损失函数；
在步骤104中，根据所述损失函数，建立所述图像增强模型。
上述实施例中，可以针对每个约束特征参数，分别训练得到对应的CNN的网络结构模型，从而基于所有所述网络结构模型，得到图像增强模型的损失函数，最终建立图像增强模型。通过上述过程，不再采用解析方式表达损失函数，而是对损失函数进行建模，在解决了图像增强过程中的过平滑、过模糊等问题的同时，加快了图像增强处理的速度。
针对上述步骤101，可以采用相关技术，对金标准图像分别提取至少一个约束特征参数。本公开实施例中的金标准图像是指对应于输入图像的高质量图像。例如做图像去噪，那么深度学习网络的输入就是具有噪声的图像Img，它的金标准图像是指，Img对应的高质量图像，即没有噪声的Img图像。此时输入图像和金标准图像的shape(形状)是一样的。本公开实施例中涉及到的金标准图像包括但不限于二维图像。
其中，所述约束特征参数可以是经典算子特征参数，例如索贝尔sobel特征参数或普鲁伊特prewitt特征参数。其中，Sobel算子是一个离散的一阶差分算子，用来计算图像亮度函数的一阶梯度之近似值。Prewitt算子是一种一阶微分算子的边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用。
所述约束特征参数还可以是轮廓波变换特征参数，轮廓波变换是一种多分辨率、局部性、多方向的二维图像表示方法。它将多尺度分析和方向分析分别进行，即先使用LP(LaplacianPyra-mid，拉普拉斯金字塔)变换对图像进行多尺度分解获得奇异点，接着由DFB(Directional Filter Bank，方向滤波器)将分布在同方向的奇异点合成一个系数，以类似于轮廓段的基函数来逼近原图像。其基函数支撑区间的长度比随尺度变化而变化，能以接近最优的方式描述图像边缘。轮廓波变换是直接在离散域中定义，再将离散域和连续域联系起来，在连续域中讨论其逼近性。
所述约束特征参数还可以是梯度特征参数。对于图像来说，是一个二维的离散型数集，通过推广二维连续型求函数偏导的方法，来求得图像的偏导数，即在该处的最大变化率，也就是这里的梯度特征参数。
可选地，所述约束特征参数还可以是所述网络结构模型中目标层的特征参数，所述目标层的所述特征参数优于其他层的所述特征参数。例如，在后续步骤中训练得到的网络结构模型中目标层的边缘显示特征参数优于其他层的边缘显示特征参数，则可以将该目标层的边缘显示特征参数作为所述约束特征参数。
在进行图像增强模型的训练时，可以对金标准图像分别提取上述的至少一个约束特征参数，从而获得与每个所述约束特征参数对应的特征图像。例如可以针对于图1A所示的图像相对应的金标准图像，分别提取不同的约束特征参数，从而可以得到图4A和图4B所示的特征图像，其中图4A是针对该金标准图像提取滤波特征参数所得到的特征图像，图4B是针对该金标准图像提取边缘特征参数所得到的特征图像。
针对上述步骤102，在训练网络结构模型时，可以如图5所示，将所述金标准图像作为输入图像，且将每个所述特征图像分别作为label(标签)图像，进一步地，基于深度学习来分别训练得到与每个所述特征图像对应的CNN(Convolutional Neural Networks，卷积神经网络)的所述网络结构模型。
针对上述步骤103，如图6所示，图6是在前述图3所示实施例的基础上示出的另一种图像增强模型的训练方法，步骤103可以包括以下步骤：
在步骤103-1中，分别确定每个所述网络结构模型的权重值；
本步骤中，可以根据每个所述网络结构模型对应的数量级和偏重程度，分别确定每个所述网络结构模型的权重值。其中，所述网络结构模型对应的数量级是所述网络结构模型预测结果图像灰度值的数量级，所有所述网络结构模型所对应的数量级与各自相应的权重值所对应的数量级相乘后，得到的目标数量级相同，所述权重值的数值与所述偏重程度成正比。
例如，第一个网络结构模型预测结果图像灰度值的数量级为100至500，第二个网络结构模型预测结果图像灰度值的数量级为0.1至0.5，那么为了避免在后续确定损失函数时，由于两个网络结构模型预测结果图像灰度值的数量级相差较大，导致第二个网络结构模型在损失函数中所起到的作用被第一个网络结构模型削弱，可以让第一个网络结构模型预测结果图像灰度值对应的权重值的数量级为10-2，而第二个网络结构模型对应的权重值的数量级为101，从而确保所有所述网络结构模型所对应的数量级与各自相应的权重值所对应的数量级相乘后，得到的目标数量级相同。
另外，可以根据对不同的网络结构模型的偏重程度，即对不同的约束特征参数的偏重程度来确定权重值的具体数值，例如，可以让边缘特征参数对应的权重值的具体数值大于其他约束特征参数对应的权重值的具体数值。
在步骤103-2中，将每个所述网络结构模型与各自对应的所述权重值相乘后的和值，作为所述图像增强模型的所述损失函数。
本公开实施例中，图像增强模型的损失函数Loss可以用以下公式3表示。
Figure BDA0002058071980000111
其中，Networkfi是第i个网络结构模型，ai是第i个网络结构模型对应的权重值。
针对上述步骤104，根据所述损失函数，建立图像增强模型的过程可以如图7所示。在确定了损失函数之后，可以反向传播损失函数所计算出的误差值，调整图像增强模型Networkinverse中每一层对应的参数值，从而建立所述图像增强模型。
上述实施例中，对于复杂的损失函数而言，采用本公开实施例提供的训练方式无需写出损失函数明确的解析表达式，也不需要自定义其准确的梯度计算公式，利用已有深度学习框架的自动求导功能，实现损失函数的最小化过程。另外，本公开实施例提供的训练方式可以自定义多个约束特征参数对应的网络结构模型，通过加权求和，同时将多个所述网络结构模型作为图像增强模型的损失函数的组成部分。且对众多的解空间进行全方位约束，使其更能找到符合特定任务、特定要求的最优解。
在本公开实施例中，基于上述的图像增强模型的训练方法，还提供了一种图像增强方法，包括以下步骤：
在步骤201中，将待增强图像输入预先建立的图像增强模型，得到增强后的目标图像。
其中，所述图像增强模型是采用上述的图像增强模型的训练方法得到的模型。
如图7所示，可以将待增强图像输入图像增强模型中，由于该图像增强模型每一层的参数值已经确定了，则可以按照相关技术采用优化算法或深度学习算法进行求解，可选地，可以将最优解作为增强后的目标图像。
由于在之前进行图像增强模型的损失函数的训练时，已经通过不同的约束特征参数对解空间进行了约束，例如边界增强、去模糊等，因此通过上述方式得到的目标图像同时具备上述约束特征，因此会使得目标图像的边界更清晰、分辨率更高，避免过平滑现象。
本公开实施例提供的图像增强方法是基于对损失函数进行约束的图像增强模型的，由于在图像增强模型应用阶段，损失函数已经确定，所以较经典的算法相比，测试阶段速度更快。且可以适用于任何的图像增强问题，可以加入到任何的图像逆问题求解过程中，例如图像去噪，图像去模糊，图像复原，超分辨率重建等。在解决图像逆问题时，采用结合了本发明提出的自定义损失函数的方法，对于图像中不同的位置可以给予不同权重，实现结果图像中高频信息保留的更全面，边界更加清晰。
在本公开实施例中经过实验验证，以低剂量CT图像去噪为例，当然需要指出的是本发明方法的应用领域并不局限于低剂量CT图像去噪，而是适用于任何的图像增强问题。
图8A为输入的待去噪的低剂量CT图像，图8B则是对应的金标准图像，图8C则是将图8A经过本公开实施例提供的图像增强方法后得到的目标图像。实验结果表明，本公开所得图像均匀性更好，噪声更低，同时边界的清晰程度并没有退化，即没有引入图像过平滑问题，更好的保留图像解剖结构细节，能够满足临床应用需求，具有良好的实用性。
与前述方法实施例相对应，本公开还提供了装置的实施例。
如图9所示，图9是本公开根据一示例性实施例示出的一种图像增强模型的训练装置框图，所述装置包括：
特征参数提取模块310，被配置为对金标准图像分别提取至少一个约束特征参数，获得与每个所述约束特征参数对应的特征图像；
训练模块320，被配置为分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型；
损失函数确定模块330，被配置为根据所有所述网络结构模型，确定所述图像增强模型的损失函数；
模型建立模块340，被配置为根据所述损失函数，建立所述图像增强模型。
可选地，所述约束特征参数包括：
索贝尔sobel特征参数、普鲁伊特prewitt特征参数、轮廓波变换特征参数、梯度特征参数或所述网络结构模型中目标层的特征参数；
其中，所述目标层的所述特征参数优于其他层的所述特征参数。
如图10所示，图10本公开根据一示例性实施例示出的另一种图像增强模型的训练装置框图，该实施例在前述图9实施例的基础上，所述训练模块320包括：
训练子模块321，被配置为将所述金标准图像作为输入图像，且将每个所述特征图像分别作为标签label图像，基于深度学习分别训练得到与每个所述特征图像对应的CNN的所述网络结构模型。
如图11所示，图11本公开根据一示例性实施例示出的另一种图像增强模型的训练装置框图，该实施例在前述图9实施例的基础上，所述损失函数确定模块330包括：
权重值确定子模块331，被配置为分别确定每个所述网络结构模型的权重值；
损失函数确定子模块332，被配置为将每个所述网络结构模型与各自对应的所述权重值相乘后的和值，作为所述图像增强模型的所述损失函数。
如图12所示，图12本公开根据一示例性实施例示出的另一种图像增强模型的训练装置框图，该实施例在前述图11实施例的基础上，所述权重值确定子模块331包括：
权重值确定单元3311，被配置为根据每个所述网络结构模型对应的数量级和偏重程度，分别确定每个所述网络结构模型的权重值；其中，所有所述网络结构模型所对应的数量级与各自相应的权重值所对应的数量级相乘后，得到的目标数量级相同，所述权重值的数值与所述偏重程度成正比。
如图13所示，图13是本公开根据一示例性实施例示出的一种图像增强装置框图，所述装置包括：
图像增强模块410，被配置为将待增强图像输入预先建立的图像增强模型，得到增强后的目标图像；其中，所述图像增强模型是采用权利要求8-12任一项所述的装置得到的模型。
如图14所示，图14本公开根据一示例性实施例示出的另一种图像增强装置框图，该实施例在前述图13实施例的基础上，所述图像增强模块410包括：
图像增强子模块411，被配置为将待增强图像输入预先建立的图像增强模型后，采用优化算法或深度学习算法进行求解，得到增强后的目标图像。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述图像增强模型的训练方法，尤其是对损失函数的训练方法以及图像增强方法，可以统一由图像增强设备执行，该控制设备的结构可以参见图15所示的示意图。如图15所示，控制设备可以包括处理器(processor)1510、通信接口(Communications Interface)1520、存储器(memory)1530、总线1540。处理器1510、通信接口1520、存储器1530通过总线1540完成相互间的通信。
其中，存储器1530中可以存储有图像增强模型的训练逻辑指令和图像增强逻辑指令，该存储器例如可以是非易失性存储器(non-volatile memory)。处理器1510可以调用执行存储器1530中的图像增强模型的训练逻辑指令，先进行训练，得到图像增强模型，进而执行上述图像增强方法。例如，该图像增强模型的训练逻辑指令和图像增强逻辑指令，可以是医学图像采集系统的控制软件的部分功能对应的程序，在处理器执行该指令时，控制设备可以对应的在显示界面上显示该指令对应的功能界面。
图像增强模型的训练逻辑指令和图像增强逻辑指令的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (10)

1.一种图像增强模型的训练方法，其特征在于，所述方法包括：
对金标准图像分别提取至少一个约束特征参数，获得与每个所述约束特征参数对应的特征图像；
分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型；
根据每个所述网络结构模型对应的数量级和偏重程度，分别确定每个所述网络结构模型的权重值；其中，所有所述网络结构模型所对应的数量级与各自相应的权重值所对应的数量级相乘后，得到的目标数量级相同，所述权重值的数值与所述偏重程度成正比；
将每个所述网络结构模型与各自对应的所述权重值相乘后的和值，作为所述图像增强模型的损失函数；
根据所述损失函数，建立所述图像增强模型。
2.根据权利要求1所述的方法，其特征在于，所述约束特征参数包括：
索贝尔sobel特征参数、普鲁伊特prewitt特征参数、轮廓波变换特征参数、梯度特征参数或所述网络结构模型中目标层的特征参数；
其中，所述目标层的所述特征参数优于其他层的所述特征参数。
3.根据权利要求1所述的方法，其特征在于，所述分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型，包括：
将所述金标准图像作为输入图像，且将每个所述特征图像分别作为标签label图像，基于深度学习分别训练得到与每个所述特征图像对应的CNN的所述网络结构模型。
4.一种图像增强方法，其特征在于，所述方法包括：
将待增强图像输入预先建立的图像增强模型，得到增强后的目标图像；其中，所述图像增强模型是采用权利要求1-3任一项所述的方法进行训练后得到的模型。
5.根据权利要求4所述的方法，其特征在于，所述将待增强图像输入预先建立的图像增强模型，得到增强后的目标图像，包括：
将待增强图像输入预先建立的图像增强模型后，采用优化算法或深度学习算法进行求解，得到增强后的目标图像。
6.一种图像增强模型的训练装置，其特征在于，所述装置包括：
特征参数提取模块，被配置为对金标准图像分别提取至少一个约束特征参数，获得与每个所述约束特征参数对应的特征图像；
训练模块，被配置为分别训练得到与每个所述特征图像对应的卷积神经网络CNN的网络结构模型；
损失函数确定模块，被配置为根据所有所述网络结构模型，确定所述图像增强模型的损失函数；
模型建立模块，被配置为根据所述损失函数，建立所述图像增强模型；
其中，所述损失函数确定模块包括：
权重值确定子模块，被配置为分别确定每个所述网络结构模型的权重值；
损失函数确定子模块，被配置为将每个所述网络结构模型与各自对应的所述权重值相乘后的和值，作为所述图像增强模型的所述损失函数；
其中，所述权重值确定子模块包括：
权重值确定单元，被配置为根据每个所述网络结构模型对应的数量级和偏重程度，分别确定每个所述网络结构模型的权重值；其中，所有所述网络结构模型所对应的数量级与各自相应的权重值所对应的数量级相乘后，得到的目标数量级相同，所述权重值的数值与所述偏重程度成正比。
7.根据权利要求6所述的装置，其特征在于，所述约束特征参数包括：
索贝尔sobel特征参数、普鲁伊特prewitt特征参数、轮廓波变换特征参数、梯度特征参数或所述网络结构模型中目标层的特征参数；
其中，所述目标层的所述特征参数优于其他层的所述特征参数。
8.根据权利要求6所述的装置，其特征在于，所述训练模块包括：
训练子模块，被配置为将所述金标准图像作为输入图像，且将每个所述特征图像分别作为标签label图像，基于深度学习分别训练得到与每个所述特征图像对应的CNN的所述网络结构模型。
9.一种图像增强装置，其特征在于，所述装置包括：
图像增强模块，被配置为将待增强图像输入预先建立的图像增强模型，得到增强后的目标图像；其中，所述图像增强模型是采用权利要求6-8任一项所述的装置得到的模型。
10.根据权利要求9所述的装置，其特征在于，所述图像增强模块包括：
图像增强子模块，被配置为将待增强图像输入预先建立的图像增强模型后，采用优化算法或深度学习算法进行求解，得到增强后的目标图像。
CN201910395631.0A 2019-05-13 2019-05-13 一种图像增强模型的训练方法、图像增强方法及装置 Active CN110210524B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910395631.0A CN110210524B (zh) 2019-05-13 2019-05-13 一种图像增强模型的训练方法、图像增强方法及装置
US15/930,047 US11151414B2 (en) 2019-05-13 2020-05-12 Training image enhancement model and enhancing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910395631.0A CN110210524B (zh) 2019-05-13 2019-05-13 一种图像增强模型的训练方法、图像增强方法及装置

Publications (2)

Publication Number Publication Date
CN110210524A CN110210524A (zh) 2019-09-06
CN110210524B true CN110210524B (zh) 2023-05-02

Family

ID=67785933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910395631.0A Active CN110210524B (zh) 2019-05-13 2019-05-13 一种图像增强模型的训练方法、图像增强方法及装置

Country Status (2)

Country Link
US (1) US11151414B2 (zh)
CN (1) CN110210524B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10943353B1 (en) 2019-09-11 2021-03-09 International Business Machines Corporation Handling untrainable conditions in a network architecture search
US11023783B2 (en) * 2019-09-11 2021-06-01 International Business Machines Corporation Network architecture search with global optimization
CN110991636B (zh) * 2019-11-14 2023-07-04 东软医疗系统股份有限公司 生成式对抗网络的训练方法及装置、图像增强方法及设备
CN111325695B (zh) * 2020-02-29 2023-04-07 深圳先进技术研究院 基于多剂量等级的低剂量图像增强方法、系统及存储介质
CN111709890B (zh) * 2020-06-12 2023-11-24 北京小米松果电子有限公司 一种图像增强模型的训练方法、装置及存储介质
CN114764750B (zh) * 2021-01-12 2023-08-18 四川大学 基于自适应一致性先验深度网络的图像去噪方法
CN112801536B (zh) * 2021-02-20 2024-04-30 北京金山云网络技术有限公司 图像处理方法、装置和电子设备
CN116628457B (zh) * 2023-07-26 2023-09-29 武汉华康世纪医疗股份有限公司 一种磁共振设备运行中的有害气体检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229543A (zh) * 2017-12-22 2018-06-29 中国科学院深圳先进技术研究院 图像分类模型设计方法及装置
CN108492271A (zh) * 2018-03-26 2018-09-04 中国电子科技集团公司第三十八研究所 一种融合多尺度信息的自动图像增强系统及方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109003272A (zh) * 2018-07-26 2018-12-14 北京小米移动软件有限公司 图像处理方法、装置及系统
CN109102483A (zh) * 2018-07-24 2018-12-28 厦门美图之家科技有限公司 图像增强模型训练方法、装置、电子设备及可读存储介质
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229543A (zh) * 2017-12-22 2018-06-29 中国科学院深圳先进技术研究院 图像分类模型设计方法及装置
CN108492271A (zh) * 2018-03-26 2018-09-04 中国电子科技集团公司第三十八研究所 一种融合多尺度信息的自动图像增强系统及方法
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109102483A (zh) * 2018-07-24 2018-12-28 厦门美图之家科技有限公司 图像增强模型训练方法、装置、电子设备及可读存储介质
CN109003272A (zh) * 2018-07-26 2018-12-14 北京小米移动软件有限公司 图像处理方法、装置及系统
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法

Also Published As

Publication number Publication date
CN110210524A (zh) 2019-09-06
US20200364500A1 (en) 2020-11-19
US11151414B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
CN110210524B (zh) 一种图像增强模型的训练方法、图像增强方法及装置
Min et al. Fast global image smoothing based on weighted least squares
Matakos et al. Accelerated edge-preserving image restoration without boundary artifacts
Bar et al. Deblurring of color images corrupted by impulsive noise
US10817758B2 (en) Framework for integrating deformable modeling with 3D deep neural network segmentation
Lu et al. Deep texture and structure aware filtering network for image smoothing
KR102570562B1 (ko) 영상 처리 장치 및 그 동작방법
Calatroni et al. Adaptive parameter selection for weighted-TV image reconstruction problems
Li et al. A self-learning image super-resolution method via sparse representation and non-local similarity
CN112712537A (zh) 视频时空超分辨率实现方法及装置
Jiang et al. A new nonlocal means based framework for mixed noise removal
Pham Kriging-weighted laplacian kernels for grayscale image sharpening
CN109741258B (zh) 基于重建的图像超分辨率方法
EP2232434A1 (en) Method of generating a multiscale contrast enhanced image.
EP2198402A1 (en) Method of generating a multiscale contrast enhanced image
Sun et al. A high quality single-image super-resolution algorithm based on linear Bayesian MAP estimation with sparsity prior
CN112241938A (zh) 基于光滑塔克分解与高阶张量汉克化的图像修复方法
Gong et al. Image filtering with generic geometric prior
Tu et al. Two-way recursive filtering
Ma et al. Adaptive image denoising method based on diffusion equation and deep learning
Fredj et al. Fast oriented anisotropic diffusion filter
Zheng et al. Regularization parameter selection for total variation model based on local spectral response
CN117474797B (zh) 一种多尺度互补学习的图像去噪方法及装置
Tsai et al. An improved adaptive deconvolution algorithm for single image deblurring
CN112132024B (zh) 水下目标识别网络优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant