CN112819731B - 灰度图像增强方法、装置、计算机设备及存储介质 - Google Patents
灰度图像增强方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112819731B CN112819731B CN202110298358.7A CN202110298358A CN112819731B CN 112819731 B CN112819731 B CN 112819731B CN 202110298358 A CN202110298358 A CN 202110298358A CN 112819731 B CN112819731 B CN 112819731B
- Authority
- CN
- China
- Prior art keywords
- image
- matching network
- network model
- gray level
- random noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000009826 distribution Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000003416 augmentation Effects 0.000 claims abstract description 17
- 230000003190 augmentative effect Effects 0.000 claims abstract description 10
- 230000008447 perception Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 230000001629 suppression Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种灰度图像增强方法、装置、计算机设备及存储介质。该方法包括：获取训练图像集合x1，并对x1进行图像增广，得到增广图像集合{x2,x3,…xp}；构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。该方法拓宽了图像处理的范围，使目标的灰度分布得到很好的分离，保证生成的增强图像在灰度分布上具有良好的质量。
Description
技术领域
本发明实施例涉及图像增强领域，尤其涉及一种灰度图像增强方法、装置、计算机设备及存储介质。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
图像增强是有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。在医学成像、遥感成像、人物摄影等领域，图像增强技术都有着广泛的应用。图像增强同时可以作为目标识别、目标跟踪、特征点匹配、图像融合、超分辨率重构等图像处理算法的预处理算法。
图像增强方法主要分为两大类，空间域处理方法和频域处理方法。空间域图像增强是直接对图像中的像素进行处理，主要分为点处理（包括灰度变换和直方图修正法）和区域处理（包括平滑和锐化处理）。频域图像增强方法是建立在图像傅里叶变化基础上的，将原来的图像空间中的图像以某种形式转换到其他空间中，然后利用该空间的特有性质进行图像处理，最后再转换到原来的图像空间中；主要方法有陷波滤波、高通滤波、低通滤波和同态滤波。
灰度分离是图像增强的重要手段。一张图像中，我们称感兴趣的区域（如电子计算机断层扫描（Computed Tomography，CT）图像中的病灶区域）为目标，非目标区域称为背景。绘制目标和背景的灰度分布直方图，可以观察到二者有交叉重叠的部分。灰度分离是指在不改变图像整体结构和细节的同时，只改变目标和背景的灰度值，使二者的重叠部分变小。该过程增强了目标和背景之间的区分性。
随着科学技术的发展，对图像质量的要求也越来越高，单一的增强处理方法已经无法满足现在的需求，且在具体应用中仍有许多不足，例如计算效率低、可处理的图像范围较窄、处理效果欠佳、处理后图像质量不高等。
发明内容
本发明提供一种灰度图像增强方法、装置、计算机设备及存储介质，以解决现有技术中存在的上述问题。
第一方面，本发明实施例提供了一种灰度图像增强方法。该方法包括：
S10：获取训练图像集合x1，并对x1进行图像增广，得到(P-1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；
S20：构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；
S30：利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；
S40：获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。
在一实施例中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图像；所述图像匹配网络模型迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，并将训练后的随机噪声图像作为所述增强后的灰度图像。
在一实施例中，所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络，其中，所述上分支网络为所述分布匹配网络，计算所述随机噪声图像和二值模板图像之间的感知差异损失；所述下分支网络为所述结构匹配网络，计算所述随机噪声图像和灰度图像之间的结构差异损失。
在一实施例中，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失使用梯度下降法迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，直至训练后的随机噪声图像符合预定的条件，停止迭代并将当前训练后的随机噪声图像作为所述增强后的灰度图像。
在一实施例中，所述预定的条件为：所述训练后的随机噪声图像的噪声抑制增益比大于给定的阈值。
在一实施例中，所述分布匹配网络和结构匹配网络采用相同的卷积神经网VGG16模型，并以在ImageNet数据集上预训练的VGG16模型作为初始化网络权重，设置相同的初始学习率。
在一实施例中，S30包括：
S310：依次将x1中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合y1；
S320：对于训练图像集合xj，如果1<j≤P，则依次将xj中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合yj；
S330：通过y1和yj计算交叉熵损失，反向传播优化所述图像匹配网络模型的网络权重；
S340：j加1，重复执行S320、S330，直至所述图像匹配网络模型收敛。
第二方面，本发明实施例还提供了一种灰度图像增强装置。该装置包括：
训练图像获取模块，用于获取训练图像集合x1，并对x1进行图像增广，得到(P-1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；
网络构建模块，用于构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；
网络训练模块，用于利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；
图像增强模块，用于获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。
第三方面，本发明实施例还提供了一种计算机设备。该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明实施例提供的任一灰度图像增强方法。
第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机可读的程序，该程序被执行时实现本发明实施例提供的任一灰度图像增强方法。
本发明的有益效果为：提出了一个基于二值模板匹配的通用深度框架，拓宽了图像处理的范围。二值模板匹配模块是基于包含分布匹配分支和结构匹配分支的双分支网络开发的。在分布匹配分支中，引入二值模板和感知差异损失，将原始图像匹配到一个新的区域中，使目标的灰度分布得到很好的分离。在训练过程中，提出了一种新的基于噪声抑制增益比（Noise suppression gain ratio，NSGR）的图像质量评价方法，以保证生成的增强图像在灰度分布上具有良好的质量。
附图说明
图1为本发明实施例提供的一种灰度图像增强方法的流程图。
图2为本发明实施例提供的一种通过训练好的图像匹配模块进行灰度图像增强的流程图。
图3为本发明实施例提供的一种灰度图像增强装置的结构示意图。
图4为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例提供的一种灰度图像增强方法的流程图。该方法将深度学习方法和图像增强方法结合，包括步骤S10-S40。
S10：获取训练图像集合x1，对x1进行图像增广，得到(P-1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数。
S20：构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强。
S30：利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练。
S40：获取待增强的灰度图像，将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。
在本发明实施例中，x1中的每一幅图像均为灰度图像，像素值在[0,255]闭区间内。在S10中，包括图像预处理（S110）和图像增广（S120）两个过程。
S110：获取x1后，在对x1进行图像增广前，采用归一化对x1中的每一幅图像进行预处理。可以通过归一化将图像的像素值变换到[0,1]闭区间内，例如，将图像的每一个像素值除以255。采用归一化方式对输入图像进行预处理，可以防止在网络训练过程中出现梯度爆炸的现象。
S120：对预处理后的x1进行图像增广，得到(P-1)个增广图像集合{x2,x3,…xp}。具体地，增广操作包括：水平翻转、向左或向右旋转5°、裁剪、局部扭曲、加入随机高斯噪声。对于每一幅待增广图像，顺序地进行上述所有的增广操作。对于每一个增广操作，预先设置一个随机值，当随机值大于0.5时，则执行该增广操作，否则跳过，判断下一个增广操作是否执行。通过随机进行水平翻转、向左或向右旋转5°、裁剪、局部扭曲、噪声等增广方式，可以增加图像数量，扩大数据集，其中，局部扭曲和噪声方法还可以增加数据的多样性。
在本发明实施例中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图像；通过所述图像匹配网络模型，可以迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，并将训练后的随机噪声图像作为所述增强后的灰度图像。
在本发明实施例中，所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络，其中，所述上分支网络为所述分布匹配网络，可以计算所述随机噪声图像和二值模板图像之间的感知差异损失；所述下分支网络为所述结构匹配网络，可以计算所述随机噪声图像和灰度图像之间的结构差异损失。
在本发明实施例中，所述图像匹配网络模型可以将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失，使用梯度下降法迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，直至训练后的随机噪声图像符合预定的条件，停止迭代并将当前训练后的随机噪声图像作为所述增强后的灰度图像。增强后的灰度图像具有与灰度图像（即原始图像）相似的对象内容和与二值模板图像相似的易于分离的灰度分布。
在本发明实施例中，所述预定的条件为：所述训练后的随机噪声图像的噪声抑制增益比大于给定的阈值。
在本发明实施例中，所述分布匹配网络和结构匹配网络采用相同的卷积神经网（CNN）VGG16模型，并以在ImageNet数据集上预训练的VGG16模型作为初始化网络权重，设置相同的初始学习率。
在本发明实施例中，S20包括步骤S210-S230。
S210：构建图像匹配模块。图像匹配模块由两个分支构成，上分支为分布匹配模块，下分支为结构匹配模块。这里的“分布匹配”指“灰度分布匹配”。分布匹配模块进行图像像素的二值匹配，使增强后的图像与二值模板图像具有相似的灰度分布，即我们希望的灰度分布。结构匹配模块重建与原始图像相同的对象内容。二者使用相同的卷积神经网络中的VGG16网络模型，共享参数设置及权重。CNN包括13个卷积层，全部使用3x3的卷积和2x2的平均池化层。使用在ImageNet数据集上预训练的VGG16模型作为网络模型的初始化权重。此处的参数设置具体指学习率的设置，初始学习率为1.0e-3，然后使用离散下降方法，随着迭代次数的增加，减小学习率。
对于一副灰度图像，首先使用区域生长的方法对灰度图像进行粗分割，得到粗糙的二值模板图像。其中，二值模板图像中目标区域的灰度值为255，背景区域的灰度值为0，在灰度直方图中，目标与背景的灰度分布没有重叠交叉部分，这样的灰度分布是我们期待的。然后，创建与灰度图像尺寸相同的随机噪声图像。将灰度图像、二值模板图像和随机噪声图像输入图像匹配模块，迭代优化随机噪声图像，改变随机噪声图像的像素值，使随机噪声图像成为最终的新的增强图像。
具体来说，将灰度图像X输入到结构匹配模块进行特征提取，
表示VGG16模型中第l个卷积层的第i个卷积核的输出特征。将原始随机噪声图像输入分布匹配模块，同结构匹配模块一样进行特征提取。使用感知损失函数计算感知差异损失，使用结构差异损失函数计算结构差异损失，加权计算总损失函数。根据总损失，迭代增强随机噪声图像。
S220：基于感知差异最小化和结构差异最小化设计结构差异损失函数。S220包括步骤S221-S223。
S221：设计感知差异损失。
为了使图像匹配网络模型中生成的增强后的图像与原始灰度图像在高层语义信息上相似，即内容和全局结构上相似，将增强后的图像与原始灰度图像分别与CNN的卷积核卷积后得到的特征图作比较。图像经过卷积后会丢失细节部分和高频部分，因此增强后的图像与原始图像不会完全匹配，只是在感知上相似。感知差异性计算如下：
其中，k表示特征图的像素值的个数，即特征图的长乘宽的值，
表示第l个卷积层的第i个卷积核的第k个输出特征值，
表示第l个卷积层的第i个和第j个卷积核的感知。
G的匹配等价于一个特定的最大平均差异过程。因此，感知信息在本质上是由CNN中特征图的分布来表示的，感知传递可以通过分布对齐来实现。具体为，对特征图中的每一个元素求内积，求与位置信息无关的一种相关性。
为了增强感知差异性，在多个卷积层的输出特征上计算感知差异性，加权融合后为总的感知差异性：
其中，
表示原始灰度图像，
表示二值模板图像，
表示X在第l个卷积层的第i个和第j个卷积核的感知， 
表示图像T在第l个卷积层的第i个和第j个卷积核的感知，Nl表示第l个卷积层的卷积核个数，kl表示第l个卷积层输出特征图的像素值的个数，El表示第l层的感知差异性。
则感知差异约束为：
其中，γl是El的相加权重。
CNN的卷积操作是一个幼小的局部特征抽取操作，不同层的卷积操作能够抽取不同层次的特征信息，如低层次描述小范围的边角、曲线，中层次描述方块、螺旋，高层次描述更加抽象的特征。S221中，在计算感知差异时，使用不同层的特征作为感知参考，可以获得不同层次的特征感知。
S222：设计结构差异损失。
结构匹配部分采用传统的特征相似性，计算不同层特征间的欧氏距离作为结构差异损失：
其中，
表示原始灰度图像x在第l个卷积层的第i个卷积核的第k个输出特征值，
表示二值模板图像T在第l个卷积层的第i个卷积核的第k个输出特征值。
图像的结构主要指其宏观架构和轮廓，而CCN的层数越深越能提取图像中全局、抽象的信息。因此，在计算结构差异损失时，仅使用神经网络中高层的输出特征作为结构表示的参考。
S223：图像匹配网络模型总损失函数为：
其中，E表示总损失，LP表示感知差异损失，LR表示结构差异损失，α表示感知差异性损失的权重，β表示结构差异性损失的权重。
S230：生成图像质量评价。
为了对增强后的图像的灰度分布质量进行评估，使用NSGR的评估方式。具体地，通过迭代过程生成新图像，每次迭代生成质量不同的图像。用NSGR来测量当前图像灰度分布的改善情况，并确定当前图像是否为最终图像。如果当前图像的NSGR大于给定的阈值，则停止迭代，将当前图像视为最终图像。
一幅质量好的图像应该具有均匀的灰度分布，即像素点在局部区域的像素值的噪声应该尽可能的小。因此，计算图像的噪声抑制性来衡量局部区域内像素的噪声，如下所示：
其中，对于一副图像X被划分为m×m的E个局部区域，
和
分别是局部区域f的中心点的像素值和其他点的像素值。当LS值比较小时，说明该局部区域的像素噪声小，产生了较好的分布。
噪声抑制增益比计算方式如下：
其中，xo表示每次迭代中的原始图像，xc表示每次迭代中的生成图像。
在本发明实施例中，对于一张待增强的图像，联合它对应的随机噪声图像和二值模板图像，一起输入到图像匹配网络模型后，图像匹配网络模型根据总损失优化随机噪声图像，得到第一张优化的噪声图像；然后将第一张优化的随机噪声图像作为新的随机噪声图像，再一次联合待增强的图像及其二值模板图像，一起输入到图像匹配网络模型中，图像匹配网络模型根据总损失第二次优化随机噪声图像，得到第二张优化的随机噪声图像；然后再将第二张优化的随机噪声图像作为新的随机噪声图像，联合待增强的图像及其二值模板图像，一起输入到图像匹配网络模型…如此循环迭代，直到得到的随机噪声图像满足质量评价要求。在迭代优化随机噪声图像的过程中，冻结图像匹配网络模型的权重，不跟随迭代过程改变，不断迭代优化随机噪声图像即可。
在本发明实施例中，S30包括步骤S310-S340。
S310：依次将x1中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合y1。
S320：对于训练图像集合xj，如果1<j≤P，则依次将xj中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合yj。
S330：通过y1和yj计算交叉熵损失，反向传播优化所述图像匹配网络模型的网络权重。
S340：j加1，重复执行S320、S330，直至所述图像匹配网络模型收敛。
经过以上对图像匹配网络模型的训练过程，优化后的网络权重可以保存下来用于其他所有的待增强图像。
在本发明实施例中，图2为本发明实施例提供的一种通过训练好的图像匹配模块进行灰度图像增强的流程图。参照图2，S40包括步骤S410-S430。
S410：获取待增强的图像，对待增强的图像进行预处理。
S420：生成待增强的图像对应的随机噪声图像和二值模板图像。
S430：将待增强的图像、及其随机噪声图像和二值模板图像同时输入到训练好的图像匹配网络模型中，在双分支网络中，同时进行分布匹配和结构匹配。
经过训练好的模型后，输入的随机噪声图像被增强为具有与待增强图像相同的对象内容和与二值模板图像相似的灰度分布的新图像。
本发明实施例提出的灰度图像增强方法，通过引入二值模板，来指导生成新的理想的具有灰度分布均匀特性的图像。在本方法中，每一张图像都被匹配到一个新的目标域中，新的目标域和背景之间的灰度分布可以被很好的分离出来，降低了增强的难度。在随机噪声图像训练过程中，采用基于NSGR的图像质量评价方法，以更有效地获得最终图像，保证了生成的图像具有更可分离的灰度分布，并提供了自动迭代停止准则，进一步提高了训练效率。
实施例二
图3是本发明实施例提供的一种灰度图像增强装置的结构示意图。该装置用于实现实施例一提供的灰度图像增强方法，包括训练图像获取模块510、网络构建模块520、网络训练模块530和图像增强模块540。
训练图像获取模块510用于获取训练图像集合x1，并对x1进行图像增广，得到(P-1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数。
网络构建模块520用于构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强。
网络训练模块530用于利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练。
图像增强模块540用于获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。
在本发明实施例中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图像；所述图像匹配网络模型可以迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，并将训练后的随机噪声图像作为所述增强后的灰度图像。
在本发明实施例中，所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络；所述上分支网络为所述分布匹配网络，计算所述随机噪声图像和二值模板图像之间的感知差异损失；所述下分支网络为所述结构匹配网络，计算所述随机噪声图像和灰度图像之间的结构差异损失。
在本发明实施例中，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失使用梯度下降法迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，直至训练后的随机噪声图像符合预定的条件。当训练后的随机噪声图像符合预定条件时，图像匹配网络模型停止迭代，并将当前训练后的随机噪声图像作为所述增强后的灰度图像。
在本发明实施例中，所述预定的条件为：所述训练后的随机噪声图像的噪声抑制增益比大于给定的阈值。
在本发明实施例中，所述分布匹配网络和结构匹配网络采用相同的卷积神经网VGG16模型，并以在ImageNet数据集上预训练的VGG16模型作为初始化网络权重，设置相同的初始学习率。
本发明实施例中，网络训练模块530是用于执行步骤S310-S350。
S310：依次将x1中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合y1。
S320：对于训练图像集合xj，如果1<j≤P，则依次将xj中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合yj。
S330：通过y1和yj计算交叉熵损失，反向传播优化所述图像匹配网络模型的网络权重。
S340：j加1，重复执行S320、S330，直至所述图像匹配网络模型收敛。
本发明实施例提出的灰度图像增强装置，通过引入二值模板，来指导生成新的理想的具有灰度分布均匀特性的图像。通过该装置，每一张图像都被匹配到一个新的目标域中，新的目标域和背景之间的灰度分布可以被很好的分离出来，降低了增强的难度。在随机噪声图像训练过程中，采用基于NSGR的图像质量评价方法，以更有效地获得最终图像。保证了生成的图像具有更可分离的灰度分布，并提供了自动迭代停止准则，进一步提高了训练效率。
本发明实施例的灰度图像增强装置与实施例一中的灰度图像增强方法具有相同的技术原理和有益效果。未在本实施例中详尽描述的技术细节，请参照实施例一中的灰度图像增强方法。
值得注意的是，上述装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例三
图4为本发明实施例提供的一种计算机设备的结构示意图。如图4所示，该设备包括处理器610和存储器620。处理器610的数量可以是一个或多个，图4中以一个处理器610为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的灰度图像增强方法的程序指令/模块。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，实现上述灰度图像增强方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例四
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序：
S10：获取训练图像集合x1，并对x1进行图像增广，得到(P-1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；
S20：构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；
S30：利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；
S40：获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像。
当然，本发明实施例所提供的存储介质，其存储的计算机可读程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的灰度图像方法中的相关操作。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种灰度图像增强方法，其特征在于，包括：
S10：获取训练图像集合x1，并对x1进行图像增广，得到(P-1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；
S20：构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；
S30：利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；
S40：获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像；
其中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图像；
所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络；
所述上分支网络为所述分布匹配网络，计算所述随机噪声图像和二值模板图像之间的感知差异损失；
所述下分支网络为所述结构匹配网络，计算所述随机噪声图像和灰度图像之间的结构差异损失；
所述灰度图像、所述二值模板图像和所述随机噪声图像输入所述图像匹配模型后，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失，迭代优化随机噪声图像，改变随机噪声图像的像素值，使随机噪声图像成为最终的新的增强图像。
2.如权利要求1所述的灰度图像增强方法，其特征在于，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失使用梯度下降法迭代训练所述随机噪声图像，改变所述随机噪声图像的像素值，直至训练后的随机噪声图像符合预定的条件，停止迭代并将当前训练后的随机噪声图像作为所述增强后的灰度图像。
3.如权利要求2所述的灰度图像增强方法，其特征在于，所述分布匹配网络和结构匹配网络采用相同的卷积神经网VGG16模型，并以在ImageNet数据集上预训练的VGG16模型作为初始化网络权重，设置相同的初始学习率。
4.如权利要求2所述的灰度图像增强方法，其特征在于，所述预定的条件为：所述训练后的随机噪声图像的噪声抑制增益比大于给定的阈值。
5.如权利要求4所述的灰度图像增强方法，其特征在于，S30包括：
S310：依次将x1中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合y1；
S320：对于训练图像集合xj，如果1<j≤P，则依次将xj中的每一幅图像及其对应的随机噪声图像和二值模板图像输入所述图像匹配网络模型，得到的增强后的图像集合yj；
S330：通过y1和yj计算交叉熵损失，反向传播优化所述图像匹配网络模型的网络权重；
S340：j加1，重复执行S320、S330，直至所述图像匹配网络模型收敛。
6.一种灰度图像增强装置，其特征在于，包括：
训练图像获取模块，用于获取训练图像集合x1，并对x1进行图像增广，得到(P-1)个增广图像集合{x2,x3,…xp}，其中，P为大于2的整数；
网络构建模块，用于构建图像匹配网络模型，其中，所述图像匹配网络模型包括分布匹配网络和结构匹配网络，用于对输入所述图像匹配网络模型的灰度图像进行分布匹配和结构匹配，实现灰度图像增强；
网络训练模块，用于利用{x1,x2,x3,…xp}，对所述图像匹配网络模型进行模型训练；
图像增强模块，用于获取待增强的灰度图像，并将所述待增强的图像输入到训练好的图像匹配网络模型中，得到增强后的灰度图像；
其中，所述图像匹配网络模型的输入为：灰度图像、以及所述灰度图像对应的随机噪声图像和二值模板图像，所述图像匹配网络模型的输出为增强后的灰度图像；
所述图像匹配网络模型为二分支网络，包括上分支网络和下分支网络；
所述上分支网络为所述分布匹配网络，计算所述随机噪声图像和二值模板图像之间的感知差异损失；
所述下分支网络为所述结构匹配网络，计算所述随机噪声图像和灰度图像之间的结构差异损失；
所述灰度图像、所述二值模板图像和所述随机噪声图像输入所述图像匹配模型后，所述图像匹配网络模型将所述感知差异损失和结构差异损失的加权相加值作为总损失，并根据所述总损失，迭代优化随机噪声图像，改变随机噪声图像的像素值，使随机噪声图像成为最终的新的增强图像。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任意一项所述的灰度图像增强方法。
8.一种存储介质，其上存储有计算机可读的程序，其特征在于，该程序被执行时实现如权利要求1-5中任意一项所述的灰度图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110298358.7A CN112819731B (zh) | 2021-03-19 | 2021-03-19 | 灰度图像增强方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110298358.7A CN112819731B (zh) | 2021-03-19 | 2021-03-19 | 灰度图像增强方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819731A CN112819731A (zh) | 2021-05-18 |
| CN112819731B true CN112819731B (zh) | 2021-11-05 |
Family
ID=75863430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110298358.7A Active CN112819731B (zh) | 2021-03-19 | 2021-03-19 | 灰度图像增强方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819731B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100081B (zh) * | 2022-08-24 | 2022-11-15 | 深圳佳弟子科技有限公司 | Lcd显示屏灰阶图像增强方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163235A (zh) * | 2018-10-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
| CN112348747A (zh) * | 2019-08-08 | 2021-02-09 | 苏州科达科技股份有限公司 | 图像增强方法、装置及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11024009B2 (en) * | 2016-09-15 | 2021-06-01 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN108872981B (zh) * | 2018-04-20 | 2020-07-17 | 中国人民解放军国防科技大学 | 一种mimo雷达正则增强成像方法 |
| US11501438B2 (en) * | 2018-04-26 | 2022-11-15 | Elekta, Inc. | Cone-beam CT image enhancement using generative adversarial networks |
| US11024013B2 (en) * | 2019-03-08 | 2021-06-01 | International Business Machines Corporation | Neural network based enhancement of intensity images |
| US11521011B2 (en) * | 2019-06-06 | 2022-12-06 | Samsung Electronics Co., Ltd. | Method and apparatus for training neural network model for enhancing image detail |
| CN110428378B (zh) * | 2019-07-26 | 2022-02-08 | 北京小米移动软件有限公司 | 图像的处理方法、装置及存储介质 |
| CN111274429A (zh) * | 2020-01-14 | 2020-06-12 | 广东工业大学 | 一种基于gan的数据增强的无监督商标检索系统及方法 |
| CN112435221B (zh) * | 2020-11-10 | 2024-03-26 | 东南大学 | 一种基于生成式对抗网络模型的图像异常检测方法 |
-
2021
- 2021-03-19 CN CN202110298358.7A patent/CN112819731B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163235A (zh) * | 2018-10-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
| CN112348747A (zh) * | 2019-08-08 | 2021-02-09 | 苏州科达科技股份有限公司 | 图像增强方法、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 《Feature Enhancement in Medical Ultrasiund Videos Using Contrast-Limited Adaptive Histogram Equalization》;Singh,P. et.al;《Digit Imaging》;20190703;全文 * |
| 《Quantitative digital microscopy with deep learning》;Benjamin Midtvedt et.al;《Applied Physics Reviews》;20210219;全文 * |
| 《基于对抗训练的U-Net神经网络在稀疏投影CT图像增强的应用》;黄锦威等;《中国医学物理杂志》;20200525;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819731A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lei et al. | Coupled adversarial training for remote sensing image super-resolution | |
| Yuan | Automatic skin lesion segmentation with fully convolutional-deconvolutional networks | |
| CN109377459B (zh) | 一种生成式对抗网络的超分辨率去模糊方法 | |
| CN110599500B (zh) | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统 | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN112001868A (zh) | 基于生成对抗性网络的红外和可见光图像融合方法及系统 | |
| CN111696046A (zh) | 一种基于生成式对抗网络的水印去除方法和装置 | |
| Fu et al. | Edge-aware deep image deblurring | |
| Zhou et al. | Embedding topological features into convolutional neural network salient object detection | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| Saleh et al. | Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement | |
| CN110555820A (zh) | 基于卷积神经网络和动态引导滤波的图像融合方法 | |
| CN112927137A (zh) | 一种用于获取盲超分辨率图像的方法、设备及存储介质 | |
| CN114399480A (zh) | 蔬菜叶片病害严重程度检测方法及装置 | |
| Zhu et al. | PNEN: Pyramid non-local enhanced networks | |
| Li et al. | Densely connected network for impulse noise removal | |
| CN112819731B (zh) | 灰度图像增强方法、装置、计算机设备及存储介质 | |
| CN117635418B (zh) | 生成对抗网络的训练方法、双向图像风格转换方法和装置 | |
| CN110135435B (zh) | 一种基于广度学习系统的显著性检测方法及装置 | |
| Saleem et al. | A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset | |
| Pu et al. | Fractional-order retinex for adaptive contrast enhancement of under-exposed traffic images | |
| Luo et al. | A fast denoising fusion network using internal and external priors | |
| Li et al. | A cascaded algorithm for image quality assessment and image denoising based on CNN for image security and authorization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240207 Address after: Room 1609, 16th Floor, Building 2, Xinsheng Building, Northwest Corner of Xinluo Street and Yingxiu Road Intersection, Shunhua Road Street, Jinan Area, China (Shandong) Pilot Free Trade Zone, Jinan City, Shandong Province, 250014 Patentee after: Lingxin Huizhi (Shandong) Intelligent Technology Co.,Ltd. Country or region after: China Address before: Room 156-8, No.5, Lingbin Road, Dangan Town, Zhuhai, Guangdong 510000 Patentee before: Guangdong Zhongju Artificial Intelligence Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |