CN112102175B - 图像对比度的增强方法、装置、存储介质及电子设备 - Google Patents
图像对比度的增强方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112102175B CN112102175B CN201910526097.2A CN201910526097A CN112102175B CN 112102175 B CN112102175 B CN 112102175B CN 201910526097 A CN201910526097 A CN 201910526097A CN 112102175 B CN112102175 B CN 112102175B
- Authority
- CN
- China
- Prior art keywords
- image
- contrast
- scene
- source image
- scene category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000013145 classification model Methods 0.000 claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 32
- 230000002708 enhancing effect Effects 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 15
- 239000002609 medium Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像对比度的增强方法、装置、存储介质及电子设备。该方法包括：确定源图像的图像特征；将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。通过执行本技术方案，针对不同对比度欠佳的场景，均可以分别实现对图像的对比度精确增强的效果。
Description
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像对比度的增强方法、装置、存储介质及电子设备。
背景技术
对比度增强在提高图像视频质量上起着非常关键的作用，广泛应用于计算机视觉、模式识别以及数字图像处理领域。由于受到成像设备、成像光照条件等因素的影响，实际图像通常存在对比度欠佳、目标局部细节信息不明显等问题，这将影响人眼对目标精细辨识或机器自动识别能力，在实际应用中，通常采用图像对比度增强技术来提高图像的视觉效果。
现有的对比度增强算法根据处理策略的不同，可分为全局算法和局部算法。全局算法常见的有直方图均衡化、伽马变换、分段线性变换等方法，均是通过变换函数对像素数据进行映射调整。局部算法常见的有局部直方图均衡化算法等，参考邻域统计信息进行处理。全局算法的优点是简单，便于实现，但增强的对象不具有选择性，增强的程度不好控制，无法准确的增强多种对比度欠佳的场景。局部算法的优点是对图像局部处理有良好的自适应性，但对图像整体对比度的提升效果一般。
发明内容
本申请实施例提供一种图像对比度的增强方法、装置、存储介质及电子设备，针对不同对比度欠佳的场景，均可以分别实现对图像的对比度精确增强的效果。
第一方面，本申请实施例提供了一种图像对比度的增强方法，该方法包括：
确定源图像的图像特征；
将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；
根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。
进一步的，确定源图像的图像特征，包括：
提取源图像的基础图像特征，所述基础图像特征包括亮度直方图、梯度直方图以及高阶导数分布中的至少一种；
根据所述场景分类模型的输入数据格式，对所述基础图像特征进行格式转换。
进一步的，其中，所述源图像的场景类别包括如下至少一种：低亮度低对比度图像、中亮度低对比度图像、高亮度低对比度图像和高对比度图像。
进一步的，所述输出结果包括候选场景类别编号以及与所述候选场景类别编号对应的概率值；
相应的，根据所述场景分类模型的输出结果确定所述源图像的场景类别，包括：
将所述候选场景类别编号对应的概率值最大的候选场景类别，确定为所述源图像的场景类别。
进一步的，根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理，包括：
根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，确定所述源图像的目标对比度增强算法；
采用所述源图像的目标对比度增强算法，对所述源图像的对比度进行初步增强处理；
根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果。
进一步的，根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果，包括：
通过如下公式计算所述最终增强处理结果：
Out＝S·O(x,y)+(1-S)·I(x,y)；
其中，Out为最终增强处理结果，O(x，y)为初步增强处理结果，S为场景类别的概率值，I(x，y)为源图像。
第二方面，本申请实施例提供了一种图像对比度的增强装置，该装置包括：
图像特征确定模块，用于确定源图像的图像特征；
场景分类模块，用于将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；
对比度增强处理模块，用于根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。
进一步的，所述图像特征确定模块包括：
基础图像特征提取单元，用于提取源图像的基础图像特征，所述基础图像特征包括亮度直方图、梯度直方图以及高阶导数分布中的至少一种；
格式转换单元，用于根据所述场景分类模型的输入数据格式，对所述基础图像特征进行格式转换。
进一步的，其中，所述源图像的场景类别包括如下至少一种：低亮度低对比度图像、中亮度低对比度图像、高亮度低对比度图像和高对比度图像。
进一步的，所述输出结果包括候选场景类别编号以及与所述候选场景类别编号对应的概率值；
相应的，所述场景分类模块包括场景类别确定单元，用于：
将所述候选场景类别编号对应的概率值最大的候选场景类别，确定为所述源图像的场景类别。
进一步的，所述对比度增强处理模块包括：
目标算法确定单元，用于根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，确定所述源图像的目标对比度增强算法；
初步增强处理单元，用于采用所述源图像的目标对比度增强算法，对所述源图像的对比度进行初步增强处理；
调整单元，用于根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果。
进一步的，所述调整单元，具体用于：
通过如下公式计算所述最终增强处理结果：
Out＝S·O(x,y)+(1-S)·I(x,y)；
其中，Out为最终增强处理结果，O(x，y)为初步增强处理结果，S为场景类别的概率值，I(x，y)为源图像。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的图像对比度的增强方法。
第四方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的图像对比度的增强方法。
本申请实施例所提供的技术方案，通过确定源图像的图像特征；将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。通过采用本申请所提供的技术方案，针对不同对比度欠佳的场景，均可以分别实现对图像的对比度精确增强的效果。
附图说明
图1是本申请实施例提供的四种典型的对比度欠佳场景类型的示意图；
图2是本申请实施例一提供的图像对比度的增强方法的流程图；
图3是本申请实施例一提供的特征组合的示意图；
图4是本申请实施例二提供的场景分离模型框架示意图；
图5是本申请实施例三提供的图像对比度的增强装置的结构示意图；
图6是本申请实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
对比度可以描述图像中亮暗区域之间不同层级间的反差大小，反差越大，代表图像对比度越高，反差越小，代表图像对比度越低。对比度的高低会直接影响图像的视觉效果，一般情况下，对比度越高，图像越清晰透彻；对比度越低，图像质量越差，视觉效果越不通透醒目。高对比度能增加图像的通透性，对图像的细节表现、灰度层次表现有着较好的提升，但对比度过高，反而会降低图像的视觉效果。因而，图像对比度过低或者过高都会导致图像对比度欠佳。
本发明根据图像的平均亮度和对比度，将对比度欠佳场景图像主要分为低亮度低对比度图像、中亮度低对比度图像、高亮度低对比度图像、高对比度图像四类。图1是本申请实施例提供的四种典型的对比度欠佳场景类型的示意图。如图1所示，低亮度低对比度图像整体偏暗，大部分像素集中分布在较低的灰度范围，亮度层级间差异小，图像质量较差；中亮度低对比度图像，大部分像素分布集中在中间灰度范围，亮度层级间差异小，图像视觉效果差，雾感强；高亮度低对比度图像整体偏亮，大部分像素集中在较高灰度的范围，亮度层级间差异小，图像质量较差；高对比度图像，图像中存在大面积亮区和暗区，整体对比度过高，在亮、暗区细节丢失严重。
对比度增强算法的目的就是将图像中的亮度值范围拉伸或压缩成显示系统指定的亮度显示范围，从而提高图像全局或局部的对比度，增强图像局部区域的细节表现、灰度层次表现等，最终改善图像的视觉效果，使之更加清晰透彻。现有的对比度增强算法根据处理的策略不同，可分为全局和局部算法。常见的全局算法有直方图均衡化、伽马变换、分段线性变换等方法，均是通过变换函数对像素数据进行映射调整。常见的局部算法有局部直方图均衡化算法等，参考邻域统计信息进行处理。全局方法的优点是简单，便于实现，但增强的对象不具有选择性，增强的程度不好控制，无法准确的增强多种对比度欠佳的场景。局部方法的优点是对图像局部处理有良好的自适应性，但对图像整体对比度的提升效果一般。而且当前的无论是全局、局部算法，都只是一种算法，或多或少地存在场景适应性的限制。
针对以上问题，本发明提出一种图像对比度的增强方法，特点在于场景的适应性，方法包含对比度欠佳场景检测、参数控制以及对比度增强算法生效三个模块，可以精准的判断对比度欠佳场景的类别，并根据场景自适应选择最合适的算法进行对比度增强处理。
实施例一
图2是本申请实施例一提供的图像对比度的增强方法的流程图，本实施例可适应于对图像的对比度进行调节的情况，该方法可以由本申请实施例所提供的图像对比度的增强装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于智能终端等电子设备中。
如图2所示，所述图像对比度的增强方法包括：
S210、确定源图像的图像特征。
其中，源图像即为需要进行对比度处理的图像，该图像的最终处理结果也可能不对图像的对比度进行处理，例如该图像的对比度已经达到符合用户的使用需求的标准。此处，就以该图像的对比度进行处理为目的进行解释说明。
源图像的图像特征，可以是图像中某个特定区域的特征，还可以是整个图像的特征。该图像特征可以是图像中像素点的灰度值等，甚至还可以包括该源图像本身，即不做任何处理的图像特征。在本实施例中以该源图像的图像特征可以包括但不限于亮度分布、梯度分布、高阶导数分布等信息。其中，亮度分布可以是亮度直方图，梯度分布可以是梯度直方图，高阶导数分布可以是二阶或者三阶的倒数分布直方图。在本实施例中，可以选择上述图像特征中的一种或者多种，例如可以同时获取源图像的亮度直方图和梯度直方图，再进行特征组合，来得到输入场景分类模型的输入数据。
在本实施例中，可选的，包括：提取源图像的基础图像特征，所述基础图像特征包括亮度直方图、梯度直方图以及高阶导数分布中的至少一种；根据所述场景分类模型的输入数据格式，对所述基础图像特征进行格式转换。这样设置的好处是可以采用最能够体现源图像的对比度的特征来输入模型得到准确的分类结果，可以提高对比度调整的准确性。
图3是本申请实施例一提供的特征组合的示意图。如图3所示，可以在得到源图像之后，分别求取该源图像的亮度直方图和梯度直方图，进而分别对两个直方图进行归一化处理，将得到的归一化处理结果进行结合，得到特征组合。该特征组合即为输入场景分类模型的输入数据。
更加具体的，梯度直方图的求取可以采用如下方式实现：
计算梯度图公式如下：
其中，G为梯度直方图，I为源图像，为卷积操作，Gx为水平方向差分图，Gy为竖直方向差分图。
在得到亮度直方图和梯度直方图之后，需要对亮度直方图与梯度直方图进行直方图统计并归一化处理；
具体可以采用如下方式进行处理：
p(k)＝nk/MN；
d(k)＝mk/MN；
MN为像素总数，nk表示图像中像素值为k的像素数量，p(k)表示第k阶灰度的归一化值，mk表示梯度图像中像素值为k的像素数量，d(k)表示第k阶梯度的归一化值，其中K∈[0，127]。
将归一化的亮度分布信息和梯度分布组合为适合模型输入的格式。
这是因为不同的模型使用不同的输入数据格式，这里的特征必须调整到合适的维度才能输入模型。例如对输入特征维度为16×16的模型，先将特征组合为一维向量：
x＝[p(0),p(1)…p(127),d(0),d(1)…d(127)]；
再将256个特征值随机组合成一个16×16的特征矩阵；
此时X即为提取的可以表征源场景图像信息的特征。
S220、将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别。
其中，场景分类模型可以是用来对源图像的所属场景进行分类的模型。场景分类模型可以是人为确定的模型，例如可以人为规定符合一定特征的模型确定为某种场景，还可以是采用机器学习算法得到的模型，例如可以将属于几种特定的场景的图像输入至算法进行有监督式的训练，通过调整参数，可以得到每个图像的输出的所属场景与实际所属的场景相一致。在本实施例中，场景分类模型可以是通过预先训练来得到。在得到源图像的图像特征后，通过将源图像的图像特征输入该分类模型中，可输出并确定源图像的场景类别。
在本实施例中，可选的，所述源图像的场景类别包括如下至少一种：低亮度低对比度图像、中亮度低对比度图像、高亮度低对比度图像和高对比度图像。其中，将图像的场景类别分为上述四类的好处是上述四种场景类别为对于图像的对比度进行调整的常见场景类别，可以针对每种场景类别采用相对应的方式进行调整，以提高对图像的对比度的调整效果。
其中，所述输出结果可以包括图像所属的场景类别，还可以包括其他信息，例如，可以包括每种场景类别的概率等。示例性的，图像的场景类别可以通过编码的形式进行表示，例如低亮度低对比度图像、中亮度低对比度图像、高亮度低对比度图像和高对比度图像可以分别采用01，02，03以及04的形式进行体现。则场景分类模型输入源图像的图像特征之后，可以得到场景类别及其概率，例如01，0.8；02，0.2。则该输出结果可以表示为源图像为低亮度低对比度图像的概率为0.8，为中亮度低对比度图像的概率为0.2。
在本实施例中，可选的，所述输出结果包括候选场景类别编号以及与所述候选场景类别编号对应的概率值；相应的，根据所述场景分类模型的输出结果确定所述源图像的场景类别，包括：将所述候选场景类别编号对应的概率值最大的候选场景类别，确定为所述源图像的场景类别。如上述示例，在01的概率为0.8，02的概率为0.2的情况下，可以确定该源图像的场景类别为01，即低亮度低对比度图像。本技术方案这样设置的好处是可以通过概率的形式，对图像的所属的场景类型进行更加精准的计算，提高源图像所属的场景类别的过程中的计算准确性。
S230、根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。
其中，可以根据场景分类模型的输出结果，确定所述源图像的场景类别。进而，可以根据各候选场景类别与候选对比度增强算法之间映射关系，选择与源图像的场景类别对应的算法对源图像进行对比度增强处理。
其中，各候选场景类别与候选对比度增强算法之间映射关系，可以是根据对图像进行处理过程中，通过统计分析得到的，与每一种候选场景类别对应的对比度增强算法。例如，对于低亮度低对比度图像可以采用AGCWD算法，对于中亮度低对比度图像可以采用BBHE算法，对于高亮度低对比度图像可以采用幂次变换算法，对于高对比度图像可以采用二维伽马映射算法。可以理解的，上述几种算法为示例性的算法，针对每种图像的场景类别，还可以映射有更多的算法，具体的，可以根据图像的其他参数来确定具体采用哪种算法进行对比度增强运算，例如可以根据该源图像的平均灰度值来确定，或者根据源图像的水平或者垂直方向的梯度分布情况来确定。本实施例这样设置的好处是可以避免人为确定所带来的个人的主观因素对图像对比度的增强的影响，从而可以提高对图像的分辨率增强的准确性。
本申请实施例所提供的技术方案，通过确定源图像的图像特征；将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。通过采用本申请所提供的技术方案，针对不同对比度欠佳的场景，均可以分别实现对图像的对比度精确增强的效果。
在上述各技术方案的基础上，优选的，根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理，包括：根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，确定所述源图像的目标对比度增强算法；采用所述源图像的目标对比度增强算法，对所述源图像的对比度进行初步增强处理；根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果。本技术方案，除了可以通过源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，确定所述源图像的目标对比度增强算法之外，还提供了将场景分类模型所输出的该源图像的场景类别的概率引入到对确定该对比度增强算法的影响权重当中来，这样设置的好处是可以更加准确的提高对源图像的对比度增强算法的控制。
在上述技术方案的基础上，优选的，根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果，包括：
通过如下公式计算所述最终增强处理结果：
Out＝S·O(x,y)+(1-S)·I(x,y)；
其中，Out为最终增强处理结果，O(x，y)为初步增强处理结果，S为场景类别的概率值，I(x，y)为源图像。
通过采用上述公式，可以更加准确合理的调整源图像的对比度，通过对源图像对比度调整算法中各场景所占权重的控制，提高了对源图像对比度增强算法过程中的准确性。
实施例二
为了能够让本领域技术人员更加准确的了解本申请所提供的技术方案，本申请还提供了一种优选的实施方式。
第一步，对输入图像的场景分类，根据提取的源图像的图像特征信息，分为低亮度低对比度图像、中亮度低对比度图像、高亮度低对比度图像、高对比度图像四类场景，输出场景参数。
第二步，结合场景参数，挑选最合适该类场景图像的调节算法，进行对比度增强的操作，输出处理后的图像。该方法包括：场景分类模块、参数控制模块、算法生效模块。
场景分类模块识别输入源场景图像的场景特征，用于指导后面的对比度增强处理算法。具体包含图像特征提取、场景判别两个部分。输入为源场景图像，输出为场景类别。
图像特征提取：本模块负责提取与图像对比度相关性较高的图像特征，以便于场景判别。输入为源场景图像，输出为对比度特征。
这里提取的图像特征可以是源场景图像，也可以是基于源场景图像的特定信息的提取与处理，包括但不限于亮度直方图、梯度分布、高阶导数分布等信息。
场景判别：本模块负责对特征提取模块输出的特征进行场景判别，输入为所提取的场景图像特征，输出为每个场景的判别概率。
面向图像对比度增强的场景判别，常用的方法有基于图像直方图的分布、累计分布函数或者亮度方差等，这类方法实现简单，但由于这些特征对多种场景信息的描述具有局限性，所以场景判别准度不高，本发明采用深度学习模型来进行场景判别，这类方法基于大量的训练数据来提取场景的高层次抽象特征，能实现较好的场景判别准度，可用的深度学习模型包括多层感知器、LeNet-5、MobilNet、ResNet等模型。
下面提供本发明的一种实施例，图4是本申请实施例二提供的场景分离模型框架示意图，场景分离模型由两个卷积结构加两个全连接层组成，每个卷积结构包括卷积层、激活层和池化层，卷积层的作用主要是提取局部特征，卷积核维度为3×3，步长均为1；激活层为模型加入非线性因素，增强其拟合能力，具体在输出层使用Softmax，其他层使用Relu激活函数；池化层主要完成数据降维，这里使用最大值池化，步长均为2；全连接层的作用则是对卷积层提取的局部特征重新做组合，最后一个全连接层的神经元数为4，表征模型将数据分4类。
模型在已知场景信息的数据集上进行训练，使用随机梯度下降法(SGD)进行参数学习，训练完成的模型进行场景判别的流程为：
1)对输入的特征X16×16，卷积部分计算第i个局部特征的运算为：
Ai＝Max_pool(ReLU(Conv(X,Wi)+bi))；
其中Wi表示该卷积层第i个卷积核，bi表示对应于第i个卷积核的权重，Ai则会成为下一层的第i个输入矩阵，Conv表示卷积操作，ReLU为激活函数，Max_pool表示最大值池化，对第一个卷积层有i∈[1,4]，对第二个卷积层有i∈[1,8]。此时X即为提取的可以表征源场景图像信息的特征。
2)全连接层得到第j个输出神经元的运算为：
aj＝Activate(zj)；
其中ai表示前一层输入特征矩阵的第i个元素，wi表示该神经元对应的全连接层权重，bj是对应于第j个输出神经元的偏置，Activate表示激活函数，其他层使用Relu激活函数，对输出层激活函数使用Softmax：
Kj＝softmax(zj)；
输出层会输出四个概率值K1、K2、K3、K4∈[0,1]，每个值代表一个场景类别。
参数控制模块的功能是根据上个模块得到的四个场景概率给出最能代表当前图像的场景类别。输入为四个场景概率值，输出为场景类别和调整参数。
参数控制模块实现将场景分类模块的分类结果与后面的对比度增强处理算法建立映射关系，找到最适合该图像的处理算法，并控制对比度增强的强度。具体实施例为：
p＝argmax(Kp)；
其中，调整参数为：
S＝Kp；
算法生效模块负责根据场景判断模块输出的参数，指导对比度增强算法的选择，自适应增强场景的对比度。输入为源场景图像、场景类别和调整参数，输出为对比度增强后的图像。
场景类别p与场景类型相对应，p＝1表示源场景图像为低亮度低对比度场景，大量像素集中分布在低灰度级范围内，图像整体较暗且亮度层级间差异小，无法看清细节信息。这类场景的处理算法通常以提亮暗像素点值为主，图像亮度随之增加，进而增大低亮度区域的动态范围，显现原本看不见的细节信息，经过处理后图像的动态范围得到拉伸，增强了图像整体的对比度。可采用的算法有AGCWD算法、WTHE算法、对数映射等。
p＝2表示源场景图像为中亮度低对比度场景，大量像素集中分布在中间灰度级范围内，亮度层级间差异小，图像通透性差，雾感强。这类场景的处理算法通常会使原本较暗的像素点变的更暗，亮的像素点变的更亮，增大中间亮度区域的动态范围，经过处理后图像的动态范围得到拉伸，提升了整体对比度。可采用算法有基于亮度保持的BBHE算法、sigmod函数变换、双曲正切曲线映射等。
p＝3表示源场景图像为高亮度低对比度场景，大量像素集中分布在高灰度级范围内，图像整体偏亮且亮度层级间差异小，图像质量差。这类场景的处理算法通常将亮区中较暗的像素点值减小，亮的像素点值尽量保持不变或者减小，图像亮度随之降低，增大高亮度区域的动态范围，经过处理后图像的动态范围得到拉伸，增强了图像对比度。可采用的算法有幂次变换、反对数变换、分段线性变换等。
p＝4表示源场景图像为高对比度场景，大量像素集中分布在低灰度级和高灰度级，图像整体对比度过高，图像中出现大面积亮区和暗区，且在亮、暗局部区域内亮度层级间差异小，图像质量差。这类场景的处理算法通常将亮区中较暗的像素点值减小，亮的像素点值尽量保持不变，同时将暗区中较亮的像素点值增大，暗的像素点尽量保持不变，增大亮、暗区域的动态范围，提升图像对比度。可采用的算法有CLAHE算法、二维伽马映射、反双曲正切曲线映射等。
下面提供一个具体实施例，以场景四为例(p＝4)，采用二维伽马变换函数对源场景图像进行对比度增强处理：
γ(x,y)＝22Ig(x,y)-1；
其中，Ig(x,y)为亮度归一化后的高斯平滑，γ(x,y)为自适应伽马参数，I(x,y)为输入源场景图像，O(x,y)为初步对比度增强后的图像。
使用调整参数S，自适应控制图像对比度增强的强度：
Out＝S·O(x,y)+(1-S)·I(x,y)；
最终，输出对比度增强处理后的图像Out。
本发明提供一种图像对比度的增强方法，可根据场景信息自适应地实现对比度的调整；提出一种结合亮度直方图、高阶导数等信息来训练深度学习模型进行场景分类的方法，能准确的分类对比度欠佳场景；提出一种依据对比度分类参数来指导后续对比度增强的处理方法，能自适应地实现参数调节，达到较好的对比度增强效果。
实施例三
图5是本申请实施例三提供的图像对比度的增强装置的结构示意图。如图5所示，所述图像对比度的增强装置，包括：
图像特征确定模块510，用于确定源图像的图像特征；
场景分类模块520，用于将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；
对比度增强处理模块530，用于根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。
本申请实施例所提供的技术方案，通过确定源图像的图像特征；将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。通过采用本申请所提供的技术方案，针对不同对比度欠佳的场景，均可以分别实现对图像的对比度精确增强的效果。
在上述各技术方案的基础上，可选的，所述图像特征确定模块包括：
基础图像特征提取单元，用于提取源图像的基础图像特征，所述基础图像特征包括亮度直方图、梯度直方图以及高阶导数分布中的至少一种；
格式转换单元，用于根据所述场景分类模型的输入数据格式，对所述基础图像特征进行格式转换。
在上述各技术方案的基础上，可选的，其中，所述源图像的场景类别包括如下至少一种：低亮度低对比度图像、中亮度低对比度图像、高亮度低对比度图像和高对比度图像。
在上述各技术方案的基础上，可选的，所述输出结果包括候选场景类别编号以及与所述候选场景类别编号对应的概率值；
相应的，所述场景分类模块包括场景类别确定单元，用于：
将所述候选场景类别编号对应的概率值最大的候选场景类别，确定为所述源图像的场景类别。
在上述各技术方案的基础上，可选的，所述对比度增强处理模块包括：
目标算法确定单元，用于根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，确定所述源图像的目标对比度增强算法；
初步增强处理单元，用于采用所述源图像的目标对比度增强算法，对所述源图像的对比度进行初步增强处理；
调整单元，用于根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果。
在上述各技术方案的基础上，可选的，所述调整单元，具体用于：
通过如下公式计算所述最终增强处理结果：
Out＝S·O(x,y)+(1-S)·I(x,y)；
其中，Out为最终增强处理结果，O(x，y)为初步增强处理结果，S为场景类别的概率值，I(x，y)为源图像。
上述产品可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
实施例四
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像对比度的增强方法，该方法包括：
确定源图像的图像特征；
将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；
根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的图像对比度的增强操作，还可以执行本申请任意实施例所提供的图像对比度的增强方法中的相关操作。
实施例五
本申请实施例提供了一种电子设备，该电子设备中可集成本申请实施例提供的图像对比度的增强装置。图6是本申请实施例五提供的一种电子设备的结构示意图。如图6所示，本实施例提供了一种电子设备600，其包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器620执行，使得所述一个或多个处理器620实现本申请实施例所提供的图像对比度的增强方法，该方法包括：
确定源图像的图像特征；
将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；
根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理。
当然，本领域技术人员可以理解，处理器620还可以实现本申请任意实施例所提供的图像对比度的增强方法的技术方案。
图6显示的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，该电子设备600包括处理器620、存储装置610、输入装置630和输出装置640；电子设备中处理器620的数量可以是一个或多个，图6中以一个处理器620为例；电子设备中的处理器620、存储装置610、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线650连接为例。
存储装置610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本申请实施例中的图像对比度的增强方法对应的程序指令。
存储装置610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字、字符信息或语音信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏、扬声器等设备。
本申请实施例提供的电子设备，针对不同对比度欠佳的场景，均可以分别实现对图像的对比度精确增强的效果。
上述实施例中提供的图像对比度的增强装置、存储介质及电子设备可执行本申请任意实施例所提供的图像对比度的增强方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的图像对比度的增强方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。
Claims (9)
1.一种图像对比度的增强方法，其特征在于，包括：
确定源图像的图像特征；
将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；
所述输出结果包括候选场景类别编号以及与所述候选场景类别编号对应的概率值；
根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理；
所述根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理，包括：
根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，确定所述源图像的目标对比度增强算法；
采用所述源图像的目标对比度增强算法，对所述源图像的对比度进行初步增强处理；
根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果。
2.根据权利要求1所述的方法，其特征在于，确定源图像的图像特征，包括：
提取源图像的基础图像特征，所述基础图像特征包括亮度直方图、梯度直方图以及高阶导数分布中的至少一种；
根据所述场景分类模型的输入数据格式，对所述基础图像特征进行格式转换。
3.根据权利要求1所述的方法，其特征在于，其中，所述源图像的场景类别包括如下至少一种：低亮度低对比度图像、中亮度低对比度图像、高亮度低对比度图像和高对比度图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述场景分类模型的输出结果确定所述源图像的场景类别，包括：
将所述候选场景类别编号对应的概率值最大的候选场景类别，确定为所述源图像的场景类别。
5.根据权利要求1所述的方法，其特征在于，根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果，包括：
通过如下公式计算所述最终增强处理结果：
Out＝S·O(x,y)+(1-S)·I(x,y)；
其中，Out为最终增强处理结果，O(x，y)为初步增强处理结果，S为场景类别的概率值，I(x，y)为源图像。
6.一种图像对比度的增强装置，其特征在于，包括：
图像特征确定模块，用于确定源图像的图像特征；
场景分类模块，用于将所述源图像的图像特征输入场景分类模型，并根据所述场景分类模型的输出结果确定所述源图像的场景类别；
所述输出结果包括候选场景类别编号以及与所述候选场景类别编号对应的概率值；
对比度增强处理模块，用于根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，对所述源图像的对比度进行增强处理；
所述对比度增强处理模块，包括：
目标算法确定单元，用于根据所述源图像的场景类别，以及候选场景类别与候选对比度增强算法之间映射关系，确定所述源图像的目标对比度增强算法；
初步增强处理单元，用于采用所述源图像的目标对比度增强算法，对所述源图像的对比度进行初步增强处理；
调整单元，用于根据场景类别的概率值，对所述初步增强处理的结果进行调整，得到最终增强处理结果。
7.根据权利要求6所述的装置，其特征在于，所述图像特征确定模块包括：
基础图像特征提取单元，用于提取源图像的基础图像特征，所述基础图像特征包括亮度直方图、梯度直方图以及高阶导数分布中的至少一种；
格式转换单元，用于根据所述场景分类模型的输入数据格式，对所述基础图像特征进行格式转换。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的图像对比度的增强方法。
9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的图像对比度的增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910526097.2A CN112102175B (zh) | 2019-06-18 | 2019-06-18 | 图像对比度的增强方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910526097.2A CN112102175B (zh) | 2019-06-18 | 2019-06-18 | 图像对比度的增强方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102175A CN112102175A (zh) | 2020-12-18 |
| CN112102175B true CN112102175B (zh) | 2024-03-26 |
Family
ID=73748680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910526097.2A Active CN112102175B (zh) | 2019-06-18 | 2019-06-18 | 图像对比度的增强方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102175B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598595A (zh) * | 2020-12-25 | 2021-04-02 | 北京环境特性研究所 | 一种基于gamma校正的高动态数字图像显示增强方法及系统 |
| CN116777795B (zh) * | 2023-08-21 | 2023-10-27 | 江苏游隼微电子有限公司 | 一种适用于车载影像的亮度映射方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104240194A (zh) * | 2014-04-29 | 2014-12-24 | 西南科技大学 | 一种基于抛物线函数的低照度图像增强算法 |
| CN106548463A (zh) * | 2016-10-28 | 2017-03-29 | 大连理工大学 | 基于暗通道与Retinex的海雾图像自动去雾方法及系统 |
| CN109685746A (zh) * | 2019-01-04 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像亮度调整方法、装置、存储介质及终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8639031B2 (en) * | 2011-03-29 | 2014-01-28 | Intel Corporation | Adaptive contrast adjustment techniques |
-
2019
- 2019-06-18 CN CN201910526097.2A patent/CN112102175B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104240194A (zh) * | 2014-04-29 | 2014-12-24 | 西南科技大学 | 一种基于抛物线函数的低照度图像增强算法 |
| CN106548463A (zh) * | 2016-10-28 | 2017-03-29 | 大连理工大学 | 基于暗通道与Retinex的海雾图像自动去雾方法及系统 |
| CN109685746A (zh) * | 2019-01-04 | 2019-04-26 | Oppo广东移动通信有限公司 | 图像亮度调整方法、装置、存储介质及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102175A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11882357B2 (en) | Image display method and device | |
| US11037278B2 (en) | Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures | |
| CN110610463A (zh) | 一种图像增强方法及装置 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN113592776A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN112102175B (zh) | 图像对比度的增强方法、装置、存储介质及电子设备 | |
| Wang et al. | Low-light image enhancement based on virtual exposure | |
| CN114897753A (zh) | 一种低照度图像增强方法 | |
| CN116580305A (zh) | 一种基于深度学习的茶芽检测方法及其模型搭建方法 | |
| Jeon et al. | Low-light image enhancement using inverted image normalized by atmospheric light | |
| WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
| CN117314793B (zh) | 基于bim模型的建筑施工数据采集方法 | |
| CN113129300A (zh) | 一种降低误检率的排水管道缺陷检测方法、装置、设备及介质 | |
| Hmue et al. | Image enhancement and quality assessment methods in turbid water: A review article | |
| CN110188693B (zh) | 改进的复杂环境车辆特征提取和停车判别方法 | |
| CN114638764B (zh) | 基于人工智能的多曝光图像融合方法及系统 | |
| US20220188991A1 (en) | Method and electronic device for managing artifacts of image | |
| CN115187954A (zh) | 一种基于图像处理的特殊场景下交通标志识别方法 | |
| US20240144438A1 (en) | Display apparatus for obtaining output image using edge image and control method thereof | |
| Gu et al. | Quality assessment of enhanced images | |
| US20230014050A1 (en) | Method and system for enhancing image quality | |
| US20230061884A1 (en) | Control method of image signal processor and control device for performing the same | |
| Yu et al. | Image contrast expand enhancement system based on fuzzy theory | |
| Zhang et al. | A high quality low-light image enhancement method | |
| Bhattacharya et al. | Nonlinear kernel based feature maps for blur‐sensitive unsharp masking of JPEG images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |