CN112819702B - 图像增强方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像增强方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112819702B CN112819702B CN201911126297.5A CN201911126297A CN112819702B CN 112819702 B CN112819702 B CN 112819702B CN 201911126297 A CN201911126297 A CN 201911126297A CN 112819702 B CN112819702 B CN 112819702B
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- illumination
- area
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005286 illumination Methods 0.000 claims description 116
- 230000000875 corresponding effect Effects 0.000 claims description 68
- 239000011159 matrix material Substances 0.000 claims description 55
- 238000007499 fusion processing Methods 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像增强方法、装置、电子设备及计算机可读存储介质,涉及图像处理技术领域,该方法在对原始图像和经对比度增强处理得到的初始增强图像进行图像融合处理,得到目标增强图像时,充分考虑到了图像中不同区域的像素点亮度不同(光照权重信息),使得所得到的目标增强图像中的第一区域和第二区域均处于曝光正常状态,从而有效改善了现有技术中存在的图像中较暗区域(第一区域)的增强效果不足,较亮区域(第二区域)又容易过度增强,导致颜色失真的问题。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种图像增强方法、装置、电子设备及计算机可读存储介质。
背景技术
图像增强是指增强图像中的有用信息,改善图像质量。对于暗区域较多或明暗区域不均匀的图像,可以采用图像增强方法来实现暗场增强。
然而现有的图像增强方法在对图像进行暗场增强时,图像中较暗区域的增强效果不足,较亮区域(曝光正常区域或过曝区域)又容易过度增强,导致颜色失真。
发明内容
本发明的目的在于提供一种图像增强方法、装置、电子设备及计算机可读存储介质,以提高增强效果,缓解图像增强导致的颜色失真问题。
本发明实施例提供了一种图像增强方法,包括:
对待处理的原始图像进行对比度增强处理,得到初始增强图像,其中,所述原始图像包括第一区域和第二区域,所述原始图像中的第一区域处于欠曝状态,所述原始图像中的第二区域未处于欠曝状态,所述初始增强图像中的第一区域未处于欠曝状态,所述初始增强图像中的第二区域处于过曝状态;
获取所述原始图像的光照权重信息,其中,所述光照权重信息用于指示所述原始图像中的每个像素点对应的光照权重,所述光照权重与对应像素点的亮度相关;
根据所述光照权重信息对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像,其中,所述目标增强图像中的第一区域和第二区域均处于曝光正常状态。
进一步地,在所述原始图像的色彩模式为RGB模式的情况下,所述对待处理的原始图像进行对比度增强处理,得到初始增强图像,包括:
将所述原始图像的色彩模式转换为HSV模式,得到HSV通道图像;
对所述HSV通道图像中的V通道进行增强处理,得到增强后的HSV通道图像,其中,所述增强处理用于根据所述HSV通道图像中的各像素点在V通道上的灰度分布状况对所述HSV通道图像中的各像素点的灰度值进行均衡化调整,使得所述HSV通道图像中灰度值最大的像素点的灰度值被调整至预设灰度区间的灰度上限,且所述增强后的HSV通道图像中的各像素点的灰度值在所述预设灰度区间内分布均匀;
将所述增强后的HSV通道图像的色彩模式转换为RGB模式,得到所述初始增强图像。
进一步地,所述获取所述原始图像的光照权重信息,包括:
获取所述原始图像的光照图像;
对所述光照图像进行归一化处理,得到所述原始图像对应的权重图像,其中,所述权重图像用于表征所述原始图像的光照权重信息。
进一步地,所述获取所述原始图像的光照图像,包括:
获取所述原始图像的反射图像;
根据所述反射图像和所述原始图像,确定所述原始图像的光照图像。
进一步地,所述对所述光照图像进行归一化处理,得到所述原始图像对应的权重图像,包括:
采用最大最小归一化方法或标准归一化方法对所述光照图像进行归一化处理,得到所述原始图像对应的权重图像。
进一步地,所述光照权重与对应像素点的亮度成正相关;所述根据所述光照权重信息对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像,包括:
通过以下公式对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像:
D=I*W+E*(P-W),
其中,D表示所述目标增强图像的图像矩阵,I表示所述原始图像的图像矩阵,W表示权重矩阵,所述权重矩阵根据所述光照权重信息所指示的所述原始图像中的各个像素点对应的光照权重确定,E表示所述初始增强图像的图像矩阵,P表示所述原始图像对应的单位矩阵。
进一步地,在所述原始图像为待处理视频中的图像帧的情况下,
在所述对待处理的原始图像进行对比度增强处理,得到初始增强图像之前,所述方法还包括:获取所述待处理视频;对所述待处理视频进行切帧处理,得到所述原始图像;
在根据所述光照权重信息对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像之后,所述方法还包括:根据所述待处理视频中的每个所述图像帧对应的目标增强图像,生成用于播放的目标视频。
本发明实施例还提供了一种图像增强装置,包括:
增强模块,用于对待处理的原始图像进行对比度增强处理,得到初始增强图像,其中,所述原始图像包括第一区域和第二区域,所述原始图像中的第一区域处于欠曝状态,所述原始图像中的第二区域未处于欠曝状态,所述初始增强图像中的第一区域未处于欠曝状态,所述初始增强图像中的第二区域处于过曝状态;
第一获取模块,用于获取所述原始图像的光照权重信息,其中,所述光照权重信息用于指示所述原始图像中的每个像素点对应的光照权重,所述光照权重与对应像素点的亮度相关;
融合模块,用于根据所述光照权重信息对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像,其中,所述目标增强图像中的第一区域和第二区域均处于曝光正常状态。
本发明实施例还提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的图像增强方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的图像增强方法。
本发明实施例提供的图像增强方法、装置、电子设备及计算机可读存储介质中,该方法包括:对待处理的原始图像进行对比度增强处理,得到初始增强图像,其中,原始图像包括第一区域和第二区域,原始图像中的第一区域处于欠曝状态,原始图像中的第二区域未处于欠曝状态,初始增强图像中的第一区域未处于欠曝状态,初始增强图像中的第二区域处于过曝状态;获取原始图像的光照权重信息,其中,光照权重信息用于指示原始图像中的每个像素点对应的光照权重,光照权重与对应像素点的亮度相关;根据光照权重信息对原始图像和初始增强图像进行图像融合处理,得到目标增强图像,其中,目标增强图像中的第一区域和第二区域均处于曝光正常状态。上述方式在对原始图像和经对比度增强处理得到的初始增强图像进行图像融合处理,得到目标增强图像时,充分考虑到了图像中不同区域的像素点亮度不同(光照权重信息),使得所得到的目标增强图像中的第一区域和第二区域均处于曝光正常状态,从而有效改善了现有技术中存在的图像中较暗区域(第一区域)的增强效果不足,较亮区域(第二区域)又容易过度增强,导致颜色失真的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像增强方法的流程示意图;
图2为本发明实施例提供的另一种图像增强方法的流程示意图;
图3为本发明实施例提供的一种图像增强装置的结构示意图;
图4为本发明实施例提供的另一种图像增强装置的结构示意图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由于在拍摄过程中采集设备的限制,老片(例如二十世纪八九十年代拍摄的视频图像)的局部区域容易过暗,导致用户观看体验差,这些过暗区域属于老片中的暗场。采用现有的图像增强方法对老片进行暗场增强时,容易出现老片的视频图像中较暗区域的增强效果不足,较亮区域又过度增强的情况,导致增强后的视频图像颜色失真,影响最终的增强效果。基于此,本发明实施例提供的一种图像增强方法、装置、电子设备及计算机可读存储介质,可以提高增强效果,缓解图像增强导致的颜色失真问题。
需要说明的是,上述对老片的图像增强处理仅是本发明实施例的一个示例性应用场景,本发明的保护范围不限于此,在其他实施例中,该图像增强方法、装置、电子设备及计算机可读存储介质还可以应用于其他暗区域较多或明暗区域不均匀的图像。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种图像增强方法进行详细介绍。
本发明实施例提供了一种图像增强方法,该方法可以由具有图像处理能力的电子设备执行,该电子设备可以但不限于为以下中的任一种:台式电脑、笔记本电脑、平板电脑和智能手机等。
参见图1所示的一种图像增强方法的流程示意图,该方法主要包括以下步骤S102至步骤S106:
步骤S102,对待处理的原始图像进行对比度增强处理,得到初始增强图像,其中,原始图像包括第一区域和第二区域,原始图像中的第一区域处于欠曝状态,原始图像中的第二区域未处于欠曝状态,初始增强图像中的第一区域未处于欠曝状态,初始增强图像中的第二区域处于过曝状态。
上述待处理的原始图像为需要进行图像增强处理的图像,可以是老片中一帧帧(以帧为单位)的视频图片,也可以是暗区域较多或明暗区域不均匀的其他图像。原始图像中存在处于欠曝状态的第一区域(较暗区域)和未处于欠曝状态的第二区域,第二区域为处于曝光正常状态的曝光正常区域或处于过曝状态的过曝区域。经对比度增强处理后,在初始增强图像中原来处于欠曝状态的第一区域变为未处于欠曝状态,也即处于曝光正常状态或过曝状态;在初始增强图像中原来未处于欠曝状态的第二区域变为处于过曝状态。
可选地,可以采用直方图均衡化方法、Retinex算法或暗通道去雾算法对待处理的原始图像进行对比度增强处理,得到初始增强图像。下面分别对上述直方图均衡化方法、Retinex算法和暗通道去雾算法进行相应介绍。
上述直方图均衡化方法计算简单,易于实现。直方图均衡化方法的原理如下:直方图均衡化实质上是对原始图像进行非线性拉伸,重新分配图像像素值,使一定灰度范围内象元值的数量大致相等。这样,原来直方图中间的峰顶部分的对比度得到增强,而两侧的谷底部分的对比度降低,从而图像整体得到增强。
可选地,上述直方图均衡化方法包括:DHE(Dynamic histogram equalization,动态直方图均衡化)或CLAHE(Contrast limited adaptive histogram equalization,对比度受限的自适应直方图均衡化)。其中,DHE通过将原始图像对应的直方图划分成不同的部分,在每个直方图子集中执行直方图均衡化操作。CLAHE自适应的限制了直方图均衡化对比度增强的程度。
Retinex算法(Retinex模型):Retinex算法在反射率图像未知的条件下,根据原始图像估计光照图像。Retinex算法可以很好地增强暗区域的对比度,显示更多的细节。
暗通道去雾算法(暗通道去雾模型):将原始图像取反后,用暗通道去雾算法对其进行处理,然后将结果再次取反得到初始增强图像。
步骤S104,获取原始图像的光照权重信息,其中,光照权重信息用于指示原始图像中的每个像素点对应的光照权重,光照权重与对应像素点的亮度相关。
上述光照权重信息能够表征原始图像的明暗强度,光照权重与对应像素点的亮度可以成正相关或负相关。可选地,光照权重信息可以用权重图像来表征,权重图像的大小与原始图像的大小一致;以光照权重与对应像素点的亮度成正相关为例,权重图像中与原始图像中较暗区域(第一区域)对应的光照权重较小,而与原始图像中较亮区域(第二区域)对应的光照权重则较大。
可选地,上述原始图像和权重图像均可以表示为图像矩阵(二维矩阵)的形式,图像矩阵的行对应图像的高(单位为像素),图像矩阵的列对应图像的宽(单位为像素),原始图像的图像矩阵中的元素对应原始图像的像素点的像素值,权重图像的图像矩阵中的元素(光照权重)与原始图像中像素点的亮度有关。原始图像的图像矩阵与权重图像的图像矩阵在行数和列数上均是相同的,二者在同一位置下的两个元素对应原始图像中的同一个像素点。
步骤S106,根据光照权重信息对原始图像和初始增强图像进行图像融合处理,得到目标增强图像,其中,目标增强图像中的第一区域和第二区域均处于曝光正常状态。
在对原始图像和初始增强图像进行图像融合时,考虑到原始图像中的第一区域处于欠曝状态,原始图像中的第二区域未处于欠曝状态,而初始增强图像中的第一区域未处于欠曝状态,初始增强图像中的第二区域处于过曝状态,因此可以基于光照权重信息分别为原始图像和初始增强图像分配不同的融合权重,使得对于光照较弱的区域(第一区域),原始图像的融合权重较小,初始增强图像的融合权重较大;而对于光照较强的区域(第二区域),原始图像的融合权重较大,初始增强图像的融合权重较小。这样能够保证原始图像中曝光正常区域或过曝区域的部分图像亮度保持不变,而较暗区域的部分图像得到增强,也即保证原始图像中较暗区域(第一区域)的增强,较亮区域(第二区域)在图像增强后不过渡曝光,图像色彩不失真,从而有效改善了现有技术中存在的图像中较暗区域的增强效果不足,较亮区域又容易过度增强,导致颜色失真的问题。
在一种可能的实现方式中,上述光照权重与对应像素点的亮度成正相关,通过以下公式对原始图像和初始增强图像进行图像融合处理,得到目标增强图像:
D=I*W1+E*(P-W1),
其中,D表示目标增强图像的图像矩阵,I表示原始图像的图像矩阵,W1表示光照权重与对应像素点的亮度成正相关时的权重矩阵,权重矩阵根据光照权重信息所指示的原始图像中的各个像素点对应的光照权重确定,E表示初始增强图像的图像矩阵,P表示原始图像对应的单位矩阵,原始图像对应的单位矩阵为与原始图像的图像矩阵的行数和列数均相同的单位矩阵。需要说明的是,上述权重矩阵可以由各个光照权重按照对应像素点的位置排列组成,例如权重矩阵可以是上述权重图像的图像矩阵。
在另一种可能的实现方式中,上述光照权重与对应像素点的亮度成负相关,通过以下公式对原始图像和初始增强图像进行图像融合处理,得到目标增强图像:
D=I*(P-W2)+E*W2,
其中,D表示目标增强图像的图像矩阵,I表示原始图像的图像矩阵,W2表示光照权重与对应像素点的亮度成负相关时的权重矩阵,权重矩阵根据光照权重信息所指示的原始图像中的各个像素点对应的光照权重确定,E表示初始增强图像的图像矩阵,P表示原始图像对应的单位矩阵。
需要说明的是,上述步骤S102与步骤S104之间无先后执行顺序:在图1所示实施例中,先执行步骤S102,再执行步骤S104;但在其他实施例中,也可以先执行步骤S104,再执行步骤S102。
本发明实施例中,对待处理的原始图像进行对比度增强处理,得到初始增强图像;获取原始图像对应的权重图像,该权重图像包括原始图像中每个像素点对应的权重,该权重与像素点的亮度有关;根据权重图像对原始图像和初始增强图像进行图像融合处理,得到目标增强图像。上述方式在对图像进行增强时,充分考虑到图像中不同区域的像素点亮度不同,从而在对原始图像和经对比度增强处理得到的初始增强图像进行图像融合时,不同亮度的像素点对应的增强权重不同,进而有效改善了现有技术中存在的图像中较暗区域的增强效果不足,较亮区域(曝光正常区域或过曝区域)又容易过度增强,导致颜色失真的问题。
为了便于理解,下面将以原始图像为待处理视频中的图像帧,原始图像的色彩模式为RGB模式,光照权重信息由权重图像来表征为例,参照图2对上述图像增强方法进行示例性描述。
参见图2所示的另一种图像增强方法的流程示意图,该方法包括以下步骤:
步骤S202,获取待处理视频。
这里的待处理视频可以但不限于为上述的老片。
步骤S204,对待处理视频进行切帧处理,得到原始图像。
通过对上述待处理视频进行切帧处理,将待处理视频分为一帧帧(以帧为单位)的视频图片,这些一帧帧的视频图片即为原始图像。
步骤S206,将原始图像的色彩模式转换为HSV模式,得到HSV通道图像。
上述原始图像的色彩模式为RGB模式,需要先将原始图像的色彩模式转换为HSV模式,得到HSV通道图像。HSV通道图像中每一种颜色都是由色相(Hue,简称为H),饱和度(Saturation,简称为S)和色明度(Value,简称为V)所表示的,HSV通道图像包括H通道、S通道和V通道三个通道,HSV通道图像中的每个像素点的像素值均由三个通道的颜色值表示,其中V通道的颜色值也称为灰度值。
步骤S208,对HSV通道图像中的V通道进行增强处理,得到增强后的HSV通道图像,其中,该增强处理用于根据HSV通道图像中的各像素点在V通道上的灰度分布状况对HSV通道图像中的各像素点的灰度值进行均衡化调整,使得HSV通道图像中灰度值最大的像素点的灰度值被调整至预设灰度区间的灰度上限,且增强后的HSV通道图像中的各像素点的灰度值在该预设灰度区间内分布均匀。
上述预设灰度区间可以根据实际需求设置,可以与原始图像对应的灰度区间相同,也可以与原始图像对应的灰度区间不同,例如,预设灰度区间设置为0~255,此时,HSV通道图像中灰度值最大的像素点的灰度值被调整至255。
可选地,可以采用直方图均衡化方法对HSV通道图像中的V通道进行增强处理,得到增强后的HSV通道图像。
步骤S210,将增强后的HSV通道图像的色彩模式转换为RGB模式,得到初始增强图像。
这样对于较暗区域(第一区域)较多的原始图像,其HSV通道图像中各个像素点的灰度等级绝大部分处于低等级的状态(多数像素点的灰度值较小),通过灰度值的均衡化调整尽可能保证增强后的HSV通道图像中的各像素点的灰度值在各个灰度等级出现频率一样,使得原始图像中各像素点的灰度值得到提高,从而使得原始图像中的处于欠曝状态的第一区域在初始增强图像变为未处于欠曝状态,原始图像中的处于未处于欠曝状态的第二区域在初始增强图像变为处于过曝状态。
步骤S212,获取上述原始图像的光照图像。
在一些可能的实施例中,可以采用Retinex算法求取原始图像的反射图像,然后根据该反射图像和原始图像,确定原始图像的光照图像。其中,Retinex算法可以采用单尺度的Retinex模型、多尺度的Retinex模型或改进的Retinex模型。
基于Retinex算法获取原始图像的光照图像的原理如下:原始图像I可以看成是光照图像L和反射图像R构成,入射光照射在反射物体上,通过反射物体的反射形成反射光进入人眼,就是人眼所看到的原始图像I,光照图像L直接决定了原始图像中像素点的亮度值,反射图像R表示原始图像的内在属性,I、R、L三者直接的关系可以通过以下公式表示。
I(x,y)=R(x,y)*L(x,y),
其中,I(x,y)表示原始图像I中像素点(x,y)处的像素值,R(x,y)表示反射图像R中像素点(x,y)处的像素值,L(x,y)表示光照图像L中像素点(x,y)处的像素值。通过Retinex算法估计反射图像R,从而求得光照图像L。
以单尺度的Retinex模型为例,通过以下公式求解光照图像L:
r(x,y)=lgI(x,y)-lg[F(x,y)*I(x,y)], (2)
∫∫F(x,y)dxdy=1, (4)
其中,r(x,y)表示以10为底R(x,y)的对数,x表示像素点的行数,y表示像素点的列数,β为系数,c表示高斯环绕尺度。c为预先设置的参数,c可以根据实际需要设置,例如将c设置为3、5或7。
具体地,可以先通过公式(3)和(4)确定β的值,再根据公式(1)和(2)求解出R(x,y),进而求得L(x,y)。
步骤S214,对上述光照图像进行归一化处理,得到原始图像对应的权重图像。
上述权重图像用于表征原始图像的光照权重信息。具体地,可以采用最大最小归一化方法或标准归一化方法对上述光照图像进行像素值的归一化处理,得到原始图像对应的权重图像。光照图像中每个像素点的像素值经像素值归一化后得到的像素值即为权重图像中的权重值(光照权重的大小)。该权重图像中光照权重与对应像素点的亮度成正相关。
以最大最小归一化方法为例,可以通过以下公式计算归一化后的像素值:
其中,p表示光照图像L中的像素值(即归一化前的像素值),q表示归一化后的像素值(即权重图像中的权重值)。
步骤S216,根据上述权重图像对原始图像和初始增强图像进行图像融合处理,得到目标增强图像。
可以通过以下公式对原始图像和初始增强图像进行图像融合处理,得到目标增强图像:
D=I*W+E*(P-W),
其中,D表示目标增强图像的图像矩阵,I表示原始图像的图像矩阵,W表示权重图像的图像矩阵,E表示初始增强图像的图像矩阵,P表示原始图像对应的单位矩阵。
步骤S218,根据待处理视频中的每个图像帧对应的目标增强图像,生成用于播放的目标视频。
通过对待处理视频中每个图像帧进行上述过程的图像增强处理,可以得到每个图像帧对应的目标增强图像,将每个图像帧对应的目标增强图像按照原始的时间顺序进行合并,即可得到用于播放的目标视频。
本发明实施例中,对待处理视频进行切帧处理,得到原始图像;采用直方图均衡化方法获取初始增强图像,基于Retinex算法获取的光照图像来获取权重图像,进而将原始图像和初始增强图像按照权重图像进行融合,得到目标增强图像。该方式实现了对视频图像的自适应暗场增强,可以使原始图像上的暗区域得到增强,防止原始图像上较亮区域在图像增强后过曝,保证图像色彩不失真,提升视频图像的质量。另外,该方式计算简单,易于实现。
对应于上述的图像增强方法,本发明实施例还提供了一种图像增强装置,参见图3所示的一种图像增强装置的结构示意图,该装置包括:
增强模块32,用于对待处理的原始图像进行对比度增强处理,得到初始增强图像,其中,原始图像包括第一区域和第二区域,原始图像中的第一区域处于欠曝状态,原始图像中的第二区域未处于欠曝状态,初始增强图像中的第一区域未处于欠曝状态,初始增强图像中的第二区域处于过曝状态;
第一获取模块34,用于获取原始图像的光照权重信息,其中,光照权重信息用于指示原始图像中的每个像素点对应的光照权重,光照权重与对应像素点的亮度相关;
融合模块36,用于根据光照权重信息对原始图像和初始增强图像进行图像融合处理,得到目标增强图像,其中,目标增强图像中的第一区域和第二区域均处于曝光正常状态。
本发明实施例中,增强模块32对待处理的原始图像进行对比度增强处理,得到初始增强图像,其中,原始图像包括第一区域和第二区域,原始图像中的第一区域处于欠曝状态,原始图像中的第二区域未处于欠曝状态,初始增强图像中的第一区域未处于欠曝状态,初始增强图像中的第二区域处于过曝状态;第一获取模块34获取原始图像的光照权重信息,其中,光照权重信息用于指示原始图像中的每个像素点对应的光照权重,光照权重与对应像素点的亮度相关;融合模块36根据光照权重信息对原始图像和初始增强图像进行图像融合处理,得到目标增强图像,其中,目标增强图像中的第一区域和第二区域均处于曝光正常状态。上述方式在对原始图像和经对比度增强处理得到的初始增强图像进行图像融合处理,得到目标增强图像时,充分考虑到了图像中不同区域的像素点亮度不同(光照权重信息),使得所得到的目标增强图像中的第一区域和第二区域均处于曝光正常状态,从而有效改善了现有技术中存在的图像中较暗区域的增强效果不足,较亮区域又容易过度增强,导致颜色失真的问题。
可选地,在原始图像的色彩模式为RGB模式的情况下,上述增强模块32具体用于:将原始图像的色彩模式转换为HSV模式,得到HSV通道图像;对HSV通道图像中的V通道进行增强处理,得到增强后的HSV通道图像,其中,该增强处理用于根据HSV通道图像中的各像素点在V通道上的灰度分布状况对HSV通道图像中的各像素点的灰度值进行均衡化调整,使得HSV通道图像中灰度值最大的像素点的灰度值被调整至预设灰度区间的灰度上限,且增强后的HSV通道图像中的各像素点的灰度值在预设灰度区间内分布均匀;将增强后的HSV通道图像的色彩模式转换为RGB模式,得到初始增强图像。
参见图4所示的另一种图像增强装置的结构示意图,在图3的基础上,上述第一获取模块34包括:
获取单元341,用于获取原始图像的光照图像;
处理单元342,用于对光照图像进行归一化处理,得到原始图像对应的权重图像,其中,权重图像用于表征原始图像的光照权重信息。
可选地,上述获取单元341具体用于:获取原始图像的反射图像;根据反射图像和原始图像,确定原始图像的光照图像。
可选地,上述处理单元342具体用于:采用最大最小归一化方法或标准归一化方法对光照图像进行归一化处理,得到原始图像对应的权重图像。
可选地,上述光照权重与对应像素点的亮度成正相关;上述融合模块36具体用于:通过以下公式对原始图像和初始增强图像进行图像融合处理,得到目标增强图像:
D=I*W+E*(P-W),
其中,D表示目标增强图像的图像矩阵,I表示原始图像的图像矩阵,W表示权重矩阵,权重矩阵根据光照权重信息所指示的原始图像中的各个像素点对应的光照权重确定,E表示初始增强图像的图像矩阵,P表示原始图像对应的单位矩阵。
可选地,在原始图像为待处理视频中的图像帧的情况下,如图4所示,上述装置还包括:
第二获取模块42,用于获取待处理视频;对待处理视频进行切帧处理,得到原始图像;
生成模块44,用于根据待处理视频中的每个图像帧对应的目标增强图像,生成用于播放的目标视频。
本实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
参见图5所示的一种电子设备的结构示意图,本发明实施例还提供一种电子设备100,包括:处理器50,存储器51,总线52和通信接口53,所述处理器50、通信接口53和存储器51通过总线52连接;处理器50用于执行存储器51中存储的可执行模块,例如计算机程序。
其中,存储器51可能包含高速随机存取存储器(RAM,RandomAccessMemory),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线52可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器51用于存储程序,所述处理器50在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中,或者由处理器50实现。
处理器50可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51,处理器50读取存储器51中的信息,结合其硬件完成上述方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前面方法实施例中所述的图像增强方法。该计算机可读存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种图像增强方法,其特征在于,包括:
对待处理的原始图像进行对比度增强处理,得到初始增强图像,其中,所述原始图像包括第一区域和第二区域,所述原始图像中的第一区域处于欠曝状态,所述原始图像中的第二区域未处于欠曝状态,所述初始增强图像中的第一区域未处于欠曝状态,所述初始增强图像中的第二区域处于过曝状态;
获取所述原始图像的光照权重信息,其中,所述光照权重信息用于指示所述原始图像中的每个像素点对应的光照权重,所述光照权重与对应像素点的亮度相关;
根据所述光照权重信息对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像,其中,所述目标增强图像中的第一区域和第二区域均处于曝光正常状态;
所述光照权重与对应像素点的亮度成正相关;所述根据所述光照权重信息对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像,包括:
通过以下公式对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像:
D=I*W+E*(P-W),
其中,D表示所述目标增强图像的图像矩阵,I表示所述原始图像的图像矩阵,W表示权重矩阵,所述权重矩阵根据所述光照权重信息所指示的所述原始图像中的各个像素点对应的光照权重确定,E表示所述初始增强图像的图像矩阵,P表示所述原始图像对应的单位矩阵。
2.根据权利要求1所述的方法,其特征在于,在所述原始图像的色彩模式为RGB模式的情况下,所述对待处理的原始图像进行对比度增强处理,得到初始增强图像,包括:
将所述原始图像的色彩模式转换为HSV模式,得到HSV通道图像;
对所述HSV通道图像中的V通道进行增强处理,得到增强后的HSV通道图像,其中,所述增强处理用于根据所述HSV通道图像中的各像素点在V通道上的灰度分布状况对所述HSV通道图像中的各像素点的灰度值进行均衡化调整,使得所述HSV通道图像中灰度值最大的像素点的灰度值被调整至预设灰度区间的灰度上限,且所述增强后的HSV通道图像中的各像素点的灰度值在所述预设灰度区间内分布均匀;
将所述增强后的HSV通道图像的色彩模式转换为RGB模式,得到所述初始增强图像。
3.根据权利要求1所述的方法,其特征在于,所述获取所述原始图像的光照权重信息,包括:
获取所述原始图像的光照图像;
对所述光照图像进行归一化处理,得到所述原始图像对应的权重图像,其中,所述权重图像用于表征所述原始图像的光照权重信息。
4.根据权利要求3所述的方法,其特征在于,所述获取所述原始图像的光照图像,包括:
获取所述原始图像的反射图像;
根据所述反射图像和所述原始图像,确定所述原始图像的光照图像。
5.根据权利要求3所述的方法,其特征在于,所述对所述光照图像进行归一化处理,得到所述原始图像对应的权重图像,包括:
采用最大最小归一化方法或标准归一化方法对所述光照图像进行归一化处理,得到所述原始图像对应的权重图像。
6.根据权利要求1所述的方法,其特征在于,在所述原始图像为待处理视频中的图像帧的情况下,
在所述对待处理的原始图像进行对比度增强处理,得到初始增强图像之前,所述方法还包括:获取所述待处理视频;对所述待处理视频进行切帧处理,得到所述原始图像;
在根据所述光照权重信息对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像之后,所述方法还包括:根据所述待处理视频中的每个所述图像帧对应的目标增强图像,生成用于播放的目标视频。
7.一种图像增强装置,其特征在于,包括:
增强模块,用于对待处理的原始图像进行对比度增强处理,得到初始增强图像,其中,所述原始图像包括第一区域和第二区域,所述原始图像中的第一区域处于欠曝状态,所述原始图像中的第二区域未处于欠曝状态,所述初始增强图像中的第一区域未处于欠曝状态,所述初始增强图像中的第二区域处于过曝状态;
第一获取模块,用于获取所述原始图像的光照权重信息,其中,所述光照权重信息用于指示所述原始图像中的每个像素点对应的光照权重,所述光照权重与对应像素点的亮度相关;
融合模块,用于根据所述光照权重信息对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像,其中,所述目标增强图像中的第一区域和第二区域均处于曝光正常状态;
所述光照权重与对应像素点的亮度成正相关;所述融合模块具体用于:
通过以下公式对所述原始图像和所述初始增强图像进行图像融合处理,得到目标增强图像:
D=I*W+E*(P-W),
其中,D表示所述目标增强图像的图像矩阵,I表示所述原始图像的图像矩阵,W表示权重矩阵,所述权重矩阵根据所述光照权重信息所指示的所述原始图像中的各个像素点对应的光照权重确定,E表示所述初始增强图像的图像矩阵,P表示所述原始图像对应的单位矩阵。
8.一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1-6中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911126297.5A CN112819702B (zh) | 2019-11-15 | 2019-11-15 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
PCT/CN2020/127717 WO2021093718A1 (zh) | 2019-11-15 | 2020-11-10 | 视频处理方法、视频修复方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911126297.5A CN112819702B (zh) | 2019-11-15 | 2019-11-15 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819702A CN112819702A (zh) | 2021-05-18 |
CN112819702B true CN112819702B (zh) | 2024-02-20 |
Family
ID=75852193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911126297.5A Active CN112819702B (zh) | 2019-11-15 | 2019-11-15 | 图像增强方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819702B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256522A (zh) * | 2021-05-21 | 2021-08-13 | 上海国茂数字技术有限公司 | 低照度图像增强的方法、装置及可读存储介质 |
CN113436282A (zh) * | 2021-06-16 | 2021-09-24 | 湖南国天电子科技有限公司 | 一种图像增强型相机 |
CN113379650B (zh) * | 2021-07-22 | 2023-03-17 | 浙江大华技术股份有限公司 | 人脸图像曝光方法、装置、电子设备及存储介质 |
CN114565563B (zh) * | 2022-01-31 | 2022-12-02 | 扬州江净空调制造有限公司 | 基于人工智能的彩钢板表面异常检测方法 |
CN114494084B (zh) * | 2022-04-14 | 2022-07-26 | 广东欧谱曼迪科技有限公司 | 一种图像颜色均化方法、装置、电子设备及存储介质 |
CN115100212B (zh) * | 2022-08-29 | 2022-11-18 | 卡松科技股份有限公司 | 一种润滑油污染程度检测方法 |
CN115293994B (zh) * | 2022-09-30 | 2022-12-16 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN115797225B (zh) * | 2023-01-06 | 2023-04-21 | 山东环宇地理信息工程有限公司 | 一种水下地形测量用无人船采集图像增强方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056559A (zh) * | 2016-06-30 | 2016-10-26 | 河海大学常州校区 | 基于暗通道先验的非均匀光场水下目标探测图像增强方法 |
CN107492075A (zh) * | 2017-07-28 | 2017-12-19 | 浙江大学 | 一种基于细节增强的单张ldr图像曝光校正的方法 |
WO2019183813A1 (zh) * | 2018-03-27 | 2019-10-03 | 华为技术有限公司 | 一种拍摄方法及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9307212B2 (en) * | 2007-03-05 | 2016-04-05 | Fotonation Limited | Tone mapping for low-light video frame enhancement |
-
2019
- 2019-11-15 CN CN201911126297.5A patent/CN112819702B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056559A (zh) * | 2016-06-30 | 2016-10-26 | 河海大学常州校区 | 基于暗通道先验的非均匀光场水下目标探测图像增强方法 |
CN107492075A (zh) * | 2017-07-28 | 2017-12-19 | 浙江大学 | 一种基于细节增强的单张ldr图像曝光校正的方法 |
WO2019183813A1 (zh) * | 2018-03-27 | 2019-10-03 | 华为技术有限公司 | 一种拍摄方法及设备 |
Non-Patent Citations (2)
Title |
---|
一种非线性组合变换的图像增强技术;江忠良;;电子世界(23);全文 * |
单张LDR图像的曝光校正与细节增强;常猛;冯华君;徐之海;李奇;;光子学报(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112819702A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112819702B (zh) | 图像增强方法、装置、电子设备及计算机可读存储介质 | |
CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
WO2017121018A1 (zh) | 二维码图像处理的方法和装置、终端、存储介质 | |
US8300051B2 (en) | Apparatus and method for enhancing images in consideration of region characteristics | |
JP6548743B2 (ja) | カラーキャリブレーション装置及び方法 | |
CN109829859B (zh) | 图像处理方法及终端设备 | |
CN111163268B (zh) | 一种图像处理方法、装置以及计算机存储介质 | |
US8594446B2 (en) | Method for enhancing a digitized document | |
WO2019201184A1 (zh) | 一种车牌增强方法、装置及电子设备 | |
CN111091571A (zh) | 细胞核分割方法、装置、电子设备及计算机可读存储介质 | |
Buades et al. | Backlit images enhancement using global tone mappings and image fusion | |
CN114511479A (zh) | 图像增强方法和装置 | |
Abebe et al. | Towards an automatic correction of over-exposure in photographs: Application to tone-mapping | |
CN112967273A (zh) | 图像处理方法、电子设备及存储介质 | |
Joshi et al. | Image enhancement with naturalness preservation | |
CN107424134B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
KR101516632B1 (ko) | 동영상의 평균 밝기 변화율을 유지하는 시각적 임계치를 이용한 이분할 히스토그램 평활화 장치 | |
CN113160103B (zh) | 图像处理方法及装置、存储介质、终端 | |
CN116438594A (zh) | 图像亮度调节方法、图像亮度调节装置、电子设备 | |
CN110674828B (zh) | 一种归一化眼底图像的方法和装置 | |
CN113850727A (zh) | 一种利用光照先验对照度不均匀人脸图像进行增强的方法 | |
Yun et al. | A contrast enhancement method for HDR image using a modified image formation model | |
CN112819838A (zh) | 图像增强方法、电子装置和存储介质 | |
CN112581380A (zh) | 图像的色彩增强方法、装置和服务器 | |
Kim et al. | Intensity surface stretching technique for contrast enhancement of digital photography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |