CN113850745A - 视频图像增强处理方法及装置 - Google Patents
视频图像增强处理方法及装置 Download PDFInfo
- Publication number
- CN113850745A CN113850745A CN202111197089.1A CN202111197089A CN113850745A CN 113850745 A CN113850745 A CN 113850745A CN 202111197089 A CN202111197089 A CN 202111197089A CN 113850745 A CN113850745 A CN 113850745A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- matrix
- video
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 136
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 240000004282 Grewia occidentalis Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开一种视频图像增强处理方法及装置,用以解决图像细节增强中不能同时满足适配性要求及实时性要求的问题。其中,一种视频图像增强处理方法,包括以下具体步骤:输入待处理视频;转存所述待处理视频中的图像帧,得到待处理数组;转换所述待处理数组,得到待处理矩阵;通过增强算法处理所述待处理矩阵,得到增强图像矩阵;将所述增强图像矩阵输出为可视图像。通过适配不同应用场景,能对不同应用场景中的图像细节进行增强,同时具有很好的处理实时性。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种视频图像增强处理方法及装置。
背景技术
社会的发展伴随着互联网领域与移动端的兴起,红外摄像头已经被广泛用于生活的各种场景,每天都有大量的相关视频被采集和上传,如何将这些视频变得更有价值变得非常具有研究意义。由于硬件的限制或场景的特殊性,红外摄像机所拍摄的视频会有模糊和过曝等现象,在白天与黑夜的时间中得到的图像亮度也有很大差异,且黑白成像的细节可能不够完善,这就导致大量视频可能是无效的,人们在观看视频时得到有用的信息会比较少。当前已存在很多图像增强算法用于解决上述存在的问题。
在实现现有技术的过程中,发明人发现:
现有的传统图像增强算法很多效果并不理想,适用的视频格式有限制,无法有效适配各种不同场景的亮度进行图像细节增强。深度学习方法在实时性上达不到要求。
因此,需要提供一种视频图像增强处理方法及装置,用以解决图像细节增强中不能同时满足适配性要求及实时性要求的技术问题。
发明内容
本申请实施例提供一种视频图像增强处理方法及装置,用以解决图像细节增强中不能同时满足适配性要求及实时性要求的技术问题。
具体的,一种视频图像增强处理方法,包括以下具体步骤:
输入待处理视频;
转存所述待处理视频中的图像帧,得到待处理数组;
转换所述待处理数组,得到待处理矩阵;
通过增强算法处理所述待处理矩阵,得到增强图像矩阵;
将所述增强图像矩阵输出为可视图像。
进一步的,转换所述待处理数组,得到待处理矩阵,包括以下具体步骤:
获取所述待处理数组的数组长度、所述图像帧的图像尺寸;
根据所述数组长度和图像尺寸,计算所述待处理视频的视频帧数;
以所述数组长度、所述图像尺寸、所述待处理数组及所述视频帧数为参数,通过矩阵转换函数,得到待处理矩阵。
进一步的,所述视频帧数的计算公式如下:
k=len/(Height*Width)
其中,k表示视频帧数,len表示数组长度,Height表示图像尺寸中的长度,Width表示图像尺寸中的宽度。
进一步的,所述待处理矩阵的计算公式如下:
images=reshape(data,Width,Height,k)
其中,images表示待处理矩阵,reshape为数组变换函数,data为存储有图像读取参数的待处理数组,k表示视频帧数,Height表示图像尺寸中的长度,Width表示图像尺寸中的宽度。
进一步的,通过增强算法处理所述待处理矩阵,得到增强图像矩阵,包括以下具体步骤:
归一化所述待处理矩阵,得到归一化图像矩阵;
提取所述归一化图像矩阵的高斯拉普拉斯算子,得到优化图像矩阵;
将所述优化图像矩阵中的图像帧进行分块,并结合直方图均衡化算法及双线性插值算法进行处理,得到增强图像矩阵。
进一步的,所述待处理矩阵的归一化计算公式如下:
R[i]=(image[i]-min)/(max-min)
其中,R[i]为第i帧图像对应的归一化图像矩阵,image[i]为第i帧图像的待处理矩阵,min与max分别代表矩阵中像素点的最小值与最大值。
进一步的,提取所述归一化图像矩阵的高斯拉普拉斯算子的计算公式如下:
G[i]=log(1+v*R[i])/log(v+1)
其中,log为高斯拉普拉斯算子提取函数,R[i]为第i帧图像对应的归一化图像矩阵,v为固定参数。
进一步的,将所述优化图像矩阵中的图像帧进行分块,并结合直方图均衡化算法及双线性插值算法进行处理,得到增强图像矩阵,包括以下具体步骤:
将所述优化图像矩阵中的图像帧进行均匀分块处理,得到单位图像块;
通过直方图均衡算法处理所述单位图像块,得到优化图像块;
根据所述优化图像块的分布情况,分别通过灰度映射、线性插值及双线性插值算法确定所述优化图像块的像素,得到增强图像矩阵。
进一步的,通过直方图均衡算法处理所述单位图像块,得到优化图像块,包括以下具体步骤:
计算所述单位图像块的直方图;
根据阈值裁剪所述直方图,得到裁减直方图;
均衡处理所述裁剪直方图,得到优化图像块。
本申请还提供一种视频图像增强处理装置,包括:
输入模块,用于输入待处理视频;
转存模块,用于转存所述待处理视频中的图像帧,得到待处理数组;
转换模块,用于转换所述待处理数组,得到待处理矩阵;
图像增强模块,用于通过增强算法处理所述待处理矩阵,得到增强图像矩阵;
输出模块,用于将所述增强图像矩阵输出为可视图像。
本申请实施例提供的技术方案,至少具有如下有益效果:
通过适配不同应用场景,能对不同应用场景中的图像细节进行增强,同时具有很好的处理实时性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种视频图像增强处理方法的流程图;
图2为本申请实施例提供的一种视频图像增强处理装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参照图1,一种视频图像增强处理方法,包括以下具体步骤:
S100:输入待处理视频。
需要指出的是,这里的待处理视频可以为12位原始图像格式的视频数据。优选的,这里的待处理视频为raw原相机视频格式。不同的相机产生的RAW文件的扩展名一般不同。这里的待处理视频可以为红外设备录制的视频文件。这里的红外设备可以是红外摄像头。在具体的实施过程中,可以通过调用文件读取函数读取待处理视频,完成待处理视频的输入操作。
S200:转存所述待处理视频中的图像帧,得到待处理数组。
可以理解的是,组成视频的最小单位为图像帧。这里的待处理视频可以拆分为图像帧。在具体的实施过程中,这里的待处理视频以图像帧的形式转存至数组中,最终得到的数组可以理解为这里的待处理数组。当这里的待处理视频为12位图像的raw格式的待处理视频时,可以将读取的待处理视频的参数读取进uint16的数组中。需要指出的是,在处理待处理视频中相应规格的图像帧时,优选以只读方式打开待处理视频数据。显而易见的是,以只读方式打开待处理视频数据,可以有效防止图像数据被误编辑,提高数据的稳定性。
S300:转换所述待处理数组,得到待处理矩阵。
可以理解的是,这里的待处理矩阵需要和待处理数组对应,从而确保待处理数组中的图像数据能够在待处理矩阵中对应保存。这里的转换操作可以理解为将包含整个待处理视频的数据的待处理数组重构为对应矩阵。
具体的,转换所述待处理数组,得到待处理矩阵,包括以下具体步骤:
获取所述待处理数组的数组长度、所述图像帧的图像尺寸;
根据所述数组长度和图像尺寸,计算所述待处理视频的视频帧数;
以所述数组长度、所述图像尺寸、所述待处理数组及所述视频帧数为参数,通过矩阵转换函数,得到待处理矩阵。
可以理解的是,在进行数组转换时,需要确保原始的待处理视频数据中比较关键的图像帧的数据能够完整地转换至待处理矩阵。在具体的实施过程中,可以先通过相应的函数计算待处理数组的数组长度和图像帧的图像尺寸,并获取存储有所有图像帧的图像读取参数的待处理数组。根据数组长度与图像尺寸,通过相应的计算公式可以计算出待处理视频的视频帧数。在具体使用矩阵转换函数生成待处理矩阵时,可以以得到的数组长度、图像尺寸、待处理数组及视频参数为输入参数,通过调用矩阵转换函数,将指定的数组变换成特定维数的矩阵,得到相应的待处理矩阵。需要指出的是,得到的待处理矩阵中的元素个数相对原始的待处理数组的元素个数不变,待处理矩阵的行数和列数为待处理视频的图像帧的图像尺寸,待处理矩阵的维数为视频帧数。
进一步的,所述视频帧数的计算公式如下:
k=len/(Height*Width)
其中,k表示视频帧数,len表示数组长度,Height表示图像尺寸中的长度,Width表示图像尺寸中的宽度。
需要说明的是,视频帧数k是指待处理视频的总的图像帧的数量,数组长度len是指待处理视频转存至待处理数组后占用的数组的总长度,图像尺寸中的长度Height指的是单个图像帧的尺寸中的长度占用的数组长度,图像尺寸中的宽度Width指的是单个图像帧的尺寸中的宽度占用的数组长度。这里的Height*Width代表单帧图像在数组中占用的数组长度。显然,通过计算数组长度和单帧图像的占用长度之比,可以得到待处理视频的视频帧数。
具体的,所述待处理矩阵的计算公式如下:
images=reshape(data,Width,Height,k)
其中,images表示待处理矩阵,reshape为数组变换函数,data为存储有图像读取参数的待处理数组,k表示视频帧数,Height表示图像尺寸中的长度,Width表示图像尺寸中的宽度。
需要指出的是,reshape是一种可以重新调整矩阵的行数、列数及维数的函数。这里的data为存储有待处理视频中所有图像帧的图像读取参数的待处理数组。得到的待处理矩阵images中的元素个数相对原始的待处理数组data的元素个数不变,待处理矩阵images的行数和列数为待处理视频的图像帧的图像尺寸,待处理矩阵images的维数k为视频帧数。
S400:通过增强算法处理所述待处理矩阵,得到增强图像矩阵。
可以理解的是,通过增强算法处理待处理矩阵时,需要对待处理视频的每一帧图像进行图像增强操作。具体的,先对图像数据进行相应的预处理,然后对预处理过的图像数据进行核心的图像细节的增强处理,最终得到增强处理过的增强图像矩阵。
进一步的,通过增强算法处理所述待处理矩阵,得到增强图像矩阵,包括以下具体步骤:
归一化所述待处理矩阵,得到归一化图像矩阵;
提取所述归一化图像矩阵的高斯拉普拉斯算子,得到优化图像矩阵;
将所述优化图像矩阵中的图像帧进行分块,并结合直方图均衡化算法及双线性插值算法进行处理,得到增强图像矩阵。
需要指出的是,归一化是一种简化计算的方式,可以将有量纲的表达式,经过变换,转化为无量纲的表达式,成为标量。本申请中采用的归一化操作是对实际待处理视频的数据参数进行分析后,对待处理矩阵采取的动态归一化,不是对待处理矩阵中的每一帧图像数据进行单独处理。例如,可以根据预设数量的图像帧,综合选取归一化上下限。优选的,这里的预设数量设置为1000。在对待处理矩阵进行归一化操作后,可以将待处理矩阵中存储的原图数据压缩为0到1之间的浮点数,最终得到归一化图像矩阵。显然,通过动态归一化机制得到的归一化图像矩阵,可以根据实际情况进行相应的数据调整,有助于提高视频图像增强处理能力。高斯拉普拉斯算子是在高斯函数的基础上再利用拉普拉斯算子提取边缘得出的一个算子,可以用于突出图像中的边缘。本申请中,通过对归一化图像矩阵提取高斯拉普拉斯算子,可以进一步优化图像数据,为之后的图像增强处理降低处理难度,有效提高图像增强效率。直方图均衡化算法是一种增强图像对比度的方法,主要是将一副图像的直方图分布变成近似均匀分布,从而增强图像的对比度。双线性插值算法是针对2维直线网格上的2个自变量函数z=f(x,y)的插值,先在一个方向上执行线性插值,再在另一个方向上操作一次。本申请中,在运用直方图均衡化算法和双线性插值算法生成增强图像矩阵时,先将得到的优化图像矩阵中的图像帧分块处理,然后运用直方图均衡化算法进行优化,最终通过双线性插值算法处理得到增强图像矩阵。显然,通过综合运用动态归一化、高斯拉普拉斯算子、直方图均衡化算法及双线性插值算法等,可以有效提高图像的增强处理能力,提高最终图像的可识别度。
具体的,所述待处理矩阵的归一化计算公式如下:
R[i]=(image[i]-min)/(max-min)
其中,R[i]为第i帧图像对应的归一化图像矩阵,image[i]为第i帧图像的待处理矩阵,min与max分别代表矩阵中像素点的最小值与最大值,i为整数。
可以理解的是,由于视频文件是由多帧图像构成的,因此,在进行归一化操作时,需要采用可以综合多帧图像数据的动态归一化方法。在具体的实施过程中,公式中max与min的选取操作如下:首先定义两个全局变量数组max与min,用来储存预设数量的图像帧的最大与最小像素值,在处理预设数量中的每一帧图像的过程中,将每一帧中的最大值与最小值加入对应的全局数组后取平均值。经过实际的测试及实验,优选的,这里的预设数量设置为1000。这样的操作可以有效避免视频中出现突然的过曝或过暗后导致归一化的结果出现问题,解决了在图像增强后出现突然的亮度变化的问题。
进一步的,提取所述归一化图像矩阵的高斯拉普拉斯算子的计算公式如下:
G[i]=log(1+v*R[i])/log(v+1)
其中,G[i]为第i帧图像对应的优化图像矩阵,log为高斯拉普拉斯算子提取函数,R[i]为第i帧图像对应的归一化图像矩阵,v为固定参数,i为整数。
需要指出的是,G[i]为提取高斯拉普拉斯算子之后得到的进一步优化的对应图像帧的矩阵,对应的图像帧的亮度可以得到有效提高,有助于后续的图像增强处理。优选的,这里的固定参数v设置为10。显然,通过提取高斯拉普拉斯算子的方式优化归一化图像矩阵,可以有效提高图像增强能力。
具体的,将所述优化图像矩阵中的图像帧进行分块,并结合直方图均衡化算法及双线性插值算法进行处理,得到增强图像矩阵,包括以下具体步骤:
将所述优化图像矩阵中的图像帧进行均匀分块处理,得到单位图像块;
通过直方图均衡算法处理所述单位图像块,得到优化图像块;
根据所述优化图像块的分布情况,分别通过灰度映射、线性插值及双线性插值算法确定所述优化图像块的像素,得到增强图像矩阵。
需要指出的是,在将优化图像矩阵中的图像帧进行均匀分块处理时,可以根据图像帧的尺寸信息和分块的数量,确定分块时行索引和列索引的数据,最终进行均匀分块得到单位图像块。优选的,这里分块的数量为4x4。直方图均衡化,是通过使用累积分布函数对灰度值进行调整以实现对比度的增强,主要是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。在具体的实施过程中,在运用直方图均衡算法时,需要先计算单位图像块的直方图,然后修剪直方图,最后进行直方图均衡化处理。直方图的数目优选为256。在分块对图像帧进行直方图均衡算法处理时,由于每个子块直方图不同,分块需均衡化,得到均衡后的子块直方图,由于各子块在均衡前后的直方图不同,各子块输出的灰度发生变化,如果直接根据均衡化后的直方图得出结果图像,此时,对应的像素只按照所属子块的灰度变换得到输出结果,相邻块之间会出现块效应。对此,可以据相邻块的直方图信息,利用双线性插值算法,在不影响图像增强效果的前提下,以分配权值的方式确定相邻块之间的输出像素,消除差异。在具体的实施过程中,为防止图像帧分块得到的各分块区域的边界出现不连续现象,本申请结合使用双线性插值算法,将原始图像中的像素按照分布分为三种情况处理:四角区域中的像素按照其所在子图的变换函数进行灰度映射;四边区域中的像素按照所在的两个相邻子图变换函数变换后进行线性插值得到;其他区域中的像素按照其所在的四个相邻子图变换函数变换后双线性插值得到。通过结合利用双线性插值算法,可以有效提高整个图像增强处理效率。
进一步的,通过直方图均衡算法处理所述单位图像块,得到优化图像块,包括以下具体步骤:
计算所述单位图像块的直方图;
根据阈值裁剪所述直方图,得到裁减直方图;
均衡处理所述裁剪直方图,得到优化图像块。
需要说明的是,计算单位图像块的直方图时,可以采用常用的计算方法。具体的,可以先计算单位图像块的灰度值数据的最大值和最小值,得到极差,即数据的最大值减去最小值;确定直方图的组数,然后计算极差与组数之间的比值,可得到直方图每组的宽度,即组距;确定各组的界限值,分组时把所有的数据包括在内;统计各组的频数,最终得到需要的直方图。在计算得到直方图后,可以进一步裁剪直方图。优选的,直方图分布的阈值为0.01。将超过阈值的分布进行裁剪,并得到裁剪直方图。进一步的,把裁剪下来的部分均匀分散至概率密度分布上,由此来限制转换函数(累计直方图)的增幅,实现对裁剪直方图的均衡处理,得到优化图像块。累计直方图代表图像组成成分在灰度级的累计概率分布情况,每一个概率值代表小于等于此灰度值的概率。在指定的像素值周边的对比度放大主要是由变换函数的斜度决定的。这个斜度和区域的累积直方图的斜度成比例。通过用预先定义的阈值来裁剪直方图可以达到限制放大幅度的目的。通过限制累计直方图函数的斜度,可以对应限制变换函数的斜度。显然,通过设置阈值裁剪直方图并进行相应的均衡处理,可以有效提高图像增强效果。
S500:将所述增强图像矩阵输出为可视图像。
可以理解的是,一般的可视图像的位深度为8,即颜色区分度数量为8bit。这里的可视图像可以理解为一般的图像或视频。本申请中的增强图像矩阵,最终可以通过简单的数据转换,输出为可以观测的8位图像或视频。这些以8位图像或视频形式输出的可视图像,可以直接在计算机上观察图像增强后的效果。
需要指出的是,本申请可以适应不同场景的图像,并且有很好的增强效果,可以有效处理视频图像中亮度过高及图片泛白的问题,对于过暗场景有较好的增亮效果,可以明显增强各种场景下的图像细节。本申请还可以直接与现有的红外摄像头设备适配,实时处理并反馈结果。
请参照图2,本申请还提供一种视频图像增强处理装置100,包括:
输入模块11,用于输入待处理视频;
转存模块12,用于转存所述待处理视频中的图像帧,得到待处理数组;
转换模块13,用于转换所述待处理数组,得到待处理矩阵;
图像增强模块14,用于通过增强算法处理所述待处理矩阵,得到增强图像矩阵;
输出模块15,用于将所述增强图像矩阵输出为可视图像。
需要指出的是,输入模块11中的待处理视频可以为12位原始图像格式的视频数据,优选的,这里的待处理视频为raw原相机视频格式。不同的相机产生的RAW文件的扩展名一般不同。这里的待处理视频可以为红外设备录制的视频文件。这里的红外设备可以是红外摄像头。在具体的实施过程中,可以通过调用文件读取函数读取待处理视频,完成待处理视频的输入操作。可以理解的是,组成视频的最小单位为图像帧。转存模块12在进行转存操作时,可以将从输入模块11获取的待处理视频拆分为图像帧。在具体的实施过程中,这里的待处理视频以图像帧的形式转存至数组中,最终得到的数组可以理解为这里的待处理数组。当这里的待处理视频为12位图像的raw格式的待处理视频时,可以将读取的待处理视频的参数读取进uint16的数组中。需要指出的是,在处理待处理视频中相应规格的图像帧时,优选的,以只读方式打开待处理视频数据,在此基础上进行读取图像帧并转存至数组的操作。以只读方式打开待处理视频数据,可以防止图像数据被误编辑,减小对最终的图像质量的影响。需要指出的是,转换模块13在将待处理数组转换为待处理矩阵时,待处理矩阵需要和待处理数组对应,确保待处理数组中的图像数据能够在待处理矩阵中对应保存。这里的转换操作可以理解为将包含整个待处理视频的数据的待处理数组重构为对应矩阵。可以理解的是,图像增强模块14通过增强算法处理待处理矩阵时,需要对待处理视频的每一帧图像进行图像增强操作,也就是需要对待处理矩阵中每一帧图像对应的矩阵数据进行图像增强处理。具体的,先对图像数据进行相应的预处理,然后对预处理过的图像数据进行核心的图像细节的增强处理,最终得到增强处理过的增强图像矩阵。可以理解的是,一般的可视图像的位深度为8,即颜色区分度数量为8bit。输出模块15输出的可视图像可以理解为一般的图像或视频。本申请中的增强图像矩阵,最终可以通过简单的数据转换,输出为可以观测的8位图像或视频。这些以8位图像或视频形式输出的可视图像,可以直接在计算机上观察图像增强后的效果。
需要指出的是,视频图像增强处理装置100可以适应不同场景的图像,并且有很好的增强效果,可以有效处理视频图像中亮度过高及图片泛白问题,对于过暗场景有较好的增亮效果,可以明显增强各种场景下的图像细节。视频图像增强处理装置100还可以直接与现有的红外摄像头设备适配,实时处理并反馈结果。
本申请实施例提供的技术方案,至少具有如下有益效果:
适配不同应用场景,能对不同应用场景中的图像细节进行增强,同时具有很好的处理实时性。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,有语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种视频图像增强处理方法,其特征在于,包括以下具体步骤:
输入待处理视频;
转存所述待处理视频中的图像帧,得到待处理数组;
转换所述待处理数组,得到待处理矩阵;
通过增强算法处理所述待处理矩阵,得到增强图像矩阵;
将所述增强图像矩阵输出为可视图像。
2.根据权利要求1所述的处理方法,其特征在于,转换所述待处理数组,得到待处理矩阵,包括以下具体步骤:
获取所述待处理数组的数组长度、所述图像帧的图像尺寸;
根据所述数组长度和图像尺寸,计算所述待处理视频的视频帧数;
以所述数组长度、所述图像尺寸、所述待处理数组及所述视频帧数为参数,通过矩阵转换函数,得到待处理矩阵。
3.根据权利要求2所述的处理方法,其特征在于,所述视频帧数的计算公式如下:
k=len/(Height*Width)
其中,k表示视频帧数,len表示数组长度,Height表示图像尺寸中的长度,Width表示图像尺寸中的宽度。
4.根据权利要求2所述的处理方法,其特征在于,所述待处理矩阵的计算公式如下:
images=reshape(data,Width,Height,k)
其中,images表示待处理矩阵,reshape为数组变换函数,data为存储有图像读取参数的待处理数组,k表示视频帧数,Height表示图像尺寸中的长度,Width表示图像尺寸中的宽度。
5.根据权利要求1所述的处理方法,其特征在于,通过增强算法处理所述待处理矩阵,得到增强图像矩阵,包括以下具体步骤:
归一化所述待处理矩阵,得到归一化图像矩阵;
提取所述归一化图像矩阵的高斯拉普拉斯算子,得到优化图像矩阵;
将所述优化图像矩阵中的图像帧进行分块,并结合直方图均衡化算法及双线性插值算法进行处理,得到增强图像矩阵。
6.根据权利要求5所述的处理方法,其特征在于,所述待处理矩阵的归一化计算公式如下:
R[i]=(image[i]-min)/(max-min)
其中,R[i]为第i帧图像对应的归一化图像矩阵,image[i]为第i帧图像的待处理矩阵,min与max分别代表矩阵中像素点的最小值与最大值。
7.根据权利要求5所述的处理方法,其特征在于,提取所述归一化图像矩阵的高斯拉普拉斯算子的计算公式如下:
G[i]=log(1+v*R[i])/log(v+1)
其中,log为高斯拉普拉斯算子提取函数,R[i]为第i帧图像对应的归一化图像矩阵,v为固定参数。
8.根据权利要求5所述的处理方法,其特征在于,将所述优化图像矩阵中的图像帧进行分块,并结合直方图均衡化算法及双线性插值算法进行处理,得到增强图像矩阵,包括以下具体步骤:
将所述优化图像矩阵中的图像帧进行均匀分块处理,得到单位图像块;
通过直方图均衡算法处理所述单位图像块,得到优化图像块;
根据所述优化图像块的分布情况,分别通过灰度映射、线性插值及双线性插值算法确定所述优化图像块的像素,得到增强图像矩阵。
9.根据权利要求8所述的处理方法,其特征在于,通过直方图均衡算法处理所述单位图像块,得到优化图像块,包括以下具体步骤:
计算所述单位图像块的直方图;
根据阈值裁剪所述直方图,得到裁减直方图;
均衡处理所述裁剪直方图,得到优化图像块。
10.一种视频图像增强处理装置,其特征在于,包括:
输入模块,用于输入待处理视频;
转存模块,用于转存所述待处理视频中的图像帧,得到待处理数组;
转换模块,用于转换所述待处理数组,得到待处理矩阵;
图像增强模块,用于通过增强算法处理所述待处理矩阵,得到增强图像矩阵;
输出模块,用于将所述增强图像矩阵输出为可视图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111197089.1A CN113850745A (zh) | 2021-10-14 | 2021-10-14 | 视频图像增强处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111197089.1A CN113850745A (zh) | 2021-10-14 | 2021-10-14 | 视频图像增强处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113850745A true CN113850745A (zh) | 2021-12-28 |
Family
ID=78978384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111197089.1A Pending CN113850745A (zh) | 2021-10-14 | 2021-10-14 | 视频图像增强处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113850745A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114494083A (zh) * | 2022-04-14 | 2022-05-13 | 杭州雄迈集成电路技术股份有限公司 | 一种自适应提升视频通透性方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017202244A1 (zh) * | 2016-05-26 | 2017-11-30 | 深圳市中兴微电子技术有限公司 | 一种图像增强方法和装置、计算机存储介质 |
CN109509261A (zh) * | 2018-11-26 | 2019-03-22 | 端美科技(中山)有限公司 | 一种增强现实的方法、装置及计算机存储介质 |
CN112040337A (zh) * | 2020-09-01 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 视频的水印添加和提取方法、装置、设备及存储介质 |
WO2021047396A1 (zh) * | 2019-09-10 | 2021-03-18 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN113065645A (zh) * | 2021-04-30 | 2021-07-02 | 华为技术有限公司 | 孪生注意力网络、图像处理方法和装置 |
-
2021
- 2021-10-14 CN CN202111197089.1A patent/CN113850745A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017202244A1 (zh) * | 2016-05-26 | 2017-11-30 | 深圳市中兴微电子技术有限公司 | 一种图像增强方法和装置、计算机存储介质 |
CN109509261A (zh) * | 2018-11-26 | 2019-03-22 | 端美科技(中山)有限公司 | 一种增强现实的方法、装置及计算机存储介质 |
WO2021047396A1 (zh) * | 2019-09-10 | 2021-03-18 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN112040337A (zh) * | 2020-09-01 | 2020-12-04 | 腾讯科技(深圳)有限公司 | 视频的水印添加和提取方法、装置、设备及存储介质 |
CN113065645A (zh) * | 2021-04-30 | 2021-07-02 | 华为技术有限公司 | 孪生注意力网络、图像处理方法和装置 |
Non-Patent Citations (2)
Title |
---|
周浦城;周远;韩裕生;: "视频图像去雨技术研究进展", 图学学报, no. 05, 15 October 2017 (2017-10-15), pages 3 - 20 * |
赵彤;刘洁瑜;刘星: "空对地场景信息辅助的目标检测算法", 计算机辅助设计与图形学学报, vol. 31, no. 010, 31 December 2019 (2019-12-31), pages 1795 - 1801 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114494083A (zh) * | 2022-04-14 | 2022-05-13 | 杭州雄迈集成电路技术股份有限公司 | 一种自适应提升视频通透性方法和系统 |
CN114494083B (zh) * | 2022-04-14 | 2022-07-29 | 杭州雄迈集成电路技术股份有限公司 | 一种自适应提升视频通透性方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7359572B2 (en) | Automatic analysis and adjustment of digital images with exposure problems | |
US10853925B2 (en) | Methods, systems, and media for image processing | |
EP3572928B1 (en) | Method for producing high dynamic range image from low dynamic range image | |
JP4083587B2 (ja) | 画質向上方法及びそのための装置 | |
KR101970122B1 (ko) | Hdr 이미지들을 위한 이미지 프로세싱 | |
RU2400815C2 (ru) | Способ повышения качества цифрового фотоизображения | |
US7570390B2 (en) | Image processing device and method | |
JP3828210B2 (ja) | 画像コントラスト強化方法 | |
EP2492867B1 (en) | Methods and systems for converting images from low dynamic range to high dynamic range | |
CN111292269B (zh) | 图像色调映射方法、计算机装置及计算机可读存储介质 | |
EP3214600B1 (en) | Method for processing high dynamic range (hdr) data from a nonlinear camera | |
EP0826197A1 (en) | Method and apparatus for pixel level luminance adjustment | |
US7471847B2 (en) | Image processing method and apparatus for correcting image brightness distribution | |
WO2001063558A2 (en) | System and method for image processing | |
JP2010130150A (ja) | 階調補正装置および撮像装置 | |
CN113850745A (zh) | 视频图像增强处理方法及装置 | |
JP4208767B2 (ja) | 画像処理装置及び画像処理方法 | |
CN114445300A (zh) | 一种双曲正切变形函数变换的非线性水下图像增益算法 | |
WO2023096728A1 (en) | Denoising for sdr-to-hdr local reshaping | |
WO2023205548A1 (en) | Generating hdr image from corresponding camera raw and sdr images | |
CN118400618A (zh) | 高动态范围图像处理方法、装置、设备及存储介质 | |
CN115546055A (zh) | 一种基于自适应裁剪系数的低照度视频图像增强方法 | |
Sahib et al. | Contrast Image Enhancement By Gamma Correction | |
JP2013070132A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |