CN113436086B - 非均匀光照视频的处理方法、电子设备及存储介质 - Google Patents
非均匀光照视频的处理方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113436086B CN113436086B CN202110604393.7A CN202110604393A CN113436086B CN 113436086 B CN113436086 B CN 113436086B CN 202110604393 A CN202110604393 A CN 202110604393A CN 113436086 B CN113436086 B CN 113436086B
- Authority
- CN
- China
- Prior art keywords
- image
- dodging
- frame
- brightness
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000001914 filtration Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种针对非均匀光照视频的处理方法、电子设备及存储介质，所述方法包括：分别对待处理视频中的每帧图像执行帧内匀光处理，以得到第一匀光图像；获取所述第一匀光图像对应的二值掩码数据；根据所述二值掩码数据，将所述第一匀光图像分类为第一类图像和第二类图像；对所述第二类图像执行帧间匀光处理，以得到第二匀光图像；输出所述第二匀光图像，得到目标视频。本发明能够对非均匀光照视频中的图像进行帧内匀光处理，进一步进行帧间匀光处理，能够提高视频中图像的亮度一致性，从而提高视频质量。
Description
技术领域
本发明属于视频数据处理领域，具体涉及一种针对非均匀光照视频的处理方法、电子设备及存储介质。
背景技术
随着视频在人们生活中越来越广泛地应用，人们对视频质量的要求也越来越高，尤其是交通监控、社区安防监控等领域。
目前，当人们在光源不稳定、光源覆盖不完全等区域，进行视频采集时，会遇到视频图像偏暗或过亮，亮度不一致等问题，如在夜间使用监控设备采集视频。
现有技术中，通常使用色彩映射类、背景融合类、模型类和直方图类等方法进行非均匀光照视频图像增强，以解决上述问题。但是，所述色彩映射类的方法是一种将低动态范围的图像近似显示为高动态范围图像的技术，该技术进行动态范围拓展以进行视频图像增强的过程中，会衰减视频图像对比度；所述背景融合类的方法不能适用于移动场景，对移动物体的增强效果较差；所述模型类的方法对视频图像局部信息的增强效果较差，且算法结构不灵活，算法结构可拓展性不好；所述直方图类的方法在进行视频图像增强时，会损失图像中大量的细节信息，图像纹理损失较大。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种针对非均匀光照视频的处理方法、电子设备及存储介质。本发明要解决的技术问题通过以下技术方案实现：
一种针对非均匀光照视频的处理方法，所述方法包括：分别对待处理视频中的每帧图像执行帧内匀光处理，以得到第一匀光图像；获取所述第一匀光图像对应的二值掩码数据；根据所述二值掩码数据，将所述第一匀光图像分类为第一类图像和第二类图像；对所述第二类图像执行帧间匀光处理，以得到第二匀光图像；输出所述第二匀光图像，得到目标视频。
在本发明的一个实施例中，所述分别对待处理视频中的每帧图像执行帧内匀光处理之前，所述方法还包括：在待处理视频中的所有图像中，确定参考图像。
在本发明的一个实施例中，所述在待处理视频的所有图像中，确定参考图像，包括：确定每帧图像对应的亮度纹理信息；对所述亮度纹理信息进行评分，以得到每帧图像对应的评分值；将评分值最优的图像，确定为参考图像，否则确定为非参考图像。
本发明的有益效果：
本发明能够针对非均匀光照视频，先进行图像的帧内匀光处理操作，提高图像的光照均匀度，再对执行帧内匀光处理后得到的所述第一匀光图像进行分类，对其中的第二类图像执行帧间匀光处理，以进一步提高图像之间的亮度一致性，解决图像偏暗或偏亮，以及图像之间亮度不一致等问题，提高视频质量。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种针对非均匀光照视频的处理方法流程示意图；
图2(a)是本发明实施例提供的一种参考图像示意图；
图2(b)是本发明实施例提供的针对图2(a)进行帧内匀光处理，以得到的第一匀光图像示意图；
图3(a)是本发明实施例提供的一种非均匀低光照图像示意图；
图3(b)是本发明实施例提供的针对图3(a)进行匀光处理，以得到的第二匀光图像示意图；
图4(a)是本发明实施例提供的一种非均匀高光照图像示意图；
图4(b)是本发明实施例提供的针对图4(a)进行匀光处理，以得到的第二匀光图像示意图；
图5是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
请参见图1，图1是本发明实施例提供的本发明实施例提供的一种针对非均匀光照视频的处理方法流程示意图，所述方法包括：
步骤101，分别对待处理视频中的每帧图像执行帧内匀光处理，以得到第一匀光图像。
所述第一匀光图像指的是，执行了帧内匀光处理后的图像。
可选的，所述步骤101之前，所述方法还包括：在待处理视频中的所有图像中，确定参考图像。
所述参考图像的光照强度和光照分布均匀度最优，在后续对图像进行帧间匀光处理时，本发明可以基于所有图像中的所述参考图像，对所有图像中的其他图像(非参考图像)，进行帧间匀光处理，从而调整视频的光照强度和光照分布均匀度。所述参考图像可以表示为Ir。
可选的，所述在待处理视频的所有图像中，确定参考图像，包括：
步骤S11，确定每帧图像对应的亮度纹理信息。
所述亮度纹理信息能够体现所述图像的光照强度以及光照分布情况。
步骤S12，对所述亮度纹理信息进行评分，以得到每帧图像对应的评分值。
当所述亮度纹理信息的评分低时，说明所述图像的光照强度以及光照分布情况差。
步骤S13，将评分值最优的图像，确定为参考图像，否则确定为非参考图像。
将所有图像中光照强度以及光照分布情况最优的图像，确定为参考图像。示例如：待处理视频包括10帧图像，其中第3帧图像的亮度纹理信息评分最高，将所述第3帧图像确定为参考图像，第1、2、4、5、6、7、8、9帧图像确定为非参考图像。
可选的，所述步骤S11包括：
步骤S111，获取每帧图像对应的灰度图像，以及所述灰度图对应的直方图。
将所述灰度图像表示为Ig。
步骤S112，对所述灰度图像执行直方图均衡化操作，以得到增强图像。
将所述增强图像表示为Ie。
步骤S113，获取所述灰度图像与所述增强图像之间的相似度信息。
示例如，所述相似度信息为SSIM(structural similarity，结构相似度)信息，表示为：SSIM(Ig,Ie)。
步骤S114，获取所述图像对应的熵值信息，其中，所述熵值信息中包括：灰度图像熵值、增强图像熵值、灰度图像与增强图像之间的交叉熵值。
本发明可以基于公式(1)、(2)，获取所述熵值信息，其中，所述灰度图像熵值表示为Eg、增强图像熵值表示为Ee、灰度图像与增强图像之间的交叉熵值表示为Eeg、Ege。
其中，所述h(i)表示直方图中样本i的数量，所述b表示最大灰度级。
步骤S115，根据所述相似度信息与所述熵值信息，确定所述亮度纹理信息。
本发明能够基于SSIM(Ig,Ie)、Eg、Ee以及Eeg、Ege，对图像的亮度纹理信息进行评分。
可选的，通过图像质量评估系统执行步骤S11至步骤S13的方法，以得到评分结果。
需要说明的是所述图像质量评估系统是经由包含常见图像、图像SSIM(Ig,Ie)、所述图像直方图的熵Eg、Ee以及交叉熵Eeg、Ege、主观得分构成的训练集，训练得到的。
参见图2，是本发明实施例提供的一种参考图像示意图。
可选的，所述步骤101包括：
步骤S21，分别对每帧图像进行电光转换操作，并得到所述图像对应的原始RGB颜色空间图像。
RGB颜色空间图像是指以R(Red:红)、G(Green:绿)、B(Blue:蓝)三种基本色为基础，进行不同程度的叠加，所述RGB颜色空间图像包括红绿蓝三个通道，通过一个单位程度的立方体来表示图像颜色。所述原始RGB颜色空间图像指的是未进行帧内匀光处理的图像对应的RGB颜色空间图像。
另外，所述原始RGB颜色空间图像是一种线性表示的RGB颜色空间图像。
可选的，所述分别对每帧图像进行电光转换操作，包括：
步骤S211，分别对每帧图像进行归一化处理，以得到归一化图像。
将所述图像表示为I，将所述归一化图像表示为In。
当对第t帧图像进行归一化处理时，第t帧图像表示为It，其中，t表示帧图像的序号，t大于等于1，将归一化图像表示为Itn。
步骤S212，对所述归一化图像进行电光转换操作。
本发明可以按照公式(4)进行电光转换，表示为：
其中，i表示行坐标，j表示列坐标，IL表示电光转换后的光信号。
步骤S22，按照第一计算规则，对所述原始RGB颜色空间图像进行计算，以得到待处理HSV颜色空间图像，所述待处理HSV颜色空间图像中包括待处理亮度通道。
HSV颜色空间图像是根据颜色的直观特性创建的一种颜色空间，也称六角椎体模型，所述HSV颜色空间图像是从所述RGB颜色空间图像演化而来，其中，H表示色调通道(Hue)，S表示饱和度通道(Saturation)，V表示亮度通道(Value)，又称V通道，所述亮度通道的取值范围为0.0(黑色)～1.0(白色)，所述亮度通道表示颜色明亮的程度。
所述第一计算规则由本领域技术人员根据业务需要进行设置，本发明不做具体限制。示例如，所述第一计算规则参见公式(5)，按照公式(5)对所述原始RGB颜色空间图像进行计算，能够得到待处理HSV颜色空间图像中的待处理亮度通道，公式(5)表示为：
Itv(i,j)＝max(ItR(i,j),ItG(i,j),ItB(i,j)) (5)
其中，对第t帧图像It进行帧内匀光操作时，ItR(i,j)、ItG(i,j)、ItB(i,j)表示It在红绿蓝通道像素上的强度信息；Itv表示第t帧图像对应的待处理亮度通道。
步骤S23，按照预设亮度调整规则，对所述待处理亮度通道进行调整，以得到目标亮度通道以及目标HSV颜色空间图像。
可选的，所述按照预设亮度调整规则包括第一预设亮度调整规则和第一预设亮度调整规则，所述按照预设亮度调整规则，对所述待处理亮度通道进行调整，包括：
步骤S231，按照第一预设亮度调整规则，消除所述待处理亮度通道中的乘性噪声。
步骤S232，按照第二预设亮度调整规则，增强所述待处理亮度通道的亮度值。
所述第一预设亮度调整规则和第二预设亮度调整规则，由本领域技术人员根据业务需要进行设置，本发明不做限制，通过所述预设亮度调整规则，能够对待处理亮度通道中的明亮信息进行调整，以实现对视频中的所有图像进行帧内匀光处理。
示例如，所述第一预设亮度调整规则为：使用同态滤波处理方案；所述第二预设亮度调整规则为：使用伽马变换处理方案。则本发明能够使用同态滤波消除所述待处理亮度通道中的乘性噪声，能够使用伽马变换提高所述待处理亮度通道的亮度值。
步骤S24，按照第二计算规则，对所述目标HSV颜色空间图像进行计算，以得到目标RGB颜色空间图像。
所述第二计算规则由本领域技术人员根据业务需要进行设置，本发明不做具体限制。通过所述第二计算规则，能够将目标HSV颜色空间图像转换为目标RGB颜色空间图像。
所述待处理HSV颜色空间图像指的是未进行V通道调整，即，未进行帧内匀光处理的图像对应的HSV颜色空间图像，所述目标HSV颜色空间图像指的是已进行V通道调整，即，进行了帧内匀光处理的图像对应的HSV颜色空间图像。
所述目标RGB颜色空间图像指的是进行了帧内匀光处理后的图像对应的RGB颜色空间图像。另外，所述目标RGB颜色空间图像是一种线性表示的RGB颜色空间图像。
步骤S25，对所述目标RGB颜色空间图像进行光电转换操作，以完成对每帧图像执行帧内匀光处理，以得到第一匀光图像。
根据公式(6)对所述目标RGB颜色空间图像进行光电转换操作，表示为：
其中，所述IV表示进行光电转换后的电信号。
可选的，步骤S25包括：
步骤S251，对所述目标RGB颜色空间图像进行光电转换操作。
步骤S251，将光电转换后的电信号进行还原，以完成对每帧图像执行帧内匀光处理，得到第一匀光图像。
需要说明的是，在进行电光转换之前，本发明对所述图像进行归一化处理，基于归一化图像进行帧内匀光处理，因此，进行光电转换操作之后，还需要将电信号还原，即，还原帧图像的像素深度。还原后的图像即为第一匀光图像。
参见图3是本发明实施例提供的针对图2(参考图像)进行帧内匀光处理，以得到的第一匀光图像示意图。
本发明能够通过步骤101，针对视频中的每帧图像，进行帧内匀光处理。具体的，通过第一预设亮度调整规则和第二预设亮度调整规则，消除帧图像对应的V通道的乘性噪声以及提高V通道的亮度值，从而实现帧内匀光处理，提高图像的光照均匀度。
步骤102，获取所述第一匀光图像对应的二值掩码数据。
对视频中所有帧图像进行帧内匀光处理后，得到第一匀光图像，所述第一匀光图像包括：参考图像对应的第一匀光图像和非参考图像对应的第一匀光图像。
可选的，所述步骤102包括：获取参考图像对应的第一匀光图像的二值掩码数据，以及，获取非参考图像对应的第一匀光图像的二值掩码数据。
将所述参考图像对应的二值掩码数据表示为Irvb，将第t帧所述非参考图像对应的二值掩码数据表示为Itvb。
可选的，所述步骤102包括：
步骤S31，对所述目标亮度通道进行归一化处理，以得到归一化亮度通道。
将参考图像对应的归一化亮度通道表示为Irvn，将第t帧非参考图像对应的归一化亮度通道表示为Itvn。
可选的，所述步骤S31包括：
步骤S311，获取所述第一匀光图像对应的目标亮度通道。
步骤S312，按照预设滤波规则，对所述目标亮度通道进行滤波调整。
通过预设滤波规则能够增强第一匀光图像对应的光照亮度信息，提高获取二值掩码数据与帧图像真实亮度的匹配度。
所述预设滤波规则由本领域技术人员根据业务需要进行设置，本发明不做限制，示例如，所述预设滤波规则为最小值滤波与均值滤波。
步骤S313，对滤波调整后的所述目标亮度通道进行归一化处理，以得到归一化亮度通道。
步骤S32，获取所述归一化亮度通道对应的全局阈值。
将所述全局阈值表示为T，本发明可以基于预设阈值计算规则，获取所述全局阈值，所述预设阈值计算规则由本领域技术人员根据业务需要设置，本发明不做限制。示例如，所述预设阈值计算规则为：使用OTSU(最大类间方差法)方法根据直方图，计算获取全局阈值，所述OTSU方法的计算速度快，不受图像亮度和对比度的影响，能够提高计算全局阈值的效率和准确度，以及能够保证全局阈值黑白像素的类间方差最大。
步骤S33，基于所述全局阈值，对所述归一化亮度通道执行二值化操作，以获取所述第一匀光图像对应的二值掩码数据。
对归一化亮度通道二值化，得到二值掩码数据。将参考图像对应的二值掩码数据表示为Irvb，将第t帧非参考图像对应的二值掩码数据表示为Itvb。
步骤103，根据所述二值掩码数据，将所述第一匀光图像分类为第一类图像和第二类图像。
具体的，本发明能够基于参考图像对应的二值掩码数据，分析非参考图像的二值掩码数据，从而将非参考图像对应的第一匀光图像分类为第一类图像和第二类图像。
可选的，所述步骤103包括：
步骤S41，将参考图像对应的二值掩码数据中的位置元素，与非参考图像对应的二值掩码数据中的位置元素，执行与运算操作。
步骤S42，获取同为1的位置元素，得到目标二值掩码数据。
示例如：待处理视频包括10帧图像，其中第3帧图像的亮度纹理信息评分最高，将所述第3帧图像确定为参考图像，第1、2、4、5、6、7、8、9帧图像确定为非参考图像。第3帧图像(参考图像)对应的二值掩码数据Irvb为：
第1帧图像(非参考图像)对应的二值掩码数据I1vb为：
获取同为1的位置元素，得到第1帧图像对应的目标二值掩码数据Icvb为：
步骤S43，将所述参考图像对应的二值掩码数据中的位置元素之和，确定为第一和值。
示例如：第3帧图像(参考图像)对应的二值掩码数据Irvb为：
其中，位置元素之和为5，则确定第一和值Sr为5。
步骤S44，将所述目标二值掩码数据对应的位置元素之和，确定为第二和值。
示例如，第1帧图像对应的目标二值掩码数据Icvb为：
其中，位置元素之和为3，则确定第二和值Sc为3。
步骤S45，获取所述第一和值与所述第二和值的比值。
示例如，所述第一和值为5，第二和值为3，第二和值/第一和值＝3/5＝0.6，得到第1帧图像对应的比值k为0.6。
步骤S46，当所述比值未超过预设阈值时，将所述比值对应的非参考图像分类为第一类图像。或，
步骤S47，当所述比值超过预设阈值时，将所述比值对应的非参考图像分类为第二类图像。
所述预设阈值由本领域技术人员根据业务需要预先设置，本发明对此不做具体限制。当比值未超过预设阈值时，说明非参考图像与参考图像的光照区域不匹配，则不能通过参考图像对非参考图像进行帧间匀光处理，则将该非参考图像分类为第一类图像，并将该帧图像直接输出。当比值超过预设阈值时，说明非参考图像与参考图像的光照区域匹配，则能通过参考图像对非参考图像进行帧间匀光处理。
示例如，所述预设阈值设置为0.35，当第3帧图像(非参考图像)与参考图像和值的比值k＝0.6时，将第3帧图像分类为第二类图像。
步骤104，对所述第二类图像执行帧间匀光处理，以得到第二匀光图像。
本发明将进行了帧内匀光处理之后的非参考图像分类为第一类图像和第二类图像，所述第二类图像需要进一步进行帧间匀光处理。具体的，在第二类图像中确定比参考图像暗的图像，以及确定比参考图像亮的图像，从而高准确度地进行帧间匀光处理。
可选的，所述步骤104包括：
步骤S51，对所述第一匀光图像进行电光转换操作，以得到所述第一匀光图像对应的原始光照强度信息。
为了将电子设备获取的视频数据，反映在电子设备的屏幕上，需要在所述电子设备中对获取到的视频进行电光转换操作，所述电光转换操作通常是非线性的操作。通过所述电光转换能够获取视频帧图像中的原始光照强度信息，所述原始光照强度信息指的是第一匀光图像对应的真实的光照强度信息，即，未进行帧间匀光处理时的光照强度信息。
步骤S52，获取所述参考图像对应的第一亮度均值。
所述第一匀光图像中包括执行帧内匀光处理后的参考图像及非参考图像。获取执行帧内匀光处理后的参考图像对应的第一亮度均值Mr，表示为：
其中，算子
表示矩阵对应位置元素相乘，||·||1表示矩阵的l1范数。
步骤S53，获取所述第二类图像对应的第二亮度均值。
可选地，所述步骤S53包括：
步骤S531，将第二类图像对应的二值掩码数据中的位置元素之和，确定为第三和值。
步骤S532，确定所述第一和值与所述第三和值之间的大小关系。
根据所述第一和值与所述第三和值之间的大小关系，能够确定参考图像与第二类图像之间的亮度关系。
步骤S533，根据所述大小关系，获取所述第二类图像对应的第二亮度均值。
当所述第一和值大于所述第三和值时，说明第二类图像比参考图像暗，根据公式(8)计算所述第二类图像对应的第二亮度均值：
或者，当所述第一和值小于所述第三和值时，说明第二类图像比参考图像亮，根据公式(9)计算所述第二类图像对应的第二亮度均值：
本发明能够确定第二类图像与参考图像之间的亮度关系，使获得的第二亮度均值更精准，从而提高帧间匀光处理的准确度。
示例如：第3帧图像(参考图像)对应的第一和值大于第1帧图像(非参考图像且被分类为第二类图像)对应的第三和值，则确定所述第1帧图像对应的第二亮度均值，表示为：
步骤S54，根据所述第一亮度均值、所述第二亮度均值和所述原始光照强度信息，计算得到目标光照强度信息。
所述目标光照强度信息指的是进行了帧间匀光处理后的图像的光照强度信息。
将目标光照强度信息表示为Ine。
计算得到目标光照强度信息表示为：
步骤S55，对所述目标光照强度信息进行光电转换操作，以得到第二匀光图像。
参见图3(a)是本发明实施例提供的一种非均匀低光照图像示意图，参见图3(b)是本发明实施例提供的针对图3(a)进行匀光处理，以得到的第二匀光图像示意图。
参见图4(a)是本发明实施例提供的一种非均匀高光照图像示意图，参见图4(b)是本发明实施例提供的针对图4(a)进行匀光处理，以得到的第二匀光图像示意图。
步骤105，输出所述第二匀光图像，得到目标视频。
综上，本发明能够针对非均匀光照视频，先进行图像的帧内匀光处理操作，提高图像的光照均匀度，再基于参考图像，对执行帧内匀光处理后的非参考图像进行分类，分类为第一类图像和第二类图像，对第二类图像执行帧间匀光处理，以进一步提高图像之间的亮度一致性，从而提高图像的光照分布均匀度，以及避免图像偏暗或偏亮导致图像之间亮度不一致的问题，避免视频亮度波动，提高视频质量。
实施例二
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
分别对待处理视频中的每帧图像执行帧内匀光处理，以得到第一匀光图像；
获取所述第一匀光图像对应的二值掩码数据；
根据所述二值掩码数据，将所述第一匀光图像分类为第一类图像和第二类图像；
对所述第二类图像执行帧间匀光处理，以得到第二匀光图像；
输出所述第二匀光图像，得到目标视频。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述一种针对非均匀光照视频的处理方法的装置、电子设备及存储介质，则上述一种针对非均匀光照视频的处理方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
应用本发明实施例所提供的终端设备，可以展示专有名词和/或固定词组供用户选择，进而减少用户输入时间，提高用户体验。
该终端设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的电子装置。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白，本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (7)
1.一种针对非均匀光照视频的处理方法，其特征在于，所述方法包括：
分别对待处理视频中的每帧图像执行帧内匀光处理，以得到第一匀光图像；
获取所述第一匀光图像对应的二值掩码数据；
根据所述二值掩码数据，将所述第一匀光图像分类为第一类图像和第二类图像；
对所述第二类图像执行帧间匀光处理，以得到第二匀光图像；
输出所述第二匀光图像，得到目标视频；
所述分别对待处理视频中的每帧图像执行帧内匀光处理之前，所述方法还包括：在待处理视频中的所有图像中，确定参考图像；
所述在待处理视频的所有图像中，确定参考图像，包括：
确定每帧图像对应的亮度纹理信息；
对所述亮度纹理信息进行评分，以得到每帧图像对应的评分值；
将评分值最优的图像，确定为参考图像，否则确定为非参考图像；
所述根据所述二值掩码数据，将所述第一匀光图像分类为第一类图像和第二类图像，包括：
将参考图像对应的二值掩码数据中的位置元素，与非参考图像对应的二值掩码数据中的位置元素，执行与运算操作；
获取同为1的位置元素，得到目标二值掩码数据；
将所述参考图像对应的二值掩码数据中的位置元素之和，确定为第一和值；
将所述目标二值掩码数据对应的位置元素之和，确定为第二和值；
获取所述第一和值与所述第二和值的比值；
当所述比值未超过预设阈值时，将所述比值对应的非参考图像分类为第一类图像；或，
当所述比值超过预设阈值时，将所述比值对应的非参考图像分类为第二类图像。
2.根据权利要求1所述的方法，其特征在于，所述确定每帧图像对应的亮度纹理信息，包括：
获取每帧图像对应的灰度图像，以及所述灰度图对应的直方图；
对所述灰度图像执行直方图均衡化操作，以得到增强图像；
获取所述灰度图像与所述增强图像之间的相似度信息；
获取所述图像对应的熵值信息，其中，所述熵值信息中包括：灰度图像熵值、增强图像熵值、灰度图像与增强图像之间的交叉熵值；
根据所述相似度信息与所述熵值信息，确定所述亮度纹理信息。
3.根据权利要求1所述的方法，其特征在于，所述分别对待处理视频中的每帧图像执行帧内匀光处理，以得到第一匀光图像，包括：
分别对每帧图像进行电光转换操作，并得到所述图像对应的原始RGB颜色空间图像；
按照第一计算规则，对所述原始RGB颜色空间图像进行计算，以得到待处理HSV颜色空间图像，所述待处理HSV颜色空间图像中包括待处理亮度通道；
按照预设亮度调整规则，对所述待处理亮度通道进行调整，以得到目标亮度通道以及目标HSV颜色空间图像；
按照第二计算规则，对所述目标HSV颜色空间图像进行计算，以得到目标RGB颜色空间图像；
对所述目标RGB颜色空间图像进行光电转换操作，以完成对每帧图像执行帧内匀光处理，得到第一匀光图像。
4.根据权利要求3所述的方法，其特征在于，所述获取所述第一匀光图像对应的二值掩码数据，包括：
对所述目标亮度通道进行归一化处理，以得到归一化亮度通道；
获取所述归一化亮度通道对应的全局阈值；
基于所述全局阈值，对所述归一化亮度通道执行二值化操作，以获取所述第一匀光图像对应的二值掩码数据。
5.根据权利要求1所述的方法，其特征在于，所述对所述第二类图像执行帧间匀光处理，以得到第二匀光图像，包括：
对所述第一匀光图像进行电光转换操作，以得到所述第一匀光图像对应的原始光照强度信息；
获取所述参考图像对应的第一亮度均值；
获取所述第二类图像对应的第二亮度均值；
根据所述第一亮度均值、所述第二亮度均值和所述原始光照强度信息，计算得到目标光照强度信息；
对所述目标光照强度信息进行光电转换操作，以得到第二匀光图像。
6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的方法步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110604393.7A CN113436086B (zh) | 2021-05-31 | 2021-05-31 | 非均匀光照视频的处理方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110604393.7A CN113436086B (zh) | 2021-05-31 | 2021-05-31 | 非均匀光照视频的处理方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113436086A CN113436086A (zh) | 2021-09-24 |
| CN113436086B true CN113436086B (zh) | 2023-04-11 |
Family
ID=77804175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110604393.7A Active CN113436086B (zh) | 2021-05-31 | 2021-05-31 | 非均匀光照视频的处理方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436086B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008528A (zh) * | 2014-05-21 | 2014-08-27 | 河海大学常州校区 | 基于阈值分割的非均匀光场水下目标探测图像增强方法 |
| CN105046658A (zh) * | 2015-06-26 | 2015-11-11 | 北京大学深圳研究生院 | 一种低照度图像处理方法和装置 |
| WO2017206657A1 (zh) * | 2016-06-01 | 2017-12-07 | 努比亚技术有限公司 | 一种图像处理方法、装置、移动终端及计算机存储介质 |
| CN108550160A (zh) * | 2018-04-03 | 2018-09-18 | 大连理工大学 | 基于光强模板的非均匀光条特征区域提取方法 |
| CN112734650A (zh) * | 2019-10-14 | 2021-04-30 | 武汉科技大学 | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11521328B2 (en) * | 2019-10-16 | 2022-12-06 | Banner Engineering Corp | Image-based jam detection |
-
2021
- 2021-05-31 CN CN202110604393.7A patent/CN113436086B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008528A (zh) * | 2014-05-21 | 2014-08-27 | 河海大学常州校区 | 基于阈值分割的非均匀光场水下目标探测图像增强方法 |
| CN105046658A (zh) * | 2015-06-26 | 2015-11-11 | 北京大学深圳研究生院 | 一种低照度图像处理方法和装置 |
| WO2017206657A1 (zh) * | 2016-06-01 | 2017-12-07 | 努比亚技术有限公司 | 一种图像处理方法、装置、移动终端及计算机存储介质 |
| CN108550160A (zh) * | 2018-04-03 | 2018-09-18 | 大连理工大学 | 基于光强模板的非均匀光条特征区域提取方法 |
| CN112734650A (zh) * | 2019-10-14 | 2021-04-30 | 武汉科技大学 | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| Low light image enhancement based on non-uniform illumination prior modal;yahong wu et al.;《IET image processing》;20191010;第1-9页 * |
| 基于图像分割的数字航空影像匀光;王晶等;《地理空间信息》;20080228(第01期);第82-84页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113436086A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103593830B (zh) | 一种低照度视频图像增强方法 | |
| Rivera et al. | Content-aware dark image enhancement through channel division | |
| WO2017092431A1 (zh) | 基于肤色的人手检测方法及装置 | |
| US10878543B2 (en) | Group management method, terminal, and storage medium | |
| WO2020125631A1 (zh) | 视频压缩方法、装置和计算机可读存储介质 | |
| US20090317017A1 (en) | Image characteristic oriented tone mapping for high dynamic range images | |
| CN111079740A (zh) | 图像的质量评价方法、电子设备和计算机可读存储介质 | |
| CN110610463A (zh) | 一种图像增强方法及装置 | |
| CN107507144B (zh) | 肤色增强的处理方法、装置及图像处理装置 | |
| CN105809643B (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
| CN110069974B (zh) | 高光图像处理方法、装置和电子设备 | |
| US20080279467A1 (en) | Learning image enhancement | |
| CN109871845B (zh) | 证件图像提取方法及终端设备 | |
| CN109686342B (zh) | 一种图像处理方法及装置 | |
| CN110310231B (zh) | 一种将第一动态范围视频转换为第二动态范围视频的设备及其方法 | |
| Choi et al. | Deep learning-based computational color constancy with convoluted mixture of deep experts (CMoDE) fusion technique | |
| US20170161875A1 (en) | Video resolution method and apparatus | |
| CN107256539B (zh) | 一种基于局部对比度的图像锐化方法 | |
| Wang et al. | Low-light Images In-the-wild: A Novel Visibility Perception-guided Blind Quality Indicator | |
| CN111797694A (zh) | 一种车牌检测方法及装置 | |
| Jiang et al. | Blind quality evaluator of tone-mapped HDR and multi-exposure fused images for electronic display | |
| Yang et al. | EHNQ: Subjective and objective quality evaluation of enhanced night-time images | |
| CN113436086B (zh) | 非均匀光照视频的处理方法、电子设备及存储介质 | |
| CN110135274B (zh) | 一种基于人脸识别的人流量统计方法 | |
| CN111754492A (zh) | 图像质量评估方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |