CN111429375A - 日间图像参照辅助的夜晚监控视频质量提升方法 - Google Patents
日间图像参照辅助的夜晚监控视频质量提升方法 Download PDFInfo
- Publication number
- CN111429375A CN111429375A CN202010231555.2A CN202010231555A CN111429375A CN 111429375 A CN111429375 A CN 111429375A CN 202010231555 A CN202010231555 A CN 202010231555A CN 111429375 A CN111429375 A CN 111429375A
- Authority
- CN
- China
- Prior art keywords
- foreground
- image
- night
- illumination component
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000012544 monitoring process Methods 0.000 title claims abstract description 70
- 238000005286 illumination Methods 0.000 claims abstract description 220
- 230000006872 improvement Effects 0.000 claims abstract description 59
- 238000001914 filtration Methods 0.000 claims abstract description 54
- 230000002708 enhancing effect Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 125000001475 halogen functional group Chemical group 0.000 abstract description 4
- 230000002787 reinforcement Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 27
- 230000000007 visual effect Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提出一种日间图像参照辅助的夜晚监控视频质量提升方法，建立在同态滤波基础理论之上，又与传统的同态滤波算法不同，将同一场景下的日间背景信息当作反射分量计算夜晚背景的照度分量，在夜晚前景周围找到前景的类似像素块，根据前景和背景的类似块关系构建前景的照度分量，实现增强夜晚前景的目的。本发明方法很好的解决了极暗区域增强失效和图像不协调的问题，消除了SSR算法和MSRCR算法中的“团块”和“光晕”现象，消除了Denighting算法中的“鬼影”问题，极大的改善了现有技术经典算法中的色彩失真问题，增强提质后图像对比明显，夜晚监控视频整体质量得到大幅提高。
Description
技术领域
本发明涉及一种夜晚监控视频质量提升方法，特别涉及日间图像参照辅助的夜晚监控视频质量提升方法，属于夜晚视频质量提升技术领域。
背景技术
随着现代化程度的快速提升，特别是近年来互联网+的蓬勃发展，很大程度上刺激了经济社会的活动，在经济社会飞速发展时，必然伴随着各种社会问题的凸现。首先，高铁等现代化交通工具的普及极大的带动了人口流动的速度，而社会的监测保障机制还没有完全跟上经济的发展脚步，各方面的防范应对措施和制度不完全到位，造成了社会治安依然存在较大的压力，这种不稳定的因素严重影响了社会的稳定、和谐和发展。其次，随着互联网+时代的到来，极大的激发了物流运输等行业的发展，道路上的车辆越来越多，为了保障道路安全，基于安全防范的道理监控系统广泛分布于社会生活的各个角落，充斥在各处的摄像装置起着安全防范和警务追踪等作用。随着平安城市建设的深入和社会监控的普及，公安机关的案件调查和政府管理部门的社会综合治理工作越来越倚重于视频监控录像资源，夜晚是重大案情和安全事故发生的高峰期，监控系统的许多重要视频图像通常拍摄于夜晚，伴随着夜晚监控视频的增多，夜晚视频图像在社会生活与安全管理等方面的地位越来越重要。因此，基于夜晚监控视频的分析和处理需求与日俱增，研究和应用也受到越来越多的关注。
夜晚监控视频有着明显的自身局限性，不像日间视频图像那样，在亮度适宜的场景下拍摄，具有较高的清晰度和可辨识度，给人主观上良好的视觉效果体验。夜晚监控视频一般拍摄于视觉环境比较恶劣的黑暗条件下，比如夜晚场景的光线差，能见度低，很多地方都是几乎无信息量的黑暗区域，造成拍摄出来的视频图像质量比日间要差得多，通常这种情况下监控摄像装置很难捕捉到昏暗区域物体的细节部分，给辨识监控视频中有用的目标信息带来了很大的难度。另外，监控系统的摄像装置视频拍摄质量较差，图像在传输过程中会进一步压缩，更影响了图像的稳定性，在数据输送阶段出现损伤，对图像的质量造成影响。需要处理的夜晚监控视频增多，夜晚监控视频处理较为困难。
夜晚监控视频质量提升方法的研发有着重要的现实应用价值，现有技术图像方面的算法已广泛应用于视频监控系统，图像信息被人们用来解决诸多实际问题，为人们生产生活提供了有力的支持。由于图像处理技术的广泛应用及技术的实用性，基于视频监控拍摄的信息提取越来越离不开图像处理技术的支持帮助，而夜晚监控视频增强提质更是急需解决的问题。
夜晚监控视频由于其环境因素的限制，在处理过程中会产生很多技术上的困难，主要表现在增强图像后的局部细节仍然没有得到很好的凸现，特别是极暗区域的处理结果往往会产生块状效应；其次是图像的色彩信息没有得到较好的恢复，处理后的图像色彩漂移现象较明显，图像失真严重；第三，增强后图像的整体对比不明显，夜晚监控视频质量依然较差。
现有技术中，SSR方法一定程度上提升夜晚监控视频图像的质量，改善图像的清晰程度，但不足之处十分明显，图像的色彩信息不能较好的保持，SSR方法在低尺度的实验结果容易失真，并产生严重的光晕的现象，在高尺度的实验结果图像的对比效果较低，视觉感官不好。现有技术的Denighting方法中，原始图像是在光照环境很低的情况下拍照的，几乎失去了图像原有的边缘信息和色彩信息，整体质量很差，经过Denighting增强提质后，图像的视觉效果得到了一定的恢复，但是效果不是很好，该算法在前景以外的区域增强提质效果尚可，然而前景部分的效果不明显，主要表现在：前景的细节信息没有得到清晰的凸现，纹理信息仍然不明显，并且与背景相叠加在一起，弱化了前景的视觉效果，看起来不够真实自然，出现了“鬼影”的现象；前景的色彩信息恢复不正常，其色彩展现的是背景的效果，由于在处理前景的过程中仍然采用了比例的方式，不可避免的出现鬼影现象，前景的色彩信息丢失严重，Denighting算法没有采取有效的手段对前景的色彩信息的恢复，结果难以展示正常的色彩视觉感官。
现有技术中，基于大数据等方法是最新的夜晚监控视频质量提升解决手段，但这些方法都需要建立图像库，利用机器学习的方法来训练样本，学习出对应表达过程后再对目标图像进行表示，达到增强提质的目的。这类方法一般算法较为复杂，需要建立较庞大的图像库，使用的成本较高。
综上所述，夜晚监控视频由于其环境因素的限制，在处理过程中会产生很多的技术困难，主要表现在以下几个方面：
第一，夜晚监控视频由于图像质量低，增强提质的过程很难将前景从背景中分离出来，前景的增强提质效果往往不是很好，对于有参照的增强提质，前景和背景的一致性难以保持，如何将背景的信息应用到前景是需要的核心问题。
第二，夜晚监控视频很多都是在光照环境恶劣条件下采集到的，产生的直接影响是图像中不可避免的出现极暗的区域，夜晚图像增强提质的相关技术对极暗区域的增强提质往往都没有达到理想的效果，主要是暗区域的细节没有很好的凸现出来，处理这些区域的时候往往会产生块效应或者模糊。
第三，色彩漂移问题是夜晚图像增强提质过程中存在的突出问题，夜晚图像失去了正常图像的色彩分量的比例，增强提质后容易出现色彩失真，解决色彩漂移是夜晚监控视频增强提质的主要问题。
第四，现有技术较经典的夜晚监控视频质量提升方法有MSR、SSR、MSRCR算法，这些算法能完成图像动态范围的压缩，提高图像的对比度，使得一些隐藏的细节得到体现。但是这些算法存在明显的缺点是：一是对图像中极暗区域的处理效果很差，表现在细节没有得到充分的体现，增强提质结果中一些区域模糊不清，存在明显的块效应；二是增强提质后的结果色彩信息没有得到良好的保持，表现在整个画面色彩与真实画面差距较大，容易出现色彩漂移，画面的真实感很低；三是处理后的图像纹理不够清晰，部分区域的纹理细节没有凸现出来，对比程度不够明显，图像质量存在明显缺陷。
发明内容
针对现有技术的不足，本发明提出一种日间图像参照辅助的夜晚监控视频质量提升方法，建立在同态滤波基础理论之上，又与传统的同态滤波算法不同，本发明将同一场景下的日间背景信息当作反射分量计算夜晚背景的照度分量，在夜晚前景周围找到前景的类似像素块，根据前景和背景的类似块关系构建前景的照度分量，实现增强夜晚前景的目的。本发明的方法很好的解决了极暗区域增强失效和图像不协调的问题，消除了SSR算法和MSRCR算法中的“团块”和“光晕”现象，消除了Denighting算法中的“鬼影”问题，极大的改善了现有技术经典算法中的色彩失真问题，增强提质后图像的对比明显，夜晚监控视频整体质量得到大幅提高。
为达到以上技术效果，本发明所采用的技术方案如下：
日间图像参照辅助的夜晚监控视频质量提升方法，基于同态滤波Retinex理论，通过同一场景下的低质量夜晚背景图像和高质量日间背景图像照度分量估算，增强提质目标图像的前景部分，背景部分直接用日间的背景替换，重点对出现在背景中的前景进行增强提质；前景的照度分量估算方法是：把日间清晰背景图像当作反射分量，夜晚背景图像作为原始输入图像，通过同态滤波算法关联两者求解背景图像的照度分量，将背景的照度分量作为参照，将前景分块，在前景周围找个与前景类似的图像块，前景的照度分量用类似图像块的照度分量初始表示，称为初始照度分量，再利用牵拉后的前景亮度信息约束初始照度分量估算前景的最终照度分量，估算出前景的照度分量后对前景进行同态滤波Retinex增强提质。
日间图像参照辅助的夜晚监控视频质量提升方法，进一步的，具体如下：
第一步，高低图像对取得；对同一场景，取摄像装置下的夜晚背景图像A和对应的日间背景图像B；
第二步，照度分量估算；将清晰的日间背景图像作为反射分量，夜晚背景图像作为原始输入图像，根据同态滤波Retinex算法，求该场景下的夜晚背景照度分量C，计算公式为log A＝log C+log B
第三步，前景和背景分割；对带有前景的图像，即要增强提质的图像D，分割出前景区域E和背景区域F；
第四步，前景增强提质；前景区域E的照度分量记为El，估算方法：将区域背景的照度分量作为参照信息，在前景周围找到与前景类似的像素块，利用类似像素块估算类似像素块对前景的作用影响，构建前景的照度分量，再利用牵拉后前景的亮度信息约束背景照度分量，最后估算出前景的照度分量；估算前景的照度分量后对前景进行同态滤波Retinex增强提质，重构后的前景照度分量为El，增强提质后的前景为H，b为约束参数，E'为拉伸后的前景区域，
log H＝log E-b.log El.log E'
第五步，图像融合加强；将增强提质后的前景H和对应的日间背景J融合为一张结果图像M，M＝H+J。
日间图像参照辅助的夜晚监控视频质量提升方法，进一步的，第一步，高低图像对取得中，采用有参照的夜晚图像增强提质方法，引入高质量的参照图像信息，改善夜晚图像的清晰度，使隐藏在暗区域的图像细节显示出来，提高夜晚图像可辨识度；参照对象是日间的清晰图像，同一摄像装置下拍摄到的图像，背景是固定不变的，产生变动的只是前景，即在摄像装置下运动的物体，因此选取参照的图像是：同一场景下的夜晚背景图像，记为A；对应的日间背景图像，记为B。
日间图像参照辅助的夜晚监控视频质量提升方法，进一步的，第二步，照度分量估算中，根据同态滤波Retinex框架，图像由反射分量和照度分量组成，同态滤波理论给出的是求物体内在属性，即反射分量的方法，本发明是基于日间参照的夜晚图像质量提升方法，照度分量估算的方法是利用参照图像的信息；
首先对所有的输入图像进行通道分割处理，所有的图像操作都是在单通道内进行，最后的结果融合成一张彩色的RGB图像，在采集到参照图像和待增强提质图像后，对这三张图像，即待增强提质夜晚图像，日间背景图像、夜晚背景图像进行RGB通道分割，分别分割成R、G、B三个单通道，依次对相应的通道信息进行后续处理；然后对夜晚背景的照度分量进行计算，计算的方法是根据同态滤波公式：
Ni(x，y)＝Ri(x，y)×Ci(x，y)
其中Ni(x,y)表示输入图像第i个通道信息，Ri(x,y)表示第i个通道的反射分量，Ci(x,y)表示第i个通道的照度分量，对上式求对数得到下式：
log Ni(x，y)＝log Ri(x，y)+log Ci(x，y)
现已知同一场景下的日间背景图像和夜晚背景图像，日间背景图像是清晰的高质量图像，看成是夜晚背景图像的反射分量，夜晚背景图像是原始输入图像，通过同态滤波算法关联二者求得该场景下夜晚图像的照度分量，记为C，求该场景下的夜晚背景照度分量C的计算公式如下式所示：
Ci(x，y)＝exp(log Ai(x，y)-log Bi(x，y))
其中Ci(x,y)表示第i个通道下夜晚图像的照度分量，Ai(x,y)表示第i个通道下的夜晚背景图像，Bi(x,y)表示对应的第i个通道下日间背景图像,通过上式估算出的照度分量Ci(x,y)，将Ci(x,y)当成夜晚图像的照度分量基础，并用到后续的前景照度分量构建中。
日间图像参照辅助的夜晚监控视频质量提升方法，进一步的，第三步，前景和背景分割中，对前景和背景分开来处理，在分割前景和背景时，仅简单的用矩形框将前景选中，在完全包含前景的条件下，矩形框尽可能小，分割出前景和背景，记需要增强提质的图像为D，分割出的前景区域记为E，背景区域记为F，利用夜晚背景的照度信息增强提质夜晚的前景，估算前景照度分量需要更合理细致的处理，使得前景能够很真实的表现出来。
日间图像参照辅助的夜晚监控视频质量提升方法，进一步的，第四步，前景增强提质中，增强提质夜晚前景的核心是估算前景的照度分量，无参照的同态滤波增强提质中，基于自身的同态滤波增强提质是通过对输入图像进行卷积照度分量估算，照度部分是图像的低频部分的信息，取得照度部分的信息就是取得与同态滤波理论相符合的图像低频部分，对输入图像进行高斯卷积模糊来估算，卷积后的图像即认为是照度图像，根据对输入图像高斯卷积模糊估算操作和图像内容的相关性，可认为周围像素对前景有一定的作用影响，获得了夜晚背景的照度分量后，前景周围的照度分量是已知条件，重点是通过前景周围的照度分量来构建前景的照度分量。
日间图像参照辅助的夜晚监控视频质量提升方法，进一步的，第四步，前景增强提质中，一副夜晚图像中可在前景周围找到与前景类似的像素块，将这些类似像素块的照度分量赋给前景，将每个像素点当成像素块来处理，由欧式距离决定类似像素的权重，估算出类似像素的照度分量对该前景像素点的作用影响，构建出前景每个像素点的照度分量，构建后的照度分量可用来增强提质前景。
日间图像参照辅助的夜晚监控视频质量提升方法，进一步的，第四步，前景增强提质中，首先，估算前景区域E的照度分量El，认为前景周围的像素对前景有影响，利用前景周围的照度分量估算，将周围的照度分量来构建前景的照度分量，构建后的前景照度分量记为El，前景的构建表达方式如下式所示：
其中Ck(x,y)表示第k个与前景像素点类似的周围像素的照度分量，
表示当前景像素点与周围的第k个类似的像素点Nbk的差值小于σ时，两者的欧式距离，
表示第k个类似的像素点照度分量的权重，类似的像素点有M个，M由图像的内容决定，每个前景像素点的类似像素权重累积和为1，计算所有权重与相应的类似像素照度分量的乘积的和，即为构建出的前景单个像素点的照度分量，初步重构出前景的照度分量El后，为进一步对前景的纹理信息进行准确的估算表达，需要再利用夜晚前景对El进行约束，夜晚前景E的亮度值过低，不能反映出前景的纹理信息，需要另外对前景进行牵拉，本发明采用色调映射方法下式所示：
其中E'(x,y)为牵拉后的夜晚前景，E(x,y)为原始夜晚前景，r为牵拉强度参数，调节牵拉的程度。
在进行增强提质的过程中，对估算出来的照度分量进行约束，给照度分量加一个约束参数b，用来调整照度分量，记增强提质后的前景为H，计算方法如下式所示：
H(x，y)＝exp(log E(x，y)-b·log El(x，y)·log E'(x，y))
其中H(x,y)表示增强提质后的前景图像，E(x,y)为原始夜晚前景，E'(x,y)表示牵拉后的夜晚前景图像，El(x,y)表示前景的照度分量，b表示照度分量的约束参数,b参数由夜晚图像和日间图像的亮度比值来决定，b由下式确定：
其中∑A表示夜晚背景的亮度，∑B表示日间背景的亮度，a是调整亮度范围的系数，根据不同亮度阶的照度分量去增强提质图像细节，一组[a1,a2,a3，…an]提取不同亮度阶的照度分量对图像进行迭代增强提质，提高局部的细节信息。
日间图像参照辅助的夜晚监控视频质量提升方法，进一步的，本发明主体在于对前景的照度分量估算，输入的图像有三张，分别是待增强提质夜晚图像，日间背景图像和夜晚背景图像，所有输入图像都要进行通道分解，分成B，G，R三个单通道单独处理，用i表示，i＝0、1、2，经过通道分解后，图像信息的处理在第i通道进行，三张图像依次表示为D[i]，B[i]和A[i]，然后对待增强提质夜晚图像D[i]进行分割，将夜晚图像中的重要处理对象的前景分割出来，再利用夜晚背景图像B[i]和同一场景下的日间背景图像A[i]计算出夜晚背景的照度分量C[i]，与此同时，利用待增强提质夜晚前景E[i]和夜晚背景图像A[i]，在前景周围找到与前景类似的像素块，结合计算出来的夜晚背景的照度分量C[i]，根据类似块关系构建出夜晚前景的照度分量El[i]，由同态滤波Retinex理论实现对夜晚前景的增强提质，得到增强提质结果H[i]，最后融合三个通道得到RBG彩色的前景图像H。
与现有技术相比，本发明的优点在于：
1.本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法，夜晚监控视频图像的色彩保真度得到大幅度的提高，现有技术的对比算法由于算法本身的局限造成色彩通道之间的比例关系发生改变，色彩漂移的现象非常明显，大部分区域的色彩都没有得到真实的体现。本发明方法较好的改善了色彩漂移的现象，大部分区域的色彩信息得到较好的展现，夜晚图像的真实感很强。
2.本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法，基本消除了“团块”的现象，现有技术的对比算法对于夜晚监控视频极暗区域的增强失效，往往是过增强而产生了模糊的“团块”效应，使得图像不自然，本发明的方法基本消除了“团块”现象，夜晚图像的灰度得到较好的过渡，消除了现有技术算法中的鬼影现象，前景内容更加凸显、清晰和真实，夜晚监控视频图像画面整体效果自然清晰协调。
3.本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法，夜晚监控视频图像对比度得到明显改善，图像的灰度层次感得到提高和加强，动态范围得到较好的扩展，对比更加突出明显，特别是局部区域的细节得到较大改善，夜晚监控视频的细节质量提升明显，图像整体效果更加清晰自然。
4.本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法，相对MSR、SSRCR、Denighting算法，在整体图像质量上得到较大提高，夜晚监控视频增强提质后图像更为清晰自然协调，色彩保真更佳，在处理低光照条件下的夜晚监控视频时，由于引入了参照图像的信息，增强提质后的图像对比度明显提高，细节信息更加凸现，图像的色彩信息得到较为完美的恢复，消除了色彩漂移的现象，图像噪声减少，消除了SSR和MSRCR算法中出现的模糊块状的现象，也消除了Denighting方法中鬼影现象，极大的改善了现有技术经典算法中的色彩失真问题，增强提质后图像对比明显，夜晚监控视频整体质量得到大幅提高。
附图说明
图1是本发明日间图像参照辅助的夜晚监控视频质量提升方法的步骤图。
图2是本发明同一场景下的夜晚背景和日间背景对比示意图。
图3是本发明整张图像增强提质的效果对比示意图。
图4是本发明前景照度分量构建示意图。
图5是本发明方法的流程示意图。
具体实施方式
下面结合附图，对本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。
本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法，是建立在同态滤波算法基础上的一种新的对夜晚监控视频提质增效的方法，利用同一场景下的日间背景和夜晚背景图像的信息，估算夜晚图像的前景照度分量，达到增强提质前景的目的。
同态滤波算法是一种在图像的色彩不变性、对比增强提质与图像动态压缩取得平衡的方法，图像由反射分量和照度分量共同组成，反射分量是图像的固有属性，不随光照环境变化，反映图像的真实细节；照度分量是图像的噪声部分，总受到外部因素的作用影响，随光照条件变化，作用在图像后模糊图像的真实细节。同态滤波算法最终求解图像的固有属性反射分量，同态滤波算法的核心是对照度分量的估算，估算利用原始输入图像进行卷积滤波处理，用到的是高斯滤波，经典的算法有MSR、SSR、MSRCR算法，这些算法能完成图像动态范围的压缩，提高图像的对比度，使得一些隐藏的细节得到体现。但是这些算法存在明显的缺点是：一是对图像中极暗区域的处理效果很差，表现在细节没有得到充分的体现，增强提质结果中一些区域模糊不清，存在明显的块效应；二是增强提质后的结果色彩信息没有得到良好的保持，表现在整个画面色彩与真实画面差距较大，容易出现色彩漂移，画面的真实感很低；三是处理后的图像纹理不够清晰，部分区域的纹理细节没有凸现出来，对比程度不够明显，图像质量存在明显缺陷。
本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法，相比于同态滤波的SSR和MSRCR算法的不同之处和明显改进点在于：一是同态滤波的SSR和MSRCR算法是对一整张图像进行增强提质，本发明方法重点对前景进行增强提质；二是同态滤波的SSR和MSRCR算法是基于自身处理的增强提质方法，没有引入参照图像的信息，在照度分量估算时利用高斯卷积模糊的方式，本发明的方法引入参照图像信息，照度分量估算的方式直接由参照的背景图像取得，并利用背景的照度分量构建前景的照度分量。
一、方法概述
本发明提出的日间图像参照辅助的夜晚监控视频质量提升方法，基于同态滤波Retinex理论，在日间图像参照辅助的夜晚监控视频增强提质方面进行了创新。本发明通过同一场景下的低质量夜晚背景图像和高质量日间背景图像照度分量估算，增强提质目标图像的前景部分，背景部分直接用日间的背景替换，重点对出现在背景中的前景进行增强提质；前景的照度分量估算方法是：把日间清晰背景图像当作反射分量，夜晚背景图像作为原始输入图像，通过同态滤波算法关联两者求解背景图像的照度分量，将背景的照度分量作为参照，将前景分块，在前景周围找个与前景类似的图像块，前景的照度分量用类似图像块的照度分量初始表示，称为初始照度分量，再利用牵拉后的前景亮度信息约束初始照度分量估算前景的最终照度分量，估算出前景的照度分量后对前景进行同态滤波Retinex增强提质。具体如下：
第一步，高低图像对取得；对同一场景，取摄像装置下的夜晚背景图像A和对应的日间背景图像B；
第二步，照度分量估算；将清晰的日间背景图像作为反射分量，夜晚背景图像作为原始输入图像，根据同态滤波Retinex算法，求该场景下的夜晚背景照度分量C，计算公式为log A＝log C+log B；
第三步，前景和背景分割；对带有前景的图像，即要增强提质的图像D，分割出前景区域E和背景区域F；
第四步，前景增强提质；前景区域E的照度分量记为El，估算方法：将区域背景的照度分量作为参照信息，在前景周围找到与前景类似的像素块，利用类似像素块估算类似像素块对前景的作用影响，构建前景的照度分量，再利用牵拉后前景的亮度信息约束背景照度分量，最后估算出前景的照度分量；估算前景的照度分量后对前景进行同态滤波Retinex增强提质，重构后的前景照度分量为El，增强提质后的前景为H，b为约束参数，E'为拉伸后的前景区域，
log H＝log E-b.log El.log E'；
第五步，图像融合加强；将增强提质后的前景H和对应的日间背景J融合为一张结果图像M，M＝H+J。
二、方法步骤
(一)高低图像对取得
本发明采用有参照的夜晚图像增强提质方法，引入高质量的参照图像信息，改善夜晚图像的清晰度，使隐藏在暗区域的图像细节显示出来，提高夜晚图像可辨识度。本发明的参照对象是日间的清晰图像，由于同一摄像装置下拍摄到的图像，背景是固定不变的，产生变动的只是前景，即在摄像装置下运动的物体，因此，本发明选取参照的图像是：同一场景下的夜晚背景图像，记为A；对应的日间背景图像，记为B，如图2所示。
(二)照度分量估算
根据同态滤波Retinex框架，图像由反射分量和照度分量组成，反射分量是事物的固有性质，不随光照环境变化，照度分量影响物体在人眼中形成的视觉效果，是图像在不同光照下产生变化的主要原因。因此，同态滤波理论给出的是求物体内在属性，即反射分量的方法，而该理论的主要问题是照度分量的估算。本发明是基于日间参照的夜晚图像质量提升方法，照度分量估算的方法是利用参照图像的信息。
首先对所有的输入图像进行通道分割处理，由于所有的图像操作都是在单通道内进行，最后的结果融合成一张彩色的RGB图像，因此在采集到参照图像和待增强提质图像后，对这三张图像，即待增强提质夜晚图像，日间背景图像、夜晚背景图像进行RGB通道分割，分别分割成R、G、B三个单通道，依次对相应的通道信息进行后续处理；然后对夜晚背景的照度分量进行计算，计算的方法是根据同态滤波公式：
Ni(x，y)＝Ri(x，y)×Ci(x，y)
其中Ni(x,y)表示输入图像第i个通道信息，Ri(x,y)表示第i个通道的反射分量，Ci(x,y)表示第i个通道的照度分量，对上式求对数得到下式：
log Ni(x，y)＝log Ri(x，y)+log Ci(x，y)
现已知同一场景下的日间背景图像和夜晚背景图像，日间背景图像是清晰的高质量图像，看成是夜晚背景图像的反射分量，夜晚背景图像是原始输入图像，通过同态滤波算法关联二者求得该场景下夜晚图像的照度分量，记为C，求该场景下的夜晚背景照度分量C的计算公式如下式所示：
Ci(x，y)＝exp(log Ai(x，y)-log Bi(x，y))
其中Ci(x,y)表示第i个通道下夜晚图像的照度分量，Ai(x,y)表示第i个通道下的夜晚背景图像，Bi(x,y)表示对应的第i个通道下日间背景图像,通过上式估算出的照度分量Ci(x,y)，将Ci(x,y)当成夜晚图像的照度分量基础，并用到后续的前景照度分量构建中。
(三)前景和背景分割
在对于有前景的夜晚图像，通过公式Ci(x，y)＝exp(log Ai(x，y)-log Bi(x，y))求出照度分量来增强提质前景是最快速简便的方法，但是这样的操作明显不合适，因为该区域的内容已经发生了改变，因此需要对前景和背景分开来处理。在分割前景和背景时，仅简单的用矩形框将前景选中，在完全包含前景的条件下，矩形框尽可能小，分割出前景和背景，记需要增强提质的图像为D，分割出的前景区域记为E，背景区域记为F，利用夜晚背景的照度信息直接增强提质夜晚的前景，效果往往因为内容的变化而产生不可靠的结果，在此简要分析此方式对整张图像进行增强提质的效果，增强提质处理的结果如图3所示。
从图像中可以看出，前景区域明显没有得到很好的增强提质，视频质量提升不明显，由于增强提质过程是采用背景的照度分量，因此增强提质结果会带入背景的图像信息，背景的信息与前景的信息发生重合，展现一种虚拟的状态，明显不是想要的结果。估算前景照度分量需要更合理细致的处理，使得前景能够很真实的表现出来。该区域的背景是没有前景区域人物的，利用该背景的对应位置估算人物的照度分量，对人物的增强提质产生了差错，不能达到预计效果，因此，需要单独对人物所在的区域进行增强提质，前提需要把该区域分割出来。
(四)前景增强提质
分割出前景后，需要对前景进行单独增强提质，夜晚前景的增强提质工作是本发明的主要创新点，增强提质夜晚前景的核心是估算前景的照度分量。无参照的同态滤波增强提质中，基于自身的同态滤波增强提质是通过对输入图像进行卷积照度分量估算，照度部分是图像的低频部分的信息，取得照度部分的信息就是取得与同态滤波理论相符合的图像低频部分，比如对输入图像进行高斯卷积模糊来估算，卷积后的图像即认为是照度图像。根据对输入图像高斯卷积模糊估算操作和图像内容的相关性，可认为周围像素对前景有一定的作用影响，前面的步骤获得了夜晚背景的照度分量，因此前景周围的照度分量是已知条件，接下来重点是通过前景周围的照度分量来构建前景的照度分量。
在一副夜晚图像中，可在前景周围找到与前景类似的像素块，将这些类似像素块的照度分量赋给前景，将每个像素点当成像素块来处理，由欧式距离决定类似像素的权重，估算出类似像素的照度分量对该前景像素点的作用影响，构建出前景每个像素点的照度分量，构建后的照度分量可用来增强提质前景。
首先，估算前景区域E的照度分量El，认为前景周围的像素对前景有影响，利用前景周围的照度分量估算，将周围的照度分量来构建前景的照度分量，构建后的前景照度分量记为El，构建示意图如图4所示，前景的构建表达方式如下式所示：
其中Ck(x,y)表示第k个与前景像素点类似的周围像素的照度分量，
表示当前景像素点与周围的第k个类似的像素点Nbk的差值小于σ时，两者的欧式距离，
表示第k个类似的像素点照度分量的权重，类似的像素点有M个，M由图像的内容决定，每个前景像素点的类似像素权重累积和为1，计算所有权重与相应的类似像素照度分量的乘积的和，即为构建出的前景单个像素点的照度分量，初步重构出前景的照度分量El后，为进一步对前景的纹理信息进行准确的估算表达，需要再利用夜晚前景对El进行约束，夜晚前景E的亮度值过低，不能反映出前景的纹理信息，需要另外对前景进行牵拉，本发明采用色调映射方法下式所示：
其中E'(x,y)为牵拉后的夜晚前景，E(x,y)为原始夜晚前景，r为牵拉强度参数，调节牵拉的程度。
由于目标增强提质图像的亮度与参照夜晚背景图像的亮度可能不能保持完全一致，二者之间通常会有差异的。因此，在进行增强提质的过程中，对估算出来的照度分量进行约束，给照度分量加一个约束参数b，用来调整照度分量，记增强提质后的前景为H，计算方法如下式所示：
H(x，y)＝exp(log E(x，y)-b·log El(x，y)·log E'(x，y))
其中H(x,y)表示增强提质后的前景图像，E(x,y)为原始夜晚前景，E'(x,y)表示牵拉后的夜晚前景图像，El(x,y)表示前景的照度分量，b表示照度分量的约束参数,b参数由夜晚图像和日间图像的亮度比值来决定，b由下式确定：
其中∑A表示夜晚背景的亮度，∑B表示日间背景的亮度，a是调整亮度范围的系数，根据不同亮度阶的照度分量去增强提质图像细节，一组[a1,a2,a3，…an]提取不同亮度阶的照度分量对图像进行迭代增强提质，提高局部的细节信息。
(五)图像融合加强
将增强提质后的夜晚前景图像H和日间背景图像J融合为一张图像M，M＝H+J。
三、方法流程
本发明方法的流程图如图5所示，从流程图中可以看到，本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法，主体在于对前景的照度分量估算，输入的图像有三张，分别是待增强提质夜晚图像，日间背景图像和夜晚背景图像，所有输入图像都要进行通道分解，分成B，G，R三个单通道单独处理，用i表示，i＝0、1、2，经过通道分解后，图像信息的处理在第i通道进行，三张图像依次表示为D[i]，B[i]和A[i]，然后对待增强提质夜晚图像D[i]进行分割，将夜晚图像中的重要处理对象的前景分割出来，再利用夜晚背景图像B[i]和同一场景下的日间背景图像A[i]计算出夜晚背景的照度分量C[i]，与此同时，利用待增强提质夜晚前景E[i]和夜晚背景图像A[i]，在前景周围找到与前景类似的像素块，结合计算出来的夜晚背景的照度分量C[i]，根据类似块关系构建出夜晚前景的照度分量El[i]，由同态滤波Retinex理论实现对夜晚前景的增强提质，得到增强提质结果H[i]，最后融合三个通道得到RBG彩色的前景图像H。
四、实验结果与分析
本发明通过编程实现了本发明提供的日间图像参照辅助的夜晚监控视频质量提升方法和现有技术的对比实验算法，对本发明方法和对比实验算法SSR算法、Denighting算法、MSRCR算法进行比较分析。实验分两部分，一部分是针对不同内容的图像进行实验，并分析实验结果及前景和背景类似度对本发明方法的作用影响；另一部分是对不同光照环境下的实验分析，比较分析本发明方法与对比算法，并考查光照对这些算法的作用影响，分析方法根据视觉和经验主观判断，及测试客观的数据来分析判断。通过实验分析得到以下结论：
(一)前景和背景内容类似度对本发明方法的作用影响：本发明方法是基于同态滤波基础之上的，照度分量估算时依赖于参照图像的照度分量和背景的纹理信息，利用背景类似块的照度分量来估算前景的照度分量，根据实验结果，前景内容与背景内容越接近时，估算的前景照度分量越准确，则方法夜晚监控视频增强提质的实际效果越好。反之，当前景内容与背景内容差异很大时，背景内容往往会干扰前景内容，增强后的图像局部区域会产生背景的虚影，色彩信息也会一定程度偏离真实面貌。
(二)光照条件的差异对本发明方法的作用影响：光照环境越好，图像保留信息越完整，噪声也越少，增强提质后的结果越好，本发明方法满足这一规律。实验过程中对比算法与本发明方法都展现了该趋势，光照环境的差异对最后增强提质的结果影响很大，在夜晚极度黑暗的情况下，光照的微弱变化都会带来夜晚图像信息的剧烈升降，这些信息表现出来的细节对图像的视觉效果变化明显，增强提质后的图像质量差异性也较大。本发明方法是有参照的夜晚监控视频增强提质方法，在同态滤波算法基础上进行了大量创新，经过实验分析比较，本发明方法增强提质性能相比于现有技术经典的SSR和MSRCR算法有了明显的改进，相比于前沿算法Denighting具存在明显的优势，主要表现在：图像的色彩信息得到较好的保持，消除了极暗区域的“团块”现象，消除了Denighting算法的“鬼影”问题，“光晕”也消失了，对比度也得到明显的提高。本发明方法受到图像内容和光照条件的作用影响，表现在：图像前景的内容与背景内容类似度越大，增强提质效果越好，光照条件越好，增强提质后的质量也越好。
(三)本发明方法的改进之处：一是夜晚监控视频图像的色彩保真度得到大幅度的提高，现有技术的对比算法由于算法本身的局限造成色彩通道之间的比例关系发生改变，色彩漂移的现象非常明显，大部分区域的色彩都没有得到真实的体现。本发明方法较好的改善了色彩漂移的现象，大部分区域的色彩信息得到较好的展现，夜晚图像的真实感很强；二是本发明的方法基本消除了“团块”的现象，现有技术的对比算法对于夜晚监控视频极暗区域的增强失效，往往是过增强而产生了模糊的“团块”效应，使得图像不自然，本发明的方法基本消除了“团块”现象，夜晚图像的灰度得到较好的过渡，消除了现有技术算法中的鬼影现象，前景内容更加凸显、清晰和真实，夜晚监控视频图像画面整体效果自然清晰协调；三是夜晚监控视频图像对比度得到明显改善，图像的灰度层次感得到提高和加强，动态范围得到较好的扩展，对比更加突出明显，特别是局部区域的细节得到较大改善，夜晚监控视频的细节质量提升明显，图像整体效果更加清晰自然。
Claims (9)
1.日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，基于同态滤波Retinex理论，通过同一场景下的低质量夜晚背景图像和高质量日间背景图像照度分量估算，增强提质目标图像的前景部分，背景部分直接用日间的背景替换，重点对出现在背景中的前景进行增强提质；前景的照度分量估算方法是：把日间清晰背景图像当作反射分量，夜晚背景图像作为原始输入图像，通过同态滤波算法关联两者求解背景图像的照度分量，将背景的照度分量作为参照，将前景分块，在前景周围找个与前景类似的图像块，前景的照度分量用类似图像块的照度分量初始表示，称为初始照度分量，再利用牵拉后的前景亮度信息约束初始照度分量估算前景的最终照度分量，估算出前景的照度分量后对前景进行同态滤波Retinex增强提质。
2.根据权利要求1所述的日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，具体如下：
第一步，高低图像对取得；对同一场景，取摄像装置下的夜晚背景图像A和对应的日间背景图像B；
第二步，照度分量估算；将清晰的日间背景图像作为反射分量，夜晚背景图像作为原始输入图像，根据同态滤波Retinex算法，求该场景下的夜晚背景照度分量C，计算公式为logA＝logC+log B；
第三步，前景和背景分割；对带有前景的图像，即要增强提质的图像D，分割出前景区域E和背景区域F；
第四步，前景增强提质；前景区域E的照度分量记为E1，估算方法：将区域背景的照度分量作为参照信息，在前景周围找到与前景类似的像素块，利用类似像素块估算类似像素块对前景的作用影响，构建前景的照度分量，再利用牵拉后前景的亮度信息约束背景照度分量，最后估算出前景的照度分量；估算前景的照度分量后对前景进行同态滤波Retinex增强提质，重构后的前景照度分量为E1，增强提质后的前景为H，b为约束参数，E’为拉伸后的前景区域，
log H＝log E-b·log El·log E′；
第五步，图像融合加强；将增强提质后的前景H和对应的日间背景J融合为一张结果图像M，M＝H+J。
3.根据权利要求2所述的日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，第一步，高低图像对取得中，采用有参照的夜晚图像增强提质方法，引入高质量的参照图像信息，改善夜晚图像的清晰度，使隐藏在暗区域的图像细节显示出来，提高夜晚图像可辨识度；参照对象是日间的清晰图像，同一摄像装置下拍摄到的图像，背景是固定不变的，产生变动的只是前景，即在摄像装置下运动的物体，因此选取参照的图像是：同一场景下的夜晚背景图像，记为A；对应的日间背景图像，记为B。
4.根据权利要求2所述的日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，第二步，照度分量估算中，根据同态滤波Retinex框架，图像由反射分量和照度分量组成，同态滤波理论给出的是求物体内在属性，即反射分量的方法，本发明是基于日间参照的夜晚图像质量提升方法，照度分量估算的方法是利用参照图像的信息；
首先对所有的输入图像进行通道分割处理，所有的图像操作都是在单通道内进行，最后的结果融合成一张彩色的RGB图像，在采集到参照图像和待增强提质图像后，对这三张图像，即待增强提质夜晚图像，日间背景图像、夜晚背景图像进行RGB通道分割，分别分割成R、G、B三个单通道，依次对相应的通道信息进行后续处理；然后对夜晚背景的照度分量进行计算，计算的方法是根据同态滤波公式：
Ni(x，y)＝Ri(x，y)×Ci(x，y)
其中Ni(x，y)表示输入图像第i个通道信息，Ri(x，y)表示第i个通道的反射分量，Ci(x，y)表示第i个通道的照度分量，对上式求对数得到下式：
log Ni(x，y)＝log Ri(x，y)+log Ci(x，y)
现已知同一场景下的日间背景图像和夜晚背景图像，日间背景图像是清晰的高质量图像，看成是夜晚背景图像的反射分量，夜晚背景图像是原始输入图像，通过同态滤波算法关联二者求得该场景下夜晚图像的照度分量，记为C，求该场景下的夜晚背景照度分量C的计算公式如下式所示：
Ci(x，y)＝exp(log Ai(x，y)-log Bi(x，y))
其中Ci(x，y)表示第i个通道下夜晚图像的照度分量，Ai(x，y)表示第i个通道下的夜晚背景图像，Bi(x，y)表示对应的第i个通道下日间背景图像，通过上式估算出的照度分量Ci(x，y)，将Ci(x，y)当成夜晚图像的照度分量基础，并用到后续的前景照度分量构建中。
5.根据权利要求2所述的日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，第三步，前景和背景分割中，对前景和背景分开来处理，在分割前景和背景时，仅简单的用矩形框将前景选中，在完全包含前景的条件下，矩形框尽可能小，分割出前景和背景，记需要增强提质的图像为D，分割出的前景区域记为E，背景区域记为F，利用夜晚背景的照度信息增强提质夜晚的前景，估算前景照度分量需要更合理细致的处理，使得前景能够很真实的表现出来。
6.根据权利要求2所述的日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，第四步，前景增强提质中，增强提质夜晚前景的核心是估算前景的照度分量，无参照的同态滤波增强提质中，基于自身的同态滤波增强提质是通过对输入图像进行卷积照度分量估算，照度部分是图像的低频部分的信息，取得照度部分的信息就是取得与同态滤波理论相符合的图像低频部分，对输入图像进行高斯卷积模糊来估算，卷积后的图像即认为是照度图像，根据对输入图像高斯卷积模糊估算操作和图像内容的相关性，可认为周围像素对前景有一定的作用影响，获得了夜晚背景的照度分量后，前景周围的照度分量是已知条件，重点是通过前景周围的照度分量来构建前景的照度分量。
7.根据权利要求2所述的日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，第四步，前景增强提质中，一副夜晚图像中可在前景周围找到与前景类似的像素块，将这些类似像素块的照度分量赋给前景，将每个像素点当成像素块来处理，由欧式距离决定类似像素的权重，估算出类似像素的照度分量对该前景像素点的作用影响，构建出前景每个像素点的照度分量，构建后的照度分量可用来增强提质前景。
8.根据权利要求2所述的日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，第四步，前景增强提质中，首先，估算前景区域E的照度分量El，认为前景周围的像素对前景有影响，利用前景周围的照度分量估算，将周围的照度分量来构建前景的照度分量，构建后的前景照度分量记为El，前景的构建表达方式如下式所示：
其中Ck(x,y)表示第k个与前景像素点类似的周围像素的照度分量，
表示当前景像素点与周围的第k个类似的像素点Nbk的差值小于σ时，两者的欧式距离，
表示第k个类似的像素点照度分量的权重，类似的像素点有M个，M由图像的内容决定，每个前景像素点的类似像素权重累积和为1，计算所有权重与相应的类似像素照度分量的乘积的和，即为构建出的前景单个像素点的照度分量，初步重构出前景的照度分量El后，为进一步对前景的纹理信息进行准确的估算表达，需要再利用夜晚前景对El进行约束，夜晚前景E的亮度值过低，不能反映出前景的纹理信息，需要另外对前景进行牵拉，本发明采用色调映射方法下式所示：
其中E'(x,y)为牵拉后的夜晚前景，E(x,y)为原始夜晚前景，r为牵拉强度参数，调节牵拉的程度。
在进行增强提质的过程中，对估算出来的照度分量进行约束，给照度分量加一个约束参数b，用来调整照度分量，记增强提质后的前景为H，计算方法如下式所示：
H(x，y)＝exp(log E(x，y)-b·log El(x，y)·log E'(x，y))
其中H(x,y)表示增强提质后的前景图像，E(x,y)为原始夜晚前景，E'(x,y)表示牵拉后的夜晚前景图像，El(x,y)表示前景的照度分量，b表示照度分量的约束参数,b参数由夜晚图像和日间图像的亮度比值来决定，b由下式确定：
其中∑A表示夜晚背景的亮度，∑B表示日间背景的亮度，a是调整亮度范围的系数，根据不同亮度阶的照度分量去增强提质图像细节，一组[a1,a2,a3，…an]提取不同亮度阶的照度分量对图像进行迭代增强提质，提高局部的细节信息。
9.根据权利要求1所述的日间图像参照辅助的夜晚监控视频质量提升方法，其特征在于，本发明主体在于对前景的照度分量估算，输入的图像有三张，分别是待增强提质夜晚图像，日间背景图像和夜晚背景图像，所有输入图像都要进行通道分解，分成B，G，R三个单通道单独处理，用i表示，i＝0、1、2，经过通道分解后，图像信息的处理在第i通道进行，三张图像依次表示为D[i]，B[i]和A[i]，然后对待增强提质夜晚图像D[i]进行分割，将夜晚图像中的重要处理对象的前景分割出来，再利用夜晚背景图像B[i]和同一场景下的日间背景图像A[i]计算出夜晚背景的照度分量C[i]，与此同时，利用待增强提质夜晚前景E[i]和夜晚背景图像A[i]，在前景周围找到与前景类似的像素块，结合计算出来的夜晚背景的照度分量C[i]，根据类似块关系构建出夜晚前景的照度分量El[i]，由同态滤波Retinex理论实现对夜晚前景的增强提质，得到增强提质结果H[i]，最后融合三个通道得到RBG彩色的前景图像H。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010231555.2A CN111429375A (zh) | 2020-03-27 | 2020-03-27 | 日间图像参照辅助的夜晚监控视频质量提升方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010231555.2A CN111429375A (zh) | 2020-03-27 | 2020-03-27 | 日间图像参照辅助的夜晚监控视频质量提升方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111429375A true CN111429375A (zh) | 2020-07-17 |
Family
ID=71555499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010231555.2A Pending CN111429375A (zh) | 2020-03-27 | 2020-03-27 | 日间图像参照辅助的夜晚监控视频质量提升方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111429375A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192055A (zh) * | 2021-05-20 | 2021-07-30 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
| CN115775222A (zh) * | 2022-07-14 | 2023-03-10 | 三峡大学 | 混凝土图像处理方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102665034A (zh) * | 2012-03-16 | 2012-09-12 | 江苏华枫物联网科技有限公司 | 一种针对摄像机采集视频的夜间效果去除方法 |
| CN103034997A (zh) * | 2012-11-30 | 2013-04-10 | 杭州易尊数字科技有限公司 | 一种适用于监控视频前/背景分离的前景检测方法 |
| CN104660954A (zh) * | 2013-11-18 | 2015-05-27 | 深圳中兴力维技术有限公司 | 低照度场景下基于背景建模的图像亮度提升方法及装置 |
| CN105551062A (zh) * | 2015-12-21 | 2016-05-04 | 电子科技大学 | 一种夜间物体检测的方法 |
| CN107392879A (zh) * | 2017-07-20 | 2017-11-24 | 武汉大学 | 一种基于参考帧的低照度监控图像增强方法 |
| KR101841966B1 (ko) * | 2017-02-21 | 2018-03-26 | 주식회사 에스원 | 영상에서 이동 객체 그림자 제거 방법 및 장치 |
-
2020
- 2020-03-27 CN CN202010231555.2A patent/CN111429375A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102665034A (zh) * | 2012-03-16 | 2012-09-12 | 江苏华枫物联网科技有限公司 | 一种针对摄像机采集视频的夜间效果去除方法 |
| CN103034997A (zh) * | 2012-11-30 | 2013-04-10 | 杭州易尊数字科技有限公司 | 一种适用于监控视频前/背景分离的前景检测方法 |
| CN104660954A (zh) * | 2013-11-18 | 2015-05-27 | 深圳中兴力维技术有限公司 | 低照度场景下基于背景建模的图像亮度提升方法及装置 |
| CN105551062A (zh) * | 2015-12-21 | 2016-05-04 | 电子科技大学 | 一种夜间物体检测的方法 |
| KR101841966B1 (ko) * | 2017-02-21 | 2018-03-26 | 주식회사 에스원 | 영상에서 이동 객체 그림자 제거 방법 및 장치 |
| CN107392879A (zh) * | 2017-07-20 | 2017-11-24 | 武汉大学 | 一种基于参考帧的低照度监控图像增强方法 |
Non-Patent Citations (4)
| Title |
|---|
| AKITO YAMASAKI等: "Denighting: Enhancement of Nighttime Images for a Surveillance Camera", 《2008 19TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》, 23 January 2009 (2009-01-23), pages 1 - 4 * |
| Y. RAO等: "An effecive night video enhancement algorithm", 《2011 VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》, 29 December 2011 (2011-12-29), pages 2 - 4 * |
| YINGHAO CAI等: ""Context Enhancement of Nighttime Surveillance by Image Fusion"", 《18TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR\'06)》, 18 September 2006 (2006-09-18), pages 2 * |
| 侯雷等: "一种亮度融合的视频增强方法", 《光电工程》, vol. 38, no. 8, 31 August 2011 (2011-08-31), pages 132 - 138 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113192055A (zh) * | 2021-05-20 | 2021-07-30 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
| CN113192055B (zh) * | 2021-05-20 | 2023-01-17 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
| CN115775222A (zh) * | 2022-07-14 | 2023-03-10 | 三峡大学 | 混凝土图像处理方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A fast single-image dehazing method based on a physical model and gray projection | |
| Guo et al. | Lightweight deep network-enabled real-time low-visibility enhancement for promoting vessel detection in maritime video surveillance | |
| Gao et al. | Detail preserved single image dehazing algorithm based on airlight refinement | |
| Agrawal et al. | A comprehensive review on analysis and implementation of recent image dehazing methods | |
| CN105550999A (zh) | 一种基于背景复用的视频图像增强处理方法 | |
| CN111382647B (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN111429375A (zh) | 日间图像参照辅助的夜晚监控视频质量提升方法 | |
| Meng et al. | A hybrid algorithm for underwater image restoration based on color correction and image sharpening | |
| Das et al. | A comparative study of single image fog removal methods | |
| Liang et al. | Learning to remove sandstorm for image enhancement | |
| Cheng et al. | A highway traffic image enhancement algorithm based on improved GAN in complex weather conditions | |
| Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
| Ke et al. | Single underwater image restoration based on descattering and color correction | |
| Soumya et al. | Day color transfer based night video enhancement for surveillance system | |
| Gao et al. | Single image haze removal algorithm using pixel-based airlight constraints | |
| Shi et al. | Sand-dust image enhancement based on light attenuation and transmission compensation | |
| Li et al. | Laplace dark channel attenuation-based single image defogging in ocean scenes | |
| CN112733714B (zh) | 一种基于vgg网络的自动人群计数图像识别方法 | |
| CN112532999B (zh) | 基于深度神经网络的数字视频删帧篡改检测方法 | |
| Yuan et al. | RM-IQA: A new no-reference image quality assessment framework based on range mapping method | |
| Hu et al. | Maritime video defogging based on spatial-temporal information fusion and an improved dark channel prior | |
| Alluhaidan et al. | Retinex-based framework for visibility enhancement during inclement weather with tracking and estimating distance of vehicles | |
| Lee et al. | Visibility dehazing based on channel-weighted analysis and illumination tuning | |
| Ma et al. | Image Dehazing Based on Improved Color Channel Transfer and Multiexposure Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |