CN107392879A - 一种基于参考帧的低照度监控图像增强方法 - Google Patents
一种基于参考帧的低照度监控图像增强方法 Download PDFInfo
- Publication number
- CN107392879A CN107392879A CN201710597190.3A CN201710597190A CN107392879A CN 107392879 A CN107392879 A CN 107392879A CN 201710597190 A CN201710597190 A CN 201710597190A CN 107392879 A CN107392879 A CN 107392879A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- low
- msubsup
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 230000002708 enhancing effect Effects 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000005286 illumination Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims description 3
- 241000287196 Asthenes Species 0.000 claims 2
- 238000011840 criminal investigation Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract 2
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013341 scale-up Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于参考帧的低照度监控图像增强方法,包括从监控视频中获取参考帧和待增强的低照度图像,并提取低照度图像的近邻帧;计算背景图像的照度分量,计算待增强图像的照度分量,提取低照度图像和多帧近邻帧分别的反射分量,然后融合得到待增强的低照度图像去噪之后的增强结果。因此,本发明可使得待增强图像的照度分量估计更加准确,增强结果的色彩保真度更高,噪声干扰问题更小;进而提高了低照度监控图像的清晰度和辨识度,为监控图像发挥其刑侦价值提供了有力支撑作用。
Description
技术领域
本发明属于图像增强技术领域,涉及低照度图像增强相关技术,尤其涉及一种基于参考帧的低照度监控图像增强方法。
背景技术
随着“平安城市”建设步伐面向全国范围内的纵深推进,视频监控技术在维护社会公共安全方面扮演着越来越关键的角色。但由于监控摄像头常拍摄于低质量的光照环境当中,如夜间和白天的阴雨天气,导致所捕获的监控视频往往质量低下、模糊不清。低质量的光照环境拍摄所得图像,为低照度图像。所以在实际应用中,具有大量监控场景下的低照度图像亟需质量改善,以提高其清晰度和辨识度,发挥现有监控设备的刑侦价值。
通过对国内外现有的低照度图像增强技术进行梳理,可以将其归纳分成两类:无参考类型的低照度图像增强技术和有参考类型的低照度图像增强技术。其中无参考的低照度图像增强技术是仅基于自身图像信息进行处理,代表性方法有灰度变换、直方图处理、色调映射、Retinex增强算法等。而有参考的低照度图像增强技术则是在增强过程引入了其他图像信息,代表性方法有基于融合的增强算法、基于白天参考的增强算法和基于大数据的增强算法等。
低照度监控图像由于其拍摄形成时环境因素的限制,导致其具有低对比度、纹理模糊、色彩失真和噪声强的问题。而现有算法仅在亮度、对比度上具有较好的改善,却未能完全解决纹理、颜色和噪声问题,从而导致增强结果出现纹理模糊、色彩失真、噪声干扰等现象。具体体现在如下两个方面:一是基于无参考的低照度图像增强方法,由于在增强过程中未引入其他参考图像信息,其算法的增强能力有限,算法的增强结果多出现纹理模糊、色彩失真和噪声放大的现象。二是基于有参考的低照度图像增强方法虽引入了其他参考图像信息,但基于融合的增强算法采用的是将低照度图像分割成背景和前景两部分分别进行增强的形式,往往由于前景轮廓提取不准确导致增强结果轮廓不自然;基于白天参考的增强算法在增强过程中估计得到的照度分量中含有背景图像纹理信息,导致增强结果前景背景纹理混淆;基于大数据的增强算法,则依赖大量图像样本数据,需要消耗时间进行增强模型的训练,且目前的增强模型对于仿真的低亮度和噪声增强尚可,对于实际的低照度图像的增强结果仍然不够理想。
背景技术参考文献:
[文献1]Yamasaki A,Takauji H,Kaneko S,et al.Denighting:Enhancement ofnighttime images for a surveillance camera[C]//Pattern Recognition,2008.ICPR2008.19th International Conference on.IEEE,2008:1-4.
[文献2]Stathaki T.Image fusion:algorithms and applications[M].Academic Press,2011.
[文献3]Petro AB,Sbert C,Morel J M.Multiscale retinex[J].ImageProcessing On Line,2014:71-88.
[文献4]Lore K G,Akintayo A,Sarkar S.Llnet:A deep autoencoder approachto natural low-light image enhancement[J].Pattern Recognition,2017,61:650-662.
发明内容
针对现有低照度监控图像增强技术所存在的不足之处,本发明提供了一种基于参考帧的低照度监控图像增强方法,以达到增强低照度监控图像,提高其清晰度和辨识度的目的。
本发明所采用的技术方案是一种基于参考帧的低照度监控图像增强方法,包括以下步骤:
步骤1,从监控视频中获取参考帧Hb和待增强的低照度图像S,并提取低照度图像S的近邻帧Sk,设有N幅近邻帧,其中k=1,2,...,N,;
步骤2,计算背景图像的照度分量包括以下子步骤,
步骤2.1,取待增强的低照度图像S和参考帧Hb构建高、低光照质量背景图像对应关系;
步骤2.2,将参考帧Hb视作待增强的低照度图像的反射分量,使用待增强的低照度图像和参考帧Hb做比值运算得到背景图像的照度分量
步骤3,计算待增强图像的照度分量,包括以下子步骤,
步骤3.1,取步骤2所得背景图像的照度分量使用模糊核Gσ做卷积运算得到模糊后的背景图像照度分量
步骤3.2,将模糊后的背景图像照度分量分为三个颜色通道,然后由三个颜色通道的均值替换各颜色通道原来的通道值,得到待增强图像的照度分量
步骤4,由步骤3得到的待增强图像的照度分量计算得到低照度图像S和多帧近邻帧Sk分别的反射分量;
步骤5,融合低照度图像S和多帧近邻帧Sk分别的反射分量,得到待增强的低照度图像S去噪之后的增强结果。
而且,步骤2中,将待增强的低照度图像S当作低光照质量背景图像,记为Lb,令
Lb(x,y)=S(x,y)
计算背景图像的照度分量实现方式如下,
其中,(x,y)表示各个像素的坐标位置,和为中间参数。
而且,步骤3.1中,模糊后的背景图像照度分量求取如下,
其中,为对数域上的待增强图像的照度分量。
而且,所述Gσ(x,y)实现如下,
r2=x2+y2
其中,e为数学常数,r为高斯模糊核的距离半径,由像素坐标(x,y)计算得到,σ是标准差,用于调节高斯模糊核模板的尺寸大小。
而且,步骤3.2中,计算待增强图像的照度分量实现如下,
其中,i,j=0,1,2分别表示R,G,B三个通道。
而且,步骤4中,计算得到低照度图像S的反射分量如下,
Sl(x,y)=log[S(x,y)+1];
其中,Sl为对数域上的待增强的低照度图像S,和Sr分别为对数域上和[0,255]域上待增强的低照度图像S的反射分量,RRTM函数是由对数域量化到[0,255]域上的量化方式,针对的量化过程实现如下,
首先将分为R,G,B三个通道,记作(i=0,1,2),然后分别计算三个通道的均值Mean[i]和均方差Std[i],i=(0,1,2),得到各个颜色通道的量化区间[Min[i],Max[i]]如下,
其中,α为量化区间的动态调节参数;
最后将分为R,G,B三个通道,然后对每个通道的每一个像素进行线性映射,如下,
其中,Sr[i](x,y),(i=0,1,2)分别为Sr的R,G,B三个颜色通道;经过上述线性映射得到Sr各个通道的值之后,将R,G,B三个通道融合输出。
而且,步骤4中,计算多帧近邻帧Sk分别的反射分量如下,
其中,为对数域上的待增强的低照度图像S的近邻帧Sk,k=(1,2,...,N),和Skr分别为对数域上和[0,255]域上近邻帧Sk的反射分量,k=(1,2,...,N),RRTM函数是由对数域量化到[0,255]域上的一种量化方式,针对的量化过程实现如下,
首先将分为R,G,B三个通道,记作(i=0,1,2),然后分别计算三个通道的均值Mean[i]和均方差Std[i],i=(0,1,2),得到各个颜色通道的量化区间[Min[i],Max[i]]如下,
其中,α为量化区间的动态调节参数;
最后将分为R,G,B三个通道,然后对每个通道的每一个像素进行线性映射如下,
其中,Skr[i](x,y),(i=0,1,2)分别为Skr的R,G,B三个颜色通道;经过上述线性映射得到Skr各个通道的值之后,将R,G,B三个通道融合输出。
而且,步骤5中,融合低照度图像S和多帧近邻帧Sk分别的反射分量,实现如下,
其中,Skr(x,y)表示第k帧待增强的低照度图像的反射分量,k=(1,2,...,N);D(x,y)为待增强的低照度图像S去噪之后的增强结果。
而且,对步骤5所得去噪之后的增强结果进行饱和度调整,得到待增强的低照度图像优化的增强结果。
而且,步骤1中所述的参考帧是监控摄像头在白天光照适宜条件下所拍摄的监控背景图像。
与现有低照度监控图像增强方法相比,本发明具有以下优点和有益效果:
本专利提出了一种基于参考帧的低照度监控图像增强方法,该方法在低照度监控图像的增强过程中充分且合理地利用了监控视频所能提供的多帧资源,引入背景帧信息作为参考,引入多输入帧信息进行融合。由于本方法通过对低质量和高质量背景图像对计算得到的照度分量做进一步滤波处理来估计待增强图像的照度分量,消除了比值运算得到的照度分量中的纹理信息,该估计模型更加符合实际情况,使得待增强图像的照度分量估计更加准确。本方法在RGB色彩空间对待增强图像进行处理来确保图像的色彩部分也得到增强,且还对估计得到的照度分量做了颜色通道的均值处理使得各颜色通道的增强系数相同,从而保证待增强图像在增强前后各颜色通道的比例一致,使得增强结果的色彩保真度更高。此外,本方法还利用了待增强图像中噪声的随机性,使用多帧融合去噪的方法来解决噪声放大问题。这些改进之处使得本方法克服了现有低照度监控图像增强方法增强结果中的纹理混淆、色彩失真和噪声放大问题。
因此,本方法不仅提高了低照度监控图像的主观辨识度,还使之更加适合用于后续机器的图像识别、检测、分析工作,为监控图像发挥其刑侦价值提供了有力支撑作用,具有重要的实际应用价值。
附图说明
图1是本发明实施例的流程示意图
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图和实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
本发明提供了一种低照度监控图像增强方法,该方法在低照度监控图像的增强过程中充分且合理地利用了监控视频所能提供的多帧资源,引入背景帧信息作为参考,引入多输入帧信息进行融合。该方法用于解决低照度监控图像亮度对比度低、纹理模糊、色彩失真和噪声强问题,以达到提高低照度监控图像清晰度和辨识度,进而充分发挥现有监控设备刑侦价值的目的。
本发明面向监控环境下的低照度图像,属于有参考类型的低照度图像增强方法。具体实施时,本发明的技术方案可采用计算机软件技术实现自动运行流程。
请见图1,本发明实施例提供的一种低照度监控图像增强方法,具体实现过程包括以下步骤:
步骤1:从监控视频中获取参考帧Hb和待增强的低照度图像S,并提取低照度图像S的近邻帧Sk,设有N幅近邻帧,其中k=1,2,...,N,得到连续多帧待增强的低照度图像;
由于监控摄像头空间上位置固定不变、时间上全天候不间断摄制的特点,同一摄像头所拍摄到的画面,其背景内容是固定不变的,产生变化的只是前景,即在摄像头下运动的物体,比如人,车等。
首先从监控视频中获取待增强的低照度图像,记为S,由于监控视频是不间断摄制,所以还可以从监控视频中获取与S相邻的近邻帧,得到多帧低照度图像,记为Sk,其中k=(1,2,...,N),这些近邻帧通常也是待增强的低照度图像。然后再获取与待增强的低照度图像S具有相同背景内容的高质量背景帧,即监控摄像头在白天光照适宜条件下所拍摄的监控背景图像,记为Hb。其中,高质量背景帧和连续多帧待增强的低照度图像均由监控视频中提取帧的方式得到,各帧图像的分辨率和格式应当保持一致,格式应当为常见的图像格式,如jpg、bmp、png等。而高质量背景帧的选取应当注意选择纯净或前景物体很少的背景图像,且图像的亮度、对比度适宜,也无明显色偏和模糊问题。
步骤2:计算背景图像的照度分量,其具体实现包括以下子步骤:
步骤2.1:取待增强的低照度图像S和参考帧Hb构建高、低光照质量背景图像对应关系;
步骤2.2:将参考帧Hb视作待增强的低照度图像的反射分量,使用待增强的低照度图像和参考帧Hb做比值运算得到背景图像的照度分量
以上所述的高光照质量背景图像即为参考帧Hb,所述的低光照质量背景帧则是直接将待增强的低光照帧S当作低光照质量背景图像,记为Lb,实现方式如下,
Lb(x,y)=S(x,y)
根据Retinex理论,首先将高光照质量背景图像Hb作为低光照质量背景图像Lb的反射分量,然后使用对数形式将比值运算转化为减法运算,来计算背景图像的照度分量,实现方式如下,
其中,(x,y)表示各个像素的坐标位置,先将Hb和Lb的各个像素的取值Hb(x,y)、Lb(x,y)都加上1,然后做对数运算,转换至对数域得到中间参数和最后用减去得到对数域上的背景图像的照度分量
步骤3:计算待增强图像的照度分量,其具体实现包括以下子步骤:
步骤3.1:取步骤2中计算得到的背景图像的照度分量对其使用模糊核Gσ做卷积运算得到模糊后的背景图像照度分量
本步骤中模糊处理的实现方式如下;
其中,高斯模糊核的卷积运算是直接在背景图像照度分量的对数域上进行的,为对数域上背景图像的照度分量,为对数域上待增强图像的照度分量,即模糊后的背景图像照度分量;表示像素空间域上的卷积运算,Gσ是高斯卷积模糊函数。
进一步地,实施例中Gσ的实现方式如下;
r2=x2+y2
其中,e为数学常数,r为高斯模糊核的距离半径,由像素坐标(x,y)计算得到,σ是标准差,用于调节高斯模糊核模板的尺寸大小。σ的大小选择会直接影响到最终的增强结果,其与输入图像尺寸和前景相对于背景的大小比例有关,建议设为80~200之间,并取整数。
步骤3.2:将模糊后的背景图像照度分量分为R、G、B三个颜色通道,然后由三个通道的均值替换R、G、B各通道原来的通道值,进而得到待增强图像的照度分量
该步骤的具体实现方式如下;
其中,均值运算是在对数域上进行的,为背景图像的照度分量模糊处理后得到的照度分量,为对数域上最终计算得到的待增强图像的照度分量,即本步骤所求待增强图像的照度分量,i,j=0,1,2分别表示R,G,B三个通道。
步骤4:由步骤3得到的待增强图像的照度分量计算得到低照度图像S和多帧近邻帧Sk分别的反射分量;
计算待增强的低照度图像S的反射分量的具体实现方式如下;
Sl(x,y)=log[S(x,y)+1];
其中,Sl为对数域上的待增强的低照度图像S,和Sr分别为对数域上和[0,255]域上待增强的低照度图像S的反射分量,RRTM函数(Retinex Reference ToneMapping,基于Retinex参考的色调映射)则是本发明定义的一种由对数域量化到[0,255]域上的一种量化方式,其针对的具体量化过程如下;
首先将分为R,G,B三个通道,记作(i=0,1,2),然后分别计算三个通道的均值Mean[i]和均方差Std[i],i=(0,1,2),得到各个颜色通道的量化区间[Min[i],Max[i]]如下,
其中,α为量化区间的动态调节参数,α的大小决定了各个颜色通道线性量化区间的斜率,反映到增强结果中则决定了输出图像的对比度,建议优选设为2~3之间,并可以取值为小数,例如2.5。
最后再将分为R,G,B三个通道,然后对每个通道的每一个像素进行线性映射,具体实现方式如下,
其中,Sr为待增强的低照度图像S在[0,255]域上的反射分量,Sr[i](x,y),(i=0,1,2)分别为Sr的R,G,B三个颜色通道,经过上述线性映射得到Sr各个通道的值之后,将R,G,B三个通道融合输出;
计算待增强的低照度图像的近邻帧的反射分量的具体实现方式如下;
其中,为对数域上的待增强的低照度图像S的近邻帧Sk,k=(1,2,...,N),和Skr分别为对数域上和[0,255]域上近邻帧Sk的反射分量,k=(1,2,...,N),RRTM函数针对的具体量化过程如下,
首先将分为R,G,B三个通道,记作(i=0,1,2),然后分别计算三个通道的均值Mean[i]和均方差Std[i],i=(0,1,2),然后通过如下实现方式得到各个颜色通道的量化区间[Min[i],Max[i]],
其中,α为量化区间的动态调节参数,α的大小决定了各个颜色通道线性量化区间的斜率,反映到增强结果中则决定了输出图像的对比度,建议设为2~3之间,并可以取值为小数,且与量化时α的取值一致。
最后再将分为R,G,B三个通道,然后对每个通道的每一个像素进行线性映射,具体实现方式如下;
其中,Skr为待增强的低照度图像S的近邻帧Sk在[0,255]域上的反射分量,k=(1,2,...,N),Skr[i](x,y),(i=0,1,2)分别为Skr的R,G,B三个颜色通道,经过上述线性映射得到Skr各个通道的值之后,将R,G,B三个通道融合输出;
步骤5:融合低照度图像S和多帧近邻帧Sk分别的反射分量,得到待增强的低照度图像S去噪之后的增强结果;
该步骤实现方式如下;
其中,Skr(x,y)表示第k帧待增强的低照度图像的反射分量,k=(1,2,...,N);D(x,y)为待增强的低照度图像S去噪之后的增强结果,也即低照度图像S和多帧近邻帧Sk融合后的增强结果。N值越大则表示输入的帧数越多,则噪声的随机性覆盖范围越大,最终的去噪效果也会越好。但实际应用中设为10~50之间即可,并取整数,例如在低照度图像S前后各取20帧,则N=40。
优选地,可以对步骤5所得去噪之后的增强结果进行饱和度调整,得到待增强的低照度图像优化的增强结果。做饱和度调整是为了提升增强结果的色彩表现,具体实施时可由用户自行根据对于图像的主观视觉判断决定是否调整,以及调整饱和度参数的大小。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种基于参考帧的低照度监控图像增强方法,其特征在于,包括以下步骤:
步骤1,从监控视频中获取参考帧Hb和待增强的低照度图像S,并提取低照度图像S的近邻帧Sk,设有N幅近邻帧,其中k=1,2,...,N,;
步骤2,计算背景图像的照度分量包括以下子步骤,
步骤2.1,取待增强的低照度图像S和参考帧Hb构建高、低光照质量背景图像对应关系;
步骤2.2,将参考帧Hb视作待增强的低照度图像的反射分量,使用待增强的低照度图像和参考帧Hb做比值运算得到背景图像的照度分量
步骤3,计算待增强图像的照度分量,包括以下子步骤,
步骤3.1,取步骤2所得背景图像的照度分量使用模糊核Gσ做卷积运算得到模糊后的背景图像照度分量
步骤3.2,将模糊后的背景图像照度分量分为三个颜色通道,然后由三个颜色通道的均值替换各颜色通道原来的通道值,得到待增强图像的照度分量
步骤4,由步骤3得到的待增强图像的照度分量计算得到低照度图像S和多帧近邻帧Sk分别的反射分量;
步骤5,融合低照度图像S和多帧近邻帧Sk分别的反射分量,得到待增强的低照度图像S去噪之后的增强结果。
2.根据权利要求1所述的基于参考帧的低照度监控图像增强方法,其特征在于:步骤2中,将待增强的低照度图像S当作低光照质量背景图像,记为Lb,令
Lb(x,y)=S(x,y)
计算背景图像的照度分量实现方式如下,
<mrow>
<msubsup>
<mi>L</mi>
<mi>b</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mo>&lsqb;</mo>
<msub>
<mi>L</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
<mo>;</mo>
</mrow>
<mrow>
<msubsup>
<mi>H</mi>
<mi>b</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mo>&lsqb;</mo>
<msub>
<mi>H</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
<mo>;</mo>
</mrow>
<mrow>
<msubsup>
<mi>B</mi>
<mi>l</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>H</mi>
<mi>b</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>L</mi>
<mi>b</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
其中,(x,y)表示各个像素的坐标位置,和为中间参数。
3.根据权利要求2所述的基于参考帧的低照度监控图像增强方法,其特征在于:步骤3.1中,模糊后的背景图像照度分量求取如下,
<mrow>
<msubsup>
<mi>S</mi>
<mi>l</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>B</mi>
<mi>l</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>G</mi>
<mi>&sigma;</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
其中,为对数域上的待增强图像的照度分量。
4.根据权利要求3所述的基于参考帧的低照度监控图像增强方法,其特征在于:所述Gσ(x,y)实现如下,
<mrow>
<msub>
<mi>G</mi>
<mi>&sigma;</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<msup>
<mi>r</mi>
<mn>2</mn>
</msup>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
</msup>
</mrow>
r2=x2+y2
其中,e为数学常数,r为高斯模糊核的距离半径,由像素坐标(x,y)计算得到,σ是标准差,用于调节高斯模糊核模板的尺寸大小。
5.根据权利要求3所述的基于参考帧的低照度监控图像增强方法,其特征在于:步骤3.2中,计算待增强图像的照度分量实现如下,
<mrow>
<mover>
<msubsup>
<mi>S</mi>
<mi>l</mi>
<mi>l</mi>
</msubsup>
<mo>&OverBar;</mo>
</mover>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>3</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mn>2</mn>
</munderover>
<msubsup>
<mi>S</mi>
<mi>l</mi>
<mi>l</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>j</mi>
<mo>&rsqb;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,i,j=0,1,2分别表示R,G,B三个通道。
6.根据权利要求5所述的基于参考帧的低照度监控图像增强方法,其特征在于:步骤4中,计算得到低照度图像S的反射分量如下,
Sl(x,y)=log[S(x,y)+1];
<mrow>
<msubsup>
<mi>S</mi>
<mi>r</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>S</mi>
<mi>l</mi>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<msubsup>
<mi>S</mi>
<mi>l</mi>
<mi>l</mi>
</msubsup>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mi>S</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>R</mi>
<mi>R</mi>
<mi>T</mi>
<mi>M</mi>
<mo>&lsqb;</mo>
<msubsup>
<mi>S</mi>
<mi>r</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中,Sl为对数域上的待增强的低照度图像S,和Sr分别为对数域上和[0,255]域上待增强的低照度图像S的反射分量,RRTM函数是由对数域量化到[0,255]域上的量化方式,针对的量化过程实现如下,
首先将分为R,G,B三个通道,记作然后分别计算三个通道的均值Mean[i]和均方差Std[i],i=(0,1,2),得到各个颜色通道的量化区间[Min[i],Max[i]]如下,
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>=</mo>
<mi>M</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&times;</mo>
<mi>S</mi>
<mi>t</mi>
<mi>d</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>=</mo>
<mi>M</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&times;</mo>
<mi>S</mi>
<mi>t</mi>
<mi>d</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,α为量化区间的动态调节参数;
最后将分为R,G,B三个通道,然后对每个通道的每一个像素进行线性映射,如下,
<mrow>
<msub>
<mi>S</mi>
<mi>r</mi>
</msub>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msubsup>
<mi>S</mi>
<mi>r</mi>
<mi>l</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mo>(</mo>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mfrac>
<mo>&times;</mo>
<mn>255</mn>
<mo>;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>&le;</mo>
<msub>
<mi>S</mi>
<mi>r</mi>
</msub>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>&le;</mo>
<mn>255</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mi>r</mi>
</msub>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo><</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>255</mn>
<mo>;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mi>r</mi>
</msub>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>></mo>
<mn>255</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中,Sr[i](x,y),(i=0,1,2)分别为Sr的R,G,B三个颜色通道;经过上述线性映射得到Sr各个通道的值之后,将R,G,B三个通道融合输出。
7.根据权利要求5所述的基于参考帧的低照度监控图像增强方法,其特征在于:步骤4中,计算多帧近邻帧Sk分别的反射分量如下,
<mrow>
<msubsup>
<mi>S</mi>
<mi>k</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mo>&lsqb;</mo>
<msub>
<mi>S</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mn>1</mn>
<mo>&rsqb;</mo>
<mo>;</mo>
</mrow>
<mrow>
<msubsup>
<mi>S</mi>
<mrow>
<mi>k</mi>
<mi>r</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>S</mi>
<mi>k</mi>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<msubsup>
<mi>S</mi>
<mi>l</mi>
<mi>l</mi>
</msubsup>
<mo>&OverBar;</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>k</mi>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>R</mi>
<mi>R</mi>
<mi>T</mi>
<mi>M</mi>
<mo>&lsqb;</mo>
<msubsup>
<mi>S</mi>
<mrow>
<mi>k</mi>
<mi>r</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中,为对数域上的待增强的低照度图像S的近邻帧Sk,k=(1,2,...,N),和Skr分别为对数域上和[0,255]域上近邻帧Sk的反射分量,k=(1,2,...,N),RRTM函数是由对数域量化到[0,255]域上的一种量化方式,针对的量化过程实现如下,
首先将分为R,G,B三个通道,记作然后分别计算三个通道的均值Mean[i]和均方差Std[i],i=(0,1,2),得到各个颜色通道的量化区间[Min[i],Max[i]]如下,
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>=</mo>
<mi>M</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&times;</mo>
<mi>S</mi>
<mi>t</mi>
<mi>d</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>=</mo>
<mi>M</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&times;</mo>
<mi>S</mi>
<mi>t</mi>
<mi>d</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,α为量化区间的动态调节参数;
最后将分为R,G,B三个通道,然后对每个通道的每一个像素进行线性映射如下,
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>k</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msubsup>
<mi>S</mi>
<mrow>
<mi>k</mi>
<mi>r</mi>
</mrow>
<mi>l</mi>
</msubsup>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mo>(</mo>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>-</mo>
<mi>M</mi>
<mi>i</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
</mfrac>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<mn>255</mn>
<mo>-</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>&le;</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>k</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>&le;</mo>
<mn>255</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>k</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo><</mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>255</mn>
<mo>;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>k</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>&lsqb;</mo>
<mi>i</mi>
<mo>&rsqb;</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>></mo>
<mn>255</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中,Skr[i](x,y),(i=0,1,2)分别为Skr的R,G,B三个颜色通道;经过上述线性映射得到Skr各个通道的值之后,将R,G,B三个通道融合输出。
8.根据权利要求1所述的基于参考帧的低照度监控图像增强方法,其特征在于:步骤5中,融合低照度图像S和多帧近邻帧Sk分别的反射分量,实现如下,
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mfrac>
<mo>&lsqb;</mo>
<msub>
<mi>S</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>S</mi>
<mrow>
<mn>1</mn>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>S</mi>
<mrow>
<mn>2</mn>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<msub>
<mi>S</mi>
<mrow>
<mi>N</mi>
<mi>r</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
</mrow>
其中,Skr(x,y)表示第k帧待增强的低照度图像的反射分量,k=(1,2,...,N);D(x,y)为待增强的低照度图像S去噪之后的增强结果。
9.根据权利要求1或2或3或4或5或6或7或8所述的基于参考帧的低照度监控图像增强方法,其特征在于:对步骤5所得去噪之后的增强结果进行饱和度调整,得到待增强的低照度图像优化的增强结果。
10.根据权利要求1或2或3或4或5或6或7或8所述的基于参考帧的低照度监控图像增强方法,其特征在于:步骤1中所述的参考帧是监控摄像头在白天光照适宜条件下所拍摄的监控背景图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710597190.3A CN107392879B (zh) | 2017-07-20 | 2017-07-20 | 一种基于参考帧的低照度监控图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710597190.3A CN107392879B (zh) | 2017-07-20 | 2017-07-20 | 一种基于参考帧的低照度监控图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107392879A true CN107392879A (zh) | 2017-11-24 |
CN107392879B CN107392879B (zh) | 2019-10-25 |
Family
ID=60337332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710597190.3A Active CN107392879B (zh) | 2017-07-20 | 2017-07-20 | 一种基于参考帧的低照度监控图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107392879B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796607A (zh) * | 2018-08-03 | 2020-02-14 | 北京大学 | 一种基于视网膜大脑皮层理论的深度学习低光照图像增强方法 |
CN111429375A (zh) * | 2020-03-27 | 2020-07-17 | 扆亮海 | 日间图像参照辅助的夜晚监控视频质量提升方法 |
CN112584158A (zh) * | 2019-09-30 | 2021-03-30 | 复旦大学 | 视频质量增强方法和系统 |
CN112927160A (zh) * | 2021-03-12 | 2021-06-08 | 郑州轻工业大学 | 一种基于深度Retinex的单张低光图像增强方法 |
CN114626997A (zh) * | 2020-12-11 | 2022-06-14 | 三星电子株式会社 | 用于图像去噪的方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020924A (zh) * | 2012-12-13 | 2013-04-03 | 武汉大学 | 基于相似场景的低照度监控图像增强方法 |
CN103020930A (zh) * | 2012-11-26 | 2013-04-03 | 天津大学 | 一种夜间监控视频增强方法 |
CN104933074A (zh) * | 2014-03-20 | 2015-09-23 | 华为技术有限公司 | 新闻排序方法、装置和终端设备 |
CN106126605A (zh) * | 2016-06-21 | 2016-11-16 | 国家计算机网络与信息安全管理中心 | 一种基于用户画像的短文本分类方法 |
CN106469442A (zh) * | 2016-09-23 | 2017-03-01 | 邹建成 | 一种基于阵列图像的低照度图像增强方法 |
WO2017084255A1 (zh) * | 2015-11-18 | 2017-05-26 | 腾讯科技(深圳)有限公司 | 实时视频增强方法、终端和非易失性计算机可读存储介质 |
-
2017
- 2017-07-20 CN CN201710597190.3A patent/CN107392879B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103020930A (zh) * | 2012-11-26 | 2013-04-03 | 天津大学 | 一种夜间监控视频增强方法 |
CN103020924A (zh) * | 2012-12-13 | 2013-04-03 | 武汉大学 | 基于相似场景的低照度监控图像增强方法 |
CN104933074A (zh) * | 2014-03-20 | 2015-09-23 | 华为技术有限公司 | 新闻排序方法、装置和终端设备 |
WO2017084255A1 (zh) * | 2015-11-18 | 2017-05-26 | 腾讯科技(深圳)有限公司 | 实时视频增强方法、终端和非易失性计算机可读存储介质 |
CN106126605A (zh) * | 2016-06-21 | 2016-11-16 | 国家计算机网络与信息安全管理中心 | 一种基于用户画像的短文本分类方法 |
CN106469442A (zh) * | 2016-09-23 | 2017-03-01 | 邹建成 | 一种基于阵列图像的低照度图像增强方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796607A (zh) * | 2018-08-03 | 2020-02-14 | 北京大学 | 一种基于视网膜大脑皮层理论的深度学习低光照图像增强方法 |
CN110796607B (zh) * | 2018-08-03 | 2022-07-22 | 北京大学 | 一种基于视网膜大脑皮层理论的深度学习低光照图像增强方法 |
CN112584158A (zh) * | 2019-09-30 | 2021-03-30 | 复旦大学 | 视频质量增强方法和系统 |
CN111429375A (zh) * | 2020-03-27 | 2020-07-17 | 扆亮海 | 日间图像参照辅助的夜晚监控视频质量提升方法 |
CN114626997A (zh) * | 2020-12-11 | 2022-06-14 | 三星电子株式会社 | 用于图像去噪的方法和系统 |
CN112927160A (zh) * | 2021-03-12 | 2021-06-08 | 郑州轻工业大学 | 一种基于深度Retinex的单张低光图像增强方法 |
CN112927160B (zh) * | 2021-03-12 | 2022-11-18 | 郑州轻工业大学 | 一种基于深度Retinex的单张低光图像增强方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107392879B (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | An experiment-based review of low-light image enhancement methods | |
CN107392879B (zh) | 一种基于参考帧的低照度监控图像增强方法 | |
Huang et al. | Efficient contrast enhancement using adaptive gamma correction with weighting distribution | |
CN104240194B (zh) | 一种基于抛物线函数的低照度图像增强算法 | |
CN107292830B (zh) | 低照度图像增强及评价方法 | |
CN110232670B (zh) | 一种基于高低频分离的图像视觉效果增强的方法 | |
CN111899205A (zh) | 一种场景自适应宽动态红外热成像的图像增强方法 | |
CN104618700A (zh) | 一种彩色高动态范围图像增强显示的方法 | |
CN110009588B (zh) | 一种人像图像色彩增强方法及装置 | |
CN108288258A (zh) | 一种针对恶劣天气条件下的低质图像增强方法 | |
CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
CN112232204A (zh) | 基于红外图像的活体检测方法 | |
Wei et al. | An image fusion dehazing algorithm based on dark channel prior and retinex | |
Lal et al. | Automatic method for contrast enhancement of natural color images | |
CN113409247B (zh) | 一种多曝光融合图像质量评价方法 | |
CN108765337B (zh) | 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 | |
Wen et al. | A survey of image dehazing algorithm based on retinex theory | |
Feng et al. | Low-light color image enhancement based on Retinex | |
Hu et al. | A low illumination video enhancement algorithm based on the atmospheric physical model | |
CN112927160A (zh) | 一种基于深度Retinex的单张低光图像增强方法 | |
Wang et al. | Retinex algorithm on changing scales for haze removal with depth map | |
CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
CN113139913B (zh) | 一种面向人物肖像的新视图修正生成方法 | |
CN112270220B (zh) | 一种基于深度学习的缝纫手势识别方法 | |
CN104574330A (zh) | 一种可应对高动态范围红外图像的数字细节增强实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |