CN102186001A

CN102186001A - 一种基于对比度分辨率补偿的自适应底层视频挖掘方法

Info

Publication number: CN102186001A
Application number: CN 201110073912
Authority: CN
Inventors: 刘晓华; 吕霞付; 谢丹玫; 谢依策
Original assignee: Individual
Current assignee: Individual
Priority date: 2011-03-25
Filing date: 2011-03-25
Publication date: 2011-09-14

Abstract

本发明提供了一种基于对比度分辨率补偿的自适应底层视频挖掘方法，获取视频帧的原始平均灰度，根据平均灰度按下式获取视频帧的对比度分辨率最佳补偿因子，运用最佳补偿因子，对视频帧的对比度分辨率进行补偿，显示并储存经补偿后的视频流，即完成底层视频挖掘。本发明用视觉对比度分辨率补偿方法实现了低照度下拍摄的视频的自适应底层视频挖掘，方法的实质是以牺牲不能为人类视觉感知的信息量换取对比度，以便挖掘出图中的主要的能为人的视觉感知的信息，利用本发明的方法，实现了底层视频挖掘的机器视觉。

Description

一种基于对比度分辨率补偿的自适应底层视频挖掘方法

技术领域

本发明属于数字视频处理技术，具体地说，涉及在低照度下获得的，人类视觉难以分辨的视频的挖掘处理方法。

背景技术

人类视觉分为低照度下的暗视觉和正常照明下的明视觉，以及介于两者间的中间视觉。在低照度环境（如夜间或其他特殊环境）下所获得的视频，由于对比度低，人类视觉难于分辨。由于人类视觉对比度分辨率的限制，使得人类视觉不能分辨在暗视觉（微光）条件下拍摄的目标图像，从而给在低照度环境下的监控、刑侦、检测等工作带来了很大的困难。在暗视觉条件下，人类视觉的对比度分辨率是很低的，如能对之进行补偿，则可大大提高人类在暗视觉条件下的对比度分辨率，因而可将在微光条件下拍摄的人类视觉难以分辨的视频图像变为清晰可见的视频图像，就像猫科、犬科哺乳动物和夜莺等飞禽一样具有夜视功能，这种技术我们称之为底层视频挖掘，目前还没有底层视频挖掘技术的相关报道。

人类感觉系统虽然有很好的自适应调节功能，但还是存在某些缺陷，视觉系统也不例外，人类视觉对比度分辨率限制就是诸多人类视觉缺陷中的一种。我们日常生活中运用的监控、刑侦、检测、跟踪和医学成像，都是按明视觉要求设计的，对于暗视觉或者微光条件下的图像，由于对比度分辨率低，正常人类的视觉是无法辨识的，因此怎样弥补人类视觉对比度分辨率的缺陷就显得尤为重要。

发明内容

本发明的目的是提供一种基于对比度分辨率补偿的自适应底层视频挖掘方法，利用该方法可使低照度下获得的人类视觉不可见的视频变为人类视觉可见的视频，从而实现全视觉观察和监控。

实现本发明方法的步骤如下：

（1）获取视频帧的原始平均灰度；

（2）根据平均灰度按下式获取视频帧的对比度分辨率最佳补偿因子，

k _op =2.7956/AGO+0.0067， 0＜AGO≤47，

式中，AGO表示平均灰度，k _op为最佳补偿因子；

（3）运用最佳补偿因子，按下式对视频帧的对比度分辨率进行补偿，

，

式中，OG(x,y) 表示图像中像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度，JND(i)表示各级背景灰度上的恰可分辨的灰度距离，暗视觉下的JND(i)按下式进行计算，

式中 i表示背景灰度;

（4）显示并储存经补偿后的视频流，即完成底层视频挖掘。

下面对本发明方法的实现原理分析如下：

人类视觉所能分辨的一幅图像中两点的最小灰度差异称为JND（just noticeable difference）,即恰可分辨距离。不同灰度/亮度背景的JND 特性不同，表现为：

式中i表示背景灰度，对于[0,255]灰度级的图像，定义灰度值在0≤i≤47范围内为暗视觉，灰度值在64≤i≤255范围内为明视觉，介于之间的为中间视觉。在暗视觉条件下，人类视觉的对比度分辨率JND很低，在灰度级30以内，虽有不同的图像灰度，但人类视觉不能分辨，也就是说，这部分信息不能为人类视觉所利用。

如果我们将原始灰度差为1的相邻两灰度级的差异放到JND上，则就将图像的对比度补偿到了被人类视觉恰可分辨的程度。但是，恰可分辨对人类视觉来说十分费力。为此，可进一步提高补偿，使补偿达到最佳状态，称为最佳补偿，因此我们提出了补偿深度的概念。基于人类视觉系统的JND特性，定义对比度分辨率补偿算法如下：

，

式中，OG(x,y) 表示图像中像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度。上式的意义解释如下：OG(x, y)=0的点变换后TG(x, y)仍为0； OG(x, y)=1的点变换后TG(x, y)为22.98；等等。变量

的变化范围是0~255。常数

称为补偿因子，正实数。假定

=2，表示经补偿后，原来灰度差为1的灰度级为0，1的两点，经补偿后灰度差变为2JND(0)，即45.98。

对单帧图像做对比度分辨率非线性补偿，随着

值的逐渐增大，视觉感知的图像质量先变好再变差。达到最佳补偿的

值与平均灰度有关。通过大量单帧图像的实验，发现获得最佳图像对应的补偿因子k _op值和平均灰度值，采用数学方法拟合最佳补偿因子k _op的预测模型如下：

k _op=2.7956/AGO +0.0067， 0＜AGO≤47 ，

式中，AGO为原始平均灰度，一幅图像，在灰度级30以内，虽有不同的图像灰度，但人类视觉不能分辨，也就是说，这部分信息不能为人类视觉所利用。若能将两像素的灰度级之差补偿（扩展）到1个JND以上，人类视觉就能看出图像结构。

根据上面几式就能实现对比度分辨率的最佳补偿，从而实现对低照度下获得的人类视觉不能分辨的底层视频进行挖掘，使之成为人类视觉可分辨的视频图像。

本发明可用Windows平台下的DirectShow实现上述功能。DirectShow是Windows平台下通用视频处理框架技术，广泛应用于多媒体领域。近年来生产的视频采集设备均提供了对DirectShow的支持，在DireetShow技术框架中，可以通过嵌入Filter，重组数据流等方式实现视频的后处理。

本发明用视觉对比度分辨率补偿方法实现了低照度下拍摄的视频的自适应底层视频挖掘，方法的实质是以牺牲不能为人类视觉感知的信息量换取对比度，以便挖掘出图中的主要的能为人的视觉感知的信息，利用本发明的方法，实现了底层视频挖掘的机器视觉。

附图说明

图1是本发明的流程图。

图2是对比度分辨率补偿原理。

图3是实施例中视频挖掘前后效果对比图。

图4是同一帧视频挖掘前后的2级灰度谱图。

具体实施方式

下面结合附图和具体实施例对本发明作详细说明。

如图1所示，为挖掘出在低照度下拍摄的人类视觉难于分辨的视频，按下述步骤进行：

（1）获取视频帧的原始平均灰度AGO。

（2）根据平均灰度AGO按下式获取视频帧的对比度分辨率最佳补偿因子k _op ，k _op也称为最佳补偿深度：

k _op =2.7956/AGO+0.0067， 0＜AGO≤47；

，

式中，OG(x,y) 表示图像中像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度，JND(i)表示各级背景灰度上的恰可分辨的灰度距离，按下式计算，

式中

表示背景灰度，对于[0,255]灰度级的图像，灰度值在0≤

≤47范围内为暗视觉，灰度值在64≤

≤255范围内为明视觉;

（4）显示并储存经补偿后的视频流，即完成底层视频挖掘。

本发明是在发明人已有的研究成果的基础上建立起来的，包括“人类视觉对比度分辨率测量”、“对比度分辨非线性补偿图像挖掘”及“自适应对比度分辨非线性补偿图像挖掘以及新的图像质量评价方法”等，上述研究成果均已申请专利或发表相关论文。

人类视觉所能分辨的一幅图像中两点的最小灰度差异称为JND（just noticeable difference）。不同灰度亮度背景的JND 特性不同。在暗视觉条件下，JND随背景灰度变化的函数为：

（1），

式中表示背景灰度。对于[0,255]灰度级的图像，定义灰度值在0≤

≤47范围内为暗视觉，灰度值在64≤≤255范围内为明视觉。在暗视觉条件下，人类视觉的对比度分辨率，即JND很低。在灰度级30以内，虽有不同的图像灰度，但人类视觉不能分辨，就是说，这部分信息不能为人类视觉所利用。

基于上述分析，如果我们将原始的灰度差为1的相邻两灰度级的差异放到JND上，则就将图像的对比度补偿到了被人类视觉恰可分辨的程度如图2所示，图2中上方灰度谱图里的黑方块就是未经挖掘的低照度视频帧。但是，恰可分辨对人类视觉来说十分费力。为此，可进一步提高补偿，使补偿达到最佳状态（称为最佳补偿），因此提出了补偿深度的概念。基于人类视觉系统的JND特性，定义对比度分辨率补偿算法如下：

（2），

式中，OG(x,y) 表示图像中像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度。OG(x, y)=0的点变换后TG(x, y)仍为0； OG(x, y)=1的点变换后TG(x, y)为22.98；等等。变量i的变化范围0~255。常数

称为补偿因子，正实数。假定

对单帧视频图像做对比度分辨率非线性补偿时，随着

值的逐渐增大，视觉感知图像质量先变好再变差。通过大量单帧视频图像的实验，发现获得最佳图像对应的补偿因子k _op值和平均灰度值有关：

k _op =2.7956/AGO+0.0067， 0＜AGO≤47 （3），

将最佳补偿因子k _op 代入（2）式中，就实现了视频流的对比度分辨率的自适应最佳补偿。

为说明通过视觉对比度分辨率补偿实现底层视频挖掘的功能，我们将低照度下获得的原始视频图像和补偿后的视频图像同时显示于屏幕上（如图3中，每幅图的左部和右部），以突出效果，图3中a、b、c、d分别表示视频的第一帧、第二帧、第三帧和第四帧。另外还可通过拖曳播放和暂停功能查看每一帧视频的补偿效果。对任意一帧视频作补偿前和补偿后的2级灰度谱分析，如图4所示，从它们的灰度谱可以看出，处理后，拉伸了每帧视频图像的灰度层次、加宽了灰度谱的带宽，从不可分辨的对比度差异补偿到了人眼可以分辨的对比度差异，从而改善了视频图像的视觉质量，实现了低照度下获得的人类视觉不能分辨的视频的底层视频挖掘。低照度下，原视频一片黑，分辨不出图像结构，经自适应最佳底层视频挖掘处理过后的视频可分辨人影，实现了视频挖掘的效果。图4中右边b图的谱线数为9条，表示灰度层次大大少于左边的a图，因此，用视觉对比度分辨率补偿方法实现低照度下拍摄的视频的底层视频挖掘，其实质是以牺牲不能为人类视觉感知的信息量换取对比度，以挖掘出图中的主要的能为人类视觉感知的信息。

Claims

1.一种基于对比度分辨率补偿的自适应底层视频挖掘方法，其特征在于包括以下步骤：

（1）获取视频帧的原始平均灰度；

k _op =2.7956/AGO+0.0067， 0＜AGO≤47 ，

式中，AGO表示平均灰度，k _op为最佳补偿因子；

，

式中，OG(x,y) 表示图像中像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度，JND(i)表示各级背景灰度上的恰可分辨的灰度距离；暗视觉下的JND(i)按下式计算，

式中 i表示背景灰度;

（4）显示并储存经补偿后的视频流，即完成底层视频挖掘。