CN102186054A - 基于对比度分辨率补偿的自适应底层视频在线挖掘系统及方法 - Google Patents

Abstract

本发明提供了一种基于对比度分辨率补偿的自适应底层视频在线挖掘系统及方法，包括摄像头、视频采集卡、计算机主机和显示器。利用视频采集卡获取从摄像头传来的视频图像,计算出当前视频帧的平均灰度,根据平均灰度计算出对比度分辨率的最佳补偿因子，然后运用最佳补偿因子，对视频帧的对比度分辨率进行补偿,将经补偿后的视频实时显示并存储。采用本发明的技术方案，可以对低照度环境下的视频采集进行实时补偿处理，实现低照度环境下的实时视频图像的底层在线挖掘，从而弥补人类在暗视觉环境下对比度分辨率不足的缺陷，实现了暗视觉环境下的机器视觉。

Description

基于对比度分辨率补偿的自适应底层视频在线挖掘系统及方法

技术领域

本发明属于数字视频处理技术，具体地说，涉及针对于低照度下获得的人类视觉难以分辨的视频，进行在线挖掘处理的方法。

背景技术

人类视觉分为低照度下的暗视觉和正常照明下的明视觉。在暗视觉条件下，人类视觉的对比度分辨率是很低的，如能对之进行补偿，则可大大提高人类在暗视觉条件下的对比度分辨率，因而可将在微光条件下拍摄的人类视觉难以分辨的视频图像变为清晰可见的视频图像，就像猫科、犬科哺乳动物和夜莺等飞禽一样具有夜视功能，这种技术我们称为底层视频挖掘。

人类感觉系统虽然有很好的自适应调节功能，但还是存在某些缺陷，视觉系统也不例外，人类视觉对比度分辨率就是诸多人类视觉缺陷中的一种。我们日常生活中运用的监控、刑侦、检测，跟踪和医学成像，都是按明视觉要求设计的，对于暗视觉或者微光条件下的图像，由于对比度分辨率低，正常人类的视觉是无法辨识的，因此怎样弥补人类视觉分辨率的缺陷就显得尤为重要。

发明内容

本发明的目的是提供一种基于对比度分辨率补偿的自适应底层视频在线挖掘系统及方法，利用该系统及方法可建立起优于人类正常生理视觉感知效果的机器视觉补偿系统，使原来凭借生理视觉不能看见的在低照度下获得的视频图像变得清晰可见。

为实现上述技术目的，本发明提出了一种基于对比度分辨率补偿的自适应底层视频在线挖掘系统，包含有摄像头、视频采集卡、计算机主机和显示器，视频采集卡实时获取来自摄像头的视频帧，并发送到计算机主机，计算机主机存储原视频并通过显示器实时显示；同时，计算机主机对当前视频帧的平均灰度进行计算，再根据平均灰度得到对比度分辨率的最佳补偿因子，利用最佳补偿因子对当前视频帧进行实时补偿，然后显示在显示器上并进行同步存储。

利用上述系统实现基于对比度分辨率补偿的自适应底层视频在线挖掘方法，包括以下步骤：

（1）利用视频采集卡获取从摄像头传来的视频图像；

（2）计算当前视频帧的平均灰度；

（3）根据平均灰度按下式计算对比度分辨率最佳补偿因子 ，

k=3.5855/AGO+0.02305，0＜AGO≤47 ，

式中，AGO表示平均灰度，k为最佳补偿因子；

（4）运用最佳补偿因子，按下式对视频帧的对比度分辨率进行补偿，

 ，

式中，OG(x,y) 表示图像中像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度，JND(i)表示各级背景灰度上的恰可分辨的灰度距离，JND(i)按下式计算，

式中 

表示背景灰度；

（5）经补偿后的视频实时显示并存储。

本发明由计算机、视频采集卡、 摄像头和显示器组成硬件平台，由WINDOWSXP, 视频采集卡SDK和VC++6.0作为软件平台，以人类视觉对比度限制为理论基础，建立对比度分辨率补偿模型，其实现原理分析如下。

实验研究发现，在暗视觉范围内，人类视觉对比度分辨率按下述规律变化:

式中JND(

)中表示人类视觉恰可分辨的对比度，

表示背景灰度，灰度值在0到47之间为暗视觉，灰度值在64到255之间为明视觉，介于之间的为中间视觉。可以看出，不管是明视觉还是暗视觉条件下，人类视觉对比度分辨率随背景灰度

的变化为非线性关系，并且在不同的背景灰度下，人类能分辨的对比度是不同的，即对比度分辨率随背景灰度的变暗而变低，因此，在暗视觉条件下，人类视觉比度分辨率很低，看不清景物细节。由于成像设备是按明视觉条件设计的，因而暗视觉条件下的成像似乎没有内容（结构），但是其中包含了人类视觉不能分辨的信息。因此如能对低照度下的人类视觉对比度分辨率进行补偿，使相邻像素间的对比度分辨率达到JND(

)以上，就能使人类视觉能分辨出图像中的结构。

因此，我们建立了人类视觉对比度分辨率补偿算法：

式中，OG(x,y) 表示图像中，像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度。JND(

)表示各级背景灰度

上的恰可分辨的灰度距离。上式的意义解释如下：OG(x, y)=0的点变换后TG(x, y)仍为0； OG(x, y)=1的点变换后TG(x, y)为22.98；等等。变量

的变化范围0～255。常数k称为补偿因子，正实数。假定k=2，表示经补偿后，原来灰度差为1的灰度级为0，1的两点，经补偿后灰度差变为2JND(0)，即45.98。

以大量实验研究为基础，建立了自适应对比度分辨率的自动最佳化补偿模型，最佳补偿因子k _op 按下式计算：

式中k _op 为最佳补偿深度，AGO为图像的平均灰度。利用上式，我们可以通过原始图像（如一帧视频）的平均灰度快速获得最佳的补偿深度k _op 值，从而很方便实现在不同照度下的实时视频对比度分辨率自适应补偿。这样就能从原本人类视觉不能分辨出视频内容（结构）的视频中挖掘出人类视觉能分辨出的视频内容来。

采用本发明的技术方案，可以对低照度环境下的视频采集进行实时补偿处理，实现低照度环境下的实时视频图像的底层在线挖掘，从而弥补人类在暗视觉环境下对比度分辨率不足的缺陷，实现了暗视觉环境下的机器视觉。

附图说明

图1是本发明系统的硬件组成图。

图2是本发明方法的流程图。

图3是本发明中对比度分辨率补偿原理图。

图4是本发明实施例在暗视觉下获得的视频帧及其灰度谱图。

图5是图3经补偿后的视频帧及其灰度谱图。

具体实施方式

下面结合附图和具体实施例对本发明作详细说明。

如图1所示 ，本发明所述基于对比度分辨率补偿的自适应底层视频在线挖掘系统，包含有摄像头、视频采集卡、计算机主机和显示器，视频采集卡实时获取来自摄像头的视频帧，并发送到计算机主机，计算机主机存储原视频并通过显示器实时显示；同时，计算机主机对当前视频帧的平均灰度进行计算，再根据平均灰度得到对比度分辨率的最佳补偿因子，利用最佳补偿因子对当前视频帧进行实时补偿，然后显示在显示器上并进行同步存储。

如图2所示 ，为挖掘出通过视频采集卡从摄像头实时获取的，人类视觉不能分辨的低照度视频，按下列步骤进行：

（1）利用视频采集卡获取从摄像头传来的视频图像；

（2）计算当前视频帧的平均灰度；

（3）根据平均灰度按下式计算对比度分辨率最佳补偿因子 ，

k=3.5855/AGO+0.02305，0＜AGO≤47 ，

式中，AGO表示平均灰度，k为最佳补偿因子；

（4）运用最佳补偿因子，按下式对视频帧的对比度分辨率进行补偿，

 ，

式中，OG(x,y) 表示图像中像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度，JND(i)表示各级背景灰度上的恰可分辨的灰度距离，JND(i)按下式计算，

式中 

表示背景灰度；

（5）经补偿后的视频实时显示并存储。

本发明利用视频采集卡提供的SDK二次开发包和对比度分辨补偿算法，对低光照环境下视频图像进行实时的对比度分辨率补偿。系统硬件由CMOS摄像头、视频采集卡、计算机主机和显示器构成；软件部分关键是视频图像获取和对比度分辨率补偿算法。

由于要对采集的视频进行对比度分辨率补偿，所以每采集一帧图像就要对图像进行处理，并且要在下一帧图像采集完之前完成处理，这样才能使视频流畅。天敏SDK 2000视频采集卡的二次开发包就提供了这样的函数给用户使用，这就是数据流回调函数。所谓的数据流回调函数就是每当采集到一帧新的图像时，系统就会自动调用回调函数，执行回调函数的操作。因此，可以在回调函数中加入对比度分辨率补偿算法。这样每采集一帧新的图像，系统就会调用回调函数对图像进行对比度补偿操作，从而实现对视频的实时对比度分辨率处理。

回调函数中除了可以添加对比度分辨率补偿算法外，还可以添加视频压缩存储和视频远程传输等功能。

没有灰度差就没有对比度,人类视觉分辨率所能分辨的一幅图像中亮点的最小灰度差异称为JND(just noticeable difference)，对比度分辨率随背景灰度变化的规律为：

式中JND (

)表示人类视觉对比度分辨率，

表示背景灰度。灰度值在0到47之间为暗视觉，灰度值在64到255之间为明视觉，介于之间的为中间视觉。可以看出，不管是明视觉还是暗视觉条件下，人类视觉对比度分辨率随背景灰度的变化为非线性关系，并且在不同的背景灰度下，人类能分辨的对比度是不同的，即对比度分辨率随背景灰度的变暗而变低，背景灰度低对比度分辨率低，背景灰度高对比度分辨率高。

由于在低照度条件下人类视觉对比度分辨率低（如在0灰度附近需有23灰度级的差异才能达到JND），因此在低照度下获得（如拍摄）的图像虽有不同灰度的信息，但人类视觉不能分辨（如低照度下的监控录像，夜视图像等）。这就提出了暗视觉条件下人类视觉对比度分辨率非线性补偿的课题。尤如空间分辨率低用放大和显微技术对人类视觉空间分辨率进行补偿一样。人类视觉对比度分辨率非线性补偿基本原理是使相邻像素间的1灰度级的灰度差扩大到1JND，使本来不能分辨的信息达到恰可分辨。对比度分辨率补偿算法为：

  ，

式中，OG(x,y) 表示图像中，像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度。JND(

)表示各级背景灰度

上的恰可分辨的灰度距离。OG(x, y)=0的点变换后TG(x, y)仍为0； OG(x, y)=1的点变换后TG(x, y)为22.98；等等。变量

的变化范围0～255。常数

称为补偿因子，正实数。假定

=2，表示经补偿后，原来灰度差为1的灰度级为0，1的两点，经补偿后灰度差变为2JND(0)，即45.9。

将暗视觉下获得的图像的一个灰度级的差异扩展到JND，就可大大提高人类视觉对图像感知的视觉清晰度，分辨出不同的信息。

图3左边a图所示的是暗视觉下获得的视频帧，右边b图是其1级灰度谱，所谓的灰度谱是用来描述一幅图像的像素点数随灰度的变化情况。从图3中的的灰度谱分析可以看到图像的灰度集中在0到5之间，由于人类对比度分辨率的限制，所以无法清晰的识别图像的内容。

图4所示a、b图的是经对比度分辨率补偿后的视频帧及其灰度谱，可以看出经过补偿后的图像可以清楚的看到其中有一辆车，并且能够看清它的车牌号码。对补偿后的图像进行1级灰度谱分析，发现其灰度谱的范围由原来的0到5变成了0到255，并且相邻谱线之间的距离也由原来的1灰度级的灰度差扩大到大于1JND，从而改变了原来图像的对比度分辨率，使原来人眼看不见的图像变得清晰可见。

根据拍摄照度的不同且为了获得最佳效果的图像，需要取不同的补偿深度

。

值的大小直接影响补偿的效果，

值过小的话则没有明显的补偿效果，

值过大的话则会出现过补偿现象，使得图像太亮，信息损失太多且图像质量差。所以怎么样确定值使得达到最好的补偿效果成为了补偿算法的关键。实验得知，在相同的背景灰度下，随着值的增加图像的补偿效果先由差逐渐变好，然后再由好逐渐变差。即在获得最好质量的补偿后图像的条件系，值由图像的平均灰度确定。所以在一种背景灰度下唯一对应着一个最佳的补偿深度

使得图像的补偿效果最好。通过大量的实验，我们用统计方法预测到了图像平均灰度与最佳补偿深度之间的一一对应关系，关系见下式：

k=3.5855/AGO+0.02305，0＜AGO≤47，

式中k为最佳补偿深度。AGO为图像的平均灰度。利用该式，可以通过原始图像（一帧视频）的平均灰度快速获得最佳的补偿深度k值，从而很方便实现在不同照度下的实时视频对比度分辨率自适应补偿。

本发明利用视频采集卡的SDK二次开发包和对比度非线性补偿算法在低照度环境下实现实时视频图像的底层（像素级）在线挖掘。弥补了人类对对比度分辨率的缺陷，使原来人类视觉无法分辨的图像变得清晰可见。补偿因子K及对比度分辨率随背景灰度变化规律JND的算式中对于不同的环境条件，参数会略有差异，因此若在基于本发明方法原理上对算式中参数作的任何调整均在本专利的保护范围内。

Claims (2)

1.一种基于对比度分辨率补偿的自适应底层视频在线挖掘系统，其特征在于：包括摄像头、视频采集卡、计算机主机和显示器，视频采集卡实时获取来自摄像头的视频帧，并发送到计算机主机，计算机主机存储原视频并通过显示器实时显示；同时，计算机主机对当前视频帧的平均灰度进行计算，再根据平均灰度得到对比度分辨率的最佳补偿因子，利用最佳补偿因子对当前视频帧进行实时补偿，然后显示在显示器上并进行同步存储。

2.一种基于对比度分辨率补偿的自适应底层视频在线挖掘方法，其特征在于包括以下步骤：

（1）利用视频采集卡获取从摄像头传来的视频图像；

（2）计算当前视频帧的平均灰度；

（3）根据平均灰度按下式计算对比度分辨率最佳补偿因子 ，

k=3.5855/AGO+0.02305，0＜AGO≤47 ， 

式中，AGO表示平均灰度，k为最佳补偿因子；

（4）运用最佳补偿因子，按下式对视频帧的对比度分辨率进行补偿，

 ，

式中，OG(x,y) 表示图像中像素点（x, y）的原始灰度，TG(x,y)表示图像中同一像素点(x, y)的补偿后目标灰度，JND(i)表示各级背景灰度上的恰可分辨的灰度距离，JND(i)按下式计算，

式中 

表示背景灰度；

（5）经补偿后的视频实时显示并存储。

Images