CN104217434A - 一种用于视频监控或机器视觉领域的图像多谱段分析方法 - Google Patents

Abstract

本发明公开了一种用于视频监控或机器视觉领域的图像多谱段分析方法，属于图像处理、视频监控、智能交通领域，特别一种应用于视频监控与机器视觉领域的视频图像直方图谱分段方法及局部谱段扩展拉伸到整个谱空间的方法。该方法将完整的视频图像的灰度直方图谱按需要进行分段，然后将感兴趣的谱段拉伸扩展到整个谱空间。本发明只将感兴趣的灰度谱段拉伸到整个谱空间，或逐个对每个谱段拉伸到整个谱空间，扩展了相应谱段对应图像的动态范围，提高了图像细节的可见度，很好地解决宽动态范围条件下视觉信息的感知和识别问题。同时，对不感兴趣的谱段可以去除，节省数据带宽。

Description

一种用于视频监控或机器视觉领域的图像多谱段分析方法

技术领域

本发明涉及图像处理、视频监控、智能交通领域，特别涉及一种应用于视频监控与机器视觉领域的视频图像直方图谱分段方法及局部谱段扩展拉伸到整个谱空间的方法。

背景技术

随着技术的发展和产业化的成熟，视频图像和机器视觉在从科学研究、工业生产、军工、安防到通信、娱乐等各个领域得到广泛的应用。

真实场景光电成像信号的强度在有限的范围内分布。成像信号的强度在视频图像上表现为亮暗等级。机器视觉中图像动态范围是指视频图像中从“最暗”到“最亮“之间的信号强度范围，而人类视觉系统的动态范围体现为图像对比度的感知。真实世界中的光电信号的动态范围远超过了人类视觉感知的范围，同时也远超过一般光电传感器、图像显示设备的表示范围。人类生理视觉的自适应能力可以动态感知差异亮度级别很大的不同区域不同时空的场景。比如人眼睛无法对着太阳同时看书，是因为太阳光太亮，相对书本文字又太暗，但是只对着书看就能看清。另外，从高亮的阳光下，突然走到房间里，就会感觉到房间很黑，什么都看不到，但是到房间里一会儿就能适应房间内的光线，看清室内场景。

大多数视觉信号采集和表现设备如摄像机和显示器都只能表示或者重现固定且有限的动态范围，而图像数据，特别是实时视频图像数据量非常巨大，一般记录与传输设备无法表示非常宽的动态范围图像，常采用动态范围压缩的方法在有限的比特数上表示实际场景中光电信息。这些技术局限导致机器视觉的应用无法满足人类对外界的视觉感知的需求，难以代替人眼睛实时监察实际场景，对人工智能、模式识别算法带来挑战。

为了有效提取视频图像中的信息，提高对视频场景中的目标辨识度，需要对摄取的视频图像进行处理。尽管目前已提出了很多方法，如直方图均衡化、对比度拉伸等，但效果不佳，主要原因是现在的做法通常是将整个灰度谱作为整体进行处理，由图1可知，把灰度谱范围由[n₁,n₆]整体拉伸扩展到[0,255],扩展范围有限，并不能真正改善视频图像的对比度效果，例如图中区域A的部分处于灰度暗区，拉伸变换后仍处于灰度暗区，对应场景仍然是细节不清、对比度小、目标辨识度低。

发明内容

本发明的目的是在视频监控与机器视觉领域的视频摄像系统中提供一种对视频图像灰度谱进行分割划分及分段扩展拉伸方法，将关注的谱段扩展到整个可用动态范围，解决视频采集设备或显示器等只能采集或重现固定且动态范围有限的图像，使获取的视频图像细节不清、对比度小、目标辨识度低，导致机器视觉的应用无法满足人类对外界的视觉感知的需求，难以代替人眼睛实时监察的问题，使所关注的场景事物所呈现的图像细节更清楚，以便对感兴趣的光电信号动态范围内的图像信息进行特殊的分析、处理、还原、传输等。

具体地说，本发明是采用以下的技术方案来实现的：一种用于视频监控或机器视觉领域的图像多谱段分析方法，其特征在于，建立灰度谱，即建立YUV格式的视频图像中Y分量的直方图；把完整的图像灰度谱按照不同的规则分割；取感兴趣的谱段并将其扩展到整个谱空间；基于此扩展拉伸了图像感兴趣部分的对比度，使得细节呈现的更清楚，便于分析与处理，具体包括如下步骤：

1)建立视频图像灰度分量的直方图谱，

设视频图像灰度分量的灰度等级范围，即谱空间，是[0，2^N-1]，式中N为表示图像灰度所用的比特数，第k灰度级的像素个数的函数

h(r_k)＝n_k

其中k＝0，1，…，M-1是第k级灰度，n_k表示图像中灰度级为r_k的像素个数；

2)建立控制逻辑，确定谱段分割方法及每个谱段变换函数的形式及参数；

3)将步骤1)所得到的视频图像灰度分量的直方图谱分割成段；

4)建立谱段变换函数，将选择的灰度谱段采用谱段变换函数进行灰度谱扩展；

5)将变换后的灰度连同原来的颜色分量重新构成YUV格式，输出该谱段拉伸扩谱后的图像。

上述技术方案的进一步特征在于，步骤2)控制逻辑根据视频图像特性和应用需求确定直方图谱分段方法，及谱段变换函数的形式及参数，最简单的变换函数是分区线性函数。

上述技术方案的进一步特征在于，步骤3)将视频图像灰度分量的直方图谱分割成段的方法，包括，

直方图谷值划分法：

确定直方图谱的所有谷值，即灰度值点包括n₁,n₂,n₃,n₄,n₅,n₆，将直方图谱划分为区间包括[n₁,n₂],[n₃,n₄],[n₅,n₆]；

直方图窗口扫描法：

根据分割需要，动态确定一个灰度级范围窗口[c₁,c₂]，窗口大小可以动态改变，窗口动态在灰度轴上移动来选择需要拉伸的灰度谱段。

本发明的有益效果如下：对比度对视觉效果的影响非常关键，高对比度对于图像的清晰度、细节表现、灰度层次表现都有很大益处。本发明所提出的方法只将感兴趣的灰度谱段拉伸到整个谱段，或逐个对每个谱段拉伸到整个谱段，使每个谱段扩展的范围更大，细节可见性更高，很好地解决宽动态范围条件下视觉信息的感知和识别问题。同时，对不感兴趣的谱段可以去除，节省数据带宽。另一方面，所提方法运算复杂度很低、数据吞吐也很低，能够满足高时空分辨率的实时视频处理的要求。

附图说明

图1是图像灰度直方图分段的情况，为典型的多目标复杂场景的视频图像灰度分布直方图。以常用的8比特灰度图像表示为例，从灰度轴可以看到只有[n₁,n₂],[n₃,n₄],[n₅,n₆]几个区间被利用表示图像的亮度，而区间[0,n₁],[n₂,n₃],[n₄,n₅],[n₆,255]被浪费，图像信息压缩到几段狭窄的灰度谱段中，导致的视觉效果是场景中不同物体/目标的细节非常不清晰，对比度/反差很小，目标辨识度低，严重影响视频监控和机器视觉的应用效果。

图2是视频图像谱段变换函数示例；

图3是将图1中谱段B扩展拉伸到整个谱空间的示意图；

图4是视频图像多谱段分析方法；

图5是图像灰度直方图连续的情况；

图6是典型摄像机交通成像图；

图7是以牌照为目标进行多谱段分析后的图像；

图8是综合多目标进行多谱段分析后的图像；

图9是以司机为目标进行多谱段分析后的图像。

具体实施方式

根据人眼视觉特性的特点，针对视频采集设备或显示器等只能采集或重现固定动态范围的图像，导致机器视觉的应用无法满足人类对外界的视觉感知的需求，难以代替人眼睛实时监察的问题，本发明提供了一种视频图像直方图灰度谱进行分割划分及分段扩展方法，将完整的视频图像的灰度直方图谱按照不同应用进行分割成谱段，然后取感兴趣的谱段拉伸扩展到整个谱空间，提高感兴趣谱段图像的对比度，再进行相关分析与处理。

例如，图1中的谱段B被扩展拉伸到整个谱空间，如图3所示。针对整个场景中不同灰度谱段的目标区域进行分析，扩谱后每个谱段都充满整个8比特谱空间。这样形成的效果是对关注区域进行动态对比度拉升。这样对关注的场景目标可以观察识别更多的细节。就如信号处理中常用的分段频谱分析方法，可以很低的采样率更精确的分析，通过移动分析窗口，可使分析覆盖整个有用的谱段。不关注的谱段不需要分析，节省带宽和分析工作。

图4是具体实施方案；

步骤401摄取视频图像：

视频图像格式为YUV，只对Y分量即灰度分量，也称为亮度分量，进行直方图谱划分分割和变换。

步骤402建立视频图像灰度分量的直方图：

图像灰度等级范围，即谱空间，是[0，2^N-1]，N表示图像灰度所用的比特数，常用的比特数是8；第k灰度级的像素个数的函数

h(r_k)＝n_k

其中k＝0，1，…，M-1是第k级灰度，n_k表示图像中灰度级为r_k的像素个数。

图像的直方图谱有不同的分布，两种特殊的情况如图1和图5所示，图1显示的直方图谱是分段的，而图5显示的直方图谱是连续的，实际的图像谱是它们的各自组合。

步骤403分割402步骤所得到的视频图像灰度直方图谱成段：

根据直方图特性或应用的需求，采用不用的分割方法，这里示例两种方法：

方法一，直方图谷值划分法：

确定直方图谱的所有谷值，例如图1中的n₁,n₂,n₃,n₄,n₅,n₆灰度值点，将直方图谱划分为区间[n₁,n₂],[n₃,n₄],[n₅,n₆]；

方法二，直方图窗口扫描法：

根据分割需要，动态确定一个灰度级范围窗口[c₁,c₂]，窗口大小可以动态改变；窗口动态在灰度轴上移动来选择需要拉伸的灰度谱段；

把直方图按照具体精度要求划分成数个谱段，由低到高逐个分析。

步骤404建立谱段变换函数，将选择的灰度谱段采用谱段变换函数进行谱扩展：

根据应用的不同，变换函数可以有不同的形式。最简单的变换函数是分区线性函数，如图2所示。图2中，g(x,y)表示原图像像素位置(x，y)的图像灰度值，[n₁,n₄]为从原灰度谱中选取的谱段，t(x，y)是变换后的图像灰度值，[m₁,m₄]为变换后的灰度谱段，如果m₁＝0，m₄＝2N-1，则将原谱段变换到整个可用谱段。将变换后的灰度谱分为三个区：暗区、正常区和亮区。不同区域，变换函数有不同的特性，例如线性变换的斜率不同：暗区、正常区和亮区分别对应的斜率为k₃，k₂和k₁。变换函数的数学模型例如下：

$t(x,y)=\left\{\begin{array}{cc}{2}^N-1& \mathrm{for\; g}(x,y)\&GreaterEqual;n_4\\ k_{1}g(x,y)+b_1& \mathrm{for}{n}_3\&le;g(x,y)<n_4\\ k_{2}g(x,y)+b_2& \mathrm{for}{n}_2\&le;g(x,y)<n_3\\ k_{3}g(x,y)+b_3& \mathrm{for}{n}_1\&le;g(x,y)<n_2\\ 0& \mathrm{for\; g}(x,y)\&le;n_1\end{array}\right.$

步骤405中的控制逻辑根据视频图像特性和应用需求确定谱段分割方法，每个谱段的变换函数的形式及参数。

步骤406将变换后的灰度连同原来的颜色分量重新构成YUV格式，输出谱段拉伸扩谱后的视频图像用于其他分析处理。

应用方法例：

例1，后端显示分析应用

按某一规则，选择一定动态范围谱段的场景，进行谱扩展；然后通过移动动态范围窗口的方法进行逐个谱段扩展分析；使得每一个谱段图像信息对比度拉升，重现更多的细节。

图6是典型的交通成像图，由于实际光照非常强烈，背光严重，多目标场景亮暗对比反差巨大，导致一般的传感器和显示设备无法重现智能交通中关注的每个目标的清晰图像。图中的牌照、司机、车辆与路面整体都没有得到很好的表现。

图7是以牌照为目标进行多谱段分析后的图像，显然牌照可以得到清晰重现，其他非关注场景受到抑制。

图8是综合多目标进行多谱段分析后的图像，车辆与路面整体细节得到清晰重现。图9是以司机为目标进行多谱段分析后的图像，相对一般摄像机成像司机的图像得到很明显提升。

例2，视频采集中传感器端应用

传统传感器图像采集把整个动态范围压缩到低比特数窄动态范围图像数据中，这样导致由暗到亮的场景在图像亮度上的分布都很窄，而且还有无用谱段，最终体现为图像对比度很弱，多目标局部细节无法保证。在视频摄像时采用本发明提供的视频图像多谱段分析方法，摄像时，选择性摄取有限动态范围内的场景，比如只摄取暗区，或者亮区，在记录成数据信号时，将其扩展到整个谱段。这样效果体现的对比度非常强烈，解决常见的不同区域细节丢失或者不清楚问题。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (3)

1.一种用于视频监控或机器视觉领域的图像多谱段分析方法，其特征在于，建立灰度谱，即建立YUV格式的视频图像中Y分量的直方图；把完整的图像灰度谱按照不同的规则分割；取感兴趣的谱段并将其扩展到整个谱空间；基于此扩展拉伸了图像感兴趣部分的对比度，使得细节呈现的更清楚，便于分析与处理，具体包括如下步骤：

1)建立视频图像灰度分量的直方图谱；

设视频图像灰度分量，即Y分量的灰度等级范围，即谱空间，是[0，2^N-1]，式中N为表示图像灰度所用的比特数，第k灰度级的像素个数的函数

h(r_k)＝n_k

其中k＝0，1，…，M-1是第k级灰度，n_k表示图像中灰度级为r_k的像素个数；

2)建立控制逻辑，确定谱段分割方法、每个谱段的变换函数的形式及参数；

3)将步骤1)所得到的视频图像灰度分量的直方图谱分割成段；

4)建立谱段变换函数，将选择的灰度谱段采用谱段变换函数进行灰度谱扩展；

5)将变换后的灰度连同原来的颜色分量重新构成YUV格式，输出该谱段拉伸扩谱后的图像。

2.根据权利要求1所述的图像多谱段分析方法，其特征在于，步骤2)控制逻辑根据视频图像特性和应用需求确定直方图谱分段方法、每个谱段变换函数的形式及参数，最简单的变换函数是分区线性函数。

3.根据权利要求1所述的图像多谱段分析方法，其特征在于，步骤3)将视频图像灰度分量的直方图谱分割成段的方法，包括，

直方图谷值划分法：

确定直方图谱的所有谷值，即灰度值点包括n₁,n₂,n₃,n₄,n₅,n₆，将直方图谱划分为区间包括[n₁,n₂],[n₃,n₄],[n₅,n₆]；

直方图窗口扫描法：

根据分割需要，动态确定一个灰度级范围窗口[c₁,c₂]，窗口大小可以动态改变，窗口动态在灰度轴上移动来选择需要拉伸的灰度谱段。