CN105069801A - 基于图像质量诊断的视频图像预处理方法 - Google Patents

Abstract

本发明提供一种基于图像质量诊断的视频图像预处理方法，包括下述步骤：S1，视频图像格式转换，将图像原始格式转换成能够进行处理的格式，形成视频图像的灰度图；S2，对视频图像质量问题进行诊断，诊断出图像的质量问题，具体可诊断图像清晰度、亮度、抖动（即运动模糊）、画面冻结等质量问题；S3，进行图像预处理，针对诊断问题进行图像处理。本发明基于图像质量诊断的视频图像预处理方法，在诊断图像问题的基础上，针对问题选用适当方法进行处理，提高图像预处理效果，减少不必要的计算处理时间。

Description

基于图像质量诊断的视频图像预处理方法

技术领域

本发明涉及一种视频图像处理方法，尤其是一种视频图像预处理方法。

背景技术

视频图像处理技术在智能交通领域应用日渐广泛，许多车牌识别、违章检测、流量监测等技术都以图像处理技术为基础，图像预处理作为必不可少的环节，对后期图像识别处理有着关键影响。

目前图像预处理采用的普遍措施是对各类视频图像进行统一处理，如滤波、边缘检测等方法，并没有针对图像特征选择适合的算法分别进行预处理，其主要缺点为在预处理过程中，许多图像存在的问题没有进行处理，而一些图像不具备的问题进行冗余处理。

发明内容

本发明提出了一种基于图像质量诊断的视频图像预处理方法，在诊断图像问题的基础上，针对问题选用适当方法进行处理，提高图像预处理效果，减少不必要的计算处理时间。本发明采用的技术方案是：

一种基于图像质量诊断的视频图像预处理方法，包括下述步骤：

S1，视频图像格式转换，将图像原始格式转换成能够进行处理的格式，形成视频图像的灰度图；

S2，对视频图像质量问题进行诊断，诊断出图像的质量问题；

S3，进行图像预处理，针对诊断问题进行图像处理。

进一步地，所述步骤S1具体包括：

对视频图像首先进行色彩空间转换，将视频图像原始格式的YUV序列数据转化为RBG格式，之后，将RGB色彩图转换为灰度图。

进一步地，所述步骤S2具体包括：

对视频图像的清晰度、亮度、抖动即运动模糊、和画面冻结四种异常情况进行诊断：

S2.1)图像清晰度诊断：基于聚集窗口模式，采用平方梯度函数作为评价函数；对于分辨率一定的视频序列，分析其标准清晰度时的梯度变化值作为阈值，然后计算被分析的图像帧的梯度变化值，得出结果与阈值比较，计算结果高于给定阈值的是清晰图像，否则是模糊图像；

S2.2)图像亮度诊断：预估固定图像亮度值的合理范围，然后计算实际图像的平均亮度，进行比对，超出预估范围外的视为亮度异常，在预估范围内的视为亮度正常；

S2.3)图像抖动诊断即图像运动模糊诊断包括：图像灰度投影和互相关运算；

图像灰度投影包括行投影的映射和列投影的映射；通过行列投影的方式将二维灰度图像信息映射为一维的灰度投影曲线波形；

互相关运算：在分别计算出当前帧和参考帧的一维灰度投影曲线后，对当前帧和参考帧的行列投影分别做互相关运算，取相关值曲线中的极值为图像帧发生的位移，取该位移矢量绝对值为位移大小；当位移量大于参考帧位移量阈值的时候，则为运动模糊图像；

S2.4)图像画面冻结诊断：每间隔若干帧取两帧，作为相邻的帧，1首先通过帧差法得到差分图像，并使用类间方差最大法对差分图像二值化；2然后进行二值图像的形态学变换；3，之后进行图像轮廓提取；4最后进行轮廓面积计算，5得出结论若轮廓面积较大，则说明画面是动态变化的；若轮廓面积较小，且连续相邻帧差轮廓面积都较小，则说明画面冻结；此处轮廓面积与一个阈值面积比较，超过则说明较大，没有超过则说明较小。

进一步地，

S3.1)若诊断出图像清晰度问题，则进行图像清晰度处理：采用中值滤波的方法进行图像处理，二维中值滤波的输出为：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，

其中，f(x,y)，g(x,y)分别为原始图像和处理后图像；W为二维模板。

S3.2)若诊断出图像亮度问题，则进行亮度处理：采用基于点的亮度调整算法；将图像中每一个像素点乘以一个亮度缩放因子：

I’＝Gmap(I)*I

其中，I为调整前亮度，I’为调整后亮度，Gmap(I)为亮度缩放因子；Gmap(I)在提升图片亮度的同时，还利用信度值控制噪声，由两部分组成：

Gmap(I)＝f(I)*g(I)

其中f(I)为全局亮度调整算子，g(I)为局部亮度调整算子；

S3.3)若诊断出图像运动模糊问题，则进行模糊图像处理：

采用灰度图像,假设每帧图像水平、垂直方向像素数分别为S、T，建立基准帧坐标系OXY，原点位于基准帧左上角，X轴水平向右，Y轴垂直向下.将每个像素用一个1x1矩形表示出来，每帧图像为S*T的网格；假设，在基准帧中预先划定匹配区域，匹配区域水平、垂直方向像素数分别为M、N，匹配区域左上角所在像素在基准帧坐标系里的坐标为(X₀，Y₀)，建立匹配区域坐标系oxy，原点位于匹配区域左上角，x、y轴分别与X、Y轴平行；

假设最大水平、垂直抖动幅度分别为H、V像素；显然,划定匹配区域时必须将匹配区域左上角限制在限制矩形之内，限制矩形左上角的坐标为(H，V)，宽度为S-M-2H像素，高度为T-N-2V像素；当前帧坐标系与基准帧坐标系相同，用来进行图像匹配的子图尺寸与匹配区域相同，左上角所在像素在当前帧坐标系中的坐标为(X,Y)；子图坐标系与匹配区域坐标系相同；

开始处理前将匹配区域在基准帧中的像素灰度值及左上角坐标(X₀，Y₀)保存到内存中，并且设置偏移量和运动趋势的初值；偏移量为(Ax，Ay)，运动趋势为(Bx，By)；开始处理后，假设对任一帧图像已经求得上一帧中匹配区域的(Ax，Ay)和(Bx，By)，进行最佳匹配；

令X＝X₀+Ax，Y＝Y₀+Ay；利用绝对差值法求与匹配区域的相似程度测度函数值，分别进行水平和竖直方向的搜索，每次搜索都重新计算测度函数值，若测度函数值变小或不变，说明搜索方向正确，继续搜索；若测度函数值变大，说明搜索方向错误，退回原处；直到X、Y不再改变，即匹配成功；匹配成功后，求得Ax＝X-X₀和Ay＝Y-Y₀作为当前帧的偏移量；根据它们与上一帧偏移量的差别重新确定当前帧的运动趋势，对当前帧图像进行平移即消除抖动；

S2.4)若诊断出图像画面冻结问题，则进行图像冻结画面的帧丢弃处理；

当出现画面冻结问题时，根据诊断结果，给出画面冻结的起止帧，当进行图像预处理时，直接把视频图像中图像冻结画面的帧去掉。

本发明的优点在于：

1)减少不必要的图像处理的计算时间。

2)针对图像问题匹配适合的方法进行预处理，使图像得到最佳效果。

3)支持选择多种方法对指定图像进行处理，可用于比对不同方法处理的结果特征，更突出自动处理的优越性。

附图说明

图1为本发明的流程图。

图2为本发明的基准帧与匹配区域坐标系示意图。

图3为本发明的当前帧与子图坐标系示意图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

本发明提出的基于图像质量诊断的视频图像预处理方法，包含三大部分：第一步是视频图像格式转换，将图像原始格式转换成能够进行处理的格式；第二步对图像质量问题进行诊断，可诊断清晰度、亮度、抖动(即运动模糊)、画面冻结等质量问题，一帧图像可以出现一种或多种质量问题；第三步进行图像预处理，针对诊断问题进行图像处理，完成处理的图像可直接用于图像分析、识别等用途。

S1)视频图像格式转换。

视频图像原始格式为YUV序列数据，首先进行色彩空间转换，将YUV格式的数据转化为RBG格式。

YUV是被欧洲电视系统所采用的一种颜色编码方法，我国广播电视也普遍采用这类方法。其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。

RGB介绍：在记录计算机图像时，最常见的是采用RGB(红、绿，蓝)颜色分量来保存颜色信息，例如非压缩的24位的BMP图像就采用RGB空间来保存图像。一个像素24位，每8位保存一种颜色强度(0-255)，例如红色保存为0xFF0000。

转换公式如下：

$\left\{\begin{array}{c}Y=0.299R+0.587G+0.114B\\ U=-0.147R-0.289G+0.436B\\ V=0.615R-0.515G-0.100B\end{array}\right.---\left(1\right)$

$\left\{\begin{array}{c}R=Y-0.001U+1.402V\\ G=Y-0.344U-0.714V\\ B=Y+1.772U+0.001V\end{array}\right.---\left(2\right)$

利用公式2完成YUV到RGB色彩空间的转换。

之后，将RGB色彩图转换为灰度图。灰度图转换公式如下：

Gray＝(R*299+G*587+B*114+500)/1000(3)

S2)视频图像质量诊断。

本发明包含对图像清晰度、亮度、抖动(即运动模糊)、和画面冻结等4种异常情况进行诊断，并进行处理。实施方法：在视频中提取图像帧进行分析，通过帧间的运动位移量、运动区域大小和帧内亮度平均值和聚集平方梯度值等计算，参考正常帧的计算量，诊断视频图像清晰度、亮度、画面状态等。

S2.1)图像清晰度诊断：基于聚集窗口模式，采用平方梯度函数作为评价函数；对于分辨率一定的视频序列，分析其标准清晰度时的梯度变化值作为阈值，然后计算被分析的图像帧的梯度变化值，得出结果与阈值比较，计算结果高于给定阈值的是清晰图像，否则是模糊图像；

S2.2)图像亮度诊断：预估固定图像亮度值的合理范围，然后计算实际图像的平均亮度，进行比对，超出预估范围外的视为亮度异常，在预估范围内的视为亮度正常；

S2.3)图像抖动诊断(图像运动模糊诊断)：

以像素块为单位，计算在连续时间上附近像素之间的空间相关性，若相关性较大，说明视频图像稳定。若相关性较小，则表明图像发生明显偏移，即为抖动。具体可采用基于图像灰度投影算法的运动估计方法，包含两个关键步骤：图像灰度投影(即图像灰度映射)和互相关运算。

图像灰度投影：包括行投影的映射和列投影的映射；通过行列投影的方式将二维灰度图像信息映射为一维的灰度投影曲线波形。

灰度投影包括行投影的映射和列投影的映射。通过行列投影的方式将二维图像信息映射为一维的曲线波形。

设当前帧为第k帧，分辨率为N(行数)*M(列数)，f_k(i,j)为第k帧第i行j列像素点灰度值,行投影的映射方法为：

${\mathrm{Row}}_k\left(i\right)=\underset{j=1}{\overset{M}{\Σ}}{f}_k(i,j)$

Row_k＝[ΣRow_k(i)]/N

Rowpoject_k(i)＝Row_k(i)-Row_k

其中，Row_k(i)为第k帧图像第i行的平均灰度值，Row_k是图像N行平均灰度值的平均值，Rowproject_k(i)是第k帧图像第i行修正后的投影值；

列投影的映射方法为：

${\mathrm{Col}}_k\left(j\right)=\underset{j=1}{\overset{N}{\Σ}}{f}_k(i,j)$

Col_k＝[ΣCol_k(j)]/M

Colproject_k(j)＝Col_k(j)-Col_k

其中，Col_k(i)为第k帧图像第i列的平均灰度值，Col_k是图像M列平均灰度值的平均值，Colproject_k(i)是第k帧图像第i列修正后的投影值。

互相关运算：在分别计算出当前帧和参考帧(参考帧相当于标准帧)的一维灰度投影曲线后，对当前帧和参考帧的行列投影分别做互相关运算，取相关值曲线中的极值为图像帧发生的位移，取该位移矢量绝对值为位移大小；当位移量大于参考帧位移量阈值的时候，则为运动模糊图像；

具体步骤为：第一步，寻找一幅没有运动目标的背景图作参考帧，计算其灰度投影曲线；第二，读入当前帧，并灰度化当前帧，对当前帧灰度投影；第三，计算参考帧和当前帧的互相关运算；第四步，估计运动矢量的位移，根据位移值的绝对大小判断是否为运动模糊图像。

S2.4)图像画面冻结诊断：每间隔若干帧取两帧，作为相邻的帧，1首先通过帧差法得到差分图像，并使用类间方差最大法对差分图像二值化；2然后进行二值图像的形态学变换；3，之后进行图像轮廓提取；4最后进行轮廓面积计算，5得出结论若轮廓面积较大，则说明画面是动态变化的；若轮廓面积较小，且连续相邻帧差轮廓面积都较小，则说明画面冻结；此处轮廓面积与一个阈值面积比较，超过则说明较大，没有超过则说明较小。

S3)图像预处理。

S3.1)若诊断出图像清晰度问题，则进行图像清晰度处理：

可采用中值滤波的方法进行图像处理。中值滤波可以很好地去除运动模糊现象，与邻域平均滤波法和加权平均滤波法相比，能够同时保留原图像的边缘和细节信息。二维中值滤波的输出为：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)}，

其中，f(x,y)，g(x,y)分别为原始图像和处理后图像。W为二维模板，通常为3*3，5*5区域，也可以是不同的的形状，如线状，圆形，十字形，圆环形等。

S3.2)若诊断出图像亮度问题，则进行亮度处理：

可采用基于点的亮度调整算法；将图像中每一个像素点乘以一个亮度缩放因子：

I’＝Gmap(I)*I

其中，I为调整前亮度，I’为调整后亮度，Gmap(I)为亮度缩放因子；Gmap(I)在提升图片亮度的同时，还利用信度值控制噪声，由两部分组成：

Gmap(I)＝f(I)*g(I)

其中f(I)为全局亮度调整算子，根据整个图像的颜色统计信息，估算出f(I)的参数值，并对每个像素点进行映射，能够迅速改善图像亮度。g(I)为局部亮度调整算子，能够在亮度正常区域增强局部对比度，同时在较暗的区域平滑像素点、压制噪声。

S3.3)若诊断出图像运动模糊问题，则进行模糊图像处理：

采用灰度图像,假设每帧图像水平、垂直方向像素数分别为S、T，建立基准帧坐标系OXY，原点位于基准帧左上角，X轴水平向右，Y轴垂直向下.将每个像素用一个1x1矩形表示出来，每帧图像为S*T的网格，如图2所示。假设，在基准帧中预先划定的匹配区域为图2中阴影部分所示，水平、垂直方向像素数分别为M、N，左上角即“﹒”所在像素在基准帧坐标系里的坐标为(X₀，Y₀)，建立匹配区域坐标系oxy，原点位于匹配区域左上角，x、y轴分别与X、Y轴平行；

假设最大水平、垂直抖动幅度分别为H、V像素；显然,划定匹配区域时必须由软件将匹配区域左上角限制在图2中粗线框所示的限制矩形之内，限制矩形左上角的坐标为(H，V)，宽度为S-M-2H像素，高度为T-N-2V像素；当前帧坐标系与基准帧坐标系相同，如图3所示。用来进行图像匹配的子图如图3中阴影部分所示，尺寸与匹配区域相同，左上角即“﹒”所在像素在当前帧坐标系中的坐标为(X,Y)；子图坐标系与匹配区域坐标系相同。

开始处理前将匹配区域在基准帧中的像素灰度值及左上角坐标(X₀，Y₀)保存到内存中，并且设置偏移量和运动趋势的初值；偏移量为(Ax，Ay)，初值是〔0，0〕，运动趋势为(Bx，By)，Bx和By取+1时分别表示向右、向下运动，取-1时分别表示向左、向上运动；运动趋势的初值可以任意选取，假设为〔+1，+1〕；开始处理后，假设对任一帧图像已经求得上一帧中匹配区域的(Ax，Ay)和(Bx，By)，进行最佳匹配；

令X＝X₀+Ax，Y＝Y₀+Ay；利用绝对差值法求与匹配区域的相似程度测度函数值，分别进行水平和竖直方向的搜索，每次搜索都重新计算测度函数值，若测度函数值变小或不变，说明搜索方向正确，继续搜索；若测度函数值变大，说明搜索方向错误，退回原处；搜索范围为图3粗线框内(左上角为(X₀-H，Y₀-V),宽度为2H+1像素，高度为2V+1像素)；直到X、Y不再改变，即匹配成功；匹配成功后，求得Ax＝X-X₀和Ay＝Y-Y₀作为当前帧的偏移量；根据它们与上一帧偏移量的差别重新确定当前帧的运动趋势，对当前帧图像进行平移即消除抖动。

S2.4)若诊断出图像画面冻结问题，则进行图像冻结画面的帧丢弃处理；

当出现画面冻结问题时，根据诊断结果，给出画面冻结的起止帧，当进行图像预处理时，可直接把视频图像中图像冻结画面的帧去掉，从而省略该部分图像的处理过程。

Claims (7)

1.一种基于图像质量诊断的视频图像预处理方法，其特征在于，包括下述步骤：

S1，视频图像格式转换，将图像原始格式转换成能够进行处理的格式，形成视频图像的灰度图；

S2，对视频图像质量问题进行诊断，诊断出图像的质量问题；

S3，进行图像预处理，针对诊断问题进行图像处理。

2.如权利要求1所述的基于图像质量诊断的视频图像预处理方法，其特征在于：

所述步骤S1具体包括：

对视频图像首先进行色彩空间转换，将视频图像原始格式的YUV序列数据转化为RBG格式，之后，将RGB色彩图转换为灰度图。

3.如权利要求1所述的基于图像质量诊断的视频图像预处理方法，其特征在于：

所述步骤S2具体包括：

对视频图像的清晰度、亮度、抖动即运动模糊、和画面冻结四种异常情况进行诊断：

S2.1)图像清晰度诊断：基于聚集窗口模式，采用平方梯度函数作为评价函数；对于分辨率一定的视频序列，分析其标准清晰度时的梯度变化值作为阈值，然后计算被分析的图像帧的梯度变化值，得出结果与阈值比较，计算结果高于给定阈值的是清晰图像，否则是模糊图像；

S2.2)图像亮度诊断：预估固定图像亮度值的合理范围，然后计算实际图像的平均亮度，进行比对，超出预估范围外的视为亮度异常，在预估范围内的视为亮度正常；

S2.3)图像抖动诊断即图像运动模糊诊断包括：图像灰度投影和互相关运算；

图像灰度投影包括行投影的映射和列投影的映射；通过行列投影的方式将二维灰度图像信息映射为一维的灰度投影曲线波形；

互相关运算：在分别计算出当前帧和参考帧的一维灰度投影曲线后，对当前帧和参考帧的行列投影分别做互相关运算，取相关值曲线中的极值为图像帧发生的位移，取该位移矢量绝对值为位移大小；当位移量大于参考帧位移量阈值的时候，则为运动模糊图像；

S2.4)图像画面冻结诊断：每间隔若干帧取两帧，作为相邻的帧，1首先通过帧差法得到差分图像，并使用类间方差最大法对差分图像二值化；2然后进行二值图像的形态学变换；3，之后进行图像轮廓提取；4最后进行轮廓面积计算，5得出结论若轮廓面积较大，则说明画面是动态变化的；若轮廓面积较小，且连续相邻帧差轮廓面积都较小，则说明画面冻结；此处轮廓面积与一个阈值面积比较，超过则说明较大，没有超过则说明较小。

4.如权利要求1所述的基于图像质量诊断的视频图像预处理方法，其特征在于：

S3.1)若诊断出图像清晰度问题，则进行图像清晰度处理：采用中值滤波的方法进行图像处理，二维中值滤波的输出为：

g（x,y）=med{f(x-k,y-l),(k,l∈W)}，

其中，f(x,y)，g(x,y)分别为原始图像和处理后图像；W为二维模板。

5.如权利要求1所述的基于图像质量诊断的视频图像预处理方法，其特征在于：

S3.2)若诊断出图像亮度问题，则进行亮度处理：采用基于点的亮度调整算法；将图像中每一个像素点乘以一个亮度缩放因子：

I’=Gmap(I)*I

其中，I为调整前亮度，I’为调整后亮度，Gmap(I)为亮度缩放因子；Gmap(I)在提升图片亮度的同时，还利用信度值控制噪声，由两部分组成：

Gmap(I)=f(I)*g(I)

其中f(I)为全局亮度调整算子，g(I)为局部亮度调整算子。

6.如权利要求1所述的基于图像质量诊断的视频图像预处理方法，其特征在于：

S3.3)若诊断出图像运动模糊问题，则进行模糊图像处理：

采用灰度图像,假设每帧图像水平、垂直方向像素数分别为S、T，建立基准帧坐标系OXY，原点位于基准帧左上角，X轴水平向右，Y轴垂直向下.将每个像素用一个1x1矩形表示出来，每帧图像为S*T的网格；假设，在基准帧中预先划定匹配区域，匹配区域水平、垂直方向像素数分别为M、N，匹配区域左上角所在像素在基准帧坐标系里的坐标为（X₀，Y₀），建立匹配区域坐标系oxy，原点位于匹配区域左上角，x、y轴分别与X、Y轴平行；

假设最大水平、垂直抖动幅度分别为H、V像素；显然,划定匹配区域时必须将匹配区域左上角限制在限制矩形之内，限制矩形左上角的坐标为（H，V），宽度为S-M-2H像素，高度为T-N-2V像素；当前帧坐标系与基准帧坐标系相同，用来进行图像匹配的子图尺寸与匹配区域相同，左上角所在像素在当前帧坐标系中的坐标为(X,Y)；子图坐标系与匹配区域坐标系相同；

开始处理前将匹配区域在基准帧中的像素灰度值及左上角坐标（X₀，Y₀）保存到内存中，并且设置偏移量和运动趋势的初值；偏移量为（Ax，Ay），运动趋势为（Bx，By）；开始处理后，假设对任一帧图像已经求得上一帧中匹配区域的（Ax，Ay）和（Bx，By），进行最佳匹配；

令X=X₀+Ax，Y=Y₀+Ay；利用绝对差值法求与匹配区域的相似程度测度函数值，分别进行水平和竖直方向的搜索，每次搜索都重新计算测度函数值，若测度函数值变小或不变，说明搜索方向正确，继续搜索；若测度函数值变大，说明搜索方向错误，退回原处；直到X、Y不再改变，即匹配成功；匹配成功后，求得Ax=X-X₀和Ay=Y-Y₀作为当前帧的偏移量；根据它们与上一帧偏移量的差别重新确定当前帧的运动趋势，对当前帧图像进行平移即消除抖动。

7.如权利要求1所述的基于图像质量诊断的视频图像预处理方法，其特征在于：

S2.4）若诊断出图像画面冻结问题，则进行图像冻结画面的帧丢弃处理；

当出现画面冻结问题时，根据诊断结果，给出画面冻结的起止帧，当进行图像预处理时，直接把视频图像中图像冻结画面的帧去掉。