CN101483745A - 基于边缘检测的视频模式识别方法 - Google Patents

Abstract

本发明涉及识别输入视频是3:2下拉的电影模式还是普通隔行扫描视频的方法。本发明针对现有技术准确率低的缺点，公开了一种基于边缘检测的视频模式识别方法。根据3:2下拉电影模式特点，采用边缘检测技术进行视频模式识别。本发明基于运动产生边缘位移这个思路进行电影模式检测的，能够准确区分视频属于3:2下拉电影模式还是普通隔行视频；具有良好的抗噪声干扰特性；能够快速地实现电影模式与非电影模式之间的切换。适用于去隔行技术的视频模式识别领域。

Description

基于边缘检测的视频模式识别方法

技术领域：

本发明涉及隔行视频扫描格式转换技术，具体涉及到识别输入视频是3:2下拉的电影模式还是普通隔行扫描视频的方法。

技术背景：

由于受到传输带宽的限制，电视台发送的视频信号并不是一幅幅完整的图像，而是将一帧画面分成奇场和偶场先后传输的，而在用户终端，电视机也是一场一场地扫描，实现图像的显示。这种技术称为隔行扫描技术，虽然节省了传输带宽，但是损害了画面质量。随着电视技术的不断发展和观众对收看电视节目画面质量要求的不断提高，逐行扫描电视开始普及，但是目前广播电视台发送的电视信号仍然以隔行扫描信号为主，为了在逐行扫描电视机上播放隔行视频信号，去隔行技术被提出并成为了目前视频处理领域中的一个热点和难点问题。

目前被大多数国家采用的隔行扫描电视制式有60场/秒的NTSC(美国国家电视系统委员会)和50场/秒的PAL(逐行倒相)彩色电视制式。在现行电视系统中，隔行扫描视频信号中有相当一部分是由逐行视频源转换而来的，这些逐行视频源主要包括电影、广告和电脑制作的3D动画等。如果能从大量视频信号中区分出当前视频信号是由逐行视频转换来的还是本来就是隔行视频信号，然后对由逐行信号转换来的隔行信号采用weave(场间复制)方式去隔行能无损失地恢复原逐行视频。由电影胶片转换为隔行视频信号是这种情况的一个典型代表，所以通常将通过逐行视频源转换得到的隔行视频信号称为电影模式视频信号。正确区分视频信号是电影模式的还是非电影模式对提高去隔行效果显得十分重要。

电影是以24帧/秒记录在电影胶片上的模拟信号，广播电视台首先将这些电影胶片转换为逐行的视频源，然后通过隔行化和场重复的方式转换为60场/秒的NTSC制式或者50场/秒的PAL制式。在将电影源转换为NTSC制式电视时是采用一种叫3:2下拉的方式，如图1所示。其基本规律是以四个电影帧为周期，将第一个电影帧A分割拆分成第一个电视帧的奇场A1和偶场A2、以及复制第一个电视帧的奇场A1作为第二个电视帧的奇场，第二个电影帧B拆分成第二个电视帧的偶场B1以及第三个电视帧的奇场B2，第三个电影帧C拆分成第三个电视帧的偶场C1以及第四个电视帧的奇场C2，并复制C1作为第四个电视帧的偶场，第四个电影帧D拆分成第五个电视帧的奇场D1和偶场D2。如此每四个电影帧拆分成10个电视场，最后就将24帧/秒的逐行扫描电影源转换为了60场/秒的NTSC制式隔行扫描电视信号。

将电影信号转换为50场/秒PAL制式视频的方法叫2:2下拉，它是将每个电影帧拆分为一个电视帧的奇场和偶场，这相当于将24帧/秒的电影倍频为48场/秒的电视信号，当用PAL制播放时，电视播放速率比在电影院快1/24，但这不影响观看。

传统检测3:2下拉电影模式的方法是计算连续输入两场隔行信号的绝对差，然后统计得到一个场差，场差可以是所有像素点绝对差之和也可以是像素点的绝对差平均值等。再将这个场差与一个预先设定的门限比较，如果场差小于等于门限那么判定当前场为复制场并标记当前场为“0”，如果场差大于门限则判定当前场为非复制场并标记为“1”。连续检测几场可产生一个标记符号序列，将这个序列与电影模式的基本序列组进行匹配，如果匹配得上则说明当前场为3:2下拉电影模式的场，否则为非3:2下拉电影模式场。

传统方法没有深入分析3:2下拉电影的特点及可能出现的情况，主要存在下面几个问题：

仅利用相邻两个极性不同的视频场计算场差，这样的场差并不能体现3:2下拉模式中存在复制场这样的特点，所以这样的模式判断准确度不高；

算法使用固定门限值，限定了算法的使用范围，对场差波动大的视频不能做到随视频改变，容易造成误判；

静态场景或只存在少量运动的视频中，传统方法的处理不够细腻；

如果视频图像受噪声干扰，传统方法不能正确检出。

发明内容：

本发明所要解决的技术问题，就是针对现有技术的上述缺点，提供一种根据3:2下拉电影模式特点，采用边缘检测技术进行视频模式识别的方法。

本发明解决所述技术问题，采用的技术方案是，基于边缘检测的视频模式识别方法，其特征在于，包括以下步骤：

a、根据输入图像当前场像素灰度的均方差σ得到二值化门限TH＝α*σ和其中：α为设定值；

b、用输入图像与其淡化处理后的图像之差作为差值图像；

c、计算当前场的差值图像与其最邻近的同极性场的差值图像相同坐标像素灰度的差值，统计差值为“1”的像素数目，记为N_i；

d、对连续7场中的5个同极性场进行统计，得到N₁……N₅；如果N_i为最小且小于门限TH则标记当前图像的场标记为“0”，否则为“1”；

e、将步骤d得到的5bit序列与电影模式的标准序列组比较，如果有相同项，则判断当前场为电影模式的视频场，否则判断当前场为非电影模式的视频场。

具体的，所述。由下式得到：

$\mathrm{\σ}=\sqrt{\frac{1}{M\×N-1}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(F_n(i,j)-\mathrm{\μ})}^2}$

其中：F_n(i，j)代表当前场像素灰度数据，i，j为像素的坐标；M和N分别是当前场图像的高和宽；

$\mathrm{\μ}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{F}_n(i,j)$ 为当前场像素灰度的均值。

具体的，所述电影模式的标准序列组包括：

{1，1，1，1，0}；{1，1，1，0，1}；{1，1，0，1，1}；{1，0，1，1，1}；{0，1，1，1，1}。

进一步的，在步骤a之前还包括步骤：

a0、滤除输入图像的噪声。

具体的，所述步骤a0中，采用中值滤波器滤除输入图像的噪声。

进一步的，步骤b所述淡化处理是对每个像素灰度取其邻域内的最小值。

具体的，所述邻域为以待处理像素为中心的3×3邻域。

本发明的有益效果是，基于运动产生边缘位移这个思路进行电影模式检测的，能够准确区分视频属于3:2下拉电影模式还是普通隔行视频；具有良好的抗噪声干扰特性；能够快速地实现电影模式与非电影模式之间的切换。

附图说明

图1是3:2下拉电影模式视频信号产生过程原理图；

图2实施例的视频信号模式检测系统结构图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

因为3:2下拉电影模式的视频序列中每7个连续场中都包含有一对复制场，理论上这对复制场是完全相同的。但是现实中的视频图像都是含有噪声的，所以复制场也不可能完全相同。通过分析复制场和非复制场的关系，我们知道复制场即使受噪声影响其边缘结构仍然保持相同。但是非复制场由于不是同一时刻的图像，所以存在时间差，它们如果不是静态图像那么因为运动会让它们的边缘产生相对位移。本发明就是基于运动产生边缘位移这个思路进行电影模式检测的。

本发明的检测方法主要通过中值滤波模块、门限生成模块、边缘处理模块、场差计算模块、场标志序列生成模块以及模式判断模块实现判断输入视频场是否为3:2电影模式场，具体包括以下步骤：

1、将每个输入的视频场进行降噪处理，本发明中选用中值滤波去掉图像中的部分噪声，可以提高边缘提取的准确性；

2、将当前场视频数据输入到门限生成模块，该模块统计输入视频场信号的均值μ和均方差σ，并利用均方差生成二值化门限Th＝α×σ；α为设定值；

3、淡化输入视频图像的亮边缘：对经中值滤波后的视频图像，每一个像素点的灰度值取该像素点所在的3×3子块中的九个像素灰度的最小值，这样就得到了淡化了亮边缘的图像。然后再用去噪图像减去淡化后的图像得到了差值图像，这个差值图像具有如下特性：在图像的平滑区域，由于淡化操作基本不改变像素灰度，所以这样的区域的差值为零或很小；而原始图像中的亮边缘由于淡化使其灰度值变小，所以这个区域的差值很大。最后用差值图像与二值化门限Th比较进行二值化，得到的图像就是用于电影模式检测的边缘图像(即差值图像)。

4、输入当前场和最邻近的同极性场的边缘图像，计算其对应像素点的绝对差SAD

SAD＝abs(F_n(i，j)-F_n-2(i，j))

其中：F_n(i，j)代表当前场像素灰度数据，F_n-2(i，j)代表与当前场最邻近的同极性场的灰度数据，i，j为像素的坐标。

因为是二值化图像，所以绝对差只能是“1”或“0”，设置一个记数器统计整场中对应像素灰度绝对差为“1”的像素数量N_i，这个数据N_i就代表了当前场的场差。判断当前场的场差是否为连续五个同极性场的场差中的最小值，并且其场差小于二值化门限Th，如果满足条件，那么设置当前场的模式标志为“0”，否则设置为“1”，这样就得到了一个5bit序列；

5、将这个序列与标准3:2电影标志序列匹配，如果两个序列完全相同则说明当前场为3:2下拉电影模式的场；如果匹配不上则说明当前场不是电影模式的场。

实施例

如图2所示，本发明检测电影模式的系统包含中值滤波模块1、门限生成模块2、边缘处理模块3、场差计算模块4、场标志序列生成模块5、模式判断模块6，该系统判断输入视频是否为电影模式的具体步骤为：

1、在中值滤波模块1中，对输入的视频图像进行中值滤波，目的是去除输入视频图像中的噪声，避免后续边缘提取过程中产生非边缘点；

2、在门限生成模块2中，计算输入视频图像的均方差：

$\mathrm{\σ}=\sqrt{\frac{1}{M\×N-1}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(F_n(i,j)-\mathrm{\μ})}^2}$

根据均方差σ得到二值化门限TH＝α*σ；其中：F_n(i，j)代表当前场像素灰度数据，i，j为像素的坐标；M和N分别是当前场图像的高和宽；

$\mathrm{\μ}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{F}_n(i,j)$ 为当前场像素灰度的均值。α为非零的正值，属于经验值。

3、在边缘处理模块3中，计算输入的经中值滤波后的视频图像的差分(即边缘处理)。本例采用一种自适应提取图像亮边缘的算法：图像像素点灰度值采用以其为中心的3×3邻域中所有像素点的最小灰度值，这样做相当于腐蚀了图像中的亮边缘，然后用原始图像(中值滤波后的图像)减去腐蚀后的图像，就可以得到二值化处理后的差值图像。

4、在场差计算模块4中，输入的两个最邻近的同极性场的图像都是二值图像，所以像素灰度绝对差只能为“0”或“1”，统计绝对差不为零的像素点个数，该像素点个数即为所求场差。

5、场标志序列生成模块5连续存储五个同极性场的场差，标记其中最小值并小于Th的场的模式标志为“0”，非最小值对应的场的模式标志为“1”，这样就形成一个5bits序列，该序列就是要求的模式标志序列。为了提高准确性，α的选择应当使Th小于复制场的场差。

6、模式判断模块6比较模式标志序列和标准电影模式标志序列。电影模式标准序列由5个基本序列组成：{1，1，1，1，0}、{1，1，1，0，1}、{1，1，0，1，1}、{1，0，1，1，1}、{0，1，1，1，1}。只要输入的模式标志序列与5个基本序列中任意一个相同，那么判定当前场为电影模式的场。

本发明首先提取输入视频图像的亮边缘然后计算场差，对由复制场计算出的场差基本上都是0，而非复制场由于存在时间差和边缘位移所以场差大，对不含噪声和含不同水平噪声的测试视频进行了检测表明本发明方法能够准确检测出3:2下拉电影模式视频。

Claims (7)

1. 【权利要求1】基于边缘检测的视频模式识别方法，其特征在于，包括以下步骤：

   a、根据输入图像当前场像素灰度的均方差σ得到二值化门限TH＝α*σ和其中：α为设定值；

   b、用输入图像与其淡化处理后的图像之差作为差值图像；

   c、计算当前场的差值图像与其最邻近的同极性场的差值图像相同坐标像素灰度的绝对差，统计绝对差为“1”的像素数目，记为N_i；

   d、对连续七场中的五个同极性场进行统计，得到N₁……N₅；如果N_i为最小且小于门限TH则标记当前图像的场标记为“0”，否则为“1”；

   e、将步骤d得到的5bit序列与电影模式的标准序列组比较，如果有相同项，则判断当前场为电影模式的视频场，否则判断当前场为非电影模式的视频场。
2. 【权利要求2】根据权利要求1所述的基于边缘检测的视频模式识别方法，其特征在于，所述。由下式得到：

   $\mathrm{\σ}=\sqrt{\frac{1}{M\×N-1}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(F_n(i,j)-\mathrm{\μ})}^2}$

   其中：F_n(i，j)代表当前场像素灰度数据，i，j为像素的坐标；M和N分别是当前场图像的高和宽；

   $\mathrm{\μ}=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{F}_n(i,j)$ 为当前场像素灰度的均值。
3. 【权利要求3】根据权利要求1所述的基于边缘检测的视频模式识别方法，其特征在于，所述电影模式的标准序列组包括：

   {1，1，1，1，0}；{1，1，1，0，1}；{1，1，0，1，1}；{1，0，1，1，1}；{0，1，1，1，1}。
4. 【权利要求4】根据权利要求1、2或3所述的基于边缘检测的视频模式识别方法，其特征在于，在步骤a之前还包括步骤：

   a0、滤除输入图像的噪声。
5. 【权利要求5】根据权利要求4所述的基于边缘检测的视频模式识别方法，其特征在于，所述步骤a0中，采用中值滤波器滤除输入图像的噪声。
6. 【权利要求6】根据上述任意一项权利要求所述的基于边缘检测的视频模式识别方法，其特征在于，步骤b所述淡化处理是对每个像素灰度取其邻域内的最小值。
7. 【权利要求7】根据权利要求6所述的基于边缘检测的视频模式识别方法，其特征在于，所述邻域为以待处理像素为中心的3×3邻域。

Images