CN107018350A - 视频去隔行处理方法及装置 - Google Patents

Abstract

本发明实施例提出一种视频去隔行处理方法及装置，其将累计场间差值、场间绝对差值与预设的阈值集合进行比较获得较精确的运动等级，可以更加灵活地加权利用静态插值和动态插值结果，获得更好的去隔行效果。

Description

视频去隔行处理方法及装置

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频去隔行处理方法以及一种视频去隔行处理装置。

背景技术

为了减小传输带宽和压缩存储空间，传统模拟电视行业普遍采用隔行扫描系统，也就是将一帧完整的图像分为奇场和偶场两个部分分别传送，因此产生了隔行(Interlaced)视频。但是这种隔行视频在目前数字电视行业中的逐行(Progressive)显示设备上无法直接显示，因此需要将隔行视频转换为逐行视频，这就产生了视频去隔行处理问题。

目前大多数终端显示设备都采用运动自适应的去隔行方法，该方法在运动检测上一般是对场间的像素绝对差值与固定阈值进行比较，大于阈值则判断为运动状态，小于阈值则判断为静止状态，其中阈值设置单一，并且对噪声比较敏感，存在误判的风险，影响视频去隔行效果。

发明内容

因此，本发明实施例提出一种视频去隔行处理方法以及一种视频去隔行处理装置，以缓解运动检测时存在误判风险而影响视频去隔行效果的问题。

一方面，提供了一种视频去隔行处理方法，包括：获取连续三场图像，其中所述连续三场图像包括当前场图像、前一场图像和后一场图像；根据前一场图像的亮度分量和后一场图像的亮度分量得到当前场图像各个待插值点位置的场间差异；对所述当前场图像各个待插值点位置的场间差异进行邻域求和，得到当前场图像各个待插值点的累计场间差值；对所述当前场图像各个待插值点位置的场间差异求绝对值，得到当前场图像各个待插值点的场间绝对差值；以及将所述当前场图像各个待插值点位置的累计场间差值和场间绝对差值分别与预设第一阈值集合和预设第二阈值集合中的阈值进行比较，确定当前场图像各个待插值点位置的运动权值。

另一方面，提供了一种视频去隔行处理装置，包括：图像获取模块，用于获取连续三场图像，其中所述连续三场图像包括当前场图像、前一场图像和后一场图像；场间差异计算模块，用于根据前一场图像的亮度分量和后一场图像的亮度分量得到当前场图像各个待插值点位置的场间差异；累计场间差值计算模块，用于对所述当前场图像各个待插值点位置的场间差异进行邻域求和，得到当前场图像各个待插值点的累计场间差值；场间绝对差值计算模块，用于对所述当前场图像各个待插值点位置的场间差异求绝对值，得到当前场图像各个待插值点的场间绝对差值；以及运动权值确定模块，用于将所述当前场图像各个待插值点位置的累计场间差值和场间绝对差值分别与预设第一阈值集合和预设第二阈值集合中的阈值进行比较，确定当前场图像各个待插值点位置的运动权值。

上述技术方案中的一个技术方案具有如下优点或有益效果：运动检测可以仅需要缓存前一场、当前场、后一场连续3场视频图像，可以减轻硬件缓存消耗；以及通过将累计场间差值、场间绝对差值与预设的阈值集合进行比较，获得比较精确的运动等级，进而可以更加灵活地加权利用静态插值和动态插值结果，获得更好的去隔行效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例的一种视频去隔行处理方法的流程图；

图2为图1所示视频去隔行处理方法的具体举例流程图；

图3为相关于本发明第一实施例的一种奇偶场图像信号示意图；

图4为相关于本发明第一实施例的一种累计场间差值计算示意图；

图5为相关于本发明第一实施例的一种基本阈值调节流程图；

图6为本发明第二实施例的一种视频去隔行处理装置的模块示意图；

图7为本发明其它实施例的一种视频去隔行处理装置的模块示意图；

图8为本发明再一其它实施例的一种视频去隔行处理装置的模块示意图；

图9为本发明另一其它实施例的一种视频去隔行处理装置的模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例针对传统的基于运动自适应的视频去隔行方法中运动检测阈值设置单一、容易受到噪声干扰的问题，提出了一种视频去隔行处理方法，该方法在运动检测过程中考虑了场间像素差异的邻域信息，减轻噪声的干扰，对检测阈值进行分挡，并且根据场景信息对阈值进行反馈调节，能够有效地提高运动检测结果，进而可以改善去隔行效果。

第一实施例

如图1所示，本实施例中提出的一种视频去隔行处理方法，其包括以下步骤：

S11：获取连续三场图像，其中所述连续三场图像包括当前场图像、前一场图像和后一场图像；

S13：根据前一场图像的亮度分量和后一场图像的亮度分量得到当前场图像各个待插值点位置的场间差异；

S15：对所述当前场图像各个待插值点位置的场间差异进行邻域求和，得到当前场图像各个待插值点的累计场间差值；

S17：对所述当前场图像各个待插值点位置的场间差异求绝对值，得到当前场图像各个待插值点的场间绝对差值；以及

S19：将所述当前场图像各个待插值点位置的累计场间差值和场间绝对差值分别与预设第一阈值集合和预设第二阈值集合中的阈值进行比较，确定当前场图像各个待插值点位置的运动权值。

此外，当所述当前场图像、前一场图像和后一场图像为基色颜色空间(例如RGB颜色空间)的图像时，前述运动检测方法还可以进一步包括步骤：将所述当前场图像、前一场图像和后一场图像转换至所述色亮分离颜色空间(例如YUV颜色空间)。

再者，前述运动检测方法还可以进一步包括步骤：设置第一基本阈值和第二基本阈值；以及基于所述第一基本阈值设置所述第一阈值集合、并基于所述第二基本阈值设置所述第二阈值集合。

另外，前述运动检测方法还可以进一步包括步骤：对所述当前场图像各个待插值点位置中累计场间差值小于或等于所述第一基本阈值、且场间绝对差值小于或等于所述第二基本阈值的所有待插值点位置的场间绝对差值求和得到条件差值和；统计所述当前场图像各个待插值点位置中累计场间差值小于或等于所述第一基本阈值、且场间绝对差值小于或等于所述第二基本阈值的所有待插值点位置的数量；根据所述条件差值和、以及所述数量计算得到平均场间绝对差值；以及根据所述平均场间绝对差值与一第三基本阈值的大小关系调节所述第一基本阈值和所述第二基本阈值，例如将所述第一基本阈值和所述第二基本阈值增大或减小相同步长。

为便于更清楚地理解本实施例，下面结合图2至图5对本实施例的视频去隔行处理方法的具体举例进行详细描述。具体地：

(1)读取连续3场基色颜色空间例如RGB隔行图像

具体可以从隔行扫描系统中读取连续3场RGB隔行图像，分别为前一场图像(pre)、当前场图像(cur)和后一场图像(pos)，如图3所示。若当前场是偶场，则前一场和后一场都是奇场；反之，若当前场是奇场，则前一场和后一场都是偶场。

(2)设置基本阈值T1和T2

具体可以根据多次测试总结出一组比较合理的基本阈值T1和T2，例如T1取值为20，T2取值为5。

(3)基于基本阈值设置多档阈值，也即设置第一阈值集合和第二阈值集合

具体可以根据步骤(2)中的基本阈值T1和T2，共设置6档阈值，分别为：第一阈值集合：1*T1、2*T1、3*T1、4*T1、5*T1、6*T1以及第二阈值集合：1*T2、2*T2、3*T2、4*T2、5*T2、6*T2。

(4)将图像从基色颜色空间例如RGB转换至色亮分离颜色空间例如YUV

具体地，在本实施例中，运动检测是基于亮度分量计算的，因此需要将步骤(1)中的连续3场基色颜色空间例如RGB隔行图像按照下式转换至色亮分离颜色空间例如YUV：

其中，Y表示亮度分量，U、V表示色度分量，R、G、B分别表示红、绿、蓝像素值。

(5)计算前一场图像(pre)与后一场图像(pos)的场间差异

在本实施例中，计算场间差异仅利用前一场图像pre和后一场图像pos，具体是根据前一场图像pre和后一场图像pos的亮度分量Y进行计算，假设计算当前场第i行j列位置处的待插值点的场间差异，则计算公式如下所示：

diff(i,j)＝Y_pre(i,j)-Y_pos(i,j) ……(2)

其中，(i,j)表示待插值点所在行、列位置，diff(i,j)表示待插值点在空间位置(i,j)处的场间差异，Y_pre(i,j)表示步骤(4)中获得的前一场图像pre在空间位置(i,j)处的亮度分量，Y_pos(i,j)表示步骤(4)中获得的后一场图像pos在空间位置(i,j)处的亮度分量。

对当前场图像cur所有待插值点位置均按照公式(2)计算场间差异，获得所有待插值点位置的场间差异。

(6)对场间差异进行邻域求和，作为累计场间差值

例如图4所示，对步骤(5)中获得的所有待插值点位置的场间差异，以当前待插值点为中心，对M×N邻域窗口内的场间差异按下式进行累加求和：

其中，M表示邻域窗口的高，N表示邻域窗口的宽，m和n表示求和序号，sum_diff(i,j)表示对以空间位置(i,j)为中心的M×N邻域窗口内的场间差异进行累计求和的结果；在本实施例中，M＝N＝3。

对所有待插值点位置的场间差异在M×N邻域窗口内求和之后，获得所有待插值点的累计场间差值。

(7)对场间差异求绝对值，作为场间绝对差值

具体可以是对步骤(5)中的各个待插值点位置的场间差异求绝对值，作为场间绝对差值，如下式所示：

abs_diff(i,j)＝|diff(i,j)| ……(4)

其中，abs_diff(i,j)表示空间位置(i,j)处的场间绝对差值。

(8)将累计场间差值和场间绝对差值与多档阈值进行比较，判断运动等级

具体可以是将步骤(6)获得的各个待插值点位置处的累计场间差值和步骤(7)获得的各个待插值点位置处的场间绝对差值与步骤(3)中的多档阈值进行比较，判断运动等级(或称为运动权值)motion(i,j)，具体步骤如下：

8a)若累计场间差值sum_diff(i,j)>6*T1或者场间绝对差值abs_diff(i,j)>6*T2，则被判断为运动状态，并且运动等级motion(i,j)＝Value1；

8b)若累计场间差值sum_diff(i,j)>5*T1或者场间绝对差值abs_diff(i,j)>5*T2，则被判断为运动状态，并且运动等级motion(i,j)＝Value2；

8c)若累计场间差值sum_diff(i,j)>4*T1或者场间绝对差值abs_diff(i,j)>4*T2，则被判断为运动状态，并且运动等级motion(i,j)＝Value3；

8d)若累计场间差值sum_diff(i,j)>3*T1或者场间绝对差值abs_diff(i,j)>3*T2，则被判断为运动状态，并且运动等级motion(i,j)＝Value4；

8e)若累计场间差值sum_diff(i,j)>2*T1或者场间绝对差值abs_diff(i,j)>2*T2，则被判断为运动状态，并且运动等级motion(i,j)＝Value5；

8f)若累计场间差值sum_diff(i,j)>1*T1或者场间绝对差值abs_diff(i,j)>1*T2，则被判断为运动状态，并且运动等级motion(i,j)＝Value6；

8g)若累计场间差值sum_diff(i,j)≤1*T1并且场间绝对差值abs_diff(i,j)≤1*T2，则被判断为静止状态，运动等级motion(i,j)＝0；

其中，累计场间差值sum_diff(i,j)或者场间绝对差值abs_diff(i,j)越大，被判断为运动的可能性越大，即Value1>Value2>Value3>Value4>Value5>Value6。

9)基本阈值调节。

具体可为：若步骤(8)中判断累计场间差值和场间绝对差值同时满足下式(5)，则需要考虑噪声影响的可能性。

参见图5，具体步骤如下：

a)对所有待插值点位置处的累计场间差值和场间绝对差值满足公式(5)的场间绝对差值进行求和得到条件差值和，记为sum_abs_diff；

b)统计所有待插值点位置处的累计场间差值和场间绝对差值满足公式(5)的次数，也即统计满足公式(5)的待插值点位置的数量，记为N；

c)按下式计算平均场间绝对差值：

mean_abs_diff＝sum_abs_diff/N ……(6)

其中，mean_abs_diff表示满足公式(5)的平均场间绝对差值。

d)比较平均场间绝对差值与阈值的大小关系：

若平均场间绝对差值mean_abs_diff>阈值nThr(对应第三基本阈值)，则增大基本阈值T1和T2：T1＝T1+step，T2＝T2+step，否则，减小基本阈值T1和T2：T1＝T1-step，T2＝T2-step，其中step表示调节的步长。在本实施例中，nThr＝4，step＝2。

第二实施例

如图6所示，本实施例中提供的一种视频去隔行处理装置60，包括：图像获取模块61、场间差异计算模块63、累计场间差值计算模块65、场间绝对差值计算模块67和运动权值确定模块69。

其中，图像获取模块61用于获取连续三场图像，其中所述连续三场图像包括当前场图像、前一场图像和后一场图像。

场间差异计算模块63用于根据前一场图像的亮度分量和后一场图像的亮度分量得到当前场图像各个待插值点位置的场间差异。

累计场间差值计算模块65用于对所述当前场图像各个待插值点位置的场间差异进行邻域求和，得到当前场图像各个待插值点的累计场间差值。

场间绝对差值计算模块67用于对所述当前场图像各个待插值点位置的场间差异求绝对值，得到当前场图像各个待插值点的场间绝对差值。

运动权值确定模块69用于将所述当前场图像各个待插值点位置的累计场间差值和场间绝对差值分别与预设第一阈值集合和预设第二阈值集合中的阈值进行比较，确定当前场图像各个待插值点位置的运动权值。

在其它例子中，在所述当前场图像、前一场图像和后一场图像为基色颜色空间的图像之情形下，如图7所示，视频去隔行处理装置还包括：颜色空间转换模块，用于将所述当前场图像、前一场图像和后一场图像转换至所述色亮分离颜色空间。

在再一其它例子中，如图8所示，视频去隔行处理装置还包括：基本阈值设置模块68a，用于设置第一基本阈值和第二基本阈值；以及阈值集合设置模块68b，用于基于所述第一基本阈值设置所述第一阈值集合、并基于所述第二基本阈值设置所述第二阈值集合。

在另一其它例子中，如图9所示，视频去隔行处理装置还包括：条件差值和计算模块66a、统计模块66b、平均场间绝对差值计算模块66c和阈值调节模块66d。其中，条件差值和计算模块66a用于对所述当前场图像各个待插值点位置中累计场间差值小于或等于所述第一基本阈值、且场间绝对差值小于或等于所述第二基本阈值的所有待插值点位置的场间绝对差值求和得到条件差值和；统计模块66b用于统计所述当前场图像各个待插值点位置中累计场间差值小于或等于所述第一基本阈值、且场间绝对差值小于或等于所述第二基本阈值的所有待插值点位置的数量；平均场间绝对差值计算模块66c用于根据所述条件差值和、以及所述数量计算得到平均场间绝对差值；以及阈值调节模块66d用于根据所述平均场间绝对差值与一第三基本阈值的大小关系调节所述第一基本阈值和所述第二基本阈值。

至于图6至图9所示的各个模块的具体功能细节可参考前述第一实施例中图1至图5的相关描述，故在此不再赘述。

综上所述，本发明实施例可以达成以下有益效果：(a)运动检测仅需要缓存前一场、当前场、后一场连续3场视频图像，可以减轻硬件缓存消耗；(b)通过考虑邻域信息以及对检测阈值进行反馈调节，可以降低仅考虑单个像素点差异容易受到的噪声影响，提高运动检测准确度；以及(c)通过将累计场间差值、场间绝对差值与多档阈值进行比较，获得比较精确的运动等级(或称运动权值)，进而可以更加灵活地加权利用静态插值和动态插值结果，获得更好的去隔行效果。另外，值得说明的是，前述获得的连续三场图像并不限于是RGB颜色空间图像，也可以直接是色亮分离颜色空间图像，则相应地后续可以不需要进行颜色空间转换；此外，本领域技术人员基于前述描述还可以做适当变化，例如适当调整累计场间差值的计算方法和/或调整多档阈值的设置方法等等，这些适当的变化均应包含在本发明的保护范围内。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种视频去隔行处理方法，其特征在于，包括：

获取连续三场图像，其中所述连续三场图像包括当前场图像、前一场图像和后一场图像；

根据前一场图像的亮度分量和后一场图像的亮度分量得到当前场图像各个待插值点位置的场间差异；

对所述当前场图像各个待插值点位置的场间差异进行邻域求和，得到当前场图像各个待插值点的累计场间差值；

对所述当前场图像各个待插值点位置的场间差异求绝对值，得到当前场图像各个待插值点的场间绝对差值；

将所述当前场图像各个待插值点位置的累计场间差值和场间绝对差值分别与预设第一阈值集合和预设第二阈值集合中的阈值进行比较，确定当前场图像各个待插值点位置的运动权值。

2.如权利要求1所述的视频去隔行处理方法，其特征在于，所述当前场图像、前一场图像和后一场图像为基色颜色空间的图像；所述视频去隔行处理方法还包括：将所述当前场图像、前一场图像和后一场图像转换至色亮分离颜色空间。

3.如权利要求1所述的视频去隔行处理方法，其特征在于，包括：

设置第一基本阈值和第二基本阈值；

基于所述第一基本阈值设置所述第一阈值集合、并基于所述第二基本阈值设置所述第二阈值集合。

4.如权利要求3所述的视频去隔行处理方法，其特征在于，还包括：

对所述当前场图像各个待插值点位置中累计场间差值小于或等于所述第一基本阈值、且场间绝对差值小于或等于所述第二基本阈值的所有待插值点位置的场间绝对差值求和得到条件差值和；

统计所述当前场图像各个待插值点位置中累计场间差值小于或等于所述第一基本阈值、且场间绝对差值小于或等于所述第二基本阈值的所有待插值点位置的数量；

根据所述条件差值和、以及所述数量计算得到平均场间绝对差值；

根据所述平均场间绝对差值与一第三基本阈值的大小关系调节所述第一基本阈值和所述第二基本阈值。

5.如权利要求4所述的视频去隔行处理方法，其特征在于，所述根据所述平均场间绝对差值与一第三基本阈值的大小关系调节所述第一基本阈值和所述第二基本阈值包括：将所述第一基本阈值和所述第二基本阈值增大或减小相同步长。

6.如权利要求1所述的视频去隔行处理方法，其特征在于，所述对所述当前场图像各个待插值点位置的场间差异进行邻域求和，得到当前场图像各个待插值点的累计场间差值包括：

以当前待插值点位置为中心，对M×N窗口内的场间差异进行累加求和以得到当前待插值点位置的累计场间差值，其中M、N为大于2的正整数。

7.如权利要求2所述的视频去隔行处理方法，其特征在于，所述基色颜色空间为RGB颜色空间，所述色亮分离颜色空间为YUV颜色空间。

8.一种视频去隔行处理装置，其特征在于，包括：

图像获取模块，用于获取连续三场图像，其中所述连续三场图像包括当前场图像、前一场图像和后一场图像；

场间差异计算模块，用于根据前一场图像的亮度分量和后一场图像的亮度分量得到当前场图像各个待插值点位置的场间差异；

累计场间差值计算模块，用于对所述当前场图像各个待插值点位置的场间差异进行邻域求和，得到当前场图像各个待插值点的累计场间差值；

场间绝对差值计算模块，用于对所述当前场图像各个待插值点位置的场间差异求绝对值，得到当前场图像各个待插值点的场间绝对差值；

运动权值确定模块，用于将所述当前场图像各个待插值点位置的累计场间差值和场间绝对差值分别与预设第一阈值集合和预设第二阈值集合中的阈值进行比较，确定当前场图像各个待插值点位置的运动权值。

9.如权利要求8所述的视频去隔行处理装置，其特征在于，所述当前场图像、前一场图像和后一场图像为基色颜色空间的图像；所述视频去隔行处理装置还包括：颜色空间转换模块，用于将所述当前场图像、前一场图像和后一场图像转换至所述色亮分离颜色空间。

10.如权利要求8所述的视频去隔行处理装置，其特征在于，包括：基本阈值设置模块，用于设置第一基本阈值和第二基本阈值；

阈值集合设置模块，用于基于所述第一基本阈值设置所述第一阈值集合、并基于所述第二基本阈值设置所述第二阈值集合。

11.如权利要求10所述的视频去隔行处理装置，其特征在于，包括：

条件差值和计算模块，用于对所述当前场图像各个待插值点位置中累计场间差值小于或等于所述第一基本阈值、且场间绝对差值小于或等于所述第二基本阈值的所有待插值点位置的场间绝对差值求和得到条件差值和；

统计模块，用于统计所述当前场图像各个待插值点位置中累计场间差值小于或等于所述第一基本阈值、且场间绝对差值小于或等于所述第二基本阈值的所有待插值点位置的数量；

平均场间绝对差值计算模块，用于根据所述条件差值和、以及所述数量计算得到平均场间绝对差值；

阈值调节模块，用于根据所述平均场间绝对差值与一第三基本阈值的大小关系调节所述第一基本阈值和所述第二基本阈值。

12.如权利要求11所述的视频去隔行处理装置，其特征在于，所述阈值调节模块用于将所述第一基本阈值和所述第二基本阈值增大或减小相同步长。

13.如权利要求8所述的视频去隔行处理装置，其特征在于，所述累计场间差值计算模块用于：以当前待插值点位置为中心，对M×N窗口内的场间差异进行累加求和以得到当前待插值点位置的累计场间差值，其中M、N为大于2的正整数。

14.如权利要求9所述的视频去隔行处理装置，其特征在于，所述基色颜色空间为RGB颜色空间，所述色亮分离颜色空间为YUV颜色空间。