CN107071326A - 视频处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种视频处理方法及装置，其采用带运动估计的边缘插值处理方法实现去隔行并且优选地进行了从基色颜色空间转成色亮分离颜色空间以及将现有技术中的单纯场内插值方向转化成场内插值方向和场间插值方向等操作，因此对静止区域的图像有效处理后不再抖动而可以稳定显示图像以及对动态区域的图像有效处理后使运动边缘光滑过渡。

Description

视频处理方法及装置

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频处理方法以及一种视频处理装置。

背景技术

目前，传统的模拟电视系统普遍采用隔行扫描的方式来降低带宽，但是随着高清数字电视的发展，传统模拟电视的隔行扫描方式引起的爬行、画面闪烁和图像快速运动时产生的边缘模糊及锯齿等现象越来越突出。因此，模拟电视的去隔行转换已成为视频转换系统的一个关键部分。

运动自适应算法是目前视频去隔行处理技术中较为常用的算法，现在一般采用的运动自适应算法是：当视频中存在运动，尽量选择一条边，使沿着这条边方向上的内插失真最少。但是这种方法的当前插值点是用8邻域的点插出来的，插值方向有判断错误的现象，导致其运动边缘有虚影现象存在。

发明内容

因此，本发明实施例提出了一种视频处理方法以及一种视频处理装置，以实现提升视频图像处理质量的技术效果。

一方面，提供了一种视频处理方法，包括：检测输入视频信号的视频格式；在检测结果为隔行扫描格式时，缓存所述输入视频信号所对应的隔行扫描视频数据；获取缓存的包含本场在内的多场隔行扫描视频数据，对本场隔行扫描视频数据进行带运动估计的边缘插值处理，得到本场插值处理后的逐行扫描视频数据；以及连通第一通道至输出接口，以从所述输出接口输出所述本场插值处理后的逐行扫描视频数据。。

再一方面，提供了一种视频处理装置，包括：视频格式检测模块，用于检测输入视频信号的视频格式；存储模块，用于在所述视频格式检测模块的检测结果为隔行扫描格式时，缓存所述输入视频信号所对应的隔行扫描视频数据；运动插值模块，用于从所述存储模块中获取包含本场在内的多场隔行扫描视频数据，对本场隔行扫描视频数据进行带运动估计的边缘插值处理，得到本场插值处理后的逐行扫描视频数据；以及视频输出模块，用于连通第一通道至输出接口，以从所述输出接口输出所述本场插值处理后的逐行扫描视频数据。

上述技术方案中的一个技术方案具有如下优点或有益效果：采用带运动估计的边缘插值处理方法实现去隔行，因此对静止区域的图像有效处理后不再抖动而可以稳定的显示图像。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为相关于本发明实施例的场内插值方向示意图；

图2相关于本发明实施例的场间插值方向示意图；

图3为本发明实施例的一种视频处理装置的模块示意图；

图4为图3所示插值子模块的多个单元示意图；

图5为本发明实施例的一种视频处理方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的目的之一在于提出一种视频处理方法及装置，以解决运动物体边缘的锯齿现象，使运动边缘的锯齿现象能够平滑过渡，同时静止区域的效果不会出现抖动，只实现运动的物体的局部视频处理。其中，带运动估计的边缘插值是去隔行算法的一种，分奇偶场，四场数据同时处理计算本场的视频图像。

具体地，本发明实施例设计的最终需求是：P格式视频信号(也即逐行扫描格式视频信号)不经过带运动估计的边缘插值处理，直接输出；对于I格式视频信号(也即隔行扫描格式视频信号)要经过带运动估计的边缘插值处理。本实施例提出的根据视频信号格式不同选择性地进行带运动估计的边缘插值处理，其实现和视频测试效果较好。

更具体地，本实施例的运动权值计算例如为：采用公式(1-1)如下3*3矩阵：

在公式(1-1)中，abs表示两个数做差取绝对值，c表示当前行，a和b分别表示当前行的上下两行，，a、b及c后面的第一个数字表示连续四场视频数据中的第几场，字母a、b及c后面的第二个数字表示3*3模板中的第几列，例如a31表示第三场视频数据中的当前行的下一行中的3*3模板的第1列像素点数据，其它以此类推。

此外，将插值方式以现有技术中的RGB 3个通道分别进行插值，改变成为RGB 3个通道先转成YCbCr或YUV格式的一个通道进行插值，也即从基色颜色空间转成色亮分离颜色空间再进行插值，插值结束后再转成RGB格式；此外，将现有技术中的单纯场内插值方向转化成场内插值方向和场间插值方向相结合，也即对当前插值点先分别在确定的场内插值方向和确定的场间插值方向进行插值、再将当前插值点的所有插值结果进行算术平均或加权平均得到当前插值点的最终插值结果，这样可以有效地将现有技术中场内插值方向误判的概率降到最低。场内插值原理和场间插值原理分别如图1和图2所示。

请参见图3，其为本发明实施例执行基于带运动估计的边缘插值的视频处理方法的视频处理装置的模块示意图。在图3中，本实施例的视频处理装置包括：视频格式检测模块31、存储模块33、运动插值模块37和视频输出模块39，甚至分辨率和奇偶检测模块35等辅助模块；其中，运动插值模块37例如进一步包括时序产生子模块371、数据获取子模块373、运动估计子模块375和插值子模块377。再者，本实施例的视频处理装置例如包括可编程逻辑器件像FPGA(Field Programmable GateArray，现场可编程门阵列)等，而相应地视频格式检测模块31、分辨率和奇偶检测模块35、运动插值模块37和视频输出模块39整合在同一个可编程逻辑器件内，而存储模块33例如外接可编程逻辑器件。

如图3所示，当前视频信号即时数据输入以后，由视频格式检测模块31先检测当前视频信号为I格式视频信号(也即隔行扫描格式视频信号)或P格式视频信号(也即逐行扫描格式视频信号)。如果是I格式视频信号则将I格式视频数据I_data基于I格式视频时序I_Timing逐场存储在存储模块33例如DDR3里并由分辨率和奇偶检测模块35进行分辨率和奇偶场检测；如果是P格式视频信号则将P格式视频数据P_data直接对外输出而不做带运动估计的边缘插值处理(或称不做运动插值处理)。

分辨率和奇偶检测模块35对I格式视频数据I_data进行分辨率和奇偶场检测后，生成对应的标志位(例如包含I格式奇偶标志位、分辨率大小标志位等)，触发时序产生子模块371产生对应的P格式视频时序P_Timing和I格式视频时序I_Timig，P格式视频时序P_Timing作为控制时序供运动估计子模块375和插值子模块377使用，而数据获取子模块373则使用I格式视频时序I_Timig，达到数据输入和输出时钟域分开的目的。再者，数据获取子模块373基于I格式视频时序从存储模块33读取四场I格式视频数据I_data，例如本场I格式视频数据、前一场I格式视频数据、前二场I格式视频数据和后一场I格式视频数据作为当前处理数据送至运动估计子模块375，以进行每一个当前插值点的运动权值计算进而判断当前插值点是否有运动趋势，再由插值子模块377基于P格式视频时序根据运动趋势判断/估计结果在色亮分离颜色空间做当前插值点的插值处理。具体为：若当前插值点不具有运动趋势，则插值子模块377对当前插值点使用静态插值算法，例如场间复制法进行插值；若当前插值点具有运动趋势，则插值子模块377根据指定多场I格式视频数据，例如本场I格式视频数据、前一场I格式视频数据和后一场I格式视频数据等三场I格式视频数据在色亮分离颜色空间进行运动边缘适应，以寻找/确定出当前插值点的场内插值方向和场间插值方向并使用动态插值算法例如场内平均法进行插值、对当前插值点各个插值方向上的所有插值结果进行算术平均或加权平均得到最终插值结果、以及插值结束后再转成基色颜色空间，以得到本场插值处理后的逐行扫描视频数据，达到去隔行之目的。

详述之，如图4所示，本实施例的插值子模块377例如包括确定单元3771、求平均单元3773和转换单元3775等处理单元。其中，确定单元3771例如用于根据指定多场I格式视频数据在色亮分离颜色空间确定当前插值点的场内插值方向和场间插值方向并进行插值；求平均单元3773例如用于对当前插值点各个插值方向上的插值结果进行平均例如术平均或加权平均，得到最终插值结果；以及转换单元3775例如用于插值结束后转换至基色颜色空间，得到本场插值处理后的P格式视频数据。

承上述，视频输出模块39用于在视频格式检测模块31的检测结果为I格式视频信号时，连通第一通道至输出接口，以从所述输出接口输出本场插值处理后的逐行扫描视频数据；反之，在视频格式检测模块31的检测结果为P格式视频信号时，连通第二通道至输出接口，以从输出接口输出当前视频信号所对应的逐行扫描视频数据。简而言之，I格式视频信号和P格式视频信号使用不同的图像处理通道(第一通道和第二通道)，通过当前视频信号的视频格式检测，可以使输出接口选择性地与第一通道或第二通道相连通，从而可以通过同一个输出接口输出。

另外，在图3中，存储模块33内开辟了至少6个缓存区，如果开辟5个缓存区，则有可能导致当前处理所需数据被覆盖，因为I格式视频时序和P格式视频时序有存在不对齐的现象。再者，例如当前的I格式视频数据I_data为奇场，将数据写入缓存区4中，则写入的缓存区4为奇场数据；缓存区的标志位每场数据写入结束，标志位加1。若缓存区2写入的视频数据为本场，则插值计算本场的视频数据需要用到缓存区0～缓存区3的数据共计四场数据作为当前处理数据，其中缓存区3写入的视频数据为后一场、缓存区2写入的视频数据为本场、缓存区1写入的视频数据为前一场以及缓存区0写入的视频数据为前二场。

综上所述，本发明前述实施例由于采用了运动补偿算法中的带运动估计的边缘插值处理方法实现去隔行，其对静止区域的图像有效处理后不再抖动，可以稳定的显示图像；再者，由于进行了从基色颜色空间转成色亮分离颜色空间以及将现有技术中的单纯场内插值方向转化成场内插值方向和场间插值方向等操作，其对动态区域的图像有效处理后使运动边缘光滑过渡；以及对于可编程逻辑器件例如FPGA内部的资源消耗很低，如XILINX芯片的BRAM占用23个M32K块、在FPGA内部运行系统时钟200MHZ，系统运行很稳定。

另外，参见图5，本发明实施例提出的一种视频处理方法，包括步骤：

S51：检测输入视频信号的视频格式；

S53：在检测结果为隔行扫描格式时，缓存所述输入视频信号所对应的隔行扫描视频数据；

S55：获取缓存的包含本场在内的多场隔行扫描视频数据，对本场隔行扫描视频数据进行带运动估计的边缘插值处理，得到本场插值处理后的逐行扫描视频数据；以及

S57：连通第一通道至输出接口，以从所述输出接口输出所述本场插值处理后的逐行扫描视频数据。

其中，步骤S55具体可以包括：获取缓存的包含本场在内的连续多场隔行扫描视频数据例如本场I格式视频数据、前一场I格式视频数据、前二场I格式视频数据和后一场I格式视频数据；根据所述连续多场隔行扫描视频数据计算每一个当前插值点的运动权值，以判断当前插值点是否有运动趋势；以及在当前插值点具有运动趋势时，根据包含本场在内的指定多场隔行扫描视频数据例如本场I格式视频数据、前一场I格式视频数据和后一场I格式视频数据，在色亮分离颜色空间例如YUV或YCbCr颜色空间进行插值，得到本场插值处理后的逐行扫描视频数据。

再者，所述在当前插值点具有运动趋势时，根据包含本场在内的指定多场隔行扫描视频数据例如本场I格式视频数据、前一场I格式视频数据和后一场I格式视频数据，在色亮分离颜色空间进行插值，得到本场插值处理后的逐行扫描视频数据之步骤可以进一步包括：在色亮分离颜色空间确定当前插值点的场内插值方向和场间插值方向并进行插值、对当前插值点各个插值方向上的插值结果进行平均得到最终插值结果、以及插值结束后转换至基色颜色空间例如RGB颜色空间，得到本场插值处理后的逐行扫描视频数据。

此外，本实施例的视频处理方法还可以包括其它步骤，例如在检测结果为隔行扫描格式时，对所述输入视频信号所对应的隔行扫描视频数据进行分辨率和奇偶检测以产生相对应的标志位，供进行所述带运动估计的边缘插值处理使用；和/或当检测结果为逐行扫描格式时，连通第二通道至所述输出接口，以从所述输出接口输出所述输入视频信号所对应的逐行扫描视频数据。

至于本实施例的视频处理方法中的前述各个步骤的具体细节可参考前述相关于图3和图4的说明书文字描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种视频处理方法，其特征在于，包括：

检测输入视频信号的视频格式；

在检测结果为隔行扫描格式时，缓存所述输入视频信号所对应的隔行扫描视频数据；

获取缓存的包含本场在内的多场隔行扫描视频数据，对本场隔行扫描视频数据进行带运动估计的边缘插值处理，得到本场插值处理后的逐行扫描视频数据；

连通第一通道至输出接口，以从所述输出接口输出所述本场插值处理后的逐行扫描视频数据。

2.如权利要求1所述的视频处理方法，其特征在于，所述获取缓存的包含本场在内的多场隔行扫描视频数据，对本场隔行扫描视频数据进行带运动估计的边缘插值处理，得到本场插值处理后的逐行扫描视频数据包括：

获取缓存的包含本场在内的连续多场隔行扫描视频数据；

根据所述连续多场隔行扫描视频数据计算每一个当前插值点的运动权值，以判断当前插值点是否有运动趋势；

在当前插值点具有运动趋势时，根据包含本场在内的指定多场隔行扫描视频数据在色亮分离颜色空间进行插值，得到本场插值处理后的逐行扫描视频数据。

3.如权利要求2所述的视频处理方法，其特征在于，所述在当前插值点具有运动趋势时，根据包含本场在内的指定多场隔行扫描视频数据在色亮分离颜色空间进行插值，得到本场插值处理后的逐行扫描视频数据包括：

在所述色亮分离颜色空间确定当前插值点的场内插值方向和场间插值方向并进行插值、对当前插值点各个插值方向上的插值结果进行平均得到最终插值结果、以及插值结束后转换至基色颜色空间得到本场插值处理后的逐行扫描视频数据。

4.如权利要求3所述的视频处理方法，其特征在于，所述基色颜色空间为RGB颜色空间，所述色亮分离颜色空间为YUV或YCbCr颜色空间。

5.如权利要求1所述的视频处理方法，其特征在于，还包括：

在检测结果为隔行扫描格式时，对所述输入视频信号所对应的隔行扫描视频数据进行分辨率和奇偶检测以产生相对应的标志位，供进行所述带运动估计的边缘插值处理使用。

6.如权利要求1所述的视频处理方法，其特征在于，还包括：

当检测结果为逐行扫描格式时，连通第二通道至所述输出接口，以从所述输出接口输出所述输入视频信号所对应的逐行扫描视频数据。

7.如权利要求1所述的视频处理方法，其特征在于，所述包含本场在内的多场隔行扫描视频数据包含：四场隔行扫描视频数据，分别为本场隔行扫描视频数据、前一场隔行扫描视频数据、前二场隔行扫描视频数据和后一场隔行扫描视频数据。

8.一种视频处理装置，其特征在于，包括：

视频格式检测模块，用于检测输入视频信号的视频格式；

存储模块，用于在所述视频格式检测模块的检测结果为隔行扫描格式时，缓存所述输入视频信号所对应的隔行扫描视频数据；

运动插值模块，用于从所述存储模块中获取包含本场在内的多场隔行扫描视频数据，对本场隔行扫描视频数据进行带运动估计的边缘插值处理，得到本场插值处理后的逐行扫描视频数据；

视频输出模块，用于连通第一通道至输出接口，以从所述输出接口输出所述本场插值处理后的逐行扫描视频数据。

9.如权利要求8所述的视频处理装置，其特征在于，所述运动插值模块包括：

数据获取子模块，用于从所述存储模块获取包含本场在内的连续多场隔行扫描视频数据；

运动估计子模块，用于根据所述多场连续隔行扫描视频数据计算每一个当前插值点的运动权值，以判断当前插值点是否有运动趋势；

插值子模块，用于在当前插值点具有运动趋势时，根据包含本场在内的指定多场隔行扫描视频数据在色亮分离颜色空间进行插值，得到本场插值处理后的逐行扫描视频数据。

10.如权利要求9所述的视频处理装置，其特征在于，所述插值子模块包括：

确定单元，用于根据所述指定多场隔行扫描视频数据在所述色亮分离颜色空间确定当前插值点的场内插值方向和场间插值方向并进行插值；

求平均单元，用于对当前插值点各个插值方向上的插值结果进行平均得到最终插值结果；

转换单元，用于插值结束后转换至基色颜色空间，得到本场插值处理后的逐行扫描视频数据。

11.如权利要求10所述的视频处理装置，其特征在于，所述基色颜色空间为RGB颜色空间，所述色亮分离颜色空间为YUV或YCbCr颜色空间。

12.如权利要求9所述的视频处理装置，其特征在于，所述视频处理装置还包括：分辨率和奇偶检测模块，用于在所述视频格式检测模块的检测结果为隔行扫描格式时，对所述输入视频信号所对应的隔行扫描视频数据进行分辨率和奇偶检测以产生相对应的标志位；

所述运动插值模块还包括：时序产生子模块，用于根据所述相对应的标志位输出对应的逐行扫描格式视频时序和隔行扫描格式视频时序；所述隔行扫描格式视频时序作为所述数据获取子模块的控制时序，所述逐行扫描格式视频时序作为所述运动估计子模块和所述插值子模块的控制时序。

13.如权利要求8所述的视频处理装置，其特征在于，所述视频输出模块，用于在所述视频格式检测模块的检测结果为逐行扫描格式时，连通第二通道至所述输出接口，以从所述输出接口输出所述输入视频信号所对应的逐行扫描视频数据。

14.如权利要求8所述的视频处理装置，其特征在于，所述运动插值模块从所述存储模块中获取的包含本场在内的多场隔行扫描视频数据包含：四场隔行扫描视频数据，分别为本场隔行扫描视频数据、前一场隔行扫描视频数据、前二场隔行扫描视频数据和后一场隔行扫描视频数据。