CN1199449C - 采用错误保护运动补偿解交织的方法和设备 - Google Patents
采用错误保护运动补偿解交织的方法和设备 Download PDFInfo
- Publication number
- CN1199449C CN1199449C CN 03115134 CN03115134A CN1199449C CN 1199449 C CN1199449 C CN 1199449C CN 03115134 CN03115134 CN 03115134 CN 03115134 A CN03115134 A CN 03115134A CN 1199449 C CN1199449 C CN 1199449C
- Authority
- CN
- China
- Prior art keywords
- motion vector
- backward motion
- motion compensation
- backward
- protection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种采用错误保护运动补偿的解交织的方法以及实现该方法的设备。本发明方法包括以下步骤：(a)利用本场和前一场之间的运动矢量，预测出本场和下一场之间的后向运动矢量；(b)利用预测出的后向运动矢量，滤波产生经错误保护的运动补偿输出。执行该方法的一种设备包括一个后向运动矢量预测器和一个保护插值器。其中后向运动矢量预测器是一个反向器；保护插值器包括一个三输入中值滤波器、一个行延迟单元和一个平均器。本发明一方面可以改善运动补偿的性能，另一方面运算量很小，实现起来简单高效。
Description
技术领域
本发明属于数字电视扫描格式转换技术领域，特别涉及一种采用错误保护运动补偿的解交织的方法以及实现该方法的设备。
背景技术
一直以来，隔行扫描技术被广泛地应用于视频信号当中来减少带宽。与隔行扫描相比，逐行扫描的电视信号在图像的垂直清晰度、大面积闪烁、行间闪烁等方面都有显著的改善。在不同制式的扫描格式之间进行转换就要用到扫描格式转换技术。视频扫描格式转换的一个基本技术是解交织技术，已经提出许多方法来实现解交织，包括有简单的空间解交织方法和高级的运动补偿解交织的方法。空间解交织的方法主要利用了场内相邻像素之间相关性来进行插值，在静止场景比较多的图像序列可以获得比较好的效果，但在运动比较多的图像序列上会遇到令人讨厌的赝像，效果比较差。运动补偿的方法则在运动图像上能给出较好的效果。在实际图像中，因为遮挡问题、孔径问题、光照问题、噪声等的存在，我们无法完全准确地估计物体的运动，在运动估计不准确的地方，运动补偿的误差就比较大，图像质量下降的就比较快。
申请号为02114547.4的发明专利公开了一种自适应补偿的算法，该方法对静止和运动的内容采取不同的方法处理。由于实际图像总是存在遮挡的情况，在遮盖/显露区域，因为有新的图像内容的出现，运动估计是很难做准确的。该方法仅利用当前场的信息，在运动矢量不准确的地方，是不能获得令人满意的效果的。申请号为01104799.2的发明专利公开了一种利用双向运动矢量进行内插的方法，这种方法利用前一场和下一场之间的运动矢量为待插补的像素估计双向运动矢量，主要包括用间隔一场估计出的运动矢量初始化和以这个初始化矢量为起点的空间搜索优化。该方法的运动估计是间隔一场做的，运动矢量不容易找准确。该方法在确定后向运动矢量时，用到的是空间全搜索，计算量较大，实现起来的硬件代价也相应较大。
发明内容
本发明的目的就是针对现有技术存在的缺陷或不足提供一种采用错误保护运动补偿解交织的设备和方法，一方面可以改善运动补偿的性能，另一方面计算量比较小，硬件实现简单高效。
该方法包括以下步骤：(a)利用本场和前一场之间的运动矢量，预测出本场和下一场之间的后向运动矢量；(b)利用预测出的后向运动矢量，滤波产生经错误保护的运动补偿输出。步骤(a)采用线性预测方法，即利用运动矢量场的空间相关性，通过对当前待插值块相邻块的运动矢量的低通滤波来预测出后向运动矢量。步骤(b)采用中值滤波的方法，即对若干个输入像素取排序中间值来对运动补偿进行保护。中值滤波的输入像素可以是：根据前向运动矢量得到的像素、根据预测出的后向运动矢量得到的像素、待插值像素空间相邻的像素或它们的加权值等等。
执行该方法的一种设备包括一个后向运动矢量预测器和一个保护插值器。所述的后向运动矢量预测器包括若干个系数乘法器和一个加法器，其中系数乘法器对待插值块相邻的若干个块的运动矢量进行加权。乘法器的系数可以固定，也可以自适应产生。所述的保护插值器包括一个中值滤波器和若干个线性滤波器。
该方法以及执行该方法的设备中较好又非常简单的一种实现方式是：采用一个反向器作为后向运动矢量预测器；中值滤波器是对待插值像素垂直方向上下最邻近两个原始像素的平均值、前向运动矢量对应的像素值、预测出的后向运动矢量对应的像素值进行中值滤波的一个三输入中值滤波器。线性滤波器是对待插值像素垂直方向上下最邻近两个原始像素取平均值的一个滤波器。
该发明可以对各种制式的隔行扫描电视信号进行运动补偿插值。特别地，该发明适用于对数字高清晰度电视信号进行运动补偿插值。
对大多数图像而言，遮挡问题、孔径问题是经常出现的。在图像中那些遮盖/显露的区域，运动估计很难做准确，在这些区域仅仅用两场的信息来进行运动补偿是不够的。针对这一点，该发明利用三场的信息来进行运动补偿，可以提高遮盖/显露区域的图像质量。同时，图像中绝大多数物体的运动在时间上和空间上都存在着相关性，该方法利用物体运动的这一特性，根据前向运动矢量预测出后向运动矢量并利用预测出的后向运动矢量来加大对错误的保护。该发明以很小的运算量、简单的实现方式显著地提高了运动补偿的性能。
附图说明
图1是解交织的示意图；
图2是后向预测运动矢量的示意图；
图3是本发明的系统方框图；
图4是待插值块空间相邻块的运动矢量示意图；
图5是后向运动矢量预测器的示意图；
图6是保护插值器的示意图；
图7是本发明一个实施例后向运动矢量预测器示意图；
图8是本发明一个实施例保护插值器示意图。
具体实施方式
图1说明了解交织原理。如图所示，隔行图像序列通过对每个图像场进行插值来产生逐行的图像序列。图中隔行图像中的实线表示原始行像素，虚线表示待插值行的像素。可以用下面的公式来确定输出帧
在此，
表示空间位置，n表示场数。
是输入场，
是要插补的像素。
图2说明了后向预测运动矢量。图中Fn-1表示前一场/帧，Fn表示当前待插值的输入场，Fn+1表示下一场。图2说明了线性预测后向运动矢量的两种特殊情况：1)MV1是直接把前向运动矢量的反向矢量作为预测值2)MV2是把后向运动矢量都预测为零矢量。直接把前向运动矢量的反向矢量作为预测值，预测的效果不错，且实现起来尤为简单，它基于物体运动的惯性，充分利用运动矢量场在时间方向上存在着的相关性。把后向运动矢量都预测为零矢量在静止场景或场景切换的地方会取得不错的效果。图2还说明了可以通过其它的方法来产生后向运动矢量MV3，比如可以做后向运动估计，这些方法比线性预测要复杂，计算量要大得多。
图3是本发明的系统方框图。图中Fn-1表示前一场/帧，Fn表示当前待插值的输入场。Fn-1和Fn被送到运动估计器310进行运动估计，运动估计器计算出的运动矢量MV被提供给后向运动矢量预测器320。后向运动矢量预测器320的输出是预测出的后向运动矢量MV_back。
运动估计器310输出的前向运动矢量MV还被提供给像素匹配器340以在前一场Fn-1中得到和MV对应的匹配像素F’n-1。后向运动矢量预测器320的输出MV_back作为像素匹配器350的输入，像素匹配器350输出在下一场Fn+1中得到的和MV_back对应的匹配像素F’n+1。 Fn、F’n-1、F’n+1共同作为保护插值器330的输入，保护插值器330的输出就是经过错误保护的运动补偿逐行信号PROG。
图4说明了线性预测方法利用到的待插值块空间相邻块的运动矢量。MV0是当前要处理的待插值块的运动矢量，MV1-MV8是待插值块相邻块的运动矢量，相邻块的个数和其中被选择的参与线性预测的块可以固定也可以自适应生成。线性预测正是充分利用了运动物体运动矢量场的空间相关性，用很小的计算量比较准确地预测出后向运动矢量。
图5说明了线性预测后向运动矢量预测器。待插值块邻近块的运动矢量MV0-MVn分别通过一个系数乘法器进行加权，若干个乘法器的输出通过一级加法器以产生最后预测出的后向运动矢量MV_back。系数乘法器的系数可以固定也可以自适应产生。选取的待插值块邻近块的个数可以是固定值，也可以自适应产生。
图6说明了保护插值器。当前输入场信号Fn、通过前向运动矢量MV匹配的上一场信号F’n-1通过预测出的后向运动矢量MV_back匹配的下一场信号F’n+1分别通过线性滤波器610、620、630。线性滤波器可以由若干级延迟单元、若干个系数乘法器、若干个加法器构成。滤波器的输出可以有一个或几个，它们可以是输入像素的值、输入像素空间邻近的像素的值、输入像素空间邻近像素的平均值、输入像素空间邻近像素低通滤波后的值等等。线性滤波器610、620、630的输出被提供给中值滤波器640，经过中值滤波产生经过错误保护的运动补偿逐行信号PROG。
图7说明本发明一个实施例的线性预测器。前向运动矢量MV经过一个反向器，反向器的输出为-MV，-MV就作为后向运动矢量的预测值。
图8说明本发明一个实施例的保护插值器。当前待插值的输入场信号Fn作为平均器820的一个输入端，平均器820的另一个输入是行延迟单元810的输出。平均器820的输出是待插值像素垂直方向上下最邻近的两个原始像素的平均值，平均器的输出作为中值滤波器830的一个输入端。中值滤波器的另外两个输入分别是：通过前向运动矢量MV匹配的上一场信号F’n-1和通过预测出的后向运动矢量MV_back匹配的下一场信号F’n+1。经过中值滤波器产生经过错误保护的运动补偿逐行信号PROG。
Claims (2)
1、采用错误保护运动补偿解交织的方法，其特征在于该方法包括以下步骤：
(a)利用本场和前一场之间的运动矢量，采用线性预测方法预测出本场和下一场之间的后向运动矢量，即利用运动矢量场的空间相关性，通过对当前待插值块相邻块的运动矢量的低通滤波来预测出后向运动矢量；
(b)利用预测出的后向运动矢量，经中值滤波产生经错误保护的运动补偿输出，即通过对输入像素取排序中间值来对运动补偿进行保护。
2、采用权利要求1方法所使用的设备，其特征在于该设备包括一个后向运动矢量预测器和一个保护插值器；所述的后向运动矢量预测器包括系数乘法器和一个加法器；所述的保护插值器包括一个中值滤波器和线性滤波器；所述中值滤波器是对待插值像素垂直方向上下最邻近两个原始像素的平均值、前向运动矢量对应的像素值、预测出的后向运动矢量对应的像素值进行中值滤波的一个三输入中值滤波器；线性滤波器是对待插值像素垂直方向上下最邻近两个原始像素取平均值的一个滤波器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03115134 CN1199449C (zh) | 2003-01-24 | 2003-01-24 | 采用错误保护运动补偿解交织的方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 03115134 CN1199449C (zh) | 2003-01-24 | 2003-01-24 | 采用错误保护运动补偿解交织的方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1444401A CN1444401A (zh) | 2003-09-24 |
| CN1199449C true CN1199449C (zh) | 2005-04-27 |
Family
ID=27814825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 03115134 Expired - Lifetime CN1199449C (zh) | 2003-01-24 | 2003-01-24 | 采用错误保护运动补偿解交织的方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1199449C (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7903899B2 (en) | 2007-05-23 | 2011-03-08 | Videosurf, Inc. | Method of geometric coarsening and segmenting of still images |
| US7920748B2 (en) | 2007-05-23 | 2011-04-05 | Videosurf, Inc. | Apparatus and software for geometric coarsening and segmenting of still images |
| US8059915B2 (en) | 2006-11-20 | 2011-11-15 | Videosurf, Inc. | Apparatus for and method of robust motion estimation using line averages |
| US8364660B2 (en) | 2008-07-11 | 2013-01-29 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
| US8364698B2 (en) | 2008-07-11 | 2013-01-29 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
| US8379915B2 (en) | 2006-11-20 | 2013-02-19 | Videosurf, Inc. | Method of performing motion-based object extraction and tracking in video |
| US8488839B2 (en) | 2006-11-20 | 2013-07-16 | Videosurf, Inc. | Computer program and apparatus for motion-based object extraction and tracking in video |
| US9508011B2 (en) | 2010-05-10 | 2016-11-29 | Videosurf, Inc. | Video visual and audio query |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534445B (zh) * | 2009-04-15 | 2011-06-22 | 杭州华三通信技术有限公司 | 一种视频处理方法和系统以及解交织处理器 |
-
2003
- 2003-01-24 CN CN 03115134 patent/CN1199449C/zh not_active Expired - Lifetime
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8059915B2 (en) | 2006-11-20 | 2011-11-15 | Videosurf, Inc. | Apparatus for and method of robust motion estimation using line averages |
| US8379915B2 (en) | 2006-11-20 | 2013-02-19 | Videosurf, Inc. | Method of performing motion-based object extraction and tracking in video |
| US8488839B2 (en) | 2006-11-20 | 2013-07-16 | Videosurf, Inc. | Computer program and apparatus for motion-based object extraction and tracking in video |
| US7903899B2 (en) | 2007-05-23 | 2011-03-08 | Videosurf, Inc. | Method of geometric coarsening and segmenting of still images |
| US7920748B2 (en) | 2007-05-23 | 2011-04-05 | Videosurf, Inc. | Apparatus and software for geometric coarsening and segmenting of still images |
| US8364660B2 (en) | 2008-07-11 | 2013-01-29 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
| US8364698B2 (en) | 2008-07-11 | 2013-01-29 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
| US9031974B2 (en) | 2008-07-11 | 2015-05-12 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
| US9508011B2 (en) | 2010-05-10 | 2016-11-29 | Videosurf, Inc. | Video visual and audio query |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1444401A (zh) | 2003-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Motion adaptive interpolation with horizontal motion detection for deinterlacing | |
| Kang et al. | Motion compensated frame rate up-conversion using extended bilateral motion estimation | |
| US6940557B2 (en) | Adaptive interlace-to-progressive scan conversion algorithm | |
| Chen et al. | A low-complexity interpolation method for deinterlacing | |
| JP2002027414A (ja) | 両方向動きベクトルを用いたフォーマット変換装置及びその方法 | |
| KR20100114499A (ko) | 후광현상이 줄어든 영상보간 장치 및 방법 | |
| CN102868879B (zh) | 一种视频帧速率上转换方法及系统 | |
| WO2008152951A1 (en) | Method of and apparatus for frame rate conversion | |
| CN1199449C (zh) | 采用错误保护运动补偿解交织的方法和设备 | |
| KR100584597B1 (ko) | 적응적 가중치를 적용한 움직임 추정 방법 및 그를 적용한프레임 레이트 변환 장치 | |
| WO2005076612A1 (en) | Motion compensated de-interlacing with film mode adaptation | |
| KR100968642B1 (ko) | 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체 | |
| Biswas et al. | A novel motion estimation algorithm using phase plane correlation for frame rate conversion | |
| CN111294545B (zh) | 图像数据插值方法及装置、存储介质、终端 | |
| Lin et al. | Motion adaptive de-interlacing by horizontal motion detection and enhanced ela processing | |
| WO2001074082A1 (en) | Temporal interpolation of interlaced or progressive video images | |
| CN1208960C (zh) | 采用误差修正运动补偿解交织的方法和设备 | |
| Li et al. | High performance de-interlacing algorithm for digital television displays | |
| KR100624304B1 (ko) | 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 | |
| KR100726552B1 (ko) | 움직임을 이용한 적응적인 영상 디인터레이스 장치 및 그방법 | |
| Han et al. | A novel hierarchical-search block matching algorithm and VLSI architecture considering the spatial complexity of the macroblock | |
| KR100588902B1 (ko) | 영상 디인터레이스 장치 및 그 방법 | |
| Choi et al. | Neural network deinterlacing using multiple fields and field-MSEs | |
| KR100588901B1 (ko) | 움직임 보상 기법을 이용한 적응적인 영상 디인터레이스장치 및 그 방법 | |
| Sun et al. | Motion compensation aided motion adaptive de-interlacing for real-time video processing applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP03 | Change of name, title or address |
Address after: No. 90, Wensanlu Road, Hangzhou, Zhejiang, Xihu District Patentee after: HANGZHOU NATIONALCHIP SCIENCE & TECHNOLOGY Co.,Ltd. Address before: No. 516, Hangzhou Road, seven Xixi Road, Zhejiang, China Patentee before: HANGZHOU GUOXIN SCIENCE AND TE |
|
| CX01 | Expiry of patent term |
Granted publication date: 20050427 |
|
| CX01 | Expiry of patent term |