CN1322749C - 视频数据的面向边缘内插 - Google Patents
视频数据的面向边缘内插 Download PDFInfo
- Publication number
- CN1322749C CN1322749C CNB028218493A CN02821849A CN1322749C CN 1322749 C CN1322749 C CN 1322749C CN B028218493 A CNB028218493 A CN B028218493A CN 02821849 A CN02821849 A CN 02821849A CN 1322749 C CN1322749 C CN 1322749C
- Authority
- CN
- China
- Prior art keywords
- pixel
- interpolation
- interpolated pixel
- interpolated
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及一种用于在视频图像中沿边缘进行内插像素期间降低误差的方法。通过结合两种内插方法(4,6)的输出和只用一种内插法的输出计算出的混合因数(K),可以进一步改善内插结果。把边缘相关内插估计的误差应用在通过第二种内插方法获得的像素上,输出结果就得到改善。
Description
技术领域
本发明涉及一种用于视频图像的面向边缘的空间内插的方法和设备。
背景技术
通过对面向边缘的空间内插和标准内插的结果进行比较,并利用面向边缘内插的可靠性对这些内插结果进行加权处理,使得内插的输出得到增强。这在空间缩放,去交织后生成逐行扫描视频图像,还有对于已去交织的图像的后期处理中都是可行的。
当在输入视频信号中一个视频行上像素个数或者视频行的数量与用于显示所需的数目不同时,就必须进行空间缩放。在隔行扫描的视频信号需要去交织从而提供逐行扫描信号时,或者在显示设备需要的长宽比与原始信号可以提供的宽高比不同而进行调整时都需要空间缩放。高质量的空间缩放可以使用内插低通滤波器进行的上调来实现。在此滤波器中,首先将输入的信号采样,采样频率两倍于需要的带宽。对样本进行内插然后通过填充零的办法来进行分样。虽然输入信号的带宽没有降低,但是也没有额外的频谱成分可以用来改善图像质量。
US5,661,525描述了对于一系列视频帧进行转换或去交织的一种方法和设备,这种方法和设备可以将使用隔行扫描格式表示的一系列视频帧转换成逐行扫描的格式。根据该公开,在输入的视频图像中执行了多次内插。需要精确内插的像素在那些不需要精确内插的像素之后进行内插。为了将预测出的像素值的误差降低到最小,内插就按照这个顺序进行。每次内插都根据其估计的可靠性进行加权。通过将被插值的数值加权,去交织帧的像素值只包含最小的误差。
这种方法的缺点是计算量非常之大。通过使用不同内插方法来进行像素内插,生成了大量数据。当每个像素值都被加权后,计算开销就会增加,这就使得用于视频图像去交织的设备相当昂贵。这种早期技术系统的另一个缺点是:对于有些内插方法,不容易估计出其可靠性。
发明内容
本发明的目的是提供一种便宜的方法和设备,以用于在视频图像的现有像素之间进行内插,被内插的视频图像不需要对于所有的内插方法估计/计算可靠性。
有利的是,提供了一种快速内插的手段,减少了需要的计算时间。
在面向边缘的去交织或空间缩放的情况中,当边缘定位被错误估计时就会有严重的假像出现。使用目前已知的方法无法避免这种边缘定位中的检测误差,尤其是在图像细节内容很少的局部,这就需要进行误差校正。对于面向边缘内插的图像,通过根据本发明混合不同内插方法进行的后期处理之后,就可以获得好的计算结果。越是可靠的边缘相关内插法,使用不同内插器的输出就越少,反之亦然。通过混合内插的结果,该输出值至少和进行后期处理之前一样好。
在文章“使用边缘信息进行逐行扫描转换”(Progressivescanconversion using edge information)T.Doyle和M.Looymans,HDTV信号处理(Signal Processing in HDTV),II,L.Chiariglione(ed),1990,pp.711-721中描述了一个适合在目前发明中应用的边缘相关内插法的实例。
在检测到长的且清晰的边缘时,边缘相关内插是一种可靠的方法。相对于那些图像中细节不清楚和没有边缘的情况,这种情况下的输出值就应该有更高的加权。
根据本发明的方法,第二组像素被优选地内插,因为这些内插法确保健壮的内插过程,从而得到良好结果。这些内插法存在的模糊现象和其他缺点都得以减少。
根据本发明的方法是进一步优选的。通过不受健壮性问题影响的一种健壮的内插法可以改善边缘相关内插法的结果。这两种内插法的缺点在一定程度上是相同的,所以总的结果可以得到改善。当将混合参数进行这样的设定,以便总体输出和边缘相关输出的绝对差是沿边缘的现有像素之间的恒定分数倍时,所得的输出就是健壮的。
根据本发明,进一步提出了混合因数。通过调整混合因数,就可以调整输出结果。该常量取决于现有像素之间的被内插像素的空间位置,这些现有像素就是内插的基础。该方法的本质是,输出和边缘相关内插像素之间的绝对差等于用于边缘相关内插处理的原始像素的绝对差的固定倍数,如果内插输出位于内插输入中间的位置,这个倍数优选为0.5。
根据本发明,混合因数取决于两个值,第一是角度差,角度差用于衡量已经被发现边缘的精确程度;第二是环境差,尤其是垂直或水平方向的差,用于衡量角度内插在这点的相关度。常数W可以用来强调角度或环境平均值之中的一个,强调哪个值取决于个人选择和特定应用的要求。这里优选的是混合因数固定在1。
根据本发明,混合因数用于混合角度平均值和第二个内插器的原始输出值,这个第二内插器可以是一个运动补偿去交织器。只有一种去交织的方法提供误差测量,而混合过程的完成则只能根据此测量而定。
本发明的另一个方面是在扫描率转换器、视频压缩器、或者去交织设备、显示系统或者电视中使用了所描述的一种装置或方法。
附图说明
参考下面描述的实施例,本发明的所述和其他方面将变得显而易见。
在图中:
图1显示了一个显示矩阵;
图2显示了输出像素的计算;和
图3显示了执行设备的框图。
具体实施方式
图1描述了具有垂直行L和水平列C的显示矩阵。每个行L和列C的交点都包含一个像素,像素的值是一个八位颜色,代表将被显示图像中的原始点。图示的像素有a,b,c,d和e。像素a和b沿着图像上的一条检测边缘。像素c,d在将被内插的像素e周围垂直排列。在隔行扫描的视频信号中,每两行中就有一行L不被传输,缺少的信息通过内插产生,令内插出的值接近于原始值是非常重要的。通过沿边缘的像素a,b的内插和垂直偏移于被内插像素e的像素c,d的内插,可以改善计算结果的正确性。
图2中,显示了计算输出值F0(x,y,n),该计算是通过将边缘相关内插的输出Fi(x,y,n)和运动补偿内插的输出Fi2(x,y,n)与混合因数k相加而计算出的。边缘相关内插法的输出是Fi(x,y,n),它取决于初始像素值a,b。当检测到内插角度后,就可以从b预测出a,反之亦然。如果内插像素e正好处于a,b之间,那么预测到的误差就是直接使用a来预测b的误差的一半。这就意味着:正确的e值会偏离于通过内插角计算出的值,但是此偏离比a,b使之间绝对差小两倍。
当改进边缘相关内插法的健壮性时,就需要第二种不受健壮性问题影响的内插法。这种方法可以是沿着c,d的线性内插。使用按照图2所示的混合器混合第二个内插法的输出Fi2(x,y,n)和边缘相关内插法的输出Fi(x,y,n),这里的K设定成使F0(x,y,n)和Fi(x,y,n)之间的绝对差等于像素b,a之间的绝对差的一半,就可以改善内插的计算结果。
在形式上,混合因数通过下式计算:
|a-b|=2*|F0(x,y,n)-Fi(x,y,n)|
输出可以进一步定义为:
F0(x,y,n)=k Fi(x,y,n)+(1-k)Fi2(x,y,n)
这可以推导出:
б用来保证除数不为零。这里优选的是将k固定到1。分母中的因数2由a,b之间的距离关系决定。
图3显示的是一种改进的内插器的实现框图。输入信号1输入到行存储器2,行像素的值存储在此,以供行间内插使用。该输入信号1进一步供给边缘相关内插4和行内插6。前一行的存储的像素值从行存储器2被提供给边缘相关内插4和行内插6。混合因数k和1-k是通过混合因数计算设备7计算得出的。边缘相关内插4Fi(x,y,n)的输出(F1)与混合因数k加权。行内插6的输出(F2)与(1-k)加权。这些加权后的输出值加在一起得到了输出值F0(x,y,n),通过显示设备D显示。
根据本发明将输出值加权,就有可能按照当前图片的特性来提供内插结果。在边缘相关内插法比其他内插方法优越时,其输出就被加强,反之亦然。
值得注意的是,所述的实施例是为了举例阐述而不是限制本发明,本领域的技术人员可以在不脱离所附的权利要求书范围的情况下设计出很多种替换的实施例。在权利要求书中,任何在括号内的附图标记都不应被解释为对于权利要求的限制。“包括”一词并不排除那些未在权利要求当中列出的元件或步骤的存在。在某些元件前面的量词“一个”不排除多个这样元件的存在。本发明可以通过硬件手段实现,该硬件包括一些独立元件,也可以通过适合于编程的计算机实现。在设备的权利要求中列举了几种装置,其中的一些装置可以通过一个或相同的硬件来实现。某些方法在互不相同的从属权利要求中被叙述的事实并不意味着不能将这些方法结合后应用以实现本发明的优点。
Claims (6)
1.一种用于在视频图像的面向边缘空间内插中降低误差的方法,所述方法包括以下步骤:
以第一方式内插第一内插像素(F1),
以不同于所述第一方式的第二方式内插第二内插像素(F2),
根据一个混合因数(k),通过将所述第一内插像素(F1)和所述第二内插像素(F2)的像素值混合产生一个输出内插像素(F0),
其特征在于所述第一方式包括将所述第一内插像素(F1)内插在沿着所述视频图像中的空间边缘的现有像素a、b之间,所述方法还包括以下步骤:
测量在沿着所述空间边缘的现有像素a、b的像素值之间的第一绝对差|a-b|,以及
根据所述第一绝对差计算所述混合因数(k),
基于运动补偿或运动适应或线性内插来内插所述的第二内插像素(F2)。
2.如权利要求1所述的方法,其特点在于:还包括测量在所述输出内插像素(F0)和所述第一内插像素(F1)的像素值之间的第二绝对差,计算所述混合因数(k),使得所述第二绝对差是所述第一绝对差的常数倍。
3.如权利要求2所述的方法,其特点在于:所述常数取决于相对于沿所述空间边缘的所述现有像素的空间位置。
4.如权利要求3所述的方法,其特点在于:当所述输出内插像素的内插位置在空间上处于沿所述空间边缘的所述现有像素之间正中时,所述常数为0.5。
5.一种用于在视频图像的现有像素之间内插像素的设备,所述设备包括:
第一内插装置(4),用于以第一方式内插第一内插像素(F1),
第二内插装置(6),用于以不同于所述第一方式的第二方式内插第二内插像素(F2),
混合装置(+),用于根据一个混合因数(k),通过将所述第一内插像素(F1)和所述第二内插像素(F2)的像素值混合产生一个输出内插像素(F0),
其特征在于所述第一方式包括将所述第一内插像素(F1)内插在沿着所述视频图像中的空间边缘的现有像素a、b之间,所述设备还包括计算装置(7),用于:
测量在沿着所述空间边缘的现有像素a、b的像素值之间的第一绝对差|a-b|,以及
根据所述第一绝对差计算所述混合因数(k),
基于运动补偿或运动适应或线性内插来内插所述的第二内插像素(F2)。
6.显示设备,包括:
一个如权利要求5所述的用于在视频图像的现有像素之间内插像素的设备;和
一个用于显示输出内插像素(F0)的显示装置(D)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP01204200 | 2001-11-01 | ||
EP01204200.8 | 2001-11-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1582572A CN1582572A (zh) | 2005-02-16 |
CN1322749C true CN1322749C (zh) | 2007-06-20 |
Family
ID=8181179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028218493A Expired - Fee Related CN1322749C (zh) | 2001-11-01 | 2002-10-18 | 视频数据的面向边缘内插 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20040252232A1 (zh) |
EP (1) | EP1444824B1 (zh) |
JP (1) | JP2005507618A (zh) |
KR (1) | KR20040054757A (zh) |
CN (1) | CN1322749C (zh) |
AT (1) | ATE316739T1 (zh) |
DE (1) | DE60208916T2 (zh) |
WO (1) | WO2003039147A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007504742A (ja) * | 2003-09-04 | 2007-03-01 | コニンクリユケ フィリップス エレクトロニクス エヌ.ブイ. | ビデオ信号の頑強なデインタレース |
KR100995398B1 (ko) | 2004-01-20 | 2010-11-19 | 삼성전자주식회사 | 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법 |
KR101127220B1 (ko) * | 2004-07-28 | 2012-04-12 | 세종대학교산학협력단 | 움직임 보상 적응형 순차주사화 장치 및 그 방법 |
WO2006046203A1 (en) * | 2004-10-29 | 2006-05-04 | Koninklijke Philips Electronics N.V. | A system and a method of processing data, a program element and a computer-readable medium |
GB0500805D0 (en) * | 2005-01-14 | 2005-02-23 | Snell & Wilcox Ltd | Image processing |
US7782401B1 (en) * | 2006-06-20 | 2010-08-24 | Kolorific, Inc. | Method and system for digital image scaling with sharpness enhancement and transient improvement |
CN101960843B (zh) * | 2008-03-21 | 2012-12-26 | 日本电气株式会社 | 图像处理方法、图像处理装置和图像处理程序 |
EP2114068A1 (en) * | 2008-04-30 | 2009-11-04 | Sony Corporation | Method for converting an image and image conversion unit |
US8310592B2 (en) * | 2008-10-10 | 2012-11-13 | Panasonic Corporation | Signal processing apparatus, signal processing method, and program for signal processing |
CN101789235B (zh) | 2009-01-22 | 2011-12-28 | 华为终端有限公司 | 一种图像处理方法及装置 |
KR101669819B1 (ko) | 2010-11-11 | 2016-10-27 | 삼성전자주식회사 | 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2268659A (en) * | 1992-07-08 | 1994-01-12 | Sony Broadcast & Communication | Interlace to non-interlace conversion for electron beam film recording |
US5532750A (en) * | 1994-04-05 | 1996-07-02 | U.S. Philips Corporation | Interlaced-to-sequential scan conversion |
CN1271137A (zh) * | 1999-04-16 | 2000-10-25 | 旺宏电子股份有限公司 | 内插数据的方法和装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4354243A (en) * | 1980-04-11 | 1982-10-12 | Ampex Corporation | Two dimensional interpolation circuit for spatial and shading error corrector systems |
GB2231460B (en) * | 1989-05-04 | 1993-06-30 | Sony Corp | Spatial interpolation of digital video signals |
FI91029C (fi) * | 1992-04-14 | 1994-04-25 | Salon Televisiotehdas Oy | Menetelmä ja kytkentäjärjestely kuvaruudulla näytettävän kuvan pysty- ja vaakaresoluution kaksinkertaistamiseksi |
JP3438233B2 (ja) * | 1992-05-22 | 2003-08-18 | ソニー株式会社 | 画像変換装置および方法 |
KR100360206B1 (ko) * | 1992-12-10 | 2003-02-11 | 소니 가부시끼 가이샤 | 화상신호변환장치 |
US5519451A (en) * | 1994-04-14 | 1996-05-21 | Texas Instruments Incorporated | Motion adaptive scan-rate conversion using directional edge interpolation |
US5661525A (en) * | 1995-03-27 | 1997-08-26 | Lucent Technologies Inc. | Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence |
DE69618440T2 (de) * | 1995-11-01 | 2002-08-29 | Koninklijke Philips Electronics N.V., Eindhoven | Videosignalabtastumsetzung |
US5793435A (en) * | 1996-06-25 | 1998-08-11 | Tektronix, Inc. | Deinterlacing of video using a variable coefficient spatio-temporal filter |
EP1013089B1 (en) * | 1997-10-06 | 2005-06-22 | Silicon Image, Inc. | Digital video system and methods for providing same |
US6731342B2 (en) * | 2000-01-06 | 2004-05-04 | Lg Electronics Inc. | Deinterlacing apparatus and method using edge direction detection and pixel interplation |
-
2002
- 2002-10-18 AT AT02777612T patent/ATE316739T1/de not_active IP Right Cessation
- 2002-10-18 CN CNB028218493A patent/CN1322749C/zh not_active Expired - Fee Related
- 2002-10-18 KR KR10-2004-7006585A patent/KR20040054757A/ko not_active Application Discontinuation
- 2002-10-18 JP JP2003541268A patent/JP2005507618A/ja active Pending
- 2002-10-18 DE DE60208916T patent/DE60208916T2/de not_active Expired - Fee Related
- 2002-10-18 EP EP02777612A patent/EP1444824B1/en not_active Expired - Lifetime
- 2002-10-18 US US10/493,804 patent/US20040252232A1/en not_active Abandoned
- 2002-10-18 WO PCT/IB2002/004342 patent/WO2003039147A1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2268659A (en) * | 1992-07-08 | 1994-01-12 | Sony Broadcast & Communication | Interlace to non-interlace conversion for electron beam film recording |
US5532750A (en) * | 1994-04-05 | 1996-07-02 | U.S. Philips Corporation | Interlaced-to-sequential scan conversion |
CN1271137A (zh) * | 1999-04-16 | 2000-10-25 | 旺宏电子股份有限公司 | 内插数据的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2003039147A1 (en) | 2003-05-08 |
JP2005507618A (ja) | 2005-03-17 |
US20040252232A1 (en) | 2004-12-16 |
ATE316739T1 (de) | 2006-02-15 |
DE60208916D1 (de) | 2006-04-13 |
CN1582572A (zh) | 2005-02-16 |
DE60208916T2 (de) | 2006-08-31 |
EP1444824A1 (en) | 2004-08-11 |
EP1444824B1 (en) | 2006-01-25 |
KR20040054757A (ko) | 2004-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7315331B2 (en) | Method and device for converting video signals | |
US7542095B2 (en) | Method and system of noise-adaptive motion detection in an interlaced video sequence | |
JP4145351B2 (ja) | ビデオ信号の走査変換方法、装置およびビデオ信号表示装置 | |
US6396543B1 (en) | Deinterlacing apparatus of digital image data | |
CN1322749C (zh) | 视频数据的面向边缘内插 | |
EP0549681B1 (en) | Video image processing | |
US6983080B2 (en) | Resolution and image quality improvements for small image sensors | |
US7385650B2 (en) | Device and method for processing image signal, program for performing the method, and computer-readable medium for recording the program | |
US20110268190A1 (en) | Video interpolation | |
KR0141705B1 (ko) | 움직임 벡터의 계산 방법 및 장치 | |
US20030059126A1 (en) | Apparatus and method for line interpolating of image signal | |
JPH02108393A (ja) | 画像の動きを測定する方法および装置 | |
CN1461556A (zh) | 方便运动估计 | |
CN1249994C (zh) | 转换帧频的装置和方法 | |
CN100450155C (zh) | 视频信号的鲁棒去隔行 | |
KR960012490B1 (ko) | 고선명티브이의 영상포맷 변환 장치 및 방법 | |
JPH0568239A (ja) | 走査線補間装置 | |
JP2552741B2 (ja) | レジストレーション補正回路 | |
JPH11331782A (ja) | 信号変換装置 | |
KR100382650B1 (ko) | 비디오신호 처리 시스템에서의 스케일 움직임 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
JPH04227180A (ja) | 映像フイールド周波数変換装置 | |
US7145604B2 (en) | Method and device for determining the spacing between a first and a second signal sequence | |
JPH08307834A (ja) | 画像情報変換装置および方法 | |
JP2003535514A (ja) | 垂直に歪んだデジタル画像の位相を補正する方法と装置 | |
EP1981269A2 (en) | DE-Interlacing video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |