CN101605206A - 视频处理装置及其方法 - Google Patents

视频处理装置及其方法 Download PDF

Info

Publication number
CN101605206A
CN101605206A CNA2009102036191A CN200910203619A CN101605206A CN 101605206 A CN101605206 A CN 101605206A CN A2009102036191 A CNA2009102036191 A CN A2009102036191A CN 200910203619 A CN200910203619 A CN 200910203619A CN 101605206 A CN101605206 A CN 101605206A
Authority
CN
China
Prior art keywords
frames
information
boundary
process apparatus
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2009102036191A
Other languages
English (en)
Inventor
张德浩
梁金权
林修身
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN101605206A publication Critical patent/CN101605206A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

本发明提供一种视频处理装置及其方法。其中，视频处理装置用于在两个帧之间内插帧，视频处理装置包含：运动估计单元，用于接收所述两个帧，以及提供所述两个帧的运动向量信息；区域侦测器，用于产生与所述两个帧的图像边界相关的边界信息，根据所述边界信息决定所述两个帧中的特定区域，以产生决定结果，并根据所述决定结果产生区域信息；以及运动补偿单元，用于根据所述区域信息以及所述运动向量信息，产生位于所述两个帧之间的内插帧。本发明提供的视频处理装置及其方法，通过决定两个帧中的特定区域，并根据决定结果产生区域信息；以及根据区域信息以及运动向量信息，产生位于所述两个帧之间的内插帧，可以减少不良效应的出现，提高视频质量。

Description

视频处理装置及其方法
技术领域
本发明是关于视频处理，特别是关于处理中间帧内插(intermediateframe interpolation)的视频处理装置以及方法。
背景技术
一般来说，大多数的视频源(例如：影片(film)，电影(movie)，或动画(animation))的取样率(sample rate)为每秒24至30帧。另外，对于一般的显示装置，显示帧频(frame rate)为每秒50至60帧。因此，视频信号的转换需要将取样率转换为显示帧频。
传统上，帧重复(frame repetition)通常被用于内插帧并且执行帧频的上转换(up-conversion)。然而，当帧中的物体或背景移动时，使用帧重复的转换过程可能会产生非期望的不良效应(artifact)，例如，移动急动不良效应(movement judder artifact)，因此，会导致视频质量的降低。
目前已经提出了多种技术，以用于去除由帧中物体的运动(例如，运动补偿)所产生的帧频转换的缺陷，其中，一种关于运动急动消除(motion judder cancellation，以下简称为MJC)的技术被提出。在MJC技术中，通过对来自两个连续帧的物体及背景的位置进行空间内插来产生中间帧，以减少急动不良效应。请参考图1，图1为用于执行运动急动消除的传统视频处理装置的简化方框图，其提供了运动估计单元102以及运动补偿单元104。运动估计单元102根据至少两个连续帧110获得运动向量112。运动向量112被用于指示运动补偿单元104定位并存取参考帧的区块，以产生中间帧114。因此，运动补偿单元104使用运动向量112以及连续帧110来内插中间帧114，其中，运动的急动效应被消除或减少。
然而，当中间帧中的一个像素位于运动边缘外时，此技术会导致不良效应的出现。更具体来说，运动的帧的边界可能会发生反常的环状不良效应，也即是“光环(halo)”的产生。运动估计单元102获得的不正确的边界信息(boundary information)导致了“光环(halo)”的出现，其与运动的帧的真实边界并不匹配。因此，环状不良效应(或称为“光环”)在中间帧114的运动中物体的清晰边缘附近，或中间帧114的运动边界处产生锯齿状的轮廓失真线。
发明内容
为了解决以上技术问题，本发明提供了一种视频处理装置及其方法
本发明提供了一种视频处理装置，用于在两个帧之间内插帧，所述装置包含：运动估计单元，用于接收所述两个帧，以及提供所述两个帧的运动向量信息；区域侦测器，用于产生与所述两个帧的图像边界相关的边界信息，根据所述边界信息决定所述两个帧中的特定区域，以产生决定结果，以及根据所述决定结果产生区域信息；以及运动补偿单元，用于根据所述区域信息以及所述运动向量信息，产生位于所述两个帧之间的内插帧。
本发明提供了一种视频处理方法，用于在两个帧之间内插帧，所述方法包含：接收所述两个帧；估计所述两个帧的运动向量信息；产生与所述两个帧的图像边界相关的边界信息；根据所述边界信息决定所述两个帧中的特定区域，以产生决定结果；根据所述决定结果产生区域信息；以及根据所述区域信息以及所述运动向量信息，产生位于所述两个帧之间的内插帧。
本发明提供的视频处理装置及其方法，通过决定两个帧中的特定区域，并根据决定结果产生区域信息；以及根据区域信息以及运动向量信息，产生位于所述两个帧之间的内插帧，可以减少不良效应的出现，提高视频质量。
附图说明
图1为用于执行运动急动消除的传统视频处理装置的简化方框图。
图2为依据本发明一实施例的视频处理装置的方框图。
图3A，图3B以及图3C为根据本发明图2所示的实施例的用于解释帧内插的操作的示意图。
图4A为根据图1所示的传统的视频处理装置以及图3A及图3B所示的原始帧来进行内插的过程示意图。
图4B为根据本发明图2所示的实施例以及图3A及图3B所示的原始帧来进行内插的过程示意图。
图5为依据本发明另一实施例的用于在两个帧之间内插帧的视频处理方法的流程图。
具体实施方式
图2为依据本发明一实施例的视频处理装置20的方框图。视频处理装置20包含运动估计单元202，运动补偿单元204，以及区域侦测器206。
运动估计单元202接收一序列的帧，例如，两个帧210。在本发明的一实施例中，此两个帧210是连续帧。接着，运动估计单元202根据帧中相关的(pertinent)区块数据执行运动估计，并输出移动于两个帧210中的物体的运动向量信息212。区域侦测器206产生相应于两个帧210的图像边界的边界信息，根据边界信息决定两个帧21的特定区域，并根据所决定的结果产生区域信息224。在本发明的一实施例中，特定区域为无效区域。当两个帧210中的所有无效区域均已被区域信息224指出时，区域侦测器206提供区域信息224至运动补偿单元204，以用于运动补偿。运动补偿单元204根据区域信息224内插此两个帧210，以产生内插帧214。更具体来说，根据区域信息224，运动补偿单元204指定第一预设加权因子(例如，低加权因子)至无效区域，并且指定第二预设加权因子至无效区域以外的区域。例如，适合于无效区域的加权因子为0，以防止于内插过程中的环状不良效应。另外，两个帧210中物体的移动是根据区域信息224以及来自运动估计单元202的运动向量信息212来补偿。
图3A，图3B以及图3C为根据本发明图2所示的实施例用于解释帧内插操作的示意图。图3A以及图3B分别代表原始帧N以及N+1。图3C为来自图2中所示的运动补偿单元204的内插帧214。请参考图3A以及图3B，背景上具有前景物体34，当背景沿着箭头32的方向移动时，前景物体34并未移动。区块A以及区块B分别表示对应于原始帧N以及N+1的相同位置。
另外，图4A为根据图1所示的传统的视频处理装置以及图3A及图3B所示的原始帧N及N+1来进行内插的过程示意图。图4B为根据本发明图2所示的实施例以及图3A及图3B所示的原始帧N及N+1来进行内插的过程示意图。接下来，将结合相关的附图来描述关于先前技术以及本发明的视频处理装置的内插过程。
如图4A所示，根据前述的先前技术，区块C1是通过对区块A以及区块B进行平均而产生，其中，相等的加权因子被指定到区块A以及区块B以获得区块C1。需要注意的是，区块A包含位于原始帧N边界外的区域R。因此，“光环”产生于区块C1的上部，沿着内插的帧的边界产生了失真的灰线，并进一步使视频质量恶化。
另外，请参考图2、图3A、图3B以及图4B，区块A的边界SA通过区域侦测器206被侦测为帧N的边界。在此实施例中，区域侦测器206接着获取关于区块A的边界SA的边界信息。因为区域R是位于区块A的边界SA之外，区域侦测器206根据边界信息决定区块A的区域R为无效区域。另外，区域侦测器206提供区域信息224至运动补偿单元204，其中区域信息224指示区块A的区域R为无效区域。运动补偿单元204根据接收到的区域信息224，指定第一预设加权因子(例如，低加权因子或零加权因子)至无效区域，也就是，区域R。在此实施例中，区域R的加权因子为零。随后，指定一个高加权因子(1减去区域R的加权因子)至区块B中的相应于无效区域(区域R)的区域，在本实施例中，高加权因子为1。指定至区块A以及区块B的其它区域(其被认定为非无效区域)的加权因子是保持相同的，例如，区块A的其它区域以及区块B中的对应区域的加权因子是保持相同的，在本实施例中，用于非无效区域的第二预设加权因子为0.5。最后，运动补偿单元204根据指定的加权因子对区块A以及区块B执行运动补偿内插，并且产生没有“光环”不良效应的区块C2。
需要注意的是，有多种已知的技术可以有效地获得帧的边界信息，例如，使用预定门限值(predetermined threshold level)来决定帧的边界。对于此技术，边界侦测方法使用预定门限值对帧上端的线至下端的线执行扫描操作。在扫描操作过程中，识别出第一条线(由线N表示)的亮度值大于预定门限值。另外，更识别出最后一条线(由线M表示)的亮度值大于预定门限值。因此，可以决定出帧的上边界(线N)以及下边界(线M)。更具体来说，没有位于线N以及线M之间的区域被定义为外部区域(或无效区域)。也就是说，帧的无效区域可以包含位于上边界上方以及下边界下方的多个区域。需要注意的是，除了上述的方法，其它的边界侦测技术可以被使用。
图5为依据本发明另一实施例的用于在两个帧之间内插帧的视频处理方法的流程图。根据本发明的此实施例，所提供的减小“光环”的视频处理方法首先接收一序列的帧，例如两个帧。在本发明的一实施例中，此两个帧是连续的，即，接收两个连续的帧(步骤502)。接下来，估计此两个帧的运动向量信息(步骤504)。随后，产生与两个帧的图像边界相关的边界信息(步骤506)。另外，根据边界信息决定两个帧中的特定区域(步骤508)。例如，位于两个帧边界之外的区域被认为是特定区域。在本发明的一实施例中，特定区域被称为无效区域。接下来，根据所决定的结果产生区域信息(步骤510)。因此，根据区域信息以及运动向量信息产生位于两个帧之间的内插的帧(步骤512)。更具体来说，低加权因子或零加权因子被提供至无效区域。需要注意的是，因为产生边界信息的操作已经于前述实施例中进行了描述，因此在此省略详细的描述。
需要注意的是，依据本发明实施例的用于在两个帧内内插帧的视频处理装置以及方法，或其某些方面或部分可以程序代码的形式(也就是，指令)实施于有形媒体中，例如软盘、硬驱动、非易失记忆装置、光盘片、或其它可机读的存储媒体，其中，当机器(例如，视频处理装置或类似装置)加载以及执行程序代码时，该机器则为执行本发明的装置。本发明所揭露的方法也可以为某传输媒体(例如，电线或电缆，通过光纤，或通过任何其它形式的传输)进行传输的程序代码的形式，其中，当机器(例如，计算机、视频处理装置或类似装置)接收程序代码并加载以及执行时，该机器则为执行本发明的装置。当将程序代码执行于通用目的的处理器时，程序代码与该处理器相结合以提供一独特的装置，其具有特定的逻辑电路。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中的技术人员，在不脱离本发明的范围内，可以做一些改动，因此本发明的保护范围应与权利要求所界定的范围为准。

Claims (13)

1.一种视频处理装置，用于在两个帧之间内插帧，所述视频处理装置包含：
运动估计单元，用于接收所述两个帧，以及提供所述两个帧的运动向量信息；
区域侦测器，用于产生与所述两个帧的图像边界相关的边界信息，根据所述边界信息决定所述两个帧中的特定区域以产生决定结果，以及根据所述决定结果产生区域信息；以及
运动补偿单元，用于根据所述区域信息以及所述运动向量信息，产生位于所述两个帧之间的内插帧。
2.根据权利要求1所述的视频处理装置，其特征在于，所述边界信息是通过扫描所述两个帧以及决定对应于所述两个帧的每一个的上边界以及下边界而产生，其中，对应于所述两个帧的每一个的所述上边界以及所述下边界的线，分别为对应帧的亮度等级超过门限值的第一条线以及最后一条线。
3.根据权利要求2所述的视频处理装置，其特征在于，所述特定区域包含位于所述上边界上方的区域以及位于所述下边界下方的区域。
4.根据权利要求1所述的视频处理装置，其特征在于，所述运动补偿单元根据所述区域信息，指定第一预设加权因子至所述两个帧的所述特定区域，并且指定第二预设加权因子至所述两个帧的所述特定区域以外的其它区域，以产生所述内插帧。
5.根据权利要求4所述的视频处理装置，其特征在于，所述第二预设加权因子大于所述第一预设加权因子。
6.根据权利要求4所述的视频处理装置，其特征在于，所述第一预设加权因子为零。
7.根据权利要求1所述的视频处理装置，其特征在于，所述两个帧为连续帧。
8.一种视频处理方法，用于在两个帧之间内插帧，所述视频处理方法包含：
接收所述两个帧；
估计所述两个帧的运动向量信息；
产生与所述两个帧的图像边界相关的边界信息；
根据所述边界信息决定所述两个帧中的特定区域，以产生决定结果；
根据所述决定结果产生区域信息；以及
根据所述区域信息以及所述运动向量信息，产生位于所述两个帧之间的内插帧。
9.根据权利要求8所述的视频处理方法，其特征在于，所述产生与所述两个帧的图像边界相关的边界信息的步骤包含：
扫描所述两个帧；
决定对应于所述两个帧的每一个的上边界；以及
决定对应于所述两个帧的每一个的下边界，
其中，对应于所述两个帧的每一个的所述上边界以及所述下边界的线，分别为对应帧的亮度等级超过门限值的第一条线以及最后一条线。
10.根据权利要求9所述的视频处理方法，其特征在于，所述特定区域包含位于所述上边界上方的区域以及位于所述下边界下方的区域。
11.根据权利要求8所述的视频处理方法，其特征在于，所述根据所述区域信息以及所述运动向量信息，产生位于所述两个帧之间的内插帧的步骤包含：根据所述区域信息，指定第一预设加权因子至所述两个帧的所述特定区域，并且指定第二预设加权因子至所述两个帧的所述特定区域以外的其它区域。
12.根据权利要求11所述的视频处理方法，其特征在于，所述第二预设加权因子大于所述第一预设加权因子。
13.根据权利要求11所述的视频处理方法，其特征在于，所述第一预设加权因子为零。
CNA2009102036191A 2008-06-11 2009-05-26 视频处理装置及其方法 Pending CN101605206A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/137,070 2008-06-11
US12/137,070 US20090310679A1 (en) 2008-06-11 2008-06-11 Video processing apparatus and methods

Publications (1)

Publication Number Publication Date
CN101605206A true CN101605206A (zh) 2009-12-16

Family

ID=41414761

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2009102036191A Pending CN101605206A (zh) 2008-06-11 2009-05-26 视频处理装置及其方法

Country Status (3)

Country Link
US (1) US20090310679A1 (zh)
CN (1) CN101605206A (zh)
TW (1) TW200952500A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180670A1 (en) * 2014-05-28 2015-12-03 Mediatek Inc. Video processing apparatus with at least one of transform unit size selection, mode information unit size selection, picture width decision and picture height decision, and related video processing method thereof
WO2020125761A1 (zh) * 2018-12-22 2020-06-25 华为技术有限公司 一种图像块划分方法及装置
CN113225589A (zh) * 2021-04-30 2021-08-06 北京凯视达信息技术有限公司 一种视频插帧处理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5682454B2 (ja) * 2011-05-30 2015-03-11 株式会社Ｊｖｃケンウッド 映像処理装置及び補間フレーム生成方法
EP3111635B1 (en) 2014-02-27 2018-06-27 Dolby Laboratories Licensing Corporation Systems and methods to control judder visibility
US11558621B2 (en) * 2021-03-31 2023-01-17 Qualcomm Incorporated Selective motion-compensated frame interpolation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0837602A3 (en) * 1996-10-17 1999-10-06 Kabushiki Kaisha Toshiba Letterbox image detection apparatus
EP1583364A1 (en) * 2004-03-30 2005-10-05 Matsushita Electric Industrial Co., Ltd. Motion compensated interpolation of images at image borders for frame rate conversion

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180670A1 (en) * 2014-05-28 2015-12-03 Mediatek Inc. Video processing apparatus with at least one of transform unit size selection, mode information unit size selection, picture width decision and picture height decision, and related video processing method thereof
CN106664421A (zh) * 2014-05-28 2017-05-10 联发科技股份有限公司 有变换单元尺寸选择、模式信息单元尺寸选择、图像宽度/高度决定的视频处理装置及方法
US10070070B2 (en) 2014-05-28 2018-09-04 Mediatek Inc. Video processing apparatus with transform unit size selection, mode information unit size selection and/or picture width/height decision, and related video processing method thereof
CN106664421B (zh) * 2014-05-28 2019-05-31 联发科技股份有限公司 视频处理装置及相关的视频处理方法
WO2020125761A1 (zh) * 2018-12-22 2020-06-25 华为技术有限公司 一种图像块划分方法及装置
CN113225589A (zh) * 2021-04-30 2021-08-06 北京凯视达信息技术有限公司 一种视频插帧处理方法
CN113225589B (zh) * 2021-04-30 2022-07-08 北京凯视达信息技术有限公司 一种视频插帧处理方法

Also Published As

Publication number Publication date
TW200952500A (en) 2009-12-16
US20090310679A1 (en) 2009-12-17

Similar Documents

Publication Publication Date Title
WO2020107989A1 (zh) 视频处理方法、装置、电子设备以及存储介质
US10440299B2 (en) Correcting pixel defects based on defect history in an image processing pipeline
CN101605206A (zh) 视频处理装置及其方法
US9514525B2 (en) Temporal filtering for image data using spatial filtering and noise history
US20210281718A1 (en) Video Processing Method, Electronic Device and Storage Medium
US20110032419A1 (en) Picture processing apparatus and picture processing method
US8218888B2 (en) Motion blur detecting apparatus and method, image processing apparatus, and image display apparatus
US20160037061A1 (en) Dynamic motion estimation and compensation for temporal filtering
JP2004312680A (ja) スクロールされるテキストまたはグラフィックデータの検出が可能な動き推定装置および方法
EP2332325A2 (en) System, method, and apparatus for smoothing of edges in images to remove irregularities
KR102074555B1 (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
TW201146011A (en) Bi-directional, local and global motion estimation based frame rate conversion
JP2009200802A (ja) 映像表示装置
US20100150462A1 (en) Image processing apparatus, method, and program
CN101640783A (zh) 去隔行的像素点插值方法及其装置
JP2005176381A (ja) 適応的動き補償の補間方法及び装置
US9215353B2 (en) Image processing device, image processing method, image display device, and image display method
CN102893601B (zh) 运动矢量修正装置及方法、以及视频信号处理装置及方法
US20060227242A1 (en) Method and apparatus of deinterlacing
CN107666560B (zh) 一种视频去隔行方法及装置
CN102497525A (zh) 一种运动补偿去隔行方法
CN102148953B (zh) 去隔行处理的三场运动检测方法、装置以及去隔行系统
WO2016199418A1 (en) Frame rate conversion system
CN102186045A (zh) 去隔行处理的三场运动检测方法、装置以及去隔行系统
KR20110048252A (ko) 움직임 벡터 공유에 기초한 영상을 변환하는 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20091216