CN101483771A - 提升帧速率的方法与装置 - Google Patents

提升帧速率的方法与装置 Download PDF

Info

Publication number
CN101483771A
CN101483771A CNA2008101461207A CN200810146120A CN101483771A CN 101483771 A CN101483771 A CN 101483771A CN A2008101461207 A CNA2008101461207 A CN A2008101461207A CN 200810146120 A CN200810146120 A CN 200810146120A CN 101483771 A CN101483771 A CN 101483771A
Authority
CN
China
Prior art keywords
block
pixels
difference
frame
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101461207A
Other languages
English (en)
Other versions
CN101483771B (zh
Inventor
张芳甄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
Original Assignee
Himax Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Technologies Ltd filed Critical Himax Technologies Ltd
Publication of CN101483771A publication Critical patent/CN101483771A/zh
Application granted granted Critical
Publication of CN101483771B publication Critical patent/CN101483771B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种帧速率提升方法。其方法包含接收第一参考帧及第二参考帧；及决定新视频帧的第一部分，其决定是根据第一参考帧、第二参考帧及新视频帧的第二部分。上述的第二部分包含新视频帧内已产生的像素区域。本发明亦揭露执行该方法的装置。

Description

提升帧速率的方法与装置
技术领域
本发明是有关一种数字图像处理技术，特别是提升帧速率(frame rate upconversion)的方法与装置。
背景技术
视频(video)及视觉通讯的应用通常需要处理大量的视频数据。描绘(rendering)装置在产生视频时，需要连续显示许多数字图像(或帧(frame))，用以模拟出动作。帧速率是度量描绘装置制造这些连续帧的频率。帧速率这个用语也使用于计算机绘图、摄影机、照相机及动态捕捉(motion capture)系统。帧速率通常以每秒帧(frames per second，fps)或者简单以赫兹(hertz，Hz)来表示。以高帧速率模式来显示视频的能力已逐渐成为现代图像显示应用的所需。
为了提升帧显示的速率，需要于视频显示的两个参考帧之间产生中间(intermediate)帧。帧速率提升方法通常运用动态补偿(motion compensated)内插(interpolation)技术，其使用相邻帧之间的动态测量信息以进行中间帧的内插。
因此，高帧速率视频显示的应用亟需一个好的帧速率提升方法。
发明内容
根据一较佳实施例，本发明提供一种帧速率提升方法，其包含下列步骤：接收第一参考帧及第二参考帧；及决定新视频帧的第一部分，其决定是根据第一参考帧、第二参考帧及新视频帧的第二部分，其中上述的第一部分为新视频帧的目前像素区块，而第二部分则包含新视频帧内已产生的像素区域，且目前像素区块的决定是根据第一参考帧内的第一像素区块群组、第二参考帧内的第二像素区块群组及已产生像素区域。
上述的决定步骤包含：针对多个像素区块对(pair)计算多个相似度测量指标(SMI)，其中每一像素区块对包含第一像素群组所选出的一个像素区块，以及第二像素群组所选出的一个像素区块；根据多个相似度测量指标，于多个像素区块对中决定出一个最佳像素区块对；及平均最佳像素区块对的两个像素区块以得到新视频帧的目前超像素区块，其中目前像素区块为目前超像素区块内的子区块。
根据本发明一实施例，本发明提供一种帧速率提升装置，其包含像素区块对产生单元、SMI计算单元、最佳像素区块对选择单元、像素区块内插单元及已产生区块缓冲器。
附图说明
图1A至图1E显示本发明实施例的像素区块产生方法的相关概念。
图2显示本发明实施例的帧速率提升方法的主要步骤。
图3显示本发明实施例的帧速率提升装置的方块图。
[主要元件标号说明]
210-250     帧速率提升方法的步骤
300         帧速率提升装置
310         像素区块对产生单元
320         SMI计算单元
330         最佳像素区块对选择单元
340         像素区块内插单元
350         已产生区块缓冲器
具体实施方式
以下的实施例描述参酌对应至相关的图式，这些图式形成本发明揭露的一部分，其用以说明本发明的各种实施作法。然而，也可以使用其它的实施例，只要其结构上或运算上的变化没有超出本发明的范围。
图1A至图1E显示本发明实施例的像素区块(pixel block)产生方法的相关概念。于图1A中，新视频帧FC是根据第一参考帧FP及第二参考帧FN所产生出来的。在此实施例中，第一参考帧FP及第二参考帧FN分别为新视频帧FC于时间顺序上的前一个及下一个视频帧。另外，第一参考帧FN与新视频帧FC之间的时间间隔相同于第二参考帧FN与新视频帧FC之间的时间间隔。于以下的描述中，此时间间隔表示为T。如图1A所示，第一参考帧FP、新视频帧FC及第二参考帧FN可分别以时间函数表示为F(t-2T)、F(t-T)、F(t)。
于新视频帧FC中，像素区块BC是目前所需产生的区块。于本实施例中，像素区块BC为一个8x8的像素区域，亦即，一个含有64(＝8 x 8)个像素的区域。在本实施例中，像素区块BC又位于另一含有16 x 16像素的超(super)像素区块BS内。
像素区块产生方法首先要决定超像素区块BS是否属于一个同时位于第一参考帧FP及第二参考帧FN的对象上面。为此，需要适当决定第一参考帧FP的第一搜寻范围(search range)WP内的第一像素区块群组(group)GP，以及第二参考帧FN的第二搜寻范围WN内的第二像素区块群组GN。位于第一群组GP内的像素区块彼此可以重迭；同样地，位于第二群组GN内的像素区块彼此也可以重迭。第一群组GP内的每一像素区块都有可能被判定相同于第二群组GN内的某一像素区块。图1B显示第一搜寻范围WP及第二搜寻范围WN内的多个像素区块，其中，第一搜寻范围WP内的像素区块BP1及BP2彼此重迭；同样地，第二搜寻范围WN内的像素区块BN1及BN2也彼此重迭。为了说明起见，于图1B中仅显示出一部分的像素区块。
接着，适当地决定出多个像素区块对(pair)，使得每一像素区块对包含第一群组GP的一个像素区块，以及第二群组GN的一个像素区块。图1B中的箭号V1、V2、VN分别代表像素区块对。箭号V1-VN代表类似于图像编码技术中的动态向量(motion vector)概念，其表示不同帧的像素区块间的位移测量(displacement measurement)。于以下的描述中，该箭号将被称为动态向量。
适当地选择每一个像素区块对，使其所对应的动态向量可用以找出上述的超像素区块BS。以图1C为例，以V代表像素区块BP与BN之间的动态向量、亦即，像素区块BP的每一个像素x(注：像素x的位置或坐标将以像素x来表示)移动至像素区块BN的像素x+V。像素区块BP的像素x即假设其移动至超像素区块BS的像素x+V/2，在此，假设在帧间的时间间隔T内是作均匀(uniform)移动。虽然图式中的像素区块BP、BS、BN是显示于同一平面，然而实际上这些像素区块则是分别位于第一参考帧FP新视频帧FC、第二参考帧FN。
使用适当的方法(例如完整(full)搜寻或三步骤搜寻)以决定第一群组GP和第二群组GN，及其多个像素区块对。例如，如果是使用完整搜寻方法，则可以完整地搜寻第一搜寻范围WP及第二搜寻范围WN。
接下来，针对每一个像素区块对作计算，以得到其相似度测量指标(similarity measurement indicator，SMI)。像素区块对(BP，BN)的相似度测量指标SMI可以下式定义：
SMI(BP，BN)＝SAD(BP，BN)+SAD(BPD，BSD)*r+SAD(BND，BSD)*r
其中，SAD(Bi，Bj)表示像素区域Bi和Bj之间的绝对差值的和(sum ofabsolute difference，SAD)，而r为比例系数(scaling factor)，通常介于0和1之间。
像素区域BSD包含超像素区块BS于之前运算时已经产生的像素。图1D例示超像素区块BS中的先前产生像素区域BSD。一般来说，位于目前像素区块BC(其是目前待产生的区块)的上方及左方的像素为之前运算时即已产生的。图1D中的斜线区域即表示已产生的像素区域BSD。
像素区块BP、BN中的子区域(sub-area)BPD、BND相对应于已产生的像素区域BSD。如图1E所示，子区域BPD、BND相对应于图1D中已产生的像素区域BSD，其中，斜线区域代表子区域BPD、BND。
接着，于多个像素区块对中决定出一个最佳(optimum)像素区块对，使得该最佳像素区块对的相似度测量指标SMI为最小。于决定出最佳像素区块对之后，超像素区块BS的内容可通过平均(average)最佳像素区块对的两个像素区块而得到。如图1A所示，由于目前像素区块BC是位于超像素区块BS的内部，因此，当得到超像素区块BS之后，则目前像素区块BC即可以同时得到。
于其它实施例中，所处理的像素区块的大小不一定要16 x 16或8 x 8。所处理的像素区域的长度与宽度可以是不同的。例如，所处理的像素区块可以是一个MxN像素区域，其中的M不等于N。再者，SAD(Bi，Bj)函数也可以使用其它测量像素区块差值的函数来替代。
上述的像素区块产生方法可用于帧速率的提升方法中。图2显示本发明实施例的帧速率提升方法的主要步骤。于步骤210，接收第一参考帧及第二参考帧。接着，启动步骤220至250，用于帧速率提升方法中以产生新视频帧。于步骤220，决定第一参考帧的第一搜寻范围内的第一像素区块群组，以及第二参考帧的第二搜寻范围内的第二像素区块群组。于步骤230，决定多个像素区块对，使得每一像素区块对包含第一群组所选出的一个像素区块，以及第二群组所选出的一个像素区块。步骤240针对每一个像素区块对，计算其相似度测量指标。于步骤245中，于多个像素区块对中决定出一个最佳像素区块对，使其相似度测量指标为最小。最后，步骤250通过平均最佳像素区块对的两个像素区块而得到新视频帧的目前超像素区块。
上述的本发明方法可以实施于一装置中。图3显示本发明实施例的帧速率提升装置300的方块图。一般来说，帧速率提升装置300可以是一个独立的芯片，或者为数字图像处理芯片的一部分。帧速率提升装置300包含像素区块对产生单元310、SMI(相似度测量指针)计算单元320、最佳像素区块对选择单元330、像素区块内插单元340及已产生区块缓冲器350。
请同时参阅图2及图3。像素区块对产生单元310执行步骤210至步骤230以接收第一参考帧及第二参考帧；决定第一参考帧的第一搜寻范围内的第一像素区块群组，以及第二参考帧的第二搜寻范围内的第二像素区块群组；及决定多个像素区块对，使得每一像素区块对包含第一群组所选出的一个像素区块，以及第二群组所选出的一个像素区块。SMI计算单元320执行步骤240以针对每一个像素区块对，计算其相似度测量指标。最佳像素区块对选择单元330执行步骤245，于多个像素区块对中决定出一个最佳像素区块对，使其相似度测量指标为最小。像素区块内插单元340执行步骤250，通过平均最佳像素区块对的两个像素区块而得到新视频帧的目前超像素区块。已产生区块缓冲器350为一个特定存储器，用以暂存目前像素区块，其为像素区块内插单元340所产生的超像素区块内的子区块。
在本发明的较佳实施例中，图3所示的所有单元(但缓冲器350例外)是以专用集成电路(ASIC)的逻辑元件来实施。根据本发明其它实施例，这些单元也可以使用数字信号处理(DSP)系统或微处理器系统的软件或硬件模块来实施。另外，已产生区块缓冲器350通常包含动态随机存取存储器(DRAM)或其它易失性存储器。
以上所述仅为本发明的较佳实施例而已，其是用以阐明本发明，而非用以限定本发明的范围。凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在上述的权利要求范围内。

Claims (13)

1.一种帧速率提升方法，包含：
接收第一参考帧及第二参考帧；及
决定新视频帧的第一部分，其决定是根据该第一参考帧、该第二参考帧及该新视频帧的第二部分，
其中上述的第一部分及第二部分为该新视频帧的二像素区域。
2.根据权利要求1所述的帧速率提升方法，其中上述的第一部分是位于该新视频帧内的目前像素区块，上述的第二部分包含该新视频帧内先前已产生的像素区域，且上述目前像素帧的决定是根据该第一参考帧内的第一像素区块群组、该第二参考帧内的第二像素区块群组、该已产生像素区域。
3.根据权利要求2所述的帧速率提升方法，其中上述的决定步骤包含：
针对多个像素区块对计算多个相似度测量指标，其中每一该像素区块对包含该第一像素群组所选出的一个像素区块，以及该第二像素群组所选出的一个像素区块；
根据该多个相似度测量指标，于该多个像素区块对中决定出一个最佳像素区块对；及
平均该最佳像素区块对的两个像素区块以得到该新视频帧的目前超像素区块，
其中该目前像素区块为该目前超像素区块内的子区块。
4.根据权利要求3所述的帧速率提升方法，其中上述的最佳像素区块对所产生的相似度测量指标为该多个相似度测量指标中最小者。
5.根据权利要求3所述的帧速率提升方法，其中上述的相似度测量指标包含第一区块差值、第二区块差值及第三区块差值的权重和，其中该第一区块差值为该第一像素区块群组的第一像素区块与该第二像素区块群组的第二像素区块之间的差值测量；其中该第二区块差值为该已产生像素区域与该第一像素区块的相对应子区域之间的差值测量；其中该第三区块差值为该已产生像素区域与该第二像素区块的相对应子区域之间的差值测量。
6.根据权利要求5所述的帧速率提升方法，其中上述的差值测量为像素区块之间或者像素区块的相对应子区域的绝对差值和。
7.根据权利要求5所述的帧速率提升方法，其中上述的权重和等于该第一差值、乘以比例系数的该第二差值、乘以比例系数的该第三差值的总和，其中该比例系数介于0与1之间。
8.根据权利要求1所述的帧速率提升方法，其中上述的第一及第二参考帧分别为该新视频帧于时间顺序上的前一个及下一个视频帧。
9.一种帧速率提升装置，包含：
像素区块对产生单元，用以接收第一参考帧及第二参考帧；决定该第一参考帧的第一像素区块群组，及该第二参考帧的第二像素区块群组；及决定多个像素区块对，使得每一像素区块对包含该第一像素区块群组所选出的一个像素区块，以及该第二像素区块群组所选出的一个像素区块；
相似度测量指标计算单元，其针对该多个像素区块对，计算其多个相似度测量指标；
最佳像素区块对选择单元，根据该多个相似度测量指标，于该多个像素区块对中决定出一个最佳像素区块对；
像素区块内插单元，通过平均该最佳像素区块对的两个像素区块以得到该新视频帧的目前超像素区块；及
已产生区块缓冲器，用以暂存该目前超像素区块内的子区块，其为该像素区块内插单元所产生。
10.根据权利要求9所述的帧速率提升装置，其中上述的最佳像素区块对所产生的相似度测量指标为该多个相似度测量指标中最小者。
11.根据权利要求9所述的帧速率提升装置，其中上述的相似度测量指标包含第一区块差值、第二区块差值及第三区块差值的权重和，其中该第一区块差值为该第一像素区块群组的第一像素区块与该第二像素区块群组的第二像素区块之间的差值测量；其中该第二区块差值为该已产生像素区域与该第一像素区块的相对应子区域之间的差值测量；其中该第三区块差值为该已产生像素区域与该第二像素区块的相对应子区域之间的差值测量；其中该已产生像素区域为储存于该已产生区块缓冲器的数据。
12.根据权利要求11所述的帧速率提升装置，其中上述的差值测量为像素区块之间或者像素区块的相对应子区域的绝对差值和。
13.根据权利要求11所述的帧速率提升装置，其中上述的权重和等于该第一差值、乘以比例系数的该第二差值、乘以比例系数的该第三差值的总和，其中该比例系数介于0与1之间。
CN2008101461207A 2008-01-11 2008-08-06 提升帧速率的方法与装置 Expired - Fee Related CN101483771B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/972,858 US20090180033A1 (en) 2008-01-11 2008-01-11 Frame rate up conversion method and apparatus
US11/972,858 2008-01-11

Publications (2)

Publication Number Publication Date
CN101483771A true CN101483771A (zh) 2009-07-15
CN101483771B CN101483771B (zh) 2011-03-16

Family

ID=40850319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101461207A Expired - Fee Related CN101483771B (zh) 2008-01-11 2008-08-06 提升帧速率的方法与装置

Country Status (3)

Country Link
US (1) US20090180033A1 (zh)
CN (1) CN101483771B (zh)
TW (1) TWI367031B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456013A (zh) * 2013-09-04 2013-12-18 天津大学 一种表示超像素以及度量超像素之间相似性的方法
WO2015085922A1 (zh) * 2013-12-10 2015-06-18 华为技术有限公司 一种帧率上采样的方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527034B (zh) * 2008-03-07 2013-01-23 深圳迈瑞生物医疗电子股份有限公司 自适应帧相关的方法和装置
US20110013852A1 (en) * 2009-07-17 2011-01-20 Himax Technologies Limited Approach for determining motion vector in frame rate up conversion
KR102370617B1 (ko) * 2015-04-23 2022-03-04 삼성전자주식회사 적응적 샘플링을 수행하여 영상을 처리하는 방법 및 장치.

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
KR100955161B1 (ko) * 2004-05-04 2010-04-28 콸콤 인코포레이티드 모션 보상된 프레임 레이트 상향 변환을 위한 방법 및 장치
TW200629899A (en) * 2004-07-20 2006-08-16 Qualcomm Inc Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456013A (zh) * 2013-09-04 2013-12-18 天津大学 一种表示超像素以及度量超像素之间相似性的方法
CN103456013B (zh) * 2013-09-04 2016-01-20 天津大学 一种表示超像素以及度量超像素之间相似性的方法
WO2015085922A1 (zh) * 2013-12-10 2015-06-18 华为技术有限公司 一种帧率上采样的方法和装置

Also Published As

Publication number Publication date
TW200931979A (en) 2009-07-16
CN101483771B (zh) 2011-03-16
US20090180033A1 (en) 2009-07-16
TWI367031B (en) 2012-06-21

Similar Documents

Publication Publication Date Title
CN102088589B (zh) 基于双向的局部和全局运动估计的帧率转换
US10085056B2 (en) Method and system for improving application sharing by dynamic partitioning
CN101222604B (zh) 运算移动估计值与估算图像的移动向量的方法
CN101483771B (zh) 提升帧速率的方法与装置
US20040240551A1 (en) Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same
CN107621932B (zh) 显示图像的局部放大方法和装置
CN103369208A (zh) 自适应去隔行方法及装置
WO2019006389A1 (en) DENSE OPTICAL FLOW PROCESSING IN AN ARTIFICIAL VISION SYSTEM
US20110037895A1 (en) System And Method For Global Inter-Frame Motion Detection In Video Sequences
CN108197596B (zh) 一种手势识别方法和装置
CN102999885A (zh) Retinex视频增强算法亮度平均值确定方法与装置
CN111127603A (zh) 动画生成方法、装置、电子设备及计算机可读存储介质
CN110651475B (zh) 用于致密光学流的阶层式数据组织
US20130235274A1 (en) Motion vector detection device, motion vector detection method, frame interpolation device, and frame interpolation method
JP4563982B2 (ja) 動き推定方法，装置，そのプログラムおよびその記録媒体
CN115409696A (zh) 图像处理方法、装置、电子设备及存储介质
US8559518B2 (en) System and method for motion estimation of digital video using multiple recursion rules
US8305500B2 (en) Method of block-based motion estimation
CN104318236B (zh) 一种获取图像局部特征的方法及系统
US6990149B2 (en) Circuit and method for full search block matching
CN112804526B (zh) 图像数据存储方法、设备及存储介质、芯片、模组设备
CN202931463U (zh) 基于特征块的视频稳像装置
CN101860746B (zh) 移动估测方法
CN105630206A (zh) 一种基于dic的触摸定位方法及系统
US20140211854A1 (en) Apparatus and method for video processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110316

Termination date: 20140806

EXPY Termination of patent right or utility model