CN101444093B - 选择性视频帧速率向上转换 - Google Patents

选择性视频帧速率向上转换 Download PDF

Info

Publication number
CN101444093B
CN101444093B CN200780012584.2A CN200780012584A CN101444093B CN 101444093 B CN101444093 B CN 101444093B CN 200780012584 A CN200780012584 A CN 200780012584A CN 101444093 B CN101444093 B CN 101444093B
Authority
CN
China
Prior art keywords
frame
threshold
motion activity
video
mode decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780012584.2A
Other languages
English (en)
Other versions
CN101444093A (zh
Inventor
维贾伊·马哈德万
布里杰什·皮莱
哈立德·希勒米·厄勒-马列
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101444093A publication Critical patent/CN101444093A/zh
Application granted granted Critical
Publication of CN101444093B publication Critical patent/CN101444093B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明是针对用于视频解码器中的选择性视频帧速率向上转换(FRUC)的技术。视频解码器基于一个或一个以上适应性标准选择性地启用或停用FRUC。可选择所述适应性标准以指示FRUC是否可能引入空间假象。适应性标准可包含运动活动性阈值、模式决策阈值或两者。所述标准是适应性的而不是固定的。当所述标准指示一帧包含过量运动或新内容时，所述解码器停用FRUC。

Description

选择性视频帧速率向上转换
本申请案主张2006年4月13日申请的第60/792,147号美国临时申请案的权益，所述美国临时申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及数字视频编码和解码，且更特定来说涉及用于视频帧速率向上转换的技术。
背景技术
已经建立许多不同的视频编码标准用于对数字视频序列进行编码。例如运动图片专家组(MPEG)已开发出若干标准，包含MPEG-1、MPEG-2和MPEG-4。其它实例包含国际电信联合会(ITU)-TH.263标准、以及出现的ITU-TH.264标准及其副本、ISO/IECMPEG-4第10部分，即高级视频编码(AVC)。这些视频编码标准通过以压缩方式编码数据而支持视频序列的改进的传输效率。
压缩减少了需要传输的数据总量。典型的数字视频编码技术利用连续视频帧之间的相似性，称为时间或帧间相关性，来提供帧间压缩。帧间压缩技术通过将视频帧的基于像素的表示转换为运动表示而开发了帧上的数据冗余。使用帧间技术编码的帧称为P(“预测”)帧或B(“双向”)帧。其它帧使用空间压缩进行帧内编码。
为满足低带宽要求，一些视频应用使用帧跳过以降低的帧速率来编码视频。然而，低帧速率视频可产生呈运动急跳(jerkiness)形式的假象。可在解码器侧采用帧内插或外插以近似跳过的帧的内容，且事实上，向上转换实际帧速率以提供较平稳运动的感觉。帧内插或外插可用于支持帧速率向上转换(FRUC)。尽管FRUC可通过内插或外插跳过的帧而增强时间质量，但某些帧的内插或外插也可能引入损害视频序列的视觉质量的不合意的空间假象。
发明内容
本发明是针对用于视频解码器中选择性地启用和停用FRUC的技术。根据本发明，视频解码器基于一个或一个以上适应性标准选择性地启用和停用FRUC。可选择所述适应性标准以指示特定帧的内插或外插是否可能引入显著空间假象。帧内插或外插技术可作为FRUC方案的一部分来使用，以增强视频序列的时间质量。当FRUC停用时，解码器可应用帧重复，即前一帧的重复来替代跳过帧。
FRUC的选择性启用的适应性标准可包含运动活动性阈值、模式决策阈值或两者。在每一情况下，相关标准是适应性的而不是固定的。特定来说，标准可适应于跳过帧附近的一个或一个以上帧的内容。当所述标准指示前一帧的内容包含过量运动或新内容时，所述视频解码器临时停用FRUC。因此，基于适应性标准，视频解码器选择FRUC或帧重复。
在一个实施例中，本发明提供一种方法，其包括：基于一个或一个以上标准选择性地启用和停用视频解码器中的视频帧速率向上转换；以及基于跳过帧附近的至少一个先前视频帧的一个或一个以上特征来调整所述标准。
在另一实施例中，本发明提供一种视频解码器，其包括：帧速率向上转换模块；以及控制模块，其基于一个或一个以上标准选择性地启用和停用所述帧速率向上转换模块，并基于跳过帧附近的至少一个先前视频帧的一个或一个以上特征来调整所述标准。
本发明中描述的技术可实施于硬件、软件、固件或其任意组合中。如果实施于软件中，那么软件可在例如数字信号处理器(DSP)的处理器中执行。执行所述技术的软件可初始存储在计算机可读媒体中并在处理器中装载且执行。因此，本发明还预期一种计算机可读媒体，其包括促使处理器执行用于适应性视频帧内插的技术的指令。
下文在附图和描述内容中陈述本发明的一个或一个以上实施例的细节。从描述内容和图式以及从权利要求书中将了解本发明的其它特征、目的和优点。
附图说明
图1是说明根据本发明的经配置以采用选择性FRUC技术的视频编码与解码系统的框图。
图2是说明支持视频解码器中的FRUC技术的用于内插跳过帧的简单技术的实例的图。
图3是更详细说明图1的视频解码器的框图。
图4是进一步详细说明图3的FRUC失败预测(FFP)模块的框图。
图5是说明其中视频解码器适应性地确定是否启用或停用FRUC的示范性技术的流程图。
图6是说明其中视频解码器适应性地确定是否启用或停用FRUC的另一示范性技术的流程图。
图7A-7D是说明前一帧的宏块(MB)的示范性分布及相关联运动向量(MV)直方图的图表。
图8A说明划分为宏块(MB)的视频帧。
图8B是指示用于分析运动活动性的分配到图8A的视频帧中的每一MB的编码位的数目的图。
图9是说明用于分析运动活动性的视频帧中近似邻接对象大小的确定的图。
具体实施方式
图1是说明经配置以采用选择性FRUC技术的视频编码与解码系统10的框图，其中基于一个或一个以上适应性标准而选择性地启用或停用FRUC。如图1所示，系统10包含通过传输信道15连接的视频编码器12和视频解码器14。传输信道15可以是能够在位流内传递帧的有线或无线媒体。信道15可支持双向或单向视频传输。
系统10可经配置以用于视频电话、视频串流或视频广播。因此，往复编码、解码、多路传输(MUX)和多路分解(DEMUX)组件可提供于信道15的相对末端上。在一些实施例中，编码器12和解码器14可实施在例如无线移动终端的视频通信装置内，所述装置经配备以用于视频串流、视频广播接收和/或视频电话，例如所谓的无线视频电话或相机电话。
系统10可支持根据会话起始协议(SIP)、ITU-TH.323标准、ITU-TH.324标准或其它标准的视频电话。视频编码器12根据例如MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264或MPEG-4第10部分的视频压缩标准来产生经编码视频数据。尽管图1未图示，但视频编码器12和视频解码器14可分别与音频编码器和解码器集成，且包含适当的硬件和软件组件以处理数据流的音频以及视频部分。
编码器12编码视频帧16，其可包含帧内帧(I帧)、预测帧(P帧)以及双向预测帧(B帧)。I帧是使用空间编码技术完全编码所有视频信息的帧。经编码帧可包括描述形成一帧的一系列视频块的信息。有时称为宏块(MB)的视频块包含界定例如亮度(Y)、红色度(Cr)和蓝色度(Cb)颜色信道中的像素值的编码位。
编码器12可实施帧跳过以减小经由传输信道15传输的数据的帧速率。特定来说，编码器12可经配置以例如通过不编码选定的帧或不传输选定的经编码帧而有意跳过选定的帧。帧跳过允许编码器12遵循信道15的减小的传输速率要求。可以固定速率跳过帧，使得跳过发生于交替的帧或每第n个帧发生。或者，可以变化的速率跳过帧，例如基于智能帧跳过标准。在任一情况下，为了增加有效帧速率，且进而改进时间质量，解码器14执行FRUC过程以使用视频帧内插或外插来近似跳过帧中的至少一些帧。尽管FRUC过程可采用视频帧外插，但为了说明的目的在本发明中将一般性地描述视频帧内插。
解码器14可使用FRUC来替换跳过的帧。另外，在一些实施方案中，FRUC可用于在传输期间丢弃或丢失的帧。编码器12跳过的帧以及在传输期间丢弃或丢失的帧在本发明中将一般称为跳过的帧。尽管FRUC过程可通过内插或外插跳过的帧而增强时间质量，但此类技术可能引入损害视频序列的主观视觉质量的不合意的空间假象。根据本发明，解码器14应用用于向跳过的视频帧选择性地应用FRUC的技术。根据本发明，解码器14基于指示FRUC是否可能引入显著空间假象的一个或一个以上适应性标准来选择性地启用和停用FRUC。
大体上，解码器14应用以选择性地启用和停用FRUC的适应性标准可包含运动活动性阈值、模式决策阈值或两者。在每一情况下，相关标准是适应性的，且适合于一跳过帧附近的一个或一个以上帧的内容，例如在将内插的帧附近。举例来说，当标准指示前一帧的内容包含过量运动或新内容时，解码器14临时停用FRUC。当标准指示较少的运动活动性时，解码器14启用FRUC。
当FRUC停用时，解码器14激活帧重复，即代替跳过帧的前一帧的重复。在此情况下，解码器14避免了可能例如由于内插而由FRUC引入的不合意的空间假象。然而，帧重复降低了视频的感觉到的时间质量。因此，适应性标准允许解码器14通过选择性地应用帧内插(或外插)或帧重复而平衡时间质量与空间质量。
在图1的实例中，视频编码器12包含帧处理单元20，其经配置以处理传入的视频信息帧F1、F2、F3。帧处理单元20将传入的帧F1和F3编码为上述I、P或B帧16中的一者。F2表示将跳过的帧。视频编码器12经由传输信道15将包含经处理帧F1和F3但不包含跳过帧F2的帧16传输到视频解码器14。通常，编码器12按预定义序列(例如IBBPBBPBBPBBI)传输这些帧，其中I、B和P分别指代I帧、B帧和P帧。
帧F1、F2、F3表示含有许多帧的视频序列中的三个帧，且用于描述驻留于两个所传输帧之间的跳过帧F2的内插(F1、F2、F3)。在一些实施例中，可跳过多个帧，在此情况下驻留于两个所传输帧之间的一个以上帧可能需要内插。为了便于说明，本发明将涉及跳过并选择性地内插单个帧F2的实例情况。
视频解码器14经由传输信道15接收依序传输的帧16。视频解码器14可例如根据MPEG-1、MPEG-2、MPEG-4、H.263、H.264、MPEG-4第10部分标准之一来应用标准解码技术，对所接收帧16中的每一者(F1和F3)进行解码。根据本发明，解码器14进一步包含选择性FRUC模块24，其应用于帧16以便选择性地内插跳过帧F2。再次，尽管FRUC过程可采用帧外插，但为实例的目的本发明中将描述帧内插。
选择性FRUC模块24接收视频序列中的连续帧。对于将内插的每一跳过帧(F2)，存在前一帧(F1)和当前帧(F3)。将内插的帧驻留于前一帧与当前帧之间。内插可通过多种技术中的任一种来执行，例如运动补偿内插(MCI)、线性内插、双线性内插、双三次内插、样条内插、最近相邻者内插等。选择性FRUC模块24使用适应性标准(例如，适应性运动活动性阈值、适应性模式决策阈值或两者)确定所接收的帧是否指示过量的运动或新内容。
如果前一帧F1和当前帧F3指示过量运动或新内容，那么将跳过帧F2视为内插的不良候选者。特定来说，过量的运动活动性或新内容指示内插将产生不合意的空间假象的很大可能性。不合意的空间假象的可能产生在针对FRUC的内插应用将产生不合意结果的意义上可称为FRUC失败。因此，选择性FRUC模块24依赖于FRUC失败预测(FFP)来确定是启用还是停用内插。
选择性FRUC模块24基于运动活动性阈值、模式决策阈值或两者预测FRUC失败。请注意，此类阈值不是固定的。而是，所述阈值在帧序列的过程中动态适合于视频帧内容。当预测到FRUC失败时，基于来自前一帧的信息，选择性FRUC模块24停用内插。当内插停用时，解码器14可简单地重复前一帧而不是在前一帧与当前帧之间内插一帧。在此情况下，解码器14使用前一帧的复制版本来代替跳过帧。
选择性FRUC减少了内插帧将产生明显空间假象的可能性。相反，选择性FRUC避免了当跳过帧的内插可能产生可接受的视觉结果时对前一帧的重复。因此，不同于依赖于基于任意或经验确定的固定阈值的技术，本发明中描述的技术提供稳健且基于内容的选择性技术，解码器14通过此技术可重复当内插时具有高度空间假象可能性的那些帧。
图2是说明支持视频解码器14中的FRUC技术的用于内插跳过帧的简单技术的实例。大体上，为了在前一帧F1与当前帧F3之间的跳过帧F2中内插MB，视频解码器14可依赖于在帧F1中的MB25与帧F3中的相应块27之间延伸的向量V13。帧F1和F3分别是需要内插的时间上超前(t-1)和落后(t+1)于跳过帧F2的帧。通常将向量V13除以2(获得1:2帧速率转换)以产生运动向量V13/2和-V13/2，且识别跳过帧F2中的相应MB29。对于1:N转换，将相应地缩放运动向量。
图3是更详细说明图1的视频解码器14的框图。如图3所示，视频解码器14包含选择性FRUC模块24。选择性FRUC模块24包含FRUC失败预测(FFP)模块26和FRUC模块28。在图2的实例中，FFP模块26形成用于FRUC模块28的控制模块，且包含运动活动性分析模块30和帧内宏块(MB)分析模块32。在其它实施例中，FFP模块26可仅包含运动活动性分析模块30，仅包含帧内MB分析模块32，或包含运动活动性分析模块30和帧内MB分析模块32两者。
运动活动性分析模块30分析当前帧F3和前一帧F1的运动活动性信息以确定是否应内插位于前一帧与当前帧之间的跳过帧F2。帧内MB分析模块32相对于模式决策阈值来分析当前帧中的帧内编码MB位，以确定是否应内插跳过帧。FFP模块26可独立地或组合地利用运动活动性分析模块30和帧内MB分析模块32以识别应当重复而不是例如通过内插或外插而使用FRUC过程再现的帧。FRUC模块28可应用常规内插技术以支持FRUC过程，其响应于FFP模块26而选择性地启用或停用，所述FFP模块26充当用于FRUC模块的控制模块。
FFP模块26采用运动活动性分析模块30来适应性地确定指示过量运动或新内容的运动活动性阈值。新内容可指代在一系列视频帧中快速进入或离开一视频场景的新对象。运动活动性分析模块30接收并分析帧序列中的前一视频帧，并产生运动活动性值。在一些实施例中，运动活动性值可以是从运动向量直方图获得的运动向量值。前一视频帧可以是仅接在跳过帧之前的帧，或在跳过帧附近的一个或一个以上先前帧。运动向量直方图指示在前一视频帧中的MB之间运动向量的分布，且可用于例如依据前一视频帧中所有MB上的平均或中间运动向量值表征前一视频帧中内容的运动活动性。
通过使用前一帧或运动向量可用的最近过去帧的运动向量直方图，运动活动性分析模块30适应性地调节运动活动性阈值。运动活动性阈值可从直方图的整个范围内选择。举例来说，运动活动性分析模块30可将运动活动性阈值建立为前一帧的平均或中间运动向量与一差值的和。以此方式，在接收到每一新的帧时适应性地更新运动活动性阈值。特定来说，在运动活动性分析模块30接收到视频序列中的额外帧时，其接收新的“前一”帧并基于所述帧的平均运动向量更新运动活动性阈值。因此，随着视频序列前进，跳过帧的内插根据与所述跳过帧相关联的新的前一帧和当前帧而变。
运动活动性分析模块30通常要求前一帧包含描述可称为宏块(MB)的多个视频块的信息，其中每一MB含有运动向量信息。因此，运动活动性分析模块30通常可用于视频序列的P帧。P帧通常含有具有相关联运动向量的帧内编码MB的优势。运动活动性分析模块30从可用的运动向量信息中计算运动向量直方图。在此实例中，基于运动向量直方图，运动活动性分析模块30适应性地确定运动活动性阈值。
运动活动性分析模块30比较当前视频帧的运动向量信息与基于当前“前一”帧而调节的运动活动性阈值，以确定是否应启用FRUC且因此是否应内插一帧。如果当前帧的运动活动性信息(例如，平均运动向量)超过运动活动性阈值，指示过量的运动或新内容，那么FFP模块26停用FRUC模块28进行的内插。在此情况下，解码器14重复前一帧。或者，如果运动活动性信息没有超过运动活动性阈值，那么FFP模块26启用FRUC模块28以应用内插。
在一些实施例中，运动活动性分析模块30可操作以分析视频帧的X(水平)方向和Y(垂直)方向两个方向上的运动向量信息。如果当前帧的X方向上的平均运动向量值超过X方向的适应性运动活动性阈值，那么FFP模块26停用内插。同样地，如果当前帧的Y方向上的平均运动向量值超过Y方向的适应性运动活动性阈值，那么FFP模块26停用内插。或者，可使用角度信息来评估向量量值与方向两者。也可使用更高级的适应性阈值策略。举例来说，可使用滑动MB窗口来公式化运动向量直方图。
或者或另外，FFP模块26可采用帧内MB分析模块32来适应性地确定是否应内插一帧。帧内MB分析模块32使用当前帧的模式决策信息。当运动估计失败或当对MB进行帧内编码更经济(即，较少编码位)而不是对MB进行帧间编码更经济时，使用帧内MB。在两种情况下，合理的是假定帧中帧内MB的存在是大量新内容或运动的指示。大体上，帧内MB分析模块28比较当前帧中帧内MB的数目与适应性模式决策阈值，以确定是否应内插跳过帧。可使用两种不同技术中的任一者或两者来确定模式决策阈值，如将描述。
根据一种技术，帧内MB分析模块32在位流等级根据当前帧中的帧内MB计数适应性地调节模式决策阈值。特定来说，帧内MB分析模块32接收并分析帧序列的前一帧，以便对具有若干MB位的前一帧中的MB进行计数，所述MB位的数目比所述帧的平均值高一个标准偏差。如果一MB与其它MB相比具有高一个标准偏差的若干MB位，那么可推断MB的帧内编码或高运动。前一帧中的帧内编码MB的数目指示前一帧中的运动或改变的程度。而且，较高数目的MB位表示从前一帧发生较大改变的区域。
帧内MB分析模块32从此MB信息中适应性地确定模式决策阈值。特定来说，帧内MB分析模块32可将模式决策阈值建立为按前一帧中帧内MB计数的MB数目与一差值的和。如果当前帧中的帧内MB数目高于模式决策阈值，那么在前一帧与当前帧之间已存在实质运动或改变。在此情况下，FFP模块26停用FRUC模块28，且视频解码器14重复前一帧而不是内插跳过帧。请注意，对帧内MB位的分析允许使用位流等级信息获得模式决策阈值。
或者或另外，帧内MB分析模块32可通过估计前一帧中的近似邻接对象大小来使用帧内MB计数的模式决策阈值。此方法依赖于前一经解码帧的强度信息，并预测所述帧内的主要对象的大小。因此，模式决策阈值可基于一帧中的邻接对象大小、所述帧中的帧内MB数目或两者。通过使用强度信息，帧内MB分析模块32估计由前一帧中主要对象覆盖的MB的数目，并将模式决策阈值设定为等于估计值或估计值加上一差值。特定来说，强度信息用于识别共享一实质上共同的强度范围的MB，所述范围指示一邻接对象。
可比较当前帧中的邻接帧内MB的数目与模式决策阈值以确定是否应启用或停用跳过帧的内插。如果当前帧中的帧内MB计数超过此模式决策阈值，即由前一帧中主要对象覆盖的MB的所估计数目，那么可能对象已实质上移动或已引入新的对象。在此情况下，FFP模块26停用FRUC模块28。以此方式，FFP模块26充当控制模块，其针对由于场景中的突然运动或引入新对象而含有过量数目的帧内MB的帧停用FRUC。
上述两种不同的模式决策阈值技术，即帧内MB计数和邻接对象大小，可单独使用或彼此组合使用，以选择性地启用和停用内插。同样地，上述运动活动性阈值技术可单独使用或与模式决策阈值技术中的一者或两者组合使用。对于模式决策阈值技术，适应性阈值根据前一帧中识别为帧内编码的MB的数目而变。对于运动活动性阈值技术，适应性阈值根据前一帧中的运动向量信息而变。在每一情况下，适应性阈值的使用支持更有效地应用帧内插和帧重复来促进时间与空间质量两者。下文参看图4另外论述运动活动性阈值和模式决策阈值的确定和使用。
图4是进一步详细说明图2的FFP模块26的框图。如图4所示，FFP模块26的运动活动性分析模块30处理前一帧34A和当前帧34B。FFP模块26的帧内MB分析模块32也处理前一帧34A和当前帧34B。前一帧34A和当前帧34B每一者可包括图1和2中分别表示为F1和F3的帧，所述帧由视频编码器12编码并经由传输信道15传输到视频解码器14。下文描述的操作可在FFP模块26接收到帧34A、34B之后进行，且可由能够执行支持这些操作的指令的处理器来执行。
在接收到帧34A、34B之后，运动活动性分析模块30可分析前一帧34A以计算运动向量(MV)直方图38(“MV直方图38”)，其在下文更详细地展示于图7B和7D中。特定来说，运动活动性分析模块30通过分析前一帧34A内的每一MB并编译相应MV以产生MV直方图来确定MV直方图38。运动活动性分析模块30以多种方式中的一种从MV直方图38中适应性地确定运动向量(MV)阈值40A(“MV_前一阈值40A”)。
在一些实施例中，运动活动性分析模块30从MV直方图38中确定中间或平均运动向量，并将MV_前一阈值40A设定为此中间或平均运动向量加上一差值。在其它实施例中，运动活动性分析模块30采用更高级的策略，其使用滑动MB窗口来计算MV直方图38，借此其根据使用这些高级策略计算的值而设定MV_前一阈值40A。在每一情况下，MV_前一阈值40A适合于随着视频序列前进每一新的“前一”帧。
在适应性地确定MV_前一阈值40A之后，运动活动性分析模块30分析当前帧34B以确定平均运动向量(MV平均)42，假定MV_前一设定为中间或平均运动向量。特定来说，运动活动性分析模块30从由当前帧34B承载的指示当前帧34B的MB的MV的信息中确定MV平均42。运动活动性分析模块30比较MV平均与MV_前一阈值40A。
如果MV平均高于MV_前一阈值40A，那么其可能是由于当前帧34B相对于前一帧34A的运动活动性的显著改变。因此，前一帧34A与当前帧34B之间的内插可导致不合意的空间假象，且最佳的策略将是帧重复而不是FRUC。在此情况下，运动活动性分析模块30向FFP模块26指示FRUC模块28不应执行常规FRUC技术来内插或外插跳过帧，而是应重复前一帧34A。
而且，在接收到帧34A、34B之后，帧内MB分析模块32可分析前一帧34A以确定前一帧内MB计数阈值(N_前一)40B。特定来说，帧内MB分析模块32可基于具有若干编码位的MB的数目而产生前一帧的帧内MB计数阈值，所述编码位的数目比所述帧中所有MB的平均值高一个标准偏差。因此，前一MB计数阈值40B提供前一帧中帧内编码MB的所估计数目的指示，其与前一帧中运动活动性的程度相关。前一MV计数阈值(N_前一)可等于具有比前一帧的平均值高一个标准偏差的位的MB的数目，或等于所述数目加上一差值。
在适应性地确定前一MB计数阈值40B之后，帧内MB分析模块32分析当前帧34B以确定帧内MB计数(N_帧内)44，即当前帧中帧内编码MB的数目。特定来说，帧内MB分析模块32可大体上以上文参考确定前一帧的前一MB计数阈值40B而论述的方式来确定当前帧的帧内MB计数44。接着，帧内MB分析模块32比较前一帧的前一帧内MB计数阈值40B与当前帧的帧内MB计数44。如果当前帧中帧内MB的数目(即帧内MB计数44)超过前一MB计数阈值N_前一40B，那么从前一帧34A到当前帧34B存在显著改变。在此情况下，帧内MB分析模块32停用FRUC模块28以使得其不内插跳过帧。而是，解码器14重复前一帧34A来替代跳过帧。
结合帧内MB计数技术或作为替代，帧内MB分析模块32可基于前一帧和当前帧内的邻接对象大小阈值(邻接_阈值(Contig_th))40C的估计值而产生模式决策阈值。特定来说，帧内MB分析模块32可分析前一帧34A的MB信息以使得其确定前一帧34A内存在的对象的近似大小，其表达为邻接MB的数目。为了确定邻接对象大小阈值40C，帧内MB分析模块32可依赖于MB信息内存在的信息的像素强度，例如亮度(Y)值。
在示范性实施例中，帧内MB分析模块32通过界定前一帧34A的若干垂直和水平横截面并分析沿着这些横截面的像素强度分布曲线来估计最大邻接对象的大小。基于强度，帧内MB分析模块32估计沿着横截面所穿过的任一对象的一个维度的近似大小。接着，帧内MB分析模块32组合来自X和Y维度横截面的横截面信息，并识别所获得的对象大小中的最大值。帧内MB分析模块32估计由最大对象大小界定的邻接对象所覆盖的MB的数目，并将邻接对象大小阈值40C设定为此数目或此数目加上一差值的和。
在一些实施例中，帧内MB分析模块32可利用前一帧34A的空间子取样版本，以便减少计算复杂性，同时考虑强度分布曲线。在其它实施例中，帧内MB分析模块32可能不考虑强度分布曲线，而是考虑前一帧34A内界定的MB的DC值，其在位流中可容易获得。在此类实施例中，帧内MB分析模块32可通过找到DC值分布曲线中的尖锐变化来估计邻接对象大小阈值40C。
一旦邻接对象大小阈值40C已确定，帧内MB分析模块32就分析当前帧34B以确定邻接帧内MB计数(N_邻接帧内)46。帧内MB分析模块32可以大体上类似于上文参考确定邻接对象大小阈值40C描述的方式来确定当前帧34B的邻接帧内MB计数46。接着，帧内MB分析模块32比较邻接对象大小阈值40C与邻接帧内MB计数46。如果当前帧中的帧内MB数目，即邻接帧内MB计数46超过邻接对象大小阈值40C，那么从前一帧34A到当前帧34B已存在显著改变。举例来说，对象可能在前一帧与当前帧之间已移动、旋转、后退、前进或转动。在此情况下，帧内MB分析模块32停用FRUC模块28以使得其不内插跳过帧。而是，解码器14重复前一帧34A来替代跳过帧。
图5是说明示范性技术的流程图，通过所述技术，视频解码器(例如图3的视频解码器14)适应性地确定是否采用FRUC技术来内插跳过帧。在图4的实例中，视频解码器14的FFP模块26适应性地确定如上所述的三个不同阈值，并以级联配置应用阈值。举例来说，FFP模块26可应用运动活动性阈值、基于帧内MB计数的第一模式决策阈值以及基于邻接对象大小的第二模式决策阈值。在图5中，在FFP模块26为了启用FRUC模块28进行的内插而检验当前帧没有超过三个适用阈值中任一者的意义上，所述阈值是“级联”的。尽管下文参考图4描述，但所述技术可应用于能够通过内插或外插跳过帧而应用FRUC的任何视频解码器，且不应限于图4说明的实施例。
初始地，FFP模块26经由传输信道15接收前一帧34A和当前帧34B两者(48)。在接收到帧34A、34B之后，运动活动性分析模块30确定前一帧的MV直方图38，且基于MV直方图38适应性地确定运动活动性阈值MV_前一阈值40A，如上所述(50)。接着，运动活动性分析模块30分析当前帧34B以确定当前帧中MB中的平均运动向量(MV平均)42(52)。一旦阈值40A和平均运动向量42确定，运动活动性分析模块30就比较MV_前一阈值40A与平均运动向量(MV平均)42(54)。如果MV平均42超过MV_前一阈值40A，那么FFP模块26向FRUC模块28指示其应重复前一帧34A而不是内插跳过帧(56)。然而，如果MV平均42没有超过MV_前一阈值40A，那么运动活动性分析模块30不向FRUC模块28做出指示，且将控制传递到帧内MB分析模块32。
帧内MB分析模块32也接收前一帧34A和当前帧34B。如上所述，帧内MB分析模块32可基于前一帧34A的帧内MB计数适应性地确定前一MB计数阈值(N_前一)40B并确定当前帧34B的帧内MB计数(N帧内)44(58、60)。接着，帧内MB分析模块32比较N帧内44与N_前一阈值40B(62)。如果N帧内44超过N_前一阈值40B，那么帧内MB分析模块32向FRUC模块28指示其应重复前一帧34A而不是内插跳过帧(56)。
然而，如果N帧内44没有超过N_前一阈值40B，那么帧内MB分析模块32适应性地确定第三阈值，即邻接对象大小阈值(邻接_阈值)40C，如上所述(64)。帧内MB分析模块32还以上文所述方式确定当前帧34B的邻接帧内MB计数(N_邻接帧内)46(66)。在确定两者之后，帧内MB分析模块32比较N_邻接帧内46与邻接_阈值阈值40C(68)。如果N_邻接帧内46超过邻接_阈值阈值40C，那么帧内MB分析模块32向FRUC模块28指示其应重复前一帧34A。如果N_邻接帧内46没有超过邻接_阈值阈值40C，那么帧内MB分析模块32向FRUC模块28指示其应例如通过内插跳过帧而执行FRUC(70)。
因此，FFP模块26为FRUC模块28提供FRUC或帧重复决策。如果由于过量运动或内容改变而可建议重复，那么FFP模块26针对特定跳过帧停用FRUC模块28。FFP模块26接着接收下一对前一帧与当前帧，且做出另一FRUC或重复决策。所述过程连续地进行通过视频序列的末尾，针对每一跳过帧选择运动活动性阈值和/或模式决策阈值。在图5所示的级联方法中，FFP模块26适应性地确定并应用三个不同阈值40A-40C。在其它实施例中，FFP模块26可应用所述阈值中的仅一者或两者来支持内插决策。
图6是说明另一示范性技术的流程图，其中视频解码器(例如图2的视频解码器14)适应性地确定是否启用或停用FRUC。在图6的实例中，视频解码器14的FFP模块26适应性地确定上述三个不同阈值，即运动活动性阈值、基于帧内MB计数的模式决策阈值以及基于邻接对象大小的模式决策阈值，并以加权配置应用这些阈值。在FFP模块26适应性地确定图4所示的阈值40A-40C、比较阈值40A-40C与例如从当前帧34B获得的信息、并对每一比较进行加权以确定是否内插跳过帧的意义上，图6所示的过程是“加权”的。
对阈值比较的加权分析产生决策融合。可调节每一比较的权值以便将阈值比较相对于彼此排列优先，且进而修改适应性内插技术。在一些实施例中，可在视频解码器14的操作期间手动或自动调节权值。在其它实施例中，权值可静态设定，例如在工厂设定。尽管下文参看图4描述，但所述技术可应用于能够内插跳过帧的任何视频解码器，且不应限于图4说明的实施例。
初始地，FFP模块26经由传输信道15接收前一帧34A和当前帧34B两者(72)。在接收到帧34A、34B之后，运动活动性分析模块30确定MV直方图38，且基于MV直方图38适应性地确定前一帧34A的MV_前一阈值40A，如上所述(74)。接着，运动活动性分析模块30分析当前帧34B以确定平均运动向量(MV平均)42(76)。一旦阈值40A和平均运动向量42确定，运动活动性分析模块30就比较MV_前一阈值40A与平均运动向量(MV平均)42，并对比较的结果进行加权(78)，从而产生经加权的差值。
接着，帧内MB分析模块32适应性地确定前一帧34A的前一MB计数阈值(N_前一)40B并确定当前帧34B的帧内MB计数(N帧内)44，如上所述(80、82)。在这些确定之后，帧内MB分析模块32比较N帧内44与N_前一阈值40B，并对比较的差结果进行加权(84)。帧内MB分析模块32进一步从前一帧34A中适应性地确定第三阈值，即邻接对象大小阈值(邻接_阈值)40C，如上所述(86)。帧内MB分析模块32还以上文所述方式确定当前帧34B的邻接帧内MB计数(N_邻接帧内)46(88)。在确定两者之后，帧内MB分析模块32比较N_邻接帧内46与邻接_阈值阈值40C，并对比较的差结果进行加权(90)。
在进行上述三个比较并对每个比较进行加权之后，FFP模块26通过例如执行一个或一个以上数学运算而融合经加权的比较(92)。举例来说，可将经加权的差结果简单求和并与复合阈值进行比较。如果经加权的差之和超过复合阈值，那么FFP模块26停用FRUC模块28进行的内插，从而引起前一帧的重复(96)。如果经加权的差结果之和没有超过复合阈值，那么FFP模块26启用FRUC模块28(98)。经加权的比较的融合可经受广泛多种数学运算，例如标准化和缩放。
图7A-7D是说明前一帧(例如图4的前一帧34A)的宏块(MB)的示范性分布及其相关联MV直方图的图表，所述MV直方图可大体上类似于MV直方图38。图7A展示说明运动向量量值的直方图分布的图表100。图7B展示说明运动向量量值的标准化直方图的图表102。图7C展示说明运动向量方向的分布的图表104。图7D展示说明运动向量方向的直方图的图表106。
图表100-106说明在本文所述的选择性FRUC技术中可使用的信息。参看图7A，图表100的x轴指示运动向量量值，且图表100的y轴指示具有每一运动向量量值的MB的数目。因此，灰色条指示具有由x轴界定的特定运动向量量值的MB的数目。
参看图7B，图表102的x轴指示运动向量量值，且图表102的y轴指示MB具有小于或等于沿着y轴的给定值的运动向量量值的概率。因此，灰色条指示MB将具有小于或等于由x轴指示的量值的运动向量的可能性。举例来说，右边最后一个灰色条指示存在MB将具有小于或等于19的量值的100％(或1.0)可能性。
通过使用图表100或102所示的数据，运动活动性分析模块30可确定前一帧的平均运动向量量值。在所说明的直方图图表102中，运动活动性分析模块30确定平均运动向量量值为大约6.8。参看图7C，图表104的x轴以度为单位指示运动向量方向，且图表104的y轴指示具有每一运动方向的MB的数目。因此，灰色条指示具有由x轴界定的特定运动向量方向的MB的数目。图表104是基于前一帧34A的MB信息。图表104依据方向来排列MB，且针对25旋转度数的每个方向范围对MB数目进行计数。
参看图7D，图表106的x轴以度为单位指示运动向量方向，且图表106的y轴指示MB具有小于或等于沿着y轴的给定值的运动向量方向的概率。因此，灰色条指示MB将具有小于或等于由x轴指示的方向的方向的运动向量的可能性。举例来说，右边最后一个灰色条指示存在MB将具有小于或等于350度的方向的100％(或1.0)可能性。通过使用直方图图表106中的信息，运动活动性分析模块30可确定前一帧的平均运动向量方向。所说明的直方图图表106展示平均运动向量方向为138.50。
通过使用所得的从直方图图表102、106确定的平均值，运动活动性分析模块30确定平均运动向量，因为向量需要量值与方向两者。运动活动性分析模块30将MV_前一阈值40A设定为基于从直方图图表102、106分别推导出的平均量值和平均方向的向量值。以此方式，运动活动性分析模块30从MV直方图38中的数据中适应性地确定MV_前一阈值40A，所述MV直方图38可大体上类似于直方图图表102、106。
作为一实例，运动活动性分析模块30可比较X(水平)方向、Y(垂直)方向或两者上的向量分量量值，如先前所述。或者，运动活动性分析模块30可比较向量量值和角度与各自的阈值。在每一情况下，运动活动性分析模块30可依赖于量值与方向两者来识别过量的运动或场景改变。
尽管为了便于说明而展示为图表100-106，但运动活动性分析模块30不需要以图表形式实际构造直方图图表102、106。而是，在一些实施例中，运动活动性分析模块30可存储表、链接列表、树或含有与图表102、106所表示的信息类似的信息的任何其它类型的数据结构。对这些数据结构的分析可类似地产生平均运动向量，可如上所述对所述平均运动向量执行比较。
图8A和8B说明由MB形成的示范性前一帧108以及指示帧108的MB的MB位的经分析前一帧110。帧内MB分析模块32接收可在形式上大体类似于前一帧34A的前一帧108，并对前一帧108执行分析以产生经分析的前一帧110。经分析前一帧110的个别灰色标度瓦片表示MB，且包含指定分配到相应MB的编码位的数目的数字。较浅灰色标度的瓦片指示较少数目的编码位已被分配到的MB，其指示较低运动。较深灰色标度的瓦片指示较大数目的编码位已被分配到的MB，其指示较高运动或场景改变。帧内MB分析模块32首先例如通过将编码位的总数除以MB的数目来确定每一MB的编码位的平均数目。
在计算平均位值之后，帧内MB分析模块32识别具有比平均值高一个标准偏差的若干编码位的那些MB，并基于此数目调节前一MB计数阈值(N_前一)40B。将所识别MB视为帧内编码MB，因为相对较高数目的编码位被分配到MB。N_前一可以是前一帧中具有比平均强度值高一个标准偏差的若干编码位的MB的数目与一差值的和。帧内MB分析模块32可执行类似的操作以计算当前帧34B的帧内MB计数(N_帧内)44。
在经由此操作计算N_前一和N_帧内之后，帧内MB分析模块32比较所述值以确定是否应启用或停用FRUC模块28对跳过帧的内插。如果当前帧中帧内编码MB的数目N_帧内大于前一帧的阈值N_前一，那么FFP模块26停用FRUC模块28对跳过帧的内插。而是，解码器14重复前一帧来替代跳过帧。或者，如果当前帧中帧内编码MB的数目N_帧内小于或等于前一帧的阈值N_前一，那么FFP模块26启用FRUC。
尽管为了便于说明而经由图8A和8B以图形表示，但解码器14中实施的适应性内插技术不需要以图形方式执行任何此类操作，而是可改为执行这些操作并将结果存储在表、链接列表、树或用于执行比较的任何其它数据结构中。因此，图8A和8B的图形表示仅用于说明性目的。
图9说明示范性前一帧112，图4的帧内MB分析模块32可分析所述前一帧112以便确定邻接对象大小阈值(邻接_阈值)40C。前一帧112可大体上类似于前一帧34B。帧内MB分析模块32以上述方式分析前一帧112，即通过计算各个对象的强度横截面并经由强度横截面识别最大对象。在分析前一帧112之后，帧内MB分析模块32通过估计最大对象占据的MB的数目来确定邻接对象大小阈值40C。
例如在前一帧112中，帧内MB分析模块32经由横截面强度分析将对象114识别为最大对象。接着，帧内MB分析模块32通过对形成近似对象大小116的MB的数目进行计数来确定邻接对象大小阈值40C。帧内MB分析模块32可根据以下等式(也在图9中展示)计算近似对象大小116：
近似对象大小＝(Vy*Vx)/(MB_大小y*MB_大小x)
其中Vy和Vx分别表示对象114的最大邻接的相应y轴和x轴强度横截面。MB_大小y和MB_大小x分别表示沿着y轴和x轴的宏块(MB)尺寸。通过使用此等式，帧内MB分析模块32可确定近似对象大小116，且因此确定邻接对象大小阈值40C。
前一帧与当前帧中邻接帧内MB的比较充当FFP模块26作出的内插决策的基础。如果当前帧中最大邻接对象的所估计MB计数超过基于前一帧中最大邻接对象的MB计数计算的模式决策阈值，那么可能所述对象已实质上移动。在此情况下，FFP模块26停用FRUC模块28进行的内插。以此方式，FFP模块26停用含有过量运动或新内容的帧的内插。
对运动活动性或模式决策阈值的适应性确定可使视频解码器14能够提供更稳健且适应性方式来预先放映帧以用于跳过帧的内插。通过适应性内插，视频解码器14可使观看者看到的空间假象最小化。另外，解码器14可通过避免一些帧的内插而减少计算的额外开销和功率消耗。适应性技术也可能不是难以实施的，因为做出重复或内插一给定帧的决策所需的大部分信息可在位流等级获得。
本发明描述的技术可实施于硬件、软件、固件或其任意组合中。特定来说，如本文描述的解码器可通过多种硬件、软件和固件组件中的任一者来实现。术语模块、单元或类似术语同样可指代硬件模块、软件模块、固件模块或其组合。
所述技术的各方面可实施于一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其它等效集成或离散逻辑电路，以及此类组件的任何组合中。术语“处理器”或“处理电路”可通常指代上述逻辑电路中的任一者、单独或与其它逻辑电路组合、或任何其它等效电路。在一些实施例中，本文描述的功能性可提供于经配置以用于编码和解码的专用软件模块或硬件单元内，或并入在组合的视频编码器-解码器(CODEC)中。
当实施在硬件中时，所述技术可部分通过包括程序代码或指令的计算机可读媒体来实现，所述程序代码或指令当由处理器执行时，执行上述功能中的一者或一者以上。存储此类程序代码或指令的计算机可读媒体可包括随机存取存储器(RAM)(例如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体，或此类存储器或存储媒体的任意组合。
已描述本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。

Claims (33)

1.一种用于选择性视频帧速率向上转换的方法，其包括：
基于运动活动性阈值和模式决策阈值选择性地启用和停用视频解码器中的视频帧速率向上转换；
基于跳过帧附近的至少一个先前视频帧的一个或多个特征来调整所述运动活动性阈值；以及
基于跳过帧附近的所述至少一个先前视频帧的一个或多个特征来调整所述模式决策阈值，其中所述模式决策阈值基于在至少一个先前视频帧中识别为帧内编码的宏块的数目或者在至少一个先前视频帧中的邻接对象近似大小中的至少一个。
2.根据权利要求1所述的方法，进一步包括当当前帧的运动活动性值超过所述运动活动性阈值时选择性地停用帧速率向上转换。
3.根据权利要求2所述的方法，其中所述运动活动性值包含所述当前帧的平均运动向量值，且其中所述运动活动性阈值是从所述至少一个先前帧的运动向量值的直方图推导出的。
4.根据权利要求3所述的方法，其中调整所述运动活动性阈值包含基于所述至少一个先前帧的所述运动向量值来调节所述运动活动性阈值。
5.根据权利要求1所述的方法，进一步包括当当前帧中帧内编码宏块的数目超过所述模式决策阈值时选择性地停用帧速率向上转换。
6.根据权利要求5所述的方法，其进一步包括基于具有高于阈值的编码位数目的宏块的数目来确定所述模式决策阈值。
7.根据权利要求5所述的方法，其进一步包括基于至少一个先前帧中的邻接对象的近似大小来确定所述模式决策阈值。
8.根据权利要求1所述的方法，其进一步包括当所述帧速率向上转换模块停用时重复所述至少一个前一帧来替代所述跳过帧。
9.根据权利要求1所述的方法，
其中所述模式决策阈值包括宏块计数，且
其中所述方法进一步包括当当前帧的运动活动性值超过所述运动活动性阈值时或当所述当前帧中帧内编码宏块的数目超过所述模式决策阈值的宏块计数时选择性地停用帧速率向上转换。
10.根据权利要求1所述的方法，
其中所述模式决策阈值包括邻接对象大小，
其中所述方法进一步包括当当前帧的运动活动性值超过所述运动活动性阈值时或当所述当前帧中的邻接的帧内编码宏块的数目超过所述模式决策阈值时选择性地停用帧速率向上转换。
11.根据权利要求1所述的方法，
其中所述模式决策阈值包括宏块计数阈值以及邻接对象大小阈值，且
其中所述方法进一步包括：
比较当前帧的所述运动活动性值与所述运动活动性阈值以产生第一差值；
比较所述当前帧中帧内编码宏块数目与所述宏块计数阈值以产生第二差值；
比较所述当前帧中的邻接的帧内编码宏块数目与所述邻接对象大小阈值以产生第三差值；
对所述差值加权；
将所述经加权差值求和；以及
当所述经加权差值的和超过阈值时选择性地停用帧速率向上转换。
12.根据权利要求1所述的方法，其中所述运动活动性阈值和模式决策阈值指示所述视频帧内插是否可能产生空间假象。
13.一种视频解码器，其包括：
帧速率向上转换模块被配置为帧速率向上转换视频序列；以及
控制模块，其基于运动活动性阈值和模式决策阈值选择性地启用和停用所述帧速率向上转换模块，基于跳过帧附近的至少一个先前视频帧的一个或多个特征来调整所述运动活动性阈值；并基于跳过帧附近的至少一个先前视频帧的所述一个或多个特征来调整所述模式决策阈值，其中所述模式决策阈值基于在至少一个先前视频帧中识别为帧内编码的宏块的数目或者在至少一个先前视频帧中的邻接对象近似大小中的至少一个。
14.根据权利要求13所述的视频解码器，其中所述控制模块当当前帧的运动活动性值超过所述运动活动性阈值时选择性地停用所述帧速率向上转换模块。
15.根据权利要求14所述的视频解码器，其中所述运动活动性值包含所述当前帧的平均运动向量值，且其中所述运动活动性阈值是从所述至少一个先前帧的运动向量值的直方图推导出的。
16.根据权利要求15所述的视频解码器，其中所述控制模块基于所述至少一个先前帧的所述运动向量值来调节所述运动活动性阈值以调整所述运动活动性阈值。
17.根据权利要求13所述的视频解码器，其中所述控制模块当当前帧中帧内编码宏块的数目超过所述模式决策阈值时选择性地停用所述帧速率向上转换模块。
18.根据权利要求17所述的视频解码器，其中所述控制模块基于所述前一帧中具有高于阈值的编码位数目的宏块的数目来确定所述模式决策阈值。
19.根据权利要求17所述的视频解码器，其中所述控制模块基于至少一个先前帧中的邻接对象的近似大小来确定所述模式决策阈值。
20.根据权利要求13所述的视频解码器，其中所述解码器当所述帧速率向上转换模块停用时重复所述至少一个前一帧来替代所述跳过帧。
21.根据权利要求13所述的视频解码器，
其中所述模式决策阈值包括宏块计数，
其中所述控制模块当当前帧的运动活动性值超过所述运动活动性阈值时或当所述当前帧中帧内编码宏块的数目超过所述模式决策阈值的宏块计数时选择性地停用所述视频帧速率向上转换模块。
22.根据权利要求13所述的视频解码器，
其中所述模式决策阈值包括邻接对象大小，且
其中所述控制模块当当前帧的运动活动性值超过所述运动活动性阈值时或当所述当前帧中的邻接的帧内编码宏块的数目超过所述模式决策阈值时选择性地停用所述视频帧速率向上转换模块。
23.根据权利要求13所述的视频解码器，
其中所述模式决策阈值包括宏块计数阈值以及邻接对象大小阈值，且
其中所述控制模块比较当前帧的所述运动活动性值与所述运动活动性阈值以产生第一差值，比较所述当前帧中帧内编码宏块数目与所述宏块计数阈值以产生第二差值，比较所述当前帧中的邻接的帧内编码宏块数目与所述邻接对象大小阈值以产生第三差值，对所述差值加权，将所述经加权差值求和，以及当所述经加权差值的和超过阈值时选择性地停用所述视频帧速率向上转换模块。
24.根据权利要求13所述的视频解码器，其中所述运动活动性阈值和所述模式决策阈值指示所述视频帧内插是否可能产生空间假象。
25.根据权利要求24所述的视频解码器，其中所述运动活动性阈值和所述模式决策阈值指示所述视频帧内插是否可能产生显著空间假象。
26.一种视频解码器，其包括：
用于基于运动活动性阈值和模式决策阈值选择性地启用和停用视频帧速率向上转换的装置；
用于基于跳过帧附近的至少一个先前视频帧的一个或多个特征来调整所述运动活动性阈值的装置；以及
用于基于跳过帧附近的所述至少一个先前视频帧的一个或多个特征来调整所述模式决策阈值的装置，其中所述模式决策阈值基于在至少一个先前视频帧中识别为帧内编码的宏块的数目或者在至少一个先前视频帧中的邻接对象近似大小中的至少一个。
27.根据权利要求26所述的视频解码器，进一步包括用于当当前帧的运动活动性值超过所述运动活动性阈值时选择性地停用视频帧速率向上转换的装置。
28.根据权利要求27所述的视频解码器，其中所述运动活动性值包含所述当前帧的平均运动向量值，且其中所述运动活动性阈值是从所述至少一个先前帧的运动向量值的直方图推导出的。
29.根据权利要求26所述的视频解码器，其中所述用于调整所述运动活动性阈值的装置包含用于基于所述至少一个先前帧的所述运动向量值来调节所述运动活动性阈值的装置。
30.根据权利要求26所述的视频解码器，进一步包括用于当当前帧中帧内编码宏块的数目超过所述模式决策阈值时选择性地停用视频帧速率向上转换的装置。
31.根据权利要求30所述的视频解码器，其进一步包括用于基于所述前一帧中具有高于阈值的编码位数目的宏块的数目来确定所述模式决策阈值的装置。
32.根据权利要求30所述的视频解码器，其进一步包括用于基于至少一个先前帧中邻接对象的近似大小来确定所述模式决策阈值的装置。
33.根据权利要求26所述的视频解码器，所述运动活动性阈值和所述模式决策阈值指示所述视频帧内插是否可能产生空间假象。
CN200780012584.2A 2006-04-13 2007-04-13 选择性视频帧速率向上转换 Expired - Fee Related CN101444093B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US79214706P 2006-04-13 2006-04-13
US60/792,147 2006-04-13
US11/468,041 2006-08-29
US11/468,041 US8582660B2 (en) 2006-04-13 2006-08-29 Selective video frame rate upconversion
PCT/US2007/066609 WO2007121342A2 (en) 2006-04-13 2007-04-13 Selective video frame rate upconversion

Publications (2)

Publication Number Publication Date
CN101444093A CN101444093A (zh) 2009-05-27
CN101444093B true CN101444093B (zh) 2015-11-25

Family

ID=38420633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780012584.2A Expired - Fee Related CN101444093B (zh) 2006-04-13 2007-04-13 选择性视频帧速率向上转换

Country Status (8)

Country Link
US (1) US8582660B2 (zh)
EP (1) EP2005736A2 (zh)
JP (2) JP5306990B2 (zh)
KR (1) KR101062646B1 (zh)
CN (1) CN101444093B (zh)
BR (1) BRPI0709990A2 (zh)
CA (1) CA2646198A1 (zh)
WO (1) WO2007121342A2 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9077991B2 (en) 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9108107B2 (en) * 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US8840475B2 (en) * 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8964830B2 (en) * 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9138644B2 (en) 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
JP4181593B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法
JP4513819B2 (ja) * 2007-03-19 2010-07-28 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8355442B2 (en) * 2007-11-07 2013-01-15 Broadcom Corporation Method and system for automatically turning off motion compensation when motion vectors are inaccurate
JP5142373B2 (ja) * 2007-11-29 2013-02-13 パナソニック株式会社 再生装置
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
US20100027663A1 (en) * 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
US20100178038A1 (en) * 2009-01-12 2010-07-15 Mediatek Inc. Video player
US8320455B2 (en) * 2009-03-05 2012-11-27 Qualcomm Incorporated System and method to process motion vectors of video data
US20100250722A1 (en) * 2009-03-31 2010-09-30 Nokia Corporation Connectivity management for transport independent architectures
US20100260255A1 (en) * 2009-04-13 2010-10-14 Krishna Sannidhi Method and system for clustered fallback for frame rate up-conversion (fruc) for digital televisions
TWI398159B (zh) * 2009-06-29 2013-06-01 Silicon Integrated Sys Corp 具動態控制畫質功能的幀率轉換裝置及相關方法
GB2476298A (en) 2009-12-18 2011-06-22 Snell Ltd Changing the temporal sample rate of a motion image sequence
US8995531B2 (en) * 2010-08-02 2015-03-31 Peking University Representative motion flow extraction for effective video classification and retrieval
US8923388B2 (en) * 2011-11-21 2014-12-30 Texas Instruments Incorporated Early stage slice cap decision in video coding
US8976254B2 (en) * 2012-06-08 2015-03-10 Apple Inc. Temporal aliasing reduction and coding of upsampled video
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
EP2755381A1 (en) * 2012-10-23 2014-07-16 ST-Ericsson SA Motion compensated frame interpolation with frame skipping handling
CN104782124B (zh) * 2012-12-17 2018-09-07 英特尔公司 利用编码器硬件对视频内容进行预处理
KR101431046B1 (ko) * 2013-02-13 2014-08-22 서강대학교산학협력단 Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
US9300906B2 (en) * 2013-03-29 2016-03-29 Google Inc. Pull frame interpolation
US20160037167A1 (en) * 2013-03-30 2016-02-04 Anhui Guangxing Linked-Video Communication Technology Co. Ltd Method and apparatus for decoding a variable quality bitstream
US9300933B2 (en) * 2013-06-07 2016-03-29 Nvidia Corporation Predictive enhancement of a portion of video data rendered on a display unit associated with a data processing device
US10349005B2 (en) * 2014-02-04 2019-07-09 Intel Corporation Techniques for frame repetition control in frame rate up-conversion
CN106303546B (zh) * 2016-08-31 2019-05-14 四川长虹通信科技有限公司 一种帧速率上转换方法及系统
US10491917B2 (en) * 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
KR102326163B1 (ko) * 2017-11-21 2021-11-16 엘지디스플레이 주식회사 디스플레이장치 및 그 제어 방법
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
EP3648059B1 (en) * 2018-10-29 2021-02-24 Axis AB Video processing device and method for determining motion metadata for an encoded video
CN112291560B (zh) * 2020-10-30 2024-05-07 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质
CN112291559B (zh) * 2020-10-30 2023-10-31 北京百度网讯科技有限公司 视频编码方法、装置、设备和介质
US20220210467A1 (en) * 2020-12-30 2022-06-30 Beijing Dajia Internet Information Technology Co., Ltd. System and method for frame rate up-conversion of video data based on a quality reliability prediction
KR20230116525A (ko) * 2022-01-28 2023-08-04 삼성전자주식회사 비디오를 처리하는 전자 장치 및 그 동작 방법
CN116366868B (zh) * 2023-05-31 2023-08-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种并发视频包过滤方法、系统及储存介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943096A (en) * 1995-03-24 1999-08-24 National Semiconductor Corporation Motion vector based frame insertion process for increasing the frame rate of moving images
CN1706189A (zh) * 2002-10-22 2005-12-07 皇家飞利浦电子股份有限公司 带有降质的图像处理单元

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2629963B2 (ja) 1989-06-30 1997-07-16 旭硝子株式会社 高耐久性低水素過電圧陰極
JP3036287B2 (ja) 1992-12-15 2000-04-24 富士ゼロックス株式会社 動画像シーン検出装置
US6094455A (en) * 1996-09-25 2000-07-25 Matsushita Electric Industrial Co., Ltd. Image compression/encoding apparatus and system with quantization width control based on bit generation error
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
US6731818B1 (en) 1999-06-30 2004-05-04 Realnetworks, Inc. System and method for generating video frames
EP1422928A3 (en) 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP2005006275A (ja) 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
JP2005236937A (ja) * 2004-01-21 2005-09-02 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
EP1592250A1 (en) 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film-mode detection in video sequences
WO2006007527A2 (en) 2004-07-01 2006-01-19 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US7461939B2 (en) * 2004-11-19 2008-12-09 Hewlett-Packard Development Company, L.P. Automatic zoom for screen fitting
JP2006236937A (ja) * 2005-02-28 2006-09-07 Nec Tokin Corp 蓄電装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943096A (en) * 1995-03-24 1999-08-24 National Semiconductor Corporation Motion vector based frame insertion process for increasing the frame rate of moving images
CN1706189A (zh) * 2002-10-22 2005-12-07 皇家飞利浦电子股份有限公司 带有降质的图像处理单元

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TIEN-YING KUO ET AL.Motion-compensated frame interpolation scheme for H.263 codec.《Proceedings of the 1999 IEEE International Symposium on Circuits and Systems》.1999,第4卷491-494. *

Also Published As

Publication number Publication date
US20070242748A1 (en) 2007-10-18
KR101062646B1 (ko) 2011-09-06
CN101444093A (zh) 2009-05-27
WO2007121342A2 (en) 2007-10-25
WO2007121342A3 (en) 2008-12-31
CA2646198A1 (en) 2007-10-25
JP5420731B2 (ja) 2014-02-19
US8582660B2 (en) 2013-11-12
JP2013013102A (ja) 2013-01-17
BRPI0709990A2 (pt) 2011-08-02
KR20090007437A (ko) 2009-01-16
JP5306990B2 (ja) 2013-10-02
JP2009533977A (ja) 2009-09-17
EP2005736A2 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
CN101444093B (zh) 选择性视频帧速率向上转换
US11765380B2 (en) Methods and systems for motion vector derivation at a video decoder
CN101919255B (zh) 用于视频内插或外推的参考选择
US7526027B2 (en) Video data converter and video data converting method
KR100926199B1 (ko) 레이트 제어 비디오 인코딩을 위한 적응형 프레임 스킵 기술
CN102017615B (zh) 视频单元内的边界伪影校正
US7215710B2 (en) Image coding device and method of image coding
JP2013066197A (ja) 適応性のあるビデオフレーム補間
US20110002387A1 (en) Techniques for motion estimation
US7092442B2 (en) System and method for adaptive field and frame video encoding using motion activity
US8155203B2 (en) Method for transcoding a data stream comprising one or more coded, digitised images
CN101888547B (zh) 基于直接模式选择的h.264/avc快速转码方法及装置
JP2007531444A (ja) ビデオデータのための動き予測及びセグメンテーション
CN101977317B (zh) 帧内预测方法及装置
JP4676513B2 (ja) 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体
Langen et al. Chroma prediction for low-complexity distributed video encoding
KR20180021945A (ko) 인지 화질 향상을 위한 주관적 율 제어 방법 및 장치
CN101370141A (zh) 一种自适应运动矢量合成方法
JP2002152754A (ja) 符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20190413