CN102113329A - 在视频译码中基于压缩域中相似性量度的智能型跳帧 - Google Patents

在视频译码中基于压缩域中相似性量度的智能型跳帧 Download PDF

Info

Publication number
CN102113329A
CN102113329A CN2009801298265A CN200980129826A CN102113329A CN 102113329 A CN102113329 A CN 102113329A CN 2009801298265 A CN2009801298265 A CN 2009801298265A CN 200980129826 A CN200980129826 A CN 200980129826A CN 102113329 A CN102113329 A CN 102113329A
Authority
CN
China
Prior art keywords
frame
current video
video frame
skipping
similarity measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801298265A
Other languages
English (en)
Inventor
戴闵
薛涛
滕佳缘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102113329A publication Critical patent/CN102113329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供智能型跳帧技术，其可由编码装置或解码装置使用以可有助于最小化归因于跳帧的质量降级的方式来促进所述跳帧。特定来说，所述所描述的技术可实施经设计以识别用于跳帧的良好候选帧的相似性量度。以此方式，可相对于常规跳帧技术减少如由视频序列的检视器察觉到的由跳帧引起的显著视频质量降低。所述所描述的技术在压缩域中有利地操作。

Description

在视频译码中基于压缩域中相似性量度的智能型跳帧
本专利申请案主张2008年7月29日申请的第61/084,534号临时申请案的优先权，所述临时申请案转让给本受让人，且在此以引用的方式明确地并入本文中。
技术领域
本发明涉及数字视频译码，且更特定来说涉及用于视频编码或视频解码中的跳帧的技术。
背景技术
已开发了许多不同视频译码技术以用于数字视频序列的编码和解码。举例来说，移动图片专家组(MPEG)已开发了若干种编码标准，包括MPEG-1、MPEG-2和MPEG-4。其它实例编码技术包括在由国际电信联盟(ITU)开发的标准(例如ITU-T H.263标准与ITU-T H.264标准及其对应物ISO/IEC MPEG-4第10部分(即，先进视频译码(AVC)))中所陈述的编码技术。这些和其它视频译码技术支持通过以压缩方式来编码数据而有效发射视频序列。压缩减少了需要在装置之间发射以便传送给定视频序列的数据的量。
视频压缩可涉及空间和/或时间预测以减少视频序列中所固有的冗余。帧内编码使用空间预测以减少同一视频帧内的视频块的空间冗余。帧间编码使用时间预测以减少连续视频帧中的视频块之间的时间冗余。对于帧间编码来说，视频编码器执行运动估计以产生指示视频块相对于一个或一个以上参考帧中的对应预测视频块的移位的运动向量。视频编码器执行运动补偿以从参考帧产生预测视频块，且通过从经编码的原始视频块减去所述预测视频块而形成残余视频块。
跳帧通常由编码装置和解码装置出于多种不同原因实施。大体来说，跳帧指代在编码器处或在解码器处故意避免一个或一个以上帧的处理、编码、解码、发射或显示的技术。当使用跳帧时，与视频序列相关联的帧速率可能减小，这通常在某种程度上使视频序列的质量降级。举例来说，视频译码应用可实施跳帧以便满足与视频序列的通信相关联的低带宽要求。或者，视频解码应用可实施跳帧以便减少解码装置的功率消耗。
发明内容
本发明提供智能型跳帧技术，其可由编码装置或解码装置使用从而以可有助于最小化归因于跳帧的质量降级的方式来促进跳帧。特定来说，所描述的技术可实施经设计以识别跳帧的良好候选帧的相似性量度。根据所揭示的技术，可相对于常规跳帧技术减少如由视频序列的检视器所察觉到的由跳帧引起的显著视频质量降低。可由编码器实施所描述的技术以便减少发送视频序列所需的带宽。或者，可由解码器实施所描述的技术以便减少功率消耗。在解码器的状况下，可实施所述技术以完全跳过一个或一个以上帧的解码或仅跳过一个或一个以上帧的后处理和显示。
所描述的技术在压缩域中有利地操作。特定来说，所述技术可依赖于压缩域中的经编码数据以便作出跳帧决策。此数据可包括识别视频块类型的经编码语法以及其它语法(例如识别运动向量的量值和方向的运动信息)。另外，此数据可包括与视频块相关联的系数值(即，经变换系数值)。基于压缩域中的此信息，定义并接着使用相似性量度以促进选择性跳帧。以此方式，本发明的技术在压缩域中而非在经解码像素域中执行跳帧决策，并促进将大体上不使所察觉到的视频序列质量降级的跳帧。
在一个实例中，本发明提供一种方法，其包含：产生相似性量度，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据；以及在相似性量度满足阈值的条件下，跳过所述当前视频帧。
在另一实例中，本发明提供一种设备，其包含跳帧单元，所述跳帧单元：产生相似性量度，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据；且致使所述设备在相似性量度满足阈值的条件下跳过所述当前视频帧。
在另一实例中，本发明提供一种装置，其包含：用于产生相似性量度的装置，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据；以及用于在相似性量度满足阈值的条件下跳过所述当前视频帧的装置。
在另一实例中，本发明提供一种编码装置，所述编码装置包含：跳帧单元，其产生相似性量度，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据；以及通信单元，其在相似性量度满足阈值的条件下跳过所述当前视频帧的发射。
在另一实例中，本发明提供一种解码装置，所述解码装置包含：通信单元，其接收视频序列的经压缩视频帧；以及跳帧单元，所述跳帧单元产生相似性量度，所述相似性量度量化所述视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据，且所述跳帧单元致使所述装置在相似性量度满足阈值的条件下跳过所述当前视频帧。
可以硬件、软件、固件或其组合来实施本发明中所描述的技术。如果以软件实施，那么可由一个或一个以上处理器来执行软件。软件可最初存储于计算机可读媒体中并由处理器加载以供执行。因此，本发明预期包含指令的计算机可读媒体，所述指令用以致使一个或一个以上处理器执行如本发明中所描述的技术。
举例来说，在一些方面中，本发明提供一种包含指令的计算机可读媒体，所述指令在执行时致使一装置：产生相似性量度，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据；且在相似性量度满足阈值的条件下跳过所述当前视频帧。
所揭示的技术的一个或一个以上方面的细节陈述于下文的附图和描述中。其它特征、目的和优点将从所述描述和所述图式以及从权利要求书显而易见。
附图说明
图1为说明与本发明一致的视频编码和解码系统的框图，所述视频编码和解码系统经配置以在解码器装置中实施跳帧。
图2为说明与本发明一致的视频编码和解码系统的框图，所述视频编码和解码系统经配置以在编码器装置中实施跳帧。
图3为说明根据本发明的技术的经配置以实施跳帧的视频解码器装置的一实例的框图。
图4为说明可在解码器装置中执行的跳帧技术的流程图。
图5为说明可在编码器装置中执行的跳帧技术的流程图。
图6为说明用于产生示范性相似性量度并基于所述相似性量度来执行跳帧的技术的流程图。
图7为说明可由解码器装置执行的跳帧技术的流程图。
具体实施方式
本发明提供智能型跳帧技术，其可由编码装置或解码装置使用，从而以可有助于最小化归因于跳帧的质量降级的方式来促进跳帧。特定来说，本发明描述经设计以识别跳帧的良好候选帧的相似性量度的使用。在一般意义上，可使用相似性量度来识别充分类似于未被跳过的邻近帧的帧。所述邻近帧可为序列的先前或后续帧，其在时间上邻近于正考虑的当前帧。通过识别当前帧是否为跳帧的良好候选者，跳帧可仅对所显示的视频序列的质量产生可忽略的影响。此外，通过使用相似性量度来促进跳帧决策，可相对于常规跳帧技术减小如由视频序列的检视器所察觉到的由跳帧引起的显著视频质量降低。
可由编码器实施所描述的技术以减少发送视频序列所需的带宽。或者，可由解码器实施所描述的技术以减少功率消耗。对于解码器处的功率减少来说，可实施所述技术以完全跳过一个或一个以上帧的解码，或仅跳过一个或一个以上已被解码的帧的后处理和/或显示。后处理可具有极高功率密集性。因此，即使帧已被解码，仍可能需要跳过此类帧的后处理和显示以减少功率消耗。
所描述的技术在压缩域中有利地操作。压缩域中的视频数据可包括各种语法元素(例如识别视频块类型、运动向量量值和方向以及视频块的其它特性的语法)。此外，在压缩域中，视频数据可包含经压缩变换系数而非未经压缩像素值。变换系数(例如离散余弦变换(DCT)系数或概念上相似的系数)可包含频域中一组像素值的集体表示。在任何状况下，本发明的技术可依赖于压缩域中的经编码数据以作出跳帧决策。特定来说，基于压缩域中的此信息，定义帧的相似性量度，且接着将所述相似性量度与一个或一个以上阈值进行比较，以确定是否应跳过所述帧。在一些状况下，可使用基于压缩域中的数据而定义的相似性量度，以促进在经解码的非压缩域中的跳帧决策(例如，通过在解码过程之后控制跳帧)。
图1为说明与本发明一致的视频编码和解码系统10的框图，所述视频编码和解码系统10经配置以在视频解码器装置22中实施跳帧。如图1中所示，系统10可包括视频编码器装置12和视频解码器装置22，通常可将所述视频编码器装置12和所述视频解码器装置22中的每一者称作视频译码器装置。在图1的实例中，视频编码器装置12对输入视频帧14进行编码以产生经编码视频帧18。特定来说，编码单元16可执行一种或一种以上视频译码技术(例如对输入帧14执行帧内预测编码或帧间预测编码)。编码单元16还可执行一个或一个以上变换、量化操作和熵编码过程。通信单元19可经由通信信道15将经编码视频帧18发射到视频解码器装置22的通信单元21。
视频解码器装置22接收可能包括一个或一个以上已恶化帧的经编码帧24，所述经编码帧24可包含从源装置12发送的经编码帧18。在图1的实例中，视频解码器装置22包括跳帧单元26，所述跳帧单元26执行本发明的跳帧技术以便节约视频解码器装置22中的功率。跳帧单元26识别可被跳过的一个或一个以上帧。此跳帧可涉及跳过由解码单元28对一个或一个以上帧的解码。或者，跳帧可涉及在由解码单元28解码一个或一个以上帧之后跳过所述帧的后处理和/或显示。在任一状况下，到经编码帧24中的一者或一者以上在输出帧29的解码、后处理和/或显示中被跳过的程度，输出帧29可包括经编码帧24的子集。
如下文更详细地概述，可基于经压缩数据(例如，与经编码帧24相关联的数据)来执行跳帧决策。再次，此数据可包括语法且可能包括与经编码帧24相关联的变换系数。跳帧单元26可基于经编码数据产生相似性量度以便确定当前帧是否充分类似于视频序列中的先前帧，此可指示是否可在不引起实质质量降级的情况下跳过所述当前帧。
经编码帧24可定义帧速率(例如，15、30或60帧/秒(fps))。跳帧单元26可通过致使一个或一个以上帧被跳过而相对于经编码帧24来有效地减小与输出帧29相关联的帧速率。再次，跳帧可涉及跳过一个或一个以上帧的解码、在解码所有帧之后跳过一个或一个以上帧的任何后处理，或可能地在解码和后处理所有帧之后跳过一个或一个以上帧的显示。出于简单性起见，图1中并未说明后处理单元，但在下文更详细地论述所述后处理单元。
通信单元19可包含调制器和发射器，且通信单元21可包含解调器和接收器。经编码帧18可根据通信标准(例如码分多址(CDMA)或者另一通信标准或技术)来调制，并经由通信单元19而被发射到目的地装置通信单元21。通信单元19和21可包括各种混频器、滤波器、放大器或被设计用于信号调制的其它组件以及被设计用于发射数据的电路(包括放大器、滤波器和一个或一个以上天线)。可将通信单元19和21设计为以对称的方式工作以支持装置12与22之间的双向通信。装置12和22可包含任何视频编码或解码装置。在一个实例中，装置12和22包含无线通信装置手持机(例如所谓的蜂窝式或卫星无线电电话)。在装置12与22之间的互逆双向通信的状况下，装置12和22的编码单元16与解码单元28可各自包含能够编码和解码视频序列的编码器/解码器(CODEC)。
通信信道15可包含任何无线或有线通信媒体(例如射频(RF)谱或一个或一个以上物理发射线，或者无线与有线媒体的任何组合)。通信信道15可包括基于包的网络，例如局域网、广域网或全球网络(例如因特网)。另外，通信信道15可包括无线蜂窝式通信网络，所述无线蜂窝式通信网络包括基站或被设计用于在用户装置之间传送信息的其它设备。基本上，通信信道15表示任何合适的通信媒体或者不同通信媒体、装置或其它元件的集合，其用于将视频数据从视频编码器装置12发射到视频解码器装置22。
可将视频编码器装置12和视频解码器装置22实施为一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。
图2为说明与本发明一致的视频编码和解码系统30的框图，所述视频编码和解码系统30经配置以在视频编码器装置32中实施跳帧。图2的系统30类似于图1的系统10。然而，在系统30中，跳帧单元37被包括于视频编码器装置32而非视频解码器装置42中。在此状况下，视频编码器装置32执行跳帧以便减少发送视频序列所需的带宽。特定来说，通过在视频编码器装置32中执行智能型跳帧，可减少经由通信信道35发送的视频数据的量，同时减轻质量降级。
视频编码器装置32调用编码单元36以对输入帧34进行编码。跳帧单元37在压缩域中执行跳帧以便从经编码帧38移除一个或一个以上帧。通信单元39调制经编码帧38并经由通信信道35将其发射到视频解码器装置42的通信单元41。
视频解码器装置42调用解码单元46以解码可能归因于在传送帧期间的信息损失而具有对帧中的一者或一者以上造成的恶化的所接收的帧44，所述所接收的帧44对应于经编码帧38。输出帧48可由视频解码器装置42输出(例如，经由显示器)。可在输出帧48的输出之前执行后处理，但出于简单性起见在图2中并未说明后处理组件。图2中所示的各种单元和元件可与图1中的类似命名的元件(其在上文进行更详细解释)相似或相同。
系统10和30可经配置用于视频电话、视频串流、视频广播等。因此，可在编码装置12、32和解码装置22、42中的每一者中提供互逆编码、解码、多路复用(MUX)和多路分解(DEMUX)组件。在一些实施方案中，编码装置12、32和解码装置22、42可包含视频通信装置，例如经配备以用于视频串流、视频广播接收和/或视频电话(例如所谓的无线视频电话或相机电话)的无线移动终端。
此类无线通信装置包括用以支持无线通信、音频译码、视频译码和用户接口特征的各种组件。举例来说，无线通信装置可包括一个或一个以上处理器、音频/视频编码器/解码器(CODEC)、存储器、一个或一个以上调制解调器、发射-接收(TX/RX)电路(例如放大器、频率转换器、滤波器等)。另外，无线通信装置可包括图像和音频俘获装置、图像和音频输出装置、相关联驱动器、用户输入媒体等。图1和图2中所说明的组件仅为解释本发明的智能型跳帧技术所需的组件，但编码装置12、32和解码装置22、42可包括许多其它组件。
编码装置12、32和解码装置22、42或两者可包含如上文所描述的无线或有线通信装置或可被并入在如上文所描述的无线或有线通信装置中。并且，可将编码装置12、32和解码装置22、42或两者实施为集成电路装置(例如集成电路芯片或芯片组)，所述集成电路装置可被并入于无线或有线通信装置中，或可被并入于支持数字视频应用的另一类型的装置(例如数字媒体播放器、个人数字助理(PDA)、数字电视等)中。
系统10和30可根据会话起始协议(SIP)、ITU-T H.323标准、ITU-T H.324标准或其它标准来支持视频电话。编码装置12、32可根据视频压缩标准(例如MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264或MPEG-4第10部分)而产生经编码视频数据。尽管图1和图2中未展示，但编码装置12、32和解码装置22、42可包含集成的音频编码器和解码器，且包括适当的用以处置数据流的音频部分与视频部分两者的硬件和软件组件。
图1和图2中所说明的各种视频帧可包括帧内编码帧(I帧)、预测帧(P帧)和双向预测帧(B帧)。I帧为使用空间编码技术来完全编码所有视频信息的帧，而P帧和B帧为经预测编码帧的实例，其基于时间编码技术来编码。经编码帧可包含描述形成帧的一系列视频块的信息。所述视频块可包括定义像素值(例如，在亮度(Y)、色度红色(Cr)和色度蓝色(Cb)颜色信道中)的位，所述视频块可包含16×16宏块、较小宏块分区或其它视频数据块。为预测帧的帧通常充当用于解码视频序列中的其它帧间编码帧的参考帧(即，充当用于另一帧的运动估计和运动补偿的参考)。依据编码标准，任何帧可为用以预测其它帧的数据的预测帧。然而，在一些标准中，仅I帧和P帧可为预测帧，且B帧包含无法用以预测其它帧的数据的非预测帧。
在任何编码过程之后，可将定义视频块的像素值的位转换为共同表示频域中的像素值的变换系数。经压缩帧的经压缩视频块可包含表示残余数据的变换系数的块。经压缩视频块还包括识别视频块的类型的语法且对于帧间编码块来说包括识别运动向量量值和方向的语法。运动向量识别预测块，预测块为了经解码的视频块起见可与像素域中的残余数据组合。
对于在任何功率受限的装置上进行视频重放来说，功率消耗是一个显著关注的问题。图3为此功率受限的解码装置50的示范性框图。装置50包括解码单元52、内部存储器缓冲器54、后处理单元56和显示单元58。另外，装置50包括跳帧单元55，所述跳帧单元55执行本发明的技术中的一者或一者以上以便跳过帧而节约功率。装置50可为电池供电装置，在此状况下，一个或一个以上电池(未图示)向图3中所说明的各种单元提供功率。装置50还可包括从另一装置接收经编码数据的位流的通信单元(未图示)。
解码单元52接收位流(例如，从与装置50相关联的通信单元)。在解码和重建过程期间，解码单元52可从外部存储器(未图示)提取任何参考帧并将其保存到内部存储器缓冲器54。在存储器缓冲器54可与解码单元52形成于同一集成电路上(这与可与解码单元52形成于不同集成电路上的所谓的“外部存储器”形成对比)的程度上，将存储器缓冲器54称为“内部的”。然而，在不同实例和实施方案中，存储器的位置和格式可不同。
在接收到位流后，位流解析器62即解析所述位流，所述位流包含压缩域中的经编码视频块。举例来说，位流解析器62可识别位流的经编码语法和经编码系数。熵解码器64执行位流的熵解码(例如，通过执行内容自适应可变长度编码(CAVLC)技术、上下文自适应二进制算术编码(CABAC)技术或其它可变长度编码技术)。逆量化和逆变换单元66可将数据从频域变换回到像素域，且可对像素值进行解量化。
预测解码器68执行基于预测的解码技术(例如帧内编码视频块的基于空间的解码和帧间编码视频块的基于时间的解码)。预测解码器68可包括各种基于空间的组件，所述组件(例如)基于视频块的帧内模式产生基于空间的预测数据，其可由语法来识别。预测解码器68还可包括各种基于时间的组件(例如运动估计和运动补偿单元)，所述组件(例如)基于运动向量或其它语法产生基于时间的预测数据。预测解码器68基于语法来识别预测块，并通过将所述预测块添加到包括于所接收位流中的数据的经编码残余块来重建原始视频块。预测解码器68可预测性地解码帧的所有视频块以便重建所述帧。
后处理单元56对重建的帧执行任何后处理。后处理单元56可包括用于广泛多种后处理任务中的任一者的组件。后处理任务可包括例如以下等事件：按比例缩放、掺合、修剪、旋转、清晰化、变焦、滤波、去闪烁、去环(de-ringing)、解块、重定尺寸、解交错、去噪声或在重建视频帧之后可能需要的任何其它成像效应。在由后处理单元56进行的后处理之后，图像帧被临时存储于存储器缓冲器54中，并被显示于显示单元58上。
根据本发明，装置50包括跳帧单元55。跳帧单元55识别可被跳过的一个或一个以上帧。特定来说，跳帧单元55检验经接收和解析的位流(例如，由位流解析器62解析)。此时，接收的位流仍处于压缩域中。再次，此数据可包括语法且可能包括与经编码帧相关联的变换系数。跳帧单元55可基于经编码数据产生相似性量度。跳帧单元55可将所述相似性量度与一个或一个以上阈值进行比较，以便确定所述相似性量度是否满足所述阈值(例如，通常通过将相似性量度与一个或一个以上阈值进行比较以确定所述相似性量度是否超过所述阈值中的一者或一者以上)。以此方式，相似性量度是允许跳帧单元55量化当前帧是否充分类似于视频序列中的先前未被跳过帧的机制，其可指示是否可在不引起实质质量降级的情况下跳过当前帧。
跳帧可涉及跳过由预测解码器68对一个或一个以上帧的解码。在此状况下，跳帧单元55可将控制信号发送到预测解码器68以中止对由跳帧单元55识别的所述一个或一个以上帧的解码。或者，跳帧可涉及在解码帧之后跳过对一个或一个以上帧的后处理。在此状况下，跳帧单元55可将控制信号发送到后处理单元56以中止对由跳帧单元55识别的所述一个或一个以上帧的后处理。在这些状况中的每一者下，还中止由显示单元58对所述一个或一个以上被跳过帧的显示。如果需要，那么还可将控制信号提供到显示单元58，以便引起由显示单元58进行的跳帧。然而，显示单元58可能不需要控制信号，尤其在帧的处理被较早地中止(例如，通过中止所述帧的解码或后处理)的情况下。尽管如此，本发明仍预期在预测解码器68、后处理单元56或显示单元55处的跳帧，且可将控制信号从跳帧单元55提供到这些单元中的任一者以引起此类跳帧。
在一些实例中，跳帧单元55可识别跳帧的良好候选者，且可向预测解码器68、后处理单元56或两者通知所述良好候选者。在此状况下，预测解码器68和/或后处理单元56可实际上执行是否跳过帧的决策(例如，基于可用的功率)。因此，跳帧单元55可识别跳帧的良好候选者，且促进由其它单元(例如预测解码器68、后处理单元56或两者)作出的精明的跳帧决策。
有时，直到已由预测解码器68重建帧的视频块之后才决定或才知晓是否应执行跳帧。在此类状况下，后处理单元56处的跳帧可仍然实现实质和所需的功率节约。根据本发明的技术，跳帧单元55可在解码和重建帧之前确定此类帧是否为跳帧的良好候选者。在帧解码之前或在一些状况下在帧解码之后可使用这些确定。跳帧单元55在处理此类帧的过程中非常早地对压缩域中的数据进行操作。如果需要节约功率，那么可在稍后的处理的任何阶段使用由跳帧单元55对跳帧的良好候选者的识别。在任何状况下，针对跳帧决策而在压缩域中操作可使用比在非压缩域中操作所使用的功率少的功率。因此，即使在解压缩数据之后发生跳帧，仍可能需要基于未压缩数据来作出跳帧决策。
在一个实例中，由预测解码器68重建的数据帧可包含1.5x帧速率下的320像素×240像素帧，其中x为实数。假定单元56的后处理执行从QVGA到VGA的按比例缩放，那么后处理单元56的输出可包含3x帧速率下的640像素×480像素帧。在此状况下，后处理可消耗显著功率。因此，在帧的预测解码之后中止后处理并跳过帧可仍为合乎需要的，尤其当直到预测解码过程之后才知晓是否应跳过帧时。此外，由于显示单元58对帧的显示也消耗显著量的功率，因此减少所显示的帧的数目可为减少装置50中的功率消耗的良好方式(即使当直到预测解码过程之后才知晓是否应跳过帧时)。
在一个实例中，解码器单元52可遵守ITU-T H.264标准，且所接收的位流可包含符合ITU-T H.264的位流。位流解析器62解析所接收的位流以将语法与位流分离，且可变长度解码器64执行位流的可变长度解码以产生与残余视频块相关联的经量化的变换系数。可经由直接存储器存取(DMA)而将所述经量化的变换系数存储于存储器缓冲器54中。存储器缓冲器54可包含CODEC处理器核心的一部分。还可将运动向量和其它控制或语法信息写入到存储器缓冲器中(例如，使用所谓的aDSP EXP接口)。
逆量化和逆变换单元66对数据进行解量化，并将数据转换到像素域。预测解码器68执行运动估计补偿(MEC)，且可能可执行解块滤波。预测解码器68接着将经重建的帧写回到存储器缓冲器68。在整个过程期间，装置50可经编程以通过跳过一个或一个以上帧而节省功率，如本文中所描述。视频解码器52的功率消耗可大致与再现帧速率成比例。
解码、后处理和/或显示的帧越少，则节省的功率越多。然而，当显示较少帧时，发生视频质量降级。换句话说，假定剩余视频特性相似，则具有较低帧速率的重现的序列相对于处于比较而言更高的帧速率下的序列通常具有较低的质量。本发明的技术可减少或消除在发生跳帧时的此类质量降低。
本文中所描述的技术的一个基本目标是通过在不招致视觉质量的实质损失的情况下减小显示帧速率来节省功率。为限制质量降级，所提议的功率节省帧选择方案使用相似性量度以便作出跳帧决策。
跳帧技术可遵循以下规则中的一些或全部以便就消除质量降级来说使跳帧有效。对于由预测解码器68进行的跳帧来说，可存在一些基本规则。第一，如果帧为并非用于预测其它帧的非参考帧，且如果放弃所述帧并不引起质量降级(例如，无急动(jerkiness))，那么预测解码器68可在跳帧单元55的指导下跳过所述帧。第二，如果帧为用以预测另一帧的参考帧但严重恶化，那么预测解码器68可在跳帧单元55的指导下跳过所述帧。另外，预测解码器68可解码并重建帧的所有视频块以便重建所述帧。
对于帧显示来说，也可存在基本规则。举例来说，跳帧单元55可检查待显示的帧相对于邻近帧(例如，视频序列的先前显示的帧或随后显示的帧)的相似性。如果所述待显示的帧非常类似于邻近未被跳过的帧，那么可避免由解码单元68进行的解码，可避免由后处理单元56进行的后处理，和/或可避免由显示单元58显示所述待显示的帧。下文更详细论述的相似性量度可促进此相似性检查，且在一些状况下可用以促进预测解码器68和后处理单元56的跳帧决策。然而，可能需要不连续地跳过大于经定义数目的帧，且因此，装置50的组件可定义较低帧速率阈值。在此状况下，如果任何跳帧将导致帧速率降到此较低帧速率阈值以下，那么跳帧单元55可不引起此跳帧。并且，即使在给定帧速率下，也可能需要不跳过所定义数目的帧，因为即使整体帧速率保持相对较高，这仍可产生急动。跳帧单元55可确定此类状况，并可以促进视频质量的方式来控制跳帧。
在某种程度上，包括跳帧单元55增加了装置50的功率消耗。因此，为减轻由跳帧决策产生的此功率消耗，待显示的帧与先前显示的帧之间的相似性检查应相对较简单。一种使此检查保持简单的方法是仅基于压缩域参数来执行相似性比较。在此状况下，可基于经压缩语法元素(例如指示视频块类型和运动向量量值与方向的数据)来完成待显示的帧与先前显示的帧之间的相似性检查。如果针对相似性检查来检验残余数据，那么可基于变换域中的经压缩变换系数而非未经压缩像素值来进行相似性检查。所揭示的技术可能仅需要对帧中的非零系数的数目进行计数，因为这可提供关于所述帧是否类似于邻近帧的有用输入。因此，任何非零系数的实际值对于跳帧单元55来说可能不重要；事实上，跳帧单元55可简单地对非零系数的数目进行计数。
两个相邻帧之间的差异通常由运动或场景改变引起。通过跳过具有类似于先前帧的内容的帧，可限制感知质量降级。可使用任何多种以下信息来促进相似性检查，以使跳帧单元55识别跳帧的良好候选者。可基于以下因素中的一者或一者以上来定义相似性量度。
帧类型和视频块类型是可被包括于相似性量度中的两个因素，所述相似性量度量化邻近帧之间的相似性并促进智能型跳帧决策。举例来说，可能需要总是谨慎地保持任何I帧(即，避免任何I帧的跳过)。并且，如果任何P帧或B帧具有大的百分比的帧内编码宏块，那么这通常意味着此类P帧或B帧为跳帧的不良候选者，且可具有不同于先前帧的内容。
在MPEG-2或MPEG-4编码中，被跳过宏块的大的百分比可指示当前帧非常类似于先前帧。经编码帧内的被跳过宏块是不对其发送残余数据的被指示为被“跳过”的块。可由语法来定义被跳过宏块。对于这些类型的块来说，可在无残余数据的帮助的情况下，在解码器处执行内插、外推或其它类型的数据重建。然而，在ITU-T H.264中，被跳过宏块的大的数目仅意味着这些宏块的运动类似于其相邻的宏块。在此状况下，可将相邻的宏块的运动归因于被跳过宏块。根据本发明，可考虑被跳过宏块的数目和对应的运动方向以检测运动平滑性。如果视频序列定义缓慢但为平移(panning)的运动，那么人眼可容易注意到跳帧的效应。因此，缓慢平移运动通常是调用视频跳帧的不良情境。
也可由跳帧单元55使用运动类型以促进跳帧决策。对于运动类型来说，跳帧单元55可检查运动向量量值和运动向量方向以有助于决定是否应跳过所述帧。通常，缓慢运动序列对跳帧较不敏感。然而，如先前所提及，缓慢平移序列对跳帧敏感。跳帧单元55还可在进行跳帧决策的过程中考虑每一非帧内编码宏块的非零系数的数目，且可将对非零系数的数目的检查与宏块的量化参数值组合，因为较高量化级别自然地导致较多零值系数和较少非零系数。
如果对于给定宏块来说，量化参数值不大，且非零系数的数目较小，那么这趋向于指示所述宏块非常类似于其位于同一地点的预测块。如果宏块的量化参数值较小，但非零系数的数目较大，那么其意味着运动向量并不非常可靠或此宏块非常不同于其位于同一地点的预测块。可由跳帧单元55使用与帧的不同视频块相关联的量化参数的分布以有助于确定是否应将跳帧用于所述帧。如果量化参数对于特定宏块来说太高，那么从所述宏块的压缩域获得的信息对于帮助相似性检查来说可能并不足够精确。因此，可能需要将量化参数阈值强加于量化参数使得仅考虑使用充分低的量化参数来编码的宏块并将其用于相似性量度计算中。
帧速率是可由跳帧单元55使用以有助于确定是否应使用跳帧的另一因素。帧速率越高，则装置50消耗越多功率用于帧的解码、后处理和显示。与位流具有低帧速率(例如，小于30帧/秒)时相比，如果位流具有高帧速率(例如，30帧/秒或更高)，那么选择性跳帧可节省较多的功率。换句话说，较高帧速率可向跳帧单元55提供较大的灵活性来在装置中节省功率。举例来说，如果帧速率的下限为15帧/秒，那么与对30帧/秒的原始视频序列起作用时可节省的功率相比，当对60帧/秒的原始视频序列起作用时，跳帧单元55可具有较大的灵活性来在装置50中节省功率。
还可由跳帧单元55使用补充信息以有助于确定是否应使用跳帧。在图3的说明中，将补充信息展示为到跳帧单元55的可选输入。作为一实例，可与视频帧一起发送上层信息(例如与用以传送数据的调制相关联的控制层信息)以指示一个或一个以上帧是否已恶化。如果帧恶化(例如，如由此补充信息所确定)，那么跳帧单元装置50可偏好于跳帧而非解码、后处理和/或显示所述帧。
考虑上文所论述的全部这些因素，跳帧单元55可定义并使用相似性量度(“SM”)。特定来说，所述相似性量度量化视频序列的待显示的当前视频帧与先前视频帧之间的相似性以便确定所述当前帧是否为跳帧的良好候选者。当相似性量度满足一个或一个以上阈值时，跳过当前帧。通常定义所述相似性量度和阈值使得当相似性量度的值超过给定阈值的值时相似性量度的值满足所述给定阈值。然而，或者，可以其它方式来定义相似性量度和阈值(例如，使得当相似性量度的值小于给定阈值的值时相似性量度的值满足所述给定阈值)。
相似性量度可基于与帧的视频块相关联的百分比。举例来说，相似性量度可基于：当前视频帧中的帧内编码视频块的百分比；当前视频帧中具有超过运动向量量值阈值的运动向量的视频块的百分比；当前视频帧中具有如由运动向量方向阈值所量化在方向上充分相似的运动向量的视频块的百分比；以及当前视频帧中包括比一个或一个以上非零系数阈值少的非零变换系数的视频块的百分比。此外，所述一个或一个以上非零系数阈值可随与当前视频帧中的视频相关联的一个或一个以上量化参数而定。
在一个实例中，由跳帧单元55产生的相似性量度(SM)包含：
SM＝W1*IntraMBs％+W2*MVs_Magnitude％+W3*MVs_Samedirection％+W4*Nz％。
W1、W2、W3和W4为可被定义并应用于相似性量度的不同项的加权因数。IntraMBs％可定义当前视频帧中的帧内编码视频块的百分比。MVs_Magnitude％可定义与当前视频帧相关联的超过运动向量量值阈值的运动向量的百分比。跳帧单元55可对具有超过预定义运动向量量值阈值的量值的运动向量进行计数以便定义MVs_Magnitude％。
MVs_Samedirection％可定义与当前视频帧相关联的如由运动向量方向阈值所量化彼此充分相似的运动向量的百分比。如同运动向量量值阈值，可预定义运动向量方向阈值。运动向量方向阈值确定与帧内的运动向量相关联的相似性水准，例如差角，可针对其认为两个或两个以上的运动向量具有相似的方向。
Nz％可定义当前视频帧中包括比所述一个或一个以上非零系数阈值少的非零变换系数的视频块的百分比。如同与相似性量度相关联的其它阈值，可预定义非零系数阈值。此外，非零系数阈值可依据与当前视频帧中的视频块相关联的一个或一个以上量化参数而定。Nz％可由项fQP(nZ)％来代替以指示nZ取决于由一个或一个以上量化参数定义的阈值。
可基于对一个或一个以上测试视频序列中的跳帧的分析而预定义加权因数W1、W2、W3和W4。在一些状况下，基于一个或一个以上测试视频序列中的跳帧的分析而将W1、W2、W3和W4预定义为针对不同类型的视频运动具有不同值。因此，跳帧单元55可检验视频序列的视频运动范围，并基于此运动来选择所述加权因数。可使用测试序列根据经验来定义一个或一个以上加权因数W1、W2、W3和W4，从而可能针对不同运动水准定义不同因数。以此方式，可以就对称量度能够识别对于人类观测者来说看上去相似的视频帧来说促进有效对称量度的方式来定义加权因数。相似性量度的各个项和加权因数可考虑上文所论述的各种因素和考虑。
如果需要，那么相似性量度还可基于当前视频帧中包含所述当前视频帧内的被跳过视频块的视频块的百分比。此外，可使用上文所论述的其它因数或值来定义相似性量度。在任何状况下，相似性量度均量化当前视频帧与先前视频帧(或其它邻近视频帧)之间的相似性。随着相似性量度的值增加，此增加可对应于相似性。因此，较高的相似性量度值可对应于较好的跳帧候选者。
根据本发明，如果相似性量度的值大于第一相似性阈值T1，那么跳帧单元55可致使此帧被跳过而不管所述帧的类型。在此状况下，跳帧单元55可将控制信号发送到预测解码器68以致使所述帧的解码被跳过，或可将控制信号发送到后处理单元56以使所述帧的后处理被跳过。当后处理被跳过时，永不从后处理单元56发送所述帧来驱动显示单元58。当解码被跳过时，永不将所述帧发送到后处理单元56或发送到显示单元58。
如果相似性量度小于阈值T1，那么跳帧单元55可进一步检查以查看相似性量度是否大于第二相似性阈值T2，其中T2＜T1。如果相似性量度小于阈值T2，那么这可指示当前帧非常不同于先前帧(例如，帧序列的先前未被跳过帧)且即使所述当前帧为参考帧仍应跳过当前帧。然而，如果相似性量度小于阈值T1且大于阈值T2，那么跳帧单元55可进一步确定当前帧是否为参考帧。如果当前帧为具有大于阈值T2的相似性量度的参考帧，那么装置50可重建、后处理和显示所述帧。如果当前帧并非参考帧且具有小于阈值T1且大于阈值T2的相似性量度，那么装置50可避免解码、重建、后处理和显示所述帧。在此状况下，如果跳帧单元55确定当前帧并非参考帧且具有小于阈值T1且大于阈值T2的相似性量度，那么跳帧单元55可发送一个或一个以上控制信号以致使预测解码器68、后处理单元56和显示单元58跳过所述帧。以此方式，较高的阈值T1适用于所有帧(包括非参考帧)，且较低的阈值T2仅适用于非参考帧。此使得较不可能跳过参考帧和较有可能跳过非参考帧，除非当前非参考帧非常不同于邻近帧。
在一些状况下，可将功率信息提供到跳帧单元55以便关于跳帧作出较精明的决策。举例来说，如果装置50的功率为低，那么可能较需要在跳帧方面具有积极性以便节约功率。另一方面，如果装置50具有足够的功率或当前正通过外部电源再充电，那么可能较不需要实施跳帧。尽管图3中未说明电源，但可认为功率信息为图3中所示的“补充信息”的一部分。在此状况下，“补充信息”可包括可用于装置50的当前功率的测量且可能包括当前功率使用率的测量。在此状况下，可基于可用于装置50的功率来定义或调节阈值T1和T2。如果可用功率足以支持非常高的帧速率，那么可增加阈值T1和T2以使跳帧较不可能发生。另一方面，如果可用功率为低，那么可降低阈值T1和T2以促进功率节约。以此方式，与相似性量度相比较的一个或一个以上相似性阈值可为基于解码装置50中的可用电池功率来调节的可调节阈值。
此外，在一些状况下，解码装置50可确定视频序列的帧速率。在此状况下，仅当视频序列的帧速率超过帧速率阈值时，跳帧单元55才可产生相似性量度并在相似性量度满足阈值的条件下引起当前视频帧的跳过。以此方式，装置50可确保针对帧速率确定下限，使得在低于特定帧速率的情况下避免跳帧。因此，仅当跳过当前视频帧将不使帧速率降低到帧速率阈值以下时，跳帧单元55才可致使装置50在相似性量度满足阈值的条件下跳过当前视频帧。此外，在一些状况下，可由跳帧单元55使用与视频序列相关联的位速率以便作出跳帧决策。在此状况下，可将位速率与位速率阈值进行比较，在低于所述位速率阈值的情况下，避免跳帧。位速率可不同于帧速率，尤其当帧以不同量化水准来编码时或当帧定义导致不同帧的位速率大体上在帧间变化的不同运动水准时。
如所注意到，所说明的“补充信息”可包含可用电池功率的指示。然而，“补充信息”可包含广泛多种其它信息(例如对恶化的帧的指示)。在此状况下，跳帧单元55可识别与当前视频帧相关联的指示当前帧恶化的补充信息，且可在补充信息指示当前帧恶化时致使装置55跳过当前视频帧。举例来说，可通过通信单元(例如图1的通信单元21)确定所接收的数据不遵守预期数据格式来确定帧恶化，或可以其它方式来确定帧恶化。
图3的论述通常适用于解码器。然而，也可在如同图2的系统的系统中使用类似于上文所描述的相似性量度的相似性量度，在所述系统中，由编码装置使用跳帧以便识别在发射视频序列的过程中待跳过的帧。在编码装置的状况下，编码装置中的跳帧单元可促进对待跳过的帧的智能型选择(例如，使得编码装置可满足针对经编码视频序列的发射的带宽限制)。
图4为说明可在解码器装置(例如图1的视频解码器装置22或图3的解码装置50)中执行的跳帧技术的流程图。出于示范性的目的，图4的论述将参考图1的视频解码器装置22。
如图4中所示，视频解码器装置22的通信单元21接收包含经压缩视频帧的位流(401)。跳帧单元26产生相似性量度(例如上文所论述的相似性量度)，以便量化当前帧与邻近帧之间的差异(402)。举例来说，所述邻近帧可包含视频序列中在时间上邻近于当前帧的先前帧。如果相似性量度超过相似性阈值，那么跳帧单元26发送一个或一个以上控制信号以致使视频解码器装置22跳过当前帧的解码、后处理和/或显示(403)。以此方式，相似性量度促进视频解码器装置22中的智能型跳帧决策。
图5为说明可在编码器装置(例如图2的视频编码器装置32)中执行的跳帧技术的流程图。如图5中所示，视频编码器装置32的编码单元36压缩视频帧以产生经编码位流(501)。跳帧单元37产生量化压缩域中所述经编码位流的当前帧与邻近帧之间的差异的相似性量度(502)。如果相似性量度超过相似性阈值，那么跳帧单元37接着致使装置32的通信单元39跳过当前帧的发射(503)。以此方式，本发明的技术可允许编码装置在无视频质量的实质降级的情况下减小编码帧速率以促进带宽的有效使用。
也可将本发明的各种跳帧技术用于代码转换应用中。在此状况下，可根据一种标准(例如，MPEG-2)来对经压缩位流进行编码，但所述经压缩位流可经解码且接着根据第二标准(例如，ITU-T H.264)来重新编码。在此状况下，出于在解码器级处的帧速率功率节省原因或出于在编码器级处的资源或带宽限制，可使用本发明的跳帧技术以避免对一些帧的解码和/或重新编码。
图6为说明用于产生示范性相似性量度并基于所述相似性量度执行跳帧的技术的流程图。图6的技术可由视频编码器装置(如图2的装置32)或由视频解码器装置(例如图1的装置22或图3的解码装置50)来执行。出于解释目的，将从图3的解码装置50的观点来描述图6的技术。
如图6中所示，位流解析器62解析包含经压缩视频帧的经编码位流(601)。此解析识别压缩域中的经编码位流的语法和/或数据。跳帧单元55使用压缩域中的经解析数据以便产生指示当前帧与邻近于所述当前帧的帧之间的相似性的相似性量度。特定来说，跳帧单元55确定帧中包含帧内编码块的块的百分比P1(602)。跳帧单元55还确定所述帧中具有超过运动向量量值阈值的运动向量的块的百分比P2(603)，且确定所述帧中具有如运动向量方向阈值所量化的相似运动向量的块的百分比P3(604)。另外，跳帧单元55确定所述帧中具有比非零系数阈值少的非零变换系数的块的百分比P4(604)。任选地，跳帧单元55还可确定所述帧中包含所述帧中的被跳过视频块的块的百分比P5(605)。
使用这些百分比(P1、P2、P3、P4和P5)中的一些或全部，跳帧单元55计算量化当前帧与邻近帧之间的差异的相似性量度(606)。产生P1、P2、P3、P4和P5所需的所有信息可包含压缩域中的经编码位流的数据，其包括语法与经压缩变换系数。因此，不需要将数据解码到像素域而产生相似性量度。在一些状况下，相似性量度可具有指派给由跳帧单元55确定的不同百分比的加权因数。上文论述了一个相似性量度的较详细实例。
在任何状况下，如果相似性量度超过相似性阈值，那么跳帧单元可致使装置50跳过帧(607)。举例来说，跳帧单元55可将控制信号发送到预测解码器68以致使预测解码器68跳过帧的解码，或可将控制信号发送到后处理单元56以致使后处理单元56跳过帧的后处理。在前者的状况下，避免了帧的解码、后处理和显示。在后者的状况下，执行了帧的解码，但避免了帧的后处理和显示。在这两种状况下，通过跳帧促进了功率节约，且针对此跳帧的帧选择可减小归因于此跳帧的质量降级。
在一些状况下，当正解码帧时，可能并不知晓是否需要跳帧以节约功率。然而，在解码之后，如果需要功率节约，那么可能需要跳过已解码的帧的后处理和显示。可在压缩域中作出跳帧决策(例如，基于未压缩的经编码数据和语法)。接着，即使在解码所述数据之后，仍可能需要对帧的后处理和显示的跳帧。
图7为说明可由解码器装置(例如图1的视频解码器装置22或图3的解码装置50)执行的跳帧技术的流程图。出于示范性的目的，图7的论述将参考图3的解码装置50。
如图7中所示，解码装置50的跳帧单元55计算指示当前帧与邻近于所述当前帧的帧之间的相似性的相似性量度(701)。如本文中所描述，相似性量度可仅基于当前帧的经压缩数据(例如，压缩域中的数据，例如关于视频块类型、运动向量量值和方向的语法、用于编码中的量化参数和与视频块相关联的量化的残余变换系数)。
跳帧单元55确定相似性量度是否满足第一阈值T1(702)。如果相似性量度满足第一阈值T1(702为“是”)，那么跳帧单元55将控制信号发送到预测解码器68，所述控制信号致使装置50跳过帧的解码(706)且因此还跳过帧的后处理和显示(708)。特定来说，响应于来自跳帧单元55的跳过命令，预测解码器68跳过所述帧的解码(706)。在此状况下，后处理单元56和显示单元58永不接收所述帧的数据，且因此不后处理所述帧且不显示所述帧(708)。
如果相似性量度不满足第一阈值T1(702为“否”)，那么跳帧单元55确定相似性量度是否满足第二阈值T2(704)。在此状况下，如果相似性量度不满足第二阈值T2(704为“否”)，那么解码、后处理和显示所述帧(707)。特定来说，如果相似性量度不满足第二阈值T2(704为“否”)，那么所述帧可由预测解码器68解码，由后处理单元56后处理，且由显示单元58显示。
如果相似性量度满足第二阈值T2(704为“是”)，那么跳帧单元55确定帧是否为参考帧。如果如此(705为“是”)，那么解码、后处理和显示所述帧(707)。特定来说，如果相似性量度满足第二阈值T2(704为“是”)且帧为参考帧(705为“是”)，那么所述帧可由预测解码器68解码，由后处理单元56后处理，且由显示单元58显示。
然而，如果相似性量度满足第二阈值T2(704为“是”)，但帧并非参考帧(705为“否”)，那么致使装置50跳过帧的解码(706)且跳过帧的后处理和显示(708)。因此，不解码、后处理或显示相似性量度不满足第一阈值T1(703为“否”)但确实满足第二阈值(704为“是”)的非参考帧。以此方式，较高的阈值T1适用于所有帧(包括非参考帧)，且较低的阈值T2仅适用于非参考帧。此使得较不可能跳过参考帧且较有可能跳过非参考帧，除非当前非参考帧非常不同于邻近帧。由于使用参考帧来对其它帧进行编码，所以可能较不需要参考帧的跳帧。因此，可仅在参考帧具有超过较高的阈值T1的相似性量度时才进行参考帧的跳帧，而可在非参考帧具有超过任一阈值T1或T2的相似性量度的情况下跳过所述非参考帧。
通常定义相似性量度和阈值使得当相似性量度的值超过给定阈值的值时相似性量度的值满足所述给定阈值。然而，或者，可定义相似性量度和阈值使得当相似性量度的值小于给定阈值的值时相似性量度的值满足所述给定阈值。
在另外其它实例中，可基于本发明的教示来实施关于被跳过的特定帧和如何跳过此类帧的其它变化。图7的流程图仅为一个实例。此外，可在由预测解码器68解码之后在后处理单元56中发生跳帧，或可在由预测解码器68预测解码和由后处理单元56后处理之后在显示单元58中发生跳帧。在这些状况下，压缩域中的数据促进解码和未压缩域中的跳帧。
可以硬件、软件、固件或其任何组合来实施本文中所描述的技术。可将被描述为模块、单元或组件的任何特征一同实施于集成式逻辑装置中或独立地实施为离散但可交互操作的逻辑装置。在一些状况下，可将各种特征实施为集成电路装置(例如集成电路芯片或芯片组)。如果以硬件实施，那么本发明可针对一种设备，例如处理器或集成电路装置(例如集成电路芯片或芯片组)。作为替代或另外，如果以软件实施，那么可至少部分地通过包含在执行时致使处理器执行上文所描述的方法中的一者或一者以上的指令的计算机可读媒体来实现所述技术。举例来说，计算机可读媒体可存储此类指令。
计算机可读媒体可形成计算机程序产品的一部分，所述计算机程序产品可包括封装材料。计算机可读媒体可包含计算机数据存储媒体，例如随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或作为替代，可至少部分地通过计算机可读通信媒体来实现所述技术，所述计算机可读通信媒体以指令或数据结构的形式携载或传送代码且可由计算机存取、读取和/或执行。
可由一个或一个以上处理器(例如一个或一个以上DSP、通用微处理器、ASIC、现场可编程逻辑阵列(FPGA)或其它等效的集成式或离散逻辑电路)来执行代码或指令。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者或适合用于实施本文中所描述的技术的任何其它结构。另外，在一些方面中，可将本文中所描述的功能性提供于专用软件模块或硬件模块内。本发明还预期多种集成电路装置中的任一者，所述集成电路装置包括用以实施本发明中所描述的技术中的一者或一者以上的电路。可将此电路提供于单一集成电路芯片中或提供于位于所谓的芯片组中的多个可交互操作的集成电路芯片中。可将此类集成电路装置用于多种应用中，所述应用中的一些可包括在无线通信装置(例如移动电话手持机)中的使用。
已描述了所揭示的技术的各个方面。这些和其它方面在所附权利要求书的范围内。

Claims (50)

1.一种方法，其包含：
产生相似性量度，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据；以及
在所述相似性量度满足阈值的条件下，跳过所述当前视频帧。
2.根据权利要求1所述的方法，其中所述方法为编码方法，且其中跳过所述当前视频帧包含跳过所述当前视频帧到另一装置的发射。
3.根据权利要求1所述的方法，其中所述方法为解码方法，且其中跳过所述当前视频帧包含跳过所述当前视频帧的预测解码。
4.根据权利要求1所述的方法，其中所述方法为解码方法，且其中跳过所述当前视频帧包含跳过所述当前视频帧的后处理。
5.根据权利要求1所述的方法，其中所述方法为解码方法，且其中跳过所述当前视频帧包含跳过所述当前视频帧的显示。
6.根据权利要求1所述的方法，其中所述相似性量度基于：
所述当前视频帧中的帧内编码视频块的百分比；
所述当前视频帧中具有超过运动向量量值阈值的运动向量的视频块的百分比；
所述当前视频帧中具有如运动向量方向阈值所量化在方向上充分相似的运动向量的视频块的百分比；以及所述当前视频帧中包括比一个或一个以上非零系数阈值少的非零变换系数的视频块的百分比。
7.根据权利要求6所述的方法，其中所述一个或一个以上非零系数阈值依据与所述当前视频帧中的所述视频块相关联的一个或一个以上量化参数而定。
8.根据权利要求6所述的方法，其中所述相似性量度(SM)包含：
SM＝W1*IntraMBs％+W2*MVs_Magnitude％+W3*MVs_Samedirection％+W4*Nz％
其中W1、W2、W3和W4为加权因数，
其中IntraMBs％为所述当前视频帧中的帧内编码视频块的所述百分比，
其中MVs_Magnitude％为与所述当前视频帧相关联的超过所述运动向量量值阈值的运动向量的所述百分比，
其中MVs_Samedirection％为与所述当前视频帧相关联的如所述运动向量方向阈值所量化充分相似的运动向量的所述百分比，且
Nz％为所述当前视频帧中包括比所述一个或一个以上非零系数阈值少的非零变换系数的视频块的所述百分比。
9.根据权利要求8所述的方法，其中基于对一个或一个以上测试视频序列中的跳帧的分析而预定义W1、W2、W3和W4。
10.根据权利要求9所述的方法，其中基于对一个或一个以上测试视频序列中的跳帧的分析而将W1、W2、W3和W4预定义为针对不同类型的视频运动具有不同值。
11.根据权利要求6所述的方法，其中所述相似性量度基于所述当前视频帧中包含所述当前视频帧内的被跳过视频块的视频块的百分比。
12.根据权利要求1所述的方法，其中所述方法为解码方法，且其中跳过所述当前视频帧包含：
当所述相似性量度大于第一阈值时，跳过所述当前视频帧；以及
当所述相似性量度大于第二阈值且所述帧并非用于一个或一个以上其它帧的预测编码的参考帧时，跳过所述当前视频帧。
13.根据权利要求1所述的方法，其中所述方法为由解码装置实施的解码方法，且其中所述阈值为基于所述解码装置中的可用电池功率来调节的可调节阈值。
14.根据权利要求1所述的方法，其进一步包含：
确定所述视频序列的帧速率；以及
仅当所述视频序列的所述帧速率超过帧速率阈值时才产生所述相似性量度，并在所述相似性量度满足所述阈值的条件下跳过所述当前视频帧。
15.根据权利要求1所述的方法，其进一步包含：
识别与所述当前视频帧相关联的指示所述当前帧恶化的补充信息；以及
当所述补充信息指示所述当前帧恶化时，跳过所述当前视频帧。
16.根据权利要求1所述的方法，其进一步包含
仅当跳过所述当前视频帧将不使帧速率降低到帧速率阈值以下时，才在所述相似性量度满足所述阈值的条件下跳过所述当前视频帧。
17.一种设备，其包含：
跳帧单元，所述跳帧单元产生相似性量度，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据，且所述跳帧单元致使所述设备在所述相似性量度满足阈值的条件下跳过所述当前视频帧。
18.根据权利要求17所述的设备，其中所述设备为编码设备，其中所述跳帧单元产生致使通信单元跳过所述当前视频帧到另一装置的发射的控制信号。
19.根据权利要求17所述的设备，其中所述设备为解码设备，其中所述跳帧单元产生致使预测解码器跳过所述当前视频帧的预测解码的控制信号。
20.根据权利要求17所述的设备，其中所述设备为解码设备，其中所述跳帧单元产生致使后处理单元跳过所述当前视频帧的后处理的控制信号。
21.根据权利要求17所述的设备，其中所述设备为解码设备，其中所述跳帧单元产生致使显示单元跳过所述当前视频帧的显示的控制信号。
22.根据权利要求17所述的设备，其中所述相似性量度基于：
所述当前视频帧中的帧内编码视频块的百分比；
所述当前视频帧中具有超过运动向量量值阈值的运动向量的视频块的百分比；
所述当前视频帧中具有如运动向量方向阈值所量化在方向上充分相似的运动向量的视频块的百分比；以及所述当前视频帧中包括比一个或一个以上非零系数阈值少的非零变换系数的视频块的百分比。
23.根据权利要求22所述的设备，其中所述一个或一个以上非零系数阈值依据与所述当前视频帧中的所述视频块相关联的一个或一个以上量化参数而定。
24.根据权利要求22所述的设备，其中所述相似性量度(SM)包含：
SM＝W1*IntraMBs％+W2*MVs_Magnitude％+W3*MVs_Samedirection％+W4*Nz％
其中W1、W2、W3和W4为加权因数，
其中IntraMBs％为所述当前视频帧中的帧内编码视频块的所述百分比，
其中MVs_Magnitude％为与所述当前视频帧相关联的超过所述运动向量量值阈值的运动向量的所述百分比，
其中MVs_Samedirection％为与所述当前视频帧相关联的如所述运动向量方向阈值所量化充分相似的运动向量的所述百分比，且
Nz％为所述当前视频帧中包括比所述一个或一个以上非零系数阈值少的非零变换系数的视频块的所述百分比。
25.根据权利要求24所述的设备，其中W1、W2、W3和W4基于对一个或一个以上测试视频序列中的跳帧的分析而被预定义。
26.根据权利要求25所述的设备，其中W1、W2、W3和W4基于对一个或一个以上测试视频序列中的跳帧的分析而被预定义为针对不同类型的视频运动具有不同值。
27.根据权利要求22所述的设备，其中所述相似性量度基于所述当前视频帧中包含所述当前视频帧内的被跳过视频块的视频块的百分比。
28.根据权利要求17所述的设备，其中所述设备为解码设备，且其中所述跳帧单元致使预测编码单元：在所述相似性量度大于第一阈值时，跳过所述当前视频帧的预测编码；且在所述相似性量度大于第二阈值且所述帧并非用于一个或一个以上其它帧的预测编码的参考帧时，跳过所述当前视频帧的预测解码。
29.根据权利要求17所述的设备，其中所述设备为解码设备，且其中所述阈值为基于所述解码设备中的可用电池功率来调节的可调节阈值。
30.根据权利要求17所述的设备，其中所述跳帧单元：
确定所述视频序列的帧速率；且
仅当所述视频序列的所述帧速率超过帧速率阈值时，才在所述相似性量度满足所述阈值的条件下引起所述当前视频帧的跳过。
31.根据权利要求17所述的设备，其中所述跳帧单元：
识别与所述当前视频帧相关联的指示所述当前帧恶化的补充信息；以及
当所述补充信息指示所述当前帧恶化时，引起所述当前视频帧的跳过。
32.根据权利要求17所述的设备，其中所述跳帧单元：
仅当跳过所述当前视频帧将不使帧速率降低到帧速率阈值以下时，才在所述相似性量度满足所述阈值的条件下引起所述当前视频帧的跳过。
33.根据权利要求17所述的设备，其中所述设备包含集成电路。
34.根据权利要求17所述的设备，其中所述设备包含微处理器。
35.一种装置，其包含：
用于产生相似性量度的装置，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据；以及
用于在所述相似性量度满足阈值的条件下跳过所述当前视频帧的装置。
36.根据权利要求35所述的装置，其中所述相似性量度基于：
所述当前视频帧中的帧内编码视频块的百分比；
所述当前视频帧中具有超过运动向量量值阈值的相关联运动向量的视频块的百分比；
所述当前视频帧中具有如运动向量方向阈值所量化在方向上充分相似的运动向量的视频块的百分比；以及所述当前视频帧中包括比一个或一个以上非零系数阈值少的非零变换系数的视频块的百分比。
37.根据权利要求36所述的装置，其中所述一个或一个以上非零系数阈值依据与所述当前视频帧中的所述视频块相关联的一个或一个以上量化参数而定。
38.根据权利要求36所述的装置，其中所述相似性量度(SM)包含：
SM＝W1*IntraMBs％+W2*MVs_Magnitude％+W3*MVs_Samedirection％+W4*Nz％
其中W1、W2、W3和W4为加权因数，
其中IntraMBs％为所述当前视频帧中的帧内编码视频块的所述百分比，
其中MVs_Magnitude％为与所述当前视频帧相关联的超过所述运动向量量值阈值的运动向量的所述百分比，
其中MVs_Samedirection％为与所述当前视频帧相关联的如所述运动向量方向阈值所量化充分相似的运动向量的所述百分比，且
Nz％为所述当前视频帧中包括比所述一个或一个以上非零系数阈值少的非零变换系数的视频块的所述百分比。
39.根据权利要求35所述的装置，其中所述装置为解码装置，且其中用于跳过所述当前视频帧的装置包含：
用于在所述相似性量度大于第一阈值时跳过所述当前视频帧的装置；以及
用于在所述相似性量度大于第二阈值且所述帧并非用于一个或一个以上其它帧的预测编码的参考帧时跳过所述当前视频帧的装置。
40.根据权利要求35所述的装置，其中所述装置为解码装置，且其中所述阈值为基于所述解码装置中的可用电池功率来调节的可调节阈值。
41.一种包含指令的计算机可读媒体，所述指令在执行时致使装置：
产生相似性量度，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据，且
在所述相似性量度满足阈值的条件下跳过所述当前视频帧。
42.根据权利要求41所述的计算机可读媒体，其中所述相似性量度基于：
所述当前视频帧中的帧内编码视频块的百分比；
所述当前视频帧中具有超过运动向量量值阈值的相关联运动向量的视频块的百分比；
所述当前视频帧中具有如运动向量方向阈值所量化在方向上充分相似的运动向量的视频块的百分比；以及所述当前视频帧中包括比一个或一个以上非零系数阈值少的非零变换系数的视频块的百分比。
43.根据权利要求42所述的计算机可读媒体，其中所述相似性量度(SM)包含：
SM＝W1*IntraMBs％+W2*MVs_Magnitude％+W3*MVs_Samedirection％+W4*Nz％
其中W1、W2、W3和W4为加权因数，
其中IntraMBs％为所述当前视频帧中的帧内编码视频块的所述百分比，
其中MVs_Magnitude％为与所述当前视频帧相关联的超过所述运动向量量值阈值的运动向量的所述百分比，
其中MVs_Samedirection％为与所述当前视频帧相关联的如所述运动向量方向阈值所量化充分相似的运动向量的所述百分比，且
Nz％为所述当前视频帧中包括比所述一个或一个以上非零系数阈值少的非零变换系数的视频块的所述百分比。
44.根据权利要求41所述的计算机可读媒体，其中所述装置为解码装置，其中所述指令致使所述装置：
在所述相似性量度大于第一阈值时，跳过所述当前视频帧的预测编码、后处理和显示；且
在所述相似性量度大于第二阈值且所述帧并非用于一个或一个以上其它帧的预测编码的参考帧时，跳过所述当前视频帧的预测解码、后处理和显示。
45.根据权利要求41所述的计算机可读媒体，其中所述装置为解码装置，且其中所述阈值为基于所述解码装置中的可用电池功率来调节的可调节阈值。
46.根据权利要求41所述的计算机可读媒体，其中所述指令致使所述装置：
确定所述视频序列的帧速率；且
仅当所述视频序列的所述帧速率超过帧速率阈值时才在所述相似性量度满足所述阈值的条件下跳过所述当前视频帧。
47.一种编码装置，其包含：
跳帧单元，其产生相似性量度，所述相似性量度量化视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据；以及
通信单元，其在所述相似性量度满足阈值的条件下跳过所述当前视频帧的发射。
48.根据权利要求47所述的编码装置，其中所述装置包含无线通信手持机。
49.一种解码装置，其包含：
通信单元，其接收视频序列的经压缩视频帧；以及
跳帧单元，其：
产生相似性量度，所述相似性量度量化所述视频序列的当前视频帧与邻近帧之间的相似性，其中所述相似性量度基于压缩域内指示所述当前帧与所述邻近帧之间的差异的数据，且
在所述相似性量度满足阈值的条件下致使所述装置跳过所述当前视频帧。
50.根据权利要求49所述的解码装置，其中所述装置包含无线通信手持机。
CN2009801298265A 2008-07-29 2009-07-29 在视频译码中基于压缩域中相似性量度的智能型跳帧 Pending CN102113329A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US8453408P 2008-07-29 2008-07-29
US61/084,534 2008-07-29
US12/248,825 US20100027663A1 (en) 2008-07-29 2008-10-09 Intellegent frame skipping in video coding based on similarity metric in compressed domain
US12/248,825 2008-10-09
PCT/US2009/052165 WO2010014759A2 (en) 2008-07-29 2009-07-29 Intelligent frame skipping in video coding based on similarity metric in compressed domain

Publications (1)

Publication Number Publication Date
CN102113329A true CN102113329A (zh) 2011-06-29

Family

ID=41608337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801298265A Pending CN102113329A (zh) 2008-07-29 2009-07-29 在视频译码中基于压缩域中相似性量度的智能型跳帧

Country Status (7)

Country Link
US (1) US20100027663A1 (zh)
EP (1) EP2321971A2 (zh)
JP (1) JP2011530221A (zh)
KR (1) KR20110045026A (zh)
CN (1) CN102113329A (zh)
TW (1) TW201029475A (zh)
WO (1) WO2010014759A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636212A (zh) * 2011-07-01 2014-03-12 苹果公司 基于帧相似性和视觉质量以及兴趣的帧编码选择
CN105284102A (zh) * 2013-06-14 2016-01-27 高通股份有限公司 计算机视觉应用处理
CN105323592A (zh) * 2014-07-11 2016-02-10 中兴通讯股份有限公司 一种码率控制方法及装置
CN106851282A (zh) * 2017-02-15 2017-06-13 福建时迅信息科技有限公司 一种vdi协议中减少视频图像编码数据量的方法和系统
CN112616081A (zh) * 2017-03-31 2021-04-06 格雷斯诺特公司 具有运动视频的音乐服务
CN113301332A (zh) * 2021-04-12 2021-08-24 阿里巴巴新加坡控股有限公司 视频解码方法、系统和介质
CN114430488A (zh) * 2022-04-01 2022-05-03 深圳市华曦达科技股份有限公司 一种视频编码和视频解码的方法及装置
CN116761036A (zh) * 2023-08-21 2023-09-15 北京中关村科金技术有限公司 视频编码方法及装置、电子设备、计算机可读存储介质

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254449B2 (en) * 2008-08-29 2012-08-28 Georgia Tech Research Corporation Video traffic bandwidth prediction
US8254445B2 (en) * 2009-08-06 2012-08-28 Georgia Tech Research Corporation Video transmission using video quality metrics
US8400918B2 (en) * 2009-08-06 2013-03-19 Georgia Tech Research Corporation Video traffic smoothing
US8848799B2 (en) * 2009-09-02 2014-09-30 Sony Computer Entertainment Inc. Utilizing thresholds and early termination to achieve fast motion estimation in a video encoder
US9877033B2 (en) * 2009-12-21 2018-01-23 Qualcomm Incorporated Temporal and spatial video block reordering in a decoder to improve cache hits
TWI421682B (zh) * 2010-03-08 2014-01-01 Novatek Microelectronics Corp 記憶體控制系統及方法
TWI491262B (zh) * 2010-09-14 2015-07-01 Alpha Imaging Technology Corp 影像編碼積體電路及其影像編碼資料傳輸方法
US10104391B2 (en) 2010-10-01 2018-10-16 Dolby International Ab System for nested entropy encoding
US20120082228A1 (en) * 2010-10-01 2012-04-05 Yeping Su Nested entropy encoding
US8966036B1 (en) * 2010-11-24 2015-02-24 Google Inc. Method and system for website user account management based on event transition matrixes
EP2660754A4 (en) * 2010-12-27 2018-01-17 Hanwang Technology Co., Ltd. Device and method for scanning and recognizing
JP2012165071A (ja) * 2011-02-03 2012-08-30 Sony Corp 撮像装置、受信装置、映像送信システムおよび映像送信方法
WO2012121744A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc Adaptive picture rotation
CA2829290C (en) 2011-03-10 2017-10-17 Vidyo, Inc. Render-orientation information in video bitstream
JP5812634B2 (ja) * 2011-03-17 2015-11-17 キヤノン株式会社 送信装置及び送信方法、並びにプログラム
US9826238B2 (en) 2011-06-30 2017-11-21 Qualcomm Incorporated Signaling syntax elements for transform coefficients for sub-sets of a leaf-level coding unit
US8787454B1 (en) 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
CN108063943B (zh) * 2011-10-17 2021-11-02 株式会社Kt 用解码装置对待解码的具有当前块的视频信号解码的方法
FR2982447A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
JPWO2014057555A1 (ja) * 2012-10-10 2016-08-25 富士通株式会社 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法
US10095663B2 (en) 2012-11-14 2018-10-09 Amazon Technologies, Inc. Delivery and display of page previews during page retrieval events
US9558043B2 (en) * 2013-01-25 2017-01-31 Cisco Technology Inc. System and method for abstracting and orchestrating mobile data networks in a network environment
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US9578333B2 (en) 2013-03-15 2017-02-21 Qualcomm Incorporated Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames
US9712634B2 (en) 2013-03-15 2017-07-18 Cisco Technology, Inc. Orchestrating mobile data networks in a network environment
US8979398B2 (en) 2013-04-16 2015-03-17 Microsoft Technology Licensing, Llc Wearable camera
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
US10154265B2 (en) * 2013-06-21 2018-12-11 Nvidia Corporation Graphics server and method for streaming rendered content via a remote graphics processing service
US9270709B2 (en) 2013-07-05 2016-02-23 Cisco Technology, Inc. Integrated signaling between mobile data networks and enterprise networks
US10863387B2 (en) 2013-10-02 2020-12-08 Cisco Technology, Inc. System and method for orchestrating policy in a mobile environment
US9414215B2 (en) 2013-10-04 2016-08-09 Cisco Technology, Inc. System and method for orchestrating mobile data networks in a machine-to-machine environment
CN104618662B (zh) * 2013-11-05 2019-03-15 富泰华工业（深圳）有限公司 视频播放系统及方法
GB2525208B (en) * 2014-04-15 2020-04-08 Advanced Risc Mach Ltd Method of and apparatus for generating an encoded frame
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9723377B2 (en) 2014-04-28 2017-08-01 Comcast Cable Communications, Llc Video management
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US9503644B2 (en) 2014-05-22 2016-11-22 Microsoft Technology Licensing, Llc Using image properties for processing and editing of multiple resolution images
US11169666B1 (en) 2014-05-22 2021-11-09 Amazon Technologies, Inc. Distributed content browsing system using transferred hardware-independent graphics commands
US11184580B2 (en) 2014-05-22 2021-11-23 Microsoft Technology Licensing, Llc Automatically curating video to fit display time
US9451178B2 (en) 2014-05-22 2016-09-20 Microsoft Technology Licensing, Llc Automatic insertion of video into a photo story
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9454515B1 (en) 2014-06-17 2016-09-27 Amazon Technologies, Inc. Content browser system using graphics commands and native text intelligence
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
US9672626B2 (en) * 2014-12-08 2017-06-06 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for generating adaptive fast forward of egocentric videos
KR102372026B1 (ko) * 2015-05-29 2022-03-11 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 전자 시스템
KR20170007665A (ko) * 2015-07-10 2017-01-19 삼성전자주식회사 스킵 모드 정보를 이용한 레이트 조절 인코딩 방법 및 그에 따른 인코딩 장치
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
KR102602690B1 (ko) * 2015-10-08 2023-11-16 한국전자통신연구원 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
TWI605705B (zh) * 2015-11-30 2017-11-11 晨星半導體股份有限公司 位元流解碼方法與位元流解碼電路
DE102015121148A1 (de) 2015-12-04 2017-06-08 Technische Universität München Reduzieren der Übertragungszeit von Bildern
US10368074B2 (en) 2016-03-18 2019-07-30 Microsoft Technology Licensing, Llc Opportunistic frame dropping for variable-frame-rate encoding
US20180213150A1 (en) * 2017-01-24 2018-07-26 Qualcomm Incorporated Adaptive buffering rate technology for zero shutter lag (zsl) camera-inclusive devices
CN110113600B (zh) * 2018-02-01 2022-08-26 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机可读存储介质和计算机设备
US20190379926A1 (en) * 2018-06-06 2019-12-12 Microsoft Technology Licensing, Llc Method of optimizing media used to display moving images
CA3070812A1 (en) * 2019-03-13 2020-09-13 Alexander GILADI Method and apparatus for content-adaptive frame duration extension
US11259035B2 (en) * 2019-03-15 2022-02-22 Ati Technologies Ulc Macroblock coding type prediction
CN110113610B (zh) * 2019-04-23 2021-04-20 西安万像电子科技有限公司 数据传输方法及装置
US10997731B2 (en) * 2019-06-14 2021-05-04 Rockwell Collins, Inc. Motion vector vision system integrity monitor
CN112819021B (zh) * 2019-11-15 2024-05-07 北京地平线机器人技术研发有限公司 图像检测方法及装置、电子设备和存储介质
US10923158B1 (en) 2019-11-25 2021-02-16 International Business Machines Corporation Dynamic sequential image processing
US11570477B2 (en) * 2019-12-31 2023-01-31 Alibaba Group Holding Limited Data preprocessing and data augmentation in frequency domain
US11741712B2 (en) 2020-09-28 2023-08-29 Nec Corporation Multi-hop transformer for spatio-temporal reasoning and localization
CN113691756A (zh) * 2021-07-15 2021-11-23 维沃移动通信（杭州）有限公司 视频播放方法、装置及电子设备
CN115499707B (zh) * 2022-09-22 2024-08-06 上海联屏文化科技有限公司 视频相似度的确定方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530477A (en) * 1994-04-29 1996-06-25 Intel Corporation Method and apparatus for selectively omitting video frames during playback
US6549948B1 (en) * 1994-10-18 2003-04-15 Canon Kabushiki Kaisha Variable frame rate adjustment in a video system
US5903313A (en) * 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus
US5883977A (en) * 1996-12-30 1999-03-16 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a video signal of a contour of an object
US6396956B1 (en) * 1998-03-31 2002-05-28 Sharp Laboratories Of America, Inc. Method and apparatus for selecting image data to skip when encoding digital video
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
US6452610B1 (en) * 1998-12-16 2002-09-17 Intel Corporation Method and apparatus for displaying graphics based on frame selection indicators
JP4140202B2 (ja) * 2001-02-28 2008-08-27 三菱電機株式会社 移動物体検出装置
US7017053B2 (en) * 2002-01-04 2006-03-21 Ati Technologies, Inc. System for reduced power consumption by monitoring video content and method thereof
US7630569B2 (en) * 2002-02-26 2009-12-08 Decegama Angel Real-time software video/audio transmission and display with content protection against camcorder piracy
US7483487B2 (en) * 2002-04-11 2009-01-27 Microsoft Corporation Streaming methods and systems
US6710578B1 (en) * 2002-08-27 2004-03-23 Motorola, Inc. Power resource management in a portable communication device
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7483484B2 (en) * 2003-10-09 2009-01-27 Samsung Electronics Co., Ltd. Apparatus and method for detecting opaque logos within digital video signals
KR100597402B1 (ko) * 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
WO2005065030A2 (en) * 2004-01-08 2005-07-21 Videocodes, Inc. Video compression device and a method for compressing video
KR100621581B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 기초 계층을 포함하는 비트스트림을 프리디코딩,디코딩하는 방법, 및 장치
US7596143B2 (en) * 2004-12-16 2009-09-29 Alcatel-Lucent Usa Inc. Method and apparatus for handling potentially corrupt frames
US9025673B2 (en) * 2006-04-05 2015-05-05 Qualcomm Incorporated Temporal quality metric for video coding
US8582660B2 (en) * 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
KR100819404B1 (ko) * 2006-10-27 2008-04-04 삼성전자주식회사 휴대용 단말기에서 부화면 디코딩 방법 및 장치
KR100800815B1 (ko) * 2006-11-21 2008-02-01 삼성전자주식회사 디지털 방송을 수신하는 이동 단말기 및 방법
US7387228B2 (en) * 2006-11-22 2008-06-17 Apach Industrial Co., Ltd. Magazine with positioning device for nail gun
US20090097546A1 (en) * 2007-10-10 2009-04-16 Chang-Hyun Lee System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636212A (zh) * 2011-07-01 2014-03-12 苹果公司 基于帧相似性和视觉质量以及兴趣的帧编码选择
US9723315B2 (en) 2011-07-01 2017-08-01 Apple Inc. Frame encoding selection based on frame similarities and visual quality and interests
CN103636212B (zh) * 2011-07-01 2017-10-31 苹果公司 基于帧相似性和视觉质量以及兴趣的帧编码选择
CN105284102A (zh) * 2013-06-14 2016-01-27 高通股份有限公司 计算机视觉应用处理
CN105284102B (zh) * 2013-06-14 2018-07-13 高通股份有限公司 计算机视觉应用处理
CN105323592A (zh) * 2014-07-11 2016-02-10 中兴通讯股份有限公司 一种码率控制方法及装置
CN106851282A (zh) * 2017-02-15 2017-06-13 福建时迅信息科技有限公司 一种vdi协议中减少视频图像编码数据量的方法和系统
CN112616081A (zh) * 2017-03-31 2021-04-06 格雷斯诺特公司 具有运动视频的音乐服务
CN113301332A (zh) * 2021-04-12 2021-08-24 阿里巴巴新加坡控股有限公司 视频解码方法、系统和介质
CN114430488A (zh) * 2022-04-01 2022-05-03 深圳市华曦达科技股份有限公司 一种视频编码和视频解码的方法及装置
CN116761036A (zh) * 2023-08-21 2023-09-15 北京中关村科金技术有限公司 视频编码方法及装置、电子设备、计算机可读存储介质
CN116761036B (zh) * 2023-08-21 2023-11-14 北京中关村科金技术有限公司 视频编码方法及装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
KR20110045026A (ko) 2011-05-03
EP2321971A2 (en) 2011-05-18
JP2011530221A (ja) 2011-12-15
WO2010014759A3 (en) 2010-05-20
WO2010014759A2 (en) 2010-02-04
TW201029475A (en) 2010-08-01
US20100027663A1 (en) 2010-02-04

Similar Documents

Publication Publication Date Title
CN102113329A (zh) 在视频译码中基于压缩域中相似性量度的智能型跳帧
JP6800896B2 (ja) ビデオコーディングのためにハイダイナミックレンジおよび広色域ビデオデータを処理すること
CN105379284B (zh) 动态图像编码装置及其动作方法
CN102172027B (zh) 有效率的预测模式选择
KR101455578B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치
JP4927207B2 (ja) 符号化方法、復号化方法及び装置
US20090141808A1 (en) System and methods for improved video decoding
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
US20140254660A1 (en) Video encoder, method of detecting scene change and method of controlling video encoder
CN100542288C (zh) 色度去块的方法
JP4501631B2 (ja) 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末
CN101185335B (zh) 高效视频解码加速器
KR20060109290A (ko) 화상 복호 장치 및 화상 복호 방법과 화상 복호 프로그램
CN100555332C (zh) 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置
JP2023090864A (ja) エンコーダ、デコーダ、及びデブロッキングフィルタの境界強度導出の対応する方法
KR102321895B1 (ko) 디지털 비디오의 디코딩 장치
JP2004241957A (ja) 画像処理装置および符号化装置とそれらの方法
JP2008219205A (ja) 画像情報符号化装置及び画像情報符号化方法
CN101742323B (zh) 无再损视频编码和解码的方法和装置
JP2008244993A (ja) トランスコーディングのための装置および方法
JP2008289105A (ja) 画像処理装置およびそれを搭載した撮像装置
CN102316321A (zh) 利用非语法重用的视频编码器及其使用的方法
JP2004040494A (ja) 画像情報変換方法及び画像情報変換装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110629