CN102792689A - 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器 - Google Patents

能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器 Download PDF

Info

Publication number
CN102792689A
CN102792689A CN2011800118506A CN201180011850A CN102792689A CN 102792689 A CN102792689 A CN 102792689A CN 2011800118506 A CN2011800118506 A CN 2011800118506A CN 201180011850 A CN201180011850 A CN 201180011850A CN 102792689 A CN102792689 A CN 102792689A
Authority
CN
China
Prior art keywords
macro block
frame buffer
data
upgraded
upgrades
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800118506A
Other languages
English (en)
Other versions
CN102792689B (zh
Inventor
V·R·拉韦恩德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102792689A publication Critical patent/CN102792689A/zh
Application granted granted Critical
Publication of CN102792689B publication Critical patent/CN102792689B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

可以通过以减少或者避免压缩过程的运动估计的方式对用于无线传输的视频数据进行处理来实现增量压缩。可以在合成引擎处捕获视频数据和相应的元数据。可以从数据和元数据中创建帧缓冲器更新。帧缓冲器更新可以包括与包括像素数据和头部信息的视频宏块相关的数据。帧缓冲器更新可以包括用于重新创建视频图像的像素参考数据、运动矢量、宏块类型、以及其它数据。可以将宏块数据和头部信息转换成压缩算法（诸如MPEG-2）可识别的格式，然后进行编码并进行无线发送。

Description

能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器
相关申请的交叉引用
本申请要求于2010年3月2日以V.RAVEENDRAN的名义提交的美国临时专利申请No.61/309,765的权益，故明确地通过引用的方式将其公开内容作为整体并入本文。
技术领域
概括地说，本公开内容涉及数据压缩。更具体地说，本公开内容涉及减少在视频信号的无线传输之前执行的数据压缩期间的运动估计。
背景技术
期望向电视（TV）和其它监视器无线地递送内容。作为一个例子，在一些实例中，可能期望将从用户设备所递送的内容在TV设备上输出。例如，与许多TV设备输出能力相比，诸如移动电话、个人数字助理（PDA）、媒体播放器设备（例如，APPLE IPOD设备、其它MP3播放器设备等）、膝上型计算机、笔记本计算机等许多便携式用户设备具有的有限的/受约束的输出能力，诸如较小的显示器大小等。例如，如果递送视频内容以在TV设备上输出，则期望在便携式用户设备上观看视频的用户就可以获得改善的视听体验。因此，在一些实例中，为了改善在接收（观看和/或收听）内容时的视听体验，用户可以期望从用户设备递送内容以便在电视设备（例如，HDTV设备）上输出。
发明内容
提供了一种用于对帧缓冲器更新进行编码的方法。该方法包括存储帧缓冲器更新。该方法还包括将帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计。
提供了一种用于对帧缓冲器更新进行编码的装置。该装置包括用于存储帧缓冲器更新的模块。该装置还包括用于将帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计的模块。
提供了一种用于对帧缓冲器更新进行编码的计算机程序产品。该计算机程序产品包括具有记录在其上的程序代码的计算机可读介质。所述程序代码包括用于存储帧缓冲器更新的程序代码。所述程序代码还包括用于将帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计的程序代码。
提供了一种可操作用于对帧缓冲器更新进行编码的装置。该装置包括处理器和耦合到该处理器的存储器。所述处理器配置为存储帧缓冲器更新。所述处理器还配置为将帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计。
附图说明
为了对本公开内容更加完整的理解，现在结合附图参考下面的描述。
图1是示出用于处理和发送多媒体数据的组件的框图；
图2表示示出根据本公开内容的一个方面的增量压缩的框图；
图3是示出准备用于无线传输的宏块数据和头部信息的框图；
图4示出了用于静态宏块的采样宏块头部；
图5示出了根据本公开内容的一个方面的增量压缩。
具体实施方式
本文中使用词语“示例性”意味着“作为例子、实例或例证”。本文描述的作为“示例性”的任何方面不必被解释为优选的或优于其它方面。
可以利用多种方法来无线地发送视频数据。一种方法可以利用通过如图1中所示的Express卡接口连接到内容主机的无线通信设备。如所示出的，主机100通过Express卡接口连接到Express卡150。主机100可以利用多个处理组件来处理多媒体数据以便输出到主显示器102和音频输出104，或者主机可以处理多媒体数据以便通过缓冲器输出到发射机（图1中表示为外部设备，诸如Express卡150），该发射机可以对数据进行进一步处理以便最终通过天线152进行无线传输。图1中所示的逻辑和硬件仅是为了说明性的目的。可以使用主机、外部设备等的其它配置来实现下面描述的方法和教导。
通常，当处理视频数据时，由显示处理器106来渲染和合成图像数据，并且典型地以像素数据的形式发送到帧缓冲器108。然后，将该数据输出到主显示器102。在某些情况下，输出的视频数据可以来自单个源（诸如观看电影），在其它情况下（诸如玩视频游戏或者操作具有多个应用的设备），可以将包括图形覆盖对象或者发音器的多个图形输入组合和/或覆盖在视频图像上，以便创建最终在显示器上显示的复合视频帧。在对多个视频分量进行组合的情况下，负责生成这些视频分量的每个媒体处理器可以具有其自己的输出语言，输出语言用于将视频信息（诸如帧更新信息）传送到合成引擎，合成引擎用于对来自各个输入/媒体处理器的数据进行组合。合成引擎将获得来自各个处理器的输入（包括视频数据、图形对象等）的组合，根据需要对其进行覆盖和组合，将它们合成为单个图像（其可以包括诸如适当的颜色合成之类的额外处理等），并且将它们组合成最终将在显示器上显示的图像。
来自各个处理器的输入可以是不同的语言、不同的形式、并且可以具有不同的属性。例如，来自一个设备的输入可以以与另一输入不同的帧更新速率提供视频数据。作为另一个例子，一个设备可以反复提供新的像素信息，而另一个设备可以仅提供以像素更新形式的视频数据，像素更新指示从特定的参考像素的变化。某些处理器还可以仅在帧的不同区域或者合成在一起以创建帧的不同类型的数据上进行操作。通过合成引擎将来自不同处理器的各个输入转换成模式信息，并且将来自各个处理器的输入变换成像素数据以创建帧。在由合成引擎进行处理之后，帧信息将被发送到帧缓冲器108以进行最终显示。
用于视频数据的无线传输的常见方法仅是从帧缓冲器108捕获准备显示的数据、对视频数据进行编码/压缩以易于传输、并且随后发送视频数据。可以由诸如显示器连接驱动器110之类的组件进行这些操作。
视频数据压缩的一种常见方法是MPEG-2，出于示例性目的在本文中对其进行讨论，但是还可以使用诸如MPEG-4之类的其它压缩标准。数据压缩的使用可能采用额外的处理器和存储器容量，可能更耗时并且更耗功率，并且可能导致最终传输中的延迟。延迟可能起因于在可以使用第一帧作为参考对下一帧进行解码之前对第一帧进行完全解码的压缩过程。
用于减少这些延迟的一种方法是将多个后续帧的视频数据处理为与参考帧的递增变化。在该方法中，将更新或变化信息（称为差值（Δ）信息或者显示帧更新）发送到显示处理器以便在最终的显示器上进行呈现（相对于参考帧）。该增量信息可以是运动估计的形式（例如，包括运动矢量）或者其它数据。在压缩期间计算这种增量信息时可以利用额外的处理功率。
在本公开内容的一个方面，可以避免在压缩期间确定增量信息，和/或可以减少或者避免专用于该确定的处理功率。各种媒体处理器（诸如上述所讨论的那些将信息输出到压缩引擎的处理器）可能已经以一种方式计算了增量信息，使得可以捕获该增量信息并且可以在压缩期间不需要重新计算。通过查看进入合成引擎的输入，可获得更多与每个像素所发生的相关的原始信息。可以将该信息转换为模式信息，编码器将针对每个像素组（称为宏块或者MB）输出该模式信息。然后，可以对以可由压缩技术（例如，MPEG-2）理解的格式的宏块的数据和该宏块的头部信息（其可以包括运动信息）进行编码，并且将其组合成压缩比特流以用于无线传输。在这种方式中，可以减少在传统压缩期间对运动估计的处理和对增量信息的计算。
图2表示示出了根据本公开内容的一个方面的增量压缩的框图。可以由解码器208对来自视频源206的视频数据进行解码，并且发送到显示处理器212。视频数据从显示处理器212输出到帧缓冲器214，以便最终递送给设备上的嵌入式显示器216或者不同的显示器（未示出）。来自音频处理器218的数据被输出到音频缓冲器220，以便最终递送给扬声器224。显示处理器212还可以接收来自GPU 210的图像数据。GPU 210可以生成各种图形、图标、图像或者可以与视频数据组合或者覆盖在视频数据上的其它图形数据。
应用202可以与合成引擎/显示驱动器204进行通信。在一个例子中，引擎/显示驱动器204可以是如图1中所示的显示器连接驱动器110。引擎204命令显示处理器212接收来自GPU 210、解码器208、和/或其它源的信息，以便进行组合并输出到帧缓冲器214。如上所述，在典型的无线传输系统中，帧缓冲器中所包含的是输出到A/V编码器并且在传输之前进行复用的最终图像。
然而，在本公开内容中，使用来自引擎204的信息而不是帧缓冲器中的数据来创建无线输出流。引擎知道来自视频源206、GPU 210等的数据。引擎还意识到去往与生成对帧缓冲器的更新相关联的显示处理器212的命令。这些命令包括关于视频显示数据的部分更新的信息。这些命令还包括来自GPU 210的图形覆盖信息。引擎204习惯上将使用对其已知的各种数据来生成要发送到帧缓冲器的帧缓冲器更新。
根据本公开内容的一个方面，诸如引擎204或者引擎204的扩展250之类的设备组件可以如本文所描述地对帧缓冲器更新进行编码。帧缓冲器更新可以存储在寄存器252中，并且可以包含元数据。元数据可以包括处理器指令。帧缓冲器更新可以包括像素信息。帧缓冲器更新可以是针对帧速率和/或刷新速率的。帧缓冲器更新可以包括与绝对像素、像素差异、周期性和/或时序有关的数据。组件可以执行混合压缩，其中包括运动估计元数据的修正和存储器管理功能。混合压缩可以是基于块的。可以将帧缓冲器更新分割成MB数据和MB头部。
从引擎204捕获主要像素信息226和增量/周期时序信息228。还可以捕获元数据。可以针对某些宏块（MB）聚集信息。像素数据226可以包括索引（例如（1,1）），其指示表示其数据的像素的位置。从参考像素（诸如（1,1））中，稍后像素（例如（1,2））的数据可以仅包括增量信息，其指示稍后像素和先前的参考像素之间的差异。
从引擎204捕获的数据可以是旨在去往主显示器的数据，或者其可以旨在去往辅显示器（例如，旨在单独地用于远程显示器的视频数据）。使用所描述的技术，可以从任何媒体处理器捕获所期望的像素数据，然后将其转换为压缩信息并且进行发送，而无需在压缩期间执行传统的运动估计。
在某些情况下，从一个宏块到下一个宏块可能不存在变化。当宏块未与其各自的参考宏块不同时，将其称为静态宏块。如方框230中所示，可以由引擎204捕获宏块是静态的指示。可以将MB数据转换为由压缩格式（例如，MPEG-2）识别的格式，并且输出为MB数据234以用于传输。可以将包括时序数据、类型（诸如静态宏块（跳过（skip））、帧内（I）、预测（P或者B））增量信息等的关于宏块232的进一步的信息转换成由压缩格式（例如，MPEG-2）识别的格式，并且包括为MB头部信息236以用于传输。头部信息是有效运动信息，并且可以包括运动矢量238、MB模式240（例如，预测模式（P、B）等）、或者MB类型242（例如，新帧）。
图3示出了准备用于传输的MB信息。在被包括在用于无线传输的输出MPEG-2比特流中之前，对MB数据234（其包括像素数据）进行变换和编码。在被包括在MPEG-2比特流中之前，通过熵编码对MB头部236进行处理。
图4示出了静态块的样本MB头部。在图4中，MB 1,1是帧中的第一个宏块。所示的头部包括MB ID（1,1）、MB类型（跳过）、运动矢量（当MB为静态时，表示为（0,0）），并且将参考图片示为0。
在上面参照图2和3所描述的过程中，减少或者消除了在传输之前的传统压缩期间所执行的运动估计。典型地，不对在显示处理器212处可用的增量信息进行压缩。如上所述，若来自显示处理器212的期望的运动数据是期望用于传输的，增量信息可以转换/编码成可由压缩技术（例如，MPEG-2）理解的格式或者以其它方式进行处理。一旦转换，如上所述，增量信息可以结合参考帧使用。
因为运动估计可能在传统压缩的总复杂度的50-80%之间，所以移除运动估计导致改善的效率、减少的功耗、以及减少当无线发送视频数据时的延迟。
例如，在定制硬件（诸如专用集成电路（ASIC））中的MPEG-2编码可以消耗100mW用于在720p分辨率的HD编码（对于1080p甚至更高）。本文针对MPEG-2压缩描述的技术可以通过减小与输入视频中的熵成比例的压缩周期/复杂度来显著减小该数字。具体地说，本文描述的技术利用了大量不需要更新的视频帧。
如下所述，即使利用传统上被认为具有许多运动的视频，在逐帧基础上也存在足够大百分比的静态MB（定义为如在对等宏块、零残差、作为参考的前一个图片中没有运动矢量）：
表1静态MB在视频中的比例
  内容   静态MB的%   具有>80%的静态MB
  的帧的%
 ESPN新闻   85.04%   91.43%
 天气   83.21%   79.29%
 CNN新闻   88.59%   92.14%
 Bloomberg新闻   84.61%   85.71%
 动画片   87.79%   90.71%
 MTV   55.08%   2.14%
 HBO   36.73%   0.71%
 音乐视频   16.25%   0.00%
 棒球   35.69%   0.00%
 足球   33.50%   0.00%
 平均   60.65%
表1示出了对从卫星上的数字TV捕获的30个不同的十分钟序列的采样得出的数据。从采样的节目中，平均60%的视频包含不需要在显示器上更新的静态宏块。表1的第三列还示出了，在新闻和动画片类型的视频中，超过80%的时间中，超过80%的帧不需要更新。使得编码器能够仅处理更新或者一部分帧而不是整个帧可以导致显著节电。有些时候这可以开始时完成（例如，当多于80%的帧包含MB时）。
相当大百分比的视频内容落入新闻或者动画片分类内（即，低运动、低纹理）：
表2基于运动和纹理的视频分类
  内容类型   样本集合的比例
  低运动、低纹理   47%
  中运动、中纹理   17%
  高运动、高纹理   36%
在视频中应用适当的冗余以便最优化（或者减少）视频处理负载，并且机制的识别（例如，使用跳过（skip）或者静态信息）将促进低功率或者集成应用平台。
在传统的运动估计和压缩期间，取得大量数据并且进行处理，典型地在计算差值度量（绝对差值之和（SAD）或者平方差值之和（SSD））之前进行内插以便改善精度。针对可以是给定的块或者MB的预测器的所有候选重复该过程，直到获得所期望的匹配（最低的差值或者SAD）为止。从参考图片取得该数据的过程是耗时的，并且构成了处理延迟和计算功率的主要因素。典型地，对计算差值的算法进行手动编码以便减少所消耗的处理器循环的数目。然而，由于所要取得的数据可以在位置上很广泛（如果使用多个参考图片预测，最接近在多帧上的帧中的最远的MB），并且可以不与MB边界对齐，存储器寻址添加了额外的开销。另外，针对之前的MB取得的数据可能不合适于当前MB，其限制了对数据取得和存储器传送带宽的优化。
图5示出了根据本公开内容的一个方面的增量压缩。如在方框502中所示，存储帧缓存器更新。如在方框504中所示，将帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计。
在一个方面，一种装置包括用于存储帧缓冲器更新的模块，以及用于将帧缓冲器更新转换成混合压缩格式的运动信息的模块。设备还可以包括用于捕获用户输入命令的时间戳的模块，以及用于捕获从用户输入命令产生的相应的显示数据的模块。在一个方面，前述模块可以是显示驱动器110、引擎204、帧缓冲器108或214、寄存器252、引擎扩展250、解码器208、GPU 210、或者显示处理器106或212。
虽然已经对本公开内容及其优点进行了详细描述，但是应该理解的是，在不脱离由所附权利要求所定义的本公开内容的技术的前提下，在本文中可以进行各种变化、替换和变更。此外，本申请的范围并非旨在限于说明书中所描述的过程、机器、制品、事物的组合、手段、方法和步骤的特定方面。本领域的普通技术人员将从本公开内容中容易意识到的是，根据本公开内容，可以利用目前存在或者稍后将要开发的、执行与本文所描述的相应方面实质上相同的功能或者实现实质上相同结果的过程、机器、制品、事物的组合、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制品、事物的组合、手段、方法或者步骤包括在其范围内。

Claims (22)

1.一种用于对帧缓冲器更新进行编码的方法，所述方法包括：
存储帧缓冲器更新；以及
将所述帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计。
2.如权利要求1所述的方法，其中，所述帧缓冲器更新包括像素信息和元数据。
3.如权利要求2所述的方法，其中，所述元数据包括处理器指令。
4.如权利要求1所述的方法，其中，所述混合压缩格式是基于块的。
5.如权利要求4所述的方法，其中，所述帧缓冲器更新包含宏块头部和宏块数据。
6.如权利要求5所述的方法，其中，所述宏块头部包括宏块ID、宏块类型、运动矢量、以及参考图片中的至少一个。
7.如权利要求6所述的方法，其中，所述宏块类型包括宏块模式，并且所述宏块模式是静态宏块（跳过）、帧内（I）和预测（P或B）之一。
8.如权利要求5所述的方法，其中，所述宏块头部和宏块数据是以MPEG-2可识别格式。
9.如权利要求5所述的方法，其中，所述宏块数据包括像素差值数据和绝对像素数据。
10.如权利要求5所述的方法，其中，所述宏块头部包括周期性和时序数据。
11.一种用于对帧缓冲器更新进行编码的装置，所述装置包括：
用于存储帧缓冲器更新的模块；以及
用于将所述帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计的模块。
12.一种用于对帧缓冲器更新进行编码的计算机程序产品，所述计算机程序产品包括：
具有记录在其上的程序代码的计算机可读介质，所述程序代码包括：
用于存储帧缓冲器更新的程序代码；以及
用于将所述帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计的程序代码。
13.一种可操作以对帧缓冲器更新进行编码的装置，所述装置包括：
至少一个处理器；以及
耦合到所述至少一个处理器的存储器，所述至少一个处理器配置为：
存储帧缓冲器更新的工具；以及
将所述帧缓冲器更新转换成混合压缩格式的运动信息，从而回避运动估计。
14.如权利要求13所述的装置，其中，所述帧缓冲器更新包括像素信息和元数据。
15.如权利要求14所述的装置，其中，所述元数据包括处理器指令。
16.如权利要求13所述的装置，其中，所述混合压缩格式是基于块的。
17.如权利要求16所述的装置，其中，所述帧缓冲器更新包含宏块头部和宏块数据。
18.如权利要求17所述的装置，其中，所述宏块头部包括宏块ID、宏块类型、运动矢量、以及参考图片中的至少一个。
19.如权利要求18所述的装置，其中，所述宏块类型包括宏块模式，并且所述宏块模式是静态宏块（跳过）、帧内（I）和预测（P或B）之一。
20.如权利要求17所述的装置，其中，所述宏块头部和宏块数据是以MPEG-2可识别格式。
21.如权利要求17所述的装置，其中，所述宏块数据包括像素差值数据和绝对像素数据。
22.如权利要求17所述的装置，其中，所述宏块头部包括周期性和时序数据。
CN201180011850.6A 2010-03-02 2011-03-02 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器 Expired - Fee Related CN102792689B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US30976510P 2010-03-02 2010-03-02
US61/309,765 2010-03-02
US13/038,316 2011-03-01
US13/038,316 US20110216829A1 (en) 2010-03-02 2011-03-01 Enabling delta compression and modification of motion estimation and metadata for rendering images to a remote display
PCT/US2011/026920 WO2011109555A1 (en) 2010-03-02 2011-03-02 Enabling delta compression and modification of motion estimation and metadata for rendering images to a remote display

Publications (2)

Publication Number Publication Date
CN102792689A true CN102792689A (zh) 2012-11-21
CN102792689B CN102792689B (zh) 2015-11-25

Family

ID=44531326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180011850.6A Expired - Fee Related CN102792689B (zh) 2010-03-02 2011-03-02 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器

Country Status (6)

Country Link
US (1) US20110216829A1 (zh)
EP (1) EP2543193A1 (zh)
JP (1) JP5726919B2 (zh)
KR (1) KR101389820B1 (zh)
CN (1) CN102792689B (zh)
WO (1) WO2011109555A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US8667144B2 (en) 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
KR102132588B1 (ko) * 2010-09-10 2020-07-10 가부시키가이샤 한도오따이 에네루기 켄큐쇼 발광 소자 및 전자기기
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US20130013318A1 (en) 2011-01-21 2013-01-10 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
WO2012108881A1 (en) * 2011-02-11 2012-08-16 Universal Display Corporation Organic light emitting device and materials for use in same
CN102710935A (zh) * 2011-11-28 2012-10-03 杭州华银教育多媒体科技股份有限公司 计算机与移动设备间通过增量混合压缩编码进行屏幕传输的方法
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US20150201193A1 (en) * 2012-01-10 2015-07-16 Google Inc. Encoding and decoding techniques for remote screen sharing of media content using video source and display parameters
WO2013158125A1 (en) * 2012-04-20 2013-10-24 Intel Corporation Performance and bandwidth efficient fractional motion estimation
CN103577456B (zh) 2012-07-31 2016-12-21 国际商业机器公司 用于处理时序数据的方法和装置
US9899007B2 (en) 2012-12-28 2018-02-20 Think Silicon Sa Adaptive lossy framebuffer compression with controllable error rate
GB2516007B (en) 2013-06-28 2018-05-09 Displaylink Uk Ltd Efficient encoding of display data
US9854258B2 (en) * 2014-01-06 2017-12-26 Disney Enterprises, Inc. Video quality through compression-aware graphics layout
BR112018009422A8 (pt) 2015-11-09 2019-02-26 Thomson Licensing método e dispositivo para adaptar o conteúdo de vídeo decodificado às características de um display a partir de fluxos elementares
CN116320432A (zh) 2017-06-20 2023-06-23 微软技术许可有限责任公司 实时屏幕共享
CN208298174U (zh) * 2018-03-19 2018-12-28 广州视源电子科技股份有限公司 一种无线传屏器

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445679B1 (en) * 1998-05-29 2002-09-03 Digital Vision Laboratories Corporation Stream communication system and stream transfer control method
JP2002344973A (ja) * 2001-05-21 2002-11-29 Victor Co Of Japan Ltd 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置
US20030009722A1 (en) * 2000-11-29 2003-01-09 Akira Sugiyama Stream processing apparatus
CN1412720A (zh) * 2002-10-28 2003-04-23 威盛电子股份有限公司 数据压缩方法与影像数据压缩装置
US20060069797A1 (en) * 2004-09-10 2006-03-30 Microsoft Corporation Systems and methods for multimedia remoting over terminal server connections
CN1764281A (zh) * 2005-10-10 2006-04-26 重庆大学 基于压缩传输数据的多个显示器动态视频显示方法
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
CN101146222A (zh) * 2006-09-15 2008-03-19 中国航空无线电电子研究所 视频系统的运动估计内核
US20080247467A1 (en) * 2007-01-09 2008-10-09 Nokia Corporation Adaptive interpolation filters for video coding
CN101300781A (zh) * 2005-10-06 2008-11-05 株式会社Egc&C 控制运动图像数据在网络上的传输的系统和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519286B1 (en) * 1998-04-22 2003-02-11 Ati Technologies, Inc. Method and apparatus for decoding a stream of data
JP2002171524A (ja) * 2000-11-29 2002-06-14 Sony Corp データ処理装置および方法
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
JP2008507915A (ja) * 2004-07-20 2008-03-13 クゥアルコム・インコーポレイテッド 映像圧縮のための符号器補助式フレーム速度アップコンバージョンのための方法及び装置
US8085846B2 (en) * 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
US20060059510A1 (en) * 2004-09-13 2006-03-16 Huang Jau H System and method for embedding scene change information in a video bitstream
US7646812B2 (en) * 2005-04-01 2010-01-12 Microsoft Corporation Special predictive picture encoding using color key in source content
US8118676B2 (en) * 2005-07-08 2012-02-21 Activevideo Networks, Inc. Video game system using pre-encoded macro-blocks
GB2431796A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Interpolation using phase correction and motion vectors
US20070285500A1 (en) * 2006-04-21 2007-12-13 Dilithium Holdings, Inc. Method and Apparatus for Video Mixing
WO2008060125A1 (en) * 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
US20100104015A1 (en) * 2008-10-24 2010-04-29 Chanchal Chatterjee Method and apparatus for transrating compressed digital video

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445679B1 (en) * 1998-05-29 2002-09-03 Digital Vision Laboratories Corporation Stream communication system and stream transfer control method
US20030009722A1 (en) * 2000-11-29 2003-01-09 Akira Sugiyama Stream processing apparatus
JP2002344973A (ja) * 2001-05-21 2002-11-29 Victor Co Of Japan Ltd 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置
CN1412720A (zh) * 2002-10-28 2003-04-23 威盛电子股份有限公司 数据压缩方法与影像数据压缩装置
US20060069797A1 (en) * 2004-09-10 2006-03-30 Microsoft Corporation Systems and methods for multimedia remoting over terminal server connections
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
CN101300781A (zh) * 2005-10-06 2008-11-05 株式会社Egc&C 控制运动图像数据在网络上的传输的系统和方法
CN1764281A (zh) * 2005-10-10 2006-04-26 重庆大学 基于压缩传输数据的多个显示器动态视频显示方法
CN101146222A (zh) * 2006-09-15 2008-03-19 中国航空无线电电子研究所 视频系统的运动估计内核
US20080247467A1 (en) * 2007-01-09 2008-10-09 Nokia Corporation Adaptive interpolation filters for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WIEGAND,T.等: "Overview of the H.264/AVC video coding standard", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Also Published As

Publication number Publication date
CN102792689B (zh) 2015-11-25
US20110216829A1 (en) 2011-09-08
KR20120138239A (ko) 2012-12-24
WO2011109555A1 (en) 2011-09-09
EP2543193A1 (en) 2013-01-09
KR101389820B1 (ko) 2014-04-29
JP5726919B2 (ja) 2015-06-03
JP2013521717A (ja) 2013-06-10

Similar Documents

Publication Publication Date Title
CN102792689A (zh) 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器
CN101159837B (zh) 帧率转换系统、方法以及发射器和接收器
US7953284B2 (en) Selective information handling for video processing
US8369411B2 (en) Intra-macroblock video processing
CN101529917B (zh) 用信号通知逆离散余弦变换的最大动态范围
US20070230586A1 (en) Encoding, decoding and transcoding of audio/video signals using combined parallel and serial processing techniques
CN105474642B (zh) 使用频域差对图像集合重新编码的方法、系统以及介质
JP2016502332A (ja) 次世代動画用コンテンツに適応的な特性補償済み予測
KR101266667B1 (ko) 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템
JP2010515397A (ja) ビデオハードウェアにおける画像圧縮のためのアーキテクチャ
CN103945223A (zh) 具有帧缓冲压缩的视频处理器及其使用方法
CN103918265A (zh) 跨通道残余预测
US20160269729A1 (en) Coding structure
CN101094412A (zh) 视频信号编码系统和方法以及视频输出和信号转换装置
CN103986934A (zh) 具有对压缩帧缓冲区的随机访问的视频处理器及其方法
CN101663895B (zh) 使用所估计译码成本的视频译码模式选择
CN115866356A (zh) 一种视频的水印添加方法、装置、设备及存储介质
EP1875738A1 (en) Efficient video decoding accelerator
CN101883276B (zh) 软硬件联合解码的多格式高清视频解码器结构
CN102055970A (zh) 多重标准视频解码系统
Pescador et al. On an implementation of HEVC video decoders with DSP technology
Nakamura et al. Low delay 4K 120fps HEVC decoder with parallel processing architecture
US20090074054A1 (en) Resolution-converting apparatus, resolution-converting method and previewing apparatus
US20110249719A1 (en) Video compression
KR20200055242A (ko) Oled 패널을 지원하는 초고선명 텔레비전용 보급형 메인보드

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20190302