CN102067608A - 用于视频译码的时间压缩中的片段化参考 - Google Patents

用于视频译码的时间压缩中的片段化参考 Download PDF

Info

Publication number
CN102067608A
CN102067608A CN2009801237651A CN200980123765A CN102067608A CN 102067608 A CN102067608 A CN 102067608A CN 2009801237651 A CN2009801237651 A CN 2009801237651A CN 200980123765 A CN200980123765 A CN 200980123765A CN 102067608 A CN102067608 A CN 102067608A
Authority
CN
China
Prior art keywords
fragment
tile
frame
video
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801237651A
Other languages
English (en)
Other versions
CN102067608B (zh
Inventor
维贾雅拉克希米·R·拉韦恩德拉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102067608A publication Critical patent/CN102067608A/zh
Application granted granted Critical
Publication of CN102067608B publication Critical patent/CN102067608B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Abstract

一般来说，本发明描述用于使用片段参考图片来编码和解码视频帧序列的技术。本发明呈现用于基于片段化参考而非完整的参考图片的经修改的时间压缩的视频编码和解码技术。在典型的视频帧序列中，每一帧的仅一部分(即，一瓦片)包括移动对象。此外，在每一帧中，所述移动对象倾向于局限于所述视频帧序列中的每一帧之间共同的特定区。如本文中所描述，识别所述共同运动区。接着从所述视频帧的所述所识别的区提取图片。由于这些图片仅可表示所述帧的部分，所以本发明将这些图片称作“片段”。在运动补偿过程期间正是使用这些片段而非整个帧作为用于产生所预测的帧的参考图片。

Description

用于视频译码的时间压缩中的片段化参考
技术领域
本发明涉及多媒体信号处理，且更特定来说，涉及视频编码和解码。
背景技术
可将数字多媒体能力并入到广泛范围的装置内，包括数字电视、数字直播系统、无线通信装置、无线广播系统、个人数字助理(“PDA”)、膝上型或桌上型计算机、数码相机、数字记录装置、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话等。数字多媒体装置可实施例如由MPEG-2、MPEG-4或ITU H.264/MPEG-4第10部分高级视频译码(“AVC”)标准定义的技术的视频译码技术以更有效地传输和接收数字视频数据。视频译码技术可经由空间和时间预测来执行视频压缩以减少或移除视频序列中所固有的冗余。
为了经由时间预测来执行视频压缩，视频编码器可使用运动补偿过程。在运动补偿过程中，视频编码器将当前视频帧分为一组宏块。接着，对于当前视频帧的每一宏块，视频编码器试图识别一个或一个以上参考帧中的含有大致与当前视频帧中的宏块相同的数据的一个或一个以上宏块。如果视频编码器成功地识别出参考帧中的此宏块，则视频编码器可产生指示参考帧中的所识别的宏块与当前帧中的宏块之间的位移的运动向量。如果视频编码器未成功地识别参考帧中的此宏块，则视频编码器可产生指示无位移的运动向量。接下来，视频编码器可通过将所识别的宏块从参考帧中的位置“移”到由运动向量指示的位置来产生预测性帧。在产生了预测性帧后，视频编码器可通过逐宏块地从当前帧减去预测性帧来产生残余帧以指示对应的块之间的残余差。视频编码器可接着编码残余帧以及其相关联的运动向量。接下来，视频编码器可输出经编码的残余帧和相关联的运动向量以供解码器使用。
为了解码已使用运动补偿过程编码的视频帧，视频解码器可检索由运动向量指示的参考帧。视频解码器可接着将由运动向量指示的参考帧的宏块“移”到由运动向量指示的位置。作为移动参考帧的宏块的结果，视频解码器产生预测性帧。视频解码器可接着通过将预测性帧添加到所接收残余帧的经解码版本来产生经重建的视频帧。
发明内容
一般来说，本发明描述使用片段参考图片来编码和解码视频帧序列的技术。本发明呈现用于基于片段化参考而非完整参考图片的经修改的时间压缩的视频编码和解码技术。在典型的视频帧序列中，每一帧的仅一部分(例如，瓦片)包括移动对象。此外，在每一帧中，移动对象倾向于局限于在视频帧序列中的每一帧间共同的特定区。如本文中所描述，识别此些共同的运动区。接着从所述视频帧的所述所识别的区提取图片。由于这些图片仅可表示帧的部分，所以本发明将这些图片称作“片段”。在运动补偿过程期间将这些片段(而非整个帧)用作用于产生所预测帧的参考图片。
在一个实例中，一种方法包含存储包含与视频帧序列中的视频帧的瓦片的集合相关联的视频数据的参考片段。所述组瓦片中的每一瓦片表示相应视频帧的分割区的子集。所述方法还包含基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿。
在另一实例中，一种装置包含参考缓冲器，其存储包含与视频帧序列中的视频帧的瓦片的集合相关联的视频数据的参考片段。所述组瓦片中的每一瓦片表示相应视频帧的分割区的子集。所述装置还包含运动补偿单元，其基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿。
在另一实例中，一种装置包含用于存储包含与一视频帧序列中的视频帧的瓦片的集合相关联的视频数据的参考片段的装置。所述组瓦片中的每一瓦片表示相应视频帧的分割区的子集。所述装置还包含用于基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿的装置。
在另一实例中，一种集成电路包含存储包含与视频帧序列中的视频帧的瓦片的集合相关联的视频数据的参考片段的电路。所述组瓦片中的每一瓦片表示相应视频帧的分割区的子集。此外，所述集成电路包含基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿的电路。
本发明中描述的技术可以硬件、软件、固件或其任何组合实施。如果以软件实施，则可使用一个或一个以上处理器执行软件，例如，微处理器，专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)。执行所述技术的软件可起初存储于计算机可读媒体中且经加载并使用处理器执行。
因此，本发明还预期一种包含可执行指令的计算机可读媒体。当由一个或一个以上处理器执行时，所述指令致使所述一个或一个以上处理器存储包含与视频帧序列中的视频帧的瓦片的集合相关联的视频数据的参考片段。所述组瓦片中的每一瓦片表示相应视频帧的分割区的子集。所述指令还致使所述一个或一个以上处理器基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿。
在一些情况下，计算机可读媒体可形成计算机程序产品的至少部分，可将其销售和/或用于视频译码装置中。计算机程序产品可包括计算机可读媒体，且在一些情况下，还可包括封装材料。
将主要在运动补偿译码技术的情形下描述用于使用片段参考图片编码和解码视频帧序列的技术。然而，如本文中描述的片段参考图片的使用还可用于其它译码情形中，例如，用于缩放、边缘增强等。
在附图和以下描述中陈述一个或一个以上实例的细节。从描述和图式且从权利要求书将明白其它特征、目标和优势。
附图说明
图1为说明示范性视频编码和解码系统的框图；
图2为说明图1中呈现的编码器的示范性细节的框图；
图3为说明图2中呈现的瓦片识别模块的示范性细节的框图；
图4说明视频帧的示范性序列和将活动分割区展示为黑块的一组对应的分割区映射；
图5A、图5B和图5C说明示范性复合分割区活动性映射；
图5D说明模式平滑化对分割区活动性映射的影响；
图6A和图6B说明图2中呈现的编码器的示范性操作；
图7为说明图1中呈现的解码器的示范性细节的框图；
图8A和图8B为说明在图7中呈现的解码器内的模块的示范性操作的流程图；
图9为说明图1中呈现的预处理器的示范性细节的框图；
图10为说明图9中呈现的预处理器的示范性操作的流程图；
图11为说明图1中呈现的解码器的一组替代的示范性细节的框图；
图12为说明图11中呈现的解码器的替代实施方案的示范性操作的流程图。
图13为说明将片段存储到图1中呈现的显示缓冲器中的缓冲器填充模块的示范性操作的流程图。
具体实施方式
图1为说明示范性视频编码和解码系统2的框图。如图1的实例中所说明，系统2包括编码装置4和解码装置6。一般来说，编码装置4能够编码视频数据，且解码装置6能够解码由编码装置4或另一编码装置编码的视频数据。编码装置4和解码装置6可为广泛多种装置中的任一者。举例来说，编码装置4和解码装置6可为个人计算机、网络服务器、个人数字助理(“PDA”)、视频游戏装置、个人媒体播放器、移动电话、数码相机、数字摄像机或其它类型的装置。或者，单一装置可并入有编码装置4的功能性和/或解码装置6的功能性。
如图1的实例中所说明，编码装置4包括媒体源8。媒体源8输出未经编码的视频数据(即，尚未使用本文中描述的编码过程编码的视频数据)。媒体源8可为输出未经编码的视频数据的广泛多种软件和/或硬件单元中的任一者。举例来说，媒体源8可为数字摄影机、数码相机、存储未经编码的视频数据的存储器模块、从电缆、陆地或卫星电视提供者接收未经编码的视频数据的接口，或输出未经编码的视频数据的其它类型的软件和/或硬件单元。此外，媒体源8可经由一个或一个以上有线或无线连接而通信地耦合到编码装置4。媒体源8可将未经编码的视频数据提供到预处理器10。
此外，在图1的实例中，编码装置4可包括代码转换器12。一般来说，代码转换器12接收由位流源14输出的视频数据。可按第一格式编码由位流源14输出的视频数据。举例来说，位流源14可输出按串行数字接口格式格式化的视频数据。当代码转换器12接收由位流源14输出的视频数据时，代码转换器12中的解码器13可解码从代码转换器12接收的视频数据，借此产生未经压缩的视频帧序列。在解码器13解码了视频数据后，解码器13可将经解码的视频数据提供到对经解码的视频数据执行一个或一个以上视频预处理操作的预处理器10。代码转换器12中的编码器16可接着按与第一格式不同的第二格式编码经预处理的视频数据。如在本发明中使用，术语“格式”可指数据编码格式或数据呈现格式。以此方式，代码转换器12将由位流源14产生的视频从第一格式代码转换到第二格式。举例来说，代码转换器12可将由位流源14产生的视频从H.263标准代码转换到H.264标准。在另一实例中，代码转换器12可将由位流源14产生的视频从第一分辨率(例如，H.264SD)代码转换到第二分辨率(H.264QVGA)。
预处理器10可对未经编码的视频数据执行多种视频预处理操作。举例来说，预处理器10可对未经编码的视频数据执行交错操作、解交错操作、对比度调整操作、噪声减少操作和/或其它类型的视频预处理操作。
在预处理器10对未经编码的视频数据执行了一个或一个以上视频预处理操作后，预处理器10可将经预处理的视频数据提供到编码器16。编码器16编码经预处理的视频数据，借此产生经编码的视频数据。在编码器16编码了经预处理的视频数据后，编码装置4可对经编码的视频数据进行广泛多种操作。在一个实例中，编码装置4可将经编码的视频数据作为媒体文件或其它类型的媒体对象存储于存储媒体(未图示)中，例如，随机存取存储器、光盘、磁盘、快闪存储器、电可擦除可编程只读存储器或其它类型的存储器模块。在另一实例中，编码装置4可输出经编码的视频数据作为若干不同类型的媒体对象中的一者。举例来说，编码装置4可输出经编码的视频数据作为音频/视频数据的实况流。在另一实例中，编码装置4可输出经编码的视频数据作为可可能或可不能够渐进式播放的媒体文件。当编码装置4输出经编码的视频数据时，编码装置4可使用计算机网络、无线广播传输器、同轴电缆、光纤电缆或另一类型的通信机构来传输经编码的视频数据。
解码装置6中的解码器18可解码由编码装置4编码的视频数据。一般来说，解码器18颠倒编码器16应用到视频数据的编码过程。在解码器18解码了视频数据后，解码装置6中的后处理器20对经解码的视频数据执行一个或一个以上后处理操作。举例来说，后处理器20可执行包括伽玛校正操作、锐化操作和其它后处理操作的后处理操作。在后处理器20对视频数据执行了后处理操作后，解码装置6中的缓冲器填充模块22可将视频数据存储于一个或一个以上显示缓冲器24的集合中。举例来说，缓冲器填充模块22可将经后处理的视频数据的个别帧存储到显示缓冲器24中的个别者中。显示缓冲器24可经实施为一个或一个以上计算机可读媒体(例如，随机存取存储器、快闪存储器单元或其它类型的计算机可读媒体)。
解码装置6中的显示单元26可显示显示缓冲器24中的视频数据。显示单元26可为多种类型的显示单元中的一者或一者以上。举例来说，显示单元26可为阴极射线管(“CRT”)监视器或电视机、液晶显示器(“LCD”)、有机发光二极管(“OLED”)显示器、常规的发光二极管显示器、等离子显示器或另一类型的显示器。虽然在图1的实例中说明为包括于解码装置6中，但显示单元26可在解码装置6外部。举例来说，显示单元26可经由一个或一个以上电缆和/或一个或一个以上无线链路而连接到解码装置6。
如本文中所描述，预处理器10、编码器16、解码器18和后处理器20可独立或联合地使用视频瓦片识别技术来减少或恢复一组视频帧中的视频帧间的时间冗余。一般来说，这些视频瓦片识别技术包含识别视频帧序列中的视频帧的瓦片的一个或一个以上集合。一瓦片为视频帧的一区。举例来说，瓦片可为视频帧的二十个像素宽、三十个像素高且具有距视频帧的左边缘五列且距视频帧的顶边缘七十行的左上部像素(即，左上部像素具有坐标(5，70))的矩形区。瓦片的集合中的至少一者中的瓦片为可包括或可不包括全部视频帧的视频帧的区域。
在识别出瓦片后，可从视频帧中的每一者提取片段。如本发明中所使用，“片段”为视频帧的瓦片中含有的图片。举例来说，使视频帧的瓦片为视频帧的二十个像素宽且三十个像素高的矩形区。所述区域的左上部像素具有坐标(5，70)。在此实例中，从此瓦片提取的片段为二十个像素宽且三十个像素高的独立图片。此外，在此实例中，片段的左上部像素(即，片段的具有坐标(0，0)的像素)具有与视频帧的具有坐标(5，70)的像素相同的像素值。类似地，片段的具有坐标(1，0)的像素具有与视频帧的具有坐标(6，70)的像素相同的像素值，等等。
当已从视频帧提取片段时，可仅关于所述片段来执行关于视频帧的操作。举例来说，当执行关于视频帧的预处理操作时，预处理器10可仅对片段执行预处理操作。在另一实例中，编码器16和解码器18可将片段用作在运动补偿操作期间的参考。在执行所述操作后，可通过将经处理的片段复合到先前经解码的完整的视频帧上来重组(即，再现)所述帧。这是可能的，因为可假设帧的不处于所识别的瓦片中的一者内的所有部分与先前经解码的完整的视频帧的不处于所识别的瓦片中的一者内的部分相同。
图2为说明编码器16(图1)的示范性细节的框图。在图2的实例中，预处理器10或另一硬件和/或软件单元可在编码器16中的帧缓冲器30中存储未经编码的视频帧序列。帧缓冲器30可为可与编码器16的主存储器分开或为主存储器的部分的存储器单元。此视频帧序列可包括可变数目的视频帧。举例来说，第一视频帧序列可包括五个视频帧，第二视频帧序列可包括十六个视频帧，且第三视频帧序列可包括三百个视频帧。在另一实例中，视频帧序列可形成一个或一个以上图片群(“GOP”)。
当将视频帧序列存储于帧缓冲器30中时，编码器16中的运动估计单元32可产生用于所述视频帧序列中的每一视频帧中的每一分割区的运动数据。如在本发明中所使用，“分割区”为一组邻接像素。举例来说，分割区可为16×16像素群。在此实例中，术语“分割区”可与在MPEG和H.26x视频译码标准的用语中使用的术语“宏块”或“块”同义。然而，在更通常的实例中，分割区可为处于任何形状(例如，三角形、梯形、圆形、矩形等)的像素群。
由运动估计单元32产生的运动数据可视如何编码当前帧而变化。举例来说，如果将把一帧帧间译码为预测性帧(“P帧”)，则运动估计单元32可产生所述帧的每一分割区的运动向量。由运动估计单元32产生的每一运动向量可指定一个或一个以上分割区的从一个或一个以上参考帧中的位置到P帧中的位置的位移值。举例来说，分割区的运动向量可指定一个或一个以上参考帧、所识别的分割区的水平位移和所识别的分割区的垂直位移。在此实例中，在当前帧的运动向量中指定的参考帧不需要为紧接在当前帧之前或之后的帧。举例来说，在H.264标准中，参考帧可远离当前帧高达十六个帧。如果将把帧帧间译码为双预测性帧(“B帧”)，则运动估计单元32可为所述帧的每一分割区产生参考帧索引值的一组列表。在解码期间，帧索引值的列表可用以在B帧中内插分割区的位置。如果将把帧编码为帧内译码的帧(“I帧”)，则运动估计单元32可不产生运动数据或可不执行关于I帧的动作。
在运动估计单元32产生用于视频帧序列中的每一视频帧中的每一分割区的运动数据后，模式决策模块34可为每一分割区选择分割区编码模式。举例来说，在H.264/AVC标准中，模式决策模块34可逐分割区地确定是使用Intra_4x4译码模式还是Intra_16x16译码模式来编码内部帧的分割区。此外，在H.264/AVC标准中，模式决策模块34可逐分割区地确定是使用“跳过”模式编码还是使用运动补偿来编码P帧的分割区。在“跳过”模式下，分割区被解译成存储与参考帧中同等定位的分割区相同的像素数据。
除了为视频帧序列的每一视频帧中的每一分割区选择编码模式之外，模式决策模块34可对所述分割区执行“模式平滑化”操作。一般来说，当模式决策模块34执行模式平滑化操作时，模式决策模块34将第一模式的隔离的分割区重新分类为第二模式的分割区。举例来说，在视频帧序列中，单一分割区可在原本静态的背景上移动。在此实例中，静态背景的分割区可为“跳过”模式分割区，且可根据另一模式来编码移动的分割区。模式平滑化操作可将此分割区重新分类为跳过模式分割区。通常，此些隔离的移动分割区为视觉噪声，且可为不必要的并在视觉上使入分心的。通过对所述分割区执行模式平滑化操作，模式决策模块34可在减少视觉噪声的同时有效地增加跳过模式分割区的数目。
在模式决策模块34为每一分割区确定了分割区编码模式后，编码器16中的分割区映射模块36可为所述视频帧序列的每一视频帧产生分割区映射。在为视频帧产生分割区映射后，分割区映射模块36可将分割区映射存储于映射缓冲器38中。映射缓冲器38可为单独的存储器单元、编码装置4的主存储器内的区或可由编码器16存取的任何合适的存储器单元。
视频帧的分割区映射可包括视频帧的每一分割区的数据结构。视频帧的分割区的数据结构指定了识别瓦片所需的关于分割区的信息。举例来说，分割区的数据结构可指定所述分割区的编码模式，可指定所述分割区是否处于均匀运动的区中和/或关于所述分割区的其它信息。在另一实例中，分割区的数据结构可指定所述分割区的亮度信息、所述分割区的色度调色板(例如，黑与白、深褐色等)、所述分割区是否处于均匀运动的区中、所述分割区是否处于加速运动的区中、所述分割区是否处于形变运动(例如，拉近/拉远)的区中和/或关于所述分割区的其它信息。
编码器16中的瓦片识别模块40(“TILE ID.MODULE”)可使用映射缓冲器38中的分割区映射来识别所述视频帧序列中的视频帧的瓦片的一个或一个以上集合。瓦片识别模块40可以多种方式识别视频帧序列中的视频帧的瓦片的一个或一个以上集合。举例来说，图3提供关于瓦片识别模块40如何可识别处于同一地点的瓦片的集合的示范性细节。或者，瓦片识别模块40可识别视频帧的重叠但未严格处于同一地点的瓦片的集合。除了识别瓦片的集合之外，瓦片识别模块40可产生所识别的瓦片的集合中的每一者的瓦片描述信息。瓦片的集合的瓦片描述信息可指示可用以参考瓦片的集合的瓦片集合索引编号、指示瓦片的集合的位置和形状的信息和可能其它属性。
接下来，编码器16中的片段提取模块42可从视频帧提取片段。如本文中所使用，“片段”为视频帧的瓦片内的图片。举例来说，如果瓦片识别模块40识别视频帧的具有在视频帧的像素(5，5)处的左顶部坐标和在视频帧的(10，10)处的右底部坐标的矩形瓦片，则片段提取模块42可从视频帧提取帧的具有在(5，5)处的左顶部坐标和在(10，10)处的右底部坐标的矩形图片内的分割区的集合。分割区的此集合为片段。在另一实例中，如同经帧内译码的视频帧(“I帧”)的情况，如果瓦片识别模块40识别视频帧的具有在视频帧的像素(0，0)处的左顶部坐标和在视频帧的右底部隅角处的右底部坐标的矩形瓦片，则片段提取模块42可从帧提取包括帧的所有分割区的分割区的集合。
在提取了片段和相关联的运动数据后，片段提取模块42可将片段和相关联的运动向量存储于片段缓冲器44中。片段缓冲器44可为单独的存储器单元、编码装置4的主存储器的区或其它。
在片段提取模块42提取了片段和相关联的运动数据后，片段提取模块42可产生片段的图片识别信息。片段的片段识别信息可指示片段提取模块42从其提取所述片段的帧的索引编号。此外，片段的片段识别信息可指示与所述片段相关联的瓦片的集合的索引编号。如上所述，瓦片的集合的索引编号可由瓦片的集合的瓦片描述信息指示。以此方式，片段的片段识别信息识别片段与视频帧之间的关系。举例来说，片段的片段识别信息可指示片段是从帧“5”提取的且与瓦片的集合“3”相关联。
随后，片段缓冲器44可将与片段中的一者的分割区相关联的运动数据的集合发送到编码器16中的运动补偿单元46(“MOTION COMP.UNIT”)。为了解释的目的，片段中的此者在本文中被称作“当前片段”。当运动补偿单元46接收到与当前片段的分割区相关联的运动数据的集合时，运动补偿单元46可确定是将当前片段编码为P帧、B帧还是编码为I帧。
如果正将当前片段编码为P帧，则与当前片段相关联的运动数据可为当前片段的每一分割区指定一个或一个以上运动向量和一个或一个以上帧索引值。运动补偿单元46可从参考缓冲器48检索与所指定的帧索引值相关联且还与由当前片段的片段识别信息指定的瓦片集合索引值相关联的每一参考片段。
在从参考缓冲器48检索参考片段后，对于当前片段的每一分割区，运动补偿单元46可使用分割区的运动向量来识别所检索的参考片段中的一者或一者以上中的分割区，且接着将所识别的分割区放置到当前片段的分割区中。举例来说，当前片段的分割区的运动向量可通过指定当前片段的分割区与所检索的参考片段的分割区之间的水平位移和垂直位移来指示所检索的参考片段中的一者的分割区。在此例子中，运动补偿单元46可使用所检索的参考片段的所指示的片段的像素数据作为当前片段的片段的像素数据。以此方式，运动补偿单元46将分割区从参考片段“移动”到与当前片段相关联的预测性片段中的适当位置中。
当当前片段小于其被提取所源自的视频帧时，当前片段包括少于视频帧的分割区。由于当前片段包括少于视频帧的分割区，所以与运动补偿单元46对视频帧执行运动补偿操作相比，运动补偿单元46可更快且更有效地(就计算和硬件复杂性来说)对当前片段执行运动补偿操作。
如果正将当前片段编码为B帧，则与当前片段相关联的运动数据可指定当前片段的每一分割区的两个或两个以上列表。在一个示范性实施方案中，分割区的列表中的第一者(即，列表0)可指定出现在当前片段被提取源自的帧前的帧的零或更多的帧索引值。分割区的列表中的第二者(即，列表1)可指定出现在当前片段被提取源自的帧后的帧的零或更多的帧索引值。运动补偿单元46可从参考缓冲器48检索与在两个或两个以上列表中指定的帧索引值相关联且还与当前片段的瓦片集合索引值相关联的每一参考片段。在从参考缓冲器48检索了参考片段后，对于当前片段的每一分割区，运动补偿单元46可内插分割区的内容。
如果将把当前片段编码为I帧，则运动补偿单元46可识别为全零的预测性片段。由于预测性片段为全零，所以当编码器16中的残余产生模块50将预测性片段的负版本与当前片段相加时，所得的残余片段与当前片段相同。在一替代性实施方案中，当将把当前片段编码为I帧时，可完全绕过运动补偿单元46和残余产生模块50。换句话说，可将当前片段直接提供到编码器16中的块变换单元52。
如在先前段落中所暗指，在运动补偿单元46产生了预测性片段后，残余产生模块50可通过将预测性片段的负版本与存储于片段缓冲器44中的对应的原始片段相加来产生残余片段。更通常地，残余产生模块50可产生表示预测性片段与对应的原始片段之间的差异的残余片段。接下来，块变换单元52可通过对残余片段执行变换过程来产生一组系数。举例来说，块变换单元52可通过对残余片段内的像素的块中的每一者执行二维离散余弦变换来产生残余图片中的像素的每一块的系数的矩阵。在块变换单元52产生所述组系数后，编码器16中的量化模块54(“QUANTIZ.MODULE”)可通过量化所述组系数中的系数来产生一组经量化的系数。举例来说，量化模块54可使用量化矩阵来量化系数的每一矩阵中的系数。
编码器16中的熵译码单元106可接着对所述组经量化的系数执行熵编码操作。举例来说，熵译码单元106可对所述组经量化的系数执行上下文自适应可变长度译码(“CAVLC”)操作。此外，熵译码单元106可对与当前片段相关联的运动数据的集合执行熵编码操作。举例来说，熵译码单元106可对与当前片段相关联的运动数据执行指数Golomb译码操作。如上所论述，如果正将当前片段编码为p帧，则与当前片段相关联的运动数据可包含当前片段的分割区的运动向量的集合。如果正将当前片段编码为b帧，则与当前片段相关联的运动数据可包含指示跳过模式分割区的旗标、可从其内插当前片段内的分割区的内容的片段识别符的列表。
在熵译码单元106对所述组经量化的系数和对应的运动数据执行熵编码操作后，编码器16中的输出模块58可输出与当前片段相关联的经熵编码的经量化的系数和对应的运动向量。由于视频帧的片段可能不包括所有视频帧，所以与输出模块58输出完整的视频帧相比，输出模块58可输出较少的数据。
输出模块58可输出与当前帧相关联的瓦片描述信息和片段识别信息。输出模块58可以多种方式输出片段识别信息和瓦片描述信息。在第一实例中，如果输出模块58正根据H.264标准输出经编码的片段，则输出模块58可将每一经编码的片段映射到H.264流中的不同帧。此外，在此第一实例中，输出模块58可输出指示片段识别信息和瓦片描述信息的补充性增强信息(“SEI”)。在第二实例中，如果输出模块58正根据H.264标准输出经编码的片段，则输出模块58可根据H.264标准的灵活宏块排序(“FMO”)能力将与一帧相关联的经编码的片段映射到不同切片群。在此第二实例中，用于描述不同切片群的位置的机制已包括于H.264标准中。在第三实例中，如果遵照标准并非关键，如在解码器/接收器和传输器/编码器了解彼此的能力的封闭式应用中，则新的语法/语义或格式可用以传递此信息且可在解码器处先验地编程所述格式。
此外，当量化模块54产生与当前片段相关联的一组经量化的系数时，编码器16中的反量化单元60(“INVERSE QUANTIZ.MODULE”)可通过对所述组经量化的系数执行反量化操作来产生与当前片段相关联的一组经反量化的系数。反量化单元60可使用对应于由量化模块54使用的量化矩阵的反量化矩阵来执行反量化操作。在反量化单元60产生所述组经反量化的系数后，编码器16中的反变换单元62可通过将由块变换单元52应用的变换的反操作应用到所述组经反量化的系数来产生与当前片段相关联的经解码的残余图片。举例来说，如果块变换单元52应用二维离散余弦变换，则反变换单元62可应用二维反离散余弦变换。
编码器16中的片段重建模块64(“FRAGMENT RECONST.MODULE 64”)可通过将与当前片段相关联的经解码的残余图片和与当前片段相关联的预测性图片相加来产生与当前片段相关联的经重建的片段。虽然图2的实例中的编码器16使用加法器产生经重建的片段，但应了解，其它类型的硬件或软件模块可执行片段重建模块64的功能性。当片段重建模块64产生经重建的片段时，片段重建模块64可将经重建的图片存储于参考缓冲器48中用于随后用作参考片段。由于参考片段可包括比完整的视频帧少的位，所以参考缓冲器48可比参考缓冲器48必须存储完整的视频帧的情况小。此外，由于参考片段可包括比完整的视频帧少的位，所以可减少存储器传递业务要求。作为较低存储器传递业务的结果，可能需要较少的时间和功率来将参考片段写入到参考缓冲器48。在参考缓冲器48存储了经重建的图片后，运动补偿单元46可从片段缓冲器44接收运动数据的另一集合，且此过程可关于片段缓冲器44中的另一片段而再次发生。此外，此过程可继续，直到已处理片段缓冲器44中的所有片段为止。
图3为说明瓦片识别模块40的示范性细节的框图。在图3的实例中，瓦片识别模块40包括分割区活动性模块70，其使用由分割区映射模块36产生的分割区映射创建视频序列的复合分割区活动性映射。视频帧的分割区活动性映射指示视频帧的哪些分割区为“活动的”和帧的哪些分割区为“非活动的”。举例来说，分割区活动性映射可为具有指示活动模式分割区的“真”值和指示非活动分割区的“假”值的布尔(Boolean)值的阵列。当给定视频帧的分割区的运动向量指示所述分割区不具有相对于参考帧中的分割区的位移时以及当所述分割区不具有残余值(与参考帧中的处于同一地点的分割区相比)时，所述分割区为非活动分割区。相反，当给定视频帧的分割区的运动向量指示所述分割区具有相对于参考帧中的分割区的至少某一位移时、当所述分割区具有非零残余值(与参考帧中的处于同一地点的分割区相比)时，或当所述分割区具有非零残余值(与参考帧中的处于同一地点的分割区相比)且具有相对于参考帧中的分割区的至少某一位移时，所述分割区为“活动的”。
为了产生复合分割区活动性映射，分割区活动性模块70中的映射模块71可通过识别帧中具有大体上均匀运动的分割区的群来产生视频帧的一个或一个以上分割区活动性映射。为了识别具有大体上均匀运动的分割区的群，映射模块71可将移动中值滤波器应用到由对应于分割区的运动向量的水平维度的分量指示的水平位移和将移动中值滤波器应用到由对应于分割区的运动向量的垂直维度的分量指示的垂直位移。移动中值滤波器有效地移除位移间的噪声或其它不显著的差异。移动中值滤波器选取点(例如，位移值)的集合，且在给定滤波器的跨度的情况下，选取以x为中心的那些点的子集，且传回所述子集的中值。举例来说，假设下列值为水平或垂直位移值：1、1、1、1、5、4、4、1、9、4，且滤波器的跨度为五。在此实例中，可存在十个子集，每一者具有一中值：
子集1：1                --中值＝1；
子集2：1、1             --中值＝1；
子集3：1、1、1          --中值＝1；
子集4：1、1、1、1       --中值＝1；
子集5：1、1、1、1、5    --中值＝1；
子集6：1、1、1、5、4    --中值＝1；
子集7：1、1、5、4、4    --中值＝4；
子集8：1、5、4、4、1    --中值＝4；
子集9：5、4、4、1、9    --中值＝4；
子集10：4、4、1、9、4   --中值＝4。
在此实例中，移动中值滤波器的输出为：1、1、1、1、1、1、4、4、4、4。注意移动中值滤波器移除“5”和“9”值的方式。在应用移动中值滤波器后，映射模块71可识别具有同一值的连续经滤波的位移值的群。举例来说，映射模块71可将1、1、1、1、1、1的群识别为连续经滤波的位移值的第一群且将4、4、4、4的群识别为连续经滤波的位移值的第二群。接下来，映射模块71可将与非零的经滤波的位移值的群相关联的分割区表示为活动分割区。举例来说，经滤波的位移值的下表说明此：
表1
  1，0   1，0   0，0  0，0  0，0
  1，0   1，0   0，0  1，0  0，0
  0，0   0，0   0，0  0，0  0，0
  0，0   0，0   0，0，  0，-4  0，-4
  0，0   0，0   0，0  0，-4  0，-4
在表1中，每一格表示一分割区，格中的第一个数目表示所述分割区的经滤波的水平位移值，且格中的第二个数目表示所述分割区的经滤波的垂直位移值。使用表1，映射模块71可将左上部隅角中的四个分割区表示为活动分割区且将右下部隅角中的四个分割区表示为活动分割区。其余分割区为非活动分割区，因为其经滤波的位移值为零。
在映射模块71可产生分割区活动性映射的方式的另一实例中，映射模块71可使用分割区编码模式而非运动向量位移值。为了说明此，考虑下表2：
表2
  跳过   跳过   跳过   中间/直接   中间/直接
  跳过   跳过   跳过   中间/直接   中间/直接
  跳过   跳过   跳过   跳过   跳过
  中间/直接   中间/直接   跳过   跳过   跳过
  中间/直接   中间/直接   跳过   跳过   跳过
在表2中，每一格表示一分割区，且在格内部的词指示用以编码由所述格表示的分割区的编码模式。使用表2，映射模块71可将右顶部中的四个分割区表示为活动分割区且将左下部中的四个分割区表示为活动分割区。
图4说明视频帧的示范性序列80和将活动分割区展示为黑块的一组对应的分割区映射82。如图4的实例中所说明，视频帧序列80包括帧80A、帧80B、帧80C和帧80D。在图4的实例中，帧80A为内部帧。当瓦片识别模块40正识别序列80的瓦片时，映射模块71可产生一组分割区活动性映射82。所述组分割区活动性映射82包括映射82A、映射82B、映射82C和映射82D。映射82A对应于帧80A、映射82B对应于帧80B、映射82C对应于帧80C且映射82D对应于帧80D。
视频帧80中的每一者为站在沙漠背景前的人的表示。举例来说，所述人可能正播报远程新闻广播。如从视频帧80显而易见，沙漠背景在视频帧80期间不移动或显著改变。而是，视频帧80中的所有移动和改变集中在所述人的头部周围。由于视频帧80中的移动和改变集中在所述人的头部周围，所以位于所述人的头部周围的区域中的视频帧80的分割区倾向于为活动分割区，而与背景相关联的视频帧80的分割区为非活动分割区。因此，映射82B、映射82C和映射82D包括指示在所述人的头部周围的区域中的活动分割区的黑块。映射82A不包括任何活动模式分割区，因为帧80A为I帧，且I帧不是参照其它帧而建构的。
再参看图3，瓦片识别模块40可使用分割区活动性映射来识别视频帧序列中的视频帧的瓦片的一个或一个以上集合。瓦片识别模块40可使用多种技术来识别视频帧序列中的视频帧的瓦片的集合。在图3的实例中，分割区活动性模块70可包括复合映射模块72，复合映射模块72使用由映射模块71产生的分割区活动性映射以产生复合分割区活动性映射。如本发明中所使用，如果对于源分割区活动性映射中的一者中的每一活动分割区，分割区活动性映射中的并置的分割区为活动分割区，且如果对于活动性映射的每一非活动的分割区，不存在源分割区活动性映射的为活动分割区的并置的分割区，则分割区活动性映射是两个或两个以上源分割区活动性映射的复合。源分割区活动性映射可包括与I帧、P帧、B帧或其它帧相关联的分割区活动性映射。复合映射模块72可通过对分割区活动性映射中的每一者执行逻辑“或”运算来产生复合分割区活动性映射。以此方式，当帧中的一者或一者以上中的一个或一个以上处于同一地点的分割区为活动的时，复合分割区活动性映射中的分割区为活动的。图5A、图5B和图5C说明示范性复合分割区活动性映射90。复合分割区活动性映射90为分割区活动性映射82A到82D(图4)的复合分割区活动性映射。换句话说，复合分割区活动性映射90可表示对分割区活动性映射82A到82D执行逻辑“或”运算的结果。
在产生复合分割区活动性映射90后，瓦片识别模块40中的瓦片建构模块73可使用复合分割区活动性映射90确定在复合分割区活动性映射90中的非活动分割区的百分比是否超过给定的复合分割区活动性阈值。复合分割区活动性阈值可具有范围(例如)从20％和更高的多种不同值。如果在整个分割区活动性映射中非活动分割区的百分比不超过复合分割区活动性阈值，则瓦片建构模块73可识别瓦片的单一集合。瓦片的此集合中的每一瓦片包括在视频帧序列中的视频帧的整个区。瓦片识别模块40可评估在复合分割区活动性映射90中非活动分割区的百分比是否超过复合分割区活动性阈值，以便估计在计算负荷和/或功率消耗来说是基于瓦片还是基于整个视频帧来编码视频帧更有效率。换句话说，当在复合分割区活动性映射90中非活动分割区的百分比低于复合分割区活动性阈值时，编码整个视频帧可比编码视频帧的瓦片更有效率。
另一方面，如果在复合分割区活动性映射90中非活动分割区的百分比超过阈值，则瓦片建构模块73可识别复合分割区活动性映射90的包括活动分割区的一个或一个以上瓦片。复合分割区活动性映射90的瓦片可表示在视频帧序列中的均匀运动的不同的区。如图5A的实例中所说明，瓦片建构模块73已识别出包括复合分割区活动性映射90中的活动模式分割区的上部群周围的矩形区的瓦片92，且已识别出包括复合分割区活动性映射90中的活动模式分割区的下部群周围的矩形区的瓦片94。瓦片92对应于在视频帧80中的人的头部周围的活动分割区，且瓦片94对应于视频帧80中的文本。图5B的实例说明瓦片建构模块73已使用此同一复合分割区活动性映射90识别的交替区域。如图5B的实例中所说明，瓦片建构模块73已识别出包括复合分割区活动性映射100中的活动模式分割区的上部群的第一多边形瓦片102。此外，瓦片建构模块73已识别出包括复合分割区活动性映射100中的活动模式分割区的下部群的第二多边形瓦片104。
图5C的实例说明瓦片建构模块73可使用复合分割区活动性映射90识别的额外交替瓦片。使用复合分割区活动性映射90，瓦片建构模块73已识别出包括活动模式分割区的上部群的第一初步瓦片112，且已识别出包括活动模式分割区的下部群的第二初步瓦片114。初步瓦片112可与或可不与图5A中的瓦片92相同，且初步瓦片114可与或可不与图5A中的瓦片94相同。然而，在图5C的实例中，瓦片建构模块73还已识别出包括处于初步瓦片112内的分割区以及在每一方向上从初步瓦片112延伸给定数目个像素的分割区的瓦片116。此外，在图5C的实例中，瓦片建构模块73已识别出包括处于初步瓦片114内的分割区以及在每一方向上从初步瓦片114延伸给定数目个像素的分割区的瓦片118。此给定数目个像素可使得初步瓦片112和114中的分割区的所有运动向量分别指示处于瓦片116和118内的区。如图5C中所说明，用对角线来说明此额外区。
在识别出复合分割区活动性映射的瓦片后，瓦片建构模块73可识别视频帧序列中每一视频帧的与复合分割区活动性映射的所识别瓦片处于同一地点的瓦片。换句话说，瓦片建构模块73识别视频帧的瓦片，使得当且仅当分割区处于视频帧的对应于包括于复合分割区活动性映射的所识别的瓦片中的分割区的位置的位置中时，所述瓦片包括视频帧的分割区。以此方式，瓦片建构模块73识别所述视频帧序列中的视频帧的处于同一地点的瓦片的集合。
在一些情况下，使用图5C的瓦片116和瓦片118而非图5A或图5B的实例中所说明的瓦片92、94、102和104可为有利的。举例来说，如上所解释，编码器16中的运动补偿单元46从参考缓冲器48获取参考片段。由于参考缓冲器48可为编码装置4的主存储器的区，所以从参考缓冲器48获取参考图片可为耗时且耗功率的过程。此外，当运动补偿单元46从参考缓冲器48获取参考片段时，运动补偿单元46可在运动补偿单元46本地的存储器单元中存储参考片段。归因于瓦片116和118的扩大的区，在参考片段间共享一些分割区。由于在参考片段间共享一些分割区，所以运动补偿单元46可能不必两次获取那些共享的分割区。不必两次获取共享的分割区可节省时间和功率。关于解码器18中的运动补偿单元，可适用类似的情形。
为了实际上识别复合分割区活动性映射的一个或一个以上瓦片，瓦片建构模块73可执行多种不同操作。举例来说，瓦片建构模块73可通过“剪除”复合分割区活动性映射的非活动分割区直到仅剩下活动分割区来识别复合分割区活动性映射中的相连的活动分割区的集合。在此实例中，瓦片建构模块73可接着通过将非活动分割区添加回到瓦片内以便使瓦片为矩形来识别矩形瓦片(例如，图5A中的瓦片92和94，和图5C中的瓦片112和114)。在另一实例中，瓦片建构模块73可通过识别复合分割区活动性映射的第一活动模式分割区且接着识别复合分割区活动性映射的邻近此第一活动模式分割区的活动模式分割区且接着识别邻近这些活动模式分割区的活动模式分割区等等来识别复合分割区活动性映射的活动分割区的邻接集合。
此外，瓦片建构模块73可以一方式识别复合分割区活动性映射的瓦片，使得可以时间和/或功率有效的方式从存储器获取基于所识别的瓦片与瓦片相关联的片段。举例来说，瓦片建构模块73可识别复合分割区活动性映射的瓦片，使得基于瓦片与瓦片相关联的片段可全部存储于单一存储器页中。在此实例中，当将全部片段存储于单一存储器页中时，可能花费较少时间和/或功率来检索片段。相比而言，完整的视频帧可比片段大。由于完整的视频帧可比片段大，所以可能不可能将完整的视频帧存储于单一存储器页中。
当瓦片建构模块73识别复合分割区活动性映射的瓦片时，瓦片建构模块73可识别视频帧中的每一者的瓦片。视频帧的所识别的瓦片可与复合分割区活动性映射的瓦片处于同一地点。这些所识别的瓦片构成瓦片的集合。瓦片建构模块73可识别复合分割区活动性映射中的每一组相连的活动分割区的瓦片的此集合。
在瓦片建构模块73识别出瓦片的集合后，瓦片识别模块40中的瓦片描述模块74可创建瓦片的所识别的集合中的每一者的瓦片描述信息。瓦片的集合的瓦片描述信息可指示在瓦片的所识别的集合间唯一的瓦片索引值。由于瓦片索引值在瓦片的所识别的集合间是唯一的，所以瓦片的集合的瓦片索引值可用以存取瓦片的集合的瓦片描述信息。此外，瓦片的集合的瓦片描述信息可指示瓦片的集合中的瓦片的形状和瓦片的集合中的瓦片在视频帧内的位置。举例来说，处于同一地点的瓦片的集合的瓦片描述信息可指示在处于同一地点的瓦片的集合中的每一瓦片为矩形且在视频帧的像素(27，32)处具有左顶部隅角且在视频帧的像素(63，82)处具有右底部隅角。在替代实例中，处于同一地点的瓦片的集合的瓦片描述信息可列出视频帧的包括于处于同一地点的瓦片的集合的瓦片中的分割区的识别符。此外，如果瓦片的集合中的瓦片并非处于同一地点，则瓦片的集合的瓦片描述信息可指示瓦片中的每一者在瓦片的集合中的位置。
图5D说明模式平滑化对分割区活动性映射120的影响。如在图5D的实例中所说明，分割区活动性映射120包括邻接的活动分割区的第一集合121和邻接的活动分割区的第二集合122。集合121和集合122中的分割区可经编码为“直接模式”分割区，可经编码为“DC模式”分割区，或可经编码为另一类型的非跳过分割区。除了集合121和集合122之外，分割区活动性映射120包括两个隔离的活动分割区123。
图5D中的分割区活动性映射124为将模式平滑化应用到分割区活动性映射120而产生的分割区活动性映射。如上所论述，模式平滑化可迫使隔离的活动分割区被编码为跳过模式分割区。迫使隔离的活动分割区为跳过模式分割区可减少瓦片的数目，且因此增大由编码器16实现的压缩。注意，分割区活动性映射124包括集合121和集合122。分割区活动性映射124包括集合121和集合122，因为集合121和集合122足够大而不能被“平滑化掉”(即，迫使进入跳过模式中)。然而，分割区活动性映射124不包括隔离的活动分割区123。
图6A和图6B说明如图2中呈现的编码器16的示范性操作。根据图6A中所说明的示范性操作，将未经编码的视频帧序列存储于帧缓冲器30中(130)。接下来，编码器16中的运动估计单元32可识别未经编码的视频帧序列中的视频帧的分割区的运动数据(132)。在运动估计单元32识别出未经编码的视频帧序列中的视频帧的分割区的运动数据后，编码器16中的模式决策模块34可识别视频帧序列中的视频帧中的每一者的每一分割区的分割区模式(134)。此外，模式决策模块34可对视频帧序列中的视频帧中的每一者的分割区执行模式平滑化操作(136)。如上关于图5D所描述，模式平滑化可迫使隔离的活动分割区被编码为跳过模式分割区，借此减少瓦片识别模块40最终识别的瓦片的潜在数目。
分割区映射模块36可接着产生视频帧序列中的每一视频帧的分割区活动性映射(138)。如上所述，视频帧的分割区活动性映射存储可用以识别视频帧的瓦片集合的信息。瓦片识别模块40可接着使用这些分割区活动性映射来产生复合分割区活动性映射(140)。举例来说，在给定图4中的分割区活动性映射32的情况下，瓦片识别模块40可产生如图5A到图5C中所说明的复合分割区活动性映射90、100和110。接下来，瓦片识别模块40可确定在复合分割区活动性映射中非活动分割区的百分比是否超过给定阈值(140)。
如果在复合分割区活动性映射中非活动分割区的百分比来超过阈值(142的“否”)，则瓦片识别模块40可识别视频帧的瓦片的集合，其中所述瓦片中的每一者包括视频帧序列中的每一视频帧的所有分割区(144)。在替代性实施方案中，如果在复合分割区活动性映射中非活动分割区的百分比未超过阈值(142的“否”)，则编码器16可执行传统的基于分割区的编码。
另一方面，如果在复合分割区活动性映射中非活动分割区的百分比大于或等于阈值(142的“是”)，则瓦片识别模块40可识别视频帧序列的视频帧的瓦片的一个或一个以上集合(146)。举例来说，瓦片识别模块40可识别P帧和B帧内的瓦片的集合。此外，在此实例中，瓦片识别模块40可识别在每一I帧中的包括I帧的全部的瓦片。在另一实例中，瓦片识别模块40可识别I帧内的瓦片，使得I帧的一部分可“参考”同一I帧的另一部分或瓦片/片段。以此方式，可存在在I帧中识别的少数参考瓦片，且可基于此参考预测I帧的其余部分。
在瓦片识别模块40识别出瓦片的集合后(即，在144后或在148后)，瓦片识别模块40可产生瓦片的集合中的每一者的瓦片描述信息(150)。片段提取模块42可接着从视频帧提取与所识别的瓦片相关联的片段(152)。此外，片段提取模块42可产生所提取的片段中的每一者的图片识别信息(154)。片段提取模块42可接着在片段缓冲器44中存储片段、与片段相关联的运动数据和片段识别信息(156)。
接下来，编码器16可执行图6B的实例中所说明的操作。在图6A中，将图6B的实例中所说明的操作表示为“B”。在执行了图6B的实例中所说明的操作后，编码器16可循环回(loop back)，且将视频帧的另一序列存储到帧缓冲器30中(130)。
根据图6B的实例中所说明的操作，编码器16中的运动补偿单元46可确定在片段缓冲器44中是否存在未经处理的图片(170)。如果运动补偿单元46确定在片段缓冲器44中存在未经处理的片段(170的“是”)，则运动补偿单元46可确定将以帧间模式编码还是以帧内模式编码片段缓冲器44中的未经处理的片段(即，当前片段)(171)。如果运动补偿单元46确定将不以帧间模式编码当前片段(171的“否”)，则运动补偿单元46可使用参考缓冲器48中由与片段缓冲器44中的第一未经处理的片段(即，当前片段)相关联的运动数据指示的参考片段来识别与当前片段相关联的预测性片段(172)。
接下来，残余产生模块50可通过将与当前片段相关联的预测性片段的负版本与原始当前片段相加来产生残余片段(174)。以此方式，当前片段的像素值变为残余像素值。在残余产生模块50变换当前片段后或在运动补偿单元46确定将以帧间模式编码当前片段(171的“是”)后，块变换单元52可通过变换与当前片段相关联的残余片段来产生与当前片段相关联的一组系数(176)。量化模块54可接着通过对与当前片段相关联的所述组系数应用量化操作来产生与当前片段相关联的一组经量化的系数(178)。
随后，熵编码单元56可应用熵编码操作以便编码与当前图片相关联的所述组经量化的系数、与当前片段的分割区相关联的运动数据和与当前片段相关联的图片识别信息(180)。在应用了熵编码操作后，输出模块58可输出与当前片段相关联的经熵编码的数据(182)。当熵编码单元56输出与当前片段相关联的经熵编码的数据时，熵编码单元56还可输出由瓦片识别模块40产生的瓦片描述信息。
接下来，反量化单元60可通过对与当前片段相关联的所述组经量化的系数执行反量化操作来产生与当前片段相关联的一组经反量化的系数(184)。接下来，反变换单元62可通过对与当前图片相关联的所述组经反量化的系数执行反变换操作来产生与当前片段相关联的经解码的残余片段(186)。
在反变换模块110产生经解码的残余图片后，加法器112可通过将与当前片段相关联的经解码的残余图片与针对当前片段的由运动补偿单元46产生的预测性图片相加来产生与当前片段相关联的经重建的片段(188)。参考缓冲器48可接着存储与当前片段相关联的经重建的片段(190)。
在参考缓冲器48存储了经重建的片段后，运动补偿单元46可再次确定在片段缓冲器94中是否存在任何未经处理的片段(170)。如果运动补偿单元46确定在片段缓冲器94中不存在未经处理的片段(170的“否”)，则帧缓冲器30可再次接收视频帧序列(130)(图6A)。
图7为说明解码器18(图1)的示范性细节的框图。如图7的实例中所说明，解码器18包括熵解码单元150。当熵解码单元150接收包括与片段相关联的一组经编码的经量化的系数和与当前片段的分割区相关联的运动数据的媒体对象时，熵解码单元150通过对经编码的经量化的系数和运动数据执行熵解码操作来解码与当前片段相关联的所述组经量化的系数和相关联的运动数据。接下来，熵解码单元150可将与当前片段相关联的经解码的经量化的系数提供到解码器18中的反量化模块152，且可将与当前片段相关联的经解码的运动数据提供到解码器18中的运动补偿单元154。
此外，熵解码单元150可解码片段识别信息和瓦片描述信息。举例来说，熵解码单元150可接收指示片段识别信息和瓦片描述信息的经编码的SEI消息。如上所论述，图片的片段识别信息可指示与所述片段相关联的帧和与所述片段相关联的瓦片的集合。瓦片的瓦片描述信息指示瓦片的位置。当熵解码单元150解码片段识别信息和瓦片描述信息时，熵解码单元150可将经解码的片段识别信息和经解码的瓦片描述信息存储于解码器18中的参考缓冲器158中。
当反量化模块152接收到与当前片段相关联的一组经量化的系数时，反量化模块152通过对所述组经量化的系数执行反量化操作而产生与当前片段相关联的一组经反量化的系数。接下来，解码器18中的反变换模块156通过对与当前片段相关联的所述组经反量化的系数执行反变换操作来产生与当前片段相关联的残余片段。当运动补偿单元154接收到与当前片段相关联的一组运动数据时，运动补偿单元154可从参考缓冲器158检索由所述组运动数据中的运动数据指示的参考片段。举例来说，运动补偿单元154可检索参考缓冲器158中与由运动数据指定的帧索引编号相关联的每一片段(其也与当前片段的瓦片集合索引值相关联)。运动补偿单元154可接着使用所检索的参考片段产生与当前片段相关联的预测性片段。运动补偿单元154可使用(例如)以上关于运动补偿单元46描述的技术来产生预测性片段。在运动补偿单元154产生了与当前帧相关联的预测性图片且反变换模块156产生了与当前帧相关联的残余图片后，解码器18中的片段重建模块160通过将预测性片段和残余片段相加来产生与当前帧相关联的经重建的片段。虽然图7的实例中的解码器18使用加法器产生经重建的片段，但应了解，其它类型的硬件或软件模块可执行片段重建模块160的功能性。
在片段重建模块160产生了经重建的片段后，片段重建模块160可确定经重建的片段是否可用作参考片段。举例来说，在一个方案中，如果经重建的片段经编码为B帧，则经重建的片段可能不可用作参考片段。如果片段重建模块160确定经重建的片段可用作参考片段，则片段重建模块160可将经重建的片段存储于参考缓冲器158中以供随后用作参考片段。此外，如果片段重建模块160确定经重建的片段可用作参考帧，则片段重建模块160可将经重建的片段提供到解码器18中的帧重组模块162。否则，如果片段重建模块160确定经重建的片段不可用作参考帧，则片段重建模块160可将经重建的片段直接提供到帧重组模块162，而不将经重建的帧存储于参考缓冲器158中。
帧重组模块162重组完整的视频帧。为了重组视频帧，帧重组模块162可从片段重建模块160接收经重建的片段。在帧重组模块162的情形下，尚未由解码器18输出的最早的帧被称作“当前帧”。当帧重组模块162接收到与当前帧相关联的片段(即，“当前片段”)时，帧重组模块162可使用与当前片段相关联的片段识别信息来识别与当前片段相关联的瓦片。接下来，帧重组模块162可使用与所识别的瓦片相关联的瓦片描述信息来识别瓦片的位置。帧重组模块162可接着将当前片段复制到帧重组缓冲器164中的当前帧的所识别的位置。帧重组缓冲器164可在各种重组状态下存储一个或一个以上帧。
如上所论述，如果当前帧为I帧，则可能仅存在一个与当前帧相关联的片段。此外，如果当前帧为I帧，则与当前帧相关联的片段可占据全部帧。另一方面，如果当前帧为P帧或B帧，则可能存在与当前帧相关联的一个以上片段。将当前片段复制到当前帧内的所识别的位置有效地更新在与瓦片的所识别的集合相关联的位置处的当前帧的部分。将当前片段复制到当前帧内的所识别的位置并不改变帧重组缓冲器164中的处于所识别的瓦片之外的分割区。通过将与一帧相关联的所有片段复制到帧的适当位置中，帧重组模块162有效地更新所述帧以包括当前帧的所有信息。
在帧重组模块162将当前片段复制到当前帧的所识别的位置后，帧重组模块162可确定与当前帧相关联的所有片段是否已经复制到当前帧。如果与当前帧相关联的所有片段已被复制到当前帧，则帧重组模块162可将平滑化滤波器应用到当前帧中两个或两个以上片段相会处的像素。将平滑化可应用到这些像素可减少来自不同片段的像素之间的视觉不连续性。因此，平滑化滤波器可有效地减少作为单独块的不同片段的可能的出现。在应用了平滑化滤波器后，帧重组模块162可输出当前帧。否则，如果并未将与当前帧相关联的所有片段复制到当前帧，则帧重组模块162可接收另一经重建的片段。
解码器18的其它实施方案可不包括帧重组模块162或帧重组缓冲器164。在这些实施方案中，后处理器20可对存储于参考缓冲器158中的片段且不对完整的视频帧执行后处理操作。举例来说，后处理器20可对片段执行解块操作。此外，在这些实施方案中，后处理器20可将所述片段重组为完整的视频帧。举例来说，后处理器20可使用所述片段来执行帧速率向上转换。在帧速率向上转换中，后处理器20可在帧序列中的每一现有帧之间添加一个或一个以上帧，借此增加帧序列的帧速率。为了在两个或两个以上现有帧之间添加一帧，后处理器20可基于片段执行对现有帧之间的帧中的瓦片的运动补偿。举例来说，后处理器20可使用跟在正产生的帧后的帧(即，后续帧)的片段中的分割区的运动向量来识别分割区将在正产生的帧(即，当前帧)的片段中具有的位置。当前帧的片段可通过执行对后续帧的片段的所有分割区的此运动补偿而产生。后处理器20可接着通过将片段加到在当前帧前的帧(即，先前帧)来完成当前帧。此外，应了解，在一些情况下，可在传统编码和解码方法的情况下实践此帧速率向上转换技术。在这些情况下，后处理器20可从解码器接收完整的经解码的视频帧，识别视频帧中的瓦片，基于瓦片提取片段，且接着对片段执行帧速率向上操作以产生帧序列中的额外帧。此外，缓冲器填充模块22还可将片段重组为视频帧。如下详细描述，图13说明缓冲器填充模块22可用以将片段重组为完整的视频帧的示范性操作。
图8A和图8B为说明解码器18(图7)内的模块的示范性操作的流程图。起初，在图8A的实例操作中，熵解码单元150可接收媒体对象，其包括与当前片段相关联的一组经编码的经量化的系数、与当前片段的分割区相关联的一组经编码的运动数据、片段识别信息和瓦片描述信息(180)。在接收了所述组经编码的经量化的系数和所述组经编码的运动数据后，熵解码单元150可解码所述组经编码的经量化的系数、所述组经编码的运动数据、片段识别信息和瓦片描述信息(182)。
随后，反量化模块152可对与当前片段相关联的所述组经解码的经量化的系数执行反量化操作(184)。对所述组经解码的经量化的系数执行反量化操作导致与当前片段相关联的一组经反量化的系数。接下来，反变换模块156可对与当前片段相关联的所述组经反量化的系数执行反变换操作(186)。对所述组经反量化的系数执行反变换操作导致与当前片段相关联的残余图片。
在反变换模块156执行了反变换操作后或在反量化模块152正执行反量化操作时或在反变换模块156正执行反变换操作时，运动补偿单元154使用所述组经解码的运动数据来识别与当前片段相关联的预测性片段(188)。接下来，片段重建模块160通过将与当前片段相关联的预测性图片和与当前片段相关联的残余图片相加来产生与当前片段相关联的经重建的片段(190)。在片段重建模块160产生了经重建的片段后，片段重建模块160可确定经重建的片段是否可用作参考片段(191)。如果片段重建模块160确定经重建的片段可用作参考片段(191的“是”)，则片段重建模块160可将经重建的片段存储到参考缓冲器158中(192)。在片段重建模块160将经重建的片段存储到参考缓冲器158中后，片段重建模块160可将经重建的片段提供到帧重组模块162(194)。另一方面，如果片段重建模块160确定经重建的片段不可用作参考片段(191的“否”)，则片段重建模块160可将经重建的片段直接提供到帧重组模块162(194)。在片段重建模块160将经重建的片段提供到帧重组模块162后，熵解码单元150可解码另一组经编码的经量化的系数和另一组经编码的运动数据(182)。
图8B为说明帧重组模块162的示范性操作的流程图。起初，帧重组模块162从片段重建模块160接收与当前片段相关联的片段(200)。为了解释的目的，此接收的片段在本文中被称作“当前片段”。在接收到当前片段后，帧重组模块162识别与当前片段相关联的瓦片(202)。在识别出与当前帧相关联的瓦片后，帧重组模块162将当前片段存储到与所识别的瓦片相关联的当前帧中的一位置(204)。将当前片段存储到当前帧中的所述位置可有效地将当前片段“插塞”到当前帧中。
当帧重组模块162已将当前片段存储到与瓦片的所识别的集合相关联的当前帧中的所述位置时，帧重组模块162可确定是否已将与当前帧相关联的所有片段复制到当前帧(206)。如果与当前帧相关联的所有片段已被复制到当前帧(206的“是”)，则帧重组缓冲器164可输出当前帧(208)。在输出当前帧后，帧重组模块162可接着循环回且再次接收当前帧的片段(200)。否则，如果尚未将与当前帧相关联的每一片段复制到当前帧(206的“否”)，则帧重组模块162可循环回且接收另一片段(200)。
图9为说明预处理器10(图1)的示范性细节的框图。在图9的实例中，预处理器10包括帧输入缓冲器220。帧输入缓冲器220可接收且存储一个或一个以上未经编码的视频帧序列。此外，预处理器10可包括解交错运动估计模块(“DIMEM”)221。DIMEM221可被用作解交错经交错的视频帧的过程的部分。举例来说，偶数号帧可包括偶数号行的视频数据，和奇数号帧可包括奇数号行的视频数据。在此实例中，DIMEM 221可通过对跟在当前偶数号帧后的奇数号交错的帧中的每一块执行下列步骤来对经解交错的偶数号帧执行解交错运动估计操作：
(1)在具有当前块的前面的奇数号交错的帧中的一块周围的前面的奇数号交错的帧的区搜索近似于当前块的块：
(2)如果找到此块，则产生指示所识别的块与当前块之间的位移的运动向量；
类似地，在此实例中，DIMEM 221可通过对跟在当前奇数号帧后的偶数号帧中的每一块执行下列步骤来对经解交错的奇数号帧执行解交错运动估计操作：
(1)在具有当前块的前面的偶数号帧中的一块周围的前面的偶数号帧的区搜索近似于当前块的块；
(2)如果找到此块，则产生指示所识别的块与当前块之间的位移的运动向量。
预处理器10中的瓦片识别模块222可使用由DIMEM 221产生的运动向量来识别在存储于帧输入缓冲器220中的视频帧序列中的视频帧的瓦片的集合。如同瓦片识别模块190，瓦片识别模块222可使用多种技术来识别视频帧序列中的视频帧的瓦片的集合。举例来说，瓦片识别模块222可产生视频帧序列中的每一视频帧的分割区活动性映射。在此实例中，瓦片识别模块222可接着使用分割区活动性映射产生复合分割区活动性映射。瓦片识别模块222可接着使用复合分割区活动性映射识别视频帧中的每一者(其待被编码为p帧或b帧)的瓦片的一个或一个以上集合。瓦片识别模块222可使用复合分割区活动性映射以类似于瓦片识别模块190的方式的方式来识别瓦片的一个或一个以上集合。当瓦片识别模块222识别瓦片的集合时，瓦片识别模块222可产生瓦片的集合的瓦片描述信息。瓦片描述信息可指示瓦片集合索引值、瓦片的集合在帧内的位置和瓦片的形状。
在瓦片识别模块222识别出帧的瓦片的集合且产生了相关联的瓦片描述信息后，预处理器10中的片段提取模块224可从每一帧提取与所识别的瓦片相关联的片段。当片段提取模块224提取与瓦片的所识别的集合中的一者中的瓦片相关联的片段时，片段提取模块224可产生所述片段的片段识别信息。片段的片段识别信息可指定从其提取片段的帧号和与瓦片的集合(与片段相关联的瓦片为其成员)相关联的瓦片集合索引值。片段提取模块224可接着将所提取的片段和瓦片识别信息存储到片段缓冲器226中。
在片段提取模块224将所提取的片段存储到片段缓冲器226中后，一系列预处理操作模块228A到228N(统称为“预处理操作模块228”)可对所提取的片段执行视频预处理操作。举例来说，预处理操作模块228A可执行对比度调整操作，预处理操作模块228B可执行噪声减少操作，且预处理操作模块228中的其它者可执行其它视频预处理操作。在预处理操作模块228中的至少一者对片段执行最后的视频预处理操作后，预处理操作模块228中的此最后一者可将所得片段与和所得片段相关联的片段识别信息一起存储到经预处理片段缓冲器230中。
在预处理操作模块228中的最后一者将所得片段存储到经预处理片段缓冲器230中后，解交错运动补偿模块(DIMCM)229可执行解交错片段的操作。举例来说，如果所得片段与偶数号帧相关联，则DIMCM 229可对片段的每一分割区执行下列步骤以便产生与偶数号帧相关联的经解交错的片段：
(1)使用当前分割区的运动向量来识别存储于经预处理片段缓冲器230中的片段的分割区；
(2)确定沿着当前分割区的运动向量的中途点；
(3)将由当的分割区的运动向量识别的分割区添加到在最靠近所识别的中途点的奇数号线上的位置处的当前偶数号片段；以及
(4)如果当前分割区不具有运动向量，则将当前分割区复制到在当前分割区的当前位置处的当前偶数号帧的奇数号线。
类似地，如果所得片段与奇数号帧相关联，则DIMCM 229可对片段的每一分割区执行下列步骤以便产生与奇数号帧相关联的经解交错的片段：
(1)使用当前分割区的运动向量来识别存储于经预处理片段缓冲器230中的片段的分割区；
(2)确定沿着与当前分割区相关联的运动向量的中途点；
(3)将由与当前分割区相关联的运动向量指示的分割区添加到在最靠近所识别的中途点的偶数号线上的位置处的在中途点处的当前奇数号帧；以及
(4)如果当前分割区不具有运动向量，则将当前分割区复制到在当前片段的当前位置处的当前片段的偶数号线。
应了解，关于这些步骤的许多变化是可能的。在此过程结束时，DIMCM 229已产生一组经解交错的片段。
如图9的实例中所说明，预处理器10还可包括帧重组模块232。帧重组模块232将经预处理图片缓冲器230中的经解交错的片段重组为完整的经解交错的视频帧。帧重组模块232可使用与图8B中说明的帧重组模块162的示范性操作相同或类似的操作来重组经预处理图片缓冲器230中的片段。在帧重组模块232将经预处理图片缓冲器230中的经解交错的片段重组为完整的经解交错的视频帧/切片后，帧重组模块232可将完整的经解交错的视频帧/切片输出到编码器16。
在一些实施方案中，预处理器10不包括帧重组模块232。而是，当DIMCM 229产生经解交错的片段时，DIMCM 229可将所得片段和相关联的片段识别信息和瓦片识别信息直接输出到编码器16。此外，在这些实施方案中，编码器16可不包括分割区映射模块36、映射缓冲器38、瓦片识别模块40或片段提取模块42。在这些实施方案中，编码器16可作为常规的编码器操作，将由预处理器10提供的每一片段编码为单独的常规视频帧。然而，在这些实施方案中，当输出模块58输出与片段中的一者相关联的经编码的数据时，输出模块58可输出由预处理器10产生的用于所述片段中的所述一者的片段识别信息。此外，输出模块58可输出由预处理器10产生的瓦片描述信息。
图10为说明预处理器10(图9)的示范性操作的流程图。起初，预处理器10接收视频帧序列(250)。当预处理器10接收经交错的视频帧序列时，预处理器10可将所述经交错的视频帧序列存储到帧输入缓冲器220中(252)。接下来，DIMEM 221可执行解交错运动估计操作(253)。当DIMEM 221执行解交错运动估计操作时，DIMEM 221可产生运动向量。瓦片识别模块222可使用运动向量来识别所述视频帧序列中的视频帧的瓦片的集合(254)。在瓦片识别模块222识别出所述视频帧序列的瓦片的集合后，瓦片识别模块222可产生瓦片的集合中的每一者的瓦片描述信息(255)。
接下来，片段提取模块224可从所述视频帧序列中的每一视频帧提取与所识别的瓦片相关联的片段(256)。在提取所述片段后，片段提取模块224可产生所提取的片段中的每一者的片段识别信息(258)。片段提取模块224可接着将所提取的片段存储到片段缓冲器226中(260)。
在片段提取模块224将所提取的片段存储到片段缓冲器226中后，预处理操作模块228对所述片段执行一个或一个以上预处理操作(262)。预处理操作模块228中的最后一者可接着将所得的经预处理的片段存储到经预处理片段缓冲器230中(263)。接下来，DIMCM 229可基于存储于经预处理片段缓冲器230中的参考片段来执行对当前视频帧的瓦片的解交错运动补偿操作(264)。作为解交错运动补偿操作的结果，由DIMCM 229产生的片段经解交错。帧重组模块232可接着将经预处理图片缓冲器230中的经解交错的经预处理的片段重组为完整的视频帧/切片(266)。应理解，在一些实施方案中，可省略步骤266。
图11为说明解码器18(图1)的一组替代的示范性细节的框图。在图11的实例中，解码器18接收包括完整的视频帧的媒体对象。举例来说，解码器18可接收包括以传统方式编码的H.264/AVC数据、MPEG-4或另一媒体译码标准的媒体流或媒体文件。由于图2中说明的编码器16的示范性细节输出包括视频帧的片段的媒体对象，所以图11中所说明的解码器18的示范性细节可能与图2中所说明的编码器16的示范性细节不相容。
在图11的实例中，当解码器18接收到媒体对象时，熵解码单元150可执行一个或一个以上操作以识别与编码于媒体对象中的视频帧的一个或一个以上瓦片集合相关联的媒体对象的部分。在识别出媒体对象的这些部分后，熵解码单元150可解码媒体对象的所识别的部分。以此方式，熵解码单元150可解码片段集合和与所述片段相关联的运动数据，同时使视频帧和运动数据的其余部分保持被编码。
视所接收的媒体对象的编码格式和可能的其它因素而定，熵解码单元150可以多种方式执行这些操作。举例来说，媒体对象可包括经编码的序列标头，其指示关于媒体对象的一般信息(例如，帧速率、帧的大小等)。此外，在此实例中，媒体对象可包括经编码的切片标头，其指示关于视频数据的特定切片的信息(例如，切片的位置、切片中的分割区的数目等)。媒体对象还可包括经编码的分割区标头，其指示关于特定分割区的信息(例如，运动数据、在与分割区相关联的一组经编码的经量化的系数中的数据位的数目等)。如图11的实例中所说明，熵解码单元150可包括序列标头解码模块280。序列标头解码模块280对媒体对象中的序列标头执行熵解码操作。接下来，切片标头解码模块284使用所述经解码的序列标头中的一者或一者以上来识别媒体对象的表示经编码的切片标头的部分。在识别出媒体对象的表示经编码的切片标头的部分后，切片标头解码模块284对输入媒体对象的经编码的切片标头执行熵解码操作。分割区标头解码模块286使用经解码的切片标头识别媒体对象的表示经编码的分割区标头的部分。在识别出媒体对象的表示经编码的分割区标头的部分后，分割区标头解码模块286对输入媒体流的经编码的分割区标头执行熵解码操作。
继续先前段落的实例，熵解码单元150中的瓦片识别模块288可接着使用经解码的分割区标头识别经编码的视频帧的与瓦片相关联的经编码的分割区。举例来说，瓦片识别模块288可使用在分割区标头中指示的运动数据产生在媒体对象中的视频帧序列中的视频帧的分割区活动性映射。瓦片识别模块288可接着使用分割区活动性映射产生复合分割区活动性映射。瓦片识别模块288可接着按以上关于瓦片识别模块90和瓦片识别模块222描述的方式使用复合分割区活动性映射来识别所述视频帧序列中的待解码为P帧或B帧的视频帧的瓦片的一个或一个以上集合。在瓦片识别模块288识别出瓦片的集合后，瓦片识别模块288可产生瓦片的集合的瓦片描述信息。如同先前提到的瓦片描述信息，由瓦片识别模块288产生的瓦片描述信息可指示瓦片集合索引值、瓦片的位置等等。
当瓦片识别模块288已识别出瓦片的一个或一个以上集合时，分割区数据解码模块290可针对每一帧将熵解码操作应用到处于瓦片的所识别的集合中的一者的瓦片内的每一经编码的分割区。在此实例中，分割区解码模块290不将熵解码操作应用到不处于瓦片内的经编码的分割区。以此方式，分割区数据解码模块290解码每一帧中的每一瓦片的一组经量化的系数。由于“片段”为在瓦片中含有的图片，所以分割区数据解码模块290实际上解码与不同片段相关联的若干组经量化的系数。在分割区数据解码模块290解码了与一片段相关联的一组经量化的系数后，分割区解码模块290产生所述片段的一组片段识别信息。如同先前提到的片段识别信息，由分割区数据解码模块290产生的片段识别信息可指示指示从所指示的帧提取片段的帧索引值和指示片段为在瓦片的特定集合中的一瓦片中所含有的图片的瓦片集合索引值。
在图11的实例中，反量化模块292可通过对与当前片段相关联的一组经量化的系数执行反量化操作来产生一组经反量化的系数。接下来，反变换模块294可通过对与当前片段相关联的所述组经反量化的系数执行反变换操作来产生与当前片段相关联的经解码的残余图片。此外，运动补偿单元296可使用参考缓冲器298中的参考片段和与当前片段相关联的运动数据产生与当前片段相关联的预测性片段。在运动补偿单元296已产生与当前片段相关联的预测性片段且反变换模块294已产生与当前片段相关联的经解码的残余片段后，片段重建模块300可通过将预测性片段和经解码的残余片段相加而产生与当前片段相关联的经重建的片段。片段重建模块300可接着将经重建的片段存储到参考缓冲器298中。
虽然在图11的实例中未说明，但解码器18可包括从存储于参考缓冲器298中的片段重建完整的帧的帧重建模块。此帧重建模块可使用图8B中所说明的示范性操作而从存储于参考缓冲器298中的片段重建完整的帧。
图12为说明图11中所说明的解码器18的替代实施方案的示范性操作的流程图。起初，熵解码单元150接收包括视频帧的经编码的序列的媒体对象(310)。接下来，熵解码单元150中的序列标头解码模块280对媒体对象中的序列标头执行熵解码操作(312)。接下来，切片标头解码模块284可使用经解码的分割区标头来识别切片标头在媒体对象内的位置(314)。切片标头解码模块284可接着解码所识别的切片标头(316)。分割区标头解码模块286可接着使用经解码的切片标头识别分割区标头在媒体对象内的位置(318)。分割区标头解码模块286可接着解码所识别的分割区标头(320)。
在分割区标头解码模块286解码了所识别的分割区标头后，瓦片识别模块288使用经解码的分割区标头识别视频帧序列中的视频帧的瓦片的集合(322)。如上所论述，瓦片识别模块288可使用多种不同技术来识别视频帧序列的视频帧的瓦片的集合。在替代实施方案中，瓦片识别模块288可接收指示与媒体对象分开的瓦片的集合的数据。瓦片识别模块288可使用此数据来识别视频帧序列中的视频帧的瓦片的集合。在瓦片识别模块288识别出瓦片的集合后，瓦片识别模块288可产生瓦片的所识别的集合中的每一者的瓦片描述信息(324)。
接下来，分割区数据解码模块290解码处于所识别的瓦片内的分割区的那些经编码的版本(326)。作为解码分割区的经编码的版本的结果，分割区数据解码模块290已产生与不同片段相关联的若干组的经量化的系数。一旦分割区数据解码模块290解码了分割区的经编码的版本，则分割区数据解码模块290可输出经解码的分割区数据、运动数据、图片识别信息(“PII”)和瓦片描述信息(“TDI”)(330)。
图13为说明将片段存储到显示缓冲器24中的缓冲器填充模块22(图1)的示范性操作的流程图。当执行此操作时，缓冲器填充模块22有效地充当帧重组模块。
根据图13的实例操作，显示缓冲器24包括三个缓冲器：B0、B1和B2。这三个缓冲器的使用可允许缓冲器填充模块22在显示缓冲器B0、B1和B2中重建完整的帧。因此，当缓冲器填充模块22使用图13的示范性操作时，解码模块18可能没必要包括或使用帧重建模块162。
起初，缓冲器填充模块22从片段缓冲器检索与帧FX相关联的一组片段(350)。在检索了与帧FX相关联的所述组片段后，缓冲器填充模块22确定帧FX是否为视频帧序列的第一个帧(352)。
如果缓冲器填充模块22确定帧FX为视频帧序列的第一个帧(352的“是”)，则缓冲器填充模块22将与帧FX相关联的片段中的每一者写入到缓冲器B(X mod 3)(354)。为了将与帧FX相关联的片段中的每一者写入到缓冲器B(X mod 3)内的适当位置，缓冲器填充模块22可使用与片段相关联的片段识别信息来识别与片段相关联的瓦片描述信息。缓冲器填充模块22可接着使用在瓦片描述信息中指示的位置来识别缓冲器B(X mod 3)内的适当位置。
接下来，缓冲器填充模块22将缓冲器B(X mod 3)的内容复制到缓冲器B((X+1)mod 3)(356)。在缓冲器填充模块22将缓冲器B(Xmod 3)的内容复制到缓冲器B((X+1)mod 3)后，显示单元26可显示缓冲器B((X+2)mod 3)的内容(358)。一旦显示单元26已显示缓冲器B((X+2)mod 3)的内容，则缓冲器填充模块22可递增X的值(360)。缓冲器填充模块22可接着循环回且检索与帧FX相关联的片段(350)。由于缓冲器填充模块22已递增X，所以缓冲器填充模块22检索与在缓冲器填充模块22先前加到显示缓冲器24的帧之后的帧相关联的片段。
另一方面，如果缓冲器填充模块22确定帧FX并非视频帧序列的第一个帧(352的“否”)，则缓冲器填充模块22将与帧FX相关联的片段中的每一者写入到缓冲器B(Xmod 2)中的适当位置(362)。在缓冲器填充模块22将与帧FX相关联的片段中的每一者写入到缓冲器B(Xmod 2)中的适当位置后，显示单元26可显示缓冲器B((X+1)mod 2)的内容(364)。一旦显示单元26已显示缓冲器B((X+1)mod 2)的内容，则缓冲器填充模块22可递增X的值(360)。缓冲器填充模块22可接着循环回且检索与帧FX相关联的图片(350)。
注意，虽然本发明参照三个缓冲器来解释图13，但可存在具有更高数目的缓冲器的操作。
本文中所描述的技术可以硬件、软件、固件或其任何组合实施。描述为模块或组件的任何特征可一起实施于集成逻辑装置中或单独实施为离散但可互操作的逻辑装置。如果以软件实施，则所述技术可至少部分地由包含指令的计算机可读媒体实现，所述指令在执行时执行上述方法的一者或一者以上。计算机可读媒体可形成计算机程序产品的部分，计算机程序产品可包括封装材料。计算机可读媒体可包含例如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体等。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体以指令或数据结构的形式载运或传递代码且可由计算机存取、读取和/或执行。
代码可由一个或一个以上处理器执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码和解码的专用软件模块或硬件模块内，或并入组合的视频编码器-解码器(编解码器)中。
已描述了各种实例实施方案。举例来说，已关于视频帧描述了各种实施方案。然而，前述描述和所附权利要求书可适用于如来自任意俘获速率下的相机的视频切片或一组连续图像。此外，已主要在运动补偿译码技术的情形下描述用于使用片段参考图片编码和解码视频帧序列的技术。然而，如本文中描述的片段参考图片的使用还可用于其它处理或译码情形下，例如，用于缩放、边缘增强等。因此，本文中描述为基于参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿的单元、模块或电路可替代地为基于参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的缩放或边缘增强(或可能另一视频处理技术)的单元、模块或电路。这些和其它实施方案处于所附权利要求书的范围内。

Claims (45)

1.一种方法，其包含：
存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿。
2.根据权利要求1所述的方法，
其中所述当前瓦片与所述瓦片集合中的所述瓦片处于同一地点；
其中所述方法进一步包含自动识别所述瓦片集合：且
其中自动识别所述瓦片集合包含：
识别所述视频帧中的每一者中的活动分割区的集合；以及
对于所述视频帧中的每一给定者，识别所述视频帧的所述给定者的瓦片，使得所述瓦片包括所述视频帧的所述给定者的所述所识别的活动分割区的集合和所述视频帧的所述给定者的与所述视频帧的其它者的所述所识别的活动分割区的集合中的活动分割区处于同一地点的分割区。
3.根据权利要求1所述的方法，
其中执行运动补偿包含产生与所述当前视频帧的所述当前瓦片相关联的预测性片段；且
其中所述方法进一步包含：
从所述当前视频帧提取与所述当前瓦片相关联的片段；
使用所述所提取的片段和所述预测性片段产生与所述当前视频帧的所述当前瓦片相关联的残余片段；
对所述残余片段执行变换以便产生一组系数；
量化所述组系数，借此产生一组经量化的系数；
熵编码所述组经量化的系数；以及
输出所述组经熵编码的经量化的系数以作为媒体对象的部分；
反量化所述组经量化的系数，借此产生一组经反量化的系数；
对所述组经反量化的系数执行所述变换的反操作以便产生经解码的残余片段；
使用所述预测性片段和所述经解码的残余片段产生经重建的片段；以及
存储所述经重建的片段以用作参考片段。
4.根据权利要求1所述的方法，
其中执行运动补偿包含产生与所述当前视频帧的所述当前瓦片相关联的预测性片段；且
其中所述方法进一步包含：
接收包括与所述当前视频帧的所述当前瓦片相关联的数据集合的媒体对象；
基于所述数据集合产生残余片段；
使用所述预测性片段和所述残余片段产生与所述当前视频帧的所述当前瓦片相关联的经重建的片段；以及
使用所述经重建的片段重建所述当前视频帧。
5.根据权利要求4所述的方法，其中使用所述经重建的片段重建所述当前视频帧包含修改先前经解码的完整的视频帧，使得所述经重建的片段被指定于所述先前经解码的完整的视频帧的与所述当前视频帧的所述当前瓦片处于同一地点的瓦片中。
6.根据权利要求1所述的方法，
其中使所述参考片段交错；且
其中执行对所述当前瓦片的运动补偿包含基于所述参考片段中的一者或一者以上执行对所述当前瓦片的解交错运动补偿。
7.根据权利要求1所述的方法，其中所述方法进一步包含在所述视频帧序列中的两个视频帧之间添加所述当前视频帧以作为用以增加所述视频帧序列的帧速率的操作的部分。
8.一种装置，其包含：
参考缓冲器，其存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
运动补偿单元，其基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿。
9.根据权利要求8所述的装置，
其中所述当前瓦片与所述瓦片集合中的所述瓦片处于同一地点；
其中所述装置进一步包含瓦片识别模块，所述瓦片识别模块自动识别所述瓦片集合；且
其中所述瓦片识别模块包含：
分割区活动性模块，其识别所述视频帧中的每一者中的活动分割区的集合；以及
瓦片建构模块，对于所述视频帧中的每一给定者，其识别所述视频帧的所述给定者的瓦片，使得所述瓦片包括所述视频帧的所述给定者的所述所识别的活动分割区的集合和所述视频帧的所述给定者的与所述视频帧的其它者的所述所识别的活动分割区的集合中的活动分割区处于同一地点的分割区。
10.根据权利要求8所述的装置，
其中当所述运动补偿单元执行对所述当前瓦片的运动补偿时，所述运动补偿单元产生与所述当前视频帧的所述当前瓦片相关联的预测性片段；且
其中所述装置进一步包含：
片段提取模块，其从所述当前视频帧提取与所述当前瓦片相关联的片段；
模块，其使用所述所提取的片段和所述预测性片段产生与所述当前视频帧的所述当前瓦片相关联的残余片段；
块变换单元，其对所述残余片段执行变换以便产生一组系数；
量化模块，其量化所述组系数，借此产生一组经量化的系数；
熵编码单元，其熵编码所述组经量化的系数；
输出模块，其输出所述组经熵编码的经量化的系数以作为媒体对象的部分；
反量化模块，其反量化所述组经量化的系数，借此产生一组经反量化的系数；
反变换单元，其对所述组经反量化的系数执行所述变换的反操作以便产生经解码的残余片段；以及
模块，其使用所述预测性片段和所述经解码的残余片段产生经重建的片段，
其中所述参考缓冲器存储所述经重建的片段以用作参考片段。
11.根据权利要求8所述的装置，
其中当所述运动补偿单元执行对所述当前瓦片的运动补偿时，所述运动补偿单元产生与所述当前视频帧的所述当前瓦片相关联的预测性片段；且
其中所述装置接收包括与所述当前视频帧的所述当前瓦片相关联的数据集合的媒体对象；且
其中所述装置进一步包含：
解码器，其基于所述数据集合产生残余片段；
模块，其使用所述预测性片段和所述残余片段产生与所述当前视频帧的所述当前瓦片相关联的经重建的片段；以及
帧重组模块，其使用所述经重建的片段重建所述当前视频帧。
12.根据权利要求11所述的装置，其中所述帧重组模块修改先前经解码的完整的视频帧，使得所述经重建的片段被指定于所述先前经解码的完整的视频帧的与所述当前视频帧的所述当前瓦片处于同一地点的瓦片中。
13.根据权利要求8所述的装置，
其中所述参考片段经交错；且
其中所述运动补偿单元通过基于所述参考片段中的一者或一者以上执行对所述当前瓦片的解交错运动补偿来执行对所述当前瓦片的所述运动补偿。
14.根据权利要求8所述的装置，其中所述装置进一步包含后处理器，其在所述视频帧序列中的两个视频帧之间添加所述当前视频帧以作为用以增加所述视频帧序列的帧速率的操作的部分。
15.一种装置，其包含：
用于存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段的装置，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
用于基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿的装置。
16.根据权利要求15所述的装置，
其中所述装置进一步包含用于自动识别所述瓦片集合的装置；
其中所述用于自动识别所述瓦片集合的装置包含：
用于识别所述视频帧中的每一者中的活动分割区的集合的装置；以及
用于对于所述视频帧中的每一给定者识别所述视频帧的所述给定者的瓦片，使得所述瓦片包括所述视频帧的所述给定者的所述所识别的活动分割区的集合和所述视频帧的所述给定者的与所述视频帧的其它者的所述所识别的活动分割区的集合中的活动分割区处于同一地点的分割区的装置；且
其中所述当前瓦片与所述瓦片集合中的所述瓦片处于同一地点。
17.根据权利要求15所述的装置，
其中当所述用于执行运动补偿的装置执行对所述当前瓦片的运动补偿时，所述用于执行运动补偿的装置产生与所述当前视频帧的所述当前瓦片相关联的预测性片段；且
其中所述装置进一步包含：
用于从所述当前视频帧提取与所述当前瓦片相关联的片段的装置；
用于使用所述所提取的片段和所述预测性片段产生与所述当前视频帧的所述当前瓦片相关联的残余片段的装置；
用于对所述残余片段执行变换以便产生一组系数的装置；
用于量化所述组系数借此产生一组经量化的系数的装置；
用于熵编码所述组经量化的系数的装置；
用于输出所述组经熵编码的经量化的系数以作为媒体对象的部分的装置；
用于反量化所述组经量化的系数借此产生一组经反量化的系数的装置；
用于对所述组经反量化的系数执行所述变换的反操作以便产生经解码的残余片段的装置；以及
用于使用所述预测性片段和所述经解码的残余片段产生经重建的片段的装置，
其中所述用于存储所述组片段的装置存储所述经重建的片段以用作参考片段。
18.根据权利要求15所述的装置，其中当所述用于执行运动补偿的装置执行对所述当前瓦片的运动补偿时，所述用于执行运动补偿的装置产生与所述当前视频帧的所述当前瓦片相关联的预测性片段；
其中所述装置接收包括与所述当前视频帧的所述当前瓦片相关联的数据集合的媒体对象；且
其中所述装置进一步包含：
用于基于所述数据集合产生残余片段的装置；
用于使用与所述当前视频帧的所述当前瓦片相关联的所述预测性片段和所述残余片段产生与所述当前视频帧的所述当前瓦片相关联的经重建的片段的装置；以及
用于使用所述经重建的片段重建所述当前视频帧的装置。
19.根据权利要求18所述的装置，其中所述用于使用所述经重建的片段重建所述当前视频帧的装置修改先前经解码的完整的视频帧，使得所述经重建的片段被指定于所述先前经解码的完整的视频帧的与所述当前视频帧的所述当前瓦片处于同一地点的瓦片中。
20.根据权利要求15所述的装置，
其中所述参考片段经交错；且
其中所述用于执行运动补偿的装置通过基于所述参考片段中的一者或一者以上执行对所述当前瓦片的解交错运动补偿来执行对所述当前瓦片的所述运动补偿。
21.根据权利要求15所述的装置，其中所述装置进一步包含用于在所述视频帧序列中的两个视频帧之间添加所述当前视频帧以作方用以增加所述视频帧序列的帧速率的操作的部分的装置。
22.一种计算机可读媒体，其包含当由一个或一个以上处理器执行时致使一个或一个以上处理器执行以下操作的可执行指令：
存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿。
23.根据权利要求22所述的计算机可读媒体，
其中所述指令进一步致使所述一个或一个以上处理器自动识别所述瓦片集合；
其中所述指令至少部分通过致使所述一个或一个以上处理器执行以下操作来致使所述一个或一个以上处理器自动识别所述瓦片集合：
识别所述视频帧中的每一者中的活动分割区的集合；以及
对于所述视频帧中的每一给定者，识别所述视频帧的所述给定者的瓦片，使得所述瓦片包括所述视频帧的所述给定者的所述所识别的活动分割区的集合和所述视频帧的所述给定者的与所述视频帧的其它者的所述所识别的活动分割区的集合中的活动分割区处于同一地点的分割区；且
其中所述当前瓦片与所述瓦片集合中的所述瓦片处于同一地点。
24.根据权利要求22所述的计算机可读媒体，
其中所述指令至少部分通过致使所述一个或一个以上处理器产生与所述当前视频帧的所述当前瓦片相关联的预测性片段来致使所述一个或一个以上处理器执行运动补偿；且
其中所述指令进一步致使所述一个或一个以上处理器：
从所述当前视频帧提取与所述当前瓦片相关联的片段；
使用所述所提取的片段和所述预测性片段产生残余片段；
对所述残余片段执行变换以便产生一组系数；
量化所述组系数，借此产生一组经量化的系数；
熵编码所述组经量化的系数；
输出所述组经熵编码的经量化的系数以作为媒体对象的部分；
反量化所述组经量化的系数，借此产生一组经反量化的系数；
对所述组经反量化的系数执行所述变换的反操作以便产生经解码的残余片段；
使用所述预测性片段和所述经解码的残余片段产生经重建的片段；以及
存储所述经重建的片段以用作参考片段。
25.根据权利要求22所述的计算机可读媒体，
其中所述指令至少部分通过致使所述一个或一个以上处理器产生与所述当前视频帧的所述当前瓦片相关联的预测性片段来致使所述一个或一个以上处理器执行运动补偿；且
其中所述指令进一步致使所述一个或一个以上处理器：
接收包括与所述当前视频帧的所述当前瓦片相关联的数据集合的媒体对象；
基于所述数据集合产生残余片段；
使用与所述当前视频帧的所述瓦片相关联的所述预测性片段和所述残余片段产生与所述当前视频帧相关联的经重建的片段；以及
使用所述经重建的片段重建所述当前视频帧。
26.根据权利要求25所述的计算机可读媒体，其中所述指令至少部分通过致使所述一个或一个以上处理器修改先前经解码的完整的视频帧，使得所述经重建的片段被指定于所述先前经解码的完整的视频帧的与所述当前视频帧的所述当前瓦片处于同一地点的瓦片中而致使所述一个或一个以上处理器使用所述经重建的片段重建所述当前视频帧。
27.根据权利要求22所述的计算机可读媒体，
其中所述参考片段经交错；且
其中执行对所述当前瓦片的运动补偿包含基于所述参考片段中的一者或一者以上执行对所述当前瓦片的解交错运动补偿。
28.根据权利要求22所述的计算机可读媒体，其中所述指令进一步致使所述一个或一个以上处理器在所述视频帧序列中的两个视频帧之间添加所述当前视频帧以作为用以增加所述视频帧序列的帧速率的操作的部分。
29.一种集成电路，其包含：
存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段的
电路，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿的电路。
30.根据权利要求29所述的集成电路，
其中所述集成电路进一步包含自动识别所述瓦片集合的电路；
其中所述自动识别所述瓦片集合的电路包含：
识别所述视频帧中的每一者中的活动分割区的集合的电路；以及
对于所述视频帧中的每一给定者，识别所述视频帧的所述给定者的瓦片，使得所述瓦片包括所述视频帧的所述给定者的所述所识别的活动分割区的集合和所述视频帧的所述给定者的与所述视频帧的其它者的所述所识别的活动分割区的集合中的活动分割区处于同一地点的分割区的电路；且
其中所述当前瓦片与所述瓦片集合中的所述瓦片处于同一地点。
31.根据权利要求29所述的集成电路，
其中当所述执行运动补偿的电路执行对所述当前瓦片的运动补偿时，所述执行运动补偿的电路产生与所述当前视频帧的所述当前瓦片相关联的预测性片段；且其中所述集成电路进一步包含：
从所述当前视频帧提取与所述当前瓦片相关联的片段的电路；
使用所述所提取的片段和所述预测性片段产生与所述当前视频帧的所述当前瓦片相关联的残余片段的电路；
对所述残余片段执行变换以便产生一组系数的电路；
量化所述组系数借此产生一组经量化的系数的电路；
熵编码所述组经量化的系数的电路；以及
输出所述组经熵编码的经量化的系数以作为媒体对象的部分的电路；
反量化所述组经量化的系数借此产生一组经反量化的系数的电路；
对所述组经反量化的系数执行所述变换的反操作以便产生经解码的残余片段的电路；以及
使用所述预测性片段和所述经解码的残余片段产生经重建的片段的电路，
其中所述存储所述组片段的电路存储所述经重建的片段以用作参考片段。
32.根据权利要求29所述的集成电路，
其中当所述执行运动补偿的电路执行对所述当前瓦片的运动补偿时，所述执行运动补偿的电路产生与所述当前视频帧的所述当前瓦片相关联的预测性片段；
其中所述集成电路接收包括与所述当前视频帧的所述当前瓦片相关联的数据集合的媒体对象；且
其中所述集成电路进一步包含：
基于所述数据集合产生残余片段的电路；
使用与所述当前视频帧的所述当前瓦片相关联的所述预测性片段和所述残余片段产生与所述当前视频帧的所述当前瓦片相关联的经重建的片段的电路；以及使用所述经重建的片段重建所述当前视频帧的电路。
33.根据权利要求32所述的集成电路，其中所述用于使用所述经重建的片段重建所述当前视频帧的电路修改先前经解码的完整的视频帧，使得所述经重建的片段被指定于所述先前经解码的完整的视频帧的与所述当前视频帧的所述当前瓦片处于同一地点的瓦片中。
34.根据权利要求29所述的集成电路，
其中所述参考片段经交错；且
其中所述执行运动补偿的电路通过基于所述参考片段中的一者或一者以上执行对所述当前瓦片的解交错运动补偿来执行对所述当前瓦片的所述运动补偿。
35.根据权利要求29所述的集成电路，其中所述集成电路进一步包含在所述视频帧序列中的两个视频帧之间添加所述当前视频帧以作为用以增加所述视频帧序列的帧速率的操作的部分的电路。
36.一种方法，其包含：
存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
基于所述参考片段中的一者或一者以上对当前视频帧的当前瓦片执行视频处理技术。
37.根据权利要求36所述的方法，其中执行所述视频处理技术包含以下各项中的一者：
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿；
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的缩放；以及
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的边缘增强。
38.一种装置，其包含：
参考缓冲器，其存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
单元，其基于所述参考片段中的一者或一者以上对当前视频帧的当前瓦片执行视频处理技术。
39.根据权利要求38所述的装置，其中所述执行所述视频处理技术的单元包含以下各项中的一者：
运动补偿单元，其基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿；
缩放单元，其基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的缩放；以及
边缘增强单元，其基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的边缘增强。
40.一种装置，其包含：
用于存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段的装置，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
用于基于所述参考片段中的一者或一者以上对当前视频帧的当前瓦片执行视频处理技术的装置。
41.根据权利要求40所述的装置，其中用于执行所述视频处理技术的装置包含以下各项中的一者：
用于基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿的装置；
用于基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的缩放的装置；以及
用于基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的边缘增强的装置。
42.一种计算机可读媒体，其包含当由一个或一个以上处理器执行时致使一个或一个以上处理器执行以下操作的可执行指令：
存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
基于所述参考片段中的一者或一者以上对当前视频帧的当前瓦片执行视频处理技术。
43.根据权利要求42所述的计算机可读媒体，其中所述指令致使所述一个或一个以上处理器通过执行以下操作中的一者来执行所述视频处理技术：
基于所述参考片段中的一者或一者以上对当前视频帧的当前瓦片的运动补偿；
基于所述参考片段中的一者或一者以上对当前视频帧的当前瓦片的缩放；以及
基于所述参考片段中的一者或一者以上对当前视频帧的当前瓦片的边缘增强。
44.一种集成电路，其包含：
存储包含与视频帧序列中的视频帧的瓦片集合相关联的视频数据的参考片段的电路，其中所述瓦片集合中的每一瓦片表示相应视频帧的分割区的子集；以及
基于所述参考片段中的一者或一者以上对当前视频帧的当前瓦片执行视频处理技术的电路。
45.根据权利要求44所述的集成电路，其中所述执行视频处理技术的电路包含以下各项中的一者：
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的运动补偿的电路；
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的缩放的电路；以及
基于所述参考片段中的一者或一者以上执行对当前视频帧的当前瓦片的边缘增强的电路。
CN2009801237651A 2008-06-25 2009-06-24 用于视频译码的时间压缩中的片段化参考 Expired - Fee Related CN102067608B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/145,900 US8908763B2 (en) 2008-06-25 2008-06-25 Fragmented reference in temporal compression for video coding
US12/145,900 2008-06-25
PCT/US2009/048506 WO2009158428A1 (en) 2008-06-25 2009-06-24 Fragmented reference in temporal compression for video coding

Publications (2)

Publication Number Publication Date
CN102067608A true CN102067608A (zh) 2011-05-18
CN102067608B CN102067608B (zh) 2013-12-04

Family

ID=41258406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801237651A Expired - Fee Related CN102067608B (zh) 2008-06-25 2009-06-24 用于视频译码的时间压缩中的片段化参考

Country Status (10)

Country Link
US (1) US8908763B2 (zh)
EP (1) EP2308234A1 (zh)
JP (1) JP5280530B2 (zh)
KR (1) KR101202630B1 (zh)
CN (1) CN102067608B (zh)
BR (1) BRPI0914601A2 (zh)
CA (1) CA2726480C (zh)
RU (1) RU2485712C2 (zh)
TW (1) TWI444048B (zh)
WO (1) WO2009158428A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103975596A (zh) * 2011-10-24 2014-08-06 高通股份有限公司 用于视频译码的瓦片的分组
CN106507106A (zh) * 2016-11-08 2017-03-15 中国科学技术大学 基于参考片的视频帧间预测编码方法
CN108989849A (zh) * 2018-08-01 2018-12-11 广州长嘉电子有限公司 一种dvb-t2+s2电视信号处理方法及系统
CN109862373A (zh) * 2013-07-15 2019-06-07 索尼公司 用于交互性的运动约束贴片集合sei消息的扩展
CN110365976A (zh) * 2013-11-14 2019-10-22 寰发股份有限公司 利用基于帧内图片区块复制预测的视频编码方法
CN110544289A (zh) * 2014-05-14 2019-12-06 英特尔公司 在中排序架构中利用帧间相干性
CN111985456A (zh) * 2020-09-10 2020-11-24 上海交通大学 视频实时识别分割及检测架构
CN113747162A (zh) * 2020-05-29 2021-12-03 北京金山云网络技术有限公司 视频处理方法和装置、存储介质和电子装置

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8599921B2 (en) * 2009-03-27 2013-12-03 Vixs Systems, Inc Adaptive partition subset selection module and method for use therewith
US8964828B2 (en) 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8948270B2 (en) * 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8787447B2 (en) * 2008-10-30 2014-07-22 Vixs Systems, Inc Video transcoding system with drastic scene change detection and method for use therewith
US20100111181A1 (en) * 2008-11-06 2010-05-06 Mediatek Inc. Video processing apparatus and methods
KR101094304B1 (ko) * 2010-02-23 2011-12-19 삼성모바일디스플레이주식회사 표시 장치 및 그의 영상 처리 방법
US9426477B2 (en) * 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
US20110216829A1 (en) * 2010-03-02 2011-09-08 Qualcomm Incorporated Enabling delta compression and modification of motion estimation and metadata for rendering images to a remote display
KR101540899B1 (ko) 2010-04-09 2015-07-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US8411743B2 (en) * 2010-04-30 2013-04-02 Hewlett-Packard Development Company, L.P. Encoding/decoding system using feedback
TWI485634B (zh) * 2010-11-30 2015-05-21 Hon Hai Prec Ind Co Ltd 差異影像自動識別系統及方法
US10244239B2 (en) 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
EP4033760A1 (en) * 2010-12-31 2022-07-27 Electronics And Telecommunications Research Institute Method for encoding video information and method for decoding video information, and apparatus using same
US20120230398A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including slices
US20120230399A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including a bitstream signal
US9154804B2 (en) * 2011-06-04 2015-10-06 Apple Inc. Hint based adaptive encoding
KR101799978B1 (ko) 2011-06-17 2017-11-22 삼성전자주식회사 타일 근접성을 사용하는 타일 기반 렌더링 방법 및 장치
US9854275B2 (en) 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
US9398307B2 (en) * 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
US8767824B2 (en) 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US8891630B2 (en) 2011-10-24 2014-11-18 Blackberry Limited Significance map encoding and decoding using partition set based context assignment
US9432704B2 (en) * 2011-11-06 2016-08-30 Akamai Technologies Inc. Segmented parallel encoding with frame-aware, variable-size chunking
WO2013077236A1 (en) * 2011-11-21 2013-05-30 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
WO2013089700A1 (en) * 2011-12-14 2013-06-20 Intel Corporation Methods, systems, and computer program products for assessing a macroblock candidate for conversion to a skipped macroblock
US9491458B2 (en) 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
US9420285B2 (en) * 2012-04-12 2016-08-16 Qualcomm Incorporated Inter-layer mode derivation for prediction in scalable video coding
LT3793200T (lt) 2012-04-13 2023-02-27 Ge Video Compression, Llc Vaizdo kodavimas su maža delsa
AU2013283173B2 (en) 2012-06-29 2016-03-24 Ge Video Compression, Llc Video data stream concept
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
ITTO20120901A1 (it) * 2012-10-15 2014-04-16 Rai Radiotelevisione Italiana Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
US20140177729A1 (en) * 2012-12-21 2014-06-26 Ati Technologies Ulc Method and apparatus for transcoding video data
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
KR101444655B1 (ko) * 2013-04-05 2014-11-03 국방과학연구소 파티션 컴퓨팅을 위한 tmo 확장 모델이 저장된 기록매체, 그리고 tmo 확장 모델의 2단계 스케줄링 구현 방법 및 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP6202912B2 (ja) * 2013-07-12 2017-09-27 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150262404A1 (en) * 2014-03-13 2015-09-17 Huawei Technologies Co., Ltd. Screen Content And Mixed Content Coding
GB2524726B (en) * 2014-03-25 2018-05-23 Canon Kk Image data encapsulation with tile support
US10194163B2 (en) * 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10382749B2 (en) * 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US10567461B2 (en) * 2016-08-04 2020-02-18 Twitter, Inc. Low-latency HTTP live streaming
EP3535974A4 (en) * 2016-12-08 2019-09-11 Zhejiang Dahua Technology Co., Ltd METHODS AND SYSTEMS FOR VIDEO SYNOPSIS
US10375430B2 (en) * 2017-08-24 2019-08-06 Skitter, Inc. Method for synchronizing GOPs and IDR-frames on multiple encoders without communication
US10878028B1 (en) 2017-11-22 2020-12-29 Amazon Technologies, Inc. Replicating and indexing fragments of time-associated data streams
US11025691B1 (en) * 2017-11-22 2021-06-01 Amazon Technologies, Inc. Consuming fragments of time-associated data streams
US10944804B1 (en) 2017-11-22 2021-03-09 Amazon Technologies, Inc. Fragmentation of time-associated data streams
JP7284285B2 (ja) * 2019-03-11 2023-05-30 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 矩形タイルグループシグナリングを含むビデオコーディング

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5655009A (en) * 1992-03-19 1997-08-05 Fujitsu Limited Modem unit
JP2881065B2 (ja) 1992-03-19 1999-04-12 富士通株式会社 モデム装置
DE69424740T2 (de) * 1993-03-25 2001-02-01 Sony Corp Methode zur kodierung zeitveränderlicher bilder und apparat zur kodierung/dekodierung
US5535401A (en) 1994-04-05 1996-07-09 International Business Machines Corporation Method and system of power and thermal management for a data processing system using object-oriented program design
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
US7068991B2 (en) * 1997-05-09 2006-06-27 Parise Ronald J Remote power recharge for electronic equipment
SG116400A1 (en) 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
EP1578136A3 (en) 1998-01-27 2005-10-19 AT&T Corp. Method and apparatus for encoding video shape and texture information
DE69920460T2 (de) * 1999-10-25 2005-01-20 Texas Instruments Inc., Dallas Intelligente Leistungssteuerung in verteilten Verarbeitungssystemen
JP3957937B2 (ja) 1999-12-21 2007-08-15 キヤノン株式会社 画像処理装置及び方法並びに記憶媒体
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions
KR20020064893A (ko) 2000-08-29 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 알고리즘을 실행하는 방법 및 스케일 가능한 프로그램가능 처리 장치
JP4552296B2 (ja) * 2000-09-08 2010-09-29 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
US6931520B2 (en) 2001-05-17 2005-08-16 International Business Machines Corporation Power management delay system using mouse pointer indicator to indicate power-up delay during powering up a powered down disk device
US6704362B2 (en) * 2001-07-06 2004-03-09 Koninklijke Philips Electronics N.V. Resource scalable decoding
JP3876687B2 (ja) 2001-10-30 2007-02-07 ソニー株式会社 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
EP1459549A2 (en) 2001-12-12 2004-09-22 Koninklijke Philips Electronics N.V. Processing a media signal on a media system
JP3779215B2 (ja) * 2002-01-28 2006-05-24 富士通株式会社 携帯型情報処理装置
US6968441B1 (en) * 2002-04-12 2005-11-22 Barsa Consulting Group, Llc Method and system for managing interdependent resources of a computer system
US7287170B2 (en) * 2002-05-14 2007-10-23 Ati Technologies Inc. Method and apparatus for power management using system and request tokens
US6710578B1 (en) * 2002-08-27 2004-03-23 Motorola, Inc. Power resource management in a portable communication device
US7450963B2 (en) * 2002-08-27 2008-11-11 Qualcomm Incorporated Low power dual processor architecture for multi mode devices
JP3504256B1 (ja) 2002-12-10 2004-03-08 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、及び動画像復号装置
US20040158878A1 (en) 2003-02-07 2004-08-12 Viresh Ratnakar Power scalable digital video decoding
RU2305377C2 (ru) 2003-05-20 2007-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ уменьшения искажения сжатого видеоизображения и устройство для его реализации
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
GB2408657B (en) * 2003-11-28 2006-04-12 Motorola Inc Radio resource management
US20050136961A1 (en) * 2003-12-17 2005-06-23 Telefonaktiebolaget Lm Ericsson (Publ), Power control method
GB0400658D0 (en) * 2004-01-13 2004-02-11 Koninkl Philips Electronics Nv Portable device for receiving media content
US7885926B2 (en) * 2004-01-21 2011-02-08 GM Global Technology Operations LLC System and apparatus for wireless synchronization of multimedia content
JP2005303738A (ja) 2004-04-13 2005-10-27 Canon Inc 画像処理装置
JP2005300943A (ja) 2004-04-13 2005-10-27 Canon Inc 情報表示位置制御方法及び装置
KR101099884B1 (ko) * 2004-04-23 2011-12-28 히또시 기야 동화상데이터의 부호화방법, 복호화방법, 이들을 실행하는단말장치, 및 쌍방향 대화형 시스템
WO2005124664A2 (en) * 2004-06-14 2005-12-29 Precoad, Inc. Image clean-up and pre-coding
JP2006014086A (ja) 2004-06-28 2006-01-12 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2006101322A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
JP2006113767A (ja) * 2004-10-14 2006-04-27 Sony Corp 情報処理システム、および、情報処理方法、並びに、プログラム
US8356327B2 (en) * 2004-10-30 2013-01-15 Sharp Laboratories Of America, Inc. Wireless video transmission system
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
US8041967B2 (en) * 2005-02-15 2011-10-18 Hewlett-Packard Development Company, L.P. System and method for controlling power to resources based on historical utilization data
WO2006109985A1 (en) 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video signals in intra-base-layer prediction mode by selectively applying intra-coding
US7920584B2 (en) * 2005-05-04 2011-04-05 Arm Limited Data processing system
US7721011B1 (en) * 2005-05-09 2010-05-18 Oracle America, Inc. Method and apparatus for reordering memory accesses to reduce power consumption in computer systems
JP2007013315A (ja) * 2005-06-28 2007-01-18 Toshiba Corp 情報処理装置および動画像再生方法
WO2007007300A2 (en) * 2005-07-14 2007-01-18 Nxp B.V. Using historic load profiles to dynamically adjust operating frequency and available power to a handheld multimedia device processor core
US20070021140A1 (en) * 2005-07-22 2007-01-25 Keyes Marion A Iv Wireless power transmission systems and methods
US7529948B2 (en) * 2005-08-25 2009-05-05 Apple Inc. Methods and apparatuses for dynamic power estimation
US7337339B1 (en) * 2005-09-15 2008-02-26 Azul Systems, Inc. Multi-level power monitoring, filtering and throttling at local blocks and globally
US8780997B2 (en) * 2005-11-18 2014-07-15 Apple Inc. Regulation of decode-side processing based on perceptual masking
WO2007078663A2 (en) * 2005-12-16 2007-07-12 Interdigital Technology Corporation Mobility middleware architecture for multiple radio access technology apparatus
JP4654300B2 (ja) 2005-12-16 2011-03-16 インターデイジタル テクノロジー コーポレーション マルチ無線アクセス技術機器用のモビリティミドルウェアアーキテクチャ
TW200805047A (en) 2005-12-23 2008-01-16 Koninkl Philips Electronics Nv Performance analysis based system level power management
US7484110B2 (en) * 2006-03-16 2009-01-27 Microsoft Corporation Adaptive power management
US7770040B2 (en) * 2006-03-24 2010-08-03 Qualcomm Incorporated Method and apparatus for reducing power consumption of a co-processor by switching to low power dedicated memory in which image data is periodically updated
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
JP2007328461A (ja) 2006-06-06 2007-12-20 Matsushita Electric Ind Co Ltd 非対称マルチプロセッサ
US8379723B2 (en) * 2006-06-27 2013-02-19 Intel Corporation Chroma motion vector processing apparatus, system, and method
US7827425B2 (en) 2006-06-29 2010-11-02 Intel Corporation Method and apparatus to dynamically adjust resource power usage in a distributed system
US7836320B2 (en) * 2006-07-07 2010-11-16 Arm Limited Power management in a data processing apparatus having a plurality of domains in which devices of the data processing apparatus can operate
JP2008042566A (ja) 2006-08-07 2008-02-21 Toshiba Corp 情報処理装置および情報処理装置のデコード制御方法
JP2008067194A (ja) 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
JP4775210B2 (ja) * 2006-09-26 2011-09-21 株式会社日立製作所 画像信号処理装置、画像高解像度化方法、画像表示装置、記録再生装置
US9883202B2 (en) * 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
US8126461B2 (en) * 2006-11-01 2012-02-28 Snrlabs Corporation System, method, and computer-readable medium for user equipment managing multiple radio networks for handover and low-power operations
JP2008124646A (ja) 2006-11-09 2008-05-29 Orion Denki Kk ビデオデコーダ及び該ビデオデコーダを備えた携帯型デジタル放送受信機
JP4201809B2 (ja) * 2006-11-13 2008-12-24 三洋電機株式会社 手ぶれ補正装置及び方法並びに撮像装置
US7961756B1 (en) * 2006-11-21 2011-06-14 Picomobile Networks, Inc. Integrated multimedia system
US8125936B2 (en) * 2007-03-08 2012-02-28 Marvell International Ltd. Low power data streaming
CN101720532B (zh) * 2007-03-13 2012-10-03 马维尔国际有限公司 用于电池供电的移动通信设备的经优化分组处理体系结构
KR100866230B1 (ko) * 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
US20080307240A1 (en) * 2007-06-08 2008-12-11 Texas Instruments Incorporated Power management electronic circuits, systems, and methods and processes of manufacture
JP2009033581A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
US8089557B2 (en) * 2007-10-04 2012-01-03 Hitachi, Ltd. Video signal processing apparatus, video signal processing method and video display apparatus
US8948822B2 (en) * 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
US8165211B2 (en) * 2008-05-30 2012-04-24 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus of de-interlacing video
US20100011012A1 (en) * 2008-07-09 2010-01-14 Rawson Andrew R Selective Compression Based on Data Type and Client Capability
US8159520B1 (en) * 2008-07-11 2012-04-17 Sprint Communications Company L.P. Ensuring quality of a video stream through a telecommunications network
US8964828B2 (en) * 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8948270B2 (en) * 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9584819B2 (en) 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
CN103975596B (zh) * 2011-10-24 2017-06-09 高通股份有限公司 用于视频译码的瓦片的分组
CN103975596A (zh) * 2011-10-24 2014-08-06 高通股份有限公司 用于视频译码的瓦片的分组
CN109862373B (zh) * 2013-07-15 2021-10-15 索尼公司 用于对比特流进行编码的方法和装置
CN109862373A (zh) * 2013-07-15 2019-06-07 索尼公司 用于交互性的运动约束贴片集合sei消息的扩展
CN110365976B (zh) * 2013-11-14 2023-03-24 寰发股份有限公司 利用基于帧内图片区块复制预测的视频编码方法
CN110365976A (zh) * 2013-11-14 2019-10-22 寰发股份有限公司 利用基于帧内图片区块复制预测的视频编码方法
CN110544289B (zh) * 2014-05-14 2023-09-19 英特尔公司 在中排序架构中利用帧间相干性
CN110544289A (zh) * 2014-05-14 2019-12-06 英特尔公司 在中排序架构中利用帧间相干性
CN106507106B (zh) * 2016-11-08 2018-03-06 中国科学技术大学 基于参考片的视频帧间预测编码方法
CN106507106A (zh) * 2016-11-08 2017-03-15 中国科学技术大学 基于参考片的视频帧间预测编码方法
CN108989849B (zh) * 2018-08-01 2021-01-29 广州长嘉电子有限公司 一种dvb-t2+s2电视信号处理方法及系统
CN108989849A (zh) * 2018-08-01 2018-12-11 广州长嘉电子有限公司 一种dvb-t2+s2电视信号处理方法及系统
CN113747162A (zh) * 2020-05-29 2021-12-03 北京金山云网络技术有限公司 视频处理方法和装置、存储介质和电子装置
CN113747162B (zh) * 2020-05-29 2023-09-29 北京金山云网络技术有限公司 视频处理方法和装置、存储介质和电子装置
CN111985456A (zh) * 2020-09-10 2020-11-24 上海交通大学 视频实时识别分割及检测架构

Also Published As

Publication number Publication date
CN102067608B (zh) 2013-12-04
KR20110022080A (ko) 2011-03-04
US8908763B2 (en) 2014-12-09
TWI444048B (zh) 2014-07-01
CA2726480A1 (en) 2009-12-30
KR101202630B1 (ko) 2012-11-19
RU2011102574A (ru) 2012-07-27
US20090323809A1 (en) 2009-12-31
RU2485712C2 (ru) 2013-06-20
BRPI0914601A2 (pt) 2020-08-18
TW201008289A (en) 2010-02-16
EP2308234A1 (en) 2011-04-13
WO2009158428A1 (en) 2009-12-30
JP5280530B2 (ja) 2013-09-04
JP2011526460A (ja) 2011-10-06
CA2726480C (en) 2013-04-30

Similar Documents

Publication Publication Date Title
CN102067608B (zh) 用于视频译码的时间压缩中的片段化参考
CN103339936B (zh) 用于视频译码的单一参考图片列表建构
CN104221377B (zh) 一种视频译码方法、装置和计算机可读存储媒体
CN100551058C (zh) 为动态选择的小尺寸或全尺寸播放提供独立编码链的视频编码系统
CN102783149B (zh) 用于视频译码的适应性运动分辨率
JP2021513755A (ja) 変換スキップフラグを利用した映像コーディング方法及び装置
CN103329525B (zh) 用于视频译码的组合参考图片列表建构
CN103988505A (zh) 在视频数据的波前并行处理中的受约束参考图片集合
CN105519116A (zh) 产生用于增强层中的运动预测的经调适运动向量候选者列表的可缩放hevc装置和方法
CN103703776A (zh) 在视频译码中的系数扫描
CN105474641A (zh) 视频译码过程中用于系数层级译码的莱斯(rice)参数初始化
CN103202016A (zh) 用于视频译码的自适应运动向量分辨率信令
CN103339935A (zh) 运动向量预测
CN103688541A (zh) 在视频译码中缓冲预测数据
CN103891281A (zh) 检测用于视频译码的相邻视频单元的可用性
CN103238322A (zh) 在视频译码中单独地译码视频块的最后有效系数的位置
CN1757240A (zh) 视频编码
CN102763415A (zh) 起因于几何运动划分的平滑重叠区域
CN104221387A (zh) 在视频译码中的低延迟视频缓冲
CN104137542A (zh) 用于变换系数译码的上下文导出中的基于扫描的滑动窗
CN104854870A (zh) 在视频译码中的低延迟缓冲模型
US10979724B2 (en) Scanning orders for non-transform coding
TW202010311A (zh) 用以編碼及解碼視訊取樣之轉換區塊的方法、設備和系統
CN103975598A (zh) 对于视图合成参考图片的参考图片列表修改
CN1643608A (zh) 已编码a/v序列的编辑

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131204

CF01 Termination of patent right due to non-payment of annual fee