CN105052157A - 图像帧复用方法及系统 - Google Patents

图像帧复用方法及系统 Download PDF

Info

Publication number
CN105052157A
CN105052157A CN201380074719.3A CN201380074719A CN105052157A CN 105052157 A CN105052157 A CN 105052157A CN 201380074719 A CN201380074719 A CN 201380074719A CN 105052157 A CN105052157 A CN 105052157A
Authority
CN
China
Prior art keywords
frame
treated
multiplexed
picture
mask data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380074719.3A
Other languages
English (en)
Inventor
谭玮宁
马修·奥多尔
史蒂文·查尔斯·里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imax Corp
Original Assignee
Imax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imax Corp filed Critical Imax Corp
Publication of CN105052157A publication Critical patent/CN105052157A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H04N21/234372—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开的实施例涉及一种将图像帧编码成复用帧的方法，以及解码复用帧的相应方法。编码方法包括修改图像帧以产生相应的经处理帧，并产生掩码数据，该掩码数据指示如何可以由经处理帧中的一个和经处理帧中的另一个产生输出帧。该经处理帧和掩码数据能被组合以形成复用帧。解码方法包括接收包含经处理帧和掩码数据的复用帧，和解包复用帧以确定经处理帧和掩码数据。一旦解包，就能通过将经处理帧中的一个和经处理帧中的另一个根据掩码数据组合在一起而由经处理帧产生输出帧。

Description

图像帧复用方法及系统
技术领域
描述的实施例涉及图像处理过程，且尤其涉及将多个图像帧编码并解码为减小数量的复用帧。
背景技术
任何现有的图像数据传输或处理基础设施通常具有有限的数据带宽。该带宽通常足以服务于为该基础设施被设计用于的功能(例如，以指定分辨率或质量提供视频)。然而，一旦需要增强的或新的功能(例如，希望传输更高图像质量的视频)，通常需要升级或更换该基础设施。该升级或更换过程可涉及改变硬件、软件和/或部件之间的网络连接(特别是如果对于新功能更高的数据带宽是必要的，而系统的算法和协议保持不变的情况下)。
例如，数字电影视频通常以每秒24帧的帧速率(fps)提供，每一帧传统上以已知为2K(2048×1080或2.2兆像素)，或4K(4096×2160或8.8兆像素)的分辨率提供。为了在电影院中以该帧速率和分辨率显示电影视频，电影院通常包含具有足够带宽的基础设施以将电影视频传输到显示装置(例如，投影仪)。
摄像机技术的最新发展已经允许以更高帧速率捕获数字电影视频(通常称HFR视频)。例如，这些视频的帧速率可提供在指定空间分辨率的48fps、60fps或甚至120fps。针对HFR视频，大大增加了要传输到显示装置的数据量。
随着技术的发展，数字电影视频可能开始以高于2K和4K的图像空间分辨率提供。即使在现有的帧速率，这些校高分辨率视频流也可能会增加传输到显示装置的数据量。
而且，多视点视频流正得到普及(例如，提供三维(3D)观看体验的立体视频流)。这些类型的视频流比正常的单视点(例如，二维(2D))视频流需要更高的传输带宽。
电影院的现有基础设施可能无法提供足够的带宽，以将这些较新类型的视频流传输到显示装置。升级现有的基础设施，特别是硬件、软件和/或系统连接带宽是代价高的或不可取的。因此，需要可选地改善编码和解码图像流中的图像帧的现有方法或系统，以允许在现有的有限带宽的基础设施上传输新类型视频流的图像帧。
发明内容
在一个方面中，本发明的一些实施例提供了一种动态帧打包方法，该方法包括：
识别多个图像帧；
修改多个图像帧中的每一帧以产生多个对应的经处理帧；
产生掩码数据(maskingdata)，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个经处理帧中的另一个帧产生输出帧，该输出帧对应于多个经处理帧中的另一个帧；和
组合多个经处理帧和掩码数据以形成复用帧。
在另一个方面中，本发明的一些实施例提供了一种解码复用帧的方法，该方法包括：
接收复用帧，该复用帧包括：
多个经处理的帧，和
掩码数据；
解包复用帧以识别多个经处理帧和掩码数据；和
由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，并且其中该输出帧对应于多个经处理帧中的另一个帧。
在另一个方面中，本发明的一些实施例提供了一种传送复用帧的方法，该方法包括：
识别图像帧流；
从图像帧流中选择多个图像帧；
修改多个图像帧中的每一帧以产生多个对应的经处理帧；
产生掩码数据，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个经处理帧中的另一个帧产生输出帧，该输出帧对应于多个经处理帧中的另一个帧；和
组合多个经处理帧和掩码数据以形成复用帧；
压缩复用帧以产生经压缩帧；和
传输该经压缩帧。
在另一个方面中，本发明的一些实施例提供了一种显示复用帧的方法，该方法包括：
接收经压缩帧；
解压缩该经压缩帧以产生复用帧，其中该复用帧包括：
多个经处理帧，和
掩码数据；
解包复用帧以识别多个经处理帧和掩码数据；和
由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，并且其中该输出帧对应于多个经处理帧中的另一个帧；和
将多个输出帧传输到至少一个显示装置。
在另一个方面中，本发明的一些实施例提供了一种用于传输复用帧的系统，该系统包括：
接收模块，其配置为接收多个图像帧；
编码模块，其配置为：
修改多个图像帧中的每一帧以产生多个对应的经处理帧；
产生掩码数据，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个经处理帧中的另一个帧产生输出帧，该输出帧对应于多个经处理帧中的另一个帧；和
组合多个经处理帧和掩码数据以形成复用帧；
压缩模块，其配置为压缩复用帧以产生经压缩帧；和
通信模块，其配置传输经压缩帧。
在另一个方面中，本发明的一些实施例提供了一种用于解码用于显示的复用帧的系统，该系统包括：
解压缩模块，其配置为解压缩经压缩帧以恢复复用帧；和
解码模块，其配置为：
解包复用帧以识别多个经处理帧和掩码数据；和
由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，其中该输出帧对应于多个经处理帧中的另一个帧。
在另一个方面中，本发明的一些实施例提供了一种产生嵌套复用帧的方法，该方法包括：
识别复用帧，该复用帧包括：对应于第一图像帧的第一经处理帧，和对应于第二图像帧的第二经处理帧；
识别第三图像帧；
修改复用帧和第三图像帧，以分别产生对应的经处理复用帧和对应的第三经处理帧；
识别掩码数据，该掩码数据指示如何可以由第二经处理帧和第三经处理帧产生输出帧，该输出帧对应于第三图像帧；和
组合经处理复用帧、第三经处理帧和掩码数据，以形成嵌套复用帧。
在另一个方面中，本发明的一些实施例提供了一种解码嵌套复用帧的方法，该方法包括：
接收嵌套复用帧，该嵌套复用帧包括：
经处理复用帧，其包括第一经处理帧和第二经处理帧，
第三经处理帧，和
掩码数据；
解包嵌套复用帧以识别经处理复用帧、第三经处理帧和掩码数据；
解码经处理复用帧以识别第一经处理帧和第二经处理帧；和
产生输出帧，其中该产生包括将第二经处理帧与第三经处理帧根据掩码数据组合在一起，并且其中该输出帧对应于第三经处理帧。
附图说明
现在将参考附图详细描述本发明的优选实施例，其中：
图1是示出根据本公开的至少一个实施例的用于编码和解码复用图像帧的系统的框图；
图2是示出根据本公开的至少一个实施例的、当将多个图像帧编码成复用帧时执行的一系列动作的流程图；
图3是在本公开的至少一个实施例中的将图像帧渐进转换成复用帧的示例；
图4是根据本公开的至少一个实施例的产生掩码数据的示例；
图5是示出根据本公开的至少一个实施例的、当将解码复用帧时执行的一系列动作的流程图；
图6是在本公开的至少一个实施例中的将复用帧转换成多个输出帧的示例；
图7是根据本公开的至少一个实施例的通过根据掩码数据用两个经处理帧计算而产生输出帧的示例；
图8是根据本公开的至少一个实施例的将至少一个复用帧转换成嵌套复用帧的示例；
图9是根据本公开的至少一个实施例的将多视点图像帧流转换成复用图像帧流的示例，其中将不同视点的图像帧编码在一起；
图10是根据本公开的至少一个实施例的将多视点图像帧流转换成复用图像帧流的示例，其中将相同视点的连续图像帧编码在一起；
图11是根据本公开的至少一个实施例的将单视点图像帧流转换成复用图像帧流的示例，其中将连续图像帧编码在一起的；和
图12是根据本公开的实施例的打包的帧的另一实例布局的示例。
具体实施方式
应该意识到，为了提供对本文所描述的实施例的深入理解，将阐述许多具体的细节。然而，本领域的普通技术人员应该理解，在没有这些具体细节的情况下可以实施本文所描述的实施例。在其他实例中，没有详细说明公知的方法、程序和部件，以免使本文所描述的实施例模糊不清。此外，本描述和图不认为以任何方式限制本文所描述的实施例的范围，而被认为是仅描述本文所描述的各种实施例的实现。
具体地，本文所描述的实施例涉及图像处理领域，并提供了各种图来说明图像数据的转换。应该理解，图不是按比例绘制的，提供图仅是为了说明目的。
本文所描述的系统和方法的实施例可以在硬件或软件、或者两者的组合中实现。然而，优选地，这些实施例在可编程计算机上执行的计算机程序中实现，每个可编程计算机都包括至少一个处理器(例如，微处理器)、数据存储系统(包括易失性和非易性存储器和/或存储元件)、至少一个输入装置和至少一个输出装置。例如且不是限制性的，可编程计算机(例如，图1示出的各种装置)可以是服务器计算机、主机(mainframe)、计算集群、个人电脑、笔记本电脑、智能手机装置和/或平板电脑。程序代码被应用于输入数据，以执行本文所描述的功能并产生输出信息。输出信息以已知的方式被应用于一个或多个输出装置。
每个程序优选以高级过程式或面向对象编程和/或与计算机系统通信脚本语言实现。然而，如果需要，程序可以以汇编或机器语言实现。在任何情况下，语言可以是编译或解译的语言。每个这样计算机程序都优选存储在通用或专用可编程计算机可读的存储介质或装置(例如，ROM或磁/光盘)上，用于在计算机读取存储介质或装置时配置和操作计算机以执行本文所描述的程序。该主题系统也可被认为是被实现为利用计算机程序配置的计算机可读存储介质，其中如此配置的存储介质使得计算机以特定和预定的方式操作以执行本文所描述的功能。
此外，所描述的实施例的系统、过程和方法能够被分布在包括计算机可读介质的计算机程序产品中，其中计算机可读介质承载用于一个或多个处理器的计算机可用指令。该介质可以以各种形式提供，包括一个或多个磁盘、光盘、磁带、芯片、有线传输、卫星传输、因特网传输或下载、磁和电子存储介质、数字和模拟信号等。计算机可用指令也可以是各种形式，其包括编译和非编译的代码。
参考图1，总体示出为100的是框图，其示出根据本公开的至少一个实施例的用于编码和解码图像帧的示例系统。系统100可包括包含软件模块(例如，编码模块106)的预处理设备102(例如，数字中间生产工作流程)，该软件模块可被配置为由原始视频数据产生复用图像帧流120，和包括可被配置为接收并解码复用图像帧流120以用于显示的各种部件的显示设备140(例如，数字影院)。
如将理解的，在一些实施例中，各种示出的软件模块可被实现在预处理设备102可用的一个或多个计算机服务器上。这种服务器可包含至少一个处理器和存储包含指令的各种软件模块的至少一个存储器，当由至少一个处理器执行指令时，所述指令使至少一个处理器执行示出的软件模块的动作。
预处理设备102还可可选地提供有压缩模块108(在虚线轮廓中示出的)，其包含使处理器压缩图像帧流的指令。压缩模块可以是或可以不是现有基础设施的一部分。而且，预处理设备102可以提供有允许传输或存储数据的各种机构。例如，这种机构可包括网络接口卡(例如，用于以太网、WiFi等)或高速数据端口(例如，HD-SDI、HDMI、USB，火线等)，其使复用图像帧流120能够在通信网络上传输或存储在外部存储介质上。这些各种机构可被例如预处理设备102处的通信模块(未示出)激活和/或控制。
应该理解，在各种实施例中，压缩模块108可提供与图1中的预处理设备不同的装置上，使得复用图像帧流120可由该不同的装置提供。在各种实施例中，预处理设备102还可包括配置为接收多个图像帧的接收模块104。在各种实施例中，图像帧可以是提供为高帧速率视频流或多视点视频流的数字电影视频数据。
编码模块106可以是独立的硬件装置或包含执行下面描述的图像帧编码方法的指令的逻辑软件部件。从高层次上看，编码模块106可识别通过较宽的带宽信道152在接收模块接收的图像帧流中的帧，然后将原始图像帧编码为复用帧。然后可将复用帧作为复用图像帧流120通过较窄的带宽信道156传输，复用图像帧流120在传输期间需要较少的带宽，使得能将复用图像帧流120提供到显示设备140并在那被处理。下面关于图2-4将更详细地描述编码模块106执行的动作。
如果预处理设备102上存在压缩模块108，则在将复用图像帧流传输并提供到显示设备140之前，可将其压缩。这种压缩可根据已知的视频压缩算法来执行或由现有的系统基础设施指定。例如，如果根据数字电影倡导组织(DCIV1.0)规范构建压缩模块和复用图像帧流120，则奖根据ISO/IEC15444-1“JPEG2000”压缩标准压缩复用图像帧流。
应该理解，可离线执行由编码模块106执行的动作。也就是说，不需要实时执行形成复用图像帧流120的图像帧流的编码。而是，可由编码模块106处理图像帧流而没有特定的时间约束，并且在创建了整个复用图像帧流120之后，可以将所产生的复用图像帧流120转移/传输到显示设备140。
一旦创建复用图像帧流120，就可将其提供到显示设备140(例如，如虚线箭头所示，从压缩模块108到显示设备140的解压缩模块144)。应该理解，可以以任意数量的方式将复用图像帧流120提供到显示设备140。例如，可以以计算机可读介质(例如，硬盘、光盘或闪速存储器)的方式提供复用图像帧流120，然后将其加载到显示设备140处的存储设备(未示出)上。附加或替代地，可通过计算机网络通信将帧流120传输到显示设备140(例如，数据可以在互联网上传输)。向显示设备140提供帧流120的其他方法也是可能的。
显示设备140可包括：能够解码复用帧流120(例如，以便恢复通过较宽带宽传输信道154传输的帧流)的解码模块146；和显示由解码模块146产生的作为结果视频流的显示装置148(例如，投影仪)。
如果复用图像帧流120已经压缩(例如，通过压缩模块108)，则显示设备140还可可选地包括解压缩模块144(在虚线轮廓中示出)，其被配置为在将复用图像帧流提供给解码模块146之前解压缩经压缩的复用图像帧流120。如所论述的，如果例如根据数字电影倡导组织(DCIV1.0)规范提供复用图像帧流120，则可根据JPEG2000标准执行解压缩。在变型实施例中，解压缩模块144可提供在解码模块146内。
解压缩模块144可包含视频或网络接口部件，该视频或网络接口部件使解压缩模块144能够将复用图像帧流120传输到解码模块146。正如将理解的，解压缩模块144可包含处理器和存储指示处理器与视频或网络接口部件交互的指令的存储器。
在一些实施例中，解压缩模块144可以能够实时处理复用图像帧流120，而不是首先存储复用图像帧流120。附加或替代地，显示设备140可包括存储装置(未显示)，在帧流120被解压缩模块144处理之前，该存储装置存储复用图像帧流120。这种存储装置可包括存储介质(诸如，硬盘)以存储复用图像帧流120。在各种实施例中，可将解压缩模块144提供为存储设备上的可执行的应用。
有限带宽传输信道150(图1所示的交叉阴影)可连接解压缩模块144和解码模块146。有限带宽传输信道150可以是设计成传输传统电影视频到显示装置148的显示设备140的现有基础设施的一部分。由于传统电影视频通常以30fps或以下的帧速率提供(例如，传统电影视频通常以24fps的帧速率提供)，所以传输信道150可能没有足够的带宽能够用于传输包含额外视频数据的HFR(例如，48fps)视频。例如，用JPEG2000编码器压缩的包含2K分辨率电影图像的24fps图像帧流为了适当的质量通常需要250Mbps的带宽。然而，在保持相同图像质量的同时，以48fps传输HFR视频，HFR视频流需要500Mbps的双倍带宽。有限带宽传输信道150可能不能提供这种附加带宽。在不增加信道带宽的情况下，传输48fps需要将各个帧压缩为一半，和在24fps下使用的字节一样多，这会大大降低图像质量。
由于在预处理设备102用编码模块106进行了编码，所以复用图像帧流120可包含比原始HFR视频的帧速率低的视频数据。也就是说，因为将HFR视频的多于一个原始图像帧编码并压缩成一个复用帧，所以降低了复用帧流120的帧速率。因此，复用图像帧流120可以能够在有限带宽的通信信道150上传输HFR帧数据。然后，在用显示装置148显示复用图像帧流120之前，通过解码复用图像帧流120中的经编码帧，可将复用图像帧流120恢复成HFR视频流。
解码模块146可被配置为执行复用帧的解码。如将理解的，解码模块146和显示装置148之间的连接154可改变。例如，解码模块146可被提供为具有到显示装置148的高带宽连接的单独计算装置。附加或替代地，解码模块146可被提供为显示装置148的附加模块。下面相对于图5-7将更详细地描述在解码复用帧的过程期间执行的各种动作。
编码图像帧以形成复用帧
参考图2，其中总体示出为200的是示出根据本公开的至少一个实施例的在将多个图像帧编码成复用帧时执行的一序列动作的流程图。为了便于说明，同时将参考图3，图3总体上示出为300，图像帧渐进转换成复用帧。为了更好说明在图2示出步骤的执行期间如何修改图像帧数据，在图3中对应示出了图2示出的一些动作(用带圈的数字表示)。
正如所指出的，这些动作中的至少一些可由图1示出的预处理设备102中的编码模块106执行。
步骤202涉及识别用于创建复用帧的多个图像帧。这可能涉及从原始图像帧流(例如HFR视频流或多视点视频流)选择多个图像帧。例如，HFR视频流可以是使用有HFR能力的摄像机(例如，由例如制造的摄像机)捕获的HFR连续镜头所产生的电影或电视视频。在本文论述的实施例中，从图像帧流中选择的多个图像帧可以是一对图像帧；然而，应该理解，可从原始图像流中选择任何数量的图像帧一编码成复用帧。
选择的图像帧可以是原始图像帧流中的连续图像帧(例如，图11总体示出了这种情形)；然而，在各种实施例中，选择的图像帧在本质上不需要是连续的。例如，正如下面所论述的，选择的图像帧可示出同一场景的不同视点，例如可以是这样情况：选择的图像帧是示出三维(3D)视频的立体帧对(例如，在图9-10总体示出了这种情形)。
同时参考图3，其示出有通过从原始图像帧流中选择(识别动作在带圆圈的数字1处示出)而以识别的示例图像帧302(标记的‘F1’和‘F2’)。原始图像帧302可以以原始分辨率提供。例如，图像帧流的分辩率可以以所谓的2K(2048×1080或2.2兆像素)或4K(4096×2160或8.8兆像素)的分辩率提供。
图2的步骤204(和图3中的带圈数字2)，该方法可进行到确定用于创建复用帧的帧复用参数。帧复用参数可包含指示待将其复用成复用帧的图像帧的类型和/或如何对图像帧进行复用的数据。例如，如下面所论述的，帧复用参数可指示要被编码的图像帧之一是否已经是复用帧(例如，要产生嵌套复用帧)。在另一个实例中，帧打包参数可指示多视点图像帧是否被编码成复用帧。在另一个实例中，帧打包参数可指示编码成复用帧的图像帧的尺寸信息。在各种实施例中，如下面所论述的，可将帧复用参数添加到编码在复用帧中的元数据。
在步骤206，修改多个图像帧中的每个图像帧的分辨率，以产生多个对应的经处理帧。该修改可包括能修改图像帧的分辨率的任何处理。例如，该处理可包括修改图像帧的纵横比、垂直压缩图像帧和/或水平压缩图像帧。图像帧的分辨率的修改可通过例如图像重采样算法执行。
步骤206还可包括将图像帧分辨率修改为其原始图像帧分辨率的一部分。例如，考虑在分辨率为2048乘1080像素的标准2K帧(即，具有1.90:1的纵横比)用于输送2.19:1的纵横比的原始电影时的情况，如果将原始电影帧的全宽度显示在2K帧内，则在图像的顶部或底部可能会填满72条黑线(例如，使得2K帧中仅有中间的936行像素将用于输送图像信息)。在这种情形下，可以通过裁剪和/或重新设定2K图像帧的尺寸而只编码实际的图像部分以产生处理图像帧。图像纵横比或实际的原始图像内容的垂直线的数量，可能需要在之后存储和通过元数据来传输，这将在后面的章节中描述。
再次参考图3，示出有由原始图像帧302已产生的一些示例经处理帧304、304′的描述(在带圈数字3出示出修改步骤)。如图所示，经处理图像304、304′的分辨率在垂直和水平两个方向上都降低了，其中经处理帧304′(对应于原始图像帧F2)的分辨率比经处理帧304(对应于原始图像帧F1)的分辨率在更大程度上降低了。
在步骤208，编码模块106可产生掩码数据，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个处理帧的另一个帧产生输出帧(图3中的带圈数字4)。通常，掩码数据存储了多个图像帧302之间的关系的信息。例如，该关系可通过对选择的图像帧302或经处理帧304、304′执行分析而确定。根据现实世界应用的各种实施例和用于分析选择的图像帧302(或经处理帧304、304′)的方法，掩码数据可采用不同的形式。例如，掩码数据可充当为组合图像帧302(或经处理帧304、304′)的图像数据的各种图像处理操作的输入。在示例性实施例中，当产生输出帧时，掩码数据316可用作为权重图，该权重图包含在给定帧位置给予处第一处理帧304或者给第二处理帧304′的加权。应该理解，仅为示例目的提供了掩码数据的该实例：掩码数据通常可跟踪选择的图像帧302之间的小量或大量的差异，或可包含能用于指示多个图像帧302之间的关系的任何其他类型的信息数据。
在图3的实例中，由于选择的图像帧302或经处理帧304、304′在电影视频流中是连续的图像，因此在两个连续图像帧之间可存在一些差异。这种差异可由全局或局部的亮度变化、物体运动或摄像机运动引起。在一些实施例中，图像帧302(或经处理帧304、304′)之间的差异，可通过由第一帧图像F1(或经处理帧304)减去第二图像帧F2(或经处理帧304′)，然后阈值处理差分像而简单地发现。掩码数据可被产生为包含阈值处理结果的值的掩码，其将用于指导解码器如何重建输出图像帧。
现在参考图4，其总体示出了400，根据本公开的至少一个实施例的产生掩码数据的动作的示例。图4继续图3的实例，并示出了分别对应于原始帧F1和F2的经处理帧304和304′。(为了更清楚地说明掩码数据的产生，图4中的经处理帧304、304′示出为具有相同的分辨率，但是它们实际上可能具有不同的分辨率)。如所示的，经处理帧304捕获了高尔夫球场上的场景，其中高尔夫球(经处理帧304示出的黑圈)正朝着有旗的洞移动。然后第二经处理帧304′示出了继第一经处理帧304之后的图像帧，其中高尔夫球已移动得更加接近该洞。可以看出，在对于这种场景的连续帧中，除了球朝着动的运动之外，第二经处理帧304′中的图像数据可与第一经处理帧304的图像数据非常相似。第二经处理帧304′不同于第一经处理帧304的这些地区能够通过分析经处理帧304、304′而识别，并在第二经处理帧304′上用虚线矩形402示出。
附加或替代地，每个连续帧之间的差异可由对原始图像帧302(相对于经处理帧304、304′)的分析来识别。例如，识别第二原始帧和第一原始帧之间的差异可以允许更准确地确定连续帧之间的不同区域，因为原始帧可包含更高分辨率的图像数据。然后可按比例缩放差异的位置，以能在经处理帧304、304′上识别差异。
在已经识别这些特定位置402之后，可创建掩码数据316。在各种实施例中，掩码数据316可以被考虑为数据网格，网格中的每个位置对应于经处理帧304和304′上的区域。例如，在其中经处理帧304、304′已被水平分成12个区域且垂直分成8个区域的示例场景中，可产生12乘8网格的掩码数据316，掩码数据的值位置(例如，行和列)映射到经处理帧304、304′中的同一位置(例如，行和列)上的区域。掩码数据的每个位置的值可表示对于F2的经处理帧304′如何不同于对于F1的经处理帧304。在实例掩码数据316中，使用二进制值(‘0’或‘1’)，其中‘0’表示对于F1的经处理帧304和对于F2的经处理帧304′之间图像数据没有改变，而‘1’表示图像数据改变了。因此，掩码数据中的所有位置，除了掩码数据316中的位置404以外，都包含‘0’，其中该位置404对应于经处理帧304′中的示出了帧F1中高尔夫球存在的区域和F2中高尔夫球已移动到的区域的区域402。掩码数据316中的两个‘1’由此示出了可以如何识别对于F2的经处理帧304′和对于F1的经处理帧304之间的差异。
应该理解，例如，仅为了实例的目的，实例掩码数据被示出为12乘8的网格数据。在各种替代的实施例中，掩模数据中块的精确大小和/或数量可通过另一算法来确定。例如，掩模数据区域的大小可被设置成与第一或第二经处理图像帧成比例。
如下面关于解码复用帧所解释的，在网格的指定位置的掩码数据值规定了如何可以组合在两个经处理帧304和304′上的相同区域的图像数据，以得到输出帧。例如，掩码数据值可指示将被给予到处理帧304和304′中的一个或另一个用于输出帧上特定区域的加权。在包含二进制值作为掩码数据的图4示出的实例掩码数据中(例如，其中输出帧或者通过从第一帧获得数据产生或者通过从第二帧获得数据产生，掩码数据中的‘0’指示数据取自第一帧而‘1’指示数据取自第二帧)，对应于原始图像帧F2的输出帧可通过这样得到：获得对于F1的经处理帧304然后将其与掩码数据包含‘1’的来自对于F2的经处理帧304′的区域402重叠。这种组合的结果将是，在F1的经处理帧304中，球的图像和球已经移动到的空的空间分别用空的空间和球的图像取代)。因为F1的处理帧304的其余区域保持不变，所以能够得到对应于原始图像帧F2的输出帧。
在进一步的实施例中，掩码数据316不仅可包含二进制值，而且还可包含在1和0之间的分数值。如果需要相同大小的掩码数据来解码经处理图像帧304或304′，则可将掩码数据316差值为与经处理图像帧304或304′相同的大小。该范围内的确切值可指示对于给定区域第一和第二帧以何种比例混合在一起(例如，低值可表示使用更多的第一帧，而高值可表示使用更多的第二帧。)
一旦已经产生掩码数据316，过程可继续到步骤210(图3中的带圈数字5)，其中多个经处理帧的经处理帧可被分割成多个帧分量。步骤210在图2中以虚线轮廓示出，是为了表明它是一个可选步骤。也就是说，在各种实施例中，经处理帧304、304′可被直接添加到复用帧306而不被分割。
再次参考图3，示出有F1的经处理帧304的帧分量312。然后可重复该分割以产生F2的经处理帧304′的帧分量312′。F1的经处理帧304的帧分量312标记为‘F1A’的‘F1B’，而F2的经处理帧304′的帧分量312′标记为‘F2A’和‘F2B’。
在分割期间，多个帧分量中的至少一个帧分量可提供与它相邻的多个帧分量中的另一个帧分量的一部分重叠的保护区314。有重叠的保护区(例如，帧分量312之间)可使在解码复用帧的期间能更好地重建经处理帧304。保护区的大小可以是恒定的像素宽度或原始帧分量的预定百分比。在解码期间的保护区内，将两个组合帧分量逐步地混合在一起，以避免任何可能可见的接合缝出现在解码图像帧中。
应该理解，帧分量312、312′的相对大小不需要是相同的，即，分割F2的经处理帧304′所产生的帧分量的大小可以不同于分割F1的经处理帧304所产生的帧分量的大小。而且，鉴于可根据一种算法分割F1的经处理帧304，可根据另一种算法分割F2的经处理帧304′，因此作为其相应的帧分量312、312′，不需要有相同的图像特性。
可选地，一个或多个帧分量312、312′(和/或经处理帧304、304′，视情况而定)在插入到复用帧之前可被旋转。这可在步骤212(以虚线轮廓示出)执行，其涉及使F1的经处理帧304的多个帧分量312中至少一个旋转，以产生相应的一个或多个旋转帧分量312(图3中的带圈数字6)。可重复使F2的经处理帧304′的帧分量312′旋转，以产生相应的旋转帧分量312′(具有旋转标记‘F2A’和‘F2B’)。
在步骤214，可组合多个经处理帧304、304′(例如，其相应的帧分量312、312′)和掩码数据以形成复用帧306(图3中的带圈数字7)。各种旋转帧分量312、312′和掩码数据316的示例布局以图3的复用帧306示出。复用帧306示出了在复用帧306的左上角和右上角添加的F1的旋转帧分量312(用旋转标记‘F1A’和‘F1B’示出)。F2的旋转帧分量312′(具有旋转标记‘F2A’)也被示出为插在F1的旋转帧分量312之间，然后可将F2的旋转帧分量312′(具有旋转标记‘F2B’)插在F1(具有旋转标记‘F1B’)的第二旋转帧分量312的下面。然后，可将掩码数据316添加在F2(具有旋转标记‘F2A’)的第一帧分量312′的下面。如图所示，在分割期间确定的保护区314、314′，在复用帧306中仍然完好无损。
为了协助解码模块146解码复用帧306，复用帧306还可存储元数据328(以附加到复用帧306的虚线轮廓示出)，其规定了如何可以由多个经处理帧304、304′产生多个输出帧。如所示，元数据328与掩码数据316被分开存储，应该理解在各种实施例中，元数据328也可包括掩码数据316。元数据328可被存储在专用区域中或复用帧306的任何位置，包括在复用帧306中示出的掩码数据316的位置。附加或替代地，元数据的至少一部分可通过复用帧的隐形水印的方式来存储。
如本文所使用的，“隐形水印”可涉及嵌入到帧上的现有数据中的信息(例如，当观察帧时该信息可能是人类观众难以察觉的)，该帧在正常处理期间不能被检测到，但可以以其他方式在为确定这些信息而设计的特定过程下检测出。就图像帧和复用图像帧而言，嵌入信息例如可被编码到原始图像帧、处理帧、帧分量、掩码数据、元数据、保护数据或嵌套帧中的任何分量上。
水印的一个实例可以是一组图像像素，其中原始帧的强度值可被略微修改。例如，原始帧上的预定的空间分布格局的强度值，可基于嵌入的水印信息的数学变换计算被修改。强度值的这种略微修改可能使人类观众感知不到，但将允许嵌入信息随后被恢复(提供的解码器察觉到预定的空间分布格局和数学变换计算)。在各种实施例中，编码信息可涉及元数据、版权信息或其他少量相关信息。
可以认为数字水印帧分量不同于用于复用的经处理帧分量，因为它不会增加帧的数据大小或通过载波信号用来传输帧的带宽。例如，隐形数字水印可以被视为是视觉上不可察觉的图像质量的量和在相同带宽内携带额外信息量的能力之间的权衡。
元数据328可包括例如原始图像内容或实际图像内容的垂直线数的纵横比(例如，如上述场景的情况，如果处理图像帧仅是例如被裁剪的原始输入图像帧的一部分)。元数据328可附加地或可选地包括映射数据，其可用于获得复用帧306中的帧分量312、312′(和/或处理帧304、304′，视情况而定)的定位或尺寸信息。例如，在图3示出的复用帧306中，映射数据可表示F1的旋转帧分量312和F2的帧分量312′的边界。
在各种实施例中，映射数据可以是表示复用帧内经处理帧的预定布局的代码。例如，当组合多个经处理帧和掩码数据以形成复用帧时，可根据从多个不同的预定布局中选择的预定布局(诸如，编码表示为特定的复用帧选定的预定布局)，将每个处理帧布置在复用帧内。
多个不同的预定布局每个都可对应于图像帧中所示出的场景的不同类型。例如，它可以是某些布局更适合用于场景的某些类型的情况。由于可离线执行图像帧的编码，且在编码之前可知道图像帧中所示出的场景的类型，所以可基于被编码的帧中示出场景来选择预定布局。然后可将表示预定布局的代码提供在复用帧的元数据中。
元数据328还可包括关于原始图像帧302的各种信息，以使原始图像帧302的各个方面能由经处理帧304、304′恢复。例如，该信息可包括一个或多个原始图像帧302的纵横比和/或帧大小。附加地或可替代地，元数据328还可包括经处理帧304、304′之间的分辨率比(可以以F1的经处理帧304和F2的经处理帧304′是不同的情况存储分辨率比)。而且，关于图2的步骤204之前论述的帧复用参数也可被存储在元数据328中。
应该理解，可存储在元数据区域328中的信息可被限制。结果，被编码并被存储为复用帧中的元数据的信息，必须要经过精心挑选。例如，在一些实施例中，元数据328可只存储表示帧类型(例如，2D或3D)的帧复用参数，而帧分量的大小、纵横比和边界信息可使用图像边界检测算法由解码器预先限定或隐式派生。例如，这种边界检测算法可通过实施贝叶斯后验估计优化定位两个图像分量之间的边界。
应该理解，可对原始图像帧流中的图像帧重复实施根据图2的方法的用于产生复用帧306的选定图像帧302的步骤。这可产生能最终提供给解码模块146进行解码和恢复的复用图像帧流120。
复用帧通常可与显示设备的现有基础设施兼容，因为复用帧的帧格式将与原始图像帧的帧格式相同。复用帧通常还可受到压缩。结果，复用帧流可使用现有的有限带宽的基础设施来处理。
将复用帧解码为多个帧的图像帧
参考图5，示出有示出根据本公开的至少一个实施例的在解码复用帧时执行的一系列操作的流程图500。为了便于解释，同时将参考通常示出为300的、复用帧渐进转换成多个输出帧的图6。为了更好说明在图5示出步骤的执行期间如何修改复用帧数据，图5示出的一些操作与图6示出的(用带圈的数字表示)是对应的。图5的步骤可通过图1示出的解码模块146来执行。
在步骤502中，显示设备140上的解码模块146可接收包含多个处理帧和掩码数据的复用帧。复用帧306可以是从解压缩模块144通过有限带宽的通信信道150传输的复用图像帧流120的一部分，复用图像帧流120原本已被预处理设备102的编码模块106编码。
同时参考图6，该步骤在圈数字1中示出，并接收复用帧306。为便于说明，图6继续解码先前在图2和3中讨论的场景的实例，以解码在图3中产生的复用帧306。在该示例场景中，多个处理帧包括随后处理以产生一对输出帧的一对经处理帧。然而，应该理解，复用帧可包括能被处理以产生任意数量的输出帧的任意数量的经处理帧。
在步骤504中，可确定复用帧中的帧打包参数(图6中的带圈数字2)。正如上面所论述的，帧打包参数可表示存在于复用帧中的帧类型。例如，帧打包参数可以表明，复用帧可以是嵌套复用帧，使得编码成复用帧的至少一个帧是另一个复用帧。此外，在另一个实例中，帧打包参数可以表明，复用帧包含多视点图像帧(例如，立体帧对)。帧复用参数可以以元数据328的方式被解码并识别。根据本公开的一些实施例，帧复用参数还可由来自掩码数据316或元数据328的不可见水印解码并识别。解码水印帧可通过识别在水印中编码的信息所设计的特定过程来实现。例如，如果使用数学变换计算来编码水印信息，那么解码水印帧的过程可涉及应用逆向的数学变换计算。在各种实施例中，解码的信息可包括与帧打包参数有关的相关元数据或一些其他相关信息。
在步骤506中，该方法涉及拆开复用帧306以确定在复用帧306内的多个处理帧和掩码数据。在图6的示例场景中，这可涉及确定处理帧的一个或多个帧分量(图6中的带圈数字3)。
复用帧306还可包括元数据328(以虚线轮廓示出的附加复用帧306)，该元数据328规定了可以如何由多个处理帧产生多个输出帧。关于如何在编码过程期间将元数据328存储在复用帧306中的以上论述，也可应用在该上下文中。也就是说，在解码过程期间，解码模块146可被配置为根据如何将元数据328存储在复用帧306内来识别复用帧306中的元数据328。例如，如果元数据328被存储为复用帧306的水印，则解码模块146可被配置为识别在复用帧306的水印中的元数据328。
为了在解包步骤期间识别每个帧分量(视情况，和/或处理帧)的位置，解码模块146可参考存储在元数据328中的映射数据。如上面所论述的，映射数据可识别存储在复用帧306中的经处理帧和/或帧分量的定位。例如，映射数据可确定预先限定布局，该预先限定布局规定了在复用帧306内的一个或多个经处理帧和/或掩码数据的位置。当识别多个经处理帧和掩码数据时，可使用预先限定的布局。还如上面所论述的，由于预先限定的布局可以从多个不同的预先限定的布局中选择，所以解码模块可提供对不同的预先限定布局的访问，预先限定可用于将图像帧编码成复用帧306。
在另一个实例中，代替或附加地，参照预先限定布局来识别复用帧306中的经处理帧和掩码数据，可根据复用帧的图像边界检测分析来确定复用帧内至少一个经处理帧和/或掩码数据的位置。例如，这种算法中的一种通过进行贝叶斯后验估计，可最佳定位任何两个图像分量之间的边界。
在已经识别帧分量(或经处理帧)之后，可将在编码期间被旋转的复用帧中的任何旋转帧分量恢复到其原始的方向。这可在步骤508(以虚线轮廓示出)执行。在步骤508中，该方法可包括旋转一个或多个旋转帧分量312、312′(图6中的圈数字4)。由于图5中的步骤508是可选的，因为可能没有旋转在复用帧306中确定的帧分量312、312′(或作为实例可以是经处理帧304、304′)，所以其以虚线轮廓示出。在各种实施例中，元数据328可包括指示相应图像数据的原始方向的数据，使得能够根据所包括方向执行步骤508。附加或替代地，在图2的编码过程期间的旋转步骤212可被标准化和预先定义，使得在步骤508的解码过程中的旋转步骤也可被标准化和预先定义。例如，编码模块106可被配置为总是顺时针旋转图像帧或帧分量90°，使得在步骤508的旋转总是逆时针进行90°以在解码期间恢复方向。
在步骤510，可将一个或多个帧分量312组装在一起，以产生经处理帧304′(图6中的带圈数字5)。该步骤也以虚线轮廓示出，因为它可能是，在各种实施例中，在编码过程期间经处理帧304′可能没被分割，致使该步骤不必要。
如上文关于编码过程的论述所指出的，在将经处理帧分割成帧分量312期间，帧分量312、312′可提供保护区314、314′，其与用于同一处理帧304、304′的其他帧分量312、312′的部分重叠。因此，在图6的示例场景中，保护区314可识别或预先定义F1的旋转帧分量312(具有标记‘F1B’)。同时，保护区314′可识别或预先定义F2的帧分量312′(具有标记‘F2B’)。在将用于处理帧304的帧分量312组装在一起时，可在保护区314将帧分量312逐步混合在一起。针对用于处理帧304′的在保护区314′的帧分量312′，也可重复该混合。正如应该理解的，提供保护区可允许无缝混合，以便改善处理帧的重建。
为了由多个识别的处理帧304、304′产生多个输出帧，第一经处理帧(例如，F1的经处理帧304)可首先被识别为基础帧，其将是第一输出帧。然后通过将掩码数据316应用于第一输出帧，可产生后续的输出帧，然后根据掩码数据316中的相应的值，用后续处理图像的区域(例如，F2的经处理帧304)覆盖第一输出帧。
然而，在执行覆盖之前，由于重建的经处理帧304、304′的分辨率可以是不同的，所以任何后续经处理帧的分辨率(例如，F2的处理帧304′)可能会被修改，使得与基础第一输出帧的分辨率相同。例如，在图6示出的示例场景中，F1的经处理帧304的分辨率可高于F2的经处理帧304′的分辨率。因此，F2的经处理帧304′的分辨率可根据两帧之间的分辨率比(例如，F2的经处理帧304′和F1的经处理帧304之间的比率)按比例缩小。在各种实施例中，例如，可将该分辨率比存储在复用帧306的元数据328中。
在步骤512中，根据掩码数据，通过将多个经处理帧中的一个帧与多个处理帧中的另一个帧组合在一起可产生输出帧(图6中的带圈数字6)。在图6示出的示例情景中，这可通过首先选择F1的经处理帧304作为基础输出帧来执行。然后可将掩码数据316应用于F1的经处理帧304，以指示如何可以将F1的经处理帧304与F2的经处理帧304′组合在一起，以产生对应于F2的输出帧。
同时参考图7，示出有根据掩码数据由组合两个经处理帧产生输出帧的图解700。示出的掩码数据316对应于图4示出的掩码数据316，因此，由12×8个数据网格组成，这表明当产生对应于F2的输出帧时，F1的经处理帧304的相应区域必须用F2的经处理帧304′的同一区域覆盖。这在图7中通过将掩码数据316直接覆盖在F1的经处理帧304的顶部上示出。同时参考图4，可以看出，用F2的经处理帧304′的相应区域取代的区域404(即，图4示出的掩码数据316的值为‘1’的位置)以交叉阴影线示出。在应用掩码数据组合经处理帧304、304′之前，还可调整掩码数据316的大小使其与F1的经处理帧304的大小一致。
在将掩码数据316应用于F1的经处理帧304之后，可以产生对应于F2的处理帧304′的输出帧。仍然参考图7，下面示出的用掩码数据316覆盖的F1的处理帧304是对应于F2的处理帧304′的结果输出帧F2。如图所示，结果输出帧F2由F1的经处理帧304产生，通过掩码数据316确定的选定区域402已经用F2的处理帧304′的同一区域取代。由于该具体实例的图像帧对示出了高尔夫球朝着洞方向运动，所以已经取代区域402：(i)用于用图像示出高尔夫球的区域表明球已不在那里了；和(ii)用于用区域示出没有出球的区域表明，高尔夫球已移动到了那里。
在步骤514，一旦已经确定输出帧F1，就已经产生输出帧F2，可修改输出帧以恢复原始图像帧的属性(图6中的带圈数字7)。正如上面所论述的，元数据528可存储图3示出的原始图像帧302的各种属性。因此，当执行步骤514时，可以引用这些属性。例如，输出帧602的修改可包括恢复原始图像帧302的纵横比，或恢复原始图像帧302的垂直或水平分辨率。它还可包括将空的可视数据的返回行添加到解码处理图像帧的顶部和底部以恢复原始图像帧的外观(例如，如果解码的处理图像帧仅是从原始图像帧裁剪的原始图像帧的一部分，例如如上所述的)。正如应该理解的，空的可视数据可呈现为在输出帧的顶部和底部部分中的黑条。
在步骤516，可获得准备用于显示的输出帧(图6中的圈数字8)。一旦根据原始图像属性已经恢复输出帧602，就可将输出帧602插入到可由图1的显示装置148显示的输出帧流中。在各种实施例中，解码复用图像帧流120中的复用帧306，在将输出帧流提供给显示设备之前，可直接通过解码模块146在显示设备140上实时执行。
嵌套的复用帧
尽管以上论述涉及直接编码图像帧成复用帧，然而在各种实施例中，它也可能是编码另一复用帧成复用帧，以致产生嵌套的复用帧。
参考图8，根据本公开的至少一个实施例，嵌套编码方法800是将复用帧306和第三经处理帧802(对应于第三图像帧F3(未示出))转换成嵌套复用帧806。正如应该理解的，产生嵌套的复用帧的方法将类似于产生规律的复用图像帧的方法，除了它是在随后的编码过程中将复用图像帧和经处理帧组合在一起以外。
例如，产生嵌套的复用帧的方法可包括识别复用帧306，其本身包括对应于第一图像帧的第一经处理帧，和对应于第二图像帧的第二处理帧。然后事儿别图像帧流的第三图像帧F3。如前所述，第一复用帧306可包含：原始图像帧F1的帧分量312，原始图像帧F2的帧分量312′，和复用帧306的掩码数据；其中掩码数据表示图像帧F2和图像帧F1之间的关系。与第一复用帧相关的掩码数据和元数据可保留在部分316中，且在图中被称为“M.D.1”。用于编码复用帧306的中间步骤在图3示出了，但未在图8示出。
图8示出了打包或复用成嵌套复用帧806的复用帧306和第三经处理图像帧802。嵌套复用帧806的第一帧分量部分812a包括标记为‘F1A’和‘F2A’的处理帧分量，以及复用帧306的掩码数据316，它们可通过如图所示的调整大小和旋转被打包。同样，嵌套复用帧806的第二帧分量部分812b包括标记为‘F1B’和‘F2B’的经处理帧分量，它们可通过如图所示的调整大小和旋转被打包。与旋转和调整大小的相关信息，诸如用来做这两者的方案，可被存储为部分816中的与嵌套复用帧806相关的元数据。
类似于306中的复用经处理帧分量，第三经处理帧802的经处理帧分量812'a和812'b可被打包成嵌套复用帧806，其中812′a是第三经处理图像帧802的第一帧分量(具有标记‘F3A’)，且其中812′b是第三经处理帧802的第二帧分量(具有标记‘F3B’)。这两个帧分量可被旋转并插入到嵌套复用帧806中。嵌套复用帧可包含经处理图像帧802的帧分量812′a和812′b，和嵌套复用帧806的掩码和元数据816(在图8中，标记为“M.D.2”)。“M.D.2”中的掩码数据可表示图像帧F3和图像帧F2之间的关系。嵌套复用帧806中的元数据可表示如何可以将第三经处理帧802和复用帧306复用在一起。例如，嵌套复用帧806的元数据可包括，关于当创建嵌套复用帧806时如何调整并打包复用帧306内的帧分量和掩码/元数据“M.D.1”的信息。
在进一步的实施例中，当嵌套复用帧本身被进一步编码成另一个嵌套复用帧时，可进一步重复嵌套复用帧806的创建。递归复用图像帧的这种过程可继续被重复，直到在编码过程期间达到处理帧中的最低量级。
为了解码嵌套复用图像帧，可使用以上关于图5-7所述的类似解码过程。
由嵌套复用帧产生输出图像帧需要由第二经处理帧产生第三输出图像帧；和在产生第二输出图像帧之前，需要确定第一经处理帧。因此，在产生任何输出图像帧之前，可能要“解开”递归嵌套复用帧的多层嵌套(例如，必须解包并确定每个嵌套处理图像帧)。
正如应该理解的，复用帧的解码方法的步骤通常可类似于反序进行的编码步骤。在图8示出的实例中，解码可首先涉及确定嵌套复用帧806中帧分量812a和812b，以便能重建初始复用帧306。解包还可涉及确定嵌套复用帧806中的帧分量812′a和812′b，以便能重建第三处理帧802。
为了产生图8中的第三输出帧F3，例如，然后将基于与初始复用帧306有关的掩码数据316，解码初始复用帧306以产生第一和第二经处理帧。此后，使用与下一级嵌套用帧806相关的掩码数据816，通过组合第二经处理帧和第三经处理帧以产生第三输出帧。
该过程可在出现进一步嵌套复用帧的情况下继续，直到产生最后嵌套复用帧的最后输出图像帧。因此，所有输出图像帧的解码顺序发生在与编码图像帧相同的顺序中。
解码方法可包括接收：嵌套复用帧，其包括第一经处理帧和第二经处理帧的经处理复用帧；第三经处理帧；和在该嵌套复用级掩码和元数据。解码模块可使用与嵌套复用帧相关的元数据解包嵌套复用帧，以确定在较低的嵌套复用级的嵌套复用帧内的处理复用帧、第三处理帧、相关的掩码数据。
然后，该方法通过使用与嵌套复用帧相关的元数据，确定并重建复用帧，来解包嵌套复用帧。一旦重建，就能用与复用帧相关联的元数据解码复用帧，以确定第一经处理帧、第二处理帧和掩码数据。
一旦产生处理帧，然后该方法可继续产生对应于处理帧的输出图像帧，即第一输出图像帧、第二输出图像帧和第三输出图像帧，以便重建用于显示的原始高帧速率图像序列。
多视点图像帧复用
在各种实施例中，本公开描述的编码和解码过程可应用于多视点图像帧流的领域(例如，具有提供同一场景的不同视点的图像帧的帧流)。
多视点图像帧流的实例是其中提供场景的两个视图(例如，包含用于左眼的一个视图和用于右眼的另一个视图的立体帧对)的三维(3D)电影视频流。正如所知道的，同时观看不同的视图(或快速地连续)能够感知产生三维效果的景深。在这些类型的3D电影视频流中，可连续地示出每只眼晴的交替场景，偏振眼镜可用于使每只眼睛仅看到它想要看到的视图。
如上所述，常规电影视频通常以24fps提供。为了允许在3D电影视频中交替场景的左和右视图，将要在3D电影图像帧流中提供两倍的每秒帧数，以使每只眼睛保持感知24fps的常规帧率(诸如，虽然实际帧流可以以48fps显示，但在任何指定的秒中这些帧中只有一半直接到每只眼睛)。因此，3D电影图像帧流通常以48fps提供，从而可受到上述的类似带宽限制。因此，3D电影图像帧流可适合本公开中描述的编码和解码过程。
参考图9，示出有根据本公开的至少一个实施例的其中将不同视点的图像帧编码在一起的、将示例多视点图像帧流转换成复用图像帧流的图解900。在该特定实例中，原始3D图像帧流用立体对序列902、902′、902″示出，(标记为用于视图‘0’的L0和R0；用于视图‘1’的L1和R1；和用于视图‘2’的L2和R2)。在该实施例中，将同一场景的多个视图复用在一起。因此，在通过上述的编码过程处理3D图像帧流之后，其结果可以是其中每个复用帧包含立体帧对的两个帧的复用图像帧流。例如，如图所示，复用帧906包括立体帧对902的两个帧(标记为L0和R0的原始帧)。同样，复用帧906′包括立体帧对902′的两个帧(标记为L1和R1的原始帧)，和复用帧906″包括立体帧对902″的两个帧(标记为L2和R2的原始帧)。
对于立体帧的复用，为了更好的效率，可使掩码数据的产生不同于前述实例中所描述的。例如，对图像的两个不同视点之间的差异分析可以考虑场景景深和已知的或检测到的立体模型参数。在这种实施例中，例如，场景景深信息可被传输为掩码数据的一部分。
参考图10，示出有编码原始的3D图像帧流的另一个实施例的图解。特别是，方法1000示出了根据本公开的至少一个实施例的、其中将同一视点的图像帧编码在一起的、示例多视点图像帧流到复用图像帧流的转换。与图9类似，原始的3D图像帧流用立体对序列示出。然而，在该实施例中，对同一视点的序列帧进行编码，而不是对同一场景的不同视点进行编码。由于同一视点的序列帧是在一段时间内捕获场景，所这可被认为是3D图像帧流的时间编码。
如图所示，可选择第一多个原始图像帧1002进行编码(例如，场景‘0’和‘1’的、标记为帧L0和L1的左眼视图)以产生包含原始帧标记为L0和L1的结果复用帧1006。同样，可选择第二多个原始图像帧1002′进行编码(例如，场景‘0’和‘1’的、标记为帧R0和R1的右眼视图)以产生包含原始帧标记为R0和R1的结果复用帧1006′。然后可重复执行在场景的每个左眼和右眼视图的顺序时间对之间改变的编码过程。其结果将是保持3D视频流的特征的、以交替序列提供的左眼和右眼视图的复用图像帧流。
由图9和10示出的实施例产生的复用图像帧、产生输出帧的过程，类似于以上关于图5-7所描述的过程。依据编码3D图像帧流的方法(例如，图9中的视点编码与图10中时间编码)，解码模块146可相应地被配置为重建原始的3D图像帧流序列。
参考图11，示出有编码原始高帧速率(HFR)图像帧流的实施例的图解。特别是，方法1100示出了根据本公开的至少一个实施例的、其中将连续图像帧对编码在一起的、示例HFR图像帧流到复用低帧速率图像帧流的转换。如图所示，可选择第一多个原始图像帧1102进行编码(例如，分别标记为帧I0和I1的、帧‘0’的索引编号和帧‘1’的索引编号)以产生包含原始帧标记为I0和I1的结果复用帧1106。同样，可选择第二多个原始帧1102′进行编码(例如，分别标记为帧I2和I3的、帧‘2’和‘3’的索引编号)以产生包含原始帧标记为I2和I3的结果复用帧1106′。然后可重复执行将顺序时间帧对折叠成一系列复用帧的编码过程。其结果将是包含所有原HFR帧的，但现在只有一半数量的复用帧(即，复用图像帧流包含原始图像帧流的帧数的一半)的复用图像帧流，因此有效地减少了传输所需的带宽。
由图11示出的实施例产生的复用图像帧、产生输出帧的过程，类似于以上关于图5-7所描述的过程。解码模块146可地被配置为重建原始HFR图像帧序列的顺序。
参考图12，示出有根据本公开实施例的、用于复用帧的布局的替代实施例1200。在该替代实施例中，代替反映整个第二原始帧302的第二处理帧304′，将第二处理帧限制为仅是在产生输出帧时使用的第二原始图像帧302的区域402。这使得第二处理帧302的剩余部分的数据(其不用于产生输出帧)能从复用帧1206中省略。由省略所产生的节省带宽，允许将区域402数据以更高的质量(例如，更高的分辨率)添加到复用帧306。
如图所示，在上述的用于将一对原始图像帧F1和F2打包成复用帧的示例场景中，可将F1的帧分量312(标记为‘F1A’和‘F1B’)添加到复用帧1206。而且，代替将反映整个原始帧F2的用于F2的处理帧添加到复用帧1206，可只将原始第二帧F2的区域402(随后用于产生输出帧)添加到复用帧1206。
掩码数据316可以以与早期描述的类似方式产生，即，示出在产生输出帧F2时需要用区域402覆盖的F1的区域。然而，为了使解码模块将原始帧F1的指定位置与特定区域402关联在一起，复用帧1206还包括元数据328中的是映射数据。
由于元数据328可仅允许少量的数据被无损传输，在各种实施例中，F1的位置的布局(例如，前面论述的12x8个数据网格)可以是固定的，所以，布局信息不需要以映射数据发送。在这种情况下，映射数据可简单提供到网格中的一系列索引，该网格指出了需要用提供在复用帧1206中的区域402的各自序列替代的F1的位置。
在某些实施例中，该映射数据还可通过与元数据328分离的另一种数据通道的方式来附加或替代地提供。
应该理解，图2-4示出的编码方法的各个方面可根据选定的图像帧的类型而变化。用于复用帧的所有描述分量的尺寸、数量和布置都可重构，新的配置可显式或隐式地从编码模块发送到解码模块。例如，对于一个多图像帧的、复用帧306中的掩码数据和/或元数据所产生的尺寸，可以不同于对于另一个多个图像帧的、复用帧306中的掩码数据和/或元数据所产生的尺寸。此外，复用帧306中的帧分量和/或处理帧的布局也可以是不同的。
而且，在各种实施例中，影响编码过程的因素可根据图像帧中示出的场景类型预先选定。也就是，因为具有被复用的图像帧的属性的全部知识，编码可以脱机执行，所以确定更适合于某些选定的原始图像帧流序列的、所述编码过程的特定配置是可能的。
在这些实施例中，可预先选择编码过程的这种场景特定配置的数量，然后可根据原始图像帧流进行选择编码过程。这些场景特定配置可在解码模块146提供，使得复用帧306只需要存储特定场景配置标识符，该标识符将表明解码模块146如何解码复用帧306。例如，正如上面所论述的，这种标识符的实例可以是一种代码，该代码指示用于定位复用帧内的帧分量的预先定义的布局。
在这里仅通过实例的方式已描述了本发明。在不偏离本发明的范围的情况下，可对这些示例性实施例进行各种修改和变更，本发明仅限制于附属权利要求。例如，可以任何顺序执行根据本文描述的任何实施例的方法步骤，无论这些步骤在权利要求、附图中描述或否则以任何顺序编号或字母的方式描述。

Claims (48)

1.一种动态帧打包方法，该方法包括：
识别多个图像帧；
修改多个图像帧中的每一帧以产生多个对应的经处理帧；
产生掩码数据，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个经处理帧中的另一个帧产生输出帧，该输出帧对应于多个处理帧中的所述另一个帧；和
组合多个经处理帧和掩码数据以形成复用帧。
2.根据权利要求1所述的方法，其中当组合多个经处理帧和掩码数据以形成复用帧时，根据预定的布局使每个经处理帧位于复用帧内。
3.根据权利要求2所述的方法，其中该预定的布局从多个不同的预定的布局中选择，该选择基于图像帧中示出的场景类型执行。
4.根据权利要求3所述的方法，其中多个不同的预定的布局中的每个布局对应于不同类型的场景。
5.根据权利要求1所述的方法，进一步包括当产生多个对应的经处理帧时，修改多个图像帧中的每一帧的纵横比。
6.根据权利要求1所述的方法，其中修改多个图像帧中的每一帧包括获取原始图像帧中的一部分，以产生多个对应的经处理帧。
7.根据权利要求1所述的方法，其中在组合之前，该方法进一步包括
将多个经处理帧中的经处理帧分割成多个帧分量；
并且其中该组合包括将一个或多个帧分量添加到复用帧。
8.根据权利要求7所述的方法，进一步包括在将一个或多个帧分量添加到复用帧之前，旋转多个帧分量中的至少一个帧分量。
9.根据权利要求7所述的方法，其中在分割期间，多个帧分量中的至少一个帧分量提供有保护区，该保护区与多个帧分量中的另一个帧分量的一部分重叠。
10.根据权利要求7所述的方法，其中该方法进一步包括对多个经处理帧中的另一个经处理帧重复所述分割和添加，并且其中由分割另一个经处理帧所产生的帧分量的尺寸不同于由分割该经处理帧所产生的帧分量的尺寸。
11.根据权利要求1所述的方法，进一步包括在复用帧中存储元数据，该元数据规定如何可以由多个经处理帧产生多个输出帧。
12.根据权利要求11所述的方法，其中元数据包括多个图像帧的纵横比。
13.根据权利要求11所述的方法，其中元数据包括多个经处理图像帧中的所述一个帧和多个经处理图像帧中的所述另一个帧之间的分辨率比。
14.根据权利要求11所述的方法，其中元数据包括识别经处理帧在复用帧中定位的映射数据。
15.根据权利要求11所述的方法，其中元数据的至少一部分被存储为水印。
16.根据权利要求1所述的方法，其中多个图像帧包括一对图像帧，并且多个对应的经处理帧包括一对经处理帧。
17.根据权利要求1所述的方法，其中该识别包括从图像帧流中选择多个图像帧。
18.根据权利要求17所述的方法，进一步包括对图像帧流中另外的多个图像帧重复所述识别、修改、产生和组合。
19.根据权利要求18所述的方法，其中对于另外的多个图像帧所产生的元数据的尺寸不同于对于该多个图像帧所产生的元数据的尺寸。
20.根据权利要求1所述的方法，其中多个经处理帧中的另一个帧仅包括当产生输出帧时所使用的区域。
21.根据权利要求20所述的方法，其中区域的分辨率基本类似于多个经处理帧中所述一个帧的分辨率。
22.一种解码复用帧的方法，该方法包括：
接收复用帧，该复用帧包括：
多个经处理帧，和
掩码数据；
解包复用帧以识别多个经处理帧和掩码数据；和
由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，并且其中该输出帧对应于多个处理帧中的所述另一个帧。
23.根据权利要求22所述的方法，其中当解包复用帧以识别多个经处理帧和掩码数据时，基于预定的布局识别至少一个经处理帧在复用帧内的位置。
24.根据权利要求23所述的方法，其中该预定的布局从多个不同的预定的布局中选择，该选择基于复用图像帧中提供的映射数据执行。
25.根据权利要求22所述的方法，其中当解包复用帧以识别多个经处理帧和掩码数据时，根据复用帧的图像检测分析识别至少一个经处理帧在复用帧内的位置。
26.根据权利要求22所述的方法，其中在解包期间，该方法进一步包括
在复用帧中识别经处理帧的一个或多个帧分量；和
将一个或多个帧分量组装在一起以产生经处理帧。
27.根据权利要求26所述的方法，旋转识别的一个或多个帧分量，并且该方法进一步包括在组装之前旋转所述一个或多个帧分量。
28.根据权利要求26所述的方法，其中所述一个或多个帧分量中的至少一个帧分量提供有保护区，该保护区与所述一个或多个帧分量中的另一个帧分量的一部分重叠，并且其中该方法进一步包括在保护区将所述一个或多个帧分量的所述至少一个帧分量与所述一个或多个帧分量中的所述另一个帧分量混合在一起。
29.根据权利要求22所述的方法，其中多个经处理帧包括一对经处理帧，并且多个输出帧包括一对输出帧。
30.根据权利要求22所述的方法，其中复用帧进一步包括规定如何可以由多个经处理帧产生多个输出帧的元数据。
31.根据权利要求30所述的方法，其中元数据包括纵横比，并且该产生进一步包括修改输出帧以符合该纵横比。
32.根据权利要求30所述的方法，其中元数据在水印中识别。
33.根据权利要求30所述的方法，其中元数据包括多个经处理帧中的所述一个帧和多个经处理帧中的所述另一个帧之间的分辨率比，并且该产生包括根据该分辨率比修改多个经处理帧中的所述一个帧或多个经处理帧中的所述另一个帧的分辨率。
34.根据权利要求30所述的方法，其中元数据包括识别经处理帧在复用帧中的定位的映射数据，并且该解包包括基于该映射数据在复用帧中识别经处理帧。
35.根据权利要求22所述的方法，其中多个输出帧包括图像帧流中的连续图像帧。
36.根据权利要求22所述的方法，其中多个输出帧中的每一帧提供多个经处理帧中示出的场景的不同视点。
37.根据权利要求36所述的方法，其中多个输出帧包括立体帧对。
38.根据权利要求22所述的方法，其中多个经处理帧中的所述另一个帧仅包括当产生输出帧时所使用的区域。
39.根据权利要求38所述的方法，其中区域的分辨率基本类似于多个经处理帧中的所述一个帧的分辨率。
40.一种传送复用帧的方法，该方法包括：
识别图像帧流；
从图像帧流中选择多个图像帧；
修改多个图像帧中的每一帧以产生多个对应的经处理帧；
产生掩码数据，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个经处理帧中的另一个帧产生输出帧，该输出帧对应于多个经处理帧中的所述另一个帧；和
组合多个处理帧和掩码数据以形成复用帧；
压缩复用帧以产生经压缩帧；和
发送经压缩帧。
41.根据权利要求40所述的方法，其中压缩模块被配置为基于JPEG2000标准压缩复用帧。
42.一种显示来自复用帧的图像帧的方法，该方法包括：
接收经压缩帧；
解压缩经压缩帧以产生复用帧，其中该复用帧包括：
多个经处理帧，和
掩码数据；
解包复用帧以识别多个经处理帧和掩码数据；
由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，并且其中该输出帧对应于多个经处理帧中的所述另一个帧；和
将多个输出帧传输到至少一个显示装置。
43.一种用于传输复用帧的系统，该系统包括：
接收模块，其配置为接收多个图像帧；
编码模块，其配置为：
修改多个图像帧中的每一帧以产生多个对应的经处理帧；
产生掩码数据，该掩码数据指示如何可以由多个经处理帧中的一个帧和多个经处理帧中的另一个帧产生输出帧，该输出帧对应于多个经处理帧中的所述另一个帧；和
组合多个经处理帧和掩码数据以形成复用帧；
压缩模块，其配置为压缩复用帧以产生经压缩帧；和
通信模块，其配置传输经压缩帧。
44.根据权利要求43所述的系统，其中由编码模块执行的修改、产生和组合离线执行。
45.一种用于解码复用帧以用于显示的系统，该系统包括：
解压缩模块，其配置为解压缩经压缩帧以恢复复用帧；和
解码模块，其配置为：
解包复用帧以识别多个经处理帧和掩码数据；和
由多个经处理帧产生多个输出帧，其中该产生包括通过将多个经处理帧中的一个帧与多个经处理帧中的另一个帧根据掩码数据组合在一起产生输出帧，并且其中该输出帧对应于多个经处理帧中的所述另一个帧。
46.根据权利要求45所述的系统，其中由解码模块执行的解包和产生实时执行。
47.一种产生嵌套复用帧的方法，该方法包括：
识别复用帧，该复用帧包括：对应于第一图像帧的第一经处理帧，和对应于第二图像帧的第二经处理帧；
识别第三图像帧；
修改复用帧和第三图像帧，以分别产生对应的经处理复用帧和对应的第三经处理帧；
识别掩码数据，该掩码数据指示如何可以由第二经处理帧和第三经处理帧产生输出帧，该输出帧对应于第三图像帧；和
组合经处理复用帧、第三经处理帧和掩码数据，以形成嵌套复用帧。
48.一种解码嵌套复用帧的方法，该方法包括：
接收嵌套复用帧，该嵌套复用帧包括：
经处理复用帧，其包括第一经处理帧和第二经处理帧，
第三经处理帧，和
掩码数据；
解包嵌套复用帧以识别经处理复用帧、第三经处理帧和掩码数据；
解码经处理复用帧以识别第一经处理帧和第二经处理帧；和
产生输出帧，其中该产生包括根据掩码数据将第二经处理帧与第三经处理帧组合在一起，并且其中该输出帧对应于第三经处理帧。
CN201380074719.3A 2013-01-15 2013-01-15 图像帧复用方法及系统 Pending CN105052157A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CA2013/000028 WO2014110642A1 (en) 2013-01-15 2013-01-15 Image frames multiplexing method and system

Publications (1)

Publication Number Publication Date
CN105052157A true CN105052157A (zh) 2015-11-11

Family

ID=51208880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380074719.3A Pending CN105052157A (zh) 2013-01-15 2013-01-15 图像帧复用方法及系统

Country Status (4)

Country Link
US (1) US20150326873A1 (zh)
EP (1) EP2946551A4 (zh)
CN (1) CN105052157A (zh)
WO (1) WO2014110642A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247562A (zh) * 2017-10-21 2020-06-05 三星电子株式会社 使用混合变换的点云压缩

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170127505A (ko) 2015-03-01 2017-11-21 넥스트브이알 인코포레이티드 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
KR101920468B1 (ko) * 2016-03-04 2018-11-20 한국전자통신연구원 이중 촬영 방식 저속카메라 기반 객체 자동 인식 장치 및 그 방법
JP2023101331A (ja) * 2022-01-07 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301396A (zh) * 2008-12-02 2011-12-28 森西欧技术公司 对于数字图像流的帧进行编码和解码的方法和系统
US20120033039A1 (en) * 2010-08-06 2012-02-09 Taiji Sasaki Encoding method, display device, and decoding method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535639B1 (en) 1999-03-12 2003-03-18 Fuji Xerox Co., Ltd. Automatic video summarization using a measure of shot importance and a frame-packing method
US20020194589A1 (en) * 2001-05-08 2002-12-19 Cristofalo Michael Technique for optimizing the delivery of advertisements and other programming segments by making bandwidth tradeoffs
US8805689B2 (en) * 2008-04-11 2014-08-12 The Nielsen Company (Us), Llc Methods and apparatus to generate and use content-aware watermarks
US8400570B2 (en) * 2008-10-09 2013-03-19 Manufacturing Resources International, Inc. System and method for displaying multiple images/videos on a single display
US20110032331A1 (en) 2009-08-07 2011-02-10 Xuemin Chen Method and system for 3d video format conversion
US20110280311A1 (en) 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
WO2012166512A2 (en) 2011-05-31 2012-12-06 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
US20130170565A1 (en) * 2011-12-30 2013-07-04 Faramarz Azadegan Motion Estimation Complexity Reduction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102301396A (zh) * 2008-12-02 2011-12-28 森西欧技术公司 对于数字图像流的帧进行编码和解码的方法和系统
US20120033039A1 (en) * 2010-08-06 2012-02-09 Taiji Sasaki Encoding method, display device, and decoding method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247562A (zh) * 2017-10-21 2020-06-05 三星电子株式会社 使用混合变换的点云压缩
CN111247562B (zh) * 2017-10-21 2023-10-03 三星电子株式会社 使用混合变换的点云压缩

Also Published As

Publication number Publication date
EP2946551A1 (en) 2015-11-25
US20150326873A1 (en) 2015-11-12
EP2946551A4 (en) 2016-09-07
WO2014110642A1 (en) 2014-07-24

Similar Documents

Publication Publication Date Title
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US11044455B2 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
US11012657B2 (en) Method for processing overlay in 360-degree video system and apparatus for the same
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
JP7058273B2 (ja) 情報処理方法および装置
US11647177B2 (en) Method, apparatus and stream for volumetric video format
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
KR20200065076A (ko) 볼류메트릭 비디오 포맷을 위한 방법, 장치 및 스트림
US20190379884A1 (en) Method and apparatus for processing overlay media in 360 degree video system
US11831855B2 (en) Method for transmitting 360-degree video, method for providing a user interface for 360-degree video, apparatus for transmitting 360-degree video, and apparatus for providing a user interface for 360-degree video
KR102278848B1 (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
KR20200006918A (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
EP3562159A1 (en) Method, apparatus and stream for volumetric video format
US20190320156A1 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
EP4074049A1 (en) A method and apparatus for encoding and decoding of multiple-viewpoint 3dof+ content
CN105052157A (zh) 图像帧复用方法及系统
WO2019191202A1 (en) Method, apparatus and stream for volumetric video format
EP4066488A1 (en) A method and apparatus for decoding a 3d video
US20230032599A1 (en) Methods and apparatuses for encoding, decoding and rendering 6dof content from 3dof+ composed elements
US20220345681A1 (en) Method and apparatus for encoding, transmitting and decoding volumetric video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151111

WD01 Invention patent application deemed withdrawn after publication