CN102308319A - 用于编码数据与三维渲染的系统与格式 - Google Patents

用于编码数据与三维渲染的系统与格式 Download PDF

Info

Publication number
CN102308319A
CN102308319A CN2010800155159A CN201080015515A CN102308319A CN 102308319 A CN102308319 A CN 102308319A CN 2010800155159 A CN2010800155159 A CN 2010800155159A CN 201080015515 A CN201080015515 A CN 201080015515A CN 102308319 A CN102308319 A CN 102308319A
Authority
CN
China
Prior art keywords
image
view
data
fusion
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800155159A
Other languages
English (en)
Inventor
阿兰·福格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NOMAD3D Sas
Original Assignee
NOMAD3D Sas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NOMAD3D Sas filed Critical NOMAD3D Sas
Publication of CN102308319A publication Critical patent/CN102308319A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

数据的3D+F编码和三维渲染，包括通过结合第一组和第二组数据，生成融合视图的2D图像与相关联的生成矢量，以致该融合视图的2D图像包括与第一2D图像和第二2D图像的元素相关联的信息，且生成矢量表示在融合视图的2D图像的元素上可被执行的操作，以恢复第一2D图像和第二2D图像。这便利于采用与传统技术相比降低了能量需求的3D渲染，同时提供了高质量、工业标准的图像质量。

Description

用于编码数据与三维渲染的系统与格式
技术领域
本发明总体上涉及计算机视觉和图形，尤其是涉及一种用于三维编码和渲染的格式和系统，特别应用到移动装置。
背景技术
三维（3D）立体视觉成像技术能被描述为在现代视频技术的下一代革命。立体视觉是在三维的视觉感知，尤其是捕获场景的两个分离的图像，并将这些图像合并为该场景的一个3D感知。作为3D观看的基础，立体视觉的概念源于1800’s，但迄今为止，因为技术障碍而并未被广泛使用。从某个观点看，目前二维（2D）成像技术的过剩连累到3D成像。目前，大量的研究开发聚焦在3D成像上。最近的进展包括：
·     3D立体视觉LCD显示，能使使用者观看3D的立体和多视点图像，而无需用户戴眼镜。
·     3D电影院正成为非常普通（皮克斯，迪斯尼3-D和IMAX）
·     用于增加的3D程序的电视广播计划（例如，ESPN目前计划以3D方式播送2010世界杯）
·     3D电影（例如，阿凡达）是享有出乎意外的受欢迎的成功。
许多领域和应用计划结合3D成像。可以断定，大的消费市场包括3D电视、3D智能电话和3D牌匾。目前，高清（HD）电视（HDTV）是视频质量的标准。带有压缩LCD分辨率（720p）的HD智能电话都出现在移动电话市场上。3D成像将带来HD的新维度。
在本说明书的内容中，3D立体成像、3D立体视觉和3D成像都是可替换使用的术语，除非另外特别指明。3D立体视觉包括一个关于与2D成像相比的内容信息量倍增的基础问题，这导致存储量和传输带宽要求都倍增。因此，正在开发用于减少3D成像所需的信息的方法，优选地通过某个因子，该因子是显著低于2。
参考图1，该图是综合的3D内容和技术链的图，源3D成像信息，通常是指作为内容，或3D内容（例如，3D电影），是由内容提供商110来创建100的。减少3D信息的步骤是在编码阶段（在本例中，3D编码阶段）由已知的作为编码算法的那些算法来进行102。3D编码算法的目标是将源格式的给定的量的源3D成像信息转换为编码格式的减少量的信息，该编码格式也称为图像格式。在本说明书的内容中，3D内容已经被编码，总体上被称为编码信息。
编码通常是在传输之前进行的，在应用服务器112内离线进行。流行的例子包括Itunes（由苹果电脑公司推出的一款数字媒体播放应用程序）和YouTube（目前世界上最大的视频分享网站），它们对存储的内容进行编码，允许所存储的编码信息可按需被传输。
在由通信服务提供商114传输104（例如，通过第四代无线通信标准“4G”）之后，所编码的信息需要由接收设备120来解码，并渲染用于显示。接收设备120也被称为用户设备或者客户端设备。解码包括将编码信息从编码格式转换为适用于渲染的格式。渲染包括从解码信息中产生足够的用于在显示器上浏览的3D内容的信息。对于3D立体视觉，需要产生两个视图，大体上称为左视图和右视图，分别与用户的左眼和右眼相关联。如下面所述，解码和渲染106在传统上是由移动电话制造商116在移动电话的应用处理器内实施的。取决于编码格式、应用和接收设备，解码和渲染可在分离的阶段或者在某些程度的合并中完成。为实施立体视觉成像，包括源3D内容的左视图和右视图都必须被渲染并发送到被显示108以供用户浏览。显示通常是由显示制造商118来提供，并整合入用户设备。
目前最流行的渲染技术是基于2D+深度图像格式来开发的，在MPEG论坛上被推进。2D+深度图像格式的基本原理是第一视图（例如，右视图）的2D图像与深度图像的结合。解码2D+深度图像格式需要在接收设备上的复杂算法（与相关的高能量要求）以便从第一视图（例如，右视图）产生第二视图（例如，左视图）。
现在所描述的传统的2D和2D+深度图像格式是为了提供背景和作为3D成像架构、编码、格式、解码、渲染和显示的参考。再次参考图1，2D+深度图像格式主要需要在编码阶段102和解码与渲染阶段106执行。如上所述，2D+深度图像格式的基础原理是第一视图的2D图像与深度图像的结合。2D图像通常是这些视图（例如，左视图或右视图）之一，或者是接近于这些视图之一的一个视图（例如，中央视图）。这个2D视图可无需采用深度图来浏览，而将显示内容的普通2D视图。
参考图2A，对象200、202和204在三维的中央视图的2D图像，这些对象分别远离观察者。参考图2B，一个简单化的深度图像，对象与观察者的深度（距离）是被提供作为一个灰度图像。对象210、212和214的灰度梯度表示相关点的深度，以不同的杂线标示在图内。
参考图3，一个典型的2D架构的图，移动电话架构被用作一个例子，说明在用户设备上的视频重放（也被应用到流视频）的处理流程，以帮助使本解释更清楚。在这个例子中，压缩视频包的编码信息是由视频解码器302（也被称为视频硬件引擎）在一个应用处理器304中从存储卡300中读取，并通过外部总线接口306发送到视频解码存储器308（通常是专门的应用处理器的外部存储器）。编码信息（视频包）是由视频解码器302来解码，以产生解码帧，这些帧被发送到显示接口310。解码通常包括解压缩。在视频包为H.264格式的例子中，视频解码器302是一个H.264解码器，并读取来自前面的帧的数据包，这些数据包被存储在存储器308中（在本例中，包括作为双帧缓冲器的架构），以便采用的耳塔（delta）数据（在前面帧与当前帧之间的差异的信息）产生一个新的帧。经H.264解码的帧还被发送到存储器308，用于存储在双帧缓冲器中，用于后续的编码包的解码。
解码的帧是从在应用处理器304中的显示接口310（例如，通过MIPI DSI接口）发送的，经过在显示系统322内的显示系统接口312发送到显示控制器314（在本例中，LCD控制器），在显示存储器320中存储解码的帧。LCD控制器314从显示存储器320发送解码的帧，通过显示驱动器316发送到显示器318。显示器318被架构为适合用于特定的设备和应用，将解码的帧表现给用户，使得该用户能浏览想要的内容。 
可选地，在移动电话提供了无线电频率（RF）前端用于移动电话服务的例子中，2D架构可以包括服务提供商通信模块330。可选地，用户通信模块332能提供对于用户的本地通信，例如蓝牙或Wi-Fi。这两者附图提供商和用户通信都可被用于将内容提供给用户设备。
参考图4，一个典型的2D+深度架构的图，该架构是用于在用户设备上的视频的处理流程，移动电话架构被再次用作一个例子。总体上，用于2D+深度的处理流程是类似于用于2D的处理流程，显著的区别在于：更多数据需要被处理，且需要附加处理来产生用于立体视觉成像的左视图和右视图。
编码信息室从存储卡300中读取，在本例中，包括与每个帧关联的两个2D图像（如上所述，一个2D图像是第一视图的，而另一个2D图像是深度图像）。编码信息是由视频解码器和3D渲染模块402来解码以产生解码的帧（解压缩）。在2D重放中，视频解码器302（图3）执行一次解码，与之相比，在2D+深度重放的例子中，视频解码器402需要对每个帧执行两次解码：一次解码用于2D图像，另一次解码用于深度图像。在视频包为H.264格式的例子中，深度图像是压缩的灰度2D图像，而在视频解码器和3D渲染存储器408中需要附加双帧缓冲器以用于解码深度图像。存储器408通常被实施为专门的应用处理器的外部存储器，在本例中，约为存储器308的尺寸的1.5倍大。视频解码器402包括硬件渲染机（未示出）以处理所解码的帧，并渲染需要用于立体视觉的左视图和右视图。
对于每个帧的经渲染的左视图和右视图都从在应用处理器304中的显示接口310发送，经过在显示系统322内的显示系统接口312发送到显示控制器314（在本例中，LCD控制器）。注意，与前述的2D重放相比，因为两次解码，更多数据被传输，通信频道需要更高带宽和更高能量来操作。此外，LCD控制器处理两个视图而不是一个视图，这需要更高带宽和能量。每个视图被存储在显示存储器420中，该存储器可以是2D显示存储器320（图3）的两倍尺寸。LCD控制器314从显示存储器420发送解码的帧，通过显示驱动器316发送到3D显示器418。能量分析已经显示，2D+深度处理需要名义上50%以上能量，两倍的带宽，以及高至两倍的存储器，与2D处理相比。
正如从图3和图4中可见，将用户设备从2D处理升级到2D+深度处理需要在该设备的多个方面进行显著的改变。特别地，新的硬件，包括附加存储器和芯的视频解码器，以及新的可执行代码（通常称为软件）也需要在应用处理器304上。这个新的硬件是必需的，以便使得2D+深度的能量消耗最小化。
解码2D+深度图像格式需要在接收设备上的复杂的算法（以及相关联的高能量要求）以便从第一视图（例如，右视图）产生第二视图（例如，左视图）。复杂的渲染算法可参与几何计算，例如，计算在左视图与右视图之间的不一致，这可被用于渲染左视图和右视图。一个渲染图像的一些部分是仅能从右眼看到的，而另一些部分是仅能从左眼看到的。不能在第二图像中看到的第一图像的部分是所谓的被遮蔽。因此，当发生渲染处理时，每个将被渲染的像素必须被测试用于遮蔽。在另一方面，在2D图像中不可见的像素必须从过头信息中被渲染。这使得渲染处理更复杂和更耗时。此外，取决于以2D+深度格式编码的内容，大量的过头信息会需要与编码信息一起被传输。
正如上述的用于3D成像的传统技术可见，对于接受设备的架构实施需求是显著的。尤其是，对于手持移动设备，例如，智能电话，传统的3D成像架构具有在以下方面的直接影响：硬件复杂度、设备尺寸、能量消耗和硬件成本（在本领域中通常是指材料成本、BoM）。
因此，有需要开发一种系统和格式，以便采用比传统技术降低的能量需求的方法在用户设备上进行3D渲染，同时提供高质量、工业标准的图像质量。进一步还需要使该系统能便利于以最小化的硬件来实施传统用户设备的改变，优选地是便利于在现有的2D硬件架构上实现改变。
发明内容
根据本发明的具体实施方式的教导，提供了一种用于存储数据的方法，包括以下步骤：接收第一组数据；接收第二组数据；通过结合第一组和第二组数据，生成融合组的数据和相关联的生成矢量，以致所述融合组的数据包括与所述第一组和第二组数据的元素相关联的信息，且所述生成矢量表示在所述融合组的数据的元素上可被执行的操作，以恢复第一组和第二组数据；以及存储所述融合组的数据和所述互相关联的生成矢量。
根据本发明的具体实施方式的教导，提供了一种用于编码数据的方法，包括以下步骤：从第一视角的场景中接收第一二维（2D）图像；从第二视角的场景中接收第二2D图像；通过结合第一2D图像和第二2D图像，生成融合视图的2D图像和相关联的生成矢量，以致所述融合视图的2D图像包括与所述第一2D图像和第二2D图像的元素相关联的信息，且所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以恢复第一2D图像和第二2D图像；以及存储所述融合视图的2D图像和所述互相关联的生成矢量。
根据本发明的具体实施方式的教导，提供了一种用于解码数据的方法，包括以下步骤：提供融合视图的2D图像，该图像包括与所述第一2D图像和第二2D图像的元素相关联的信息；提供与所述融合视图的2D图像相关联的生成矢量，所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以渲染第一2D图像和第二2D图像；以及采用所述融合视图的2D图像与所述生成矢量渲染至少所述第一2D图像。
在可选的实施例中，所述的方法还包括渲染所述第二2D图像的步骤。
根据本发明的具体实施方式的教导，提供了一种用于存储数据的系统，包括：处理系统，包括一个或多个处理器，所述处理系统是被架构为：接收第一组数据；接收第二组数据；通过结合第一组和第二组数据，生成融合组的数据和相关联的生成矢量，以致所述融合组的数据包括与所述第一组和第二组数据的元素相关联的信息，且所述生成矢量表示在所述融合组的数据的元素上可被执行的操作，以恢复第一组和第二组数据；以及存储模块，被配置为存储所述融合组的数据和所述互相关联的生成矢量。
在可选的实施例中，所述的系统存储的数据是H.264格式或MPEG4格式。
根据本发明的具体实施方式的教导，提供了一种用于编码数据的系统，包括：处理系统，包括一个或多个处理器，所述处理系统是被架构为：从第一视角的场景中接收第一二维（2D）图像；从第二视角的场景中接收第二2D图像；通过结合第一2D图像和第二2D图像，生成融合视图的2D图像和相关联的生成矢量，以致所述融合视图的2D图像包括与所述第一2D图像和第二2D图像的元素相关联的信息，且所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以恢复第一2D图像和第二2D图像；以及存储模块，被配置为存储所述融合视图的2D图像和所述互相关联的生成矢量。
根据本发明的具体实施方式的教导，提供了一种用于解码数据的系统，包括：处理系统，包括一个或多个处理器，所述处理系统是被架构为：提供融合视图的2D图像，该图像包括与所述第一2D图像和第二2D图像的元素相关联的信息；提供与所述融合视图的2D图像相关联的生成矢量，所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以渲染第一2D图像和第二2D图像；以及采用所述融合视图的2D图像与所述生成矢量渲染至少所述第一2D图像。
根据本发明的具体实施方式的教导，提供了一种用于处理数据的系统，包括：处理系统，包括一个或多个处理器，所述处理系统是被架构为：提供融合视图的2D图像，该图像包括与所述第一2D图像和第二2D图像的元素相关联的信息；以及提供与所述融合视图的2D图像相关联的生成矢量，所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以渲染第一2D图像和第二2D图像；以及显示模块，可操作地连接到所述处理系统，所述显示模块是被配置为：采用所述融合视图的2D图像与所述生成矢量渲染至少所述第一2D图像；以及显示所述第一2D图像。
在可选的实施例中，所述显示模块还被配置为：采用所述融合视图的2D图像与所述生成矢量渲染至少所述第二2D图像；以及显示所述第二2D图像。在可选的实施例中，所述显示模块包括集成电路，该集成电路被配置为执行所述渲染。
附图说明
本发明在这里将仅通过实施例结合相关的附图来进行描述，在这些附图中：
图1是综合的3D内容和技术链的图。
图2A是对象在三维的中央视图的2D图像。
图2B是简化的深度图像。
图3是典型的2D架构的图。
图4是典型的2D+深度架构用于在用户设备上的视频的处理流程图。
图5是3D+F内容和技术链的图。
图6是融合的2D视图的图。
图7是采用3D+F渲染的图。
图8是3D+F架构用于在用户设备上的视频的处理流程图。
图9是采用3D+F渲染的算法的流程图。
图10是生成矢量编码表的特殊的非限制性例子。
具体实施方式
根据本发明的具体实施方式所述的系统的原理和操作将根据附图以及相关的说明而得以清楚的理解。本发明是一种用于编码数据和三维渲染的系统和格式。该系统便利于采用比传统技术降低的能量需求的3D渲染，同时提供高质量、工业标准的图像质量。本发明的一个特征是两种来源的2D图像的编码，尤其是左视图和右视图的3D内容结合入单独的2D图像，且生成矢量表示在单独的2D图像的元素上可执行的操作，以恢复第一2D图像和第二2D图像。这个单独的2D图像被称为“融合视图”或“独眼视图”，且生成矢量是对应于所述编码的信息，也被称为“融合信息”。这个编码的生成矢量被命名为3D+F融合，而编码算法、解码算法、格式和架构都综合地称为3D+F，该“F”是指“融合信息”。虽然生成矢量支持综合操作（例如过滤和控制），特别地，这些生成矢量便利于仅采用复制和插入操作来解码所融合视图的2D图像，从融合视图到渲染在左视图或右视图中的每个元素。
本发明的另一个特征是便利于在显示模块中实施，而在传统技术中，都是在应用处理器中实施。这个特征使得对于应用处理器的硬件改变最小化，以致使2D硬件能保留不变，通过向2D用户设备提供新的3D显示器来实施3D+F格式。
在本说明书的内容中，图像都是包含信息的综合数据结构。对这些图像的参考也可被解释为对于综合数据结构的参考，除非另外特别指出。需注意，虽然为了清楚的目的，在本说明书中，本发明是以移动网络和移动电话为参考进行描述的，但本说明书仅是示例性的，本发明也可以多种类似架构来实施，或者以用于与3D成像具有类似要求的其他应用。
本系统便利于采用与传统技术相比降低了能量需求的3D渲染，同时提供了高质量、工业标准图像质量。能量消耗分析结构已经表明：对于HDTV视频的典型应用，在4.3英寸的智能手机显示屏上以720p 分辨率进行3D重放，而与传统的2D回放的能量消耗相比，实施3D+F的能量消耗损失是1%。与之相比，传统2D+深度格式和渲染方案的能量消耗损失是50%（最好的例子）。
再次参考附图，图5是3D+F内容和技术链的图，类似于图1所述的模型。在应用服务器512中，（内容100）的3D编码502是被编码为3D+F格式，在本实施例中，对于编码信息是3D+F视频格式。应用服务器通常具有大的能量、处理和带宽源用于执行资源密集和/或复杂处理。3D+F的特征是代表对于服务器端（例如，应用服务器）的处理密集任务和简化在客户端（例如，用户设备）的处理。该3D+F编码信息是类似于传统的2D编码信息，并能被传输（例如，采用传统的4G标准104通过移动运营商114）到接收设备120。3D+F便于高质量、工业标准图像质量，以接近于传统2D成像的带宽来传输。
类似于由电话制造商解码（解压缩）传统的2D图像的方式，3D+F编码信息的融合视图2D图像部分是在应用处理器506中被解码。相比于2D+深度格式，在应用处理器506中的3D+F上不执行渲染。该解码的融合视图2D图像信息和相关联的生成矢量被发送到显示模块508，在该模块3D+F信息被用于渲染左视图和右视图，并显示这些视图。如上所述，显示通常是由显示器制造商518来提供，并整合到用户设备。
3D+F的一个特征是便于通过向2D用户设备提供3D显示模块（该模块实施3D+F渲染）来设计3D用户设备，同时使得2D用户设备的硬件部件能保留不变。这样具有潜力以给用户设备制造商带来巨大优势，节省时间、成本和关于设计、测试、集成、一致性、互用性的复杂性，以及营销时间。在显示模块内3D+F渲染的一个影响是降低了能量消耗，相比于在应用处理器中传统的2D+深度渲染而言。
所述3D+F格式包括两部分：融合视图部分和生成矢量部分。参考图6，一个融合2D视图的图，融合视图是通过使场景的左视图600和右视图610相关联而导出融合的视图，也被称为单独的独眼视图620，类似于人脑从两个图像导出的一个图像。在本说明书的内容中，这个处理被称为融合。虽然左视图和右视图的每个视图包含仅关于各自视图的信息，融合的视图包括有效渲染左视图和右视图所需要的所有信息。在本说明书的内容中，术语“场景”通常是指正被浏览的内容。一个场景可包括正被浏览的一个或多个对象或一个地点。场景是从某个位置来浏览的，该位置称为视角。在立体视觉的例子中，两个视图中的每个视图都采用不同视角来浏览。人们感知的立体视觉是采用每个眼睛捕捉一个视图的方式来实现。在技术上，两个图像捕获装置，例如两台视频照相机，在不同位置提供来自不同视角的图像，用于立体视觉成像。
在一个非限制性实施例中，在本例中，对于单独的对象，场景的左视图600包括来自左视角606的对象的前面和对象的左侧602。场景的右视图610包括来自右视角616的对象的前面和对象的右侧614。融合的视图620包括对于对象的左侧622的信息、对象的右侧624的信息，以及对象的前面626的信息。需注意，虽然对于融合视图的信息，对象的左侧622的信息可仅包括左视图602的信息，且对于融合视图的信息，对象的右侧624的信息可仅包括右视图614的信息，对于对象的前面626的信息包括同时来自左前视图606和右前视图616的信息。
特别地，融合视图的特征包括：
·     在融合视图中没有被遮蔽的元素。在本说明书的内容中，术语“元素”通常是指一个图像的显著的最小特征。通常，元素可以是像素，但取决于具体应用和/或图像内容，也可以是多边形或区域。在本文中经常使用的术语“像素”是用于清楚和易于解释的目的。通过从融合视图复制相应的像素（有时一次复制更多像素）到在左视图或右视图中的正确位置，可以对左视图或右视图的每个像素进行渲染。
·     处理算法需要生成融合视图的工作类似于人脑如何处理图像，因此消除诸如光和像素的阴影等问题。
所产生的融合视图的类型取决于具体应用。融合视图的一种类型包括比原始的左视图和右视图更多的像素。参考图6来描述这个例子。在这个例子中，在左视图或右视图中所有被遮蔽的像素都被整合进入融合视图。在这个例子中，如果该融合视图将由用户来浏览，该视图是内容扭曲的2D视图。融合视图的另一种类型具有与原始的左视图或右视图近似相同量的信息。通过在左视图或右视图中以在这两个视图中的可见像素混合（内插或过滤）一部分被遮蔽的像素，可以生成这个融合视图。在这个例子中，如果该融合视图将由用户来浏览，该视图是内容正常的2D视图。需注意，3D+F可采用上述任意一种类型的融合视图，或者另一种类型的融合视图，取决于具体应用。编码算法应当优选地被设计为使所渲染的视图的质量最优化。对于哪些部分的被遮蔽像素将与在这两个视图中的可视像素混合的选择，以及混合操作的选择，都可通过合成在分析处理中完成。例如，采用这样一个处理，其中，像素和操作都是最优选为被持续监控的渲染图像质量的函数。
总的来说，生成更好质量的融合视图需要更多复杂的融合算法，这些算法需要更多能量来执行。因为想要是在用户设备（例如，图5所示的接收设备120）上所需的能量最小化，可以在应用服务器（例如，图5所示的应用服务器512）上实施融合。用于执行融合的算法是本领域所熟知的，它们通常是采用立体匹配的算法来完成。基于本说明书，本领域的技术人员应当能够选择合适的融合算法用于特定的应用，并修改该融合算法以符合3D+F所需来生成相关联的生成矢量。
3D+F格式的第二个部分是生成矢量部分。该生成矢量部分包括大量生成矢量，简称为生成矢量。两种类型的生成矢量，左生成矢量和右生成矢量分别用于生成左视图和右视图。
生成矢量的第一元素是运行长度数，它被称为生成数（GN）。该生成数被用于指示：当生成左视图或右视图时，在融合视图内的一个像素的操作（下面定义）将被重复多少次。由生成操作代码所特别执行的操作，如下面所述。
生成矢量的第二元素是生成操作代码（GOC），也被简称为“生成算子”或“操作”。生成操作代码指示：什么类型的操作（例如，函数或算法）将在相关联的像素上执行。操作可根据具体应用来改变。在一个优选实施例中，至少以下操作是可用的：
·     复制：将像素从融合视图复制到正被生成的视图（左视图或右视图）。如果GN是等于n，则该像素被复制n次。
·     遮蔽：遮蔽像素。例如，在正被生成的视图中不产生像素。如果GN是等于n，则不产生n个像素，意味着来自该融合视图的n个像素在正被生成的视图中被遮蔽。
·     转到下一行：当前行已完成，开始生成新一行。
·     转到下一帧：当前帧已完成，开始生成新一帧。
附加和可选的操作的一个非限制性实施例包括复制和过滤：像素被复制，然后以周围的像素来平滑。这个操作可被用于改善图像质量，即使未过滤而获得的质量也是可接受的。
需注意，在总体上，生成矢量不是均匀随机分布的。这样的分布使得生成矢量部分是被有效编码的，例如，采用霍夫曼编码或者类似的另一种类型的熵编码。另外，总的来说，由于左视图和右视图的相似性，左视图生成矢量与右视图生成矢量都具有显著的相关度，因而左生成矢量与右生成矢量可被结合编码为一个代码。这些生成矢量的能力是足以编码的， 3D+F成像的带宽要求是近似等于传统2D成像的带宽要求。
参考图7，采用3D+F渲染的图。融合的2D视图720，也称为单一独眼视图，是被用于结合相关的生成矢量以渲染场景的左视图700和右视图710。融合视图720包括：用于对象的左侧722的信息、用于对象的右侧724的信息、用于对象的前面726的信息，以及用于对象的顶面728的信息。生成矢量包括：什么操作将在融合视图720的哪些元素上执行，以渲染场景的左视图700和右视图710的部分。如上所述，3D+F的一个特征是：渲染可被实施为仅采用从融合视图中复制元素，包括遮蔽，以渲染左视图和右视图。在一个非限制实施例中，对象的左侧722的融合视图的元素被复制以渲染该对象的左侧的左视图702。对象的左侧722的融合视图的元素的一个子集被复制以该对象的左侧的右视图712。类似地，对象的右侧724的融合视图的元素被复制以渲染该对象的右侧的左视图704，而对象的右侧724的融合视图的元素被复制以渲染该对象的右侧的右视图714。
对象的顶面728的融合视图的元素的第一子集被复制以渲染该对象的顶面的左视图708，而对象的顶面728的融合视图的元素的第二子集被复制以渲染该对象的顶面的右视图718。类似地，对象的前面726的融合视图的元素的第一子集被复制以渲染该对象的前面的左视图706，而对象的前面728的融合视图的元素的第二子集被复制以渲染该对象的前面的右视图716。
虽然3D+F的一个优选实施方式是渲染来自融合视图的原始的左视图和右视图，3D+F并不限于渲染原始的左视图和右视图。在一个非限制性实施例中，3D+F是被用于渲染来自不同于原始视角的其他角度的视图，并渲染某个场景的多个视图。在一个实施例中，融合操作（例如，在诸如应用服务器512上）生成多于一组生成矢量，其中，每组生成矢量产生场景的一个或多个2D图像。在另一个实施方式中，这些生成矢量可被处理（例如，在诸如接收设备120上）以生成一个或多个替换组的生成矢量，然后将这些矢量用于渲染一个或更多替换的2D图像。
参考图9，采用3D+F渲染的一个算法的流程图，描述了结合生成矢量从融合的视图中渲染左视图和右视图的一个非限制性例子。对于来自融合视图的左视图和右视图，生成像素是一种处理，该处理可通过从融合视图图像中一次处理一行的方式来完成，称为逐行。假设在融合视图中有M行。设m= [1, M]。则对于第m行，有N(m)像素在该融合视图的第m行上。对于每行，N(m)不需要是相同的。在方块900，变量m被设为1，而在方块902，变量n被设为1。在该图中，方块904是用于清楚的目的。在方块906，gocL(n)是一种操作，该操作输入的是在融合视图（Fused(n)）上第n个像素以及在左视图的指针（Left_ptr），指向最近生成的像素。左_指针（Left_ptr）可由操作来更新。类似地，在方块908，gocL(n)是一种操作，该操作输入的是在融合视图（Fused(n)）上第n个像素以及在右视图的指针（Right_ptr），指向最近生成的像素。右_指针（Right_ptr）可由操作来更新。在上述的基础操作之外，操作的例子包括但不限于：FIR过滤和IIR过滤。在方块910，对于某一行，如果不是所有的像素已经被操作，则在方块912，处理移动至下一个像素，在方块904中继续处理。另外，在方块914，如果仍有更多的行需要处理，则在方块916，处理移动至下一行。从方块914，如果在一个图像中的所有行都已经被处理，则在方块918中，继续处理下一个图像，如果可应用的话。
从融合视图渲染（左或右）视图的更特殊的非限制性例子是被描述为由在该融合视图的元素之上逐线推进的一种处理（与图9中的描述一致）。操作gocR(n) 和 gocL(n)都是从生成矢量中识别的，如下所述：
设GV(i)为给定的线的解码生成矢量（GV），例如，线m, m=1,…M，对于给定的视图（类似的说明应用到两种视图）。
这些生成矢量可被写成组件形式，例如，操作（op）和生成数（gn）：
op =  GV(i).goc   (1)
gn =  GV(i).GN  (2)
对于 (i=1…k) //k 指在该线上的生成矢量的数
        op =  GV(i).goc   (1)
         gn =  GV(i).GN  (2)
        对于 (k=1,…gn)
                     以 goc = op完成图9的内环
        结束   //  对于 (k=1,…gn)
结束  // 对于 (i=1…k)
虽然上述实施例已经清楚说明了在单独像素上的相关操作，正如他处所说明的，3D+F也支持在多个元素与多个元素块上的操作。虽然上述算法可以是作为优选的实施方式，基于本说明书，本领域技术人员也应能够实施可适用于特殊应用的算法。
可被用于渲染的操作的一些非限制性例子在下面的伪代码中详细说明：
·     复制P（CopyP）：复制像素到像素
调入： 像素_指针=复制P [融合输入(n), 像素_指针]
输入：
       融合输入(n)：融合视图的第n个像素（在第m行上）
       像素_指针：在左视图或右视图上的指针 （最后生成）
处理：
       将融合输入(n) 复制到 像素_指针+1
输出：
       更新 像素_指针=像素_指针+1
·     复制P到块（CopyPtoBlock）：复制像素到像素块
调入：像素_ptr=复制P到块[融合输入(n), 像素_指针, 块长度]
输入：
       融合输入(n)： 融合视图的第n个像素（在第m行上）
       像素_指针：在左视图或右视图上的指针 （最后生成）
       块长度（BlockLength）： 块长度
处理：
       将融合输入(n)复制到 像素_指针+1，像素_指针+2， ...像素_指针+块长度
输出：
       更新 像素_ptr=像素_ptr+块长度
·     遮蔽P（OccludeP）： 遮蔽像素
调入：遮蔽P [融合输入(n)]
输入：
       融合输入(n)： 融合视图的第n个像素（在第m行上）
处理：
       无操作
输出：
       无
·     加权复制P（WeightCopyP）：复制加权像素到像素
调入： 加权复制P [融合输入(n), 像素_ptr, a]
输入：
       融合输入(n)： 融合视图的第n个像素（在第m行上）
       像素_指针： 在左视图或右视图上的指针 （最后生成）
       a：权重
处理：
       将a*融合输入(n) 复制到像素_指针+1
输出：
       更新 像素_指针=像素_指针+1
·     插入和复制（InterpolateAndCopy）：插入融合视图的两个像素并复制
调入： 插入和复制 [融合输入(n), 像素_指针, a] 
输入：
       融合输入(n)： 融合视图的第n个像素（在第m行上）
       像素_指针： 在左视图或右视图上的指针 （最后生成）
       a：权重
处理：
       将a*融合输入(n) + (1-a)*融合输入(n+1) 复制到 像素_指针+1
输出：
       更新 像素_指针=像素_指针+1。
参考图10，描绘了生成矢量编码表的一个特殊的非限制例子。优选的实施方式是以熵编码来编码生成矢量，因为这些生成矢量的高冗余。该冗余来自这样的事实：通常在图像中，相邻的像素经常具有相同或近似的距离，因此在融合视图与渲染视图之间的不一致对于相邻的像素是相同或近似的。熵编码的一个例子是霍夫曼编码。在图10中，采用上述操作的列表，霍夫曼编码以较少的字节编码了大多数经常使用的操作。
需注意，正如前所述，生成矢量的多种实施方式都是可行的，而本实施例仅是一个非限制性例子，它基于代码的逻辑。可以预见，用于生成矢量的更多优化代码能被开发出来。对于生成代码的一种选项包括：采用基于内容的不同的生成矢量编码表，优选地优化用于图像内容。在另一个可选的实施方式中，这些编码表可在处理过程中被构建，例如在视频重放的开始。
参考图8，在用户设备上用于视频的处理流程的3D+F结构图，移动电话结构被再次用作范例。总体上，用于3D+F的处理流程是类似于根据图3所描述的用于2D的处理流程。如上所述，传统的应用处理器304硬件和存储器（包括视频解码存储器308和显示存储器320）都能被用于实施3D+F。明显的结构差别包括：在显示系统322中附加的3D+F渲染模块840，以及3D显示模块818。
编码信息，在本例中是压缩的视频包和相关联的3D+F生成矢量，都由在应用处理器304中的视频解码器802从存储卡300中读取，在通过外部总线接口306发送到视频解码存储器308。类似于传统的2D成像，3D+F仅包含需被解码的一串2D图像，因此，该视频解码存储器308需要用于2D和 3D+F的相同尺寸。由视频解码器802解码的编码信息（在本例中，视频包）以生成解码帧，这些帧被发送到显示接口310。在一个例子中，视频包是H.264格式的，如上所述地进行处理。
解码帧和相关联的3D+F信息（生成矢量）从在应用处理器304内的显示接口310经过在显示系统中的显示系统接口312发送到显示控制器314（在本例中，LCD控制器），在显示存储器320中存储解码的帧。显示系统322实施左视图和右视图的渲染，并根据图5所述地显示508。类似于传统的2D成像，3D+F仅包含一串解码的2D图像（帧），因此显示存储器320需要用于2D和 3D+F的相同尺寸。从显示存储器320，LCD控制器314发送解码的帧和相关联的生成矢量到3D+F渲染模块840。在一个例子中，生成矢量已经被压缩，可再显示系统322中实施解压缩，优选是在3D+F渲染模块840内解压缩。在3D+F渲染模块840内将生成矢量解压缩的方式还便于在传统的2D架构上实施3D+F，这样限制了所需硬件和软件的变更。如上所述，2D图像被采用生成矢量来渲染左视图和右视图，这些视图都通过显示驱动器316发送到3D显示器818。3D显示器818是被构造为适用于特定设备和应用以将解码的帧呈现给用户，允许用户浏览想要的立体视觉的内容。
正如本领域所熟知，这些实施例的多种不同模块、处理和部件都可被实施为硬件、固件、软件或它们的结合。3D+F渲染模块的一个优选实施方式是作为基层电路（IC）芯片。在另一个优选实施例中，底层的VLSI（超大规模集成）电路的实施方式是一种简单的一维（1D）复制机。相对于需要特殊逻辑的2D+深度，1D复制机是本领域所熟知的。
需要明确的是，上面的说明仅是试图用作示例，而有许多其他实施方式都是可行的，它们都落入本发明所附的权利要求所定义的保护范围之内。

Claims (13)

1.一种用于存储数据的方法，包括以下步骤：
（a）接收第一组数据；
（b）接收第二组数据；
（c）通过结合第一组和第二组数据，生成融合组的数据和相关联的生成矢量，以致所述融合组的数据包括与所述第一组和第二组数据的元素相关联的信息，且所述生成矢量表示在所述融合组的数据的元素上可被执行的操作，以恢复第一组和第二组数据；以及
（d）存储所述融合组的数据和所述互相关联的生成矢量。
2.一种用于编码数据的方法，包括以下步骤：
（a）从第一视角的场景中接收第一二维（2D）图像；
（b）从第二视角的场景中接收第二2D图像；
（c）通过结合第一2D图像和第二2D图像，生成融合视图的2D图像和相关联的生成矢量，以致所述融合视图的2D图像包括与所述第一2D图像和第二2D图像的元素相关联的信息，且所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以恢复第一2D图像和第二2D图像；以及
（d）存储所述融合视图的2D图像和所述互相关联的生成矢量。
3.一种用于解码数据的方法，包括以下步骤：
（a）提供融合视图的2D图像，该图像包括与所述第一2D图像和第二2D图像的元素相关联的信息；
（b）提供与所述融合视图的2D图像相关联的生成矢量，所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以渲染第一2D图像和第二2D图像；以及
（c）采用所述融合视图的2D图像与所述生成矢量渲染至少所述第一2D图像。
4.根据权利要求3所述的方法，其特征在于：还包括渲染所述第二2D图像的步骤。
5.一种用于存储数据的系统，包括：
（a）处理系统，包括一个或多个处理器，所述处理系统是被架构为：
（i）接收第一组数据；
（ii）接收第二组数据；
（iii）通过结合第一组和第二组数据，生成融合组的数据和相关联的生成矢量，以致所述融合组的数据包括与所述第一组和第二组数据的元素相关联的信息，且所述生成矢量表示在所述融合组的数据的元素上可被执行的操作，以恢复第一组和第二组数据；以及
（b）存储模块，被配置为存储所述融合组的数据和所述互相关联的生成矢量。
6.根据权利要求5所述的系统，其特征在于：所述数据是H.264格式。
7.根据权利要求5所述的系统，其特征在于：所述数据是MPEG4格式。
8.一种用于编码数据的系统，包括：
（a）处理系统，包括一个或多个处理器，所述处理系统是被架构为：
（i）从第一视角的场景中接收第一二维（2D）图像；
（ii）从第二视角的场景中接收第二2D图像；
（iii）通过结合第一2D图像和第二2D图像，生成融合视图的2D图像和相关联的生成矢量，以致所述融合视图的2D图像包括与所述第一2D图像和第二2D图像的元素相关联的信息，且所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以恢复第一2D图像和第二2D图像；以及
（b）存储模块，被配置为存储所述融合视图的2D图像和所述互相关联的生成矢量。
9.一种用于解码数据的系统，包括：
（a）处理系统，包括一个或多个处理器，所述处理系统是被架构为：
（i）提供融合视图的2D图像，该图像包括与所述第一2D图像和第二2D图像的元素相关联的信息；
（ii）提供与所述融合视图的2D图像相关联的生成矢量，所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以渲染第一2D图像和第二2D图像；以及
（iii）采用所述融合视图的2D图像与所述生成矢量渲染至少所述第一2D图像。
10.一种用于处理数据的系统，包括：
（a）处理系统，包括一个或多个处理器，所述处理系统是被架构为：
（i）提供融合视图的2D图像，该图像包括与所述第一2D图像和第二2D图像的元素相关联的信息；以及
（ii）提供与所述融合视图的2D图像相关联的生成矢量，所述生成矢量表示在所述融合视图的2D图像的元素上可被执行的操作，以渲染第一2D图像和第二2D图像；以及
（b）显示模块，可操作地连接到所述处理系统，所述显示模块是被配置为：
（i）采用所述融合视图的2D图像与所述生成矢量渲染至少所述第一2D图像；以及
（ii）显示所述第一2D图像。
11.根据权利要求10所述的系统，其特征在于：所述显示模块还被配置为：
（a）采用所述融合视图的2D图像与所述生成矢量渲染至少所述第二2D图像；以及
（b）显示所述第二2D图像。
12.根据权利要求10所述的系统，其特征在于：所述显示模块包括集成电路，该集成电路被配置为执行所述渲染。
13.根据权利要求10所述的系统，其特征在于：所述显示模块包括集成电路，该集成电路被配置为以一维复制机来采用所述融合视图的2D图像与所述生成矢量渲染所述第一2D图像。
CN2010800155159A 2009-03-29 2010-03-25 用于编码数据与三维渲染的系统与格式 Pending CN102308319A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16443109P 2009-03-29 2009-03-29
US61/164,431 2009-03-29
US23869709P 2009-09-01 2009-09-01
US61/238,697 2009-09-01
PCT/IB2010/051311 WO2010113086A1 (en) 2009-03-29 2010-03-25 System and format for encoding data and three-dimensional rendering

Publications (1)

Publication Number Publication Date
CN102308319A true CN102308319A (zh) 2012-01-04

Family

ID=42827525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800155159A Pending CN102308319A (zh) 2009-03-29 2010-03-25 用于编码数据与三维渲染的系统与格式

Country Status (9)

Country Link
US (1) US20120007951A1 (zh)
EP (1) EP2415023A1 (zh)
JP (1) JP2012522285A (zh)
CN (1) CN102308319A (zh)
AU (1) AU2010231544A1 (zh)
BR (1) BRPI1015459A2 (zh)
CA (1) CA2756404A1 (zh)
EA (1) EA201190195A1 (zh)
WO (1) WO2010113086A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113383540A (zh) * 2019-01-23 2021-09-10 奥崔迪合作公司 可互操作的3d图像内容处理

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120081022A (ko) 2009-05-01 2012-07-18 톰슨 라이센싱 3ｄ 비디오 코딩 포맷
WO2012036901A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
US9203671B2 (en) * 2012-10-10 2015-12-01 Altera Corporation 3D memory based address generator for computationally efficient architectures
US20140375663A1 (en) * 2013-06-24 2014-12-25 Alexander Pfaffe Interleaved tiled rendering of stereoscopic scenes
US10356478B2 (en) * 2015-01-08 2019-07-16 The Directv Group, Inc. Systems and methods for spotted advertising and control of corresponding user interfaces and transactions via user receiving devices and mobile devices
CA3060578C (en) * 2017-04-21 2020-07-21 Zenimax Media Inc. Systems and methods for encoder-guided adaptive-quality rendering

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812747A (en) * 1995-07-11 1998-09-22 Konica Corporation Copying system
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US20080205791A1 (en) * 2006-11-13 2008-08-28 Ramot At Tel-Aviv University Ltd. Methods and systems for use in 3d video generation, storage and compression

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2400513B (en) * 2003-03-14 2005-10-05 British Broadcasting Corp Video processing
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5812747A (en) * 1995-07-11 1998-09-22 Konica Corporation Copying system
US20080205791A1 (en) * 2006-11-13 2008-08-28 Ramot At Tel-Aviv University Ltd. Methods and systems for use in 3d video generation, storage and compression

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113383540A (zh) * 2019-01-23 2021-09-10 奥崔迪合作公司 可互操作的3d图像内容处理
CN113383540B (zh) * 2019-01-23 2024-04-02 奥崔迪合作公司 可互操作的3d图像内容处理

Also Published As

Publication number Publication date
US20120007951A1 (en) 2012-01-12
WO2010113086A1 (en) 2010-10-07
BRPI1015459A2 (pt) 2016-04-26
EA201190195A1 (ru) 2012-05-30
AU2010231544A1 (en) 2011-10-27
JP2012522285A (ja) 2012-09-20
EP2415023A1 (en) 2012-02-08
CA2756404A1 (en) 2010-10-07

Similar Documents

Publication Publication Date Title
KR100990565B1 (ko) 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법
JP6030230B2 (ja) パノラマベースの３ｄビデオコーディング
US8487981B2 (en) Method and system for processing 2D/3D video
CN102308319A (zh) 用于编码数据与三维渲染的系统与格式
US20140092439A1 (en) Encoding images using a 3d mesh of polygons and corresponding textures
TWI539790B (zh) 用於產生及重建一視訊串流之裝置、方法與軟體產品
KR100746005B1 (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
US9143758B2 (en) Method and apparatus for low-bandwidth content-preserving encoding of stereoscopic 3D images
CN106031168A (zh) 具有减少色彩分辨率的视频流的自适应处理
EP2309766A2 (en) Method and system for rendering 3D graphics based on 3D display capabilities
CN101106717A (zh) 一种视频播放器电路及视频显示方法
US20140321757A1 (en) Extending prediction modes and performance of video codecs
US9628769B2 (en) Apparatus and method for generating a disparity map in a receiving device
EP2312859A2 (en) Method and system for communicating 3D video via a wireless communication link
KR20160008011A (ko) 초고해상도 영상 처리를 위한 장치
CN112423108B (zh) 码流的处理方法、装置、第一终端、第二终端及存储介质
US20240013475A1 (en) Transparency range for volumetric video
CN202085272U (zh) 一种三维广播电视的编码、解码装置
CN116097652A (zh) 基于视口变化的双流动态gop访问
CN113891101A (zh) 实时三维影像显示的直播方法
JP2022513487A (ja) 没入型ビデオビットストリーム処理
KR20140013595A (ko) 영상 신호 처리 방법, 및 영상 신호 처리 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120104