CN101682765B - 确定用于光场数据结构的图像分布的方法 - Google Patents

确定用于光场数据结构的图像分布的方法 Download PDF

Info

Publication number
CN101682765B
CN101682765B CN2008800182695A CN200880018269A CN101682765B CN 101682765 B CN101682765 B CN 101682765B CN 2008800182695 A CN2008800182695 A CN 2008800182695A CN 200880018269 A CN200880018269 A CN 200880018269A CN 101682765 B CN101682765 B CN 101682765B
Authority
CN
China
Prior art keywords
image
light field
data structure
distribution
field data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800182695A
Other languages
English (en)
Other versions
CN101682765A (zh
Inventor
让-马克·雷梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Trident Microsystems Far East Ltd Cayman Islands
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39884482&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101682765(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Trident Microsystems Far East Ltd Cayman Islands filed Critical Trident Microsystems Far East Ltd Cayman Islands
Publication of CN101682765A publication Critical patent/CN101682765A/zh
Application granted granted Critical
Publication of CN101682765B publication Critical patent/CN101682765B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明涉及一种用于确定光场数据结构的图像分布(Dopt)的方法，所述方法包括：从多个图像源(C1、C2、……Cn)获得多个图像(F1、F2、……Fn)；对所述多个图像(F1、F2、……Fn)中的每个图像(F1、F2、……Fn)进行图像分析以确定图像(F1、F2、……Fn)内容是否满足规定的标准；和识别其内容满足所述规定标准的图像(F1、F2、……Fn)组(12)。将所述图像组(12)与一组预定的参考图像分布(D1、D2、……Dm)的每个参考图像分布(D1、D2、……Dm)进行比较以选择最佳图像分布(Dopt)，其中参考图像分布(D1、D2、……Dm)包括光场数据结构的I图像和P图像的预定排布。根据所选择的图像分布(Dopt)将所述光场数据结构的多个图像(F1、F2、……Fn)的每个图像(F1、F2、……Fn)指定为I图像或P图像。本发明还公开了一种用于确定光场数据结构的图像分布(Dopt)的系统(1)。

Description

确定用于光场数据结构的图像分布的方法
技术领域
本发明涉及一种确定用于光场数据结构的图像分布的方法。本发明还涉及一种用于确定光场数据结构的图像分布的系统。
背景技术
随着图像处理和计算机图形领域的不断发展，近年来光场渲染技术变得日益重要。通过光场渲染，使用由摄像机捕获的预先数字化处理的图像能够创建场景的真实感图形的视图，无论这些图像是人工创建的还是由摄相机拍摄的实际场景图像。例如，可从场景的三维模型产生光场，或者可使用实际场景的图像(例如，通过布置在场景周围的一组摄相机拍摄的图像)来创建光场。在单一时刻拍摄的场景的所有图像共同被称之为“光场数据结构”。论文“Light Field Rendering”(SIGGRAPH May 1996，Marc Levoy and Pat Hanrahan)给出了光场渲染的说明。一些公知的电影成功地将传统的摄像机录制与计算机辅助光场渲染结合起来从而产生了复杂但真实的特殊效果。
可使用例如手持摄像机、遥控摄像机或安装在一个结构(例如台架)上的摄像机阵列以拍摄的方式拍摄获得光场。图1示出了这样一种摄像机C的布置，其中所述摄像机被编成组以包围感兴趣的区域。为了清楚起见，只示出了几台摄像机。实际上，为了获得场景的真实感图形的三维渲染，必须从非常大量的摄像机或观察点产生图像。这导致的问题是需要存储和传输大量的图像，而存储空间和传输带宽是昂贵的资源。
为了以成本低廉的方式存储或传输图像，可使用一些有损耗的数据压缩方法来压缩图像，这导致图像质量的损失，但这种损失对于观看者来说是不明显的。使用有损耗的数据压缩算法压缩或编码的图像可由较少的比特来表示。一些这种有损耗的压缩技术是已知的。例如，用于有损耗图像压缩的最常见方法是变换编码，其中对图像数据进行傅立叶相关变换(例如离散余弦变换(DCT))。用于图像(和音频)压缩的一个常用标准是MPEG-2(动态影像压缩标准)。
整体(即没有使用从其它图像获得的信息)压缩的图像或帧通常被称为“帧内编码图像”、“帧内图像”、“I图像”或“I帧”。因为整个图像或帧都被压缩，所以能够再次将其渲染为非常高的质量等级。然而，通过利用图像序列中的图像数据通常是冗余的这样的事实甚至能够节省更多的带宽。例如，每个帧的一个部分(例如，蓝天)在一个帧序列上可保持相同。很明显，图像序列中的每个图像的这一部分只需要编码一次，而只需要对关于参考图像已经改变的图像的那些部分进行编码。这种类型的压缩被称为“帧间压缩”或“预测编码”，以这种方式压缩的图像被称为“帧间图像”、“P-图像”或“P-帧”。可使用由同一台摄像机拍摄的前一图像(I图像或P图像)对P图像进行编码。有人指出可基于高质量(I图像)和低成本(P图像)之间的平衡通过使用光场数据结构的压缩方案来获得良好的图像质量(从视图观看者的角度)，其中图像中的一部分被压缩为I图像，而剩余部分被压缩为P图像。然而，为了在渲染中获得特定等级的质量，I图像应该在光场数据结构上均匀分布，可将其理解为图像的虚拟排布。图2a示出了这种压缩方案的一个示例。这里，在光场数据结构的每个次行中的每个第二图像是由字母“I”表示的I图像，而剩余图像被编码为由字母“P”表示的P图像。图2b示出了另一种可能的压缩方案。在论文“Data Compression for Light-FieldRendering”(Marcus Magnor and Bernd Girod，IEEE Trans actions onCircuits and Systems for Video Technology，Vol.10，No.3，April 2000)中公开了使用I图像和P图像的数据压缩技术。
在一些图像渲染应用(例如交互的3D视频应用)中，可能的是某一目标或项目被看得特别重要的，例如足球比赛中的足球。通常，观看者的注意力将集中在球上。在使用如上所述拍摄的图像所渲染的3D交互视频应用中，用户可能希望渲染场景以使得该“重要目标”成为人们注意的中心。然而，光场数据压缩的现有技术状态并不适用于这种考虑。使用所述已知的技术，选择某一压缩方案，例如图2a中所示的方案，并使用该方案对所有光场数据结构进行编码，而不管所述图像实际上最适合帧内图像压缩还是帧间图像压缩。因此，其中没有使用充足数量的I图像来对重要目标进行编码的“不利的”压缩方案可能导致渲染的场景的质量显著不足。
发明内容
因此，本发明的目的是提供一种执行视频图像数据压缩的改进方式。
为此，本发明提供一种确定用于光场数据结构的图像分布的方法，所述方法包括：从多个图像源获得多个图像；对所述多个图像中的每个图像进行图像分析以确定图像内容是否满足规定的标准；以及确定其内容满足所述规定标准的图像组。然后将该图像组与一组预定的参考图像分布的每个参考图像分布进行比较，以选择最佳的图像分布，其中参考图像分布包括所述光场数据结构的I图像和P图像的一种预定布置。接着，根据所述选择的图像分布将所述光场数据结构的多个图像的每个图像指定为I图像或P图像。
所述用于获得多个图像的图像源可以是围绕目标场景布置的摄像机阵列。摄像机数量确定光场数据结构的维数。例如，总共64个摄像机在任一时刻可拍摄64幅图像，并且可以以8x8阵列或光场数据结构的形式来对该时刻的这些图像进行虚拟布置。可将所述摄像机安装在一个或多个台架上，或者可将其固定到一个支架上。对于一些或所有摄像机来说它们也可以是可移动的，例如是手持的或遥控的。
根据本发明的方法的一个明显优点是可以以相对小的计算量获得未来交互应用的较高的质量等级，而没有任何额外的存储或传输要求。使用根据本发明的方法，对于在渲染三维场景中的后期使用的光场数据结构序列中的每一个，包含“相关目标”的尽可能多的图像都被编码成高质量等级。可存在任何数量的图像相关阵列能与其进行比较的预定参考图像分布。在每次比较中，选择最适合的参考图像分布，使得对于每个光场数据结构来说，包含相关目标的尽可能多的图像被编码为高质量的帧内图像或I图像。
一种用于确定光场数据结构的图像分布的适当系统，其包括：用于获得多个图像的多个图像源；和图像分析模块，用于对所述多个图像中的每个图像进行图像分析以确定图像内容是否满足规定的标准。所述系统还包括：图像组识别模块，用于识别其内容满足规定标准的图像组；比较模块，用于将所述图像组与一组预定的参考图像分布的每个参考图像分布进行比较以选择最佳图像分布，其中参考图像分布包括光场数据结构的I图像和P图像的预定排布；和图像指定模块，用于根据所述选择的图像分布将光场数据结构的多个图像的每个图像指定为I图像或P图像。
从属权利要求和随后的说明具体公开了本发明的优选实施例和特征。
因为根据本发明的方法涉及使从聚焦在重要目标或相关目标上的一个或多个不同观察点渲染的场景的质量最佳化，所以所述规定标准优选地包括与能够在所述图像中出现(即，作为图像内容一部分)的目标相关的描述性参数。在已经给出的示例中，所述相关目标可以是足球赛或任何其他的这种类型的球赛中的球。相关目标的另一个例子可以是自行车赛中的领先者或音乐会舞台上的歌手。可使用已知技术和图形用户界面在初始图像中对通常被称为“感兴趣区域”或简称为ROI的“感兴趣的对象”进行识别。例如，足球赛处的摄像机操作者可识别通过摄像机之一拍摄的初始图像之一中的足球以作为记录开始，或者他可以使用现有的录像画面来识别球。然后他可以采用适当的方式(例如，通过诸如“图像必须包含该目标”的命令)来指定标准。随后，图形用户界面可产生用于该标准的描述性参数，并将这些参数转发给所有摄像机的所有图像分析单元。因为必须对每个光场数据结构的每个图像进行分析，所以有利的是每个摄像机装备一个图像分析单元来执行所需的图像分析步骤。
可替换地，所述重要目标可通过专用摄像机来拍摄，其中该专用摄像机在拍摄期间连续跟踪所述目标。所述专用摄像机可以是所述摄像机阵列中的一个，或者可以是附加摄像机。位于该摄像机视场中心的对象可被定义为是相关目标。因此，如果摄像机停止跟踪所述目标(例如足球)，并开始跟踪另一个目标(例如裁判或另一个赛手)，则可通过图像处理软件来记录该变化。然后可产生描述图像内容中的当前相关目标的适当参数并将其转发给其他摄像机。
在根据本发明的方法中，对此后由摄像机拍摄的图像进行分析以确定它们的内容是否满足所述规定的标准。一般地，通过对图像进行被称为分段的处理最容易确定图像是否包含相关目标或感兴趣的区域。因此，对图像执行图像分析的步骤优选地包括对图像执行分段算法。这种用于确定相关目标在图像中是否可见(即是否满足规定标准)的图像处理技术对于本领域技术人员来说是已知的，因此这里不需要对其进行详细讨论。在论文“Pattern Tracking and 3-D MotionReconstruction of a Rigid Body From a 2-D Image Sequence”(Dasgupta and Banerjee，IEEE Transactions on Systems，Man，andCybernetics-Part C：Applications and Reviews，Vol.35，No.1，February2005)中公开了这种图像分析的方案的例子。
所述图像处理的结果产生其内容满足所述规定标准的图像组(例如，图像显示球)，而剩余图像的内容并不满足所述规定标准(例如，图像不显示球)。因为已知哪幅图像源于哪个摄像机，所以优选地可根据例如感兴趣的目标在图像中存在与否来将该图像组编译为图像相关阵列。该图像相关阵列可以是简单的一维阵列，例如包括一系列二进制值，并且对于每个新的光场数据结构可对其进行重写或更新。图像相关阵列的每个位可与特定的摄像机相关联。例如，如果当前光场数据结构的来自第十二台摄像机的图像包含感兴趣的目标，则可将所述阵列中的第十二位设置为“1”，或者在图像中没有感兴趣的目标可见时，则可将其设置为“0”。
一旦对于当前图像组已经编译了所述图像组或图像相关阵列，则可将其与所有可用参考图像分布进行比较以便选择最合适的分布。图2a中使用图形表示法示出了参考图像分布。实际上，图像分布可仅包括另一个一维阵列，其具有一个位序列，每个位都与一个视频编码器相关。因此在图2a中可视化的用于64幅图像的图像分布实际上可采取下面的形式，其中所述矢量或阵列具有64个条目：
D1＝{P，P，P，P，P，P，P，P，P，I，P，I，P，I，P，I，P，P，P，……，P，P}
其结果是图像相关阵列和参考图像分布之间的比较被降至相关矢量的简单的一对一的比较。那么得到最多匹配(即，最多对“1”和“0”)的比较可导致选择该参考图像分布以用于当前光场数据结构。因此，在本发明的特定优选实施例中，最佳图像分布对应于为所述图像组提供最大数量I图像的参考图像分布。很明显，如果两个或多个参考图像分布产生最高数量的匹配，那么这些参考图像分布中的任何一个都可被选择为最佳图像分布。然后可使用其他标准来选择将使用这些参考图像分布中的哪一个，例如如果其是通过比较识别的参考图像分布之一，则可以仅使用前一个参考图像分布。
在根据本发明的方法中，用于当前光场数据结构的图像然后被指定编码为帧内图像(I图像)或帧间图像(P图像)。在特别有利的处理方案中，表示最佳图像分布的矢量可被简单的转换为给出每个图像的图像类型指定的矢量。此外，简单的“1”或“0”就足以指定一幅图像为帧内或帧间图像。例如，“1”可以指“将该图像编码为帧内图像”，而“0”可以指“将该图像编码为帧间图像”。因此，在该有利方法中，仅需要将所选择图像分布的每个“I”条目变换为“1”，并且只需要将每个“P”条目变换为“0”以对当前光场数据结构的每个图像提供其图像指定。
为了使用根据本发明的方法来执行光场数据结构的视频编码，使用一种压缩算法(例如离散余弦变换(DCT)压缩算法或子波压缩算法)来编码每个指定的I图像，而使用一个或多个预先编码的P图像或I图像来编码每个P图像。每个帧或图像由能够根据需要执行帧内或帧间编码的视频编码器进行编码。伴随所述图像的图像指示符将优选地用于判定应用哪种编码器。如本领域技术人员熟知的压缩算法的选择可根据应用由标准(例如MPEG-2)指定，或者可根据应用自由选择。
上述方法的各步骤可通过适当的数字硬件和软件模块来执行。例如，编译图像组和为光场数据结构的图像产生图像类型指示符可以通过使用适当的软件程序或模块来执行，所述软件程序或模块可直接加载到用于确定光场数据结构的图像分布的系统中使用的可编程器件(例如处理器)的存储器中。可选择地，这些功能可通过专用硬件(例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC))来执行。
本发明的其他目的和特征通过下述结合附图的详细说明将变得显而易见。然而，应该理解的是，附图的设计仅仅用于说明的目的，而不应作为对本发明限制的定义。
附图说明
图1示出了一组摄像机的布置的示意图；
图2a示出了第一压缩方案的示意图；
图2b示出了第二压缩方案的示意图；
图3示出了包含相关目标的场景的示意图；
图4a示出了与满足规定标准的第一光场数据结构的图像相比较的多种压缩方案的示意图；
图4b示出了与满足规定标准的第二光场数据结构的图像相比较的多种压缩方案的示意图；
图5示出了根据本发明的实施例的用于执行视频编码的系统的方框图；
图6示出了用于根据其图像指定对图像进行编码的视频编码器的方框图。
具体实施方式
在附图中，相同的数字始终指代相同的对象。附图中的对象不必按照比例绘制。
图1以示意图的形式示出了为了收集或拍摄用于三维视频应用的图像的一种摄像机排布结构。这里，所述摄像机是围绕场景布置的。如已经在发明内容中所述，这里仅示出了一些摄像机。实际上，可以使相当大数量的摄像机来收集用于获得光场数据结构的图像。如上所述结合由摄像机拍摄的图像以给出光场数据结构序列，所述序列可在后面的时间点用于从不同的观察点来渲染所述场景。
理想的是图像由摄像机以同步的方式拍摄。例如，由64个摄像机的摄像机组在单一时刻拍摄的64幅图像可被虚拟地布置为8x8阵列。在图像压缩之后，在该阵列中包含的图像数据被称之为光场数据结构。如上所述，可通过只将一些图像压缩为I图像而将剩余图像压缩为P图像来减小用于光场数据结构的存储空间和/或传输带宽。根据压缩方案对所述图像进行压缩或编码。图2a和图2b示出了示例性的压缩方案2a、2b。如上所说明的，渲染所得的场景的质量要求I图像在光场数据结构上是均匀分布的，并且一定数量的图像被编码为I图像。在所示的两种压缩方案2a、2b中，I图像均匀分布，并且所述64个图像中的16个被编码为I图像。该8x8阵列仅是示范性的，应该理解的是可以根据需要使用任何数量的摄像机，从而产生更大或更小的阵列。
本发明涉及确保在交互视频应用中的3D场景被渲染为高质量等级。在根据本发明的方法中，规定一种标准，并选择一种压缩方案，其最佳适合于其内容满足所述规定标准的图像数量。将参照图3对其进行说明，图3示出了正在进行足球赛的场景。正通过使用放置在足球场周围的一个摄像机组的摄像机C1、C2、……Cn来对所述比赛进行记录。足球30正由多个队员31、32、33、34在球场中踢来踢去。对于基于所记录的比赛的将来的交互式3D视频应用来说，足球30可被看成是最相关的对象。因此，在记录比赛之前的某一点，可关于足球30规定一项标准。例如，所述标准可以是“图像内容包含足球”。然后，由摄像机之一拍摄的并且包含足球的任何图像满足所述规定的标准，而其内容不包括足球的图像不满足所述标准。
然后在满足所述规定标准的图像的基础上选择用于每个光场数据结构的压缩方案。在图4a中以可视方式示出了选择压缩方案的方式。这里，示出了四种不同的压缩方案2a、2b、2c、2d，其中每种都满足所需的质量要求(I图像的均匀分布，和一定数量的I图像)。每种压缩方案2a、2b、2c、2d上覆盖的画有交叉阴影线的或阴影区域代表满足规定标准的第一光场数据结构的图像。在上面的例子中，这些图像是在第一时刻拍摄的包含足球的图像。压缩方案2a提供8个I图像，压缩方案2b提供10个I图像，压缩方案2c也提供10个I图像，而压缩方案2d提供11个I图像。因为压缩方案2d提供最多的包含足球的I图像，所以这对于该第一光场数据结构来说是最佳的图像分布。然后将适当的图像编码为I图像，并将余下的图像编码为P图像。图4b表示用于第二光场数据结构的相同压缩方案2a、2b、2c、2d，它们具有在第二时刻拍摄的图像。在该示图中，在每个压缩方案2a、2b、2c、2d上覆盖的阴影区域代表在稍后时间的图像，其内容满足所述规定的标准，即包含足球。对于包含这些图像的光场数据结构，最佳图像分布由压缩方案2b给出的，因为该压缩方案提供了最多的包含足球的I图像。
图5示出了用于使用根据本发明的方法来执行视频编码的系统3的方框图。通过摄像机阵列C1、C2、……Cn拍摄的图像F1、F2、……Fn将被编码以给出光场数据结构2。通过与图像F1、F2、……Fn相关联的图像类型信号T1、T2、……Tn对每个图像F1、F2、……Fn指定其将要执行的编码类型(I图像或P图像)。图像类型信号T1、T2、……Tn在用来确定用于光场数据结构的最佳图像分布Dopt的系统1中产生。在随后的图像处理单元U1、U2、……Un中分析由摄像机C1、C2、……Cn所拍摄的每个图像F1、F2、……Fn，在所述图像处理单元U1、U2、……Un中对图像F1、F2、……Fn执行分段算法以确定是否满足规定标准。所述规定标准是借助于接口20(例如，图形用户界面(GUI))输入的(例如在初始化步骤期间)，并使用适当的参数21将所述规定标准提供给U1、U2、……Un。图像处理单元U1、U2、……Un中的每个都会向图像组识别模块11传送一个适当的信号S1、S2、……Sn，所述图像组识别模块11对指示其内容满足所述规定标准的图像F1、F2、……Fn(使用上面的示例，即包含球的图像)的值的图像组12或阵列12进行编译。将该图像组12与从存储器15取出的多个预定参考图像分布D1、D2、……Dm进行比较。选择为当前组12提供最多I图像的参考图像分布D1、D2、……Dm作为当前光场数据结构的最佳压缩方案Dopt。将该最佳参考图像分布Dopt发送给图像类型指定单元14，图像类型指定单元14针对每个图像产生其图像类型信号T1、T2、……Tn。单个二进制信号可指示图像类型，例如逻辑“1”可指示“I图像”，而逻辑“0”可指示“P图像”。
具有其相关图像类型T1、T2、……Tn的每个帧F1、F2、……Fn被进一步传送给视频编码器60。如图6中的方框图所示为视频编码器60能够得以实现的一种方式。这里，连接视频编码器60以接收摄像机C1的图像输出F1，其包括用于只使用当前帧F1执行I图像编码的模块61，和使用当前帧F1以及一个或多个预先存储的图像执行预测编码的模块62。如已经提及的，预先编码的P图像或I图像可用来编码当前的P图像。然而，为了简化起见，在所述示图中只示出了一个预先编码的P图像Pt-1。对输入给视频编码器60的图像F1将要执行的编码类型(帧内或帧间)由附随的图像类型信号T1指定。如果已经将图像F1指定为是I帧，那么将要执行帧内或I图像编码，并且这是通过I图像编码模块61使用例如离散余弦变换压缩算法来执行的。如果将图像F1指定为P帧，那么将要执行预测或P图像编码，并且这是通过P图像编码模块62使用从存储器64取出的预先存储的P图像Pt-1执行的。当前的帧间图像的拷贝Pt被存储在存储器64中供将来使用(很显然，如果需要，可存储当前的I图像的拷贝供将来P图像编码使用)。根据情形需要，输出多路复用器63根据图像类型信号T1选择适当的编码器将编码的图像F1(作为整个光场数据结构的一部分)输出并传送给将要被存储或传输的随后的应用(在图示中未示)。如图5中的虚线环所示，编码图像组F1、F2、……Fn相结合产生针对当前时刻的虚拟的光场数据结构2。
虽然以优选实施例及其变型的方式公开了本发明，但应该理解的是在不脱离本发明范围的情况下可对其做出多种其他变型和变体。例如，所述“重要目标”可以某种方式(例如通过使用在光谱的紫外区域可视的物质来对其进行描绘，并对摄像机装备附加的紫外线滤光镜)进行物理标记。那么用来分析图像的分段算法只需要扫描适当形状的图像。
为了清楚起见，应该理解的是本申请中使用的“一”或“一个”并不排除多个，而且“包括”并不排除其它步骤或元素。除非说明，“单元”或“模块”可包括多个单元或模块。

Claims (9)

1.一种确定用于光场数据结构的图像分布(Dopt)的方法，所述方法包括：
-从多个图像源(C1、C2、……Cn)获得多个图像(F1、F2、……Fn)；
-对所述多个图像(F1、F2、……Fn)中的每个图像(F1、F2、……Fn)进行图像分析以确定图像(F1、F2、……Fn)的内容是否满足规定的标准；
-识别其内容满足所述规定标准的图像(F1、F2、……Fn)组(12)；
-将所述图像组(12)与一组预定的参考图像分布(D1、D2、……Dm)的每个参考图像分布(D1、D2、……Dm)进行比较以选择最佳图像分布(Dopt)，其中参考图像分布(D1、D2、……Dm)包括光场数据结构的I图像和P图像的预定排布；
-根据所选择的图像分布(Dopt)将光场数据结构的多个图像(F1、F2、……Fn)的每个图像(F1、F2、……Fn)指定为I图像或P图像。
2.根据权利要求1所述的方法，其中所述规定标准包括与将要在图像(F1、F2、……Fn)的内容中检测的目标(30)相关的参数(21)。
3.根据权利要求1或权利要求2所述的方法，其中所述识别图像(F1、F2、……Fn)组(12)的步骤包括对指示其内容满足规定标准的图像(F1、F2、……Fn)的值的图像组或阵列进行编译。
4.根据权利要求1或权利要求2所述的方法，其中所述最佳图像分布(Dopt)对应于为图像组(12)提供最大数量的I图像的参考图像分布(D1、D2、……Dm)。
5.根据权利要求1或权利要求2所述的方法，其中对图像(F1、F2、……Fn)进行图像分析的步骤包括对图像(F1、F2、……Fn)执行分段算法。
6.一种执行光场数据结构的视频编码的方法，所述方法包括：
-使用权利要求1至5中的任何一个所述的方法来确定用于光场数据结构的图像(F1、F2、……Fn)的最佳图像分布(Dopt)；
-使用压缩算法对指定为I图像的每个图像(F1、F2、……Fn)进行编码；
-使用预先编码的图像(Pt-1)对指定为P图像的每个图像(F1、F2、……Fn)进行编码。
7.一种用于确定光场数据结构的图像分布(Dopt)的系统(1)，其包括：
-多个图像源(C1、C2、……Cn)，用于获得多个图像(F1、F2、……Fn)；
-图像分析模块(U1、U2、……Un)，用于对多个图像(F1、F2、……Fn)中的每个图像(F1、F2、……Fn)进行图像分析以确定图像(F1、F2、……Fn)内容是否满足规定的标准；
-图像组识别模块(11)，用于识别其内容满足所述规定标准的图像(F1、F2、……Fn)组(12)；
-比较模块(13)，用于将所述图像组(12)与一组预定的参考图像分布(D1、D2、……Dm)的每个参考图像分布(D1、D2、……Dm)进行比较以选择最佳图像分布(Dopt)，其中参考图像分布(D1、D2、……Dm)包括光场数据结构的I图像和P图像的预定排布；
-图像指定模块(14)，用于根据所选择的图像分布(Dopt)将光场数据结构的多个图像(F1、F2、……Fn)的每个图像(F1、F2、……Fn)指定为I图像或P图像。
8.根据权利要求7所述的用于确定光场数据结构的图像分布(Dopt)的系统(1)，其包括用于指定标准的接口(20)。
9.一种用于执行视频编码的系统(3)，所述系统包括：
-根据权利要求7或权利要求8所述的用于确定光场数据结构的图像分布(Dopt)的系统(1)；
-I图像编码器(61)，用于使用压缩算法对指定为I图像的图像(F1、F2、……Fn)进行编码；
-P图像编码器(62)，用于使用预先编码的图像(Pt-1)对指定为P图像的图像(F1、F2、……Fn)进行编码。
CN2008800182695A 2007-05-30 2008-05-14 确定用于光场数据结构的图像分布的方法 Expired - Fee Related CN101682765B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07290677 2007-05-30
EP07290677.9 2007-05-30
PCT/IB2008/051897 WO2008146190A2 (en) 2007-05-30 2008-05-14 Method of determining an image distribution for a light field data structure

Publications (2)

Publication Number Publication Date
CN101682765A CN101682765A (zh) 2010-03-24
CN101682765B true CN101682765B (zh) 2012-04-11

Family

ID=39884482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800182695A Expired - Fee Related CN101682765B (zh) 2007-05-30 2008-05-14 确定用于光场数据结构的图像分布的方法

Country Status (4)

Country Link
US (1) US8488887B2 (zh)
EP (1) EP2163099A2 (zh)
CN (1) CN101682765B (zh)
WO (1) WO2008146190A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818117B2 (en) * 2012-07-19 2014-08-26 Sony Corporation Method and apparatus for compressing Z-stack microscopy images
CN105096375B (zh) * 2014-05-09 2020-03-13 三星电子株式会社 图像处理方法和设备
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US9589355B2 (en) * 2015-03-16 2017-03-07 Here Global B.V. Guided geometry extraction for localization of a device
EP3160142A1 (en) * 2015-10-21 2017-04-26 Thomson Licensing Method for encoding and method for decoding a light field based image and corresponding devices
US10448030B2 (en) 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10460505B2 (en) * 2016-12-30 2019-10-29 Google Llc Systems and methods for lightfield reconstruction utilizing contribution regions
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
CN108492239B (zh) * 2018-03-19 2022-05-03 北京工业大学 面向光场相机的结构化观测与稀疏表示的协同优化方法
CN111182312B (zh) * 2020-01-03 2021-10-29 杭州电子科技大学 一种分级残差光场视频编码方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693964B1 (en) * 2000-03-24 2004-02-17 Microsoft Corporation Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image
CN1564604A (zh) * 2004-04-08 2005-01-12 复旦大学 基于树状结构的等级树集合划分视频图像压缩方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623308A (en) * 1995-07-07 1997-04-22 Lucent Technologies Inc. Multiple resolution, multi-stream video system using a single standard coder
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6476805B1 (en) * 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
US20030023974A1 (en) * 2001-07-25 2003-01-30 Koninklijke Philips Electronics N.V. Method and apparatus to track objects in sports programs and select an appropriate camera view
US7129943B2 (en) * 2002-11-15 2006-10-31 Microsoft Corporation System and method for feature-based light field morphing and texture transfer
US20040114807A1 (en) * 2002-12-13 2004-06-17 Dan Lelescu Statistical representation and coding of light field data
EP1575299A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Motion-compensated spatio-temporal wavelet compression of video data with optimised permutation of the frames
US7633511B2 (en) * 2004-04-01 2009-12-15 Microsoft Corporation Pop-up light field
US7843995B2 (en) * 2005-12-19 2010-11-30 Seiko Epson Corporation Temporal and spatial analysis of a video macroblock

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693964B1 (en) * 2000-03-24 2004-02-17 Microsoft Corporation Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image
CN1564604A (zh) * 2004-04-08 2005-01-12 复旦大学 基于树状结构的等级树集合划分视频图像压缩方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HEUNG-YEUNG SHUM ET AL.Survey of image-based representations and compression techniques.《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,IEEE SERVICE CENTER, PISCATAWAY, NJ, US》.2003,第13卷(第11期),1030. *
MARCUS MAGNOR ET AL.Data Compression for Light-Field Rendering.《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY , IEEE SERVICE CENTER, PISCATAWAY,NJ, US》.2000,第10卷(第3期),339-340.
MARCUS MAGNOR ET AL.Data Compression for Light-Field Rendering.《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY,NJ, US》.2000,第10卷(第3期),339-340. *

Also Published As

Publication number Publication date
US8488887B2 (en) 2013-07-16
CN101682765A (zh) 2010-03-24
WO2008146190A3 (en) 2009-04-02
EP2163099A2 (en) 2010-03-17
WO2008146190A2 (en) 2008-12-04
US20100232499A1 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
CN101682765B (zh) 确定用于光场数据结构的图像分布的方法
CN110557625A (zh) 虚拟形象直播方法、终端、计算机设备及存储介质
US9460539B2 (en) Data compression for real-time streaming of deformable 3D models for 3D animation
US8558846B2 (en) Information processing device and method, and program
CN106713988A (zh) 一种对虚拟场景直播进行美颜处理的方法及系统
CN107439010A (zh) 流传输球形视频
US20210097755A1 (en) Lightweight View Dependent Rendering System for Mobile Devices
CN109478312A (zh) 一种视频编解码的方法及装置
JP2000507412A (ja) スプライト符号化
EP2596474A1 (en) Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium
WO2021067501A1 (en) Object-based volumetric video coding
CN107656611A (zh) 体感游戏实现方法及装置、终端设备
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
CN114007059A (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
TW202126048A (zh) 用於沈浸式視訊的編碼方案
JP7054351B2 (ja) 自由視点映像のリプレイ映像を再生するシステム
CN115175005A (zh) 视频处理方法、装置、电子设备及存储介质
Sehli et al. WeLDCFNet: Convolutional Neural Network based on Wedgelet Filters and Learnt Deep Correlation Features for depth maps features extraction
EP3821602A1 (en) A method, an apparatus and a computer program product for volumetric video coding
JP3532823B2 (ja) 画像合成方法および画像合成プログラムを記録した媒体
CN117596373B (zh) 基于动态数字人形象进行信息展示的方法及电子设备
US11769299B1 (en) Systems and methods for capturing, transporting, and reproducing three-dimensional simulations as interactive volumetric displays
JP7360366B2 (ja) 仮想視点映像レンダリング装置、方法およびプログラム
JP7165254B2 (ja) 自由視点映像のリプレイ映像を再生するシステムおよび方法
US11501469B2 (en) Data generation system and methods

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100825

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN ETHERLANDS TO: GRAND CAYMAN ISLAND, CAYMAN ISLANDS

TA01 Transfer of patent application right

Effective date of registration: 20100825

Address after: Grand Cayman, Cayman Islands

Applicant after: Trident Microsystems (Far East) Ltd.

Address before: Holland Ian Deho Finn

Applicant before: Koninkl Philips Electronics NV

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130220

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130220

Address after: American California

Patentee after: Entropic Communications, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident Microsystems (Far East) Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120411

Termination date: 20170514

CF01 Termination of patent right due to non-payment of annual fee