CN101868970A - 记录三维图像数据的方法 - Google Patents

记录三维图像数据的方法 Download PDF

Info

Publication number
CN101868970A
CN101868970A CN200880116700A CN200880116700A CN101868970A CN 101868970 A CN101868970 A CN 101868970A CN 200880116700 A CN200880116700 A CN 200880116700A CN 200880116700 A CN200880116700 A CN 200880116700A CN 101868970 A CN101868970 A CN 101868970A
Authority
CN
China
Prior art keywords
information
picture
image
stereo
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880116700A
Other languages
English (en)
Other versions
CN101868970B (zh
Inventor
郑度泳
朴泰诚
吴润济
宋在涓
黄栖煐
徐德荣
朴光勋
金奎宪
李润辰
李长远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Samsung Electronics Co Ltd
Publication of CN101868970A publication Critical patent/CN101868970A/zh
Application granted granted Critical
Publication of CN101868970B publication Critical patent/CN101868970B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

一种将3D图像数据存储在记录介质中的方法，包括：在预定的文件类型字段加载图像类型信息，所述图像类型信息表明是单一的立体图像还是包括单视点图像和立体图像的复合图像；在预定的图像构造信息容器字段加载表明包括在三维图像中的多个媒体对象之间的时间和空间的关系的场景描述符信息、表明所述多个媒体对象的各媒体对象的属性以及多个媒体对象的编码流之间的构造关系的对象构造信息、编码的流的构造信息；在图像数据容器字段加载将要存储的图像的媒体数据；在meta容器字段加载包括用于播放3D图像数据的信息的元数据。

Description

记录三维图像数据的方法
技术领域
本发明涉及一种记录三维(3D)图像数据的方法，更具体地讲，涉及一种按照与ISO基本媒体文件格式兼容的格式生成3D图像数据，并存储生成的3D图像数据的方法。
背景技术
典型的媒体文件格式包括：头部分，用于描述关于对应媒体的信息；图像数据部分，用于存储压缩的媒体数据。尽管可使用典型的媒体文件格式存储简单的图像数据，但是它并不适合作为一种适合多种媒体类型的全面的结构。
国际标准化组织运动图像专家组(MPEG)已将ISO基本媒体文件格式定义为可通用于多种应用的基本文件格式。所述ISO基本媒体文件格式已被设计为将数据(例如，压缩的媒体流和与媒体流相关的构造信息)分级地存储到多个容器中。ISO基本媒体文件格式未定义编码或解码方案，但是基本地定义了用于有效地存储编码或解码的媒体流的基本结构。
根据组合左图像和右图像的方法，可按照多种方式构造立体图像。因此，为在显示设备上展现立体图像，需要将关于组合左图像和右图像的方法、左图像和右图像的划分的数量和大小、划分的图像的位置等的信息存储在显示设备的存储器中。此外，立体图像必需需要时间信息，基于该时间信息使左图像和右图像同步。
因此，难以通过使用传统的典型媒体文件格式有效地构造用于存储立体图像的文件格式。由于ISO基本媒体文件格式是未考虑到立体图像的结构而定义的，并不适合立体图像。
因此，需要一种考虑到立体图像的结构而定义的数据存储格式。同时，用于立体图像的这样的数据存储格式需要与国际标准文件格式(即，ISO基本媒体文件格式)兼容，以便其能够应用于多种多媒体应用。
发明内容
因此，本发明提供了一种数据存储格式，该数据存储格式包括关于立体图像的构造的信息并与国际标准文件格式(即，ISO基本媒体文件格式)兼容，以及一种生成所述数据存储格式的方法。
根据本发明，将三维(3D)图像数据存储在记录介质的方法包括：在预定的文件类型字段加载图像类型信息，所述信息表明是单一的立体图像还是包括单视点图像和立体图像的复合图像；在预定的图像构造信息容器字段加载表明包括在三维图像中的多个媒体对象之间的时间和空间的关系的场景描述符信息、表明所述多个媒体对象的各媒体对象的属性以及多个媒体对象的编码流之间的构造关系的对象构造信息、编码的流的构造信息；在图像数据容器字段加载将要存储的图像的媒体数据；并在meta容器字段加载包括用于播放3D图像数据的信息的元数据。
附图说明
通过下面结合附图进行的详细描述，本发明的上述特点和优点将会变得更加清楚，其中：
图1是应用本发明的立体成像设备的框图；
图2A至2C是示出根据本发明示例性实施例的包含在三维图像中的立体图像的结构的示例的示图；
图3A和3B是示出根据本发明示例性实施例的三维图像数据的存储格式的示图；
图4是示出根据本发明示例性实施例的包括在三维图像数据的存储格式中的moov容器的详细结构的示图；
图5是示出根据本发明示例性实施例的包括在三维图像数据的存储格式中的meta容器的详细结构的示图；
图6是根据本发明示例性实施例的根据三维图像数据的存储格式的示例的示意图；
图7是根据本发明示例性实施例的根据三维图像数据的存储格式的另一示例的示意图；
图8是示出根据本发明另一示例性实施例的包含在三维图像中的立体图像的结构的示例的示图；
图9是根据本发明的另一示例性实施例的根据三维图像数据的存储格式的示例的示意图；
图10是根据本发明的另一示例性实施例的根据三维图像数据的存储格式的另一示例的示意图；
具体实施方式
以下，将参照附图描述本发明的示例性实施例。应该注意，尽管在不同的附图中示出相似的元件，但相似的元件用相似的标号指定。由于合并在这里的公知的功能和构造的详细描述会使本发明的主题不清晰，因此，为了清楚和简明的目的，将省略对所述公知的功能和构造的详细描述。此外，应该注意，仅描述了对于理解根据本发明的操作的所必要的部分，将省略除必要部分之外的其他部分的描述以使本发明的要点更清晰。
在本发明的示例性实施例中，三维(3D)图像包括：包含左图像和右图像的组合的立体图像以及包含立体(stereoscopic)图像和单视点(monoscopic)图像的组合的复合图像。在此，单视点图像是指仅包含左图像和右图像之一的图像。左图像和右图像对应于媒体数据，并在本发明的实施例中可被称为媒体数据。此外，这样的媒体数据可包括视频数据和音频数据。此外，作为示例，所述视频数据和音频数据可包含至少一个轨道的媒体数据。
图1示出应用本发明的立体成像设备。
所述立体成像设备包括：图像输入单元10、编码器20、3D图像生成器30、数据存储控制器40、存储器50、显示器60和通信模块70。
图像输入单元10与用于接收生成立体图像所必需的多个输入图像的装置对应，并包括：多个镜头，用于用不同的角度投射从目标反射的特定波长的颜色信号；多个传感器模块(例如，包括传感器的模块(例如，CCD和CMOS))，用于将通过多个镜头输入的颜色信号转换为电信号。图像输入单元10还包括：视频信号处理设备，用于将从多个传感器模块中的每一个输入的数据转换为包括时间/空间信息的图像信号，从而生成与传感器模块一样多的图像数据。例如，当立体图像包括左图像和右图像的媒体数据的组合时，图像输入单元10包括用于拍摄目标的左边部分的镜头和传感器模块以及用于拍摄目标的右边部分的镜头和传感器模块，并通过使用从两个传感器模块输入的数据生成各个图像数据(即，左图像的媒体数据和右图像的媒体数据)。
编码器20通过将立体图像构造方法应用到从图像输入单元10输出的多个图像数据(左图像和右图像数据)来构造立体图像，然后对立体图像编码。根据运动图像编码方案(例如，MPEG-1、MPEG-2、MPEG-3、MPEG-4和H.264方案)对立体图像编码的典型的设备可用作编码器20。
此外，图像输入单元10还可包括用于将特定频段的音频信号转换为电信号的麦克风，并且编码器20可通过使用本领域技术人员公知的典型的音频压缩方案来压缩从麦克风输入的音频信号。
考虑到与拍摄对象的距离、拍摄角度、拍摄设备的运动等，3D图像生成器30从多个编码的媒体数据生成3D图像数据。
同时，如果用户长时间地观看仅包括立体图像的3D图像，则他/她的眼睛比当他/她观看单视点图像时感到更加疲劳。因为这个原因，用户难以长时间地观看仅包括立体图像的3D图像。因此，3D图像可以仅包括立体图像，但为通过减轻眼睛的疲劳以保证对3D图像的长时间观看，3D图像最好包括立体图像与单视点图像的适度组合。可根据拍摄设备中的预定设置在拍摄设备的用户的控制下，或通过编辑拍摄的立体图像和单视点图像来组合立体图像和单视点图像。预定设置可以是以固定间隔周期地并重复地拍摄立体图像或单视点图像，根据将要被拍摄的对象的性质或种类选择性地拍摄立体图像或单视点图像，或适当地编辑拍摄的图像。
图2示出根据本发明示例性实施例的包含在3D图像中的立体图像的结构。根据本实施例的包含在3D图像中的立体图像包括左图像1和右图像5的组合。这样的立体图像可通过如下方法构造：在图像内将左图像1和右图像5按1∶1的比例垂直地组合构成一帧，并将帧沿时间轴排列(图2A)；分别将左图像1和右图像5垂直地划分，然后按顺序将划分的图像交替地组合构成一帧，并最终将帧沿时间轴排列(图2B)，或通过将包括左图像1或右图像5的帧沿时间轴排列(图2C)。
此外，3D图像生成器30向数据存储控制器40提供3D图像构造信息，所述3D图像构造信息包括当生成3D图像时产生的组成视频数据和音频数据的信息。
数据存储控制器40将3D图像数据存储在存储器50中，使用从3D图像生成器30提供的3D图像构造信息和3D图像的数据生成所述3D图像数据。此外，显示器60输出由3D图像生成器30生成的3D图像。通信模块70包括能够将存储在存储器50中的3D图像发送到外部装置(例如，移动终端、PDA、装备有无线LAN的便携式终端和支持USB或串行通信的个人计算机)的接口。
图3A示出根据本发明示例性实施例的3D图像数据的存储格式。参照图3A，通过数据存储控制器40存储在存储器50中的3D图像数据的存储格式包括：ftyp头100、mdat容器200、moov容器300和meta容器400。
ftyp头100包含关于存储的数据的文件类型和兼容性的信息。具体地讲，ftyp头100包含表明3D图像是仅由立体图像还是由包括立体图像和单视点图像的组合的复合图像组成的信息。
各信道的视频或音频数据以帧为单位被记录在mdat容器200中。
moov容器300是作为基于对象的结构被构成的，并且上述3D图像构造信息被记录在moov 300中。内容信息和更进一步的媒体数据的同步信息也被记录在moov容器300中，所述内容信息包括：帧率、比特率和媒体数据的图像大小。
meta容器400包含用于播放单一的立体图像或复合图像的信息。
最好，meta容器400被包括在moov容器300中。
尽管在本实施例中已经示出包括在moov容器300中的meta容器400，但本发明并不局限于此。例如，记录元数据的meta容器400可作为单独的容器被形成(参照图3B)。
图4示出根据本发明示例性实施例的包括在3D图像数据的存储格式中的moov容器300的详细结构。
参照图4，根据本实施例的moov容器300包括：mvhd包(box)301、iods包302和trak包303。
mvhd包301是表示影片头的包，并包含：“mvhd”的大小、类型、版本、文件创建时间、文件修改时间、时间缩放因数和总的播放时间。
初始化信息(例如，用于场景构造和对象描述的类和级)被记录在iods包302中。iods包302还可包含用于场景构造的BIFS(二进制格式场景)流和用于对象描述的OD(对象描述符)流的设置信息。
trak包303是记录包括在3D图像中的轨道或流的构造信息的字段，并包括tkhd包304、tref包305、edts包306和mdia包307。
基本轨道信息被记录在tkhd包304中，所述基本轨道信息包括：诸如包括在轨道中的图像的大小和播放时间、轨道创建时间和轨道修改时间。
tref包305与数据参考包对应。
包括轨道的时间同步信息的列表被记录在edts包306中。
提供mdia包307以记录关于轨道内的媒体数据的信息，并且mida包307包括mdhd包308、hdlr包309和minf包310。
mdhd包308是代表媒体头的包，包括包含在轨道中的媒体的播放时间、创建时间和修改时间的信息被记录在mdhd包308中。
hdlr包309与定义媒体类型的处理包对应。
提供minf包310以记录媒体数据信息，并且minf包310包括：vmhd包311，记录视频媒体头信息；smhd包312，记录声音媒体头信息；hmhd包313，记录提示媒体头；nmhd包314，记录空媒体头信息；stbl包315，记录对应的轨道采样的头信息。
stbl包315包括：stsd包316，记录编解码类型信息、初始化信息等；stsc包317，记录关于每块(chunk)包含的采样的数量的信息；stts包318，记录关于每个采样的解码时间的信息；stsz包319，记录关于每个采样的比特流大小的信息；stz2包320，记录紧密采样的比特流大小的信息；stco包321，记录关于文件中开始地址值的信息，块从所述地址值开始；co64包323，记录在大文件的情况下关于文件中开始地址值的信息，块从所述地址值开始。
图5是示出根据本发明示例性实施例的包括在三维图像数据的存储格式中的meta容器的详细结构的视图。参照图5，记录元数据的meta容器400包括：hdlr包401、iloc包402、iinf包403、xml包404、bxml包405和snmi包406。
hdlr包401与定义元数据的类型的处理包对应。
组成立体图像或单视点图像的各个项目的标识码、各个项目的位置信息和关于各个项目的大小的信息被记录在iloc包402中。例如，位置信息可以是存储在与项目对应的媒体数据中的存储器的地址值，并且关于大小的信息可以是表明与项目对应的比特流的长度的值。
iinf包403包含表明图像的类型的图像类型标识。图像类型标识最好包括用于对项目编码的信息。例如，当项目为立体图像时，将图像类型标识设置为具有表明立体图像的“S”的标识码。详细地讲，图像类型标识可被设置为S1、S2、S3……Sn。此外，当项目为单视点图像时，将图像类型标识设置为用具有表明立体图像的“M”的标识码。详细地讲，图像类型标识可被设置为M1、M2、M3……Mn。
xml包是记录xml数据的容器，并且bxml包405是记录二进制xml数据的容器。
单视点图像和包括由多个图像(例如，左图像和右图像)组成的立体图像的大小的信息、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息被记录在snmi包406中。在本实施例中，snmi包406被作为记录包括由多个图像(例如，左图像和右图像)组成的立体图像的大小的信息、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息的包示出。然而，本发明并不局限于此，仅记录包含在snmi包406中的信息就足够。
更特别地，可将如下信息记录在snmi包406中，所述信息包括：复合图像的图像宽度和高度、拍摄左图像和右图像的两个相机之间的距离、关于目标的相机镜头的焦距、关于对象的旋转角度、中心焦点、详细的相机排列(表明是否将拍摄左图像的相机和拍摄右图像的相机分别排列在左边和右边，或是否将拍摄左图像的相机和拍摄右图像的相机按相互交叉的方式排列的信息)、3D图像观众与显示设备之间的光程、用于3D效果的垂直视差的最大值、左图像和右图像之间的最小视差、左图像和右图像之间的最大视差、用于设置3D图像类型的值(格式如图2示出，格式包括仅为单一的左图像或右图像等)、根据各自的类型排列的图像的大小和顺序、用于在包括在3D图像的帧之间指定同步的值、用于设置图像以在左图像和右图像之间进行初始编码的值等。
图6概念地示出根据本发明示例性实施例的3D图像数据的存储格式的示例。参照图6，基于ISO基本媒体文件格式，根据本实施例的3D图像数据的存储格式举例说明复合图像数据的构造信息被存储在moov容器300中的情况。复合图像数据可包括至少一个立体图像流和至少一个单视点图像流。考虑到这点，meta容器400中的snmi包406包含：单视点图像和由多个图像(例如，左图像和右图像)组成的立体图像的大小、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息。iloc包402包含：按顺序分配给立体图像流和单视点图像流的标识(例如，项目_ID(item_ID))、存储器的地址值(例如，偏移量)和图像流的长度(例如，长度)。此外，iinf包403包含图像类型标识(例如，项目_名称(item_name))。
最好，将iloc包402与iinf包403形成一个包。
图7概念地示出根据本发明示例性实施例的3D图像数据的存储格式的另一示例。参照图7，与图6不同，根据本实施例的3D图像数据的存储格式举例说明复合图像包括两个基本流。例如，两个基本流可以是一个左图像流和一个右图像流。因此，moov容器300包括两个trak包303，所述trak包303记录关于各个流的构造信息。meta容器400中的snmi包406包含：单视点图像和立体图像的大小、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息。iloc包402包含：按顺序分配给立体图像流和单视点图像流的标识(例如，项目_ID)、存储器的地址值(例如，偏移量)和图像流的长度(例如，长度)，并且iinf包403包含图像类型标识(例如，项目_名称)。
可注意到，即使当复合图像包括两个基本流时，也可容易地使用meta容器400提供的snmi包406、iloc包402和iinf包403存储复合图像。
在根据本发明示例性实施例的3D图像数据的存储格式中，尽管包括在moov容器300中的meta容器400如图6和图7被示出，但本发明并不局限于此。例如，记录元数据的meta容器400可被包括在ftyp头100中或作为单独的容器。
由于本发明中提出的格式与从国际标准文件格式(即，ISO基本媒体文件格式)扩展的文件格式兼容，可将包括复合图像的数据发送或应用到多种多媒体应用。
同时，根据本发明，数据存储控制器40按3D图像数据存储格式将3D图像生成器30生成的3D图像数据存储在存储器中。根据本发明示例性实施例，参照上述组成元件和3D图像数据存储格式，现在将描述生成3D图像数据的存储格式的过程。
数据存储控制器40生成ftyp头100、mdat容器200、moov容器300和meta容器400，并按包括生成的数据的格式存储3D图像数据。
首先，数据存储控制器40生成ftyp头100。关于将要存储的3D图像数据的文件类型和兼容性的信息被包括在fytp头100中。数据存储控制器40从3D图像生成器30接收信息，并将该信息包括并记录在ftyp头100中，所述信息表明3D图像是仅包括立体图像还是包括包含立体图像与单视点图像的组合的复合图像。例如，数据存储控制器40可通过执行与下面表1中给出的程序对应的操作来设置信息，该信息表明3D图像仅包括立体图像还是包括包含立体图像与单视点图像的组合的复合图像。
表1
Figure GPA00001139353300091
即，数据存储控制器40通过使用ftyp头的标记设置标识信息，所述信息代表关于立体的内容是否部分地包括单视点数据的立体MAF(多媒体应用文件格式)。例如，当3D图像仅包括单一的立体图像时，将作为标识信息使用的标记设置为“ss01”，并在当3D图像包括立体图像与单视点图像的组合时设置为“ss02”。在设置关于立体图像的文件类型和兼容性的信息时，本实施例没有具体地指定fytp头的标记，而是设置可能使用的诸如major_brand，minor_brand，compatible_brand等多种标记。
接下来，数据存储控制器40基于从3D图像生成器30接收的数据生成mdat容器200。各信道的视频数据或音频数据以帧为单位被记录在mdat容器200中。
数据存储控制器40还基于从3D图像生成器30接收的数据生成moov容器300。3D图像构造信息作为基于对象的结构被记录在moov 300中，所述3D图像构造信息与存储在mdat容器200中的各个3D图像数据对应。此外，包括媒体数据的帧率、比特率和图像大小的内容信息以及媒体数据的同步信息被记录在moov容器300中。
特别地，moov容器300包括mvhd包301和trak包303。mvhd包301是代表影片头的包，并包含“mvhd”的大小、类型、版本、文件创建时间、文件修改时间、时间缩放因数和总的文件播放时间。
最好，moov容器300可根据3D图像相关信息的存储格式选择性地包括iods包302。初始化信息(例如，用于场景构造和对象描述的类和级)被记录在idos包302中。idos包302还可包含用于场景构造的BIFS流和用于对象描述的OD流的设置信息。
此外，trak包303可包括：tkhd包304、tref包305、edts包306和mdia包307。包括诸如包括在轨道中的图像的大小和播放时间、轨道创建时间和轨道修改时间的基本轨道信息被记录在tkhd包304中。数据参考可被包含在tref包305中，并且包括轨道的时间同步信息的列表被记录在edts包306中。此外，关于轨道内媒体数据的信息可被记录在mdia包307中。
更特别地，mdia包307可包括：mdhd包308、hdlr包309和minf包310。mdhd包308是代表媒体头的包，并包含：包括在轨道中的媒体的播放时间、创建时间和修改时间的信息。此外，定义媒体类型的处理数据可被记录在hdlr包309中。minf包310是被提供用于记录媒体数据信息的字段，并可包括：vmhd包311，记录视频媒体头信息；smhd包312，记录声音媒体头信息；hmhd包313，记录提示媒体头信息；nmhd包314，记录空媒体头信息；stbl包315，记录相应的轨道采样的头信息。
此外，stbl包315可包括：stsd包316，记录编解码类型信息、初始化信息等；stsc包317，记录关于每块包含的采样的数量的信息；stts包318，记录关于每个采样的解码时间的信息；stsz包319，记录关于每个采样的比特流大小的信息；stz2包320，记录紧密采样的比特流大小信息；stco包321，记录关于文件中开始地址值的信息，块从所述地址值开始；co64包323，记录在大文件的情况下关于文件中开始地址值的信息，块从所述地址值开始。
另外，数据存储控制器40生成meta容器400，并将从3D图像生成器30接收的关于3D图像数据的元数据的信息存储到meta容器400中。这样，meta容器400包括：hdlr包401、iloc包402、iinf包403、xml包404和bxml包405(见图5)。此外，数据存储控制器40可进一步的将记录立体图像信息的snmi包406合并到meta容器400。在根据本发明示例性实施例的3D图像数据的存储格式中，即使包括在moov容器300中的meta容器400已被示出，但本发明也不局限于此。例如，记录元数据的meta容器400可被包括在ftyp头100中或作为单独的容器。
定义元数据类型的数据被记录在hdlr包401中。此外，组成立体图像或单视点图像的各个项目的标识码和关于各个项目的长度的信息被记录在iloc包402中，并且关于各个项目的信息被记录在iinf包403中。此外，xml数据被记录在xml包404中，并且二进制xml数据被记录在bxml包405中。此外，由多个图像(例如，左图像和右图像)组成的立体图像的大小、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息可被记录在snmi包406中。例如，可通过与执行下面表2给出的程序对应的操作来设置将要记录在snmi包406中的信息，所述程序被存储在数据存储控制器40中。
表2
Figure GPA00001139353300121
在表2中，“compound_image_width”表示复合图像显示宽度，且“compound_image_height”表示复合图像显示高度。此外，表现相机信息的“baseline”表示拍摄左图像和右图像的相机之间的距离，“focallength”表示关于目标的相机镜头的焦距，“rotation”表示两个相机之间的旋转角度，“convergence”表示中心焦点与基线之间的距离，“camera_setting”表示根据下面给出的表3定义的详细的相机排列。此外，“left_image_width”表示并排格式中左图像的宽度，“right_image_width”表示并排格式中右图像的宽度，“odd_line_width”表示垂直线交错格式中奇数线的宽度，“odd_line_count”表示垂直线交错格式中奇数线的顺序，“even_line_width”表示垂直线交错格式中偶数线的宽度，“even_line_count”表示垂直线交错格式中偶数线的顺序。此外，“field_width”表示场序制格式中的图像的宽度，并且“field_height”表示场序制格式中的图像的高度。
表3
  值   说明
  0   平行排列
  1   交叉排列
在表3中，“平行排列”表明拍摄左图像的相机和拍摄右图像的相机分别排列在左边和右边，“交叉排列”表明拍摄左图像的相机和拍摄右图像的相机按照相互交叉的方式排列。
此外，在表2中，表现关于显示设备的信息的“ViewingDisplaySize”表示3D图像观众与显示设备之间的光程，“MaxVerticalDisparity”表示用于3D效果的垂直视差的最大值，“MinofDisparity”表示左图像和右图像之间的最小视差，“MaxofDisparity”表示左图像和右图像之间的最大视差。此外，“StereoScopic_ES_type”表示用于设置ES类型的值，由表4在下面给出。
表4
  立体组成类型   标识
  0   并排格式
  1   垂直线交错格式
  2   帧序制格式
  3   场序制格式
  4   立体的左视图顺序
  5   立体的右视图顺序
在表4中，“并排格式”是如图2A中形成左图像和右图像的格式，“垂直线交错格式”是如图2B中形成左图像和右图像的格式，“帧序格式”是如图2C中形成左图像和右图像的格式，“立体的左视图顺序”表示仅由左图像形成的3D图像，“立体的右视图顺序”表示仅由右图像形成的3D图像。
此外，在表2中，“frame_sync”表示用于在包括在3D图像中的帧之间指定同步的值，“LR_first”表示用于设置图像以在左图像和右图像之间进行初始编码的值。“LR_first”根据下面给出的表5指定。
表5
Figure GPA00001139353300131
  n ES   主媒体   子媒体   子媒体   主媒体
尽管在本实施例中ftyp头100、mdat容器200、moov容器300和meta容器400按生成顺序被示出并被存储在存储器50中，但本发明并不局限于此。不管ftyp头100、mdat容器200、moov容器300和meta容器400的生成顺序如何，按包括ftyp头100、mdat容器200、moov容器300和meta容器400的格式已足以将3D图像数据存储在存储器50中。
通过以上过程，可将通过3D图像生成器30生成的3D图像数据按包括ftyp头100、mdat容器200、moov容器300和meta容器400的格式存储在存储器50中。这样，能够按照与国际标准文件格式(即，ISO基本媒体文件格式)兼容的方式管理3D图像数据。
图8示出根据本发明另一示例性实施例的立体图像的结构的示例。参照图8，根据本实施例的包括在复合图像中的立体图像可包括多个片段。例如，立体图像可包括片段S1、S2、S3、S4和S5。可在立体图像信息被改变的点相互区分各个片段。
图9是根据本发明的另一示例性实施例的根据三维图像数据的存储格式的示例的示意图。参照图9，基于ISO基本媒体文件格式，根据本实施例的3D图像数据的存储格式举例说明将复合图像数据的构造信息存储在moov容器300的情况。
meta容器400中的snmi包406包含：单视点图像和由多个图像(例如，左图像和右图像)组成的立体图像的大小、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息。具体地讲，包括在立体图像中的片段的数量在snmi包406中被定义。通过相同的构造信息对片段分组。此外，对应于分组的信息被记录在snmi包406中。
iloc包402包含：基于立体图像信息被改变的点按顺序分配给立体图像流和单视点图像流的标识(例如，项目_ID)、存储器的地址值(例如，偏移量)和图像流的长度(例如，长度)，并且iinf包403包含图像类型标识(例如，项目_名称)。例如，当项目为立体图像时，图像类型标识被设置为具有表明立体图像的“S”的标识码。详细地讲，图像类型标识可被设置为S1、S2、S3……Sn。此外，当项目为单视点图像时，图像类型标识被设置为具有表明立体图像的“M”的标识码。详细地讲，图像类型标识可设置为M1、M2、M3……Mn。
最好，将iloc包402和iinf包403形成一个包。
此外，即使当复合图像包含两个基本流时，也可使用上述的包括多个片段的立体图像。图10示出根据本发明另一示例性实施例的3D图像数据的存储格式的另一示例。参照图10，与图6不同，根据本实施例的3D图像数据的存储格式举例说明复合图像包括两个基本流。例如，两个基本流可以是左图像流和右图像流。因此，moov容器300包含两个记录关于各个流的构造信息的trak包303。meta容器400中的snmi包406包含：单视点图像和由多个图像(例如，左图像和右图像)组成的立体图像的大小、关于拍摄立体图像的相机的信息、显示信息和立体图像构造信息。具体地讲，包括在立体图像中的片段的数量在snmi包406中被定义。通过相同的构造信息对片段分组。此外，对应于分组的信息被记录在snmi包406中。
iloc包402包含：基于立体图像信息被改变的转点按顺序分配给立体图像流和单视点图像流的标识(例如，项目_ID)、存储器的地址值(例如，偏移量)和图像流的长度(例如，长度)，iinf包403包含图像类型标识(例如，项目_名称)。这里，用于分配标识(例如，项目_ID)和图像类型标识(例如，项目_名称)的根据是立体图像信息被改变的点。
在根据本发明实施例的3D图像数据的存储格式中，尽管已在图9和图10中示出包括在moov容器300中的meta容器400，但本发明并不局限于此。例如，记录元数据的meta容器400可在ftyp头100中或是作为单独的容器被形成。
在生成meta容器400时，数据存储控制器40考虑到各立体图像以片段为单位被分离的事实。即，数据存储控制器40通过执行与下面的表6给出的程序对应的操作来识别包括在各立体图像中的片段数量(item_count)并按顺序分配项目_ID(item_ID)。此外，当存在包含相同信息的片段时，数据存储控制器40通过使用单独的标识符(附属标志(dependence flag))表示自己。此外，数据存储控制器40通过执行与表6的程序对应的操作将单独的项目_ID分配给包含相同信息的片段。例如，单独的项目_ID可以是附属_项目_ID(dependence_item_ID)。单独的项目_ID(即，附属_项目_ID)如包含在特定项目_ID的片段中一样表明包含相同信息的片段，并可通过参考现有的项目_ID被使用。
表6
Figure GPA00001139353300161
另外，数据存储控制器40可通过执行与下面的表7给出的程序对应的操作对包含相同信息的片段分组。即，使用在ISO基本媒体文件格式中提供的“extent_count”，数据存储控制器40计算并表明包括在各立体图像中的不同片段的类型的数量，并根据各自的类型记录立体图像相关信息。
表7
Figure GPA00001139353300172
Figure GPA00001139353300181
此外，数据存储控制器40可执行综合操作，所述综合操作是用于分配与包括在各立体图像中的片段的数量一样多的项目_ID的操作(例如，与表6的程序对应的操作)和用于对包含相同信息的片段分组的操作(例如，与表7的程序对应的操作)。这样的综合操作可由与下面的表8中给出的程序对应的操作实现。
表8
Figure GPA00001139353300191
Figure GPA00001139353300201
根据在本发明中提出的数据存储格式，3D图像数据可按照与国际标准文件格式(即，ISO基本媒体文件格式)兼容的格式被存储，并且可将存储的数据发送或是应用于多种多媒体应用。
尽管已经参照本发明的特定示例性实施例对本发明进行了显示和描述，但是本领域的技术人员应该理解，在不脱离由权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (17)

1.一种将三维(3D)图像数据存储在记录介质中的方法，所述方法包括：
在预定的文件类型字段加载图像类型信息，所述图像类型信息表明是单一的立体图像还是包括单视点图像和立体图像的复合图像；
在预定的图像构造信息容器字段加载：场景描述符信息，表明包括在三维图像中的多个媒体对象之间的时间和空间关系；对象构造信息，表明所述多个媒体对象的各媒体对象的属性以及多个媒体对象的编码流之间的构造关系；编码的流的构造信息；
在图像数据容器字段加载将要存储的图像的媒体数据；
在meta容器字段加载包括用于播放3D图像数据的信息的元数据。
2.如权利要求1所述的方法，其中，meta容器字段被包括在预定的图像构造信息容器字段。
3.如权利要求1所述的方法，其中，meta容器字段作为单独的字段被形成。
4.如权利要求1所述的方法，其中，元数据包括：关于单一的立体图像和复合图像的信息构造、关于包括在单一的立体图像和复合图像中的图像的大小的信息构造、拍摄信息和显示信息，并且所述元数据被记录在meta容器字段的snmi包中。
5.如权利要求4所述的方法，其中，元数据包括：关于包括在复合图像中的单视点图像和立体图像的位置的信息，关于单视点图像和立体图像的数据的大小的信息以及关于单视点图像和立体图像的图像类型标识的信息，
位置信息和数据大小被记录在meta容器字段的iloc包中，
图像类型标识被记录在meta容器字段的iinf包中。
6.如权利要求4所述的方法，其中，拍摄信息包括：多个相机之间的距离、关于目标的多个相机镜头的焦距、关于对象的旋转角度、最大垂直视差以及通过多个相机镜头拍摄的图像之间的最大视差和最小视差。
7.如权利要求4所述的方法，其中，当各个媒体数据的帧率互不相同时，snmi包包括：表明参考媒体数据的信息和表明根据组合图像的类型首先被压缩的媒体数据的信息。
8.如权利要求2所述的方法，其中，立体图像包括至少一个片段。
9.如权利要求8所述的方法，其中，由于立体图像包括多个片段，将包含相同图像信息的片段分组为片段组，并根据meta容器字段中的片段组来记录所述片段。
10.如权利要求9所述的方法，其中，计算包含不同图像信息的片段组的数量，并基于计算的片段组的数量，将通过各个片段表明的图像信息记录在meta容器字段中。
11.如权利要求3所述的方法，其中，元数据包括：关于单一的立体图像和复合图像的构造的信息、关于包括在单一的立体图像和复合图像中的图像的大小的信息、拍摄信息和显示信息，并且所述元数据被记录在meta容器字段的snmi包中。
12.如权利要求11所述的方法，其中，元数据包括：包括在复合图像中的单视点图像和立体图像的位置信息、单视点图像和立体图像的数据大小以及单视点图像和立体图像的图像类型标识，
位置信息和数据大小被记录在meta容器字段的iloc包中，
图像类型标识被记录在meta容器字段的iinf包中。
13.如权利要求11所述的方法，其中，拍摄信息包括：多个相机之间的距离、关于目标的多个相机镜头的焦距、关于对象的旋转角度、最大垂直视差以及通过多个相机镜头拍摄的图像之间的最大视差和最小视差。
14.如权利要求11所述的方法，其中，当各个媒体数据的帧率互不相同时，snmi包包括表明参考媒体数据的信息和表明根据组合图像的类型首先被压缩的媒体数据的信息。
15.如权利要求3所述的方法，其中，立体图像包括至少一个片段。
16.如权利要求15所述的方法，其中，由于立体图像包括多个片段，将包含相同图像信息的片段分组为片段组，并根据meta容器字段中的片段组来记录所述片段。
17.如权利要求16所述的方法，其中，计算包含不同图像信息的片段组的数量，并基于计算的片段组的数量，将通过各个片段表明的图像信息记录在meta容器字段中。
CN200880116700.XA 2007-10-19 2008-10-20 记录三维图像数据的方法 Expired - Fee Related CN101868970B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20070105831 2007-10-19
KR10-2007-0105831 2007-10-19
KR20070131535 2007-12-14
KR10-2007-0131535 2007-12-14
PCT/KR2008/006193 WO2009051457A2 (en) 2007-10-19 2008-10-20 Method of recording three-dimensional image data

Publications (2)

Publication Number Publication Date
CN101868970A true CN101868970A (zh) 2010-10-20
CN101868970B CN101868970B (zh) 2015-01-21

Family

ID=40567991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880116700.XA Expired - Fee Related CN101868970B (zh) 2007-10-19 2008-10-20 记录三维图像数据的方法

Country Status (8)

Country Link
US (1) US8922621B2 (zh)
EP (1) EP2213093B1 (zh)
JP (1) JP5231563B2 (zh)
KR (1) KR101533114B1 (zh)
CN (1) CN101868970B (zh)
BR (1) BRPI0818398B1 (zh)
MX (1) MX2010004275A (zh)
WO (1) WO2009051457A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780897A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单文件视频素材支持3d技术的方法
CN103597842A (zh) * 2011-05-20 2014-02-19 日立麦克赛尔株式会社 内容接收机和内容信息输出方法
CN107818594A (zh) * 2017-09-06 2018-03-20 北京矩阵空间科技有限公司 三维模型文件格式系统及读取方法
CN109600601A (zh) * 2018-11-23 2019-04-09 维沃移动通信有限公司 一种存储3d图像的方法及终端设备
CN114079778A (zh) * 2020-08-17 2022-02-22 安讯士有限公司 可穿戴相机和用于对由其捕获的视频进行编码的方法

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR101530713B1 (ko) * 2008-02-05 2015-06-23 삼성전자주식회사 영상 파일을 생성하고 표시하기 위한 장치 및 방법
US20090199100A1 (en) * 2008-02-05 2009-08-06 Samsung Electronics Co., Ltd. Apparatus and method for generating and displaying media files
WO2010147289A1 (en) 2009-06-16 2010-12-23 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video processing method thereof
KR101473035B1 (ko) 2009-06-19 2014-12-16 한국전자통신연구원 프리셋을 이용한 객체기반 오디오 시스템, 객체기반 오디오 제공 방법 및 객체기반 오디오 재생 방법
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
JP5647242B2 (ja) 2009-07-27 2014-12-24 コーニンクレッカ フィリップス エヌ ヴェ ３ｄビデオ及び補助データの結合
JP2011087195A (ja) * 2009-10-16 2011-04-28 Sony Corp 画像処理装置および画像処理方法
WO2011049519A1 (en) * 2009-10-20 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for multi-view video compression
KR101253495B1 (ko) * 2009-11-18 2013-04-11 닛뽕빅터 가부시키가이샤 입체 영상 표시 장치 및 움직임 벡터 도출 방법
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
KR20110096494A (ko) * 2010-02-22 2011-08-30 엘지전자 주식회사 전자 장치 및 입체영상 재생 방법
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
JP5449535B2 (ja) 2010-04-28 2014-03-19 富士フイルム株式会社 立体撮像装置及びその制御方法
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
JP5510097B2 (ja) * 2010-06-16 2014-06-04 ソニー株式会社 信号伝送方法、信号送信装置および信号受信装置
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US8640182B2 (en) 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
CN103026706B (zh) * 2010-07-21 2016-04-20 杜比实验室特许公司 用于多层帧兼容视频传输的系统及方法
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
JP5652642B2 (ja) * 2010-08-02 2015-01-14 ソニー株式会社 データ生成装置およびデータ生成方法、データ処理装置およびデータ処理方法
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
US8947511B2 (en) * 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
KR101212170B1 (ko) * 2010-12-10 2012-12-13 엘지디스플레이 주식회사 패턴드 리타더를 이용한 입체 영상 표시 장치 및 그 구동 방법
CN103329549B (zh) * 2011-01-25 2016-03-09 富士胶片株式会社 立体视频处理器、立体成像装置和立体视频处理方法
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
KR101903443B1 (ko) * 2012-02-02 2018-10-02 삼성전자주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송수신 장치 및 방법
EP2683168B1 (en) * 2012-02-16 2019-05-01 Sony Corporation Transmission device, transmission method and receiver device
KR20150018125A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 전자 디바이스 및 전자 디바이스와 통신하는 단말기
US9699390B2 (en) * 2014-09-02 2017-07-04 Htc Corporation Controlling method for image capturing and image integration
KR101979842B1 (ko) 2017-07-21 2019-05-17 안주신 신축암
US11509878B2 (en) * 2018-09-14 2022-11-22 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations for network based media processing
CN111953909B (zh) * 2019-05-16 2022-02-01 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN110933364A (zh) * 2019-10-25 2020-03-27 深圳市道通智能航空技术有限公司 全向视觉避障实现方法、系统、装置及存储介质
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998025413A1 (en) 1996-12-04 1998-06-11 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
JP2001238181A (ja) * 2001-01-12 2001-08-31 Sanyo Electric Co Ltd 立体情報記録媒体
US20030030675A1 (en) * 2001-08-09 2003-02-13 International Business Machines Corporation Entry panel processing system
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2004357156A (ja) 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
GB0319697D0 (en) * 2003-08-21 2003-09-24 Falanx Microsystems As Method of and apparatus for differential encoding and decoding
KR100540172B1 (ko) * 2003-09-04 2006-01-10 한국전자통신연구원 객체기반 다시점 비디오 서비스 시스템 및 그 방법
KR20060088549A (ko) * 2003-09-30 2006-08-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 렌더링을 위한 움직임 제어
US7979886B2 (en) * 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
WO2006111919A2 (en) * 2005-04-22 2006-10-26 Koninklijke Philips Electronics, N.V. Auto-stereoscopic display with mixed mode for concurrent display of two- and three-dimensional images
KR100703715B1 (ko) * 2005-05-17 2007-04-06 한국전자통신연구원 다시점 3차원 동영상 송수신 시스템
KR100716142B1 (ko) 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
JP2010530702A (ja) * 2007-06-19 2010-09-09 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造、およびこれを用いるステレオスコピックコンテンツファイルの保存方法
JP2011502375A (ja) * 2007-10-10 2011-01-20 韓國電子通信研究院 ステレオスコピックデータの保存および再生のためのメタデータ構造ならびにこれを利用するステレオスコピックコンテンツファイルの保存方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597842A (zh) * 2011-05-20 2014-02-19 日立麦克赛尔株式会社 内容接收机和内容信息输出方法
CN103597842B (zh) * 2011-05-20 2017-05-24 日立麦克赛尔株式会社 内容接收机和内容信息输出方法
CN102780897A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种单文件视频素材支持3d技术的方法
CN107818594A (zh) * 2017-09-06 2018-03-20 北京矩阵空间科技有限公司 三维模型文件格式系统及读取方法
CN109600601A (zh) * 2018-11-23 2019-04-09 维沃移动通信有限公司 一种存储3d图像的方法及终端设备
CN114079778A (zh) * 2020-08-17 2022-02-22 安讯士有限公司 可穿戴相机和用于对由其捕获的视频进行编码的方法
CN114079778B (zh) * 2020-08-17 2024-03-26 安讯士有限公司 可穿戴相机和用于对由其捕获的视频进行编码的方法

Also Published As

Publication number Publication date
WO2009051457A3 (en) 2009-06-04
US8922621B2 (en) 2014-12-30
EP2213093A4 (en) 2010-12-08
BRPI0818398B1 (pt) 2021-02-23
EP2213093B1 (en) 2015-10-14
WO2009051457A2 (en) 2009-04-23
KR101533114B1 (ko) 2015-07-03
CN101868970B (zh) 2015-01-21
MX2010004275A (es) 2010-07-29
US20090122134A1 (en) 2009-05-14
JP2011502382A (ja) 2011-01-20
EP2213093A2 (en) 2010-08-04
JP5231563B2 (ja) 2013-07-10
KR20090040245A (ko) 2009-04-23

Similar Documents

Publication Publication Date Title
CN101868970B (zh) 记录三维图像数据的方法
US9781403B2 (en) Method and apparatus for generating stereoscopic file
KR100962696B1 (ko) 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
EP2001235B1 (en) MPEG-4 format extension for recording stereoscopic or synthetic 3D video data with related metadata
EP2757788B1 (en) Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
US8842903B2 (en) System and method for generating and reproducing image file including 2D image and 3D stereoscopic image
US20090208119A1 (en) Method for generating and playing image files for slideshows
KR101480186B1 (ko) 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
KR101434674B1 (ko) 스테레오스코픽 파일을 생성하기 위한 장치 및 방법
KR101396619B1 (ko) 3ｄ 영상에 관한 부가 정보를 포함하는 3ｄ 영상파일을생성 및 재생하기 위한 시스템 및 방법
KR100959534B1 (ko) Ｍａｆ 파일 포맷을 구성하는 방법 및 이를 이용한 비디오 신호의 디코딩 장치
WO2009025503A2 (en) Method of generating contents information and apparatus for managing contents using the contents information

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150121

Termination date: 20211020