CN102265626B - 传送有关立体图像的数据的方法、重放立体图像的方法、和创建立体图像的文件的方法 - Google Patents

传送有关立体图像的数据的方法、重放立体图像的方法、和创建立体图像的文件的方法 Download PDF

Info

Publication number
CN102265626B
CN102265626B CN200980151776.0A CN200980151776A CN102265626B CN 102265626 B CN102265626 B CN 102265626B CN 200980151776 A CN200980151776 A CN 200980151776A CN 102265626 B CN102265626 B CN 102265626B
Authority
CN
China
Prior art keywords
image
rest image
stereo
information
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980151776.0A
Other languages
English (en)
Other versions
CN102265626A (zh
Inventor
尹国镇
李贤�
李光淳
李奉镐
许南淏
金镇雄
李寿寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN102265626A publication Critical patent/CN102265626A/zh
Application granted granted Critical
Publication of CN102265626B publication Critical patent/CN102265626B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers

Abstract

提供了用于传送与立体图像相关的数据的方法以及用于重放立体图像的方法。所述立体图像数据传送方法包括:按照预定文件格式(200)生成与立体静止图像相关的立体图像数据,并传送所生成的数据。该文件格式(200)包括含有该立体静止图像(222)的媒体信息单元(220)、用于控制重放该立体静止图像的控制信息(212)、和指示使用该立体静止图像合成立体图像的类型的图像合成信息(214)。

Description

传送有关立体图像的数据的方法、重放立体图像的方法、和创建立体图像的文件的方法
技术领域
本发明涉及立体图像;并更具体地,涉及用于传送有关立体图像的数据的方法和用于重放立体图像的方法。 
该工作得到MIC/IITA的IT R&D项目[2006-F-011-01,“Development of Next Generation DTV Core Technology”]的支持。 
背景技术
最近,引入了使用立体图像提供三维(3D)图像的技术。使用3D显示装置来重放立体图像以给予全景和真实性。3D显示装置向观看者的每只眼显示不同2D图像,或交替显示不同2D图像,以显示立体图像。 
典型的立体图像服务已被集中于提供简单立体静止图像或立体视频。简单立体静止图像是用3D重放的图像,例如3D画面和3D幻灯片。立体视频是用三维重放的多个连续立体帧。 
为了通过立体视频表达图像中的运动,必须在所有立体帧中记录期望的运动。所以,立体视频不利地包括大量数据。由于该缺点,所以需要开发用于通过立体图像利用较少数据量来表达各种场景的技术。 
发明内容
技术问题 
本发明的实施例旨在提供一种用于提供使用立体静止图像表达各种场景的立体图像的方法。 
本发明的另一实施例旨在提供一种用于使得传送或重放立体图像所需的数据量最小化的方法。 
本发明的其他目的和优点可通过以下描述来理解,并通过参考本发明的实施例而变得清楚。而且,对于本发明的技术领域的技术人员来说显而易见的是,可通过要求保护的部件及其组合来实现本发明的目的和优点。 
技术方案 
根据本发明的一个方面,提供了一种用于传送立体图像数据的方法,包 括:按照预定文件格式生成与立体静止图像相关的立体图像数据,并传送所生成的数据,其中该文件格式包括含有该立体静止图像的媒体信息单元、用于控制重放该立体静止图像的控制信息、和指示使用该立体静止图像合成立体图像的类型的图像合成信息。 
根据本发明的另一方面,提供了一种用于重放立体图像的方法,包括:接收按照以下文件格式生成的数据,该文件格式包括具有立体静止图像的媒体信息单元、图像合成信息和控制信息;根据该图像合成信息来从立体静止图像合成立体图像;和根据该控制信息来重放该立体图像。 
根据本发明的另一方面,提供了一种用于生成立体图像数据的文件的方法,包括:生成包括立体静止图像的媒体信息单元;生成报头信息单元,该报头信息单元包括用于控制该立体静止图像的控制信息和用于指示使用该立体静止图像来合成立体图像的类型的图像合成信息;和生成包括该媒体信息单元和该报头信息单元的文件格式。 
有利效果 
根据本发明的用于传送与立体图像相关的数据的方法以及用于重放立体图像的方法可提供使用立体静止图像表达各种场景的立体图像。 
根据本发明的用于传送与立体图像相关的数据的方法以及用于重放立体图像的方法可使得用于传送和重放立体图像的数据量最小化。 
附图说明
图1是描述根据本发明实施例的传送立体图像数据的方法的流程图。 
图2图示了根据本发明实施例的文件格式200。 
图3图示了根据本发明另一实施例的文件格式300。 
图4是用于描述根据本发明实施例的重放立体图像的方法的流程图。 
图5图示了根据现有技术的用于提供2D图像的文件格式500。 
图6图示了根据本发明实施例的文件格式600。 
图7图示了根据本发明实施例的文件格式700。 
图8图示了根据本发明实施例的文件格式800。 
图9和10是用于描述根据本发明实施例的重放立体图像的图。 
图11是图示了根据本发明实施例的文件格式1000的图。 
具体实施方式
下面的描述仅例示了本发明的原理。即使在本说明书中没有清楚地描述或图示它们,但是本领域技术人员可实施本发明的原理,并发明本发明的构思和范围之内的各种设备。本说明书中存在的条件术语和实施例的使用仅意欲使得理解本发明的构思,并且它们不限于说明书中提及的实施例和条件。 
而且,关于本发明的原理、观点和实施例以及特定实施例的所有详细描述应被理解为包括它们的结构和功能等效物。这些等效物不仅包括当前已知的等效物,而且包括将来要开发的等效物,即,发明来执行相同功能的所有装置,而与它们的结构无关。 
例如,本发明的框图应被理解为示出实施本发明的原理的示范电路的构思观点。类似地,所有流程图、状态变换图、伪代码等可基本上在计算机可读介质中表达,并且不管是否区别地描述了计算机或处理器,它们都应被理解为表达计算机或处理器所操作的各种处理。 
包括表达为处理器或类似构思的功能块的图中图示的各种装置的功能不仅可使用专用于这些功能的硬件来提供,而且可使用能够运行这些功能的合适软件的硬件来提供。当功能由处理器提供时,该功能可由单一专用处理器、单一共享处理器、或其一部分可共享的多个单独处理器来提供。 
术语“处理器”、“控制”或类似构思的清楚使用不应被理解为排他地表示能够运行软件的一块硬件,而应被理解为暗示包括数字信号处理器(DSP)、硬件、以及用于存储软件的ROM、RAM和非易失性存储器。这里也可包括其他已知和公用的硬件。 
在本说明书的权利要求中,表达为用于执行详细描述中描述的功能的部件的元素意欲包括用于执行包括所有格式软件的功能的所有方法,诸如用于执行预期功能的电路、固件/微码等的组合。 
为了执行预期功能,该元素与用于执行软件的合适电路合作。权利要求限定的本发明包括用于执行某些功能的各种部件,并且这些部件在权利要求所请求保护的方法中彼此相连。所以,可提供该功能的任何部件应被理解为从本说明书领会到的内容的等效物。 
本发明涉及使用具有媒体信息单元和报头信息单元的文件格式来提供立体图像。该媒体信息单元包括立体静止图像。 
可使用立体静止图像来表达立体图像的各种场景。例如,当与2D视频 关联地重放立体静止图像时。例如,在与2D视频关联地重放立体静止图像的情况下,可能按照三维重放由立体静止图像表达的仅某些对象。而且,可能使用多个立体静止图像在一个场景中按照三维重放对象。 
所以,与使用立体视频或简单立体静止图像来合成场景相比,使用与视频或音频关联的立体静止图像可能合成更多各种场景。可能通过与预定场景同步地重放立体静止图像,来使得相关场景的效果最大化。可向立体图像提供少量数据,因为立体静止图像仅包括与按照三维表达的对象相关的数据。而且,当用户观看立体图像时,可降低视觉疲劳。 
在本发明的实施例中,可通过用于控制重放立体静止图像的控制信息和关于使用立体静止图像来合成立体图像的形式的图像合成信息,来合成各种场景。 
<用于传送立体图像数据的方法> 
其后,将描述根据本发明实施例的传送立体图像数据的方法。 
图1是描述根据本发明实施例的传送立体图像数据的方法的流程图。参考图1,根据本实施例的传送立体图像数据的方法包括在步骤S102中生成预定文件格式的与立体静止图像有关的数据,并在步骤S104中传送所生成的预定文件格式的数据。 
在本实施例中,该立体静止图像包括诸如联合图像专家组(JPEG)和便携式网络图形(PNG)的在一帧中合成的静止图像、以及诸如多图像网络图形(MNG)的在一个文件中提供动画效果的静止图像。其间,立体图像包括可按照三维显示的图像。 
这里,将参考图2来描述文件格式。图2是图示了根据本发明实施例的文件格式200的图。 
文件格式200包括媒体信息单元220和报头信息单元210。媒体信息单元220包括立体静止图像222,而报头信息单元210包括用于控制重放立体静止图像222的控制信息212和用于指示立体图像合成类型和文件类型的图像合成信息214。 
这里,立体图像合成类型指示使用立体静止图像来合成立体图像的类型。存在使用立体静止图像来合成立体图像的各种类型,它们由图像合成信息214指示。一般来说,立体图像由包括左图像和右图像的两个立体静止图像形成。 立体图像合成类型可根据如何组合左图像和右图像而不同。 
例如,立体图像合成类型包括表示通过交替和重复重放左图像和右图像的帧而合成的立体图像的帧连续类型、表示通过交替和重复重放左图像和右图像的场图像而合成的立体图像的场连续类型、以及表示通以线为单位交织左图像的奇数线和右图像的偶数线来重放立体静止图像而合成的立体图像的交织类型。 
文件格式200中的信息单元和信息的位置可根据实施例而改变。例如,与图2不同,图像合成信息214可被包括在控制信息212中。 
文件格式200可包括指示用于提供立体图像的文件类型的图像类型信息。使用图像类型信息来标识指示在文件格式中存储的立体图像的类型的信息。例如,图像类型信息可以是立体静止图像服务以及与视频/音频关联的立体静止图像服务。与视频/音频关联的立体静止图像服务表示提供使用立体静止图像表达各种场景的立体图像的服务。与视频/音频关联的立体静止图像服务可通过链接立体静止图像与视频或音频,来表达各种场景。立体静止图像服务是简单使用没有链接视频或音频的立体静止图像来提供立体图像的服务。 
参考图3,将描述根据本发明另一实施例的文件格式。图3图示了根据本发明另一实施例的文件格式300。 
文件格式300包括报头信息单元310和媒体信息单元320。如图3中所示,媒体信息单元320可包括合成立体图像的一个场景的多个立体静止图像。所述多个立体静止图像可以多于两个立体静止图像。图3示出了三个立体静止图像的文件格式。 
换言之,文件格式300的媒体信息单元320包括第一立体静止图像322、第二立体静止图像324、和第三立体静止图像326。在该情况下,报头信息单元310中包括的文件合成信息312可共同指示第一、第二和第三立体静止图像322、324和326的立体图像合成类型。如果第一、第二和第三立体静止图像322、324和326具有相同立体图像合成类型,则不必对于第一、第二和第三立体静止图像中的每一个独立提供图像合成信息。而且,立体静止图像中的每一个可具有不同图像合成信息。 
报头信息单元310包括用于控制重放立体静止图像322、324和326中的每一个的控制信息314、316和318。控制信息314、316和318中的每一个 可包括用于控制信息314、316和318中的每一个的标识信息。报头信息单元3 10可包括标识信息的列表。可使用所述标识信息的列表作为用于标识每一控制信息的信息。 
例如,如果标识信息的列表仅包括用于在与视频/音频关联的立体静止图像服务中使用的立体静止图像的控制信息,则可能通过查询标识信息的列表,来标识用于与视频/音频关联的立体静止图像服务的立体静止图像。 
其间,如果立体图像由主图像和辅助图像形成,则必须将两个立体静止图像识别为一个对象。所以,控制信息可包括指示立体静止图像是主图像还是辅助图像的参考信息。 
参考图3,第一控制信息314包括第一参考信息334,而第二控制信息316包括第二参考信息336。例如,第一参考信息334指示第一立体静止图像322是主图像还是辅助图像。第二参考信息336指示第二立体静止图像324是主图像还是辅助图像。 
例如,在使用第一立体静止图像322作为主图像并使用第二立体静止图像324作为辅助图像的情况下,通过组合两个立体静止图像322和324来按照三维重放立体图像。这里,第一参考信息334包括将第一立体静止图像322用作主图像的信息,而第二参考信息336包括将第二立体静止图像324用作辅助图像的信息。 
而且,第一参考信息334和第二参考信息336可包括指示连接到哪个立体静止图像的标识信息。其间,如果将立体静止图像用作与视频/音频关联的立体静止图像服务,则其需要指示再现开始时间和再现结束时间的时间信息。这样的时间信息可以包括在报头信息单元中。 
参考图3,在通过与2D视频关联地重放第三立体静止图像326来合成立体图像的情况下,可在3D视频的预定时间段中重放第三立体静止图像326。为此,时间信息338包括有关第三立体静止图像326的再现开始时间和再现结束时间的信息。可形成第三控制信息318,以根据时间信息338控制重放第三立体静止图像326。 
其间,报头信息单元可包括有关按照三维显示立体静止图像的方法的信息。可使用各种3D显示方法来按照三维显示立体静止图像。例如,3D显示方法包括视差光栅(parallax barrier)方法、透镜(lenticular)方法、和偏振(polarization)方法。 
<重放立体图像的方法> 
其后,将描述根据本发明实施例的重放立体图像的方法。 
图4是图示了根据本发明实施例的重放立体图像的方法的流程图。参考图4,该方法包括在步骤S402接收与立体图像相关的数据,在步骤S408根据图像合成信息来合成立体图像,并在步骤S410根据控制信息来重放立体图像。 
按照包括媒体信息单元和报头信息单元的文件格式来生成与立体图像相关的数据。媒体信息单元包括立体静止图像,而报头信息单元包括控制信息和图像合成信息。 
根据实施例,该图像合成信息可被包括在控制信息中。 
而且,该图像合成信息可以是用于合成立体图像的一个场景的多个立体静止图像的图像合成信息。当多个立体静止图像通过相同立体图像合成类型合成立体图像时,其防止相同图像合成信息的重复。 
如图4中所示,根据本实施例的重放立体图像的方法可进一步包括检查指示提供立体图像的类型和文件类型的图像类型信息。通过确定图像类型信息,可选择重放立体图像的方法。例如,如果在步骤S404将图像类型信息确定为与视频/音频关联的立体静止图像服务,则执行步骤S408和S410。 
如图4中所示,重放立体图像的方法可进一步包括在步骤S406中确定是否包括图像合成信息。图像类型信息被包括在报头信息单元中,作为与合成立体图像的立体静止图像相关的信息。 
在单像(monoscopic)静止图像的情况下,可以不包括图像类型信息。所以,可能在步骤S406通过确定是否包括图像合成信息,来确定静止图像是否是立体静止图像。例如,如果在步骤S406确定包括该图像合成信息,则执行步骤S408和S410. 
尽管没有在图4中示出,但是重放立体图像的方法可以进一步包括从该报头信息单元中包括的标识信息的列表来查询控制信息的标识信息。标识信息列表包括对于预定参考适当的控制信息的标识信息。例如,标识信息的列表可仅包括有关用于与视频/音频关联的立体静止图像服务的立体静止图像的控制信息。在该情况下,可能通过查询标识信息来确定立体静止图像是否用于与视频/音频关联的立体静止图像服务。 
合成立体图像的步骤S408可以包括检查指示立体静止图像是主图像还是辅助图像的参考信息。可以组合主图像和辅助图像而形成立体图像。可能确定立体静止图像是主图像还是辅助图像。 
重放立体图像的步骤S410可以包括检查有关按照三维显示立体静止图像的显示方案的信息。这是因为,可以通过各种方法按照三维来重放立体静止图像。 
合成立体图像的步骤S408可以包括链接2D视频或音频与立体静止图像。与视频/音频关联的立体静止图像服务使得能够通过重放链接有视频或音频的立体静止图像而合成各种场景。与视频/音频关联的立体静止图像服务可通过链接2D视频或音频与立体静止图像来提供。 
由于重放立体图像的方法的其他细节与传送立体图像数据的方法的细节相同,所以省略其详细描述。 
<实施例> 
其后,将描述根据本发明实施例的传送立体图像的文件格式或重放立体图像的文件格式。 
根据当前实施例的文件格式与典型文件格式兼容。所以,首先将参考图5来描述根据现有技术的典型文件格式。图5是图示了根据现有技术的用于提供2D图像的文件格式500的图。 
文件格式500包括ftyp块502、moov块504、和mdat块506。ftyp块502包括指示按照文件格式500存储的文件类型的信息。moov块504包括用于重放按照该文件格式存储的媒体流的控制信息。mdat块506包括媒体流数据。 
如图5中所示,moov块504包括轨道盒。轨道盒510、514和522中的每一个包括用于重放媒体流的控制信息和辅助信息。轨道盒可被包括在每一媒体流中或每类媒体流中。例如,图5示出了mdat块506中的媒体流508、512、516和520中的每一个包括轨道盒510、514、51 8和522。然而,2D静止图像516和520具有一个轨道块,因为2D静止图像516和520是相同类型的媒体流。 
参考图2,mdat块506包括轻量级应用场景描述(LASeR)508、2D视频流512、2D静止图像516、2D静止图像520。LASeR 508是场景描述符。LASeR 508包括有关重放每一媒体流的地点和再现时间的信息。LASeR 508 仅是场景描述符的示例。可使用任何其他类型的场景描述符。 
2D视频流512是用于2D视频的媒体流,而2D静止图像516和520是用于2D静止图像的媒体流。 
由于如图5中所示设计根据现有技术的文件格式500用于2D图像服务,所以根据现有技术的文件格式500在提供用于合成各种场景的立体图像服务方面具有限制。 
图6图示了根据本发明实施例的文件格式600。如图6中所示,根据当前实施例的文件格式600被设计为提供立体图像。 
根据当前实施例的文件格式600包括ftyp块602、moov块604、和mdat块606。ftyp块602可包括有关用于提供立体图像的服务类型的信息。可使用ftyp块602来标识立体图像的类型。表1示出了ftyp块602中包括的信息。 
[表1] 
    0     保留
    1     与视频/音频关联的立体静止图像服务
    2     立体静止图像服务
由于立体静止图像通过与主图像链接而被附加重放,所以与视频/音频关联的立体静止图像服务提供立体图像。与视频/音频关联的立体静止图像服务可通过控制立体静止图像来合成各种场景。可使用场景描述符用于与视频/音频关联的立体静止图像服务。 
立体静止图像服务是与提供没有链接视频或音频的立体静止图像的幻灯片放映类似的服务。 
mdat块606包括立体静止图像610,而moov块604包括用于立体静止图像的轨道612。如图6中所示,轨道612可包括作为图像合成信息的图像_合成_类型614。然而,图像_合成_类型614在另一实施例中可与轨道612独立地被包括在moov块604中。此外,图像_合成_类型614可以不被包括在盒中。图像_合成_类型614可以被记录在保留比特中。 
图像_合成_类型614是有关立体静止图像610的类型的信息,并可包括有关存储的立体静止图像610的类型的信息。表2示出了图像_合成_类型614所指示的立体静止图像的类型。 
[表2] 
    0     保留
 
    1     并排
    2     上下
    3     场顺序
    4     帧顺序
    5     垂直线交织
    6     水平线交织
    7     左右视图(两个图像)
    8     保留用于其他立体静止图像类型
一般来说,通过组合两个立体静止图像(左图像和右图像)来形成立体图像。这里,组合左图像和右图像的类型可被记录在图像_合成_类型614中。 
“并排”类型表示通过在立体静止图像的左半部存储左图像并在立体静止图像的右半部存储右图像而合成的立体图像的合成类型。“上下”类型表示通过在立体静止图像的上半部存储左图像并在立体静止图像的下半部存储右图像而合成的立体图像的合成类型。 
“场顺序”类型是通过在立体静止图像的每一场中交替存储左图像和右图像而合成的立体图像的合成类型。“帧顺序”类型是通过在立体静止图像的每一帧中交替存储左图像和右图像而合成的立体图像的合成类型。 
“垂直线交织”类型是通过在立体静止图像的每一垂直线处交替和重复存储左图像和右图像而合成的立体图像的合成类型。“水平线交织”类型是通过在立体静止图像的每一水平线处交替和重复存储左图像和右图像而合成的立体图像的合成类型。“左右视图”类型是通过在不同立体静止图像处存储左图像和右图像而合成的立体图像的合成类型。 
类型“并排”、“上下”、“场顺序”、“帧顺序”、“垂直线交织”和“水平线交织”具有一个已编码的流和用于重放立体静止图像的一个轨道。在如上所述配置有编码流和表达一个对象的立体静止图像的轨道的服务的情况下,对应轨道可包括图像合成信息。 
“左右视图”类型具有由左图像和右图像形成的两个编码流、以及用于重放立体静止图像的两个轨道。在如上所述由两个或更多编码流和表达一个对象的立体静止图像的轨道形成的服务的情况下,可以不在所有轨道中包括图像合成信息。例如,在通过组合2D视频流形成立体图像作为主图像并形成立体静止图像作为辅助图像的情况下,可仅在用于立体静止图像的轨道中 包括图像合成信息。 
在与视频/音频关联的立体静止图像服务的情况下,多个立体静止图像可合成立体图像的一个场景。例如,可通过使用2D视频作为主图像并使用多个立体静止图像作为辅助图像,来重放立体图像。这里,所述多个立体静止图像可按照三维重放不同对象。 
如果文件格式包括多个立体静止图像并且如果多个立体静止图像具有相同信息合成信息,则图像合成信息可被包括在轨道的上级而不被包括在每一轨道中。 
图7是图示了根据本发明另一实施例的文件格式700的图。参考图7,文件格式700包括多个立体静止图像710、714和718、以及对应轨道712、716和720。 
如果将相同图像合成信息施加到多个立体静止图像710、714和718,则可共同使用一个图像合成信息用于所述多个立体静止图像710、714和718,以避免重复。如图7中所示,作为图像合成信息的图像_合成_类型730没有被包括在每一立体静止图像轨道712、716和720中。图像_合成_类型730可以被包括在其上级中。 
如果将不同图像合成信息施加到多个立体静止图像710、714和718,则对应图像合成信息可被包括在每一立体静止图像轨道712、716和720中。 
而且,2D视频的特定场景可一起包括立体静止图像和单像静止图像。例如,天气预报的2D视频可包括表达为2D小标题的天气信息的单像静止图像和表达天气的3D图标的立体静止图像。在该情况下,需要确定报头信息单元中包括的每一轨道所指示的流是单像静止图像流还是立体静止图像流。可考虑两种标识流的方法。 
作为第一方法,通过检查是否在轨道中包括图像合成信息来标识流。例如,将与包括图像合成信息的轨道对应的流确定为立体静止图像流。将其他流确定为单像静止图像流。 
作为第二方法,通过在收集立体静止图像的轨道ID而生成组ID(组_ID)之后查询组ID,来标识该流。例如,将具有该组ID中包括的轨道ID的流确定为立体静止图像流。将其他流确定为单像静止图像流。 
当重放多个立体静止图像时,必须将它们识别为一个对象。例如,如果图像合成信息是“左右视图”,则必须将左图像和右图像的两个立体静止图像 流识别为一个对象。在该情况下,尽管形成用于立体静止图像的多个物理上不同的轨道,但是必须将它们识别为一个轨道。如果将多个轨道识别为一个轨道,则可重放多个立体静止图像作为一个立体图像。所以,可将多个立体静止图像识别为一个对象。 
将参考图8来描述将多个立体静止图像识别为一个对象。图8是图示了根据本发明另一实施例的文件格式800的图。 
文件格式800包括ftyp块802、moov块804、和mdat块806。mdat块806包括多个立体静止图像810和814。立体静止图像810和814是用于表达相同对象的不同视点的静止图像。moov块804包括分别用于立体静止图像810和814的轨道812和816。 
图像_合成_类型820被共同施加到轨道812和816。如图8中所示,图像_合成_类型820仅被包括在轨道812中,用于避免重复。 
其间,为了将轨道812和816识别为一个轨道,tref 822和tref 824包括参考信息。参考信息可被记录在tref 822和tref 824中包括的参考_类型中作为立体内容基础(sbas)和立体内容从属性(scdp)。这里,“sbas”表示与包括“sbas”的轨道相关的立体静止图像被用作用于形成立体图像的主图像。“scdp”意味着与包括“scdp”的轨道相关的立体静止图像被用作用于形成立体图像的辅助图像。 
在图8中,轨道812在tref 822处包括参考_类型=“sbas”,而轨道816在tref 828处包括参考_类型=“scdp”。所以,将立体静止图像810用作主图像,并将立体静止图像814用作辅助图像。 
这里,可使用轨道ID用于检查立体静止图像810和立体静止图像814的连接。轨道ID是每一轨道的唯一标识信息。在图8中,轨道812的轨道ID826是1,而轨道816的轨道ID 828是2。轨道816可通过tref 824的轨道_ID信息而连接到轨道812。其间,在将立体静止图像标识为组ID的情况下,组ID可仅包括用于主图像的轨道ID。 
图9和10是用于描述根据本发明实施例的立体图像的再现的图。 
在与视频/音频关联的立体静止图像服务的情况下,可提供图9和10中所示的服务。在图9和10中,T表示再现时间,而S表示立体静止图像。 
在图9中示出的服务的情况下,利用在重放2D视频910的整个时间期间链接的立体静止图像912来合成立体图像。在图10中示出的服务的情况下, 利用在重放2D视频920的预定部分时间期间链接的立体静止图像来合成立体图像。在该情况下,在剩余时间中仅重放2D视频920。所以,在该时间段期间仅重放2D图像。 
为了提供图10中示出的服务,其需要立体静止图像922的再现开始时间和再现结束时间。例如,当重放2D图像时,终端必须使用2D显示模式。而且,当重放立体图像时,终端必须使用3D显示模式。所以,时间信息可使得终端能够改变显示模式。 
将参考图11来描述包括时间信息的文件格式。图11是图示了根据本发明实施例的文件格式1000的图。 
参考图11,文件格式1000可在2D视频轨道处包括时间信息立体_场景_时间_信息1020。时间信息立体_场景_时间_信息1020包括立体静止图像1010和1014的再现开始时间和再现结束时间。可根据实施例在各个位置处包括时间信息1020。例如,时间信息1020可对于立体静止图像独立于轨道1012和1016而被包括在moov块1004中。 
表3示出了立体_场景_时间_信息1020的结构。 
[表3] 
   //立体_场景_时间_信息
 
   unsigned int(32)stereo_scene_time_count;
          for(i=0;i<stereo_scene_time_count;i++){
                 If(version==1){
                                         unsigned int(64)start_time;
                                         unsigned int(64)duration;}
          else{//version==0
                  unsigned int(32)start_time;
                  unsigned int(32)duration;}
                                                              }
“立体_场景_时间_计数(stereo_scene_time_count)”表示在再现时间期间的立体时间段的时间。“开始_时间(start_time)”表示用于立体静止图像1010和1014的开始时间。“持续时间(duration)”表示从立体静止图像1010 和1014的开始再现到结束再现的时间段。 
其间,需要用于按照三维有效重放立体静止图像的3D显示信息。表4示出了根据本发明实施例的3D显示信息。3D显示信息可以被包括在文件格式的报头信息单元中作为附加盒。 
[表4] 
    0     保留
    1     视差光栅方法
    2     透镜方法
    3     偏振方法
    4     保留用于其他3D显示
根据本发明的上述方法可以被实施为程序并存储在计算机可读记录介质中。计算机可读记录介质是可存储其后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、软盘、硬盘和磁光盘。 
本申请包括与2008年12月22日向韩国知识产权局提交的韩国专利申请第10-2008-0131258号相关的主题,这里通过引用而合并其全部内容。 
尽管已针对特定实施例而描述了本发明,但是对于本领域技术人员将显而易见的是,可进行各种改变和修改,而不脱离以下权利要求中限定的本发明的精神和范围。 

Claims (20)

1.一种用于传送立体图像数据的方法,包括:
按照预定文件格式生成与立体静止图像相关的立体图像数据;和
传送所生成的数据,
其中该文件格式包括含有该立体静止图像的媒体信息单元、和报头信息单元,该报头信息单元含有用于控制重放该立体静止图像的控制信息、以及指示使用该立体静止图像合成立体图像的类型的图像合成信息,
其中使用该立体静止图像合成立体图像的类型根据左图像和右图像的组合来确定,和
其中该文件格式包括:
ftyp块,指示用于提供该立体静止图像的文件类型;
mdat块,包括该立体静止图像;和
moov块,包括用于该立体静止图像的轨道,该轨道包括关于左图像和右图像的组合的信息。
2.根据权利要求1的方法,其中该文件格式包括指示提供该立体图像的类型或文件类型的图像类型信息。
3.根据权利要求1的方法,其中该控制信息包括该图像合成信息。
4.根据权利要求1的方法,其中该媒体信息单元包括合成该立体图像的一个场景的多个立体静止图像,并且该图像合成信息指示基于所述多个立体静止图像合成立体图像的类型。
5.根据权利要求1的方法,其中该控制信息包括有关该控制信息的标识信息,并且报头信息单元包括该标识信息的列表。
6.根据权利要求1的方法,其中当该立体图像包括主图像和辅助图像时,该控制信息包括指示该立体静止图像是主图像还是辅助图像的参考信息。
7.根据权利要求1的方法,其中该报头信息单元包括有关该立体静止图像的重放开始时间和重放结束时间的时间信息。
8.根据权利要求1的方法,其中该报头信息单元包括有关按照三维显示该立体静止图像的方法的信息。
9.一种用于重放立体图像的方法,包括:
接收按照以下文件格式生成的数据,该文件格式包括具有立体静止图像的媒体信息单元、和报头信息单元,该报头信息单元具有指示使用该立体静止图像合成立体图像的类型的图像合成信息、和用于控制重放该立体静止图像的控制信息;
根据该图像合成信息来从立体静止图像合成立体图像;和
根据该控制信息来重放该立体图像,
其中使用该立体静止图像合成立体图像的类型根据左图像和右图像的组合来确定,和
其中该文件格式包括:
ftyp块,指示用于提供该立体静止图像的文件类型;
mdat块,包括该立体静止图像;和
moov块,包括用于该立体静止图像的轨道,该轨道包括关于左图像和右图像的组合的信息。
10.根据权利要求9的方法,进一步包括:
检查指示提供该立体图像的类型或文件类型的图像类型信息。
11.根据权利要求9的方法,其中该图像合成信息被包括在该控制信息中。
12.根据权利要求9的方法,其中该图像合成信息是有关合成该立体图像的一个场景的多个立体静止图像的信息。
13.根据权利要求9的方法,进一步包括:
确定是否包括该图像合成信息。
14.根据权利要求9的方法,进一步包括:
在报头信息单元中包括的标识信息列表中查询该控制信息的标识信息。
15.根据权利要求9的方法,其中所述从立体静止图像合成立体图像的步骤包括:确定指示该立体静止图像是主图像还是辅助图像的参考信息。
16.根据权利要求9的方法,其中所述重放立体图像的步骤包括:检查有关该立体静止图像的再现开始时间和再现结束时间的时间信息。
17.根据权利要求9的方法,其中所述重放立体图像的步骤包括:检查有关按照三维显示该立体静止图像的方法的信息。
18.根据权利要求9的方法,其中所述从立体静止图像合成立体图像的步骤包括:链接2D视频或音频与该立体静止图像。
19.一种用于生成立体图像数据的文件的方法,包括:
生成包括立体静止图像的媒体信息单元;
生成报头信息单元,该报头信息单元包括用于控制该立体静止图像的控制信息和用于指示使用该立体静止图像来合成立体图像的类型的图像合成信息;和
生成包括该媒体信息单元和该报头信息单元的文件格式,
其中使用该立体静止图像合成立体图像的类型根据左图像和右图像的组合来确定,和
其中该文件格式包括:
ftyp块,指示用于提供该立体静止图像的文件类型;
mdat块,包括该立体静止图像;和
moov块,包括用于该立体静止图像的轨道,该轨道包括关于左图像和右图像的组合的信息。
20.根据权利要求19的方法,其中该文件格式包括指示文件类型或提供立体图像的类型的图像类型信息。
CN200980151776.0A 2008-12-22 2009-06-24 传送有关立体图像的数据的方法、重放立体图像的方法、和创建立体图像的文件的方法 Expired - Fee Related CN102265626B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020080131258A KR101176065B1 (ko) 2008-12-22 2008-12-22 스테레오스코픽 영상에 관한 데이터를 전송하는 방법, 스테레오스코픽 영상을 재생하는 방법, 및 스테레오스코픽 영상 데이터의 파일 생성 방법
KR10-2008-0131258 2008-12-22
PCT/KR2009/003416 WO2010074378A2 (en) 2008-12-22 2009-06-24 Method for transmitting data on stereoscopic image, method for playing back stereoscopic image, and method for creating file of stereoscopic image

Publications (2)

Publication Number Publication Date
CN102265626A CN102265626A (zh) 2011-11-30
CN102265626B true CN102265626B (zh) 2014-06-11

Family

ID=42288211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980151776.0A Expired - Fee Related CN102265626B (zh) 2008-12-22 2009-06-24 传送有关立体图像的数据的方法、重放立体图像的方法、和创建立体图像的文件的方法

Country Status (6)

Country Link
US (1) US20110254838A1 (zh)
EP (1) EP2380359A2 (zh)
JP (1) JP2012513148A (zh)
KR (1) KR101176065B1 (zh)
CN (1) CN102265626B (zh)
WO (1) WO2010074378A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5526929B2 (ja) * 2010-03-30 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102780896A (zh) * 2012-05-31 2012-11-14 新奥特(北京)视频技术有限公司 一种流媒体素材支持3d技术的方法
US9632539B2 (en) * 2012-10-16 2017-04-25 At&T Intellectual Property I, L.P Automatic shape adjustment of flexible display
CN115883882A (zh) * 2018-09-19 2023-03-31 中兴通讯股份有限公司 图像处理方法、装置、系统、网络设备、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595516A (zh) * 1996-03-15 2005-03-16 先锋株式会社 信息记录介质、以及用于上述的记录装置和重放装置
CN1774936A (zh) * 2003-04-17 2006-05-17 夏普株式会社 图像文件创建设备以及图像文件再现设备
CN1947431A (zh) * 2004-04-26 2007-04-11 奥林巴斯株式会社 图像处理装置、图像加工/编辑装置、图像文件再现装置、图像处理方法、图像加工/编辑方法及图像文件再现方法
WO2008030011A1 (en) * 2006-09-04 2008-03-13 Enhanced Chip Technology Inc. File format for encoded stereoscopic image/video data
WO2008150111A1 (en) * 2007-06-07 2008-12-11 Enhanced Chip Technology Inc. Format for encoded stereoscopic image data file

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657655B1 (en) * 1999-09-30 2003-12-02 Canon Kabushiki Kaisha Stereoscopic-image display apparatus
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP2003333489A (ja) * 2002-05-09 2003-11-21 Matsushita Electric Ind Co Ltd データ再生装置およびデータ再生方法
US8279272B2 (en) * 2005-04-08 2012-10-02 Reald Inc. Autostereoscopic display with planar pass-through
KR100813977B1 (ko) * 2005-07-08 2008-03-14 삼성전자주식회사 2차원/3차원 영상 호환용 고해상도 입체 영상 디스플레이장치
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3d 입체 영상 처리 장치 및 방법
EP1966767A2 (en) * 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
KR100893616B1 (ko) * 2006-04-17 2009-04-20 삼성모바일디스플레이주식회사 전자 영상 기기, 2d/3d 영상 표시 장치 및 그 구동방법
JP4142063B2 (ja) * 2006-05-15 2008-08-27 パイオニア株式会社 情報記録媒体、その記録装置及び方法、その再生装置及び方法並びに情報処理装置及び方法
KR100716142B1 (ko) * 2006-09-04 2007-05-11 주식회사 이시티 스테레오스코픽 영상 데이터의 전송 방법
EP2001235B1 (en) * 2007-06-08 2013-05-22 Samsung Electronics Co., Ltd. MPEG-4 format extension for recording stereoscopic or synthetic 3D video data with related metadata

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595516A (zh) * 1996-03-15 2005-03-16 先锋株式会社 信息记录介质、以及用于上述的记录装置和重放装置
CN1774936A (zh) * 2003-04-17 2006-05-17 夏普株式会社 图像文件创建设备以及图像文件再现设备
CN1947431A (zh) * 2004-04-26 2007-04-11 奥林巴斯株式会社 图像处理装置、图像加工/编辑装置、图像文件再现装置、图像处理方法、图像加工/编辑方法及图像文件再现方法
WO2008030011A1 (en) * 2006-09-04 2008-03-13 Enhanced Chip Technology Inc. File format for encoded stereoscopic image/video data
WO2008150111A1 (en) * 2007-06-07 2008-12-11 Enhanced Chip Technology Inc. Format for encoded stereoscopic image data file

Also Published As

Publication number Publication date
KR20100072760A (ko) 2010-07-01
CN102265626A (zh) 2011-11-30
JP2012513148A (ja) 2012-06-07
US20110254838A1 (en) 2011-10-20
WO2010074378A2 (en) 2010-07-01
WO2010074378A3 (en) 2010-08-12
EP2380359A2 (en) 2011-10-26
KR101176065B1 (ko) 2012-08-24

Similar Documents

Publication Publication Date Title
KR101276605B1 (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
KR101398168B1 (ko) 스테레오스코픽 데이터의 저장 및 재생을 위한 메타데이터구조 및 이를 이용하는 스테레오스코픽 콘텐츠 파일의 저장방법
JP5022443B2 (ja) 立体映像コンテンツ再生に利用されるメタデータの復号化方法
JP5705250B2 (ja) ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置
WO2008054100A1 (en) Method and apparatus for decoding metadata used for playing stereoscopic contents
CN101971639B (zh) 用于生成和显示媒体文件的装置和方法
JP2004349731A (ja) 画像データ作成装置および画像データ再生装置
JP2009124719A (ja) 画像データ生成装置および画像データ再生装置
JP2009124768A (ja) マルチメディア情報生成装置およびマルチメディア情報再生装置
US20090199100A1 (en) Apparatus and method for generating and displaying media files
CN103202021A (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
JP2004274091A (ja) 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体
CN102265626B (zh) 传送有关立体图像的数据的方法、重放立体图像的方法、和创建立体图像的文件的方法
KR101390810B1 (ko) 로컬 3차원 영상을 재생하기 위한 파라미터를 포함하는영상 데이터스트림을 수신하는 방법 및 장치, 그리고 로컬3차원 영상을 재생하기 위한 파라미터를 포함하는 영상데이터스트림을 생성하는 방법 및 장치
US20110175985A1 (en) Method of generating contents information and apparatus for managing contents using the contents information
WO2010008063A1 (ja) データ構造、再生装置および方法、並びにプログラム
KR20100092851A (ko) 3차원 영상 데이터스트림 생성 방법 및 그 장치와 3차원 영상 데이터스트림 수신 방법 및 그 장치
KR20140057611A (ko) 3d 비디오 소스 저장 방법 및 장치와 3d 비디오 재생 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140611

Termination date: 20150624

EXPY Termination of patent right or utility model