JP2022019932A - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP2022019932A
JP2022019932A JP2021196280A JP2021196280A JP2022019932A JP 2022019932 A JP2022019932 A JP 2022019932A JP 2021196280 A JP2021196280 A JP 2021196280A JP 2021196280 A JP2021196280 A JP 2021196280A JP 2022019932 A JP2022019932 A JP 2022019932A
Authority
JP
Japan
Prior art keywords
information
depth
box
file
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021196280A
Other languages
English (en)
Other versions
JP7238948B2 (ja
Inventor
充 勝股
Mitsuru Katsumata
光浩 平林
Mitsuhiro Hirabayashi
俊也 浜田
Toshiya Hamada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2022019932A publication Critical patent/JP2022019932A/ja
Application granted granted Critical
Publication of JP7238948B2 publication Critical patent/JP7238948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Abstract

【課題】MP4ファイルにおいてデプスリプレゼンテーション情報を効率的に記述することができるようにする。【解決手段】ファイル生成部は、各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化したエレメンタリストリームをサンプル化して配置するとともに、デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループのデプスリプレゼンテーション情報を記述したMP4ファイルを生成する。本開示は、例えば、ファイル生成装置等に適用することができる。【選択図】図2

Description

本開示は、情報処理装置および情報処理方法に関し、特に、ISO Base media file formatのファイルにおいてデプスリプレゼンテーション情報を効率的に記述することができるようにした情報処理装置および情報処理方法に関する。
近年、インターネット上のストリーミングサービスの主流がOTT-V(Over The Top Video)となっている。この基盤技術として普及し始めているのがMPEG-DASH(Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP)である(例えば、非特許文献1参照)。
MPEG-DASHでは、配信サーバが1本の動画コンテンツ用に画面サイズと符号化速度が異なる動画データ群を用意し、再生端末が伝送路の状況に応じて最適な画面サイズと符号化速度の動画データ群を要求することにより、適応型のストリーミング配信が実現される。
一方、立体視を実現するための手法として、テクスチャ画像と、そのテクスチャ画像の所定の単位領域における被写体の奥行き方向の位置を表すデプス情報とを用いる手法がある。デプス情報は、所定のビット数の値(例えば0から255までの値)に量子化されて画素値とされることにより、デプス画像として符号化することができる。
テクスチャ画像とデプス画像をともに符号化する方式としては、例えば、MVD(Multiview Video plus Depth)方式(ISO/IEC14496-10)やMV-HEVC方式(HEVC(High Efficiency Video Coding) Multiview Extension)(ISO/IEC 23008-2)がある。
これらの符号化方式では、デプス画像の種類、デプス情報の量子化前の最大値と最小値などのデプス画像に関するデプスリプレゼンテーション情報を、SEI(Supplemental Enhancement Information)としてエレメンタリストリームに含むことが可能になっている。
従って、テクスチャ画像とデプス画像のエレメンタリストリームの再生時、エレメンタリストリームからデプスリプレゼンテーション情報が抽出され、エレメンタリストリームに含まれるテクスチャ画像とデプス画像の符号化データが復号される。そして、デプスリプレゼンテーション情報に基づいて、復号の結果得られるデプス画像からデプス情報が生成され、復号の結果得られるテクスチャ画像とデプス情報とを用いて立体視が実現される。
現在、MVD方式またはMV-HEVC方式で符号化されたエレメンタリストリームをISO Base media file formatのファイル(以下、MP4ファイルという)に格納する方法が、ISO/IEC 14496-15で検討されている。
ここで、デプス画像からデプス情報を生成する処理、および、立体視を実現する処理は、復号処理とは独立して行うことができるため、これらの処理は、デコーダ以外の処理部において行われることが想定される。従って、MP4ファイルにおいて、エレメンタリストリームとは別にデプスリプレゼンテーション情報を格納することが望まれている。
しかしながら、MVD方式で符号化されたエレメンタリストリームを格納するMP4ファイルでは、そのエレメンタリストリームのトラックにデプス画像のエレメンタリストリームが含まれているかどうかを示す情報(以下、デプス有無情報という)が、エレメンタリストリーム外のSample Entryに記述されるが、デプスリプレゼンテーション情報は記述されない。
また、AVC(Advanced Video Coding)方式またはHEVC(High Efficiency Video Coding)方式で符号化されたデプス画像のエレメンタリストリームを格納するMP4ファイルでは、エレメンタリストリーム外のTrack Referenceにデプス有無情報が記述されるが、デプスリプレゼンテーション情報は記述されない。
従って、デプス画像からデプス情報を生成する処理、および、立体視を実現する処理がデコーダ以外の処理部で行われる場合であっても、その処理部は、MP4ファイルからエレメンタリストリームを抽出し、そのエレメンタリストリームからデプスリプレゼンテーション情報を抽出する必要があり、処理が複雑になる。
これに対して、MV-HEVC方式で符号化されたエレメンタリストリームを格納するMP4ファイルでは、エレメンタリストリーム外のSample Entryに、デプス有無情報が記述されるだけでなく、MV-HEVC方式用のConfig情報としてデプスリプレゼンテーション情報が記述される。
従って、デプス画像からデプス情報を生成する処理、および、立体視を実現する処理がデコーダ以外の処理部で行われる場合、その処理部は、MP4ファイルから直接デプスリプレゼンテーション情報を抽出すればよく、エレメンタリストリームを抽出する必要はない。
MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)
しかしながら、デプスリプレゼンテーション情報は、連続するサンプル群であるチャンク単位の復号に必要な情報が記述されるSample Entryにチャンク単位で記述される。従って、チャンク間でデプスリプレゼンテーション情報と復号に必要な情報の少なくとも一方が異なるごとに、新たなSample Entryが生成される。その結果、変更されていないデプスリプレゼンテーション情報または復号に必要な情報が冗長して記述されることになり、デプスリプレゼンテーション情報の記述効率が悪い。
本開示は、このような状況に鑑みてなされたものであり、MP4ファイルにおいてデプスリプレゼンテーション情報を効率的に記述することができるようにするものである。
本開示の一側面の情報処理装置は、各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームがサンプル化して配置され、前記デプス画像の種類または前記デプス情報の最小値と最大値を少なくとも含む、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルがグループ化されて、各グループの前記デプスリプレゼンテーション情報が記述されてISO Base media file formatのファイルが生成されており、各グループの符号化ストリームのサンプルが前記ファイル内の第1のトラックに配置され、各グループの前記デプスリプレゼンテーション情報がサンプル化され、前記第1のトラックとは異なる第2のトラックのサンプルとして前記ファイル内に配置された前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成部を備え、各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとが前記ファイルに配置される情報処理装置である。
本開示の一側面の情報処理方法は、本開示の一側面の情報処理装置に対応する。
本開示の一側面においては、各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームがサンプル化して配置され、前記デプス画像の種類または前記デプス情報の最小値と最大値を少なくとも含む、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルがグループ化されて、各グループの前記デプスリプレゼンテーション情報が記述されてISO Base media file formatのファイルが生成されており、各グループの符号化ストリームのサンプルが前記ファイル内の第1のトラックに配置され、各グループの前記デプスリプレゼンテーション情報がサンプル化され、前記第1のトラックとは異なる第2のトラックのサンプルとして前記ファイル内に配置された前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報が生成される。そして、各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとが前記ファイルに配置される。
なお、一側面の情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、一側面の情報処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の一側面の情報処理装置およびは、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
本開示の一側面によれば、ファイルを再生することができる。また、本開示の一側面によれば、デプスリプレゼンテーション情報を効率的に記述したMP4ファイルを再生することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した情報処理システムの第1実施の形態の構成例を示すブロック図である。 図1のファイル生成装置の構成例を示すブロック図である。 MP4ファイルの構造を示す図である。 moovボックスの構造を示す図である。 moofボックスの構造を示す図である。 サンプルグループを説明する図である。 sgpdボックスの詳細構造例を示す図である。 VisualSampleGroupEntryの第1の構造例を示す図である。 図8の記述の内容を示す図である。 図9のscheme_uriの値の例を示す図である。 デプスリプレゼンテーション情報の第1の構造例を示す図である。 デプスリプレゼンテーション情報の第2の構造例を示す図である。 図11のdepth_representation_typeの値の例を示す図である。 sbgpボックスの詳細構造例を示す図である。 VisualSampleGroupEntryの第2の構造例を示す図である。 図15の記述の内容を示す図である。 depth_scheme_typeの値の例を示す図である。 VisualSampleGroupEntryの第3の構造例を示す図である。 sbgpボックスのgroup_type_parameterの値の例を示す図である。 ファイル生成装置のファイル生成処理を説明するフローチャートである。 図1の再生装置の構成例を示すブロック図である。 再生装置の復号処理を説明するフローチャートである。 再生装置のデプス情報生成処理を説明するフローチャートである。 デプスリプレゼンテーション情報の他の配置方法を説明する図である。 第1の他の配置方法におけるavcCボックスの構造例を示す図である。 図25のDEPIボックスの第1の構造例を示す図である。 図25のDEPIボックスの第2の構造例を示す図である。 第2の他の配置方法におけるVisualSampleEntryの構造例を示す図である。 第4の他の配置方法におけるDEPIボックスの構造例を示す図である。 第2実施の形態におけるVisualSampleGroupEntryの第1の構造例を示す図である。 第2実施の形態におけるsbgpボックスの第1の構造例を示す図である。 図31のsbgpボックスに記述される情報を説明する図である。 第2実施の形態におけるデプス情報生成処理を説明するフローチャートである。 第2実施の形態におけるVisualSampleGroupEntryの第2の構造例を示す図である。 第2実施の形態におけるsbgpボックスの第2の構造例を示す図である。 第3実施の形態におけるmoovボックスとmdatボックスの構造例を示す図である。 trefボックスの構造例を示す図である。 DepthRepresentasionSampleEntryの構造例を示す図である。 図38のDepthRepresentationConfigurationBoxの第1の構造例を示す図である。 図38のDepthRepresentationConfigurationBoxの第2の構造例を示す図である。 第3実施の形態におけるデプス情報生成処理を説明するフローチャートである。 第4実施の形態におけるmoovボックスとmdatボックスの構造例を示す図である。 stsdボックスへのdepth_representation_typeの記述方法の例を示す図である。 第4実施の形態におけるデプス情報生成処理を説明するフローチャートである。 第5実施の形態におけるmoovボックスとmdatボックスの構造例を示す図である。 本開示を適用した第6実施の形態における情報処理システムの概要を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。
以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:情報処理システム(図1乃至図29)
2.第2実施の形態:情報処理システム(図30乃至図35)
3.第3実施の形態:情報処理システム(図36乃至図41)
4.第4実施の形態:情報処理システム(図42乃至図44)
5.第5実施の形態:情報処理システム(図45)
6.第6実施の形態:情報処理システム(図46)
7.第7実施の形態:コンピュータ(図47)
<第1実施の形態>
(情報処理システムの第1実施の形態の構成例)
図1は、本開示を適用した情報処理システムの第1実施の形態の構成例を示すブロック図である。
図1の情報処理システム10は、ファイル生成装置11、記録メディア12、再生装置13、および表示装置14により構成される。情報処理システム10は、MVD方式またはMV-HEVC方式で符号化されたエレメンタリストリームとデプスリプレゼンテーション情報を格納するMP4ファイルを生成して、記録メディア12に記録し、再生する。
具体的には、情報処理システム10のファイル生成装置11は、動画コンテンツのテクスチャ画像の所定の単位領域を画素として各画素のデプス情報を0から255までの値に量子化し、その結果得られる画素値からなるデプス画像を生成する。ファイル生成装置11は、テクスチャ画像とデプス画像をMVD方式またはMV-HEVC方式で符号化し、エレメンタリストリームを生成する。ファイル生成装置11は、エレメンタリストリームをサンプル化して配置するとともに、デプスリプレゼンテーション情報が同一であるサンプルをグループ化して、各グループのデプスリプレゼンテーション情報のうちの互いに異なるデプスリプレゼンテーション情報を記述したMP4ファイルを生成する。ファイル生成装置11は、生成されたMP4ファイルを記録メディア12に供給して、記録させる。
記録メディア12は、ファイル生成装置11から供給されるMP4ファイルを記録する。
再生装置13は、記録メディア12に記録されているMP4ファイルを読み出す。再生装置13は、MP4ファイルから各サンプルのエレメンタリストリームを抽出し、MVD方式またはMV-HEVC方式で復号する。また、再生装置13は、MP4ファイルから各グループのデプスリプレゼンテーション情報を抽出する。再生装置13は、復号の結果得られるデプス画像に対応すするグループのデプスリプレゼンテーション情報に基づいて、そのデプス画像からデプス情報を生成する。再生装置13は、復号の結果得られるテクスチャ画像とデプス情報に基づいて、立体視を実現する3次元画像を生成し、表示装置14に供給する。
表示装置14は、再生装置13から供給される3次元画像を表示する。
(ファイル生成装置の構成例)
図2は、図1のファイル生成装置11の構成例を示すブロック図である。
図2のファイル生成装置11は、取得部31、前処理部32、符号化部33、ファイル生成部34、および記録制御部35により構成される。
ファイル生成装置11の取得部31は、外部から動画コンテンツのテクスチャ画像と、テクスチャ画像の所定の単位領域を画素としたときの各画素のデプス情報とを取得し、前処理部32に供給する。また、取得部31は、外部からデプスリプレゼンテーション情報を取得し、前処理部32とファイル生成部34に供給する。
前処理部32は、取得部31から供給されるデプスリプレゼンテーション情報に基づいて、各画素のデプス情報を0から255までの値に量子化し、その結果得られる画素値からなるデプス画像を生成する。前処理部32は、デプス画像、テクスチャ画像、およびデプスリプレゼンテーション情報を符号化部33に供給する。
符号化部33は、テクスチャ画像符号化部41とデプス画像符号化部42により構成される。テクスチャ画像符号化部41は、前処理部32から供給されるテクスチャ画像をMVD方式またはMV-HEVC方式で符号化する。テクスチャ画像符号化部41は、符号化の際に復号されたテクスチャ画像をデプス画像符号化部42に供給する。
デプス画像符号化部42は、テクスチャ画像符号化部41から供給されるテクスチャ画像を参照画像の候補として、前処理部32から供給されるデプス画像をMVD方式またはMV-HEVC方式で符号化する。
符号化部33は、テクスチャ画像符号化部41により符号化されたテクスチャ画像とデプス画像符号化部42により符号化されたデプス画像を含み、デプスリプレゼンテーション情報をSEIとして含むエレメンタリストリーム(符号化ストリーム)を、ファイル生成部34に供給する。
ファイル生成部34は、符号化部33から供給されるエレメンタリストリームをサンプル化して配置するとともに、デプスリプレゼンテーション情報が同一である連続するサンプルをグループ化して、各グループのデプスリプレゼンテーション情報のうちの互いに異なるデプスリプレゼンテーション情報を記述したMP4ファイルを生成する。ファイル生成部34は、MP4ファイルを記録制御部35に供給する。
記録制御部35は、ファイル生成部34から供給されるMP4ファイルを図1の記録メディア12に供給して記録させる。
(MP4ファイルの構造)
図3は、MP4ファイルの構造を示す図である。
図3に示すように、MP4ファイルの構造は、ボックス構造である。図3の例では、MP4ファイルは、Fragment Movie構造を有している。従って、図3のMP4ファイルには、ftypボックス(FileTypeBox)、moovボックス(MovieBox)およびmdatボックス(MediaDataBox)、並びに、1以上のmoofボックス(MovieFragmentBox)およびmdatボックスが順に配置される。
ftypボックスは、MP4ファイルの先頭を示すボックスであり、ファイルフォーマットを識別する情報などが記述される。moovボックスには、全時間のサンプルのサンプルに関する情報(以下、サンプル情報という)などが記述される。mdatボックスには、サンプルが配置される。moofボックスには、任意の時間ごとのサンプル情報などが記述される。
なお、MP4ファイルには、必要に応じて、ランダムアクセスに関する情報が記述されるmfraボックス(MovieFragmentRandomAccessBox)が配置されてもよい。
(moovボックスの構造)
図4は、moovボックスの構造を示す図である。
図4に示すように、moovボックスは、MovieHeaderBoxと1以上のtrakボックス(TrackBox)により構成される。MovieHeaderBoxには、動画コンテンツの時間軸を指定する情報などが記述される。
trakボックスは、トラック単位で配置され、対応するトラックに関する情報が記述される。例えば、trakボックスには、対応するトラックが割り当てられた全時間のサンプルのサンプル情報が記述されるstblボックス(SampleTableBox)が配置される。
stblボックスでは、サンプルグループという手法が用いられている。サンプルグループという手法は、サンプル情報が共通である連続するサンプルをグループ化し、各グループのサンプル情報のうちの互いに異なるサンプル情報のみを記述する手法である。この手法では、同一のサンプル情報が冗長して記述されることを防止することができる。従って、複数のサンプルのサンプル情報が同一である場合に、サンプル情報を効率的に記述することができる。
(moofボックスの構造)
図5は、moofボックスの構造を示す図である。
図5に示すように、moofボックスは、MovieFragmentHeaderBoxと1以上のtrafボックス(TrackFragmentBox)により構成される。MovieFragmentHeaderBoxは、moofボックスに順に付与されたシーケンス番号などが記述される。
trafボックスは、トラック単位で配置され、trafボックスには、対応するトラックが割り当てられた任意の時間のサンプルのサンプル情報が記述される。trafボックスでは、stblボックスと同様に、サンプルグループという手法が用いられている。
(サンプルグループの説明)
図6は、サンプルグループを説明する図である。
図6に示すように、サンプルグループという手法が用いられるボックスは、sgpdボックス(SampleGroupDescriptionBox)と、sbgpボックス(SampleToGroupBox)とを含む。
sgpdボックスは、サンプル情報が共通であるサンプルをグループ化し、各グループのサンプル情報を記述するボックスである。sbgpボックスは、各グループのサンプルを特定する情報(以下、サンプル特定情報という)を記述するボックスである。
sgpdボックス(グループ情報ボックス)には、grouping_type, entry_count, GroupEntryなどが記述される。sgpdボックスのgrouping_typeは、対応するグループのグループ化の基になったサンプル情報の種類を示し、entry_countは、各グループのサンプル情報のうちの互いに異なるサンプル情報の数を示す。また、GroupEntryは、各グループのサンプル情報のうちの互いに異なるサンプル情報であり、entry_countだけ記述される。GroupEntryの構造は、grouping_typeによって異なる。
sbgpボックス(グループボックス)には、grouping_type,entry_count,sample_count, group_description_indexなどが記述される。sbgpボックスのgrouping_typeは、対応するグループのグループ化の基になったサンプル情報の種類を示し、entry_countは、グループの数を示す。
sample_countは、各グループのサンプル特定情報であり、各グループのサンプルの連続数を示す。sample_countは、entry_countだけ記述され、全てのsample_countの合計は、sgpdボックスが含まれるボックス(例えば、trakボックス、trafボックス)に対応するサンプルの数(例えば、トラックの全サンプル数)になる。group_description_indexは、各グループのサンプル情報であるGroupEntryを特定する情報である。
図6の例では、grouping_typeが同一であるsbgpボックスとsgpdボックスのentry_countが、それぞれ、6,4である。従って、グループの数は6個であり、6個の各グループのサンプル情報のうちの互いに異なるサンプル情報の数は4個である。そして、sgpdボックスには、4つのGroupEntryが記述される。
また、sbgpボックスの先頭から1乃至6番目のsample_count[1]乃至sample_count[6]は、順に、1,2,1,1,1,2である。従って、先頭から1乃至6番目のグループのサンプル数が、順に、1,2,1,1,1,2である。
即ち、先頭から1番目のサンプル(sample[1])が、先頭から1番目のグループに分類され、先頭から2番目および3番目のサンプル(sample[2],sample[3])が、先頭から2番目のグループに分類される。また、先頭から4番目のサンプル(sample[4])が、先頭から3番目のグループに分類され、先頭から5番目のサンプル(sample[5])が、先頭から4番目のグループに分類される。先頭から6番目のサンプル(sample[6])が、先頭から5番目のグループに分類され、先頭から7番目および8番目のサンプル(sample[7],sample[8])が、先頭から6番目のグループに分類される。
また、先頭から1番目乃至6番目のgroup_description_index[1]乃至group_description_index[6]は、順に、1,3,2,0,4,1である。従って、先頭から1番目のグループに分類される先頭から1番目のサンプルのサンプル情報は、先頭から1番目のGroupEntryである。また、先頭から2番目のグループに分類される先頭から2番目および3番目のサンプルに共通するサンプル情報は、先頭から3番目のGroupEntryである。
さらに、先頭から3番目のグループに分類される先頭から4番目のサンプルのサンプル情報は、先頭から2番目のGroupEntryである。また、先頭から5番目のグループに分類される先頭から4番目のサンプル情報はない。
また、先頭から5番目のグループに分類される先頭から6番目のサンプルのサンプル情報は、先頭から4番目のGroupEntryである。また、先頭から6番目のグループに分類される先頭から7番目および8番目のサンプルに共通するサンプル情報は、先頭から1番目のGroupEntryである。
(sgpdボックスの詳細構造例)
図7は、sgpdボックスの詳細構造例を示す図である。
図7に示すように、sgpdボックスには、grouping_typeとentry_countが記述される。また、動画のトラックに対応するsgpdボックスには、動画のトラックのサンプル情報であるVisualSampleGroupEntryがGroupEntryとして記述される。VisualSampleGroupEntryの構造は、grouping_typeによって異なる。
(VisualSampleGroupEntryの第1の構造例)
図8は、grouping_typeが、グループ化の基になったサンプル情報がデプスリプレゼンテーション情報であることを示すDEPIである場合のVisualSampleGroupEntryの第1の構造例を示す図である。
図8のVisualSampleGroupEntryは、scheme_uri,length、およびdepth_representation_informationを含む。
図9に示すように、図8のscheme_uriは、デプスリプレゼンテーション情報の構造を示す情報である。lengthは、デプスリプレゼンテーションの長さを示す情報である。depth_representation_informationは、サンプル情報としてのデプスリプレゼンテーション情報である。
(scheme_uriの値の例)
図10は、図9のscheme_uriの値の例を示す図である。
図10に示すように、scheme_uriの値としては、例えば、urn:mpeg:14496:10:depth_representation_information:2015とurn:mpeg:23008:2:depth_representation_information:2015がある。
urn:mpeg:14496:10:depth_representation_information:2015は、デプスリプレゼンテーション情報の構造がISO/IEC 14496-10のDepth representation information SEI messageの構造と同一であることを示す値である。
また、urn:mpeg:23008:2:depth_representation_information:2015は、デプスリプレゼンテーション情報の構造がISO/IEC 23008-2のDepth representation information SEI messageの構造と同一であることを示す値である。
以上のように、デプスリプレゼンテーション情報の構造を示す情報がscheme_uriとして記述される場合、scheme_uriの値を設定するだけで、現在規定されている構造以外の構造を示すことができる。従って、デプスリプレゼンテーション情報の構造の拡張を容易に行うことができる。
(デプスリプレゼンテーション情報の構造例)
図11は、デプスリプレゼンテーション情報の構造がISO/IEC 14496-10のDepth representation information SEI messageの構造と同一である場合のデプスリプレゼンテーション情報の構造例を示す図である。
図11のデプスリプレゼンテーション情報は、デプス画像の種類を示すdepth_representation_typeとデプス情報の最小値と最大値を表す情報とを含む。図11のデプス情報の最小値と最大値を表す情報は、デプス情報の最小値を表すZNearSign,ZNearExp,ZNearMantissa、およびZNearManLen(DMinSign,DMinExp, DMinMantissa、および DMinManLen)と最大値を表すZFarSign,ZFarExp,ZFarMantissa、およびZFarManLen(DMaxSign,DMaxExp, DMaxMantissa、およびDMaxManLen)、または、デプス情報の最小値と最大値が同一である前のデプス画像を特定する情報であるcommon_z_axis_reference_view,z_axis_reference_view(disparity_reference_view)である。
図12は、デプスリプレゼンテーション情報の構造がISO/IEC 23008-2のDepth representation information SEI messageの構造と同一である場合のデプスリプレゼンテーション情報の構造例を示す図である。
図12のデプスリプレゼンテーション情報は、デプス画像の種類を示すdepth_representation_typeとデプス情報の最小値と最大値を表す情報とを含む。図12のデプス情報の最小値と最大値を表す情報とは、デプス情報の最小値を表すZNearSign,ZNearExp,ZNearMantissa、およびZNearManLen(DMinSign,DMinExp, DMinMantissa、および DMinManLen)と最大値を表すZFarSign,ZFarExp,ZFarMantissa、およびZFarManLen(DMaxSign,DMaxExp, DMaxMantissa、およびDMaxManLen)、または、デプス情報が視差(disparity)を表す情報である場合にデプス情報の最小値と最大値が同一である前のデプス画像を特定する情報であるdisparity_ref_view_idである。
図11および図12に示すように、デプスリプレゼンテーション情報の構造が、ISO/IEC 14496-10のDepth representation information SEI messageの構造と同一である場合と、ISO/IEC 23008-2のDepth representation information SEI messageの構造と同一である場合とでは、デプスリプレゼンテーション情報の構造は異なっている。
(depth_representation_typeの値の例)
図13は、図11のdepth_representation_typeの値の例を示す図である。
図13に示すように、図11のdepth_representation_typeの値が0である場合、depth_representation_typeは、デプス画像が、被写体の奥行き方向の位置を表すデプスzの逆数であるデプス情報を0から255までの値に均一に量子化した値を画素値とする画像であること示している。
また、depth_representation_typeの値が1である場合、depth_representation_typeは、デプス画像が、視差であるデプス情報を0から255までの値に均一に量子化した値を画素値とする画像であること示している。なお、視差は、被写体の奥行き方向の位置を表すデプスzに一意に変換できるものである。従って、視差は、被写体の奥行き方向を表すデプス情報であるといえる。
depth_representation_typeの値が2である場合、depth_representation_typeは、デプス画像が、デプスzであるデプス情報を0から255までの値に均一に量子化した値を画素値とする画像であること示している。
depth_representation_typeの値が3である場合、depth_representation_typeは、デプス画像が、視差であるデプス情報をノンリニアの関数を用いて0から255までの値に量子化した値を画素値とする画像であること示している。
(sbgpボックスの詳細構造例)
図14は、sbgpボックスの詳細構造例を示す図である。
図14に示すように、sbgpボックスは、grouping_type,grouping_typeが示すサンプル情報のパラメータであるgrouping_type_parameter,entry_count,sample_count、およびgroup_description_indexを含む。
(VisualSampleGroupEntryの第2の構造例)
図15は、grouping_typeがDEPIである場合のVisualSampleGroupEntryの第2の構造例を示す図である。
図15のVisualSampleGroupEntryの構造は、デプスリプレゼンテーション情報の構造を示す情報が、scheme_uriではなく、フィールドとして記述される点が、図8の構造と異なっている。
具体的には、図15のVisualSampleGroupEntryには、scheme_uriの代わりに、depth_scheme_typeがフィールドして記述される。図16に示すように、depth_scheme_typeは、デプスリプレゼンテーション情報の構造を示す情報であり、16ビットの固定長の情報である。
(depth_scheme_typeの値の例)
図17は、depth_scheme_typeの値の例を示す図である。
図17に示すように、depth_scheme_typeの値が0x0000である場合、depth_scheme_typeは、デプスリプレゼンテーション情報の構造がISO/IEC 14496-10のDepth representation information SEI messageの構造と同一であることを示す。
また、depth_scheme_typeの値が0x0001である場合、デプスリプレゼンテーション情報の構造がISO/IEC 23008-2のDepth representation information SEI messageの構造と同一であることを示す。
さらに、depth_scheme_typeでは、現在規定されている構造以外の構造を示す値として、0x0100乃至0xFFFFが割り当てられている。従って、depth_scheme_typeに0x0100乃至0xFFFFのいずれかの値を設定するだけで、現在規定されている構造以外の構造であることを示すことができる。よって、デプスリプレゼンテーション情報の構造の拡張を容易に行うことができる。
(VisualSampleGroupEntryの第3の構造例)
図18は、grouping_typeがDEPIである場合のVisualSampleGroupEntryの第3の構造例を示す図である。
図18のVisualSampleGroupEntryの構造は、デプスリプレゼンテーション情報の構造を示す情報が記述されない点が、図8の構造と異なっている。具体的には、図18のVisualSampleGroupEntryは、scheme_uriとlengthを含む。
(group_type_parameterの値の例)
図19は、VisualSampleGroupEntryの構造が図18の構造である場合のsbgpボックスのgroup_type_parameterの値の例を示す図である。
VisualSampleGroupEntryの構造が図18の構造である場合、図19に示すように、sbgpボックスのgroup_type_parameterを用いてデプスリプレゼンテーション情報の構造が記述される。即ち、sbgpボックスには、デプスリプレゼンテーション情報の構造を示す情報としてgroup_type_parameterが記述される。
具体的には、group_type_parameterの値が0x0000である場合、group_type_parameterは、デプスリプレゼンテーション情報の構造がISO/IEC 14496-10のDepth representation information SEI messageの構造と同一であることを示す。
また、group_type_parameterの値が0x0001である場合、デプスリプレゼンテーション情報の構造がISO/IEC 23008-2のDepth representation information SEI messageの構造と同一であることを示す。
さらに、group_type_parameterでは、現在規定されている構造以外の構造を示す値として、0x0100乃至0xFFFFが割り当てられている。従って、group_type_parameterに0x0100乃至0xFFFFのいずれかの値を設定するだけで、現在規定されている構造以外の構造であることを示すことができる。よって、デプスリプレゼンテーション情報の構造の拡張を容易に行うことができる。
(ファイル生成装置の処理の説明)
図20は、図2のファイル生成装置11のファイル生成処理を説明するフローチャートである。
図20のステップS11において、ファイル生成装置11の取得部31は、外部から動画コンテンツのテクスチャ画像、各画素のデプス情報、およびデプスリプレゼンテーション情報を取得する。取得部31は、テクスチャ画像と各画素のデプス情報を前処理部32に供給し、デプスリプレゼンテーション情報を前処理部32とファイル生成部34に供給する。
ステップS12において、前処理部32は、デプスリプレゼンテーション情報に基づいて、各画素のデプス情報を0から255までの値に量子化し、デプス画像の画素値とすることにより、デプス情報からデプス画像を生成する。前処理部32は、デプス画像、テクスチャ画像、およびデプスリプレゼンテーション情報を符号化部33に供給する。
ステップS13において、符号化部33のテクスチャ画像符号化部41は、前処理部32から供給されるテクスチャ画像をMVD方式またはMV-HEVC方式で符号化する。テクスチャ画像符号化部41は、符号化の際に復号されたテクスチャ画像をデプス画像符号化部42に供給する。
ステップS14において、デプス画像符号化部42は、テクスチャ画像符号化部41から供給されるテクスチャ画像を参照画像の候補として、前処理部32から供給されるデプス画像をMVD方式またはMV-HEVC方式で符号化する。符号化部33は、テクスチャ画像符号化部41により符号化されたテクスチャ画像、デプス画像符号化部42により符号化されたデプス画像、およびデプスリプレゼンテーション情報を含むエレメンタリストリームをファイル生成部34に供給する。
ステップS15において、ファイル生成部34は、エレメンタリストリームをサンプル化して配置するとともに、stblボックスおよびtrafボックスにgrouping_typeがDEPIであるsbgpボックスおよびsgpdボックスを配置したMP4ファイルを生成する。ファイル生成部34は、MP4ファイルを記録制御部35に供給する。
ステップS16において、記録制御部35は、ファイル生成部34から供給されるMP4ファイルを図1の記録メディア12に供給して記録させる。そして、処理は終了する。
以上のように、ファイル生成装置11は、デプスリプレゼンテーション情報をエレメンタリストリーム外に記述したMP4ファイルを生成する。従って、再生装置13は、MP4ファイルから直接デプスリプレゼンテーション情報を抽出することができ、MP4ファイルからエレメンタリストリームを抽出し、そのエレメンタリストリームからさらにデプスプレゼンテーション情報を抽出する必要がない。その結果、再生装置13の処理が容易になる。
また、ファイル生成装置11は、デプスリプレゼンテーション情報が同一であるサンプルをグループ化し、各グループのデプスリプレゼンテーション情報のうちの互いに異なるデプスリプレゼンテーション情報のみをMP4ファイルに記述する。従って、MP4ファイルに同一のデプスリプレゼンテーション情報が冗長して記述されることを防止し、デプスリプレゼンテーション情報を効率的に記述することができる。その結果、MP4ファイル内のデプスリプレゼンテーション情報全体のサイズを削減することができる。
(再生装置の構成例)
図21は、図1の再生装置13の構成例を示すブロック図である。
図21の再生装置13は、再生制御部61、解析部62、復号部63、および表示生成部64により構成される。
再生装置13の再生制御部61は、記録メディア12に記録されているMP4ファイルから再生対象のサンプルを抽出し、解析部62に供給する。また、再生制御部61は、MP4ファイルから、再生対象のサンプルを含むトラックの、grouping_typeがDEPIであるsbgpボックスおよびsgpdボックスを抽出し、解析部62に供給する。
解析部62は、再生制御部61から供給されるサンプルを復号部63に供給する。また、解析部62は、sbgpボックスおよびsgpdボックスに基づいて、再生対象のサンプルがデプス画像のエレメンタリストリームである場合、再生対象のサンプルのデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報とを認識する。
具体的には、解析部62は、sbgpボックスのsample_countに基づいて、再生対象のサンプルのグループを認識する。そして、解析部62は、再生対象のサンプルのグループのgroup_description_indexにより特定されるsgpdボックスのVisualGroupEntryの構造が図8の構造である場合、VisualGroupEntryのscheme_uriをデプスリプレゼンテーション情報の構造を示す情報として認識する。
一方、再生対象のサンプルのグループのgroup_description_indexにより特定されるsgpdボックスのVisualGroupEntryの構造が図15の構造である場合、解析部62は、VisualGroupEntryのdepth_scheme_typeをデプスリプレゼンテーション情報の構造を示す情報として認識する。
また、再生対象のサンプルのグループのgroup_description_indexにより特定されるsgpdボックスのVisualGroupEntryの構造が図18の構造である場合、解析部62は、sbgpボックスのgrouping_type_parameterをデプスリプレゼンテーション情報の構造を示す情報として認識する。
解析部62はまた、再生対象のサンプルのグループのgroup_description_indexにより特定されるsgpdボックスのVisualGroupEntryからデプスリプレゼンテーション情報(depth_representation_information)を認識する。解析部62は、認識されたデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報を表示生成部64に供給する。
復号部63は、テクスチャ画像復号部71とデプス画像復号部72により構成される。復号部63のテクスチャ画像復号部71は、解析部62から供給される再生対象のサンプルがテクスチャ画像のエレメンタリストリームである場合、そのエレメンタリストリームをMVD方式またはMV-HEVC方式で復号する。テクスチャ画像復号部71は、復号されたテクスチャ画像を表示生成部64とデプス画像復号部72に供給する。
デプス画像復号部72は、解析部62から供給される再生対象のサンプルがテクスチャ画像のエレメンタリストリームである場合、必要に応じてテクスチャ画像復号部71から供給されるテクスチャ画像を参照画像とし、そのエレメンタリストリームをMVD方式またはMV-HEVC方式で復号する。デプス画像復号部72は、復号の結果得られるデプス画像を表示生成部64に供給する。
表示生成部64は、デプス情報生成部81と合成部82により構成される。表示生成部64のデプス情報生成部81は、解析部62からのデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報とに基づいて、デプス画像復号部72からのデプス画像を逆量子化し、デプス情報を生成する。
具体的には、デプス情報生成部81は、デプスリプレゼンテーション情報の構造を示す情報が、自分が認識可能な構造を示す情報である場合、デプスリプレゼンテーション情報の構造を解析し、デプス画像の種類とデプス情報の最小値および最大値とを認識する。デプス情報生成部81は、デプス画像の種類とデプス情報の最小値および最大値に基づいて、デプス画像を逆量子化し、デプス情報を生成する。そして、デプス情報生成部81は、デプス情報とデプス画像の種類とを合成部82に供給する。
合成部82は、デプス情報生成部81からデプス情報が供給される場合、デプス画像の種類に基づいて、テクスチャ画像とデプス情報から3D画像を生成し、図1の表示装置14に供給する。一方、合成部82は、デプス情報生成部81からデプス情報が供給されない場合、テクスチャ画像をそのまま表示装置14に供給する。
(再生装置の処理の説明)
図22は、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの図21の再生装置13の復号処理を説明するフローチャートである。
図22のステップS31において、再生制御部61は、記録メディア12に記録されているMP4ファイルから再生対象のサンプルを抽出し、解析部62を介して復号部63に供給する。
ステップS32において、復号部63のデプス画像復号部72は、必要に応じてテクスチャ画像復号部71から供給されるテクスチャ画像を参照画像として、再生対象のサンプルをMVD方式またはMV-HEVC方式で復号する。デプス画像復号部72は、復号の結果得られるデプス画像をデプス情報生成部81に供給し、処理を終了する。
図23は、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの再生装置13のデプス情報生成処理を説明するフローチャートである。
図23のステップS51において、再生装置13の再生制御部61は、MP4ファイルから、再生対象のサンプルを含むトラックの、grouping_typeがDEPIであるsbgpボックスおよびsgpdボックスを抽出し、解析部62に供給する。
ステップS52において、解析部62は、sbgpボックスおよびsgpdボックスに基づいて、再生対象のサンプルのデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報とを認識する。解析部62は、認識されたデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報をデプス情報生成部81に供給する。
ステップS53において、デプス情報生成部81は、解析部62からのデプスリプレゼンテーション情報の構造が、自分が認識可能な構造であるかどうかを判定する。ステップS53でデプスリプレゼンテーション情報の構造が、自分が認識可能な構造であると判定された場合、処理はステップS54に進む。
ステップS54において、デプス情報生成部81は、デプスリプレゼンテーション情報から、デプス画像の種類とデプス情報の最小値および最大値とを認識する。
ステップS55において、デプス情報生成部81は、図22のステップS32の処理によりデプス画像復号部72からデプス画像が供給されたかどうかを判定する。ステップS55でデプス画像が供給されていないと判定された場合、デプス情報生成部81は、デプス画像が供給されるまで待機する。
一方、ステップS55でデプス画像が供給されたと判定された場合、ステップS56において、デプス情報生成部81は、デプス画像の種類とデプス情報の最小値および最大値に基づいて、デプス画像を逆量子化し、デプス画像からデプス情報を生成する。そして、デプス情報生成部81は、デプス情報とデプス画像の種類とを合成部82に供給する。
また、ステップS53でデプスリプレゼンテーション情報の構造が、自分が認識可能な構造ではないと判定された場合、処理は終了する。
なお、図23のステップS54の処理後、デプス情報生成部81は、デプス画像の種類が、自分が処理可能な種類であるかどうかを判定するようにしてもよい。この場合、デプス画像の種類が、自分が処理可能な種類であると判定された場合、処理はステップS55に進み、デプス画像の種類が、自分が処理可能な種類ではないと判定された場合、処理は終了する。
以上のように、再生装置13は、ファイル生成装置11により生成されたMP4ファイルを再生することができる。また、再生装置13は、MP4ファイルのうちのデプスプレゼンテーション情報に基づいて、デプス画像からデプス情報を生成することができる。
なお、上述した説明では、デプスリプレゼンテーション情報がstblボックスとtrafボックスに配置されたが、デプスリプレゼンテーション情報が配置されるボックスは、stblボックスとtrafボックスに限定されない。
また、テクスチャ画像とデプス画像の符号化方式は、MVC方式やMV-HEVC方式のほか、AVC方式やHEVC方式であってもよい。
(デプスリプレゼンテーション情報の他の配置方法の説明)
図24は、デプスリプレゼンテーション情報の他の配置方法を説明する図である。
より詳細には、図24は、テクスチャ画像とデプス画像がAVC方式で符号化された場合のMP4ファイルのボックスの階層構造を示す図である。ボックスは、右にあるほど、階層が低い。例えば、trakボックスは、moovボックスの下の階層のボックスであり、moovボックスに配置されるボックスである。また、ftypボックスとmoovボックスは同一の階層のボックスである。
また、図24中星印は、他の配置方法によりデプスリプレゼンテーション情報がMP4ファイルのエントリストリーム外に配置される場合のデプスリプレゼンテーション情報が配置される位置を示している。
図24に示すように、デプスリプレゼンテーション情報の第1の他の配置方法は、trakボックスの下層のavcCボックス(AVCConfigurationBox)に、サンプルグループという手法を用いずにデプスリプレゼンテーション情報を記述するDEPIボックス(DepthRepresentationInformationBox)を追加する方法である。avcCボックスは、AVC方式で符号化されたサンプルのConfig情報が記述されるボックスである。
デプスリプレゼンテーション情報の第2の他の配置方法は、trakボックスの下層のavc1ボックスに含まれるAVC方式で符号化されたサンプルのSampleEntryの基になるVisualSampleEntryにDEPIボックスを追加する方法である。
デプスリプレゼンテーション情報の第3の他の配置方法は、trakボックスの下層のポスト処理に用いられる情報を記述するrinfボックス(RestrictedSchemeInformationBox)の下層のポスト処理の内容を示すschiボックス(SchemeInformationBox)にDEPIボックスを追加する方法である。デプスリプレゼンテーション情報は、復号処理の後のポスト処理としてのデプス情報生成処理に用いられる情報であるため、schiボックスに記述することにより、利便性を向上させることができる。
デプスリプレゼンテーション情報の第4の他の配置方法は、trakボックスの下層のudtaボックス(UserDataBox)にDEPIボックスを追加する方法である。
第1乃至第4の他の配置方法では、エレメンタリストリーム外にデプスリプレゼンテーション情報が記述されるので、再生装置13は、デプスリプレゼンテーション情報をエレメンタリストリームから抽出する必要がない。従って、再生装置13の処理が容易になる。
なお、図24の例では、デプスリプレゼンテーション情報がmoovボックスに配置されるようにしたが、moofボックスに配置されるようにしてもよい。
(第1の他の配置方法の説明)
図25は、第1の他の配置方法によりデプスリプレゼンテーション情報が配置される場合のavcCボックスの構造例を示す図である。
図25のavcCボックスは、チャンク単位のconfig情報とDEPIボックス(DepthRepresentationInformationBox)を含む。avcCボックスは、チャンク(Chunk)間でavcCボックスに記述される情報が異なるごとに、新たに生成される。avcCボックスとチャンクは、stblボックス内のSampleToChunkBoxからSample Entryを参照するための情報であるSample_description_indexを利用して関連づけされる。
図26は、図25のDEPIボックスの第1の構造例を示す図である。
図26のDEPIボックスは、scheme_uri,length、およびdepth_representation_informationを含む。即ち、DEPIボックスは、図8のVisualSampleGroupEntryがボックス構造になったものである。
図27は、図25のDEPIボックスの第2の構造例を示す図である。
図27のDEPIボックスは、depth_scheme_type,length、およびdepth_representation_informationを含む。即ち、DEPIボックスは、図15のVisualSampleGroupEntryがボックス構造になったものである。
第1の他の配置方法では、符号化方式に依存するavcCボックスにDEPIボックスが配置されるため、各符号化方式のConfig情報が記述されるボックスに対して拡張を行い、DEPIボックスを配置可能にする必要がある。
なお、HEVC方式およびMV-HEVC方式のConfig情報が記述されるボックスでは、既にデプスリプレゼンテーション情報を記述することが可能である。しかしながら、現在規定されている構造以外の構造のデプスリプレゼンテーション情報を記述することはできない。
これに対して、第1の他の配置方法では、scheme_uriまたはdepth_scheme_typeを、現在規定されているデプスリプレゼンテーション情報の構造以外の構造を示す値にすることで、その構造のデプスリプレゼンテーション情報を記述することが可能である。
(第2の他の配置方法の説明)
図28は、第2の他の配置方法によりデプスリプレゼンテーション情報が配置される場合のVisualSampleEntryの構造例を示す図である。
図28のVisualSampleEntryには、DEPIボックスが配置される。このDEPIボックスの構造は、図26または図27の構造と同一である。VisualSampleEntryを基にした構造を有する各符号化方式のSampleEntryを含むボックス(符号化方式がAVC方式である場合avc1ボックス)は、avcCボックスと同様に、チャンク間で、このボックスに記述される情報が異なるごとに、新たに生成される。このボックス(例えばavc1ボックス)とチャンクは、stblボックス内のSample to Chunk boxからSample Entryを参照するための情報であるSample_description_indexを利用して関連づけされる。
第2の他の配置方法では、符号化方式に依存しない、各符号化方式のSampleEntryの基になるVisualSampleEntryにDEPIボックスが配置されるため、符号化方式ごとに拡張を行う必要はない。
また、第3の他の配置方法によりデプスリプレゼンテーション情報が配置される場合のschiボックスに配置されるDEPIボックスの構造は、図26または図27の構造と同一である。schiボックスは、DEPIボックスを含むことにより、ポスト処理がデプス情報生成処理であること、および、そのデプス情報生成処理に必要なデプスリプレゼンテーション情報を示す。
schiボックスは、avcCボックスと同様に、チャンク間でschiボックスに記述される情報が異なるごとに、新たに生成される。schiボックスとチャンクは、stblボックス内のSampleToChunkBoxからSample Entryを参照するための情報であるSample_description_indexを利用して関連づけされる。
第3の他の配置方法では、符号化方式に依存しない、schiボックスにDEPIボックスが配置されるため、符号化方式ごとに拡張を行う必要はない。
以上のように、第1乃至第3の他の配置方法では、チャンク間で記述される情報が異なるごとに生成されるボックス(avcCボックス,avc1ボックス, schiボックスなど)にDEPIボックスが配置される。従って、ファイル生成部34は、デプスリプレゼンテーション情報が同一であるサンプルをグループ化せず、DEPIボックスが配置されるボックスに記述される情報が異なるチャンクごとに、デプスリプレゼンテーション情報をMP4ファイルに記述する。
(第4の他の配置方法の説明)
図29は、第4の他の配置方法によりデプスリプレゼンテーション情報が配置される場合にudtaボックスに配置されるDEPIボックスの構造例を示す図である。
図29のDEPIボックスには、entry_countとscheme_uriが記述され、entry_count分のsample_count,length、およびdepth_representation_informationが記述される。
即ち、第4の他の配置方法では、ファイル生成部34は、デプスリプレゼンテーション情報が同一である連続するサンプルをグループ化する。そして、ファイル生成部34は、そのグループの数を示すentry_countをDEPIボックスに記述する。
また、ファイル生成部34は、各グループのサンプル特定情報であるsample_count、デプスリプレゼンテーション情報の長さを示すlength、およびデプスリプレゼンテーション情報であるdepth_representation_informationをDEPIボックスに記述する。さらに、ファイル生成部34は、デプスリプレゼンテーション情報の構造を示すscheme_uriをDEPIボックスに記述する。以上のようにして情報が記述されたDEPIボックスは、MP4ファイルに配置される。
以上のように、第4の他の配置方法では、デプスリプレゼンテーション情報が同一であるサンプルがグループ化され、各グループのデプスリプレゼンテーション情報がMP4ファイルに記述される。従って、同一のデプスリプレゼンテーション情報が冗長して記述されることを抑制し、デプスリプレゼンテーション情報を効率的に記述することができる。その結果、MP4ファイル内のデプスリプレゼンテーション情報全体のサイズを削減することができる。
また、第4の他の配置方法では、符号化方式に依存しない、udtaボックスにDEPIボックスが配置されるため、符号化方式ごとに拡張を行う必要はない。
なお、図29の例では、デプスリプレゼンテーション情報の構造を示す情報がscheme_uriとして記述されたが、図15の場合と同様に、フィールドとして記述されるようにしてもよい。
<第2実施の形態>
(VisualSampleGroupEntryの第1の構造例)
本開示を適用した情報処理システムの第2実施の形態の構成は、MP4ファイルに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIのNALユニットの構造そのものである点を除いて、図1の構成と同一である。
即ち、第2実施の形態では、VisualSampleGroupEntryに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームのデプスリプレゼンテーション情報を含むSEI(Depth representation information SEI message)のNALユニットの構造そのものである。従って、第2実施の形態では、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているNALユニットをそのまま格納するVisualSampleGroupEntryが定義される。
図30は、このようなVisualSampleGroupEntryの構造例を示す図である。
図30のVisualSampleGroupEntryのgrouping_typeは、グループ化の基になったサンプル情報がNALユニットであることを示すnalgである。また、図30のVisualSampleGroupEntryは、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているNALユニット(NAL_unit)を含む。
第2実施の形態では、デプス画像のエレメンタリストリームのデプスリプレゼンテーション情報のSEIのNALユニットを含む図30のVisualSampleGroupEntryが、sgpdボックスに記述される。
また、第2実施の形態では、図30のVisualSampleGroupEntryが記述されるsgpdボックスに対応する、grouping_typeがnalgであるsbgpボックスが定義される。
(sbgpボックスの第1の構造例)
図31は、grouping_typeがnalgであるsbgpボックスの構造例を示す図である。
図31の構造は、grouping_typeとしてnalgが記述される点、および、grouping_type_parameterが、空き領域(reserved)、NAL_unit_type、およびNAL_unit_type_informationに代わる点を除いて、図14の構造と同一である。
図32に示すように、NAL_unit_typeは、grouping_type「nalg」がサンプル情報として示すNALユニットのタイプを表す情報であり、例えば、ISO/IEC 14496-10やISO/IEC 23008-2で規定されるNAL_unit_typeと同様に規定される。
また、NAL_unit_type_informationは、grouping_type「nalg」がサンプル情報として示すNALユニットを、NAL_unit_typeが表すタイプのNALユニット内で識別する情報である。例えば、NALユニットのタイプがSEIのNALユニットのタイプである場合、NALユニットに格納可能なSEIのタイプは、複数存在する。従って、このような場合に、grouping_type「nalg」がサンプル情報として示すNALユニットに格納されるSEIのタイプを、NALユニットに格納可能なSEIのタイプから識別するために、NAL_unit_type_informationが記述される。
以上のように、sbgpボックスにNAL_unit_typeとNAL_unit_type_informationが記述されることにより、再生装置13は、サンプルのグループ化に用いられたサンプル情報としてのNALユニットのタイプを認識することができる。従って、サンプル情報のうちの任意のタイプのNALユニットに基づいて、サンプルをグループ化することができる。
第2実施の形態では、テクスチャ画像とデプス画像の符号化方式がMVD方式である場合、NAL_unit_typeとしてSEIのNALユニットのタイプを表す6が記述される。そして、NAL_unit_type_informationとして、デプスリプレゼンテーション情報を含むSEIのpayloadTypeである50が記述される。
また、テクスチャ画像とデプス画像の符号化方式がMV-HEVC方式である場合、NAL_unit_typeとしてPREFIX SEIのNALユニットのタイプを表す39が記述される。そして、NAL_unit_type_informationとして、デプスリプレゼンテーション情報を含むSEIのpayloadTypeである177が記述される。
(情報処理システムの処理の説明)
第2実施の形態におけるファイル生成装置11のファイル生成処理は、MP4ファイルに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIのNALユニットの構造そのものである点を除いて、図20のファイル生成処理と同一である。また、第2実施の形態における再生装置13の復号処理は、図22の復号処理と同一である。従って、以下では、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの第2実施の形態における再生装置13のデプス情報生成処理について説明する。
図33は、このデプス情報生成処理を説明するフローチャートである。
図33のステップS71において、再生装置13の再生制御部61は、MP4ファイルから、再生対象のサンプルを含むトラックの、grouping_typeがnalgであるsbgpボックスおよびsgpdボックスを抽出し、解析部62に供給する。
ステップS72において、解析部62は、sbgpボックスおよびsgpdボックスに基づいて、再生対象のサンプルのデプスリプレゼンテーション情報を含むSEIのNALユニットを認識する。具体的には、解析部62は、図31のsbgpボックスのNAL_unit_typeおよびNAL_unit_type_informationに基づいて、デプスリプレゼンテーション情報を含むSEIのNALユニットのsbgpボックスを選択する。解析部62は、選択されたsbgpボックスのsample_countに基づいて、再生対象のサンプルのグループを認識する。そして、解析部62は、そのグループのgroup_description_indexにより特定されるsgpdボックスに含まれる図30のVisualGroupEntryからNALユニットを認識する。解析部62は、認識されたデプスリプレゼンテーション情報のSEIのNALユニットをデプス情報生成部81に供給する。
ステップS73において、デプス情報生成部81は、解析部62から供給されるデプスリプレゼンテーション情報を含むSEI(図11または図12)のNALユニットから、デプス画像の種類とデプス情報の最小値および最大値とを認識する。
ステップS74およびS75の処理は、図23のステップS55およびS56の処理と同様であるので、説明は省略する。
なお、図33のステップS73の処理後、デプス情報生成部81は、デプス画像の種類が、自分が処理可能な種類であるかどうかを判定するようにしてもよい。この場合、デプス画像の種類が、自分が処理可能な種類であると判定された場合、処理はステップS74に進み、デプス画像の種類が、自分が処理可能な種類ではないと判定された場合、処理は終了する。
また、第2実施の形態において、MP4ファイルに記述されるデプスリプレゼンテーション情報の構造は、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIの構造そのものであってもよい。この場合、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているSEIをそのまま格納するVisualSampleGroupEntryが定義され、そのVisualSampleGroupEntryが記述されるsgpdボックスに対応するsbgpボックスが定義される。
(VisualSampleGroupEntryの第2の構造例)
図34は、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているSEIをそのまま格納するVisualSampleGroupEntryの構造例を示す図である。
図34のVisualSampleGroupEntryのgrouping_typeは、グループ化の基になったサンプル情報がSEIであることを示すseimである。また、図34のVisualSampleGroupEntryは、ISO/IEC 14496-10やISO/IEC 23008-2で規定されているSEI(sei_message)を含む。
第2実施の形態では、デプス画像のエレメンタリストリームのデプスリプレゼンテーション情報のSEIを含む図34のVisualSampleGroupEntryが、sgpdボックスに記述される。
(sbgpボックスの第2の構造例)
図35は、図34のVisualSampleGroupEntryが記述されるsgpdボックスに対応する、grouping_typeがseimであるsbgpボックスの詳細構造例を示す図である。
図35の構造は、grouping_typeとしてseimが記述される点、および、grouping_type_parameterが、空き領域(reserved)およびpayloadTypeに代わる点を除いて、図14の構造と同一である。
payloadTypeは、grouping_type「seim」がサンプル情報として示すSEIのタイプを識別する情報であり、例えば、ISO/IEC 14496-10やISO/IEC 23008-2で規定されるpayloadTypeと同様に規定される。
以上のように、sbgpボックスにpayloadTypeが記述されることにより、再生装置13は、サンプルのグループ化に用いられたサンプル情報としてのSEIのタイプを認識することができる。従って、サンプル情報のうちの任意のタイプのSEIに基づいて、サンプルをグループ化することができる。
第2実施の形態では、テクスチャ画像とデプス画像の符号化方式がMVD方式である場合、payloadTypeとして、デプスリプレゼンテーション情報を含むSEIのpayloadTypeである50が記述される。また、テクスチャ画像とデプス画像の符号化方式がMV-HEVC方式である場合、payloadTypeとして、デプスリプレゼンテーション情報を含むSEIのpayloadTypeである177が記述される。
MP4ファイルに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIの構造そのものである場合のファイル生成処理は、MP4ファイルに記述されるデプスリプレゼンテーション情報の構造が、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIの構造そのものである点を除いて、図20のファイル生成処理と同様である。また、復号処理は、図22の復号処理と同一である。
さらに、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときのデプス情報生成処理は、抽出されるsbgpボックスおよびsgpdボックスのgrouping_typeがseimである点、および、デプスリプレゼンテーション情報のSEIのNALユニットがデプスリプレゼンテーション情報のSEIに代わる点を除いて、図33のデプス情報生成処理と同様である。
以上のように、第2実施の形態においては、第1実施の形態と同様に、MP4ファイルにおいて、デプスリプレゼンテーション情報がエレメンタリストリーム外に記述されるので、再生装置13の処理が容易になる。
また、第2実施の形態においては、第1実施の形態と同様に、デプスリプレゼンテーション情報が同一であるサンプルがグループ化され、各グループのデプスリプレゼンテーション情報のうちの互いに異なるデプスリプレゼンテーション情報のみがMP4ファイルに記述される。従って、MP4ファイル内のデプスリプレゼンテーション情報全体のサイズを削減することができる。
<第3実施の形態>
(moovボックスとmdatボックスの構造例)
本開示を適用した情報処理システムの第3実施の形態の構成は、MP4ファイルにおいて、デプス画像のエレメンタリストリームの各サンプルのデプスリプレゼンテーション情報が、デプス画像のエレメンタリストリームのトラックとは別のトラックのサンプルに格納される点を除いて、図1の情報処理システム10の構成と同一である。
即ち、第1実施の形態では、デプス画像のエレメンタリストリームとデプスリプレゼンテーション情報のトラックは同一であった。具体的には、デプス画像のエレメンタリストリームのトラックのサンプル情報としてデプスリプレゼンテーション情報が記述され、サンプルとして、デプス画像のエレメンタリストリームが配置された。これに対して、第3実施の形態では、デプス画像のエレメンタリストリームとデプスリプレゼンテーション情報のトラックは異なる。
図36は、第3実施の形態におけるMP4ファイルのmoovボックスとmdatボックスの構造例を示す図である。
なお、図36では、デプス画像のエレメンタリストリームとデプスリプレゼンテーション情報のトラックに関する構造についてのみ図示してある。このことは、後述する図45においても同様である。
図36に示すように、moovボックスには、デプス画像のエレメンタリストリームのトラック(Depth Track)のtrakボックスと、デプスリプレゼンテーション情報のトラック(Depth Metadata Track)のtrakボックスが配置される。
デプスリプレゼンテーション情報のトラックのtrakボックスのtrefボックス(Track Reference Box)には、このトラックが参照するトラックを特定するトラックIDとして、デプス画像のエレメンタリストリームのトラックに付与されたトラックIDが記述される。また、stsd(Sample Description Box)ボックスには、デプスリプレゼンテーション情報のトラックの全てのサンプルのDepthRepresentasionSampleEntryのテーブルが記述される。
mdatボックスには、デプス画像のエレメンタリストリームのトラックのエレメンタリストリームとして、デプス画像のエレメンタリストリーム(Depth Stream)がサンプル単位で配置される。また、mdatボックスには、デプスリプレゼンテーション情報がサンプル化されて、デプスリプレゼンテーション情報のトラックのTimed Metadataとしてサンプル単位で配置される。なお、デプスリプレゼンテーション情報のトラックのサンプルに対応する時間は、デプス画像のエレメントリストリームのトラックの1以上のサンプルに対応する時間である。即ち、デプス画像のエレメントリストリームのトラックのデプスリプレゼンテーション情報が同一である連続する1以上のサンプルがグループ化される。そして、各グループを構成する1以上のサンプルに対応する時間の、デプスリプレゼンテーション情報のトラックのサンプルとして、各グループに対応するデプスリプレゼンテーション情報が配置される。
(trefボックスの構造例)
図37は、trefボックスの構造例を示す図である。
図37に示すように、trefボックスには、trackReferenceTypeBoxが配置される。trackReferenceTypeBoxでは、参照するトラックとの関係のタイプを示すreference_typeが指定され、参照するトラックに付与されたトラックID(track_IDs)が記述される。
デプスリプレゼンテーション情報は、デプス画像のエレメンタリストリームのメタデータである。従って、デプスリプレゼンテーション情報のトラックのtrefボックスでは、reference_typeとして、参照するトラックとの関係が、参照するトラックのメタデータであることを示す「cdsc」が指定される。また、デプスリプレゼンテーション情報のトラックのtrefボックスには、デプス画像のエレメンタリストリームのトラックに付与されたトラックIDが記述される。
(DepthRepresentasionSampleEntryの構造例)
図38は、図36のstsdボックスに記述されるDepthRepresentasionSampleEntryの構造例を示す図である。
図38に示すように、DepthRepresentasionSampleEntryには、DepthRepresentationConfigurationBoxが配置される。
(DepthRepresentationConfigurationBoxの第1の構造例)
図39は、図38のDepthRepresentationConfigurationBoxの第1の構造例を示す図である。
図39のDepthRepresentationConfigurationBoxには、図13のdepth_representation_typeとsample_structure_type_uriが記述される。sample_structure_type_uriは、サンプルに格納されるデプスリプレゼンテーション情報の構造を示す値であり、例えば、図10のscheme_uriの値と同様に設定される。
(DepthRepresentationConfigurationBoxの第2の構造例)
図40は、図38のDepthRepresentationConfigurationBoxの第2の構造例を示す図である。
図40のDepthRepresentationConfigurationBoxの構造は、sample_structure_type_uriの代わりにsample_structure_typeが記述される点が、図39の構造と異なる。
sample_structure_typeは、デプスリプレゼンテーション情報の構造を示す16ビットの固定長の情報であり、例えば、図17のdepth_scheme_typeと同様に設定される。
(情報処理システムの処理の説明)
第3実施の形態におけるファイル生成装置11のファイル生成処理は、MP4ファイルにおいて、デプス画像のエレメンタリストリームの各サンプルのデプスリプレゼンテーション情報が、デプス画像のエレメンタリストリームのトラックとは別のトラックのサンプルに格納される点を除いて、図20のファイル生成処理と同一である。また、第3実施の形態における再生装置13の復号処理は、図22の復号処理と同一である。従って、以下では、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの第3実施の形態における再生装置13のデプス情報生成処理について説明する。
図41は、このデプス情報生成処理を説明するフローチャートである。
図41のステップS91において、再生装置13の再生制御部61は、MP4ファイルから、再生対象のサンプルに対応するDepthRepresentasionSampleEntryを抽出する。具体的には、再生制御部61は、MP4ファイル内のデプス画像のエレメンタリストリームのトラックのトラックIDを記述し、reference_typeとして「cdsc」を指定するtrefボックスを含むtrakボックスのstsdボックスから、再生対象のサンプルに対応するデプスリプレゼンテーション情報のサンプルのDepthRepresentasionSampleEntryを抽出する。再生制御部61は、抽出されたDepthRepresentasionSampleEntryを解析部62に供給する。
ステップS92において、解析部62は、再生対象のサンプルに対応するDepthRepresentasionSampleEntryから、デプスリプレゼンテーション情報の構造を示す情報を認識する。
具体的には、DepthRepresentasionSampleEntryに含まれるDepthRepresentationConfigurationBoxの構造が図39の構造である場合、解析部62は、sample_structure_type_uriをデプスリプレゼンテーション情報の構造を示す情報として認識する。また、DepthRepresentasionSampleEntryに含まれるDepthRepresentationConfigurationBoxの構造が図40の構造である場合、解析部62は、sample_structure_typeをデプスリプレゼンテーション情報の構造を示す情報として認識する。解析部62は、認識されたデプスリプレゼンテーション情報の構造を示す情報とデプスリプレゼンテーション情報をデプス情報生成部81に供給する。
ステップS93において、デプス情報生成部81は、解析部62から供給される情報が示すデプスリプレゼンテーション情報の構造が、自分が認識可能な構造であるかどうかを判定する。ステップS93でデプスリプレゼンテーション情報の構造が、自分が認識可能な構造であると判定された場合、処理はステップS94に進む。
ステップS94において、再生制御部61は、MP4ファイルから、再生対象のサンプルに対応するデプスリプレゼンテーション情報のサンプルを抽出し、そのデプスリプレゼンテーション情報を、解析部62を介してデプス情報生成部81に供給する。
ステップS95乃至S97の処理は、図23のステップS54乃至S56の処理と同様であるので、説明は省略する。
一方、ステップS93でデプスリプレゼンテーション情報の構造が、自分が認識可能な構造ではないと判定された場合、処理は終了する。
なお、図41のステップS95の処理後、デプス情報生成部81は、デプス画像の種類が、自分が処理可能な種類であるかどうかを判定するようにしてもよい。この場合、デプス画像の種類が、自分が処理可能な種類であると判定された場合、処理はステップS96に進み、デプス画像の種類が、自分が処理可能な種類ではないと判定された場合、処理は終了する。
また、第3実施の形態において、第2実施の形態と同様に、デプスリプレゼンテーション情報の構造は、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIのNALユニットまたはSEIの構造そのものであってもよい。
以上のように、第3実施の形態においては、第1実施の形態と同様に、MP4ファイルにおいて、デプスリプレゼンテーション情報がエレメンタリストリーム外に記述されるので、再生装置13の処理が容易になる。また、第3実施の形態においては、デプス画像のエレメンタリストリームのトラックのデプスリプレゼンテーション情報が同一である連続するサンプルがグループ化され、各グループのデプスリプレゼンテーション情報がMP4ファイルに記述される。従って、MP4ファイルに同一のデプスリプレゼンテーション情報が冗長して記述されることを抑制し、デプスリプレゼンテーション情報を効率的に記述することができる。その結果、MP4ファイル内のデプスリプレゼンテーション情報全体のサイズを削減することができる。
<第4実施の形態>
(moovボックスとmdatボックスの構造例)
本開示を適用した情報処理システムの第4実施の形態の構成は、depth_representation_typeが、stsdボックスにも配置される点を除いて、図1の情報処理システム10の構成と同一である。
図42は、第4実施の形態におけるMP4ファイルのmoovボックスとmdatボックスの構造例を示す図である。
なお、図42では、デプス画像のエレメンタリストリームのトラックに関する構造についてのみ図示してある。
図42に示すように、moovボックスには、デプス画像のエレメンタリストリームのトラック(Depth Track)のtrakボックスが配置される。このtrakボックスは、stsdボックスにdepth_representation_typeが記述される点を除いて第1実施の形態と同様であり、このtrakボックスには、stsdボックス、sbgpボックス、sgpdボックス等が配置される。
mdatボックスには、デプス画像のエレメンタリストリームのトラックのエレメンタリストリームとして、デプス画像のエレメンタリストリーム(Depth Stream)がサンプル単位で配置される。
(stsdボックスへのdepth_representation_typeの記述方法)
図43は、stsdボックスへのdepth_representation_typeの記述方法の例を示す図である。
図43の例では、デプス画像がAVC方式で符号化され、MP4ファイルのボックスの階層構造が図24の階層構造になる。
この場合、第1の記述方法では、stsdボックスの下層のavcCボックスの構造が、図25の構造と同一になる。また、avcCボックスに配置されるDepthRepresentationInformationBoxには、図43に示すように、図13のdepth_representation_typeが記述される。
なお、図示は省略するが、デプス画像の符号化方式がHEVC方式、MVD方式、MV-HEVC方式等である場合、図43の場合と同様に、各符号化方式のConfig情報が記述されるボックスに図13のdepth_representation_typeが記述される。
以上のように、depth_representation_typeがConfig情報と同一のボックスに記述されることにより、再生装置13は、Config情報を処理するタイミングでdepth_representation_typeを用いてデプス情報の生成の可否を判定することができる。
また、depth_representation_typeは、stsdボックスの下層のVisualSampleEntryに記述されるようにしてもよい。この場合、VisualSampleEntryの構造は、図28の構造と同一であり、VisualSampleEntry に配置されるDepthRepresentationInformationBoxの構造は、図43の構造と同一である。depth_representation_typeをVisualSampleEntryに記述する場合、depth_representation_typeを記述可能にするためにVisualSampleEntryのみを拡張すれば済み、Config情報と同一のボックスに記述する場合のように符号化方式ごとに拡張を行う必要がない。
さらに、depth_representation_typeは、stsdボックスの下層のポスト処理の内容を示すschiボックスに記述されるようにしてもよい。depth_representation_typeは、復号処理の後のポスト処理としてのデプス情報生成処理に用いられる情報であるため、schiボックスに記述することにより、利便性を向上させることができる。また、depth_representation_typeをVisualSampleEntryに記述する場合と同様に、depth_representation_typeを記述可能にするためにschiボックスのみを拡張すれば済む。
(情報処理システムの処理の説明)
第4実施の形態におけるファイル生成装置11のファイル生成処理は、MP4ファイルにおいて、depth_representation_typeがstsdボックスにも配置される点を除いて、図20のファイル生成処理と同様である。また、第4実施の形態における再生装置13の復号処理は、図22の復号処理と同一である。従って、以下では、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの第4実施の形態における再生装置13のデプス情報生成処理について説明する。
図44は、このデプス情報生成処理を説明するフローチャートである。
図44のステップS111において、再生装置13の再生制御部61は、MP4ファイルから、再生対象のサンプルを含むトラックのstsdボックスを抽出し、解析部62に供給する。
ステップS112において、解析部62は、stsdボックスのdepth_representation_typeからデプス画像の種類を認識し、デプス情報生成部81に供給する。ステップS113において、デプス情報生成部81は、デプス画像の種類が、自分が処理可能な種類であるかどうかを判定する。
ステップS113で、デプス画像の種類が、自分が処理可能な種類であると判定された場合、デプス情報生成部81は、デプス情報の生成が可能であると判断し、処理はステップS114に進む。ステップS114乃至S119の処理は、図23のステップS51乃至S56の処理と同様であるので、説明は省略する。
一方、ステップS113でデプス画像の種類が、自分が処理可能な種類ではないと判定された場合、デプス情報生成部81は、デプス情報の生成が不可能であると判断し、処理は終了する。
以上のように、第4実施の形態では、デプスリプレゼンテーション情報のうちの、サンプルごとに変化する可能性が少なく、デプス情報の生成の可否の判別に用いられるdepth_representation_typeがstsdボックスに配置される。従って、再生装置13は、stsdボックスのみを用いて、デプス情報の生成の可否を判別することができる。
即ち、再生装置13は、デプス情報の生成の可否を判別するために、sbgpボックスから再生対象のサンプルのグループを認識し、sgpdボックスから、そのグループのdepth_representation_typeを認識するという複雑な処理を行う必要がない。その結果、再生装置13は、デプス情報生成処理を効率的に行うことができる。
また、デプスリプレゼンテーション情報のうちの、サンプルごとに変化する可能性の高いデプス情報の最小値と最大値を表す情報については、その情報が同一であるサンプルがグループ化され、各グループのサンプルにおいて共通の情報のうちの互いに異なる情報のみがMP4ファイルに記述される。従って、MP4ファイルに同一のデプス情報の最小値と最大値を表す情報が冗長して記述されることを防止し、デプス情報の最小値と最大値を表す情報を効率的に記述することができる。その結果、MP4ファイル内のデプス情報の最小値と最大値を表す情報全体のサイズを削減することができる。
さらに、第4実施の形態においては、第1実施の形態と同様に、MP4ファイルにおいて、デプスリプレゼンテーション情報がエレメンタリストリーム外に記述されるので、再生装置13の処理が容易になる。
なお、第4実施の形態において、第2実施の形態と同様に、デプスリプレゼンテーション情報の構造は、デプス画像のエレメンタリストリームに含まれるデプスリプレゼンテーション情報のSEIのNALユニットまたはSEIの構造そのものであってもよい。
また、デプスリプレゼンテーション情報の構造を示す情報も、depth_representation_typeとともに、stsdボックスに記述されるようにしてもよい。さらに、sgpdボックスには、stsdボックスに記述されるdepth_representation_typeやデプスリプレゼンテーション情報の構造を示す情報が配置されないようにしてもよい。
<第5実施の形態>
(moovボックスとmdatボックスの構造例)
本開示を適用した情報処理システムの第5実施の形態の構成は、第4実施の形態と同様に、depth_representation_typeが、デプス画像のエレメンタリストリームのトラックのstsdボックスにも配置される点を除いて、第3実施の形態の構成と同一である。
図45は、第5実施の形態におけるMP4ファイルのmoovボックスとmdatボックスの構造例を示す図である。
図45のmoovボックスとmdatボックスの構造は、moovボックス内のデプス画像のエレメンタリストリームのトラック(Depth Track)のtrakボックスに配置されるstsdボックスに、depth_representation_typeが記述される点が、図36の構造と異なる。stsdボックスへのdepth_representation_typeの記述方法は、第4実施の形態と同様である。
第5実施の形態におけるファイル生成装置11のファイル生成処理は、depth_representation_typeが、デプス画像のエレメンタリストリームのトラックのstsdボックスにも配置される点を除いて、第3実施の形態におけるファイル生成処理と同一である。また、第5実施の形態における再生装置13の復号処理は、図22の復号処理と同一である。
さらに、デプス画像のエレメンタリストリームであるサンプルを再生対象としたときの第5実施の形態における再生装置13のデプス情報生成処理は、ステップS91の処理の前に、図44のステップS111乃至S113の処理が行われる点を除いて、図41のデプス情報生成処理と同一である。
以上のように、第5実施の形態は、第3実施の形態と第4実施の形態の組み合わせであるため、第3実施の形態と第4実施の形態の両方の効果を有する。
<第6実施の形態>
(情報処理システムの第6実施の形態の構成例)
図46は、本開示を適用した第6実施の形態における情報処理システムの概要を説明する図である。
図46の情報処理システム100は、ファイル生成装置101に接続するWebサーバ102と動画再生端末104とが、インターネット103を介して接続されることにより構成される。
情報処理システム100では、MPEG-DASHで、Webサーバ102が、ファイル生成装置101により生成された動画コンテンツのファイルを、動画再生端末104に配信する。
具体的には、ファイル生成装置101(情報処理装置)の構成は、複数の符号化速度で符号化が行われる点、符号化速度ごとにセグメント単位でMP4ファイルが生成される点、MP4ファイル等を管理するMPD(Media Presentation Description)ファイルが生成される点、およびMP4ファイルとMPDファイルが記録メディア12ではなくWebサーバ102に記録される点を除いて、第1乃至第5実施の形態におけるファイル生成装置11の構成と同様である。セグメントとは、数秒から10秒程度の時間単位である。
なお、図46の例では、複数の符号化速度で符号化が行われるようにするが、複数の符号化速度以外の条件(例えば、画像のサイズ等)で符号化が行われるようにしてもよい。また、異なる条件の数は、2以上であってもよい。ファイル生成装置101は、MP4ファイルとMPDファイルをWebサーバ102にアップロードする。
Webサーバ102は、ファイル生成装置101からアップロードされたMP4ファイルとMPDファイルを格納する。図46の例では、符号化速度の種類が3種類あり、3つの符号化速度それぞれについて、各セグメントのMP4ファイルが格納されている。Webサーバ102は、動画再生端末104からの要求に応じて、格納しているMP4ファイルやMPDファイルを動画再生端末104に送信する。
動画再生端末104(情報処理装置)は、ストリーミングデータの制御用ソフトウェア(以下、制御用ソフトウェアという)121、動画再生ソフトウェア122、HTTP(HyperText Transfer Protocol)アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウェアという)123などを実行する。
制御用ソフトウェア121は、Webサーバ102からストリーミングするデータを制御するソフトウェアである。具体的には、制御用ソフトウェア121は、動画再生端末104にWebサーバ102からMPDファイルを取得させる。
また、制御用ソフトウェア121は、MPDファイルと、動画再生ソフトウェア122により指定される再生対象の時刻等を表す再生対象情報とに基づいて、再生対象のMP4ファイルのサンプルやボックスの送信要求を、アクセス用ソフトウェア123に指令する。
動画再生ソフトウェア122は、Webサーバ102から取得されたサンプルを再生するソフトウェアである。動画再生ソフトウェアは、記録メディア12ではなく、Webサーバ102に記録されているサンプルやボックスを抽出する点を除いて、第1乃至第5実施の形態における再生装置13と同様の処理を行う。
具体的には、動画再生ソフトウェア122は、再生対象情報を制御用ソフトウェア121に指定することにより動画再生端末104を制御し、再生制御部61と同様に、MP4ファイルから、再生対象のサンプル、sbgpボックス、およびsgpdボックスを抽出する。また、動画再生ソフトウェア122は、解析部62、復号部63、および表示生成部64と同様に、再生対象のサンプルを復号し、復号の結果得られるデプス画像をデプス情報に変換して、3D画像を生成する。
アクセス用ソフトウェア123は、HTTPを用いたインターネット103を介したWebサーバ102との通信を制御するソフトウェアである。具体的には、アクセス用ソフトウェア123は、制御用ソフトウェア121の指令に応じて、再生対象のMP4ファイルのサンプルやボックスの送信要求を、動画再生端末104に送信させる。また、アクセス用ソフトウェア123は、その送信要求に応じて、Webサーバ102から送信されてくるサンプルやボックスの受信を動画再生端末104に開始させる。
<第7実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図47は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ200(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ200では、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、コンピュータ200が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本開示は、以下のような構成もとることができる。
(1)
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルを生成するファイル生成部
を備える情報処理装置。
(2)
前記ファイル生成部は、各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとを前記ファイルに配置する
ように構成された
前記(1)に記載の情報処理装置。
(3)
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を、前記グループ情報ボックスのschem_uriとして記述する
ように構成された
前記(2)に記載の情報処理装置。
(4)
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を、前記グループ情報ボックスのフィールドとして記述する
ように構成された
前記(2)に記載の情報処理装置。
(5)
前記ファイル生成部は、前記デプスリプレゼンテーション情報の構造を示す情報を前記グループボックスに記述する
ように構成された
前記(2)に記載の情報処理装置。
(6)
前記ファイル生成部は、各グループのサンプルを特定する情報と前記デプスリプレゼンテーション情報を記述するボックスを前記ファイルに配置する
ように構成された
前記(1)に記載の情報処理装置。
(7)
前記ファイル生成部は、各グループの前記デプスリプレゼンテーション情報をサンプル化し、前記符号化ストリームのサンプルとは異なるトラックのサンプルとして前記ファイルに配置する
ように構成された
前記(1)に記載の情報処理装置。
(8)
前記ファイル生成部は、前記符号化ストリームに対応するトラックを、前記デプスリプレゼンテーション情報に対応するトラックが参照するトラックとして特定する情報を前記ファイルに記述する
ように構成された
前記(7)に記載の情報処理装置。
(9)
前記デプスリプレゼンテーション情報は、前記デプス画像の種類を示す情報を含む
ように構成された
前記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記デプスリプレゼンテーション情報は、前記デプス情報の最小値と最大値を含む
ように構成された
前記(1)乃至(8)のいずれかに記載の情報処理装置。
(11)
前記ファイル生成部は、前記デプス画像の種類を示す情報を前記ファイルに記述する
ように構成された
前記(10)に記載の情報処理装置。
(12)
前記デプスリプレゼンテーションの構造は、前記符号化ストリームの前記デプスリプレゼンテーション情報を含むSEI(Supplemental Enhancement Information)または前記SEIのNAL(Network Abstraction Layer)ユニットの構造である
ように構成された
前記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)
情報処理装置が、
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルを生成するファイル生成ステップ
を含む情報処理方法。
(14)
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルのうちの、前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成部
を備える情報処理装置。
(15)
前記ファイルには、各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとが配置される
ように構成された
前記(14)に記載の情報処理装置。
(16)
前記ファイルには、前記デプスリプレゼンテーション情報の構造を示す情報が、前記グループ情報ボックスのschem_uriとして記述される
ように構成された
前記(15)に記載の情報処理装置。
(17)
前記ファイルには、前記デプスリプレゼンテーション情報の構造を示す情報が、前記グループ情報ボックスのフィールドとして記述される
ように構成された
前記(15)に記載の情報処理装置。
(18)
前記ファイルには、前記デプスリプレゼンテーション情報の構造を示す情報が前記グループボックスに記述される
ように構成された
前記(15)に記載の情報処理装置。
(19)
前記ファイルには、各グループのサンプルを特定する情報と前記デプスリプレゼンテーション情報を記述するボックスが前記ファイルに配置される
ように構成された
前記(14)に記載の情報処理装置。
(20)
前記ファイルには、各グループの前記デプスリプレゼンテーション情報がサンプル化されて、前記符号化ストリームのサンプルとは異なるトラックのサンプルとして配置される ように構成された
前記(14)に記載の情報処理装置。
(21)
前記ファイルには、前記符号化ストリームに対応するトラックを、前記デプスリプレゼンテーション情報に対応するトラックが参照するトラックとして特定する情報が記述される
ように構成された
前記(20)に記載の情報処理装置。
(22)
前記デプスリプレゼンテーション情報は、前記デプス画像の種類を示す情報を含む
ように構成された
前記(14)乃至(21)のいずれかに記載の情報処理装置。
(23)
前記デプスリプレゼンテーション情報は、前記デプス情報の最小値と最大値を含む
ように構成された
前記(14)乃至(21)のいずれかに記載の情報処理装置。
(24)
前記ファイルは、前記デプス画像の種類を示す情報を含む
ように構成された
前記(23)に記載の情報処理装置。
(25)
前記デプスリプレゼンテーションの構造は、前記符号化ストリームの前記デプスリプレゼンテーション情報を含むSEI(Supplemental Enhancement Information)または前記SEIのNAL(Network Abstraction Layer)ユニットの構造である
ように構成された
前記(14)乃至(24)のいずれかに記載の情報処理装置。
(26)
情報処理装置が、
各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームをサンプル化して配置するとともに、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルをグループ化して各グループの前記デプスリプレゼンテーション情報を記述したファイルのうちの、前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成ステップ
を含む情報処理方法。
11 ファイル生成装置, 13 再生装置, 34 ファイル生成部, 81 デプス情報生成部, 101 ファイル生成装置, 104 動画再生端末, 122 動画再生ソフトウェア

Claims (10)

  1. 各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームがサンプル化して配置され、前記デプス画像の種類または前記デプス情報の最小値と最大値を少なくとも含む、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルがグループ化されて、各グループの前記デプスリプレゼンテーション情報が記述されてISO Base media file formatのファイルが生成されており、各グループの符号化ストリームのサンプルが前記ファイル内の第1のトラックに配置され、各グループの前記デプスリプレゼンテーション情報がサンプル化され、前記第1のトラックとは異なる第2のトラックのサンプルとして前記ファイル内に配置された前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成するデプス情報生成部
    を備え、
    各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとが前記ファイルに配置される
    情報処理装置。
  2. 前記デプスリプレゼンテーション情報の構造を示す情報が、前記グループ情報ボックスのscheme_uriとして記述される
    請求項1に記載の情報処理装置。
  3. 前記デプスリプレゼンテーション情報の構造を示す情報が、前記デプスリプレゼンテーション情報を記述するグループ情報ボックスのフィールドとして記述される
    請求項2に記載の情報処理装置。
  4. 前記デプスリプレゼンテーション情報の構造を示す情報が、前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスに記述される
    請求項3に記載の情報処理装置。
  5. 各グループのサンプルを特定する情報と前記デプスリプレゼンテーション情報を記述するボックスが前記ファイルに配置される
    請求項2に記載の情報処理装置。
  6. 各グループの前記デプスリプレゼンテーション情報がサンプル化され、前記デプス画像を符号化した符号化ストリームのサンプルとは異なるトラックのサンプルとして前記ファイルに配置される
    請求項2に記載の情報処理装置。
  7. 前記符号化ストリームに対応するトラックを、前記デプスリプレゼンテーション情報に対応するトラックが参照するトラックとして特定する情報が前記ファイルに記述される
    請求項6に記載の情報処理装置。
  8. 前記デプス画像の種類を示す情報が前記ファイルに記述される
    請求項2に記載の情報処理装置。
  9. 前記デプスリプレゼンテーション情報の構造は、前記デプス画像を符号化した符号化ストリームの前記デプスリプレゼンテーション情報を含むSEI(Supplemental EnhancementInformation)または前記SEIのNAL(Network Abstraction Layer)ユニットの構造である
    請求項2に記載の情報処理装置。
  10. 情報処理装置が、
    各画素の奥行き方向の位置を表すデプス情報を量子化して得られた画素値からなるデプス画像を符号化した符号化ストリームがサンプル化して配置され、前記デプス画像の種類または前記デプス情報の最小値と最大値を少なくとも含む、前記デプス画像に関するデプスリプレゼンテーション情報が同一であるサンプルがグループ化されて、各グループの前記デプスリプレゼンテーション情報が記述されてISO Base media file formatのファイルが生成されており、各グループの符号化ストリームのサンプルが前記ファイル内の第1のトラックに配置され、各グループの前記デプスリプレゼンテーション情報がサンプル化され、前記第1のトラックとは異なる第2のトラックのサンプルとして前記ファイル内に配置された前記デプスリプレゼンテーション情報に基づいて、前記デプス画像から前記デプス情報を生成すること
    を含み、
    各グループの前記デプスリプレゼンテーション情報のうちの互いに異なる前記デプスリプレゼンテーション情報を記述するグループ情報ボックスと、各グループのサンプルを特定する情報および前記デプスリプレゼンテーション情報を特定する情報を記述するグループボックスとが前記ファイルに配置される
    情報処理方法。
JP2021196280A 2016-01-13 2021-12-02 情報処理装置および情報処理方法 Active JP7238948B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2016004120 2016-01-13
JP2016004120 2016-01-13
JP2016147023 2016-07-27
JP2016147023 2016-07-27
JP2017561582A JP6992511B2 (ja) 2016-01-13 2016-12-28 情報処理装置および情報処理方法
PCT/JP2016/089038 WO2017122543A1 (ja) 2016-01-13 2016-12-28 情報処理装置および情報処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017561582A Division JP6992511B2 (ja) 2016-01-13 2016-12-28 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JP2022019932A true JP2022019932A (ja) 2022-01-27
JP7238948B2 JP7238948B2 (ja) 2023-03-14

Family

ID=59311079

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017561582A Active JP6992511B2 (ja) 2016-01-13 2016-12-28 情報処理装置および情報処理方法
JP2021196280A Active JP7238948B2 (ja) 2016-01-13 2021-12-02 情報処理装置および情報処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017561582A Active JP6992511B2 (ja) 2016-01-13 2016-12-28 情報処理装置および情報処理方法

Country Status (5)

Country Link
US (1) US11206386B2 (ja)
EP (2) EP3404927A4 (ja)
JP (2) JP6992511B2 (ja)
CN (2) CN113014930B (ja)
WO (1) WO2017122543A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567625B (en) * 2017-10-12 2020-07-15 Canon Kk Method, device, and computer program for generating timed media data
JP7271099B2 (ja) * 2018-07-19 2023-05-11 キヤノン株式会社 ファイルの生成装置およびファイルに基づく映像の生成装置
US20220247991A1 (en) * 2019-06-28 2022-08-04 Sony Group Corporation Information processing apparatus, information processing method, reproduction processing device, and reproduction processing method
JPWO2021002142A1 (ja) * 2019-07-04 2021-01-07

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151758A (ja) * 2007-12-21 2009-07-09 Samsung Electronics Co Ltd 深さ情報に対する適応的情報表現方法及びその装置
JP2013128253A (ja) * 2011-12-19 2013-06-27 Sharp Corp 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム
US20130235152A1 (en) * 2011-08-31 2013-09-12 Nokia Corporation Video Coding and Decoding
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
WO2014107376A2 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Indication of current view dependency on reference view in multiview coding file format
US20150181192A1 (en) * 2012-07-09 2015-06-25 Lg Electronics Inc. Enhanced 3d audio/video processing apparatus and method
US20150304665A1 (en) * 2014-01-07 2015-10-22 Nokia Corporation Method and apparatus for video coding and decoding
WO2016002513A1 (ja) * 2014-07-01 2016-01-07 ソニー株式会社 情報処理装置および方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
US7979886B2 (en) * 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
SE0302778D0 (sv) * 2003-10-17 2003-10-17 Ericsson Telefon Ab L M Container format for multimedia presentations
EP1917642A2 (en) * 2005-08-17 2008-05-07 Nxp B.V. Video processing method and device for depth extraction
WO2009027923A1 (en) * 2007-08-31 2009-03-05 Koninklijke Philips Electronics N.V. Conveying auxiliary information in a multiplexed stream
BRPI0815968B1 (pt) * 2007-09-19 2023-11-28 Fraunhofer - Gesellschaft Zur Forderung Der Angewadten Forschung E.V. Aparelho e método para armazenamento e leitura de um arquivo tendo um container de dados de mídia e um container de metadados
CN101459857B (zh) * 2007-12-10 2012-09-05 华为终端有限公司 通信终端
US20090148038A1 (en) * 2007-12-10 2009-06-11 Youichi Sawachi Distance image processing apparatus and method
EP2197217A1 (en) * 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
JP2012060261A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置および方法
JP5281623B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
CA2833032C (en) * 2011-06-15 2016-08-30 Mediatek Inc. Method and apparatus of texture image compression in 3d video coding
US9047681B2 (en) * 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
US9674525B2 (en) * 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US20130127991A1 (en) * 2011-11-22 2013-05-23 Samsung Electronics Co., Ltd. Supplementary information coding apparatus and method for 3d video
US9646383B2 (en) * 2011-12-19 2017-05-09 Sharp Kabushiki Kaisha Image processing apparatus, image capturing apparatus, and display apparatus
JP6089398B2 (ja) * 2011-12-22 2017-03-08 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN104081780A (zh) * 2012-01-31 2014-10-01 索尼公司 图像处理装置和图像处理方法
CN104412608B (zh) * 2012-07-10 2018-03-06 索尼公司 图像解码装置、图像解码方法、图像编码装置及图像编码方法
US20140098868A1 (en) * 2012-10-04 2014-04-10 Qualcomm Incorporated File format for video data
US20150026358A1 (en) * 2013-07-19 2015-01-22 Futurewei Technologies, Inc. Metadata Information Signaling And Carriage In Dynamic Adaptive Streaming Over Hypertext Transfer Protocol
TWI630821B (zh) * 2013-07-19 2018-07-21 新力股份有限公司 File generation device, file generation method, file reproduction device, and file reproduction method
MX364810B (es) * 2013-07-19 2019-05-07 Sony Corp Dispositivo y método de procesamiento de información.
JP2015033103A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2015056179A1 (en) * 2013-10-15 2015-04-23 Nokia Technologies Oy Video encoding and decoding using syntax element
EP4020983A1 (en) * 2014-12-31 2022-06-29 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151758A (ja) * 2007-12-21 2009-07-09 Samsung Electronics Co Ltd 深さ情報に対する適応的情報表現方法及びその装置
US20130235152A1 (en) * 2011-08-31 2013-09-12 Nokia Corporation Video Coding and Decoding
JP2013128253A (ja) * 2011-12-19 2013-06-27 Sharp Corp 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム
JP2013198059A (ja) * 2012-03-22 2013-09-30 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US20150181192A1 (en) * 2012-07-09 2015-06-25 Lg Electronics Inc. Enhanced 3d audio/video processing apparatus and method
WO2014107376A2 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Indication of current view dependency on reference view in multiview coding file format
US20150304665A1 (en) * 2014-01-07 2015-10-22 Nokia Corporation Method and apparatus for video coding and decoding
WO2016002513A1 (ja) * 2014-07-01 2016-01-07 ソニー株式会社 情報処理装置および方法

Also Published As

Publication number Publication date
JP6992511B2 (ja) 2022-01-13
CN108476346A (zh) 2018-08-31
CN108476346B (zh) 2021-03-12
US20180316903A1 (en) 2018-11-01
WO2017122543A1 (ja) 2017-07-20
JP7238948B2 (ja) 2023-03-14
US11206386B2 (en) 2021-12-21
EP3742747B1 (en) 2024-02-14
EP3404927A1 (en) 2018-11-21
EP3404927A4 (en) 2018-11-21
CN113014930B (zh) 2024-04-26
JPWO2017122543A1 (ja) 2018-11-01
CN113014930A (zh) 2021-06-22
EP3742747A1 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
US20210326378A1 (en) Information processing apparatus and information processing method
JP6177839B2 (ja) データ伝送方法及び装置、並びにデータ受信方法及び装置
JP7238948B2 (ja) 情報処理装置および情報処理方法
US11252397B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
JP7099510B2 (ja) 受信装置および受信方法
JP6944131B2 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
TW201909007A (zh) 使用用於檔案格式邏輯框之一通用描述符處理媒體資料
JPWO2015008613A1 (ja) 情報処理装置および情報処理方法
KR102137858B1 (ko) 송신 장치, 송신 방법, 수신 장치, 수신 방법 및 프로그램
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
JP6501127B2 (ja) 情報処理装置および方法
KR20110117568A (ko) 멀티미디어 전송 시스템에서 서비스 발견 정보를 송수신하는 방법 및 장치와 이를 위한 파일 구조
Thompson Maximizing content with cloud, virtualization and AI

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R151 Written notification of patent or utility model registration

Ref document number: 7238948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151