JP2011142586A - 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP2011142586A JP2011142586A JP2010003275A JP2010003275A JP2011142586A JP 2011142586 A JP2011142586 A JP 2011142586A JP 2010003275 A JP2010003275 A JP 2010003275A JP 2010003275 A JP2010003275 A JP 2010003275A JP 2011142586 A JP2011142586 A JP 2011142586A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- file
- information
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/309—Table of contents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】MP4ファイルに格納されたデータの再生処理において実行する様々なデータ処理、例えば3次元画像表示処理や、暗号化データの復号処理など、様々な異なるカテゴリのデータ処理に適用する情報をMP4ファイルの管理情報中に階層化して記録する構成とした。この構成により、MP4ファイルに格納されたデータの再生、例えば暗号化された3次元画像データの表示処理などにおいて実行が必要となる異なるカテゴリのデータ処理の各々に必要となる様々な情報を、MP4ファイルの管理情報から確実に取得することが可能となり、スムーズなデータ再生処理が可能となる。
【選択図】図14
Description
MP4は、MPEG(Moving Picture Experts Group)4形式の圧縮動画データの格納ファイル形式である。MP4はISO/IEC14496に規定された規格である。MP4はMPEG−4形式の動画のみならず、MPEG−2やMPEG−1の動画、AACやMP3などの音声、JPEGやPNGなどの静止画など、様々な形式の画像および音声データを格納可能としたフォーマットである。
すなわち、現行のMP4ファイルの管理情報のみでは、画像データを取得してデータ構成を確認するか、あるいは、実際に再生や表示処理を実行してみないと、自装置が処理可能なデータであるか否かについて確認できないといった問題がある。
画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置にある。
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)〜(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である。
画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置にある。
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)〜(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である。
画像データの符号化データと、該符号化データの管理情報を含むMP4ファイルを記録した情報記録媒体であり、
前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
MP4ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体にある。
画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法にある。
画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラムにある。
画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラムにある。
1.MP4ファイルフォーマットの基本構成について
2.3次元画像管理情報をMP4ファイルの管理情報中に記録する構成について
2A.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)
2B.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)
2C.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)
3.画像処理装置の実行する画像処理シーケンスについて
4.本発明の画像処理装置の構成例について
まず、図1を参照して現行のMP4ファイルフォーマットの基本構成について説明する。前述したように、MP4は、MPEG(Moving Picture Experts Group)4形式の符号化データの格納ファイル形式であり、ISO/IEC14496に規定されている。MP4はMPEG−4形式の動画のみならず、MPEG−2やMPEG−1の動画、AACやMP3などの音声、JPEGやPNGなどの静止画など、様々な形式の画像および音声データを格納可能な構成を持つ。
(1)ファイルタイプボックス(ftyp)101、
(2)プロファイルボックス(uuid(PROF))102、
(3)ムービーボックス(moov)103、
(4)実データボックス(mdat)104、
これらのボックスを有する。
(2)プロファイルボックス(uuid(PROF))102には、例えば、フレームレートなどのファイル情報が記録される。
(3)ムービーボックス(moov)103には、格納データの管理情報(メタデータ)が記録される。
(4)実データボックス(mdat)104には、符号化された(圧縮)画像や音声データなど実データが記録される。
トラックは、例えば、画像データに対応するビデオトラック、音声データに対応するオーディオトラック等がある。なお、日本語対応の第1オーディオトラック、英語対応の第2オーディオトラックなどの設定も可能である。また、異なる画像に対応する第1ビデオトラック、第2ビデオトラック等、細分化したトラック設定も可能である。
トラックボックス111内には、サンプルディスクリプションボックス(stsd)112、さらにその下位にAVコーデックボックス(avc1)113が格納される。
すなわち実データは1以上のトラックによって構成され、1トラックはさらに1以上のサンプルによって構成される。
以下では、上述した問題を解決する構成として、3次元画像についての管理情報をMP4ファイルの管理情報中に記録する複数の実施例について、以下説明する。
以下に示す3つの実施例について、順次説明する。
(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)
(2)AVコーデックボックス(avc1)に3次元画像識別情報を記録する実施例(実施例2)
(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像識別情報を記録する実施例(実施例3)
なお、これらの各実施例は単独の構成としても実施可能であるが、複数の実施例を組み合わせて利用する構成も可能である。
まず、図2を参照してプロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例について説明する。
0001h:IDR(Instantaneous Decoder Refresh)フレーム間隔情報、
0002h:リカバリポイントSEIメッセージの有無情報、
これらはMP4の復号に適用する情報である。
0004h〜はリザーブ領域である。
0008h:ステレオビデオフラグ(stereo video flag)201、
0010h:ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグを3次元画像識別情報として設定する。
MP4ファイルに格納される画像データの態様としては、図3に示すように3パターンある。
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
(b)MP4ファイルに格納された画像データが全て2次元画像
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
これらの3パターンである。
従って、図3に示す
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
この(a)の場合にのみ、ビット値=1となる。
また、
(b)MP4ファイルに格納された画像データが全て2次元画像
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
これら(b),(c)の場合はビット値=0となる。
従って、図3に示す
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
この(c)の場合にのみビット値=1となる。
また、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
(b)MP4ファイルに格納された画像データが全て2次元画像
これら(a),(b)の場合には、ビット値=0となる。
(ケース1)
ステレオビデオフラグ=1、ミックスステレオビデオフラグ=0、
この場合は、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=0、
この場合は、
(b)MP4ファイルに格納された画像データが全て2次元画像
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=1、
この場合は、
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
であると判定する。
(タイプa)3次元画像のみから構成されている、
(タイプb)2次元画像のみから構成されている、
(タイプc)3次元画像と2次元画像の混在データである、
これらの各タイプを判別することが可能となる。
次に、図4を参照してAVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例について説明する。
AVコーデックボックス(avc1)は、先に説明したように、実データボックス(mdat)に格納される実データを区分した区分データであるサンプルのコーデック情報等が記録されるボックスである。
AVCConfigurationBox
MPEG4BitRateBox
MPEG4ExtentionDescriptorBox
これらのボックスにはMP4符号化データの復号処理に必要となる情報、すなわちコーデック情報が記録される。これらのコーデック情報は2次元画像にも3次元画像に共通に利用される。
ステレオビデオ情報ボックス(Stereo Video Description Box)302
を追加する。
ステレオビデオ情報ボックス302には、MP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データに3次元画像が含まれるか否かの情報や、3次元画像が含まれる場合、その3次元画像データに関する詳細情報を記録する。詳細情報には例えば3次元画像の表示方式情報などが含まれる。
ステレオビデオ情報ボックス302には、MP4ファイルの実データボックス(mdat)(図1参照)に格納された画像データがいずれの方式に対応した記録データであるかについての情報も含まれる。
フレームシーケンシャル(Frame Sequential)方式、
サイドバイサイド(Side by Side)方式、
トップアンドボトム(Top&Bottom)方式、
などがある。
サイドバイサイド(Side by Side)方式は、LR画像を1フレーム画像中の左右に分割して記録した方式である。
トップアンドボトム(Top&Bottom)方式は、LR画像を1フレーム画像中の上下に分割して記録した方式である。
これらの画像記録方式など、3次元画像の再生や表示処理に利用される3次元画像詳細情報がステレオビデオ情報ボックス302に記録される。
Advanced Video Coding(MPEG4−AVC)を規定したISO/IEC14496においては、既に通常のコーデック情報として、再生用の各画像フレームを構築するためのフレーム構成情報(Frame Packing Arangement SEI)を規定している。
なお、以下の例では、3次元画像の以下の記録方式、すなわち、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これら、異なる3次元画像の記録方式に対応するフレーム構成情報の設定例について説明する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
図5にはMP4のデコード結果として得られるデコード画像フレーム321と、表示画像フレーム322を示している。
フレームシーケンシャル方式では左目用画像(L画像)と、右目用画像(R画像)がLRLRLR・・・と交互に記録される。従って、MP4デコード結果から得られる画像は。表示画像フレーム322としてのL画像、R画像として利用される。
図6には、
MP4デコード結果画像331、
アンパックL画像(フレーム0)332、
アンパックR画像(フレーム1)333、
表示用L画像(フレーム0)334、
表示用R画像(フレーム1)335、
これらの画像データを示している。
この画像から、まず、アンパック処理を実行して、アンパックL画像(フレーム0)332、アンパックR画像(フレーム1)333を生成する。さらに、伸張処理(アップコンバート)を実行して表示用L画像(フレーム0)334と、表示用R画像(フレーム1)335を生成する。
このようにフレーム0,フレーム1が1組の画像フレームとして設定される、
図7には、
MP4デコード結果画像341、
アンパックL画像(フレーム0)342、
アンパックR画像(フレーム1)343、
表示用L画像(フレーム0)344、
表示用R画像(フレーム1)345、
これらの画像データを示している。
この画像から、まず、アンパック処理を実行して、アンパックL画像(フレーム0)342、アンパックR画像(フレーム1)343を生成する。さらに、伸張処理(アップコンバート)を実行して表示用L画像(フレーム0)344と、表示用R画像(フレーム1)345を生成する。
トップアンドボトム方式でも、フレーム0,フレーム1が1組の画像フレームとして設定される、
図8、図9は、MP4ファイルに格納された3次元画像が以下の3種類の方式に対応する場合のデータ設定例を示す図である。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応するフレーム構成(Frame Packing Arrangement SEI)情報のデータ設定例である。
フレームパッキングアレンジメントキャンセルフラグ
(frame_packing_arrangement_cancel_flag)
このフラグが1の場合、フレーム構成情報を使用しないことを示す。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフレーム構成情報を使用することを示す0を設定する。なお、[0b]の(b)は、2進数の表記であることを意味している。
(quincux_sampling_flag)
このフラグが1の場合、画像フレームのサンプリングポイントが3×3画素の5点に設定されていることを示す。
このフラグは主に復号処理におけるサンプリング位置を示す情報として用いられる。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフラグは0に設定する。
(content_interpretation_type)
このフィールドの値としては例えば0〜2の各値をとり、
0=フレーム相互の関係がない場合の設定値、
1=3次元(ステレオ)画像用のフレーム構成情報であり、フレーム0が左目用フレーム、フレーム1が右目用フレームである場合の設定値、
2=3次元(ステレオ)画像用のフレーム構成情報であり、フレーム0が右目用フレーム、フレーム1が左目用フレームである場合の設定値、
これらのコンテンツ説明タイプ情報が記録される。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においても、このフラグは1に設定する。
(spatial_fliping_flag)
スペーシャルフリップフラグ
(frame0_flipped_flag)
これらのフラグは、画像フレームの構成方向、例えば水平方向または垂直方向に連結してフレームを構成するかの情報を格納する。
このフラグ設定は2次元画像のアップコンバート(伸張処理)の態様を決定するために用いられる。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は0に設定する。
(field_views_flag)
フレームのインターリービング処理の態様についての情報が記録される。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、このフラグは利用せず、このフラグ値は0に設定する。
(frame_packing_arrangement_reserved_byte)
フレームパッキングアレンジメントリピテーションバイト
(frame_packing_arrangement_repetition_period)
フレームパッキングアレンジメントエクステンションバイト
(frame_packing_arrangement_extension_flag)
これらのフィールドは、リザーブ、繰り返しデータ、拡張データの記録フィールドである。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、これらのフラグは利用せず、これらのフラグ値は0に設定する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの3つの形式に対応するフレーム構成(Frame Packing Arrangement SEI)情報の設定例を示す図である。
(frame_packing_arrangement_type)
このフィールドには、3次元画像のタイプによって異なる値を設定する。
例えば、
(a)フレームシーケンシャル方式[FS]=000101b(5)、
(b)サイドバイサイド方式[SbS]=0000011b(3)、
(c)トップアンドボトム方式[T&B]=0000100b(4)、
再生装置は、このフィールドの設定値に基づいて、トラックに格納された3次元画像が、どの方式の3次元画像データであるかを判別することができる。すなわち、トラックに格納された3次元画像が、フレームシーケンシャル方式[FS]、サイバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式の3次元画像データであるかについて判別することが可能となる。
(current_frame_is_frame0_flag)
このフィールドにはMP4デコード結果として得られる現フレームがフレーム0に対応するフレームであるか否かの情報が記録される。
3次元画像がL画像,R画像,L画像,R画像フレームの繰り返しとして記録される「(a)フレームシーケンシャル方式[FS]」の場合は、デコード結果として得られるフレーム単位で左目用画像(L画像)であるか右目用画像(R画像)であるかを判別することが必要となる。
従って、(a)フレームシーケンシャル方式[FS]の場合は、このフィールドに、
右目用画像(R画像)=0、
左目用画像(L画像)=1、
例えば上記の値を設定する。
(frame0_self_contained_flag)
フレーム1セルフコンテインドフラグ
(frame1_self_contained_flag)
これらはフレーム0,1の設定されたフレーム間で相互のフレームを参照すべきである場合にフラグの値として1を設定する。
ステレオビデオ情報ボックス302内に記録する3次元画像情報としてのフレーム構成情報の場合、フレームシーケンシャル方式[FS]、サイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]、いずれの方式においてもこの情報は不要であり、このフラグの値は0に設定する。
(frame0_grid_position_x)
フレーム0グリッドポジションY
(frame0_grid_position_y)
フレーム1グリッドポジションX
(frame1_grid_position_x)
フレーム1グリッドポジションY
(frame1_grid_position_y)
これらは画像フレームの構成処理に際して参照する画素位置を示すためのデータフィールドである。
例えば、図6、図7を参照して説明したサイドバイサイド方式[SbS]、トップアンドボトム方式[T&B]ではすべてフラグ値=0を設定する。これは、フレーム0,1とも(X,Y)=(0,0)で指定される左上端の座標位置に参照位置が設定されていることを示している。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応するフレーム構成情報(Frame Packing Arrangement SEI)の設定値がそれぞれ設定される。
すなわち、例えば図8、図9を参照して説明したフレーム構成情報(Frame Packing Arrangement SEI)の設定値を参照することで、MP4ファイルに格納された画像がどの方式に従った3次元画像であるかを識別可能となり、格納画像の方式に対応した復元処理を実行して正しい3次元画像表示用データを生成して再生、表示することが可能となる。
また、自装置の実行可能な3次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス(mdat)104(図1参照)に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報を記録した例について説明したが、その他の方式に従った情報を記録する構成としてもよい。また、図8、図9を参照して説明したフレーム構成情報(Frame Packing Arrangement SEI)に限らず、その他の形式で3次元画像詳細情報を作成してAVコーデックボックス(avc1)に記録する構成としてもよい。
次に、図10以下を参照してMP4ファイルのAVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例について説明する。
AVコーデックボックス(avc1)は、先に説明したように、実データボックス(mdat)に格納される実データを区分したデータであるサンプルのコーデック情報等が記録されるボックスである。
例えばMP4格納データが暗号化データである場合、再生装置はAVコーデックボックス(avc1)内に設定されたスキーム情報ボックス(sinf)を参照することで、暗号化データの復号に必要となる情報を得ることが可能となる。
図10を参照して、3次元(ステレオ)画像についてのデータ構成情報、すなわち3次元画像詳細情報をスキーム情報ボックス(sinf)に格納する例について説明する。
(a)MP4ファイル400、
(b)AVコーデックボックス(avc1)401、
(c)3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405、
これらのデータ構成を示している。
図10(c)に示す3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405は、ボックス名に相当するコード(4CC:four−character−code)をステレオビデオデータに関する情報を含むことを示す[stev]に変更する。すなわち、ボックス名(4CC)から3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405であることが判別可能となる。なお、ボックス名(4CC)はAVコーデックボックス405のファイル名に対応しており、再生装置は、ファイル名から3次元画像情報スキーム情報ボックスを含むAVコーデックボックスであることを判別できる。
フォーマット情報ボックス(frma)411、
スキームタイプボックス(SchemeTypeBox)412、
スキーム詳細情報ボックス(SchemeInformationBox)413、
これらの各ボックスを有する。
data_format='avc1'
このようなフォーマット情報が記録される。
具体的には、例えば、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報が記録される。
また、自装置の実行可能な3次元画像表示処理に応じたデータが記録されているかについても予め知ることが可能となり、自装置において処理可能であると判断された場合にのみ、実データボックス(mdat)104(図1参照)に格納された実データを取得してエンコード等の処理を開始することができ、無駄な処理を実行してしまう事態を避けることが可能となる。
(c)3次元画像情報スキーム情報ボックス410を含むAVコーデックボックス405、
(d)3次元画像情報スキーム情報ボックス410を入れ子として階層化して設定した暗号化情報スキーム情報ボックス420を持つAVコーデックボックス407、
これらのデータ構成を示している。
(c)のデータは、図10(c)のデータと同じ構成を持つAVコーデックボックス405である。
図11に示す例では、これらの個別のデータ構成情報を個別のスキーム情報ボックスとして設定して、これらを階層化して記録する構成としている。
すなわち、図11(d)に示すAVコーデックボックス(encv)407に示すように、
(1)3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する第1のスキーム情報ボックス(sinf)410、
(2)暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する第2のスキーム情報ボックス(sinf)420、
これら2つのスキーム情報ボックスを階層化、すなわち入れ子状態に設定してAVコーデックボックスに格納している。
第1のスキーム情報ボックス(sinf)410は、先に図10を参照して説明したと同様のボックス、すなわち、
フォーマット情報ボックス(frma)411、
スキームタイプボックス(SchemeTypeBox)412、
スキーム詳細情報ボックス(SchemeInformationBox)413、
これらの各ボックスを有する。
data_format='avc1'
このようなフォーマット情報が記録される。
すなわち、例えば、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する3次元画像詳細情報を記録する。
第2のスキーム情報ボックス(sinf)420は、
フォーマット情報ボックス(frma)421、
スキームタイプボックス(SchemeTypeBox)422、
スキーム詳細情報ボックス(SchemeInformationBox)423、
これらの各ボックスを有する。
さらに、フォーマット情報を記録している。この例では、3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納した第1のスキーム情報ボックス(sinf)410を格納していることを示すフォーマットデータとして、
data_format='stev'
このようなフォーマット情報が記録される。
このようなデータ構成情報記録処理を行うことで、MP4ファイルに格納された実データの再生、表示処理に必要となる全ての情報をAVコーデックボックスから取得することが可能となる。
(1)3次元(ステレオ)画像についてのデータ構成情報(3次元画像詳細情報)を格納する第1のスキーム情報ボックス(sinf)410、
(2)暗号化処理についてのデータ構成情報(暗号化態様情報)を格納する第2のスキーム情報ボックス(sinf)420、
これら2つの異なるデータ構成情報に対応するスキーム情報ボックスを階層化、すなわち入れ子状態に設定してAVコーデックボックスに格納した例である。
次に、本発明の一実施例に係る画像処理装置の実行する画像処理シーケンスについて、図12、図13に示すフローチャートを参照して説明する。
図12は、画像データの記録処理シーケンスを説明するフローチャートである。
図13は、画像データの再生処理シーケンスを説明するフローチャートである。
この図12に示すフローチャートに従った処理は、例えば画像を撮影し記録メディアに記録する処理を実行するカメラ等の撮像装置において実行される。例えば撮像装置に備えられたCPU等の制御部の制御の下で実行される処理である。
図12に示すフローチャートの各ステップの処理について説明する。
ステップS101において、メディアへの記録予定データに3次元画像データが含まれる場合は、ステップS101の判定はYesとなり、ステップS102に進む。
この処理は、先に説明した[[3−1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明した処理である。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値として、記録予定データの種類に応じて図3に示すフラグの値を設定する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に対応する。
また、ステップS103の判定が方式Bと判定された場合は、ステップS105に進み、MP4ファイルのAVコーデックボックスに方式Bに対応する3次元画像詳細情報を記録する。
また、ステップS103の判定が方式Cと判定された場合は、ステップS106に進み、MP4ファイルのAVコーデックボックスに方式Cに対応する3次元画像詳細情報を記録する。
すなわち、前述の[3−2.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]、または、[3−3.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]、これらの処理に対応する。
なお、実施例2の処理または実施例3の処理のいずれかを実行する構成としてもよいし、両者を実行する構成としてもよい。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値として、記録予定データが2次元画像データのみであることを示すフラグの値を設定する。その後、ステップS107に進み、MP4ファイルを完成させて、メディアに対する記録処理を実行する。
この図13に示すフローチャートに従った処理は、例えば記録メディアから読み取ったMP4ファイル、あるいは通信データとして受信したMP4ファイルに対する処理を実行する再生装置において実行される。例えば再生装置に備えられたCPU等の制御部の制御の下に実行される処理である。
図13に示すフローチャートの各ステップの処理について説明する。
この処理は、先に説明した[[3−1.(1)プロファイルボックス(uuid(PROF))に3次元画像識別情報を記録する実施例(実施例1)]に対応する処理である。すなわち、図2、図3を参照して説明したMP4ファイルのプロファイルボックス(PROF)の情報を取得する処理である。
ステレオビデオフラグ(stereo video flag)201、
ミックスステレオビデオフラグ(Mixed stereo video flag)202、
これらの各フラグの値を読み取る。
(ケース1)
ステレオビデオフラグ=1、ミックスステレオビデオフラグ=0、
この場合は、
(a)MP4ファイルに格納された画像データが全て3次元画像(ステレオ画像)
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=0、
この場合は、
(b)MP4ファイルに格納された画像データが全て2次元画像
であると判定する。
ステレオビデオフラグ=0、ミックスステレオビデオフラグ=1、
この場合は、
(c)MP4ファイルに格納された画像データが3次元画像(ステレオ画像)と2次元画像の混在データ
であると判定する。
ステップS203では、MP4ファイルのAVコーデックボックスの情報を取得する。
この処理は、前述の[3−2.(2)AVコーデックボックス(avc1)に3次元画像詳細情報を記録する実施例(実施例2)]、または、[3−3.(3)AVコーデックボックス(avc1)の拡張構成として規定されるスキーム情報ボックス(sinf)を利用して3次元画像詳細情報を記録する実施例(実施例3)]、これらの記録データを読み取る処理に対応する。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらのいずれの方式に従ったデータであるかを判別することが可能となる。
方式Bに対応する3次元画像データであると判定した場合は、ステップS206に進み、方式Bに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
方式Cに対応する3次元画像データであると判定した場合は、ステップS207に進み、方式Cに対応する画像のデコード(復号、復元処理)を行い、再生、表示処理を実行する。
従って、MP4ファイルの実データを取得して解析、あるいは再生処理を実行する前に、自装置の再生可能な3次元画像データであるか否かを確認することが可能となり、再生可能であると判定した場合にのみ実データを取得し、方式に応じた処理に従って、正しいデコード、再生処理を実行することが可能となる。
次に、本発明の画像処理装置の構成例について図14を参照して説明する。図14に示すのは本発明の画像処理装置の一実施例としての撮像装置500の構成例である。撮像装置500は、3次元画像表示に適用する異なる視点からの画像を撮影する機能を持ち、ユーザのモード設定により、2次元画像と3次元画像の撮影を切り替え可能な構成を持つ。
データ符号化部503は、MP4ファイルを生成する。入力データが3次元画像である場合は、前処理部511において各方式に従って前処理を実行する。具体的には、例えば図5〜図7を参照して説明した各方式、すなわち、
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に従って、撮影画像からMP4デコード用画像を生成する。例えば、図6に示すサイドバイサイド方式[SbS]に従って記録データを生成する場合、撮影画像は図6の右側に示す表示用L画像(フレーム0)334と、表示用R画像(フレーム1)335に対応する2つの画像であり、これらの画像を適用して図6の左側に示すMP4デコード結果画像331に対応する画像フレームを生成する。
ファイル生成部513は、MP4ファイル生成に際して、ファイルに格納する画像データに3次元画像データが含まれるか否かを示す3次元画像識別情報をMP4ファイルのプロファイルボックスに記録する。
3次元画像識別情報をMP4ファイルのプロファイルボックスに記録する処理は先に実施例1を参照して説明した処理に対応する。
3次元画像詳細情報をAVコーデックボックスに記録する処理は先に実施例2,3を参照して説明した処理に対応する。
なお、ファイル生成部513は、MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で3次元画像詳細情報を記録する処理を行う
あるいは、データ符号化部503において生成したMP4ファイルは、通信部505に提供され、パケット化されて送信処理が行われる。
(a)フレームシーケンシャル方式[FS]、
(b)サイドバイサイド方式[SbS]、
(c)トップアンドボトム方式[T&B]、
これらの各方式に従って、左目用画像(L画像)、右目用画像(R画像)をせいせいする。
データ復号部507の生成した表示用画像は表示部550に提供されて、画像表示が行われる。
101 ファイルタイプボックス(ftyp)
102 プロファイルボックス(uuid(prof))
103 ムービーボックス(moov)
104 実データボックス(mdat)
111 トラックボックス(trak)
112 サンプルディスクリプションボックス(stsd)
113 AVコーデックボックス
201 ステレオビデオフラグ(stereo video flag)
202 ミックスステレオビデオフラグ(Mixed stereo video flag)
301 データ領域
302 ステレオビデオ情報ボックス(Stereo Video Description Box)
321 デコード画像フレーム
322 表示画像フレーム
331 MP4デコード結果画像
332 アンパックL画像(フレーム0)
333 アンパックR画像(フレーム1)
334 表示用L画像(フレーム0)
335 表示用R画像(フレーム1)
341 MP4デコード結果画像
342 アンパックL画像(フレーム0)
343 アンパックR画像(フレーム1)
344 表示用L画像(フレーム0)
345 表示用R画像(フレーム1)
400 MP4ファイル
401 AVコーデックボックス(avc1)
402 AVCデータ構成情報ボックス[AVCConfigurationBox]
405 AVコーデックボックス
407 AVコーデックボックス(encv)
410 3次元画像情報スキーム情報ボックス
411 フォーマット情報ボックス(frma)
412 スキームタイプボックス(SchemeTypeBox)
413 スキーム詳細情報ボックス(SchemeInformationBox)
420 暗号化情報スキーム情報ボックス
421 フォーマット情報ボックス(frma)
422 スキームタイプボックス(SchemeTypeBox)
423 スキーム詳細情報ボックス(SchemeInformationBox)
500 撮像装置
501 撮像部
502 画像信号処理部
503 データ符号化部
504 記録部
505 通信部
506 再生部
507 データ復号部
511 前処理部
512 エンコード部
513 ファイル生成部
521 ファイル解析部
522 デコード部
523 表示情報生成部
530 記録メディア
550 表示部
570 制御部
571 メモリ
Claims (20)
- 画像データの符号化処理を実行するエンコード部と、
前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成部を有し、
前記ファイル生成部は、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する画像処理装置。 - 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに3次元画像データが含まれるか否かを判別可能とした3次元画像管理情報である請求項1に記載の画像処理装置。
- 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式を判別可能とした3次元画像管理情報である請求項1に記載の画像処理装置。
- 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式が、
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)〜(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である請求項3に記載の画像処理装置。 - 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
前記ファイル生成部は、
暗号化態様情報を含む第1のデータ構成情報と、3次元画像管理情報を含む第2のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成する請求項2〜4いずれかに記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルの生成を実行する構成であり、MP4ファイルのAVコーデックボックスの下位に前記データ構成情報を階層化して記録したファイルを生成する請求項1〜5いずれかに記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルのAVコーデックボックスの下位に前記データ構成情報を含むスキーム情報ボックスを階層化して記録したファイルを生成する請求項6に記載の画像処理装置。 - 前記ファイル生成部は、
MP4ファイルに格納する画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを設定して記録する処理を行う請求項7に記載の画像処理装置。 - 画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析部と、
前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理部を有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析部は、前記ファイルの管理情報の階層化されたデータ構成情報を取得し、
前記データ処理部は、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行する画像処理装置。 - 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに3次元画像データが含まれるか否かを判別可能とした3次元画像管理情報である請求項9に記載の画像処理装置。
- 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式を判別可能とした3次元画像管理情報である請求項9に記載の画像処理装置。
- 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイルの格納画像データに含まれる3次元画像データの3次元画像記録方式が、
(a)フレームシーケンシャル方式、
(b)サイドバイサイド方式、
(c)トップアンドボトム方式、
上記(a)〜(c)のいずれの方式に従った3次元画像データであるかを判別可能とした3次元画像管理情報である請求項11に記載の画像処理装置。 - 前記カテゴリ単位のデータ構成情報の少なくとも1つは、前記ファイル生成部の生成ファイルの格納画像データの暗号化態様情報であり、
前記ファイル解析部は、
暗号化態様情報を含む第1のデータ構成情報と、3次元画像管理情報を含む第2のデータ構成情報を前記管理情報から取得する請求項10〜12いずれかに記載の画像処理装置。 - 前記ファイルは、MP4ファイルであり、
前記ファイル解析部は、
MP4ファイルのAVコーデックボックスの下位に階層化して記録されたスキーム情報ボックスから各データ処理カテゴリ単位のデータ構成情報を取得する請求項9〜13いずれかに記載の画像処理装置。 - 前記ファイル解析部は、
MP4ファイルに格納された画像データの区分データであるトラック単位またはサンプル単位の区分データ単位で前記スキーム情報ボックスを取得する請求項14に記載の画像処理装置。 - 画像データの符号化データと、該符号化データの管理情報を含むMP4ファイルを記録した情報記録媒体であり、
前記管理情報は、前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を階層化して記録した構成であり、
MP4ファイルを読み取り再生する装置において、階層化されたデータ構成情報を順次取得して、取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行することを可能としたことを特徴とする情報記録媒体。 - 画像処理装置において実行する画像処理方法であり、
エンコード部が、画像データの符号化処理を実行するエンコード処理ステップと、
ファイル生成部が、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成するファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含む画像処理方法。 - 画像処理装置において実行する画像処理方法であり、
ファイル解析部が、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析するファイル解析ステップと、
データ処理部が、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行するデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含む画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
エンコード部に、画像データの符号化処理を実行させるエンコード処理ステップと、
ファイル生成部に、前記エンコード部の生成した符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを生成させるファイル生成ステップを有し、
前記ファイル生成ステップは、
前記符号化データの再生処理時のデータ処理に適用する情報をデータ処理のカテゴリ単位で設定したデータ構成情報を生成し、複数のカテゴリ単位のデータ構成情報を階層化して前記管理情報中に記録したファイルを生成するステップを含むプログラム。 - 画像処理装置において画像処理を実行させるプログラムであり、
ファイル解析部に、画像データの符号化データと、該符号化データの管理情報を含む符号化データ格納ファイルを解析させるファイル解析ステップと、
データ処理部に、前記ファイルに格納された画像データの再生処理に際して複数の異なるカテゴリのデータ処理を実行させるデータ処理ステップを有し、
前記ファイルの管理情報は、データ処理のカテゴリ単位で各処理の実行に必要となるデータ構成情報を階層化して記録した構成を有し、
前記ファイル解析ステップは、前記ファイルの管理情報の階層化されたデータ構成情報を取得するステップを含み、
前記データ処理ステップは、前記ファイル解析部の取得したデータ構成情報を適用して複数の異なるカテゴリのデータ処理を実行するステップを含むプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010003275A JP2011142586A (ja) | 2010-01-08 | 2010-01-08 | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
PCT/JP2010/070105 WO2011083626A1 (ja) | 2010-01-08 | 2010-11-11 | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
EP10842141A EP2523461A1 (en) | 2010-01-08 | 2010-11-11 | Image processing device, information recording medium, image processing method, and program |
CN2010800632726A CN102742281A (zh) | 2010-01-08 | 2010-11-11 | 图像处理装置、信息记录介质、图像处理方法和程序 |
US13/519,854 US20120288257A1 (en) | 2010-01-08 | 2010-11-11 | Image processing device, information recording medium, image processing method, and program |
BR112012016306A BR112012016306A2 (pt) | 2010-01-08 | 2010-11-11 | "dispositivo de processamento de imagem, mídia de gravação de informação, método para processamento de imagem, e, programa para fazer com que um dispositivo de processamento de imagem execute um processo de imagem". |
RU2012127394/08A RU2012127394A (ru) | 2010-01-08 | 2010-11-11 | Устройство обработки изображения, носитель записи информации, способ обработки изображения и программа |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010003275A JP2011142586A (ja) | 2010-01-08 | 2010-01-08 | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011142586A true JP2011142586A (ja) | 2011-07-21 |
Family
ID=44305366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010003275A Pending JP2011142586A (ja) | 2010-01-08 | 2010-01-08 | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20120288257A1 (ja) |
EP (1) | EP2523461A1 (ja) |
JP (1) | JP2011142586A (ja) |
CN (1) | CN102742281A (ja) |
BR (1) | BR112012016306A2 (ja) |
RU (1) | RU2012127394A (ja) |
WO (1) | WO2011083626A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013002041A1 (ja) | 2011-06-28 | 2013-01-03 | 日産自動車株式会社 | スピニング加工方法とロータシャフト |
JP2013081170A (ja) * | 2011-10-04 | 2013-05-02 | Thomson Licensing | Hdr画像をエンコードする方法および装置、hdr画像を再構成する方法および装置ならびに非一時的記憶媒体 |
JP2015097386A (ja) * | 2013-11-15 | 2015-05-21 | パナソニック株式会社 | ファイル生成方法およびファイル生成装置 |
WO2018123645A1 (ja) * | 2016-12-28 | 2018-07-05 | ソニー株式会社 | 生成装置、識別情報生成方法、再生装置および画像再生方法 |
JP2019512186A (ja) * | 2016-02-17 | 2019-05-09 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | メディアファイルにおけるバーチャルリアリティビデオの記憶 |
WO2020008758A1 (ja) | 2018-07-06 | 2020-01-09 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103391452A (zh) * | 2012-05-07 | 2013-11-13 | 山东沃飞电子科技有限公司 | 三维内容显示的方法、装置和系统 |
CN103428463B (zh) * | 2012-05-19 | 2016-10-12 | 腾讯科技(深圳)有限公司 | 3d视频源存储方法和装置及3d视频播放方法和装置 |
CN102780896A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种流媒体素材支持3d技术的方法 |
CN102780897A (zh) * | 2012-05-31 | 2012-11-14 | 新奥特(北京)视频技术有限公司 | 一种单文件视频素材支持3d技术的方法 |
US10477183B2 (en) * | 2013-07-19 | 2019-11-12 | Hfi Innovation Inc. | Method and apparatus of camera parameter signaling in 3D video coding |
CN105612741B (zh) * | 2013-10-09 | 2017-10-31 | 慧与发展有限责任合伙企业 | 在多维度中显示多元数据 |
CN106489270B (zh) * | 2014-07-01 | 2020-03-03 | 索尼公司 | 信息处理装置和方法 |
JP6860485B2 (ja) * | 2015-08-05 | 2021-04-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US10997778B2 (en) * | 2016-11-26 | 2021-05-04 | Huawei Technologies Co., Ltd. | Method for generating three-dimensional model, and terminal device |
JP2019054417A (ja) * | 2017-09-15 | 2019-04-04 | ソニー株式会社 | 画像処理装置およびファイル生成装置 |
US10630976B2 (en) * | 2018-08-17 | 2020-04-21 | Qualcomm Incorporated | Display refresh blocks determination for video coding |
WO2021182089A1 (ja) * | 2020-03-09 | 2021-09-16 | ソニーグループ株式会社 | ファイル処理装置、ファイル処理方法、及び、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295091A (ja) * | 2003-03-07 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 暗号化装置、逆暗号化装置およびデータ再生装置 |
JP2008022532A (ja) * | 2006-06-16 | 2008-01-31 | Casio Comput Co Ltd | 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置 |
JP2008103820A (ja) * | 2006-10-17 | 2008-05-01 | Sharp Corp | 立体画像処理装置 |
WO2008054100A1 (en) * | 2006-11-01 | 2008-05-08 | Electronics And Telecommunications Research Institute | Method and apparatus for decoding metadata used for playing stereoscopic contents |
WO2009048216A1 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050111734A (ko) * | 2003-03-07 | 2005-11-28 | 마쯔시다덴기산교 가부시키가이샤 | 암호화 장치, 역암호화 장치 및 데이터 재생 장치 |
US20080252719A1 (en) * | 2007-04-13 | 2008-10-16 | Samsung Electronics Co., Ltd. | Apparatus, method, and system for generating stereo-scopic image file based on media standards |
US8400497B2 (en) * | 2007-09-07 | 2013-03-19 | Samsung Electronics Co., Ltd | Method and apparatus for generating stereoscopic file |
-
2010
- 2010-01-08 JP JP2010003275A patent/JP2011142586A/ja active Pending
- 2010-11-11 WO PCT/JP2010/070105 patent/WO2011083626A1/ja active Application Filing
- 2010-11-11 EP EP10842141A patent/EP2523461A1/en not_active Withdrawn
- 2010-11-11 CN CN2010800632726A patent/CN102742281A/zh active Pending
- 2010-11-11 RU RU2012127394/08A patent/RU2012127394A/ru unknown
- 2010-11-11 BR BR112012016306A patent/BR112012016306A2/pt not_active IP Right Cessation
- 2010-11-11 US US13/519,854 patent/US20120288257A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004295091A (ja) * | 2003-03-07 | 2004-10-21 | Matsushita Electric Ind Co Ltd | 暗号化装置、逆暗号化装置およびデータ再生装置 |
JP2008022532A (ja) * | 2006-06-16 | 2008-01-31 | Casio Comput Co Ltd | 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置 |
JP2008103820A (ja) * | 2006-10-17 | 2008-05-01 | Sharp Corp | 立体画像処理装置 |
WO2008054100A1 (en) * | 2006-11-01 | 2008-05-08 | Electronics And Telecommunications Research Institute | Method and apparatus for decoding metadata used for playing stereoscopic contents |
WO2009048216A1 (en) * | 2007-10-10 | 2009-04-16 | Electronics And Telecommunications Research Institute | Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013002041A1 (ja) | 2011-06-28 | 2013-01-03 | 日産自動車株式会社 | スピニング加工方法とロータシャフト |
JP2013081170A (ja) * | 2011-10-04 | 2013-05-02 | Thomson Licensing | Hdr画像をエンコードする方法および装置、hdr画像を再構成する方法および装置ならびに非一時的記憶媒体 |
JP2015097386A (ja) * | 2013-11-15 | 2015-05-21 | パナソニック株式会社 | ファイル生成方法およびファイル生成装置 |
JP2019512186A (ja) * | 2016-02-17 | 2019-05-09 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | メディアファイルにおけるバーチャルリアリティビデオの記憶 |
WO2018123645A1 (ja) * | 2016-12-28 | 2018-07-05 | ソニー株式会社 | 生成装置、識別情報生成方法、再生装置および画像再生方法 |
JPWO2018123645A1 (ja) * | 2016-12-28 | 2019-11-21 | ソニー株式会社 | 生成装置、識別情報生成方法、再生装置および画像再生方法 |
JP7151486B2 (ja) | 2016-12-28 | 2022-10-12 | ソニーグループ株式会社 | 生成装置、生成方法、再生装置および再生方法 |
WO2020008758A1 (ja) | 2018-07-06 | 2020-01-09 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
KR20210025527A (ko) | 2018-07-06 | 2021-03-09 | 소니 주식회사 | 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램 |
US11516453B2 (en) | 2018-07-06 | 2022-11-29 | Sony Corporation | Information processing apparatus, information processing method, and program for point cloud sample processing |
Also Published As
Publication number | Publication date |
---|---|
CN102742281A (zh) | 2012-10-17 |
EP2523461A1 (en) | 2012-11-14 |
RU2012127394A (ru) | 2014-01-10 |
US20120288257A1 (en) | 2012-11-15 |
BR112012016306A2 (pt) | 2019-09-24 |
WO2011083626A1 (ja) | 2011-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011083626A1 (ja) | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム | |
WO2011083625A1 (ja) | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム | |
US20230421794A1 (en) | Description of image composition with hevc still image file format | |
KR102406887B1 (ko) | 시간 설정형 미디어 데이터를 발생시키는 방법, 디바이스, 및 컴퓨터 프로그램 | |
JP4879960B2 (ja) | 画像データ生成装置および画像データ再生装置 | |
US8259162B2 (en) | Method and apparatus for generating stereoscopic image data stream for temporally partial three-dimensional (3D) data, and method and apparatus for displaying temporally partial 3D data of stereoscopic image | |
TWI727180B (zh) | 用於傳輸媒體內容之方法、裝置及電腦程式 | |
US20170134756A1 (en) | Image data encapsulation with referenced description information | |
GB2567624A (en) | Method, device and computer program for transmitting media content | |
JP5483205B2 (ja) | メディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体 | |
CN102428706A (zh) | 用于3d特技播放的入口点 | |
KR101591085B1 (ko) | 영상 파일 생성 및 재생 장치 및 방법 | |
JP2010028456A (ja) | データ構造、再生装置および方法、並びにプログラム | |
KR20090034707A (ko) | 다시점 영상 데이터스트림 생성 방법 및 장치와 다시점영상 데이터스트림 복호화 방법 및 장치 | |
KR101630720B1 (ko) | 3d 비디오 소스 저장 방법 및 장치와 3d 비디오 재생 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140401 |