JP2014075688A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】動画シーケンスを冗長的に提供することなく、高解像度の動画をよりユーザにとって扱い易い形式で記録し又は再生することを可能とすること。
【解決手段】ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより、複数のピクチャを含む動画を符号化する符号化部と、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成する生成部と、を備える画像処理装置を提供する。
【選択図】図２

Description

本開示は、画像処理装置及び画像処理方法に関する。

近年、１９２０×１０８０ドットのフルＨＤを超える解像度を有する、３８４０×２１６０ドット又は４０９６×２１６０ドットのＱＦＨＤ（Quad Full High Definition）の４Ｋ動画を記録し及び再生する装置が実用化されている。さらに、将来には、７６８０×４３２０ドット又は８１９２×４３２０ドットの８Ｋ動画をも記録し及び再生する装置が実現されるであろう。これら動画のビットレートは、例えばＭＰＥＧ２方式、ＡＶＣ（Advanced Video Coding）方式又はＨＥＶＣ（High Efficiency Video Coding）方式などのコーデックを用いて圧縮され得る。しかし、仮に高い圧縮効率を得ることができたとしても、４Ｋ動画又は８Ｋ動画のビットレートは、一般的な（例えば民生用の）記録装置の転送レート又はネットワークの通信レートを上回ると想定される。４Ｋ動画又は８Ｋ動画のビットレートにマッチするほど高い転送レートを有する記録装置は、通常は高価であり、一般のユーザにとって利用可能ではない。

下記特許文献１は、高解像度の動画の伝送及び編集に多くの時間が掛かるという問題に着目し、１つの入力映像から生成される高解像度の動画シーケンスと低解像度の動画シーケンスとを別々に符号化して、２つの符号化ストリームを互いに対応付けて記録する技術を提案している。

特許第３８７６８９２号公報

しかしながら、上記特許文献１により提案されている技術では、高解像度の動画シーケンスとは別に低解像度の動画シーケンスが冗長的に存在する。そのため、全体としてのデータサイズは大きくなり、記録媒体のコストが増加し得る。記録された低解像度の動画シーケンスのみを再生する場合には、例えばネットワークの通信レートが不足するという問題は解決するものの、ユーザにとって４Ｋ動画又は８Ｋ動画という高解像度の動画を体験する機会は失われる。

従って、動画シーケンスを冗長的に提供することなく、高解像度の動画をよりユーザにとって扱い易い形式で記録し又は再生することを可能とする仕組みが提供されることが望ましい。

本開示によれば、ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより、複数のピクチャを含む動画を符号化する符号化部と、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成する生成部と、を備える画像処理装置が提供される。

また、本開示によれば、ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより符号化された動画の符号化ストリームのうちの、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを選択的に取得する取得部と、前記取得部により取得される符号化ストリームから前記動画を少なくとも部分的に復号する復号部と、を備える画像処理装置が提供される。

また、本開示によれば、ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより、複数のピクチャを含む動画を符号化することと、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成することと、を含む画像処理方法が提供される。

また、本開示によれば、ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより符号化された動画の符号化ストリームのうちの、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを選択的に取得することと、取得された符号化ストリームから前記動画を少なくとも部分的に復号することと、を含む画像処理方法が提供される。

本開示に係る技術によれば、動画シーケンスを冗長的に提供することなく、高解像度の動画をよりユーザにとって扱い易い形式で記録し又は再生することが可能となる。

一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 図１に示した画像処理装置の動画の記録に関連する論理的な機能構成の一例を示すブロック図である。 記録される動画のストリーム構成の一例について説明するための説明図である。 記録される動画のストリーム構成の他の例について説明するための説明図である。 一実施形態に係る動画の符号化から記録までの処理の流れの一例を示すフローチャートである。 図１に示した画像処理装置の動画の再生に関連する論理的な機能構成の一例を示すブロック図である。 再生される動画のストリーム構成の一例について説明するための説明図である。 再生される動画のストリーム構成の他の例について説明するための説明図である。 一実施形態に係る動画の復号から再生までの処理の流れの一例を示すフローチャートの前半部である。 一実施形態に係る動画の復号から再生までの処理の流れの一例を示すフローチャートの後半部である。 一実施形態に係るファイル構成の基本的なアイディアについて説明するための説明図である。 管理ファイルのファイルフォーマットの一例について説明するための説明図である。 管理ファイル内のサンプル記述エントリのシンタックスの一例について説明するための説明図である。 管理ファイル内のメタサンプルのシンタックスの一例について説明するための説明図である。 再生制御情報のシンタックスの一例について説明するため説明図である。 フルレート再生の一例について説明するため説明図である。 図１３に例示したフルレート再生における再生制御情報の内容について説明するため説明図である。 簡易再生の一例について説明するため説明図である。 簡易再生の他の例について説明するため説明図である。 図１６に例示した簡易再生における再生制御情報の内容について説明するため説明図である。 第１の応用例における装置の論理的な機能構成の一例を示すブロック図である。 第２の応用例における装置の論理的な機能構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
１−１．装置の例
１−２．ハードウェア構成例
２．動画の記録
２−１．機能構成例
２−２．記録処理の流れ
３．動画の再生
３−１．機能構成例
３−２．再生処理の流れ
４．ファイル構成
４−１．基本的な構成
４−２．記録のための情報
４−３．再生のための情報
５．応用例
５−１．第１の応用例
５−２．第２の応用例
６．まとめ

＜１．概要＞
［１−１．装置の例］
本開示に係る技術は、動画を記録し又は再生する様々な形態の画像処理装置に適用可能である。そのいくつかの例は、デジタルビデオカメラ、デジタルビデオレコーダ、デジタルテレビジョン装置、ＰＣ（Personal Computer）、スマートフォン、メディアサーバ及びメディアプレーヤなどである。それら装置に内蔵される画像処理用のモジュールとして、本開示に係る技術が実現されてもよい。次項では、デジタルビデオカメラを例にとって、一実施形態に係る画像処理装置のハードウェア構成の一例を説明する。

［１−２．ハードウェア構成例］
図１は、一実施形態に係る画像処理装置１０のハードウェア構成の一例を示すブロック図である。図１を参照すると、画像処理装置１０は、撮像モジュール１１、画像処理エンジン１３、フレームメモリ１５、エンコーダ１７、第１のメディアドライバ１９、第２のメディアドライバ２１、第１の記録媒体２３、第２の記録媒体２５、デコーダ２７、表示モジュール２９、入力モジュール３１、通信モジュール３３及びシステムコントローラ３５を備える。

撮像モジュール１１は、レンズ、撮像素子、ＡＤ変換器及び光学系の制御機構などを含む。撮像モジュール１１は、被写体を連続的に撮像することにより動画シーケンスを生成する。画像処理エンジン１３は、必要に応じて、ホワイトバランス、手ぶれ補正又は特殊なエフェクト処理（セピア化、モノクロ化など）などのユーザにより指定され得る任意の処理を、動画シーケンスに含まれる画像の各々について実行するプロセッサである。フレームメモリ１５は、画像処理装置１０により処理される画像を一時的に記憶する。

エンコーダ１７及びデコーダ２７は、動画圧縮用のコーデックを実装するモジュールである。本実施形態において、エンコーダ１７及びデコーダ２７は、フレーム内（イントラ）予測及びフレーム間（インター）予測を含む予測符号化に基づく１つ以上のコーデックをサポートする。予測符号化に基づくコーデックとは、例えば、ＭＰＥＧ２方式、ＡＶＣ方式又はＨＥＶＣ方式などであってよい。エンコーダ１７は、動画圧縮用のコーデックに従って、動画シーケンスを符号化する。デコーダ２７は、動画圧縮用のコーデックに従って、１つ以上の符号化ストリームから動画シーケンスを復号する。

第１のメディアドライバ１９は、第１の記録媒体２３へのファイルの書込み及び第１の記録媒体２３からのファイルの読出しを遂行するドライバである。第２のメディアドライバ２１は、第２の記録媒体２５へのファイルの書込み及び第２の記録媒体２５からのファイルの読出しを遂行するドライバである。これらメディアドライバ１９、２１は、内部にバッファを有し、ファイルの書込み及び読出しのタイミングを調整する。メディアドライバ１９、２１は、インターリーブ／デインターリーブ及び誤り訂正符号化／復号などの固有の機能を有していてもよい。第１の記録媒体２３及び第２の記録媒体２５は、例えば、半導体メモリ、光ディスク又はハードディスクなどの任意の種類の記録媒体であってよい。第１の記録媒体２３及び第２の記録媒体２５は、装置に内蔵されてもよく、着脱可能であってもよい。

表示モジュール２９は、画面、表示素子、ＤＡ変換器及び表示回路などを含む。表示モジュール２９は、表示順（display order）で画像を表示することにより、動画を再生する。入力モジュール３１は、タッチセンサ、ボタン、スイッチ又はホイールなどの入力デバイスを含み、ユーザが画像処理装置１０を操作し又は画像処理装置１０へ情報を入力するために使用される。通信モジュール３３は、画像処理装置１０と他の装置との間の有線又は無線の通信接続を確立する。システムコントローラ３５は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当し、画像処理装置１０の機能全般を制御する。

図１に示したように、画像処理装置１０は、少なくとも２つの記録媒体２３、２５を有する。画像処理装置１０において符号化される動画シーケンスの第１の部分は第１の記録媒体２３に書込まれ、第２の部分は第２の記録媒体２５に書込まれる。即ち、データの書込み先が２つの記録媒体２３、２５へ分散するため、各部分のビットレートが書込み時の転送レートを超過する可能性は減少する。

動画が再生される際には、再生の目的に応じて、第１の記録媒体２３からの第１の部分のみの再生、並びに、第１の記録媒体２３及び第２の記録媒体２５からの第１の部分及び第２の部分の双方の再生が選択可能である。本明細書では、前者を簡易再生、後者をフルレート再生という。例えば、遠隔の表示装置において動画が再生される場合に、ネットワークの通信レートが十分でなければ簡易再生が、通信レートが十分であればフルレート再生が選択され得る。また、ユーザは、動画を編集する場合に、簡易再生を通じて編集すべき範囲をおおまかに絞り込み、絞り込まれた範囲についてのみフルレート再生を実行することにより、読み込み時の転送レートの不足を原因とする待ち時間を回避することができる。

次節では、このような画像処理装置１０における動画の記録のための構成について詳細に説明する。さらに次の節では、画像処理装置１０における動画の再生のための構成について詳細に説明する。

＜２．動画の記録＞
［２−１．機能構成例］
図２は、図１に示した画像処理装置１０の動画の記録に関連する論理的な機能構成の一例を示すブロック図である。図２を参照すると、画像処理装置１０は、符号化制御部４０、画像取得部４２、前処理部４４、符号化部４６、ファイル生成部４８及び書込み部５０を備える。なお、説明の簡明さのために、本節では、音声の記録などの付随的な機能の説明は省略する。

（１）符号化制御部
符号化制御部４０は、画像取得部４２、前処理部４４、符号化部４６、ファイル生成部４８及び書込み部５０の動作を制御する。例えば、符号化制御部４０は、ユーザからの記録開始の指示に応じて、画像取得部４２に動画シーケンスの取得を開始させる。また、符号化制御部４０は、ユーザからの記録終了の指示に応じて、画像取得部４２に動画シーケンスの取得を終了させる。動画シーケンスのフレームレート、解像度、コーデックの種類及びファイル形式などの様々なパラメータが、符号化制御部４０により設定されてよい。符号化制御部４０は、本開示に係る技術に従って符号化された動画シーケンスを２つの記録媒体に書込むか又は１つの記録媒体にのみ書込むかを、解像度の設定又はユーザからの指示に応じて切り替えてもよい。

（２）画像取得部
画像取得部４２は、撮像モジュール１１（又はその他の動画ソース）から、動画シーケンスＳｑを取得する。動画シーケンスＳｑは、撮像順（表示順）で配列された複数のピクチャ（画像）を含む。画像取得部４２は、取得した動画シーケンスＳｑを前処理部４４へ出力する。

（３）前処理部
前処理部４４は、図１に示した画像処理エンジン１３を用いて、画像取得部４２から入力される動画シーケンスＳｑに含まれるピクチャの各々を対象として、ホワイトバランス、手ぶれ補正又は特殊なエフェクト処理などの任意の処理を実行する。なお、前処理部４４による処理は省略されてもよい。

（４）符号化部
符号化部４６は、予測符号化に基づく動画圧縮用のコーデックに従って、前処理部４４から入力される動画シーケンスＳｑを符号化することにより、符号化シーケンスＣＳｑを生成する。より具体的には、符号化部４６は、所定の数のピクチャごとに、ＧＯＰ（Group Of Picture）構造を設定する。ＧＯＰ構造は、各ピクチャへのピクチャタイプの割当てを定義する。第１のピクチャタイプは、ピクチャ内でイントラ予測のみが使用される（即ち、インター予測が使用されないため、他のピクチャを参照することなく符号化される）Ｉピクチャ（Intra Picture）である。第２のピクチャタイプは、インター予測が使用されるＰピクチャ（Predictive Picture）及びＢピクチャ（Bi-predictive/Bi-directional Picture）の一方又は双方である。１つのＧＯＰ構造に含まれるピクチャタイプは、典型的には、２種類（例えば、Ｉピクチャ及びＰピクチャ）又は３種類（例えば、Ｉピクチャ、Ｐピクチャ及びＢピクチャ）である。そして、符号化部４６は、Ｉピクチャについてはイントラ予測のみを使用して予測画像を生成し、予測誤差について直交変換、量子化及び可逆符号化等の処理を実行する。また、符号化部４６は、Ｐピクチャ及びＢピクチャについてはインター予測を使用して予測画像を生成し、予測誤差について直交変換、量子化及び可逆符号化等の処理を実行する。符号化部４６は、このような符号化処理の結果として生成される符号化シーケンスＣＳｑを、ファイル生成部４８へ出力する。

（５）ファイル生成部
ファイル生成部４８は、符号化部４６から入力される符号化シーケンスＣＳｑから、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームＳ１と、第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームＳ２とを、別個のストリームとして生成する。本実施形態において、第１の符号化ストリームＳ１は、符号化されたＩピクチャのビットストリームを含み、第２の符号化ストリームＳ２は、符号化されたＰピクチャ及びＢピクチャの少なくとも一方のビットストリームを含む。ファイル生成部４８は、第１の符号化ストリームＳ１を第１の動画ファイルＦ１の動画トラックに格納する。また、ファイル生成部４８は、第２の符号化ストリームＳ２を第２の動画ファイルＦ２の動画トラックに格納する。さらに、ファイル生成部４８は、各ピクチャのピクチャタイプ及び表示順を示すメタデータを、メタデータ用トラックに格納する。なお、ここでのトラックとの用語は、格納される個々のデータが時間軸と関連付けられることを意味する。本実施形態では、メタデータ用トラックは、第１の動画ファイルＦ１及び第２の動画ファイルＦ２とは異なる管理ファイルＦｃ内に存在するものとする。しかしながら、かかる例に限定されず、メタデータ用トラックは、例えば第１の動画ファイルＦ１内に存在してもよい。

図３Ａは、画像処理装置１０により記録される動画のストリーム構成の一例について説明するための説明図である。図３Ａの上段には、動画シーケンスＳｑが示されており、動画シーケンスＳｑ内の１５個のピクチャごとに１つのＧＯＰ構造が設定されている。１つのＧＯＰ構造は、１つのＩピクチャ、４つのＰピクチャ及び１０個のＢピクチャを含む。ファイル生成部４８は、このような動画シーケンスＳｑが符号化された後、符号化シーケンスＣＳｑから、第１の符号化ストリームＳ１及び第２の符号化ストリームＳ２を生成する。図３Ａの中段には、符号化されたＩピクチャのみを含む第１の符号化ストリームＳ１が示されている。図３Ａの下段には、符号化されたＰピクチャ及びＢピクチャを含む第２の符号化ストリームＳ２が示されている。なお、図中では、説明の簡明さのために、符号化されたピクチャは表示順で配列されている。しかしながら、実際には、各ＧＯＰ内のピクチャは、符号化の際にピクチャ間の参照関係に応じて符号化順（復号順）に並び替えられる。

画像処理装置１０により記録される動画のストリーム構成は、図３Ａの例に限定されない。図３Ｂの上段には、動画シーケンスＳｑが再び示されている。図３Ｂの中段に示した第１の符号化ストリームＳ３は、符号化されたＩピクチャ及びＰピクチャを含む。Ｐピクチャは、インター予測においてＩピクチャ又はＰピクチャを参照することにより符号化される。Ｐピクチャのインター予測において、Ｂピクチャは参照されない。図３Ｂの下段に示した第２の符号化ストリームＳ４は、符号化されたＢピクチャのみを含む。Ｂピクチャは、インター予測においてＩピクチャ、Ｐピクチャ又は他のＢピクチャを参照することにより符号化される。

一般的な知識として、上述したＧＯＰ構造を用いて平均的なシーンを符号化すると、Ｉピクチャ、Ｐピクチャ及びＢピクチャの符号量の比は、５対２対１になると言われている。この前提の下では、図３Ａの例のように符号化されたＩピクチャのみを含む第１の符号化ストリームＳ１の符号量は、元の符号化シーケンス全体の符号量の６３％程度に抑制される。

（６）書込み部
書込み部５０は、図１に示した第１のメディアドライバ１９を用いて、ファイル生成部４８により生成される第１の動画ファイルＦ１及び管理ファイルＦｃを第１の記録媒体２３に書込む。また、書込み部５０は、図１に示した第２のメディアドライバ２１を用いて、ファイル生成部４８により生成される第２の動画ファイルＦ２を第２の記録媒体２５に書込む。第１の動画ファイルＦ１及び第２の動画ファイルＦ２の書込みは、並列的に行われ得る。ここで書込まれるファイルのファイル構成の例について、後に詳細に説明する。

［２−２．記録処理の流れ］
図４は、一実施形態に係る動画の符号化から記録までの処理の流れの一例を示すフローチャートである。なお、ここでは、図３Ａに例示したようなストリーム構成で動画が記録されるものとする。

図４を参照すると、まず、符号化部４６は、動画シーケンスＳｑに１つのＧＯＰ構造を設定する（ステップＳ１１）。次に、符号化部４６は、ＧＯＰ構造内で符号化順に並び替えられたピクチャのうち、未処理の先頭の１つのピクチャ（以下、カレントピクチャという）を取得する（ステップＳ１３）。次に、符号化部４６は、カレントピクチャがＩピクチャであるか否かを判定する（ステップＳ１５）。

ステップＳ１５において、カレントピクチャがＩピクチャである場合には、符号化部４６は、インター予測を使用することなく、カレントピクチャを符号化する（ステップＳ１７）。ファイル生成部４８は、符号化部４６により符号化されたカレントピクチャのビットストリームをバッファリングする（ステップＳ１９）。また、ファイル生成部４８は、管理ファイルＦｃを更新する（ステップＳ２１）。例えば、カレントピクチャのピクチャタイプ及び表示順を示すメタデータが、管理ファイルＦｃに格納される。その後、処理中のＧＯＰ構造内に次のＩピクチャが存在する場合には、処理はステップＳ１３に戻り、次のＩピクチャについて上述した処理が繰り返される。次のＩピクチャが存在しない場合には、処理はステップＳ３３へ進む。

ステップＳ１５において、カレントピクチャがＩピクチャでない（Ｐピクチャ又はＢピクチャである）場合には、符号化部４６は、インター予測を使用して、カレントピクチャを符号化する（ステップＳ２５）。ファイル生成部４８は、符号化部４６により符号化されたカレントピクチャのビットストリームをバッファリングする（ステップＳ２７）。また、ファイル生成部４８は、管理ファイルＦｃを更新する（ステップＳ２９）。その後、処理中のＧＯＰ構造内に次のＰピクチャ又はＢピクチャが存在する場合には、処理はステップＳ１３に戻り、次のＰピクチャ又はＢピクチャについて上述した処理が繰り返される。次のＰピクチャ又はＢピクチャが存在しない場合には、処理はステップＳ３５へ進む。

ＧＯＰ構造内の全てのＩピクチャが符号化されると、書込み部５０は、第１の記録媒体２３に生成される第１の動画ファイルＦ１へ、Ｉピクチャのピクチャサンプル（ビットストリームの実体）を書込む（ステップＳ３３）。また、ＧＯＰ構造内の全てのＰピクチャ及びＢピクチャが符号化されると、書込み部５０は、第２の記録媒体２５に生成される第２の動画ファイルＦ２へ、Ｐピクチャ及びＢピクチャのピクチャサンプルを書込む（ステップＳ３５）。

その後、動画シーケンスＳｑ内に未処理のピクチャが残っている場合には（ステップＳ３７）、処理はステップＳ１１に戻り、動画シーケンスＳｑに次のＧＯＰ構造が設定される。全てのピクチャの符号化及び記録が終了すると、図４のフローチャートは終了する。

＜３．動画の再生＞
［３−１．機能構成例］
図５は、図１に示した画像処理装置１０の動画の再生に関連する論理的な機能構成の一例を示すブロック図である。図５を参照すると、画像処理装置１０は、復号制御部６０、読取り部６２、ストリーム取得部６４、復号部６６及び再生部６８を備える。なお、説明の簡明さのために、本節では、音声の再生などの付随的な機能の説明は省略する

（１）復号制御部
復号制御部６０は、読取り部６２、ストリーム取得部６４、復号部６６及び再生部６８の動作を制御する。例えば、復号制御部６０は、ユーザからの再生開始の指示に応じて、読取り部６２に記録媒体からの動画ファイルの読取りを開始させ、復号された動画を再生部６８に再生させる。また、復号制御部６０は、ユーザからの再生終了の指示に応じて、再生部６８に動画の再生を終了させる。再生の種別（簡易再生／フルレート再生）、スピード（何倍速か）及び時間的範囲などの様々なパラメータが、復号制御部６０により指示されてよい。復号制御部６０は、ユーザからの指示に従って、簡易再生及びフルレート再生のいずれかを指示してもよい。その代わりに、復号制御部６０は、動画の再生条件に応じて、簡易再生及びフルレート再生のいずれかを指示してもよい。動画の再生条件は、例えば、ハードウェアの性能（プロセッサの処理速度又は利用可能なメモリ容量など）、達成可能な通信レート及びコンテンツの種類のうち少なくとも１つを含み得る。

（２）読取り部
読取り部６２は、第１の記録媒体２３に記録されている１つ以上の動画の管理ファイルＦｃを読取り、読取った管理ファイルＦｃを復号制御部６０へ出力する。復号制御部６０は、管理ファイルＦｃを参照することにより、各動画が簡易再生及びフルレート再生をサポートしているかを識別する。また、読取り部６２は、簡易再生かフルレート再生かに関わらず、図１に示した第１のメディアドライバ１９を用いて、第１の動画ファイルＦ１を第１の記録媒体２３から読取り、読取った第１の動画ファイルＦ１をストリーム取得部６４へ出力する。また、読取り部６２は、フルレート再生が指示された場合に、図１に示した第２のメディアドライバ２１を用いて、第２の動画ファイルＦ２を第２の記録媒体２５から読取り、読取った第２の動画ファイルＦ２をストリーム取得部６４へ出力する。第１の動画ファイルＦ１及び第２の動画ファイルＦ２の読取りは、並列的に行われ得る。

（３）ストリーム取得部
ストリーム取得部６４は、再生される動画の第１の符号化ストリームＳ１及び第２の符号化ストリームＳ２を選択的に取得する。上述したように、第１の符号化ストリームＳ１は、第１のピクチャタイプを有するピクチャのビットストリームを含み、第２の符号化ストリームＳ２は、第２のピクチャタイプを有するピクチャのビットストリームを含む。ここでは、第１の符号化ストリームＳ１は符号化されたＩピクチャのみのビットストリームを、第２の符号化ストリームＳ２は符号化されたＰピクチャ及びＢピクチャのビットストリームをそれぞれ含むものとする。

より具体的には、ストリーム取得部６４は、簡易再生かフルレート再生かに関わらず、第１の動画ファイルＦ１の動画トラックから、第１の符号化ストリームＳ１を取得する。また、ストリーム取得部６４は、フルレート再生が指示された場合に、第２の動画ファイルＦ２の動画トラックから、第２の符号化ストリームＳ２を取得する。ストリーム取得部６４は、簡易再生が指示された場合には、第１の符号化ストリームＳ１を復号部６６へ出力する。また、ストリーム取得部６４は、フルレート再生が指示された場合には、第１の符号化ストリームＳ１及び第２の符号化ストリームＳ２の双方を、復号部６６へ出力する。さらに、ストリーム取得部６４は、各ピクチャのピクチャタイプ及び表示順を示すメタデータを管理ファイルＦｃ内のメタデータ用トラックから取得し、取得したメタデータを復号部６６へ出力する。

（４）復号部
復号部６６は、ストリーム取得部６４により取得される符号化ストリームから動画シーケンスを少なくとも部分的に復号する。より具体的には、復号部６６は、簡易再生が指示された場合には、第１の符号化ストリームＳ１からＩピクチャを復号することにより、Ｉピクチャのみを含む動画シーケンスｓＳｑを生成する。この場合、復号部６６は、Ｐピクチャ及びＢピクチャを復号しない。Ｉピクチャの復号に際して、復号部６６は、可逆復号、逆量子化及び逆直交変換等の処理を実行することによりビットストリームから復元される予測誤差を、イントラ予測のみを使用して生成される予測画像に加算する。そして、復号部６６は、生成した動画シーケンスｓＳｑを再生部６８へ出力する。一方、復号部６６は、フルレート再生が指示された場合には、第１の符号化ストリームＳ１からＩピクチャを復号し、第２の符号化ストリームＳ２からＰピクチャ及びＢピクチャを復号することにより、Ｉピクチャ、Ｐピクチャ及びＢピクチャを含む動画シーケンスＳｑを生成する。Ｐピクチャ及びＢピクチャの復号に際して、復号部６６は、可逆復号、逆量子化及び逆直交変換等の処理を実行することによりビットストリームから復元される予測誤差を、インター予測を使用して生成される予測画像に加算する。インター予測においては、復号済みのＩピクチャも参照される。そして、復号部６６は、生成した動画シーケンスＳｑを再生部６８へ出力する。

（５）再生部
再生部６８は、復号部６６により復号される動画を再生する。より具体的には、再生部６８は、簡易再生が指示された場合には、復号部６６から入力される動画シーケンスｓＳｑに含まれるＩピクチャのみを、表示モジュール２９の画面に表示させる。簡易再生において、再生部６８は、Ｐピクチャ及びＢピクチャの表示タイミングで直前のＩピクチャの表示を維持させてもよい。この場合、動画は、低フレームレートで再生されることになる。その代わりに、簡易再生において、再生部６８は、Ｐピクチャ及びＢピクチャの表示タイミングで後続するＩピクチャを前倒して再生してもよい。この場合、動画のいわゆる早見が可能となる。復号制御部６０は、例えばユーザからの指示に従って、低フレームレートでの再生又は早見のいずれかを再生部６８に指示してもよい。一方、再生部６８は、フルレート再生が指示された場合には、復号部６６から入力される動画シーケンスＳｑに含まれるＩピクチャ、Ｐピクチャ及びＢピクチャを、表示モジュール２９の画面に表示させる。

図６Ａは、再生される動画のストリーム構成の一例について説明するための説明図である。図６Ａの上段には、符号化されたＩピクチャのみを含む第１の符号化ストリームＳ１が示されている。図６Ａの中段には、符号化されたＰピクチャ及びＢピクチャを含む第２の符号化ストリームＳ２が示されている。図６Ａの下段には、動画シーケンスＳｑが示されている。復号部６６は、フルレート再生において、第１の符号化ストリームＳ１及び第２の符号化ストリームＳ２に含まれるＩピクチャ、Ｐピクチャ及びＢピクチャを復号し、このような動画シーケンスＳｑを再構築する。なお、図中では、説明の簡明さのために、符号化ストリーム内でピクチャは表示順で配列されている。しかしながら、実際には、復号前のピクチャはピクチャ間の参照関係に応じて復号順に配列されており、復号後に表示順に並び替えられる。

画像処理装置１０により再生される動画のストリーム構成は、図６Ａの例に限定されない。図６Ｂの上段に示した第１の符号化ストリームＳ３は、符号化されたＩピクチャ及びＰピクチャを含む。図６Ｂの中段に示した第２の符号化ストリームＳ４は、符号化されたＢピクチャのみを含む。図６Ｂの下段には、第１の符号化ストリームＳ３及び第２の符号化ストリームＳ４から復号されるＩピクチャ、Ｐピクチャ及びＢピクチャを含む動画シーケンスＳｑが示されている

［３−２．再生処理の流れ］
図７Ａ及び図７Ｂは、一実施形態に係る動画の復号から再生までの処理の流れの一例を示すフローチャートである。なお、ここでは、図６Ａに例示したようなストリーム構成で動画が記録されているものとする。

図７Ａを参照すると、まず、ストリーム取得部６４は、指定された動画のメタデータを、管理ファイルＦｃ内のメタデータ用トラックから取得する（ステップＳ５１）。そして、ストリーム取得部６４は、取得したメタデータを復号部６６へ出力する。

その後の処理は、復号制御部６０により簡易再生及びフルレート再生のいずれが指示されたかに依存して分岐する（ステップＳ５３）。簡易再生が指示された場合には、ストリーム取得部６４は、第１の記録媒体２３から読み取られる動画ファイルＦ１の動画トラックから、第１の符号化ストリームＳ１を取得する（ステップＳ５５）。そして、ストリーム取得部６４は、取得した第１の符号化ストリームＳ１を復号部６６へ出力する。一方、フルレート再生が指示された場合には、ストリーム取得部６４は、第１の記録媒体２３から読み取られる動画ファイルＦ１の動画トラックから第１の符号化ストリームＳ１を取得すると共に、第２の記録媒体２５から読み取られる動画ファイルＦ２の動画トラックから、第２の符号化ストリームＳ２を取得する（ステップＳ５７）。そして、ストリーム取得部６４は、第１の符号化ストリームＳ１及び第２の符号化ストリームＳ２の双方を、復号部６６へ出力する。

次に、復号部６６は、管理ファイルＦｃから取得されたメタデータを参照し、復号すべき動画シーケンスのＧＯＰ構造を認識する（ステップＳ５９）。次に、図７Ｂを参照すると、復号部６６は、メタデータを使用して、復号順で未処理の先頭のピクチャ（以下、カレントピクチャという）を識別する（ステップＳ６１）。その後の処理は、カレントピクチャがＩピクチャであるか否かに依存して分岐する（ステップＳ６３）。

カレントピクチャがＩピクチャである場合、復号部６６は、第１の符号化ストリームＳ１からピクチャサンプルを取得し（ステップＳ６７）、インター予測を使用することなくピクチャサンプルからカレントピクチャを復号する（ステップＳ６９）。

カレントピクチャがＩピクチャではない場合において、フルレート再生が指示されたときは、復号部６６は、第２の符号化ストリームＳ２からピクチャサンプルを取得し（ステップＳ７１）、インター予測を使用してカレントピクチャを復号する（ステップＳ７３）。ステップＳ７１及びＳ７３の処理は、簡易再生が指示された場合には実行されない（ステップＳ６５）。

復号部６６によりカレントピクチャが復号されると、再生部６８は、メタデータにより示される表示順に従って、復号されたピクチャを再生する（ステップＳ７５）。表示タイミングが到来していないピクチャは、一時的にバッファリングされ得る。一方、再生部６８は、簡易再生が指示された場合のＰピクチャ又はＢピクチャの表示タイミングにおいて、これらピクチャを表示する代わりにオフセットを挿入し得る（ステップＳ７７）。

その後、復号制御部６０により再生を終了すべきか否かが判定され、再生が終了されない場合には次のピクチャについてステップＳ６１以降の処理が繰り返される（ステップＳ７９）。一方、再生が終了される場合には、図７Ａ及び図７Ｂのフローチャートは終了する。

＜４．ファイル構成＞
［４−１．基本的な構成］
本節では、上述した動画の記録及び再生の仕組みを実現するためのファイル構成について説明する。

図８は、本実施形態におけるファイル構成の基本的なアイディアについて説明するための説明図である。図８の上段には管理ファイルＦｃが示されている。管理ファイルＦｃは、ヘッダ領域Ｒｃ１及びデータ領域Ｒｃ２を有する。管理ファイルＦｃのヘッダ領域Ｒｃ１は、第１の動画ファイルＦ１への参照情報Ｒｅｆ１、第２の動画ファイルＦ２への参照情報Ｒｅｆ２及びメタデータに関連する定義情報Ｄｅｆを含む。

第１の動画ファイルＦ１は、ヘッダ領域Ｒ１１及びデータ領域Ｒ１２を有する。第１の動画ファイルＦ１のデータ領域Ｒ１２は、動画トラックＴｒ１を含む。動画トラックＴｒ１には、第１の符号化ストリームＳ１の一連のピクチャサンプルが格納される。第２の動画ファイルＦ２は、ヘッダ領域Ｒ２１及びデータ領域Ｒ２２を有する。第２の動画ファイルＦ２のデータ領域Ｒ２２は、動画トラックＴｒ２を含む。動画トラックＴｒ２には、第２の符号化ストリームＳ２の一連のピクチャサンプルが格納される。

管理ファイルＦｃのデータ領域Ｒｃ２は、メタデータ用トラックＴｒ３を含む。メタデータ用トラックＴｒ３には、第１の動画ファイルＦ１及び第２の動画ファイルＦ２内のピクチャサンプルの各々についてのメタデータが格納される。図８の例では、第２の動画ファイルＦ２内のピクチャサンプルＳａ１、Ｓａ３及びＳａ４についてのメタデータＭｄ１、Ｍｄ３及びＭｄ４、並びに第１の動画ファイルＦ１内のピクチャサンプルＳａ２についてのメタデータＭｄ２が、メタデータ用トラックＴｒ３に格納されている。メタデータの各々は、例えば、各ピクチャのピクチャタイプ及びＧＯＰ内の表示順を示し得る。

動画ファイルＦ１及びＦ２並びに管理ファイルＦｃは、既存のいかなる種類のマルチメディアファイルフォーマットに従って生成されてもよい。例えば、ＱｕｉｃｋＴｉｍｅ（登録商標）フォーマット及びＱｕｉｃｋＴｉｍｅベースのＭＰ４フォーマットは、データを時間軸と関連付けて記録するためのトラックという概念を有する。動画の符号化ストリームは、動画トラックに格納され得る。さらに、本実施形態では、上述したように、管理ファイルＦｃ内のメタデータ用トラックにメタデータが格納される。かかる構成によれば、既存のトラックの概念をわずかに拡張するだけで、メタデータを時間軸と関連付けて記録する仕組みを少ないコストで実現することができる。

［４−２．記録のための情報］
図９は、管理ファイルのファイルフォーマットの一例について説明するための説明図である。ここでは、一例として、管理ファイルＦｃのフォーマットは、ＱｕｉｃｋＴｉｍｅフォーマットの拡張として定義されるものとする。ＱｕｉｃｋＴｉｍｅフォーマットでは、データは、アトム（ＭＰ４においてはボックス）と呼ばれるオブジェクトに格納され、オブジェクト単位で記録される。１つのファイル内でアトムはツリー構造を形成し、親アトムは子アトムを含む。各アトムのタイプは、アルファベット４文字の識別子によって識別される。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しないアトムは、図示されていない。

図９の例において、管理ファイルＦｃのヘッダ領域Ｒｃ１は、ｍｏｏｖ（movie）アトムに相当する。データ領域Ｒｃ２は、ｍｄａｔ（media data）アトムに相当する。ｍｏｏｖアトムは、第１の符号化ストリームＳ１の動画トラックに対応するｔｒａｋ（track）アトムＴａ１、第２の符号化ストリームＳ２の動画トラックに対応するｔｒａｋアトムＴａ２、及びメタデータ用トラックに対応するｔｒａｋアトムＴａ３を含む。ｔｒａｋアトムＴａ３は、ｔｒａｋアトムＴａ１への参照情報を有するｔｒｅｆ（track reference）アトムＲｅｆ１及びｔｒａｋアトムＴａ２への参照情報を有するｔｒｅｆアトムＲｅｆ２を含む。

さらに、ｔｒａｋアトムＴａ３内のｍｄｉａ（media）アトムは、ｓｔｓｄ（sample description）アトム内に、３つのサンプル記述エントリＥｎ１、Ｅｎ２及びＥｎ３を含む。これらサンプル記述エントリＥｎ１、Ｅｎ２及びＥｎ３は、ｍｄａｔアトム内に格納されるメタデータの種類及び形式を宣言するために使用される。例えば、サンプル記述エントリＥｎ１は、Ｂピクチャのためのメタデータがｍｄａｔアトム内に格納されることを宣言する（data_format＝“meta_type1”）。サンプル記述エントリＥｎ２は、Ｉピクチャのためのメタデータがｍｄａｔアトム内に格納されることを宣言する（data_format＝“meta_type2”）。サンプル記述エントリＥｎ３は、Ｐピクチャのためのメタデータがｍｄａｔアトム内に格納されることを宣言する（data_format＝“meta_type3”）。このようにｓｔｓｄアトムがピクチャタイプごとに別々のサンプル記述エントリを含むことにより、デコーダは、各動画がどのようなピクチャタイプを有するピクチャから構成されているのか（例えば、Ｉ／Ｐのみなのか、Ｉ／Ｐ／Ｂなのか、など）を、メタデータ用トラックの実体をスキャンすることなく迅速に把握することができる。

ｍｄａｔアトムは、メタデータ用トラックの実体に相当するアトムＴｒ３を含む。当該アトムＴｒ３は、個々のピクチャサンプルにそれぞれ対応する一連のメタサンプルＭｄ１、Ｍｄ２、Ｍｄ３、Ｍｄ４、…を含む。メタサンプルＭｄ１は、サンプル記述エントリＥｎ１により宣言された形式で記述される、ピクチャサンプルＳａ１（図８参照）についてのメタデータを含む。メタサンプルＭｄ２は、サンプル記述エントリＥｎ２により宣言された形式で記述される、ピクチャサンプルＳａ２についてのメタデータを含む。メタサンプルＭｄ３は、サンプル記述エントリＥｎ１により宣言された形式で記述される、ピクチャサンプルＳａ３についてのメタデータを含む。メタサンプルＭｄ４は、サンプル記述エントリＥｎ３により宣言された形式で記述される、ピクチャサンプルＳａ４についてのメタデータを含む。各メタサンプルは、例えばｍｏｏｖアトム内のｓｔｂｌ（sample table）アトム内に含まれるｓｔｔｓ（time-to-sample）アトム（図示せず）によって、メディア時間の時間軸に関連付られる。

図１０は、管理ファイルＦｃ内のサンプル記述エントリのシンタックスの一例について説明するための説明図である。図１０のシンタックスＳｙｎ１は、ｓｔｓｄアトムのシンタックスを示している。シンタックスＳｙｎ１は、フィールド“Number of Entries”により示される数のサンプル記述エントリ（“Meta Sample Description entry”）を含む。シンタックスＳｙｎ２は、サンプル記述エントリのシンタックスを示している。シンタックスＳｙｎ２内のフィールド“Data Format”は、ｍｄａｔアトム内に格納されるメタデータの種類についての宣言であり、本実施形態では、“meta_type1”、“meta_type2”及び“meta_type3”のいずれかの値を示す。シンタックスＳｙｎ２内のユーザ定義フィールド“Meta ID”は、フィールド“Data Format”により宣言された種類のメタデータの形式を示す。図１０の例では、メタデータの各々は、ピクチャタイプ（Picture Type）、表示順（Display Order）及びサンプル内のピクチャ数（Number of Pictures）のうちの１つ以上を記述し得る。

図１１は、管理ファイルＦｃ内のメタサンプルのシンタックスの一例について説明するための説明図である。図１１のシンタックスＳｙｎ３は、１つのメタサンプルのシンタックスを示している。シンタックスＳｙｎ３は、ピクチャタイプ、サンプル内のピクチャ数、及び各ピクチャの表示順をそれぞれ示すフィールドを含む。ピクチャタイプは、“Ｉ”、“Ｐ”及び“Ｂ”のいずれかの値を示す。１つのＧＯＰ構造が１５個のピクチャを含む場合には、表示順は、０〜１４のいずれかの値を示す。例えば、図８を再び参照すると、メタサンプル（メタデータ）Ｍｄ１において、ピクチャタイプは“Ｂ”、ピクチャ数は“２”、表示順は“１”及び“２”を示し得る。メタサンプルＭｄ２において、ピクチャタイプは“Ｉ”、ピクチャ数は“１”、表示順は“３”を示し得る。なお、メタサンプルのシンタックスはかかる例に限定されない。例えば、ピクチャ数を示すフィールドが省略され、サンプル内の先頭のピクチャの表示順のみが示されてもよい。

復号部６６は、このような管理ファイルＦｃ内のメタデータを参照し、動画シーケンス内の各ピクチャを対応するピクチャサンプルから復号順で復号した後、復号したピクチャを表示順に並び替える。復号の対象でないピクチャは、ピクチャタイプを参照することにより判定され、スキップされ得る。

［４−３．再生のための情報］
（１）再生制御情報
復号制御部６０は、動画の再生を制御するために、どのストリームから復号されるピクチャをいつ表示すべきかを時間軸に沿って示す再生制御情報を生成し得る。一例として、再生制御情報は、ＱｕｉｃｋＴｉｍｅフォーマットのｅｄｔｓ（edit）アトムとして生成されてよい。

図１２は、再生制御情報のシンタックスの一例について説明するため説明図である。図１２を参照すると、シンタックスＳｙｎ４は、フィールド“Number of Entries”により示される数のエントリ（“Edit List entry”）を含む。シンタックスＳｙｎ５は、各エントリのシンタックスを示している。再生制御情報の各エントリは、セグメント時間長（Segment duration）、メディア時間（Media time）及びメディアレート（Media rate）を記述し得る。セグメント長フィールドは、当該セグメントの時間長を示す。メディア時間フィールドは、メディア時間における当該セグメントの開始時刻を示す。メディアレートは、当該セグメントの再生スピードを示す。以下、フルレート再生における再生制御情報及び簡易再生における再生制御情報の具体的なデータ例について説明する。

（２）フルレート再生
図１３は、フルレート再生の一例について説明するため説明図である。図１３の上段には、第１の動画ファイルＦ１内の動画トラックに格納される第１の符号化ストリームＳ１、及び第２の動画ファイルＦ２内の動画トラックに格納される第２の符号化ストリームＳ２が示されている。第１の符号化ストリームＳ１は、ピクチャＩ２、Ｉ１７、…を含む。第２の符号化ストリームＳ２は、ピクチャＢ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４、Ｐ８、Ｂ６、Ｂ７、Ｐ１１、Ｂ９、Ｂ１０、Ｐ１４、Ｂ１２、Ｂ１３、Ｂ１５、Ｂ１６、…を含む。なお、ここでピクチャに付与されている符号のアルファベットはピクチャタイプを、数字は表示順をそれぞれ表す。

管理ファイルＦｃ内のメタデータは、これらピクチャをメディア時間の時間軸と関連付ける。例えば、図１３の中段に示したように、ピクチャＢ０及びＢ１は、時刻０〜Ｔｍ１に関連付けられる。ピクチャＩ２は、時刻Ｔｍ１〜Ｔｍ２に関連付けられる。ピクチャＢ３及びＢ４は、時刻Ｔｍ２〜Ｔｍ３に関連付けられる。ピクチャＰ５は、時刻Ｔｍ３〜Ｔｍ４に関連付けられる。

図１３の下段には、再生時間（Playback Time）の時間軸に沿った各ピクチャの表示タイミングが示されている。ここに示したフルレート再生は、図１４に示すような再生制御情報に従って制御され得る。図１４を参照すると、ｅｄｔｓアトムＥｄ１は、２つのｅｌｓｔ（edit list）アトムＥｌ１及びＥｌ２を含む。

ｅｌｓｔアトムＥｌ１は、４つのエントリを有する。第１のエントリ＃１のセグメント時間長はオフセット（あるいは空白セグメント）を意味する特殊な値“ＦＦＦＦ”を、メディア時間はゼロをそれぞれ示す。第２のエントリ＃２のセグメント時間長はＴｐ２とＴｐ１との時間差を、メディア時間はＴｍ１をそれぞれ示す。第３のエントリ＃３のセグメント時間長はオフセットを意味する値“ＦＦＦＦ”を、メディア時間はＴｍ２をそれぞれ示す。第４のエントリ＃４のセグメント時間長はＴｐ１２とＴｐ１１との時間差を、メディア時間はＴｍ１１をそれぞれ示す。メディアレートは、一例として、全てのエントリについて、通常のスピードでの再生を意味する“１”に設定されてよい。

ｅｌｓｔアトムＥｌ２は、１１個のエントリを有する。第１のエントリ＃１のセグメント時間長はＴｐ１を、メディア時間はゼロをそれぞれ示す。第２のエントリ＃２のセグメント時間長はオフセットを意味する値“ＦＦＦＦ”を、メディア時間はＴｍ１をそれぞれ示す。第３のエントリ＃３のセグメント時間長はＴｐ３とＴｐ２との時間差を、メディア時間はＴｍ２をそれぞれ示す。第４のエントリ＃４のセグメント時間長はＴｐ４とＴｐ３との時間差を、メディア時間はＴｍ３をそれぞれ示す。第５のエントリ＃５のセグメント時間長はＴｐ５とＴｐ４との時間差を、メディア時間はＴｍ４をそれぞれ示す。第６のエントリ＃６のセグメント時間長はＴｐ６とＴｐ５との時間差を、メディア時間はＴｍ５をそれぞれ示す。第７のエントリ＃７のセグメント時間長はＴｐ７とＴｐ６との時間差を、メディア時間はＴｍ６をそれぞれ示す。第８のエントリ＃８のセグメント時間長はＴｐ８とＴｐ７との時間差を、メディア時間はＴｍ７をそれぞれ示す。第９のエントリ＃９のセグメント時間長はＴｐ９とＴｐ８との時間差を、メディア時間はＴｍ８をそれぞれ示す。第１０のエントリ＃１０のセグメント時間長はＴｐ１０とＴｐ９との時間差を、メディア時間はＴｍ９をそれぞれ示す。第１１のエントリ＃１１のセグメント時間長はＴｐ１１とＴｐ１０との時間差を、メディア時間はＴｍ１０をそれぞれ示す。

このような再生制御情報に従って、再生部６８は、図１３の下段に示したような動画シーケンスのフルレート再生を実行し得る。

（３）簡易再生
簡易再生は、例えば、図１４に示したｅｌｓｔアトムＥｌ１のみを使用することにより実行され得る。図１５は、簡易再生の一例について説明するため説明図である。図１５の上段には、第１の符号化ストリームＳ１が再び示されている。第１の符号化ストリームＳ１は、ピクチャＩ２、Ｉ１７、…を含む。簡易再生の場合、第２の符号化ストリームＳ２は取得されない。管理ファイルＦｃ内のメタデータは、図１５の中段に示したように、ピクチャＩ２を時刻Ｔｍ１〜Ｔｍ２に、ピクチャＩ１７を時刻Ｔｍ１１〜Ｔｍ１２にそれぞれ関連付ける。図１５の下段には、簡易再生の様子が示されている。ここでは、ｅｌｓｔアトムＥｌ１に従って、時刻０〜Ｔｐ１においてオフセットが挿入され、時刻Ｔｐ１〜Ｔｐ２においてピクチャＩ２が表示され、時刻Ｔｐ２〜Ｔｐ１１においてオフセットが挿入され、時刻Ｔｐ１１〜Ｔｐ１２においてピクチャＩ１７が表示される。

図１６は、簡易再生の他の例について説明するため説明図である。ここでは、図３Ｂに例示したようなストリーム構成を前提とし、符号化されたＩピクチャ及びＰピクチャを含む第１の符号化ストリームＳ３からの簡易再生が実行される。図１６の上段には、第１の符号化ストリームＳ３が示されている。第１の符号化ストリームＳ３は、ピクチャＩ２、Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｉ１７、…を含む。簡易再生の場合、第２の符号化ストリームＳ４は取得されない。管理ファイルＦｃ内のメタデータは、図１６の中段に示したように、ピクチャＩ２を時刻Ｔｍ１〜Ｔｍ２に、ピクチャＰ５を時刻Ｔｍ３〜Ｔｍ４に、ピクチャＰ８を時刻Ｔｍ５〜Ｔｍ６に、ピクチャＰ１１を時刻Ｔｍ７〜Ｔｍ８に、ピクチャＰ１４を時刻Ｔｍ９〜Ｔｍ１０に、ピクチャＩ１７を時刻Ｔｍ１１〜Ｔｍ１２にそれぞれ関連付ける。ここでの簡易再生は、図１７に示すような再生制御情報に従って制御され得る。

図１７を参照すると、ｅｌｓｔアトムＥｌ３が示されている。ｅｌｓｔアトムＥｌ３は、１２個のエントリを有する。第１のエントリ＃１のセグメント時間長はオフセットを意味する値“ＦＦＦＦ”を、メディア時間はゼロをそれぞれ示す。第２のエントリ＃２のセグメント時間長はＴｐ２とＴｐ１との時間差を、メディア時間はＴｍ１をそれぞれ示す。
第３のエントリ＃３のセグメント時間長はオフセットを意味する値“ＦＦＦＦ”を、メディア時間はＴｍ２をそれぞれ示す。第４のエントリ＃４のセグメント時間長はＴｐ４とＴｐ３との時間差を、メディア時間はＴｍ３をそれぞれ示す。第５のエントリ＃５のセグメント時間長はオフセットを意味する値“ＦＦＦＦ”を、メディア時間はＴｍ４をそれぞれ示す。第６のエントリ＃６のセグメント時間長はＴｐ６とＴｐ５との時間差を、メディア時間はＴｍ５をそれぞれ示す。第７のエントリ＃７のセグメント時間長はオフセットを意味する値“ＦＦＦＦ”を、メディア時間はＴｍ６をそれぞれ示す。第８のエントリ＃８のセグメント時間長はＴｐ８とＴｐ７との時間差を、メディア時間はＴｍ７をそれぞれ示す。第９のエントリ＃９のセグメント時間長はオフセットを意味する値“ＦＦＦＦ”を、メディア時間はＴｍ８をそれぞれ示す。第１０のエントリ＃１０のセグメント時間長はＴｐ１０とＴｐ９との時間差を、メディア時間はＴｍ９をそれぞれ示す。第１１のエントリ＃１１のセグメント時間長はオフセットを意味する値“ＦＦＦＦ”を、メディア時間はＴｍ１０をそれぞれ示す。第１２のエントリ＃１２のセグメント時間長はＴｐ１２とＴｐ１１との時間差を、メディア時間はＴｍ１１をそれぞれ示す。図１６の下段には、簡易再生の様子が示されている。ここでは、ｅｌｓｔアトムＥｌ３に従って、Ｉピクチャ及びＰピクチャのみが表示される。

＜５．応用例＞
上述したように、本開示に係る技術は、動画を記録し又は再生する様々な形態の画像処理装置に適用可能である。本節では、その２つの応用例について説明する。

［５−１．第１の応用例］
第１の応用例において、本開示に係る技術は、携帯端末１００により実現される。携帯端末１００は、無線又は有線の通信チャネルを介して外部のコンテンツサーバから取得される動画シーケンスを再生する端末である。携帯端末１００は、動画の再生条件に応じて、再生の種別を切り替える。図１８は、第１の応用例における装置の論理的な機能構成の一例を示すブロック図である。図１８を参照すると、携帯端末１００は、再生制御部１６０、通信部１６２、ストリーム取得部１６４、復号部１６６、再生部１６８及びユーザインタフェース部１７０を備える。

（１）再生制御部
再生制御部１６０は、通信部１６２、ストリーム取得部１６４、復号部１６６及び再生部１６８の動作を制御する。例えば、再生制御部１６０は、ユーザからの再生開始の指示に応じて、動画ファイルの配信を要求する要求信号を、通信部１６２からコンテンツサーバＳｖへ送信させる。

再生制御部１６０は、動画の再生条件に応じて、再生の種別を切り替える。例えば、再生制御部１６０は、携帯端末１００とコンテンツサーバＳｖとの間の通信チャネルＣｈにおいて達成可能な通信レートが十分に高くない場合には、管理ファイルＦｃ及び第１の動画ファイルＦ１のみの配信を要求する。その代わりに、再生制御部１６０は、再生しようとする動画のビットレートと比較して携帯端末１００のハードウェアの性能が十分に高くない場合に、管理ファイルＦｃ及び第１の動画ファイルＦ１のみの配信を要求してもよい。また、再生制御部１６０は、動画の受信のために課金される通信料を抑制することをユーザが望む場合に、管理ファイルＦｃ及び第１の動画ファイルＦ１のみの配信を要求してもよい。これらのケースでは、再生制御部１６０は、再生部１６８に動画の簡易再生を実行させる。

一方、再生制御部１６０は、通信チャネルＣｈにおいて達成可能な通信レートが十分に高い場合には、管理ファイルＦｃ及び第１の動画ファイルＦ１に加えて、第２の動画ファイルＦ２の配信を要求する。その代わりに、再生制御部１６０は、再生しようとするコンテンツの種類が高フレームレートでの再生に適している場合（例えば、シネマではなくスポーツの動画である場合など）に、管理ファイルＦｃ及び第１の動画ファイルＦ１に加えて、第２の動画ファイルＦ２の配信を要求してもよい。これらのケースでは、再生制御部１６０は、再生部１６８に動画のフルレート再生を実行させる。

（２）通信部
通信部１６２は、無線又は有線の通信チャネルＣｈを介して、コンテンツサーバＳｖと通信する。例えば、通信部１６２は、簡易再生かフルレート再生かに関わらず、第１の動画ファイルＦ１をコンテンツサーバＳｖから受信し、受信した第１の動画ファイルＦ１をストリーム取得部１６４へ出力する。また、通信部１６２は、フルレート再生が指示された場合に、第２の動画ファイルＦ２をコンテンツサーバＳｖから受信し、受信した動画ファイルＦ２をストリーム取得部１６４へ出力する。また、通信部１６２は、コンテンツサーバＳｖから管理ファイルＦｃを受信する。

（３）ストリーム取得部
ストリーム取得部１６４は、再生される動画の第１の符号化ストリームＳ１及び第２の符号化ストリームＳ２を選択的に取得する。より具体的には、ストリーム取得部１６４は、簡易再生かフルレート再生かに関わらず、通信部１６２により受信される第１の動画ファイルＦ１の動画トラックから、第１の符号化ストリームＳ１を取得する。また、ストリーム取得部１６４は、フルレート再生が指示された場合に、通信部１６２により受信される第２の動画ファイルＦ２の動画トラックから、第２の符号化ストリームＳ２を取得する。さらに、ストリーム取得部１６４は、各ピクチャのピクチャタイプ及び表示順を示すメタデータを管理ファイルＦｃ内のメタデータ用トラックから取得する。

（４）復号部
復号部１６６は、簡易再生が指示された場合には、第１の符号化ストリームＳ１からＩピクチャを復号することにより、Ｉピクチャのみを含む動画シーケンスｓＳｑを生成する。そして、復号部１６６は、生成した動画シーケンスｓＳｑを再生部１６８へ出力する。一方、復号部１６６は、フルレート再生が指示された場合には、第１の符号化ストリームＳ１からＩピクチャを復号し、第２の符号化ストリームＳ２からＰピクチャ及びＢピクチャを復号することにより、Ｉピクチャ、Ｐピクチャ及びＢピクチャを含む動画シーケンスＳｑを生成する。そして、復号部１６６は、生成した動画シーケンスＳｑを再生部１６８へ出力する。

（５）再生部
再生部１６８は、簡易再生が指示された場合には、復号部１６６から入力される動画シーケンスｓＳｑに含まれるＩピクチャのみを、再生制御情報に従って表示順で画面に表示させる。一方、再生部１６８は、フルレート再生が指示された場合には、復号部１６６から入力される動画シーケンスＳｑに含まれるＩピクチャ、Ｐピクチャ及びＢピクチャを、再生制御情報に従って表示順で画面に表示させる。

（６）ユーザインタフェース部
ユーザインタフェース部１７０は、動画の再生に関連するユーザ入力を検出する。例えば、ユーザインタフェース部１７０は、再生開始の指示、再生終了の指示、再生すべき動画の指定、再生の種別の指定、及び再生条件の設定などに対応するユーザ入力を検出し得る。

第１の応用例によれば、様々な動画の再生条件に応じて、動画の再生の種別が簡易再生とフルレート再生との間で切り替えられる。従って、高解像度の動画のビットレートが再生条件に見合わないことを原因する再生時の待ち時間の発生若しくはエラーの発生を回避し、又は過剰な通信料が課金されることを防止することができる。

［５−２．第２の応用例］
第２の応用例において、本開示に係る技術は、動画編集装置２００により実現される。動画編集装置２００は、ユーザが動画を編集する際に利用する装置である。図１９は、第２の応用例における装置の論理的な機能構成の一例を示すブロック図である。図１９を参照すると、動画編集装置２００は、編集制御部２４０、符号化部２４６、ファイル処理部２４８、読み書き部２５０、復号部２６６、再生部２６８及びユーザインタフェース部２７０を備える。

（１）編集制御部
編集制御部２４０は、符号化部２４６、ファイル処理部２４８、読み書き部２５０、復号部２６６、再生部２６８及びユーザインタフェース部２７０の動作を制御することにより、動画編集アプリケーションを機能させる。例えば、編集制御部２４０は、編集の対象の動画を再生部２６８に再生させる。但し、本応用例において、編集制御部２４０は、ユーザにより編集点が指定される前の段階では、簡易再生（プレビュー）を指示する。そして、簡易再生によって表示される動画を閲覧したユーザにより動画の編集点が指定されると、編集制御部２４０は、指定された編集点を含む限定された時間的範囲内の動画のフルレート再生を指示する。
（２）符号化部
符号化部２４６は、図２に示した符号化部４６の機能を有する。符号化部２４６は、予測符号化に基づく動画圧縮用のコーデックに従って、編集された動画シーケンスを符号化することにより、符号化シーケンスを生成する。そして、符号化部２４６は、生成した符号化シーケンスを、ファイル処理部２４８へ出力する。

（３）ファイル処理部
ファイル処理部２４８は、図２に示したファイル生成部４８及び図５に示したストリーム取得部６４の機能を有する。ファイル処理部２４８は、編集された動画が記録される際には、符号化部２４６から入力される符号化シーケンスから、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成する。また、ファイル処理部２４８は、編集される動画の再生のために、当該動画の第１の符号化ストリーム及び第２の符号化ストリームを選択的に取得する。

（４）読み書き部
読み書き部２５０は、図２に示した書込み部５０及び図５に示した読取り部６２の機能を有する。読み書き部２５０は、編集された動画が記録される際には、ファイル処理部２４８により生成される第１の動画ファイルＦ１及び管理ファイルＦｃを第１の記録媒体２３に、第２の動画ファイルＦ２を第２の記録媒体２５にそれぞれ書込む。また、読み書き部２５０は、編集される動画の再生のために、第１の記録媒体２３に記録されている管理ファイルＦｃを読取り、読取った管理ファイルＦｃを編集制御部２４０へ出力する。また、読み書き部２５０は、簡易再生かフルレート再生かに関わらず、第１の動画ファイルＦ１を第１の記録媒体２３から読取り、読取った第１の動画ファイルＦ１をファイル処理部２４８へ出力する。また、読み書き部２５０は、フルレート再生が指示された場合に、第２の動画ファイルＦ２を少なくとも部分的に第２の記録媒体２５から読取り、読取った第２の動画ファイルＦ２をファイル処理部２４８へ出力する。

（５）復号部
復号部２６６は、簡易再生が指示された場合には、第１の符号化ストリームＳ１からＩピクチャを復号することにより、Ｉピクチャのみを含む動画シーケンスｓＳｑを生成する。そして、復号部２６６は、生成した動画シーケンスｓＳｑを再生部２６８へ出力する。一方、復号部２６６は、フルレート再生が指示された場合には、第１の符号化ストリームＳ１からＩピクチャを復号し、第２の符号化ストリームＳ２からＰピクチャ及びＢピクチャを復号することにより、指示された時間的範囲内のＩピクチャ、Ｐピクチャ及びＢピクチャを含む動画シーケンスＳｑを生成する。そして、復号部２６６は、生成した動画シーケンスＳｑを再生部２６８へ出力する。

（５）再生部
再生部２６８は、簡易再生が指示された場合には、復号部２６６から入力される動画シーケンスｓＳｑに含まれるＩピクチャのみを、再生制御情報に従って表示順で画面に表示させる。一方、再生部２６８は、フルレート再生が指示された場合には、復号部２６６から入力される動画シーケンスＳｑに含まれるＩピクチャ、Ｐピクチャ及びＢピクチャを、再生制御情報に従って表示順で画面に表示させる。

（６）ユーザインタフェース部
ユーザインタフェース部２７０は、動画の編集に関連するユーザ入力を検出する。例えば、ユーザインタフェース部２７０は、編集すべき動画の指定、編集点の指定、フルレート再生すべき時間的範囲の指定、編集内容の選択、編集の実行及び編集された動画の記録などに対応するユーザ入力を検出し得る。

第２の応用例によれば、動画編集の場面において、高解像度の動画をユーザが簡易再生によって大ざっぱに把握した上で、編集のために必要な時間的範囲の動画のみをフルレートで再生することが可能となる。従って、高解像度の動画をユーザが体験する機会を失うことなく、動画編集の際にユーザを悩ませる待ち時間を短縮することができる。

動画の編集は、本開示に係る技術に従って分割された符号化ストリームの結合を含んでもよい。符号化ストリームの結合の指示がユーザインタフェース部２７０により検出されると、ファイル処理部２４８は、第１の符号化ストリーム及び第２の符号化ストリームを結合することにより、全てのピクチャタイプを有するピクチャを含む単一の結合符号化ストリームを生成する。そして、ファイル処理部２４８は、生成した単一の結合符号化ストリームを、単一の動画ファイルの動画トラックに格納する。ファイル処理部２４８は、ユーザにより指定される時間的範囲に相当する動画の一部分を対象として、第１及び第２の符号化ストリームを結合してもよい。それにより、ユーザは、データサイズの大きい動画全体へのアクセスのために長い時間待つことなく、所望の範囲の単一の高解像度動画ファイルを入手することができる。

＜６．まとめ＞
ここまで、図１〜図１９を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、動画の記録の際には、予測符号化に関連する第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとが、１つの動画シーケンスから別個のストリームとして生成される。動画の再生の際には、これら第１及び第２の符号化ストリームが選択的に取得され、取得された符号化ストリームから動画シーケンスが少なくとも部分的に復号される。従って、高解像度の動画のビットレートが記録装置の転送レートを超過し又は当該ビットレートがネットワークの通信レートを超過する結果として動画の取り扱いが困難となることを、未然に回避することができる。また、上述した実施形態によれば、動画は低解像度化されないため、ユーザにとって高解像度の動画を体験する機会が失われることがない。また、動画シーケンスが冗長的に提供されるわけではないため、比較的小さい管理ファイル分のサイズを除き、全体としてのデータサイズは増大しない。

また、上述した実施形態によれば、第１の符号化ストリームは、第２の符号化ストリームに含まれるピクチャを参照することなく復号可能なピクチャのみを含む。従って、簡易再生の際には、第２の符号化ストリームにアクセスすることなく、第１の符号化ストリームに含まれるピクチャのみを再生することができる。また、上述した実施形態によれば、第１及び第２の符号化ストリームは、別個の動画ファイルの動画トラックにそれぞれ格納される。従って、簡易再生のために第１の符号化ストリームを含む動画ファイルのみを独立して処理することができる。

また、上述した実施形態によれば、各ピクチャのピクチャタイプを示すメタデータが、メタデータ用トラックに格納される。従って、第１及び第２の符号化ストリームを処理する際に参照されるメタデータを保持する仕組みを、既存のマルチメディアファイルフォーマットによりサポートされるトラックの概念を拡張することにより、少ないコストで実現することができる。メタデータが動画ファイルとは異なる管理ファイル内に格納される場合には、データサイズの小さい管理ファイルにアクセスするだけで、個々の動画が簡易再生をサポートするかを判別することができる。

また、上述した実施形態によれば、第１の符号化ストリームを含む第１の動画ファイルは第１の記録媒体に、第２の符号化ストリームを含む第２の動画ファイルは第２の記録媒体に書込まれる。従って、１つの動画シーケンスから生成される２つの符号化ストリームを並列的に記録媒体に書込み、及びそれら符号化ストリームを並列的に読取ることが可能となる。それにより、動画データへのアクセスに要する時間は短縮される。

なお、本明細書において説明した様々な処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる非一時的な（non-transitory）媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより、複数のピクチャを含む動画を符号化する符号化部と、
第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成する生成部と、
を備える画像処理装置。
（２）
前記第１のピクチャタイプは、インター予測が使用されないＩピクチャであり、
前記第２のピクチャタイプは、インター予測が使用されるＰピクチャ及びＢピクチャの少なくとも一方である、
前記（１）に記載の画像処理装置。
（３）
前記生成部は、前記第１の符号化ストリームを第１の動画ファイルの動画トラックに格納し、前記第２の符号化ストリームを第２の動画ファイルの動画トラックに格納する、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記生成部は、各ピクチャのピクチャタイプを示すメタデータを、メタデータ用トラックに格納する、前記（３）に記載の画像処理装置。
（５）
前記生成部は、各ピクチャの表示順を示すメタデータを、前記メタデータ用トラックにさらに格納する、前記（４）に記載の画像処理装置。
（６）
前記生成部は、前記第１の動画ファイル及び前記第２の動画ファイルとは異なる管理ファイル内の前記メタデータ用トラックに、前記メタデータを格納する、前記（４）又は前記（５）に記載の画像処理装置。
（７）
前記画像処理装置は、
前記第１の動画ファイルを第１の記録媒体に書込み、前記第２の動画ファイルを第２の記録媒体に書込む書込み部、
をさらに備える、前記（３）〜（６）のいずれか１項に記載の画像処理装置。
（８）
ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより符号化された動画の符号化ストリームのうちの、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを選択的に取得する取得部と、
前記取得部により取得される符号化ストリームから前記動画を少なくとも部分的に復号する復号部と、
を備える画像処理装置。
（９）
前記第１のピクチャタイプは、インター予測が使用されないＩピクチャであり、
前記第２のピクチャタイプは、インター予測が使用されるＰピクチャ及びＢピクチャの少なくとも一方である、
前記（８）に記載の画像処理装置。
（１０）
前記取得部は、前記第１の符号化ストリームを第１の動画ファイルの動画トラックから取得し、前記第２の符号化ストリームを第２の動画ファイルの動画トラックから取得する、前記（８）又は前記（９）に記載の画像処理装置。
（１１）
前記取得部は、各ピクチャのピクチャタイプを示すメタデータを、メタデータ用トラックから取得する、前記（１０）に記載の画像処理装置。
（１２）
前記取得部は、各ピクチャの表示順を示すメタデータを、前記メタデータ用トラックからさらに取得する、前記（１１）に記載の画像処理装置。
（１３）
前記取得部は、前記第１の動画ファイル及び前記第２の動画ファイルとは異なる管理ファイル内の前記メタデータ用トラックから、前記メタデータを取得する、前記（１１）又は前記（１２）に記載の画像処理装置。
（１４）
前記画像処理装置は、前記復号部により復号される前記動画を再生する再生部、をさらに備え、
前記復号部は、前記動画の簡易再生が指示された場合に、前記第１の符号化ストリームのみから前記動画を復号する、
前記（８）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記画像処理装置は、前記動画の再生条件に応じて、前記動画の簡易再生を指示し又は前記動画のフルレート再生を指示する制御部、をさらに備え、
前記復号部は、前記動画のフルレート再生が指示された場合には、前記第１の符号化ストリーム及び前記第２の符号化ストリームから前記動画を復号する、
前記（１４）に記載の画像処理装置。
（１６）
前記制御部は、フルレートで再生すべき範囲をユーザに指定させ、
前記復号部は、前記ユーザにより指定された範囲内の前記動画を、前記第１の符号化ストリーム及び前記第２の符号化ストリームから復号する、
前記（１５）に記載の画像処理装置。
（１７）
前記画像処理装置は、前記動画をユーザに編集させるためのユーザインタフェース部、をさらに備え、
前記復号部は、前記動画の編集点をユーザに指定させる際に再生される動画を、前記第１の符号化ストリームのみから復号する、
前記（８）〜（１３）のいずれか１項に記載の画像処理装置。
（１８）
前記画像処理装置は、
前記ユーザインタフェース部を介して前記ユーザにより指定される範囲に相当する前記動画の一部分の単一の符号化ストリームを、前記第１の符号化ストリーム及び前記第２の符号化ストリームを結合することにより生成する処理部、
をさらに備える、前記（１７）に記載の画像処理装置。
（１９）
ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより、複数のピクチャを含む動画を符号化することと、
第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成することと、
を含む画像処理方法。
（２０）
ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより符号化された動画の符号化ストリームのうちの、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを選択的に取得することと、
取得された符号化ストリームから前記動画を少なくとも部分的に復号することと、
を含む画像処理方法。
（２１）
画像処理装置を制御するコンピュータを、
ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより、複数のピクチャを含む動画を符号化する符号化部と、
第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成する生成部と、
として機能させるためのプログラム。
（２２）
画像処理装置を制御するコンピュータを、
ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより符号化された動画の符号化ストリームのうちの、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを選択的に取得する取得部と、
前記取得部により取得される符号化ストリームから前記動画を少なくとも部分的に復号する復号部と、
として機能させるためのプログラム。

１０，１００，２００ 画像処理装置
４０，６０，１６０，２４０ 制御部
４６，２４６ 符号化部
４８，２４８ ファイル生成部（ファイル処理部）
５０，２５０ 書込み部（読み書き部）
６４，１６４，２４８ ストリーム取得部（ファイル処理部）
６６，１６６，２６６ 復号部
６８，１６８，２６８ 再生部
１７０，２７０ ユーザインタフェース部
２３ 第１の記録媒体
２５ 第２の記録媒体
Ｓ１，Ｓ３ 第１の符号化ストリーム
Ｓ２，Ｓ４ 第２の符号化ストリーム
Ｆ１ 第１の動画ファイル
Ｆ２ 第２の動画ファイル
Ｆｃ 管理ファイル

Claims (20)

1. ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより、複数のピクチャを含む動画を符号化する符号化部と、
   第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成する生成部と、
   を備える画像処理装置。
2. 前記第１のピクチャタイプは、インター予測が使用されないＩピクチャであり、
   前記第２のピクチャタイプは、インター予測が使用されるＰピクチャ及びＢピクチャの少なくとも一方である、
   請求項１に記載の画像処理装置。
3. 前記生成部は、前記第１の符号化ストリームを第１の動画ファイルの動画トラックに格納し、前記第２の符号化ストリームを第２の動画ファイルの動画トラックに格納する、請求項１に記載の画像処理装置。
4. 前記生成部は、各ピクチャのピクチャタイプを示すメタデータを、メタデータ用トラックに格納する、請求項３に記載の画像処理装置。
5. 前記生成部は、各ピクチャの表示順を示すメタデータを、前記メタデータ用トラックにさらに格納する、請求項４に記載の画像処理装置。
6. 前記生成部は、前記第１の動画ファイル及び前記第２の動画ファイルとは異なる管理ファイル内の前記メタデータ用トラックに、前記メタデータを格納する、請求項４に記載の画像処理装置。
7. 前記画像処理装置は、
   前記第１の動画ファイルを第１の記録媒体に書込み、前記第２の動画ファイルを第２の記録媒体に書込む書込み部、
   をさらに備える、請求項３に記載の画像処理装置。
8. ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより符号化された動画の符号化ストリームのうちの、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを選択的に取得する取得部と、
   前記取得部により取得される符号化ストリームから前記動画を少なくとも部分的に復号する復号部と、
   を備える画像処理装置。
9. 前記第１のピクチャタイプは、インター予測が使用されないＩピクチャであり、
   前記第２のピクチャタイプは、インター予測が使用されるＰピクチャ及びＢピクチャの少なくとも一方である、
   請求項８に記載の画像処理装置。
10. 前記取得部は、前記第１の符号化ストリームを第１の動画ファイルの動画トラックから取得し、前記第２の符号化ストリームを第２の動画ファイルの動画トラックから取得する、請求項８に記載の画像処理装置。
11. 前記取得部は、各ピクチャのピクチャタイプを示すメタデータを、メタデータ用トラックから取得する、請求項１０に記載の画像処理装置。
12. 前記取得部は、各ピクチャの表示順を示すメタデータを、前記メタデータ用トラックからさらに取得する、請求項１１に記載の画像処理装置。
13. 前記取得部は、前記第１の動画ファイル及び前記第２の動画ファイルとは異なる管理ファイル内の前記メタデータ用トラックから、前記メタデータを取得する、請求項１１に記載の画像処理装置。
14. 前記画像処理装置は、前記復号部により復号される前記動画を再生する再生部、をさらに備え、
    前記復号部は、前記動画の簡易再生が指示された場合に、前記第１の符号化ストリームのみから前記動画を復号する、
    請求項８に記載の画像処理装置。
15. 前記画像処理装置は、前記動画の再生条件に応じて、前記動画の簡易再生を指示し又は前記動画のフルレート再生を指示する制御部、をさらに備え、
    前記復号部は、前記動画のフルレート再生が指示された場合には、前記第１の符号化ストリーム及び前記第２の符号化ストリームから前記動画を復号する、
    請求項１４に記載の画像処理装置。
16. 前記制御部は、フルレートで再生すべき範囲をユーザに指定させ、
    前記復号部は、前記ユーザにより指定された範囲内の前記動画を、前記第１の符号化ストリーム及び前記第２の符号化ストリームから復号する、
    請求項１５に記載の画像処理装置。
17. 前記画像処理装置は、前記動画をユーザに編集させるためのユーザインタフェース部、をさらに備え、
    前記復号部は、前記動画の編集点をユーザに指定させる際に再生される動画を、前記第１の符号化ストリームのみから復号する、
    請求項８に記載の画像処理装置。
18. 前記画像処理装置は、
    前記ユーザインタフェース部を介して前記ユーザにより指定される範囲に相当する前記動画の一部分の単一の符号化ストリームを、前記第１の符号化ストリーム及び前記第２の符号化ストリームを結合することにより生成する処理部、
    をさらに備える、請求項１７に記載の画像処理装置。
19. ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより、複数のピクチャを含む動画を符号化することと、
    第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを、別個のストリームとして生成することと、
    を含む画像処理方法。
20. ピクチャタイプに応じてイントラ予測とインター予測とを切り替えることにより符号化された動画の符号化ストリームのうちの、第１のピクチャタイプを有するピクチャを含む第１の符号化ストリームと、前記第１のピクチャタイプとは異なる第２のピクチャタイプを有するピクチャを含む第２の符号化ストリームとを選択的に取得することと、
    取得された符号化ストリームから前記動画を少なくとも部分的に復号することと、
    を含む画像処理方法。
    

Images