JP2013135464A - 符号化装置、復号装置、動画像処理システム、符号化方法、復号方法、符号化プログラム、および復号プログラム - Google Patents

Abstract

【課題】符号化効率の向上化を図ること。
【解決手段】図９の（Ｃ）にて、符号化装置１０１は、ベースビューについて、符号化フレームｆｂ０の次に、ダミーフレームとなる符号化フレームｆｂ１＿ｄ、ｆｂ２＿ｄ、ｆｂ３＿ｄを設定する。このとき、符号化フレームｆｄ３は、符号化フレームｆｂ３＿ｄと同一時刻である。したがって、符号化装置１０１は、拡張ビューについて、符号化フレームｆｄ３を符号化する場合、符号化フレームｆｂ３＿ｄを参照でき、符号化効率が向上する。
【選択図】図９

Description

本発明は、符号化装置、復号装置、動画像処理システム、符号化方法、復号方法、符号化プログラム、および復号プログラムに関する。

近年、動画像を表示する装置が、高解像度、高ビット深度表示、立体視動画像といった高機能化していくのにあわせて、動画像の符号化技術も前述の機能に対応したものが開示されてきている。

たとえば、複数のビット深度に対応するスケーラビリティに関して、異なるビット深度を有する２つ以上のバージョンに、異なるカラー符号化を使用して、ビット深度のスケーラビリティを有する技術が開示されている。また、スケーラブル動画像符号化による立体視動画像符号化において、２つの視点画像のうち特定の視点画像を基本レイヤとして符号化し、他の視点画像を拡張レイヤとして符号化し、拡張レイヤの符号化については、基本レイヤから予測する技術が開示されている。また、ビデオデータを符号化する方法において、符号化されたエンハンスメントレイヤの送信順序を並べ替え、エンハンスメントレイヤのフレームをベースレイヤのフレームに対して遅延させる技術が開示されている（たとえば、下記特許文献１〜３を参照。）。

特表２０１０−５３２９３６号公報 特表２００９−５１３０７４号公報 特表２００３−５２７００４号公報

しかしながら、上述した従来技術を用いて、高解像度にて符号化された動画像から、基本レイヤとして符号化する領域と、拡張レイヤとして符号化する領域と、のように画像を抽出して符号化を行う場合、拡張レイヤのフレームの符号化効率が低下する。たとえば、基本レイヤに映っている物体が拡張レイヤに移動したとする。このとき、拡張レイヤのフレームから、過去の基本レイヤのフレームへの参照が行えない場合、拡張レイヤのフレームが物体に関する符号量を有することになり、符号化効率が低下する。

本発明は、上述した従来技術による問題点を解消するため、符号化効率を向上化できる符号化装置、復号装置、動画像処理システム、符号化方法、復号方法、符号化プログラム、および復号プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明の一側面によれば、一連の画像を記憶する記憶部を参照して、一連の画像のうちいずれかの画像から、第１の領域内の画像と第１の領域に隣接する第２の領域内の画像とを抽出し、第１の領域内の画像を第１の領域に対する符号化フレームに符号化し、いずれかの画像を符号化する場合、いずれかの画像の前の画像の第１の領域に対する符号化フレームのダミーフレームを、前の画像のうち第１の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成し、生成数分生成されたダミーフレームを、前の画像の第１の領域に対する符号化フレームの次の符号化フレームに設定し、いずれかの画像の第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうちいずれかの画像の第１の領域に対する符号化フレームからダミーフレームの生成数分先行する先行符号化フレームによる画像と、いずれかの画像の第２の領域内の画像と、に基づいて、いずれかの画像の第２の領域内の画像をいずれかの画像の第２の領域に対する符号化フレームに符号化し、前記第１および第２の領域に対する各符号化フレームと生成数分生成されたダミーフレームとダミーフレームの生成数および設定位置を示す情報とを出力する符号化装置、符号化方法、および符号化プログラムが提案される。

また、本発明の一側面によれば、一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、一連の画像のうち第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与されたいずれか一方に対応する識別情報と、第１または第２の領域内の一連の部分画像に対する一連の符号化フレームのうち出力対象でない符号化フレームの数および位置を示す情報と、を受け付け、第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、識別情報に基づいて、第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、選択された一連の符号化フレームを一連の部分画像に復号し、復号された一連の部分画像のうち、出力対象でない符号化フレームの数および位置を示す情報に基づいて、出力対象でない符号化フレームに対応する部分画像以外の他の部分画像を出力する復号装置、復号方法、および復号プログラムが提案される。

また、本発明の一側面によれば、一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、一連の画像のうち第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与されたいずれか一方に対応する識別情報と、を受け付け、第１の領域と第２の領域とを結合した領域から表示領域を指定し、第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、識別情報に基づいて、第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、選択された第１の領域内の一連の部分画像に対する一連の符号化フレームを第１の領域内の一連の部分画像に復号するとともに、指定部によって表示領域が指定された場合、第２の領域内の一連の部分画像に対する一連の符号化フレームを第２の領域内の一連の部分画像に復号し、第１の領域内の一連の部分画像から表示領域内の第１の画像列を抽出するとともに、第２の領域内の一連の部分画像から表示領域内の第２の画像列を抽出し、抽出された第１の画像列の各画像と、第２の画像列の各画像とを、一連の画像内の同一画像どうしで結合し、結合により得られた表示領域の画像列を出力する復号装置、復号方法、および復号プログラムが提案される。

また、本発明の一側面によれば、一連の画像を符号化する符号化装置と符号化された一連の画像を復号する復号装置とを有する動画像処理システムであって、符号化装置は、一連の画像のいずれかの画像から、第１の領域内の画像と第１の領域に隣接する第２の領域内の画像とを抽出し、第１の領域内の画像を第１の領域に対する符号化フレームに符号化し、第１の領域に対する符号化フレームの画像と第２の領域内の画像とに基づいて、第２の領域内の画像を第２の領域に対する符号化フレームに符号化し、第１または第２の領域の少なくともいずれか一方を示す識別情報を対応する符号化フレームに付与して、第１および第２の領域に対する各符号化フレームを、復号装置に出力し、復号装置は、識別情報が付与された第１および第２の領域に対する各符号化フレームを受け付け、第１および第２の領域に対する各符号化フレームから、識別情報に基づいて、第１の領域に対する符号化フレームを選択し、選択された第１の領域に対する符号化フレームを復号画像に復号し、復号された復号画像を出力する動画像処理システムが提案される。

本発明の一側面によれば、符号化効率の向上化を図ることができるという効果を奏する。

図１は、符号化装置の動作例を示す説明図である。 図２は、ベースビューと拡張ビューの参照制約の例を示す説明図である。 図３は、符号化装置のハードウェア構成の一例を示すブロック図である。 図４は、復号装置のハードウェア構成の一例を示すブロック図である。 図５は、符号化装置と復号装置の機能的構成例を示すブロック図である。 図６は、横位置撮影時の画面の抽出の一例を示す説明図である。 図７は、縦位置撮影時の画面の抽出方法の一例を示す説明図である。 図８は、動き補償の参照方向の一例を示す説明図である。 図９は、ダミーフレームを設定した場合の参照先の一例を示す説明図である。 図１０は、ストリーム内におけるダミーフレームの設定例である。 図１１は、縦横情報とダミーフレーム情報の設定例を示す説明図である。 図１２は、符号化処理の一例を示す説明図である。 図１３Ａは、横位置撮影時の動きベクトル探索範囲の一例を示す説明図（その１）である。 図１３Ｂは、横位置撮影時の動きベクトル探索範囲の一例を示す説明図（その２）である。 図１４Ａは、縦位置撮影時の動きベクトル探索範囲の一例を示す説明図（その１）である。 図１４Ｂは、縦位置撮影時の動きベクトル探索範囲の一例を示す説明図（その２）である。 図１５は、復号処理の一例を示す説明図である。 図１６Ａは、出力画像結合処理の具体例を示す説明図（その１）である。 図１６Ｂは、出力画像結合処理の具体例を示す説明図（その２）である。 図１６Ｃは、出力画像結合処理の具体例を示す説明図（その３）である。 図１７は、符号化処理手順の一例を示すフローチャートである。 図１８Ａは、ＭＶＣ符号化処理の一例を示すフローチャート（その１）である。 図１８Ｂは、ＭＶＣ符号化処理の一例を示すフローチャート（その２）である。 図１９は、ベースビュー内の動きベクトル探索範囲決定処理の一例を示すフローチャートである。 図２０Ａは、横位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理の一例を示すフローチャート（その１）である。 図２０Ｂは、横位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理の一例を示すフローチャート（その２）である。 図２１Ａは、縦位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理の一例を示すフローチャート（その１）である。 図２１Ｂは、縦位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理の一例を示すフローチャート（その２）である。 図２２Ａは、復号処理手順の一例を示すフローチャート（その１）である。 図２２Ｂは、復号処理手順の一例を示すフローチャート（その２）である。

以下に添付図面を参照して、本発明の符号化装置、復号装置、動画像処理システム、符号化方法、復号方法、符号化プログラム、および復号プログラムの実施の形態を詳細に説明する。

図１は、符号化装置の動作例を示す説明図である。図１では、動画像を符号化する符号化装置１０１の動作について説明している。符号化装置１０１は、撮影対象物ａを含む撮影範囲１１０を撮影している。また、ユーザは、ディスプレイ１０２を確認しながら撮影している。ディスプレイ１０２は、フルＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）となる横１９２０［画素］、縦１０８０［画素］の表示領域を有している。符号化装置１０１は、撮影範囲１１０に映った情報を、横３８４０［画素］、縦２１６０［画素］の入力動画像として受け付けて、横３８４０［画素］、縦１０８０［画素］の動画像へと符号化する。

以下、フルＨＤの解像度を「２ｋ１ｋ」と称し、横３８４０［画素］、縦２１６０［画素］となる解像度を「４ｋ２ｋ」と称し、横３８４０［画素］、縦１０８０［画素］となる解像度を「４ｋ１ｋ」と称する。

このように、２ｋ１ｋのフルＨＤの解像度から水平方向に拡張した４ｋ１ｋの動画像を記録し、再生時にはほとんど中心の２ｋ１ｋを表示する用途において、符号化装置１０１は、ディスプレイ１０２に表示する動画像の復号量を低減化することを目的とする。

初めに、本実施の形態にかかる符号化装置１０１は、Ｈ．２６４ ＭＶＣの規格に従って、入力画像１１１を複数の視点から撮影された動画像として取り扱う。Ｈ．２６４ ＭＶＣでは、１つのベースビューと、１つ以上の非ベースビューとして符号化を行う。ベースビューは、Ｈ．２６４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）で定義されたハイプロファイルのストリームとして符号化される。非ベースビューは、Ｈ．２６４ ＭＶＣで新たに拡張されたプロファイルとシンタックスを用いて、他のビューや自分自身のビューに含まれるフレームを参照して符号化される。

ベースビュー内の画像は、独立して再生可能な形式に符号化され、非ベースビューの画像は、ベースビューの画像を参照して符号化することで、それぞれ単体で符号化される場合よりも、符号化効率を向上することができる。なお、Ｈ．２６４ ＭＶＣは、３Ｄ動画像コンテンツで用いられることを想定しており、複数の視点から観測される画像どうしが、同一時刻で近い画素となるという特徴を用いて、符号化効率を向上することができる。

入力動画像を受け付けた符号化装置１０１は、入力動画像のいずれかの入力画像１１１から、ベースビュー内の画像および非ベースビューである拡張ビューの画像を抽出し、それぞれを符号化する。ベースビューは、４ｋ２ｋの中央部分の２ｋ１ｋの領域に設定されており、拡張ビューは、ベースビューの左側の１ｋ１ｋの領域と、ベースビューの右側の１ｋ１ｋの領域と、に設定されている。

続けて、符号化装置１０１は、ベースビュー内の画像と拡張ビュー内の画像を符号化し、ストリーム１２１に出力する。ストリーム１２１は、先頭から順々にアクセスされるデータである。なお、ストリーム１２１は、符号化装置１０１内の記録装置に記録されている。

具体的に、符号化装置１０１は、ベースビュー内の画像を符号化し、符号化フレーム１２２をストリーム１２１に出力する。また、符号化装置１０１は、拡張ビュー内の画像を符号化し、符号化フレーム１２３をストリーム１２１に出力する。なお、符号化フレーム１２３は、ベースビュー符号化時のローカルデコード画像を参照して符号化されている。また、符号化フレーム１２３には、拡張ビュー内の画像が符号化されたことを示す識別情報１２４が付与されている。なお、符号化装置１０１は、ベースビュー内の画像が符号化されたことを示す識別情報を符号化フレーム１２２に付与してもよい。

次に、撮影後の再生時において、符号化装置１０１は、符号化フレーム１２２、符号化フレーム１２３のうち、識別情報１２４を検出して、識別情報１２４が付与されていない、ベースビューに対応する符号化フレーム１２２を選択し、符号化フレーム１２２を復号する。続けて、符号化装置１０１は、復号された画像をディスプレイ１０２に表示する。なお、撮影時の再生を行う場合、符号化装置１０１は、ベースビュー内の画像を、符号化や復号化を行わず、そのままディスプレイ１０２に表示する。

このように、符号化装置１０１は、Ｈ．２６４ ＭＶＣを用いて、４ｋ２ｋの画像から、２ｋ１ｋを独立したベースビューとし、ベースビューの左右の領域をベースビューを参照する拡張ビューとして、ベースビュー内の画像と拡張ビュー内の画像を抽出する。続けて、符号化装置１０１は、抽出した画像を符号化した符号化フレーム１２２、符号化フレーム１２３のいずれか一方に識別情報１２４を付与する。識別情報１２４を付与することにより、識別情報１２４を検出してベースビューを復号する装置は、識別情報１２４に基づいて復号対象をベースビューに対する符号化フレームに限定できるため、復号量が低減化でき、復号にかかる時間を短縮できる。次に、図１で適用したＨ．２６４ ＭＶＣの規格に従った、ベースビューと拡張ビューの参照制約について説明する。

図２は、ベースビューと拡張ビューの参照制約の例を示す説明図である。図２の（Ａ）で示す表２０１は、ベースビューと拡張ビューの参照制約の一覧を示しており、図２の（Ｂ）は、表２０１にして示した参照制約を適用した場合の具体例を示した図である。

Ｈ．２６４ ＭＶＣの規格では、フレーム間予測を用いずに符号化されたＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）ピクチャ、前方向に存在するフレームを参照して符号化されたＰ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャ、１つまたは２つのフレームを参照して符号化されたＢ（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ）ピクチャ等が存在する。また、Ｈ．２６４ ＭＶＣでは、１つのフレームを分割したスライス単位で、どのフレーム間予測を用いるかを選択できる。具体的に、Ｈ．２６４ ＭＶＣでは、スライスごとに、フレーム間予測を用いずに符号化されたＩスライス、前方向に存在するスライスを参照符号化されたＰスライス、１つまたは２つのスライスを参照して符号化されたＢスライスの指定が行える。本実施の形態では、説明の簡略化のため、１つのフレームは、１つのスライスであるとする。

図２の（Ｂ）は、時刻ｔ０におけるベースビュー内の画像ｂ０と拡張ビュー内の画像ｄ０と、時刻ｔ１におけるベースビュー内の画像ｂ１と拡張ビュー内の画像ｄ１と、時刻ｔ２におけるベースビュー内の画像ｂ２と拡張ビュー内の画像ｄ２を示した図である。

参照元の画像がベースビューに属し、参照先の画像がベースビューに属する場合、Ｈ．２６４ ＭＶＣは、参照元の画像を、ベースビュー内の過去のフレームと未来のフレームを参照して符号化することができると規定している。参照元の画像がベースビューに属し、参照先の画像がベースビューに属する場合については、表２０１では、（１）で示したフィールドである。符号化装置１０１は、たとえば、画像ｂ１の符号化時に、（１）で示す矢印で示された、画像ｂ０と画像ｂ２を参照することができる。

参照元の画像がベースビューに属し、参照先の画像が拡張ビューに属する場合、Ｈ．２６４ ＭＶＣは、拡張ビューに属する画像の参照では、参照元の画像の符号化はできないと規定している。符号化装置１０１は、たとえば、画像ｂ１の符号化時に、画像ｄ０〜画像ｄ２を参照することができない。

参照元の画像が拡張ビューに属し、参照先の画像がベースビューに属する場合、Ｈ．２６４ ＭＶＣは、参照元の画像を、同一時刻となるベースビューに属する画像を参照して符号化することができると規定している。参照元の画像が拡張ビューに属し、参照先の画像がベースビューに属する場合については、表２０１では、（２）で示したフィールドである。符号化装置１０１は、たとえば、画像ｄ１の符号化時に、（２）で示す矢印で示された、画像ｂ１を参照することができる。

参照元が拡張ビューに属し、参照先が拡張ビューに属する場合、Ｈ．２６４ ＭＶＣは、参照元の画像を、過去のフレームと未来のフレームを参照して符号化することができると規定している。参照元が拡張ビューに属し、参照先が拡張ビューに属する場合については、表２０１では、（３）で示したフィールドである。符号化装置１０１は、たとえば、画像ｄ１の符号化時に、（３）で示す矢印で示された、画像ｄ０と画像ｄ２を参照することができる。このように、Ｈ．２６４ ＭＶＣは、ベースビューの符号化フレームが拡張ビューの画像を参照しないようにすることで、ベースビュー単体での再生を可能にしている。

続けて、本実施の形態にかかるハードウェアの説明を行う。本実施の形態にて採用するハードウェアは、動画像の記録と再生を行う符号化装置１０１と、動画像の再生を行う復号装置と、である。図３にて、符号化装置１０１の説明を行い、図４にて、復号装置の説明を行う。

（符号化装置１０１のハードウェア構成例）
図３は、符号化装置のハードウェア構成の一例を示すブロック図である。図３において、動画像の記録と再生を行う符号化装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３と、を含む。また、符号化装置１０１は、撮像素子３０４と、撮像素子ＩＦ（ＩｎｔｅｒＦａｃｅ）３０５と、ジャイロセンサ３０６と、操作パネルコントローラ３０７と、記録メディア３０８と、外部ＩＦ３０９と、を含む。また、符号化装置１０１は、画像処理部３１０と、ＭＶＣ符号化復号処理部３１１と、を含む。

また、符号化装置１０１は、ディスプレイ１０２と、ディスプレイ出力ＩＦ３１２と画像出力ＩＦ３１３と、を含む。また、ＣＰＵ３０１〜ＲＡＭ３０３と、撮像素子ＩＦ３０５、外部ＩＦ３０９〜ＭＶＣ符号化復号処理部３１１と、ディスプレイ出力ＩＦ３１２と、画像出力ＩＦ３１３は、バスコントローラ３１４で相互に接続されている。

ＣＰＵ３０１は、符号化装置１０１の全体の制御を司る演算処理装置である。ＲＯＭ３０２は、符号化装置１０１のブートプログラムなどのプログラムを記憶する不揮発性メモリである。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される揮発性メモリである。

撮像素子３０４は、対象物から発した光を電気信号に変換する。たとえば、撮像素子３０４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。

撮像素子ＩＦ３０５は、記録時に撮像素子３０４を制御することにより、撮像素子３０４からの信号を所定の画像フォーマットに変換してＲＡＭ３０３に格納する。所定の画像フォーマットとは、たとえば、ＹＵＶ４２０である。撮像素子３０４からの信号は、たとえば、ＲＧＢベイヤフォーマットに従っている。

ジャイロセンサ３０６は、符号化装置１０１の角度を検出する。操作パネルコントローラ３０７は、符号化装置１０１が有する液晶タッチパネルや操作ボタンである。記録メディア３０８は、フラッシュＲＯＭ等といった記憶装置であり、符号化フレームが含まれるストリーム１２１を記録する。また、記録メディア３０８は、本実施の形態にかかる符号化プログラムを記録していてもよい。外部ＩＦ３０９は、ジャイロセンサ３０６、操作パネルコントローラ３０７、および記録メディア３０８を制御する。また、外部ＩＦ３０９は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワークを介して、符号化装置１０１以外の他の装置に接続されてもよい。

画像処理部３１０は、ＲＡＭ３０３に格納された画像に対して画像処理を行う。具体的に、画像処理部３１０は、記録時には撮像素子３０４からの入力画像１１１をＲＡＭ３０３から読み出して、ＣＰＵ３０１から指定された縦横情報を元に、入力画像１１１からベースビューの画像と拡張ビューの画像を抽出して再度ＲＡＭ３０３に格納する。

縦横情報は、符号化装置１０１の角度に関する情報である。符号化装置１０１の角度とは、水平面に対する符号化装置の角度である。たとえば、符号化装置１０１が水平面に対して垂直である場合、符号化装置１０１の角度に関する情報は、縦を向いていた、という情報となる。また、符号化装置１０１が水平面に対して並行である場合、符号化装置１０１の角度に関する情報は、横を向いていた、という情報となる。

また、画像処理部３１０は、再生時に、ＣＰＵ３０１から指定された縦横情報とダミーフレーム情報に基づいて、ＲＡＭ３０３から対応するベースビューの復号画像と拡張ビューの復号画像を読み出して、ベースビューの復号画像と拡張ビューの復号画像を結合する。次に、画像処理部３１０は、ユーザに指定された表示領域の画像を切り出した後、再度ＲＡＭ３０３に格納する。ダミーフレーム情報は、ベースビューを遅延するために設定された、ダミーフレームの数、位置の情報である。

ＭＶＣ符号化復号処理部３１１は、記録時にプロセッサより指定されたベースビューの画像と、拡張ビューの画像をＲＡＭ３０３から取得してＨ．２６４ ＭＶＣによる符号化処理を行う。符号化フレームを有するストリーム１２１は、外部ＩＦ３０９を通して記録メディア３０８に書き込まれる。また、ＭＶＣ符号化復号処理部３１１は、再生時には、記録メディア３０８からのストリーム１２１内の符号化フレームを復号し、復号画像をＲＡＭ３０３に格納する。また、ＭＶＣ符号化復号処理部３１１は、ストリーム１２１に縦横情報、ダミーフレーム情報をＣＰＵ３０１に記録する。

本実施の形態にかかる画像処理部３１０とＭＶＣ符号化復号処理部３１１は、高速で処理を行うために、たとえばストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣで実現してもよい。また、符号化装置１０１はＣＰＵ３０１に対し、画像処理部３１０およびＭＶＣ符号化復号処理部３１１での処理を実行させてもよい。

ディスプレイ１０２は、記録時にベースビューの画像を表示する。また、ディスプレイ１０２は、再生時に画像処理部３１０が出力した、ユーザに指定された表示領域の画像を表示してもよい。たとえば、ディスプレイ１０２は、液晶ディスプレイなどを採用することができる。ディスプレイ出力ＩＦ３１２は、ディスプレイ１０２の制御を行う。

画像出力ＩＦ３１３は、再生時に画像処理部３１０から出力された、ユーザに指定された表示領域の画像をＲＡＭ３０３から読み出し、符号化装置１０１に接続されたテレビ受像機等に表示領域の画像を出力する。

（復号装置４００のハードウェア構成例）
図４は、復号装置のハードウェア構成の一例を示すブロック図である。図４において、動画像の再生を行う復号装置４００は、ＣＰＵ４０１と、ＲＯＭ４０２と、ＲＡＭ４０３と、操作パネルコントローラ４０４と、記録メディア４０５と、外部ＩＦ４０６と、を含む。また、復号装置４００は、画像処理部４０７と、ＭＶＣ復号処理部４０８と、画像出力ＩＦ４０９と、を含む。また、ＣＰＵ４０１〜ＲＡＭ４０３と、外部ＩＦ４０６〜画像出力ＩＦ４０９は、バスコントローラ４１０で相互に接続されている。

ＣＰＵ４０１は、復号装置４００の全体の制御を司る。ＲＯＭ４０２は、復号装置４００のブートプログラムなどのプログラムを記憶している。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。

操作パネルコントローラ４０４は、復号装置４００が有する液晶タッチパネルや操作ボタンである。記録メディア４０５は、フラッシュＲＯＭ等といった記憶装置であり、符号化フレームが含まれるストリーム１２１を記憶する。また、記録メディア４０５は、本実施の形態にかかる復号プログラムを記録していてもよい。外部ＩＦ４０６は、操作パネルコントローラ４０４および記録メディア４０５を制御する。また、外部ＩＦ４０６は、通信回線を通じてＬＡＮ、ＷＡＮ、インターネットなどのネットワークに接続され、ネットワークを介して復号装置４００以外の他の装置に接続されてもよい。

画像処理部４０７は、ＣＰＵ４０１から指定された縦横情報とダミーフレーム情報に基づいて、ＲＡＭ４０３から対応するベースビューの復号画像と拡張ビューの復号画像を読み出して、ベースビューの復号画像と拡張ビューの復号画像を結合する。次に、画像処理部４０７は、ユーザに指定された表示領域の画像を切り出した後、再度ＲＡＭ３０３に格納する。

ＭＶＣ復号処理部４０８は、記録メディア４０５から、ストリーム１２１内の符号化フレームを復号し、復号画像をＲＡＭ４０３に格納する。また、ＭＶＣ復号処理部４０８は、ストリーム１２１中の縦横情報、ダミーフレーム情報をＣＰＵ４０１に通知する。

なお、動画像処理システムの接続例については、図示していないが、たとえば、符号化装置１０１と復号装置４００が、外部ＩＦ３０９と外部ＩＦ４０６を介して接続されている。

（符号化装置１０１と復号装置４００の機能的構成例）
次に、符号化装置１０１と復号装置４００の機能的構成例について説明する。図５は、符号化装置１０１と復号装置４００の機能的構成例を示すブロック図である。符号化装置１０１は、受付部５０１と、取得部５０２と、決定部５０３と、抽出部５０４と、第１符号化部５０５と、第２符号化部５０６と、生成部５０７と、設定部５０８と、出力部５０９と、を含む。また、復号装置４００は、受付部５２１と、選択部５２２と、指定部５２３と、変換部５２４と、復号部５２５と、抽出部５２６と、結合部５２７と、出力部５２８と、を含む。

本実施の形態では、符号化装置１０１の受付部５０１〜出力部５０９のうち、抽出部５０４が画像処理部３１０の機能であり、第１符号化部５０５と第２符号化部５０６がＭＶＣ符号化復号処理部３１１の機能である。抽出部５０４〜第２符号化部５０６以外の機能部に関しては、記憶装置に記憶されたプログラムをＣＰＵ３０１が実行することにより、その機能を実現する。記憶装置とは、具体的には、たとえば、図３に示したＲＯＭ３０２、ＲＡＭ３０３、記録メディア３０８などである。また、画像処理部３１０と、ＭＶＣ符号化復号処理部３１１が、抽出部５０４〜第２符号化部５０６以外の機能部を実行してもよい。

また、復号装置４００の受付部５２１〜出力部５２８のうち、復号部５２５がＭＶＣ復号処理部４０８の機能であり、抽出部５２６と、結合部５２７が画像処理部４０７の機能である。復号部５２５〜結合部５２７以外の機能部に関しては、記憶装置に記憶されたプログラムをＣＰＵ４０１が実行することにより、その機能を実現する。記憶装置とは、具体的には、たとえば、図４に示したＲＯＭ４０２、ＲＡＭ４０３、記録メディア４０５などである。また、画像処理部４０７と、ＭＶＣ復号処理部４０８が、抽出部５０４〜第２符号化部５０６以外の機能部を実行してもよい。

受付部５０１は、一連の画像を受け付ける。たとえば、受付部５０１は、入力動画像を受け付ける。符号化装置１０１は、受付部５０１の動作により、入力動画像の符号化を行う契機を検出することができる。なお、受け付けた入力画像は、ＲＡＭ３０３等の記憶領域に記憶される。

取得部５０２は、受付部５０１によって、一連の画像を受け付けたときの自装置の角度に関する情報を取得する。ここで、自装置とは、取得部５０２を実行する装置でもよいし、または取得部５０２を実行する装置と物理的に接続された装置でもよい。角度に関する情報は、０度、９０度といった自装置の角度でもよいし、自装置が横に傾いている、または、縦に傾いているといった情報でもよい。たとえば、取得部５０２は、ジャイロセンサ３０６によって符号化装置１０１の角度を取得する。

ユーザは、撮影対象物ａの形状が横長であれば横撮影を行い、縦長であれば縦撮影を行う。したがって、符号化装置１０１は、取得部５０２の動作により、撮影対象物ａの形状に合わせた符号化処理を行うことができる。なお、取得した自装置の角度に関する情報は、ＲＡＭ３０３等の記憶領域に記憶される。

決定部５０３は、取得部５０２によって取得された自装置の角度に応じて、第１および第２の領域の位置情報を決定する。第１の領域は、たとえば、ベースビューとなり、第２の領域は、拡張ビューである。図１で示した拡張ビューは、ベースビューの左右に隣接していたが、たとえば、ベースビューの左端に隣接している領域でもよいし、上端、右端、下端に隣接している画像でもよい。

たとえば、自装置の角度に関する情報が横を示していたとする。このとき、決定部５０３は、第１の領域の位置情報を、左上の座標が（１ｋ、０．５ｋ）となり、縦１ｋ［画素］、横２ｋ［画素］となる矩形領域に決定する。また、決定部５０３は、第２の領域の位置情報を、左上の座標が（０、０．５ｋ）となり、縦１ｋ［画素］、横１ｋ［画素］となる矩形領域と、左上の座標が（３ｋ、０．５ｋ）となり、縦１ｋ［画素］、横１ｋ［画素］となる矩形領域とに決定する。符号化装置１０１は、決定部５０３の動作により、撮影対象物ａの形状に応じた撮影領域を決定することができる。なお、決定された位置情報は、ＲＡＭ３０３等の記憶領域に記憶される。

抽出部５０４は、一連の画像のいずれかの画像から、第１の領域内の画像と第１の領域に隣接する第２の領域内の画像とを抽出する。たとえば、図２で示した時刻ｔ０において、抽出部５０４は、入力画像１１１から第１の領域内の画像ｂと、第２の領域内の画像ｄと、を抽出する。また、抽出部５０４は、いずれかの画像から、位置情報に従った第１の領域内の画像と位置情報に従った第２の領域内の画像とを抽出してもよい。符号化装置１０１は、抽出部５０４の動作により、Ｈ．２６４ ＭＶＣの規格に従った複数のビューの画像を準備できる。なお、抽出された画像は、ＲＡＭ３０３等の記憶領域に記憶される。

第１符号化部５０５は、第１の領域内の画像を第１の領域に対する符号化フレームに符号化する。たとえば、第１符号化部５０５は、画像ｂを、フレーム間予測を用いて、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ等といった符号化フレームに符号化する。符号化装置１０１は、第１符号化部５０５の動作により、第１の領域内の動画像を生成することができる。なお、符号化フレームは、記録メディア３０８等の記憶領域に記憶される。

第２符号化部５０６は、第１の領域に対する符号化時のローカルデコード画像と第２の領域内の画像とに基づいて、第２の領域内の画像を第２の領域に対する符号化フレームに符号化する。また、第２符号化部５０６は、いずれかの画像の第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうち前述の符号化フレームからダミーフレームの生成数分先行する先行符号化フレームのローカルデコード画像に基づいて符号化してもよい。ここで、先行符号化フレーム群とは、いずれかの画像の第１の領域に対する符号化フレームに先行する符号化フレーム群である。また、ローカルデコード画像は、参照されるフレームを符号化する際に用いる画像である。ストリーム１２１内のエンコード・デコード処理までは経由しない。

たとえば、設定部５０８が、３つのダミーフレームを第１の領域に対する先頭の符号化フレームの次のフレームに設定したとする。このとき、第２符号化部５０６は、いずれかの画像の第２の領域内の画像と、いずれかの画像の第１の領域の３つ前の符号化フレームを復号した画像と、に基づいて、いずれかの画像の第２の領域内の画像を符号化フレームに符号化する。

また、第２符号化部５０６は、ダミーフレームが設定済の場合、生成部５０７によるダミーフレームの生成を行わずに、いずれかの画像の第２の領域内の画像を符号化フレームに符号化してもよい。

たとえば、いずれかの画像が５番目の画像であり、設定部５０８が、第１の領域の先頭のフレームの次に、３つのダミーフレームを設定したとする。このとき、５番目の画像の第１の領域の符号化フレームは、ダミーフレームが設定済のために、先頭から８番目の位置にある。第２符号化部５０６は、５番目の画像の第２の領域内の画像と、５番目の画像の第１の領域の符号化フレームの３つ前の符号化フレームとに基づいて、５番目の画像の第２の領域内の画像を符号化する。なお、第２符号化部５０６は、第２の領域内の画像と復号した画像との差分を用いて符号化してもよいし、第２の領域内の画像と複合した画像とから動き補償を行って符号化してもよい。

また、第２符号化部５０６は、いずれかの画像の第１の領域に対する符号化フレームに後続する後続符号化フレーム群のうち前述の符号化フレームからダミーフレームの生成数分後続する後続符号化フレームを復号し、復号した復号画像に基づいて符号化してもよい。ここで、後続符号化フレーム群とは、いずれかの画像の第１の領域に対する符号化フレームに後続する符号化フレーム群である。

たとえば、設定部５０８が、２つのダミーフレームを第２の領域に対する先頭の符号化フレームに設定したとする。このとき、第２符号化部５０６は、第２の領域に対する４番目の符号化フレームを、第１の領域の２番目の符号化フレームに後続するフレーム群のうち４番目の符号化フレームのローカルデコード画像と、第２の領域の２番目の画像と、に基づいて符号化する。符号化装置１０１は、第２符号化部５０６の動作により、第２の領域内の動画像を生成することができる。なお、符号化フレームは、記録メディア３０８等の記憶領域に記憶される。

生成部５０７は、第１符号化部５０５がいずれかの画像を符号化する場合、いずれかの画像の前の画像の第１の領域に対する符号化フレームのダミーフレームを、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成する。また、生成部５０７は、前の画像のうち第１の領域内の画像に基づいて、ダミーフレームを生成する。

自符号化フレームで再生可能な特定の符号化フレームとは、Ｉピクチャ、またはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャである。ＩＤＲピクチャは、後続のピクチャにＩＤＲピクチャより先行するピクチャへの参照を禁止する。したがって、ＩＤＲピクチャの出現間隔が、最大の参照可能枚数となる。生成部５０７は、特定の符号化フレームを、１つ生成してもよいし、ＩＤＲピクチャの出現間隔に含まれるフレーム数以下分生成してもよい。

いずれかの画像の先行画像群とは、いずれかの画像より、過去方向に存在する画像群である。ダミーフレームは、前の画像の第１の領域に対する符号化フレームを参照するフレームとなる場合がある。たとえば、前の画像の第１の領域に対する符号化フレームがＩピクチャであれば、ダミーフレームは、Ｐピクチャ、またはＢピクチャとなり、スキップマクロブロックが指定されたフレームとなる。

たとえば、第１符号化部５０５が、第１の領域の１番目の画像を符号化しており、２番目の画像を符号化するとする。このとき、生成部５０７は、いずれかの画像となる２番目の画像を符号化する場合、前の画像となる１番目の画像を第１符号化部５０５に生成数として３回入力する。これにより、第１符号化部５０５がダミーフレームを３つ生成することになる。

また、生成部５０７は、ダミーフレームを、第１符号化部５０５が符号化する符号化フレーム群のうち複数の参照先を有する符号化フレームが連続して存在する数より１多い数分、生成してもよい。複数の参照先を有する符号化フレームは、Ｂピクチャである。たとえば、Ｂピクチャが連続して２枚設定される場合、生成部５０７は、ダミーフレームを３つ生成する。

また、生成部５０７は、第２符号化部５０６がいずれかの画像を符号化する場合、いずれかの画像の前の画像の第２の領域に対するダミーフレームを、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成する。たとえば、第２符号化部５０６が、第２の領域の１番目の画像を符号化しており、２番目の画像を符号化するとする。このとき、生成部５０７は、いずれかの画像となる１番目の画像を第２符号化部５０６に生成数として２回入力する。これにより、第２符号化部５０６がダミーフレームを２つ生成することになる。符号化装置１０１は、生成部５０７の動作により、フレーム遅延を起こすことができる。なお、生成されたフレームは、ＲＡＭ３０３等の記憶領域に記憶される。

設定部５０８は、ダミーフレームを、参照先画像の第１の領域に対する符号化フレームの次の符号化フレームに設定する。たとえば、設定部５０８は、ダミーフレームを、第１の領域に対する先頭の符号化フレームの次に設定する。

また、設定部５０８は、ダミーフレームを、参照先画像の第２の領域に対する符号化フレームの次の符号化フレームに設定してもよい。たとえば、設定部５０８は、特定の符号化フレームを、第２の領域に対する先頭の符号化フレームの次に設定する。符号化装置１０１は、設定部５０８の動作により、フレーム遅延を発生させる位置を設定することができる。

出力部５０９は、第１または第２の領域の少なくともいずれか一方を示す識別情報１２４を対応する符号化フレームに付与して、第１および第２の領域に対する各符号化フレームを出力する。また、出力部５０９は、出力先として、識別情報１２４を検出して第１の領域に対する符号化フレームを復号する装置に出力する。識別情報１２４を検出して第１の領域に対する符号化フレームを復号する装置は、たとえば、復号装置４００である。識別情報１２４は、第１の領域を示してもよいし、第２の領域を示してもよい。具体的に、Ｈ．２６４ ＭＶＣでは、後述するＮＡＬユニットタイプに、ベースビュー内の画像を符号化したフレームであるのか、または、拡張ビュー内の画像を符号化したフレームであるのかが設定されている。

また、出力部５０９は、生成部５０７によって生成された特定の符号化フレームと特定の符号化フレームの生成数および設定位置を示す情報とを出力してもよい。設定位置を示す情報は、たとえば、特定の符号化フレームの先頭位置と数が示されていてもよいし、各符号化フレームの位置が示されていてもよい。また、出力部５０９は、自装置の角度に関する情報を出力してもよい。符号化装置１０１は、出力部５０９の動作により、符号化フレームを外部に出力することができる。なお、出力部５０９は、出力先として、記録メディア３０８、ＲＡＭ３０３等といった記憶装置に出力結果を出力してもよいし、外部ＩＦ３０９を介して外部の装置に出力してもよい。

受付部５２１は、一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、一連の画像のうち第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、を受け付ける。さらに、受付部５２１は、第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与されたいずれか一方に対応する識別情報１２４を受け付ける。また、受付部５２１は、第１または第２の領域内の一連の部分画像に対する一連の符号化フレームのうち出力対象でない符号化フレームの数および位置を示す情報を受け付けてもよい。

また、受付部５２１は、一連の画像を受け付けた装置が一連の画像を受け付けたときの装置の角度に関する情報を受け付けてもよい。たとえば、受付部５２１は、画像を受け付けた装置が縦であったことを受け付ける。復号装置４００は、受付部５２１の動作により、一連の符号化フレームの復号を行う契機を検出することができる。なお、受け付けた各情報は、ＲＡＭ４０３等の記憶領域に記憶される。

選択部５２２は、第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、識別情報１２４に基づいて、第１の領域内の一連の部分画像に対する一連の符号化フレームを選択する。たとえば、識別情報１２４が第１の領域を示している場合、選択部５２２は、識別情報１２４が付与された一連の符号化フレームを選択する。また、識別情報１２４が第２の領域を示している場合、選択部５２２は、識別情報１２４が付与されていない一連の符号化フレームを選択する。復号装置４００は、選択部５２２の動作により、復号対象をベースビューに限定できる。なお、選択された符号化フレームは、ＲＡＭ４０３等の記憶領域に記憶される。

指定部５２３は、第１の領域と第２の領域とを結合した領域から表示領域を指定する。たとえば、指定部５２３は、ユーザによって、初期の表示領域から、右方向に移動した表示領域を指定する。復号装置４００を操作するユーザは、撮影対象物ａが映るように表示領域の操作をする。したがって、復号装置４００は、指定部５２３の動作により、撮影対象物ａの表示位置に合わせた復号処理を行うことができる。なお、指定された表示領域は、ＲＡＭ４０３等の記憶領域に記憶される。

変換部５２４は、指定された表示領域を角度に関する情報に応じて変換する。たとえば、角度に関する情報が縦を示し、表示領域が右方向に移動するように指定された場合、変換部５２４は、表示領域を下方向に移動するように変換する。復号装置４００は、変換部５２４の動作により、撮影対象物ａが撮影された状態と同じ画面の向きで復号画像を表示することができる。なお、変換された表示領域は、ＲＡＭ４０３等の記憶領域に記憶される。

復号部５２５は、選択部５２２によって選択された第１の領域に対する一連の符号化フレームを第１の領域内の一連の部分画像に復号する。たとえば、復号部５２５は、第１の領域に対する各フレームとして、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを復号する。また、復号部５２５は、指定部５２３によって表示領域が指定された場合、第２の領域に対する一連の符号化フレームを第２の領域内の一連の部分画像に復号してもよい。復号装置４００は、復号部５２５の動作により、一連の画像の動画像を再生することができる。なお、復号された画像は、ＲＡＭ４０３等の記憶領域に記憶される。

抽出部５２６は、第１の領域内の一連の部分画像から表示領域内の第１の画像列を抽出するとともに、第２の領域内の一連の部分画像から表示領域内の第２の画像列を抽出する。画像列とは、複数の画像を時系列順に並べたデータである。たとえば、第１の画像列は、０番目の時刻における表示領域内の画像、１番目の時刻における表示領域内の画像、２番目の時刻における表示領域内の画像、というように時系列順に並べたデータとなる。

また、抽出部５２６は、復号部５２５によって復号された第１の領域内の一連の部分画像のうち、出力対象でない符号化フレームに対応する部分画像以外の他の部分画像から表示領域内の第１の画像列を抽出する。なお、抽出部５２６は、出力対象でない符号化フレームの数および位置を示す情報に基づいて、抽出を行う。さらに、抽出部５２６は、第２の領域内の一連の部分画像から表示領域内の第２の画像列を抽出してもよい。

たとえば、出力対象でない符号化フレームの数および位置を示す情報が、出力対象でない符号化フレームの先頭位置と数を示していたとする。このとき、抽出部５２６は、先頭位置に対応する符号化フレームおよび該当の符号化フレームから後続する符号化フレームの一つ前までの符号化フレームを出力対象でない符号化フレームとして、出力対象でない符号化フレーム以外に対して部分画像の抽出を行う。また、出力対象でない符号化フレームの数および位置を示す情報が、出力対象でない符号化フレームの各位置を示していたとする。このとき、抽出部５２６は、各位置に対応する符号化フレーム以外となる符号化フレームが復号された部分画像に対して抽出を行う。

たとえば、出力対象でない符号化フレームの数および位置を示す情報が、１〜３番目を示しており、復号部５２５が、第１の領域内の部分画像として、画像０〜画像４を復号した場合、抽出部５２６は、画像０と画像４から表示領域内の第１の画像列を抽出する。

また、抽出部５２６は、第１の領域内の一連の部分画像から変換部５２４による変換後の表示領域内の第１の画像列を抽出するとともに、第２の領域内の一連の部分画像から変換後の表示領域内の第２の画像列を抽出してもよい。復号装置４００は、抽出部５２６の処理により、表示領域の範囲となる画像列を取得することができる。なお、抽出された画像列は、ＲＡＭ４０３等の記憶領域に記憶される。

結合部５２７は、抽出部５２６によって抽出された第１の画像列の各画像と、第２の画像列の各画像とを、一連の画像内の同一画像どうしで結合する。たとえば、結合部５２７は、第１の画像列のうち０番目と、第２の画像列のうち０番目と、を結合する。

また、結合部５２７は、出力対象でない符号化フレームの数および位置を示す情報に基づいて、第１の画像列の各画像のうち出力対象でない符号化フレームに対応する画像以外の他の画像と第２の画像列の各画像とを一連の画像内の同一画像どうしで結合してもよい。

たとえば、出力対象でない符号化フレームの数および位置を示す情報が、出力対象でない符号化フレームの先頭位置と数を示していたとする。このとき、結合部５２７は、先頭位置に対応する符号化フレームおよび該当の符号化フレームから後続する符号化フレームの一つ前までの符号化フレームに対応する画像以外の他の画像と、第２の画像列の各画像とを一連の画像内の同一画像同士で結合する。また、出力対象でない符号化フレームの数および位置を示す情報が、出力対象でない符号化フレームの各位置を示していたとする。このとき、結合部５２７は、各位置に対応する符号化フレーム以外となる符号化フレームに対応する画像以外の他の画像と、第２の画像列の各画像とを一連の画像内の同一画像同士で結合する。

復号装置４００は、結合部５２７の動作により、表示領域に対応する動画像を再生することができる。なお、抽出された画像列は、ＲＡＭ４０３等の記憶領域に記憶される。

出力部５２８は、一連の復号画像のうち、出力対象でない符号化フレームの数および位置を示す情報に基づいて、出力対象でない符号化フレームに対応する復号画像以外の他の復号画像を出力する。たとえば、出力対象でない符号化フレームの数および位置を示す情報が、出力対象でない符号化フレームの先頭位置と数を示していたとする。

このとき、出力部５２８は、先頭位置に対応する符号化フレームおよび該当の符号化フレームから後続する符号化フレームの一つ前までの符号化フレームを出力対象でない符号化フレームとして、出力対象でない符号化フレーム以外に対する復号画像を出力する。また、出力対象でない符号化フレームの数および位置を示す情報が、出力対象でない符号化フレームの各位置を示していたとする。このとき、出力部５２８は、各位置に対応する符号化フレーム以外となる符号化フレームが復号された復号画像を出力する。

また、出力部５２８は、結合部５２７の結合により得られた表示領域の画像列を出力してもよいし、結合部５２７の結合により得られた変換後の表示領域の画像列を出力してもよい。符号化装置１０１は、出力部５０９の動作により、符号化フレームを外部に出力することができる。なお、出力部５２８は、出力先として、ＲＡＭ４０３等といった記憶装置に出力結果を出力してもよいし、画像出力ＩＦ４０９を介してテレビ受信機等に出力してもよい。

次に、入力画像１１１の抽出例について説明する。入力画像１１１の抽出方法として、本実施の形態では、横位置撮影時における抽出方法と、縦位置撮影時における抽出方法が存在する。図６にて、横位置撮影時の画面の抽出方法の一例を説明し、図７にて、縦位置撮影時の画面の抽出方法の一例を説明する。

図６は、横位置撮影時の画面の抽出の一例を示す説明図である。図６中の（Ａ）で示すように、符号化装置１０１は、入力画像１１１から、ユーザに指定されなかった場合の初期表示領域となるベースビュー内の画像ｂと拡張領域に含まれる拡張ビュー内の画像ｄ＿Ｌと画像ｄ＿Ｒを抽出する。なお、画像ｄ＿Ｌは、ベースビューの左側で隣接している画像であり、画像ｄ＿Ｒは、ベースビューの右側で隣接している画像である。

たとえば、符号化装置１０１は、ベースビュー内の画像ｂとして、入力画像１１１から、左上の座標が（１ｋ、０．５ｋ）となり、縦１ｋ［画素］、横２ｋ［画素］となる矩形画像を抽出する。また、符号化装置１０１は、拡張ビュー内の画像ｄ＿Ｌとして、左上の座標が（０、０．５ｋ）となり、縦１ｋ［画素］、横１ｋ［画素］となる矩形画像を抽出する。さらに、符号化装置１０１は、拡張ビュー内の画像ｄ＿Ｒとして、左上の座標が（３ｋ、０．５ｋ）となり、縦１ｋ［画素］、横１ｋ［画素］となる矩形画像を抽出する。

符号化装置１０１は、このような抽出処理を、入力画像１１１ごとに行う。たとえば、図６中の（Ｂ）で示すように、符号化装置１０１は、時刻ｔ０における入力画像１１１から、画像ｂ０と、画像ｄ０＿Ｌと画像ｄ０＿Ｒとを結合した画像ｄ０と、を抽出する。同様に、符号化装置１０１は、時刻ｔ１における入力画像１１１から、画像ｂ１と、画像ｄ１＿Ｌと画像ｄ１＿Ｒとを結合した画像ｄ１と、を抽出する。また、符号化装置１０１は、時刻ｔ２における入力画像１１１から、画像ｂ２と、画像ｄ２＿Ｌと画像ｄ２＿Ｒとを結合した画像ｄ２と、を抽出する。

図７は、縦位置撮影時の画面の抽出方法の一例を示す説明図である。縦位置撮影が行われている場合、符号化装置１０１は、入力画像１１１が図７中の（Ａ）で示す抽出イメージのように抽出される。具体的に、入力画像１１１が、縦２ｋ［画素］、横４ｋ［画素］となっており、ユーザに指定されなかった場合の初期表示領域となるベースビュー内の画像ｂと拡張領域に含まれる拡張ビュー内の画像ｄ＿Ｌと画像ｄ＿Ｒを抽出する。

図７中の（Ａ）で示されたように抽出するため、符号化装置１０１は、図７中の（Ｂ）で示すように入力画像１１１を抽出する。具体的には、ベースビュー内の画像ｂとして、入力画像１１１から、左上の座標が（１ｋ、０．５ｋ）となり、縦１ｋ［画素］、横２ｋ［画素］となる矩形画像を抽出する。また、符号化装置１０１は、拡張ビュー内の画像ｄ＿Ｌとして、左上の座標が（１ｋ、０）となり、縦０．５ｋ［画素］、横２ｋ［画素］となる矩形画像を抽出する。さらに、符号化装置１０１は、拡張ビュー内の画像ｄ＿Ｒとして、左上の座標が（１ｋ、１．５ｋ）となり、縦０．５ｋ［画素］、横２ｋ［画素］となる矩形画像を抽出する。

符号化装置１０１は、このような抽出処理を、入力画像１１１ごとに行う。図７中の（Ｃ）で示す時刻ｔ０〜時刻ｔ２までの抽出方法は、図６の（Ｂ）と同一であるため、説明を省略する。以下、とくに記述がない場合、横位置撮影時における抽出方法を行った例にて説明を行う。

なお、図６で示したように横位置で撮影されたか、または図７で示したように縦位置で撮影されたかについては、縦横情報として記録される。縦横情報については、図１１にて後述する。

図８は、動き補償の参照方向の一例を示す説明図である。図８中の（Ａ）では、入力画像１１１にて物体（１）と物体（２）が移動する様を示しており、図８中の（Ｂ）では、動きベクトルの参照方向を示している。

物体（１）は、時刻ｔ０、時刻ｔ１ともに拡張ビュー内の画像ｄ０、画像ｄ１に存在する。画像ｄ１を符号化する場合、符号化装置１０１は、表２０１で示したように、画像ｄ０を参照できるため、物体（１）に関して符号化効率が向上する。

物体（２）は、時刻ｔ０にてベースビュー内の画像ｂ０に存在し、時刻ｔ１にて拡張ビュー内の画像ｄ１に存在する。画像ｄ１を符号化する場合、符号化装置１０１は、表２０１で示したように、画像ｂ０を参照できないため、物体（２）に関して符号化効率が悪化する。

このように、異なるビュー間の移動が発生する場合に、符号化効率が悪化する。したがって本実施の形態では、ダミーフレームを挿入することで、ベースビューと拡張ビューの画像を同一時刻にして、参照できるようにし、符号化効率の向上を図っている。図９にてダミーフレームを設定した場合について説明する。

図９は、ダミーフレームを設定した場合の参照先の一例を示す説明図である。図９中の（Ａ）では、図８で示した物体（２）のように、ベースビュー内の画像ｂから拡張ビュー内の画像ｄ＿Ｒに移動する例を示している。

次に、図９中の（Ｂ）では、ダミーフレームを設定していない状態の、ベースビュー内の符号化フレーム群と、拡張ビュー内の符号化フレーム群を示している。具体的に、図９中の（Ｂ）では、時刻ｔ０のベースビューに対する符号化フレームｆｂ０、拡張ビューに対する符号化フレームｆｄ０、時刻ｔ１のベースビューに対する符号化フレームｆｂ１、拡張ビューに対する符号化フレームｆｄ１がある。さらに、時刻ｔ２のベースビューに対する符号化フレームｆｂ２、拡張ビューに対する符号化フレームｆｄ２、時刻ｔ３のベースビューに対する符号化フレームｆｂ３、拡張ビューに対する符号化フレームｆｄ３がある。

また、符号化フレームｆｂ０はＩピクチャであり、符号化フレームｆｂ３、ｆｄ０、ｆｄ３はＰピクチャであり、符号化フレームｆｂ１、ｆｂ２、ｆｄ１、ｆｄ２はＢピクチャである。

このとき、符号化フレームｆｄ１〜符号化フレームｆｄ３は、符号化フレームｆｂ０と同一時刻にはならないため、符号化装置１０１が符号化フレームｆｄ１〜符号化フレームｆｄ３を符号化する場合、参照不可であり、符号化効率が悪化する。

次に、図９中の（Ｃ）では、符号化フレームｆｂ０の次に、ダミーフレームとなる符号化フレームｆｂ１＿ｄ、ｆｂ２＿ｄ、ｆｂ３＿ｄを設定している。ダミーフレームの実体は、たとえばスキップマクロブロックの集合である。スキップマクロブロックは、参照元の画像が参照先の画像と同一となることを示すマクロブロックである。また、符号化フレームｆｂ０の後続であった符号化フレームｆｂ１〜ｆｂ３は、それぞれ、時刻ｔ４における符号化フレームｆｂ４＿１、時刻ｔ５における符号化フレームｆｂ５＿２、時刻ｔ６における符号化フレームｆｂ６＿３となる。

このとき、符号化フレームｆｄ３は、符号化フレームｆｂ３＿ｄと同一時刻である。したがって、符号化装置１０１は、符号化フレームｆｄ３を符号化する場合、符号化フレームｆｂ３＿ｄを参照でき、符号化効率が向上する。次に、図１０にて、ストリーム１２１内におけるダミーフレームの設定例を説明する。

図１０は、ストリーム内におけるダミーフレームの設定例である。図１０中（Ａ）、図１０中（Ｂ）では、実線の矢印が参照先のフレームを示しており、点線で結ばれた画像どうしが同一の入力画像１１１から抽出されたことを示している。

図１０中の（Ａ）にて、符号化装置１０１は、ベースビューに対する符号化フレームにて、（１）で示す時刻ｔ０のＩピクチャを用いたダミーフレームとして（２）で示す時刻ｔ１〜時刻ｔ３のＰピクチャ、Ｂピクチャを設定する。また、符号化装置１０１は、拡張ビューに対する符号化フレームにて、（３）で示す時刻ｔｎのＰピクチャを用いたダミーフレームとして（４）で示す時刻ｔｎ＋１〜時刻ｔｎ＋３におけるＰピクチャ、Ｂピクチャを設定する。

このように、図１０中の（Ａ）では符号化装置１０１は、拡張ビューに対する符号化フレームにて、ベースビューに対する符号化フレームに設定したダミーフレームと同数のダミーフレームを設定している。これにより、拡張ビューに対する符号化フレームとベースビューに対する符号化フレームのフレーム数が同数となる。たとえば、復号装置４００が拡張ビューに対する符号化フレームとベースビューに対する符号化フレームのフレームが同数となるかチェックしている場合、符号化装置１０１はフレーム数を同数にして、チェックを通過できるストリーム１２１を生成できる。

また、図１０中の（Ａ）では、拡張ビューに対する符号化フレームが、ベースビューの過去方向に参照可能とするため、ベースビューにダミーフレームを設定している。拡張ビューに対する符号化フレームが、ベースビューの未来方向に参照可能にするには、拡張ビューにダミーフレームを設定してもよい。拡張ビューにダミーフレームを設定した例を図１０中の（Ｂ）で示す。

図１０中の（Ｂ）にて、符号化装置１０１は、拡張ビューに対する符号化フレームにて、（５）で示す時刻ｔ０のＰピクチャを用いたダミーフレームとして（６）で示す時刻ｔ１、時刻ｔ２におけるＢピクチャを設定する。また、符号化装置１０１は、ベースビューに対する符号化フレームにて、時刻ｔｍにて（７）で示すＰピクチャを用いたダミーフレームとして（８）で示す時刻ｔｍ＋１、時刻ｔｍ＋２におけるＢピクチャを設定する。なお、ダミーフレームが設定された位置と数は、ダミーフレーム情報として記録される。ダミーフレーム情報は、図１１にて後述する。

図１１は、縦横情報とダミーフレーム情報の設定例を示す説明図である。図１１では、縦横情報とダミーフレーム情報がストリーム１２１に設定されている例を示している。符号化装置１０１は、Ｕｓｅｒ ｄａｔａ ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージ１１０１をストリーム１２１内に設定する。Ｕｓｅｒ ｄａｔａ ｕｎｒｅｇｉｓｔｅｒｅｄ ＳＥＩメッセージ１１０１を、以下、単にＳＥＩメッセージ１１０１と称す。ＳＥＩメッセージ１１０１は、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットの一つであり、ユーザ独自の定義が可能なＳＥＩメッセージである。

ＳＥＩメッセージ１１０１は、ＮＡＬヘッダフィールド１１１１とＲＢＳＰフィールド（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）１１１２を含む。ＮＡＬヘッダフィールド１１１１は、ＮＡＬユニットの種別等が格納されている。ＲＢＳＰフィールド１１１２は、ＮＡＬユニットのペイロード部分である。

ＲＢＳＰフィールド１１１２は、ｐａｙｌｏａｄ＿ｔｙｐｅフィールド１１２１、ｐａｙｌｏａｄ＿ｓｉｚｅフィールド１１２２、ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８フィールド１１２３、ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅフィールド１１２４を含む。ｐａｙｌｏａｄ＿ｔｙｐｅフィールド１１２１は、ＲＢＳＰフィールド１１１２に格納される種別が格納され、たとえば、ｕｓｅｒ＿ｄａｔａ＿ｕｎｒｅｇｉｓｔｅｒｅｄを示す５が格納されている。ｐａｙｌｏａｄ＿ｓｉｚｅフィールド１１２２は、ＳＥＩメッセージ１１０１のサイズが格納される。ｕｕｉｄ＿ｉｓｏ＿ｉｅｃ＿１１５７８フィールド１１２３は、一意に識別できる識別情報が格納される。

ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅフィールド１１２４は、ユーザ独自の値を格納する。本実施の形態では、ｕｓｅｒ＿ｄａｔａ＿ｐａｙｌｏａｄ＿ｂｙｔｅフィールド１１２４は、縦横情報フィールド１１３１とダミーフレーム情報フィールド１１３２とを含む。たとえば、図１１では、縦横情報フィールド１１３１には横を示す識別子が格納されており、ダミーフレーム情報フィールド１１３２には、フレーム数として３が格納されている。

なお、ダミーフレームが設定された位置として、たとえば、ＳＥＩメッセージ１１０１が、ダミーフレームの前に設定されてもよい。この場合、ＳＥＩメッセージ１１０１の設定位置が、ダミーフレームが設定された位置を示すことになる。たとえば、図１０中の（Ａ）で示したストリーム１２１では、時刻ｔ１におけるベースビューに対する符号化フレームの前と、時刻ｔｎ＋１における拡張ビューに対する符号化フレームの前に、ＳＥＩメッセージ１１０１が設定される。

また、図１１では、ストリーム１２１内に縦横情報とダミーフレーム情報を設定していたが、符号化装置１０１は、ストリーム１２１に対応付けられたファイルに縦横情報とダミーフレーム情報を書き込んでもよい。

図１２は、符号化処理の一例を示す説明図である。符号化処理は、符号化装置１０１が実行する。符号化装置１０１内の画像処理部３１０は、４ｋ２ｋの入力画像１１１を受け付けて、縦横情報を用いて入力画像抽出処理を実行し、ベースビュー内の画像と拡張ビュー内の画像とを出力する。続けて、ＭＶＣ符号化復号処理部３１１は、縦横情報と、ベースビュー内の画像と、拡張ビュー内の画像とから、ＭＶＣ符号化処理を実行し、ベースビューに対する符号化フレーム１２２と拡張ビュー内に対する符号化フレーム１２３をストリーム１２１に出力する。ＭＶＣ符号化処理内にて、ＭＶＣ符号化復号処理部３１１は、動きベクトル探索範囲決定処理を実行する。図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂにて、動きベクトル探索範囲の一例を示す。

図１３Ａと、図１３Ｂは、横位置撮影時の動きベクトル探索範囲の一例を示す説明図である。図１３Ａ中の（Ａ）にて、ＭＶＣ符号化復号処理部３１１は、各マクロブロックの動きベクトル探索範囲を、カレントマクロブロックを中心とした一定範囲に設定する。以下、マクロブロックをＭＢと称する。

各ＭＢにおける動きベクトル探索範囲は、画面内のＭＢ位置によって異なるため、以下に示すパラメタを元に探索範囲を決定する。初めに、カレントＭＢを中心として、動きベクトル探索範囲の左端までの画素数をｌｘ、上端までの画素数をｕｙ、右端までの画素数をｒｘ、下端までの画素数をｄｙとする。たとえば、ｌｘ＝ｕｙ＝ｒｘ＝ｄｙ＝１６とする。

また、図１３Ａ中の（Ｂ）で示すように、ｍｂｎｕｍｘを、ベースビューおよび拡張ビューの水平画素数／１６とし、ｍｂｎｕｍｙを、ベースビューおよび拡張ビューの垂直画素数／１６とする。また、ｍｂａｄｒｘを、カレントＭＢのＭＢアドレスｘとする。ｍｂａｄｒｘは、画面内におけるＭＢ単位での水平位置を示す。さらに、ｍｂａｄｒｙを、カレントＭＢのＭＢアドレスｙとする。ｍｂａｄｒｙは、画面内におけるＭＢ単位での垂直位置を示す。

たとえば、ベースビュー内の画像と、拡張ビュー内の画像が、それぞれ、１９２０ｘ１０８８画素の場合、ｍｂｎｕｍｘは１９２０／１６ ＝ １２０、ｍｂｎｕｍｙは１０８８／１６ ＝ ６８ となる。ｍｂａｄｒｘの取りうる範囲は０〜１１９となり、ｍｂａｄｒｙの取りうる範囲は０〜６７となる。また、拡張ビュー内の画像について、ｍｂａｄｒｘが０〜５９である場合、カレントＭＢは画像ｄ＿Ｌにあり、ｍｂａｄｒｘが６０〜１１９である場合、カレントＭＢは画像ｄ＿Ｒにある。

次に、図１３Ｂにて、図１３Ｂ中の（Ａ）は、各ＭＢの位置に応じたベクトル探索範囲の具体例を示している。ＭＢ＿ａ〜ＭＢ＿ｉについて、ＭＢ＿ａ〜ＭＢ＿ｃは、ベースビュー内のＭＢであり、ＭＢ＿ｄ〜ＭＢ＿ｉについて、拡張ビュー内のＭＢである。

ＭＢ＿ａの動きベクトル探索範囲は、ＭＢ＿ａが画像ｂの左端に存在しており、拡張ビュー内の画像ｄ＿Ｌは参照できないため、ｌｘが０となる。ＭＢ＿ｂの動きベクトル探索範囲は、ＭＢ＿ｂが画像ｂの内側に存在しているため、ｌｘ＝ｕｙ＝ｒｘ＝ｄｙ＝１６のままとなる。ＭＢ＿ｃの動きベクトル探索範囲は、ＭＢ＿ｃが画像ｂの右端に存在しており、拡張ビュー内の画像ｄ＿Ｒを参照できないため、ｒｘが０となる。

ＭＢ＿ｄの動きベクトル探索範囲は、ＭＢ＿ｄが画像ｄ＿Ｌ内の上端に存在しており、ｕｙが０となる。ＭＢ＿ｅの動きベクトル探索範囲は、ＭＢ＿ｅが画像ｄ＿Ｌの内側に存在しているため、ｌｘ＝ｕｙ＝ｒｘ＝ｄｙ＝１６のままとなる。

ＭＢ＿ｆの動きベクトル探索範囲は、ＭＢ＿ｆが画像ｄ＿Ｌ内の右端に存在しており、同一時刻のベースビュー内の画像ｂを参照できるため、ｒｘが０とならず、１６のままとなる。また、図１３Ｂ中の（Ｂ）で示す、領域（Ｒ）に対応する画像ｂへのベクトル探索範囲は、画像ｄ＿Ｌのベクトル探索範囲から変換することになる。ベースビュー、および拡張ビューの水平画像画素数をｐｉｃｓｉｚｅｘ、垂直画像サイズをｐｉｃｓｉｚｅｙとし、変換前の参照画素の座標をｐｘ、ｐｙ、変換後の参照画素の座標をｏｘ、ｏｙとすると、以下のように求められる。

ｏｘ ＝ ｐｘ − ｐｉｃｓｉｚｅｘ／２
ｏｙ ＝ ｐｙ

ＭＢ＿ｇの動きベクトル探索範囲は、ＭＢ＿ｇが画像ｄ＿Ｒ内の左端に存在しており、同一時刻のベースビュー内の画像ｂを参照できるため、ｌｘが０とならず、１６のままとなる。また、図１３Ｂ中の（Ｂ）で示す、領域（Ｌ）に対応する画像ｂへのベクトル探索範囲は、画像ｄ＿Ｒのベクトル探索範囲から変換することになり、以下のように求められる。

ｏｘ ＝ ｐｘ ＋ ｐｉｃｓｉｚｅｘ／２
ｏｙ ＝ ｐｙ

ＭＢ＿ｈの動きベクトル探索範囲は、ＭＢ＿ｈが画像ｄ＿Ｒの内側に存在しているため、ｌｘ＝ｕｙ＝ｒｘ＝ｄｙ＝１６のままとなる。ＭＢ＿ｉの動きベクトル探索範囲は、ＭＢ＿ｉが画像ｄ＿Ｒの右下に存在しているため、ｒｘとｄｙが０となる。

図１４Ａと、図１４Ｂは、縦位置撮影時の動きベクトル探索範囲の一例を示す説明図である。図１４Ａ中の（Ａ）で示すＭＢのベクトル探索範囲は、図１３Ａの（Ａ）で示した横位置撮影時と同一であるため、説明を省略する。

また、図１４Ａ中の（Ｂ）で示す、ｍｂｎｕｍｘ、ｍｂｎｕｍｙ、ｍｂａｄｒｘ、ｍｂａｄｒｙの定義については、図１３Ａ中の（Ｂ）で示した定義と同一であるため、説明を省略する。また、拡張ビュー内の画像について、ｍｂａｄｒｙが０〜３３である場合、カレントＭＢは画像ｄ＿Ｌにあり、ｍｂａｄｒｙが３４〜６７である場合、カレントＭＢは画像ｄ＿Ｒにある。

次に、図１４Ｂにて、各ＭＢの位置に応じたベクトル探索範囲の具体例を示している。ＭＢ＿ａ〜ＭＢ＿ｉについて、ＭＢ＿ａ〜ＭＢ＿ｃは、ベースビュー内のＭＢであり、ＭＢ＿ｄ〜ＭＢ＿ｉについて、拡張ビュー内のＭＢである。

ＭＢ＿ａの動きベクトル探索範囲は、ＭＢ＿ａが画像ｂの上端に存在しており、拡張ビュー内の画像ｄ＿Ｌを参照できないため、ｕｙが０となる。ＭＢ＿ｂの動きベクトル探索範囲は、ＭＢ＿ｂが画像ｂの内側に存在しているため、ｌｘ＝ｕｙ＝ｒｘ＝ｄｙ＝１６のままとなる。ＭＢ＿ｃの動きベクトル探索範囲は、ＭＢ＿ｃが画像ｂの下端に存在しており、拡張ビュー内の画像ｄ＿Ｒを参照できないため、ｄｙが０となる。

ＭＢ＿ｄの動きベクトル探索範囲は、ＭＢ＿ｄが画像ｄ＿Ｌの上端に存在しており、ｕｙが０となる。ＭＢ＿ｅの動きベクトル探索範囲は、ＭＢ＿ｅがベースビューの内側に存在しているため、ｌｘ＝ｕｙ＝ｒｘ＝ｄｙ＝１６のままとなる。

ＭＢ＿ｆの動きベクトル探索範囲は、ＭＢ＿ｆが画像ｄ＿Ｌ内の下端に存在しており、同一時刻のベースビュー内の画像ｂを参照できるため、ｄｙが０とならず、１６のままとなる。また、図１４Ｂ中の（Ｂ）で示す、領域（Ｄ）に対応する画像ｂへのベクトル探索範囲は、画像ｄ＿Ｌのベクトル探索範囲から変換することになり、以下のように求められる。

ｏｘ ＝ ｐｘ
ｏｙ ＝ ｐｙ − ｐｉｃｓｉｚｅｙ／２

ＭＢ＿ｇの動きベクトル探索範囲は、ＭＢ＿ｇが画像ｄ＿Ｒ内の上端に存在しており、同一時刻のベースビュー内の画像ｂを参照できるため、ｕｙが０とならず、１６のままとなる。また、図１４Ｂ中の（Ｂ）で示す、領域（Ｕ）に対応する画像ｂへのベクトル探索範囲は、画像ｄ＿Ｒのベクトル探索範囲から変換することになり、以下のように求められる。

ｏｘ ＝ ｐｘ
ｏｙ ＝ ｐｙ ＋ ｐｉｃｓｉｚｅｙ／２

ＭＢ＿ｈの動きベクトル探索範囲は、ＭＢ＿ｈが画像ｄ＿Ｒの内側に存在しているため、ｌｘ＝ｕｙ＝ｒｘ＝ｄｙ＝１６のままとなる。ＭＢ＿ｉの動きベクトル探索範囲は、ＭＢ＿ｉが画像ｄ＿Ｒの右下に存在しているため、ｒｘとｄｙが０となる。

図１５は、復号処理の一例を示す説明図である。復号処理は、符号化装置１０１と、復号装置４００が実行可能である。図１５の説明においては、復号装置４００が復号処理を実行する場合について説明する。

復号装置４００内のＭＶＣ復号処理部４０８は、ストリーム１２１を受け付けて、ＭＶＣ復号処理を実行して、２ｋ１ｋのベースビュー内の一連の画像と、２ｋ１ｋの拡張ビュー内の一連の画像を出力する。続けて、画像処理部４０７は、縦横情報と、２ｋ１ｋのベースビュー内の一連の画像と、２ｋ１ｋの拡張ビュー内の一連の画像と、指定された表示領域と、から、出力画像結合処理を実行し、２ｋ１ｋの出力画像を出力する。次に、図１６Ａ〜図１６Ｃにて、出力画像結合処理の具体例を示す。

図１６Ａは、出力画像結合処理の具体例を示す説明図（その１）である。図１６Ａ中の（Ａ）では、撮影対象物ａがベースビュー内から一部移動し、拡張ビューに入った状態を示している。図１６Ａでは、復号装置４００を操作するユーザによって表示領域が数画素右に移動するように指定された場合について説明する。

図１６Ａ中の（Ｂ）では、初めに、ベースビューに対する一連の符号化フレームを、ベースビュー内の一連の部分画像を復号した状態を示している。具体的に、復号装置４００は、ベースビューに対する一連の符号化フレームを、ベースビュー内の一連の部分画像ｄｅｃ＿ｂ０〜ｄｅｃ＿ｂ４に復号する。また、復号装置４００は、拡張ビューに対する一連の符号化フレームを、拡張ビュー内の一連の部分画像ｄｅｃ＿ｄ０〜ｄｅｃ＿ｄ４に復号する。この状態から、復号装置４００は、ベースビュー内の一連の部分画像のうち、出力対象でないフレームに対する部分画像以外の他の部分画像から、表示領域内の画像列を抽出する。

たとえば、ダミーフレーム情報が、２番目から４番目のフレームを示していたとする。このとき、復号装置４００は、時刻ｔ１〜時刻ｔ３に対応する２番目から４番目の部分画像ｄｅｃ＿ｂ１〜ｄｅｃ＿ｂ３以外の、部分画像ｄｅｃ＿ｂ０、ｄｅｃ＿ｂ４から、表示領域内の画像ｅｘｔ＿ｂ０、ｅｘｔ＿ｂ４を抽出する。また、復号装置４００は、部分画像ｄｅｃ＿ｄ０〜ｄｅｃ＿ｄ４から、表示領域内の画像ｅｘｔ＿ｄ０〜ｅｘｔ＿ｄ４を抽出する。

続けて、復号装置４００は、画像ｅｘｔ＿ｂ０と画像ｅｘｔ＿ｄ０とを結合した画像ｃｏｍ１と、画像ｅｘｔ＿ｂ４と画像ｅｘｔ＿ｄ１とを結合した画像ｃｏｍ２と、を出力する。

図１６Ｂは、出力画像結合処理の具体例を示す説明図（その２）である。図１６Ａで示す出力画像結合処理は、出力対象でないフレームを除く処理を、復号後と抽出前に行っていたが、図１６Ｂで示す出力画像結合処理は、出力対象でないフレームを除く処理を、抽出後と結合前に行う。復号処理までについては、図１６Ａで示したものと同一となるため、ベースビュー内の一連の部分画像ｄｅｃ＿ｂ０〜ｄｅｃ＿ｂ４と、拡張ビュー内の一連の部分画像ｄｅｃ＿ｄ０〜ｄｅｃ＿ｄ４と、を復号する処理までの説明を省略する。

復号を行った後、復号装置４００は、部分画像ｄｅｃ＿ｂ０〜ｄｅｃ＿ｂ４から、表示領域内の画像ｅｘｔ＿ｂ０、ｅｘｔ＿ｂ４を抽出する。また、復号装置４００は、部分画像ｄｅｃ＿ｄ０〜ｄｅｃ＿ｄ４から、表示領域内の画像ｅｘｔ＿ｄ０〜ｅｘｔ＿ｄ４を抽出する。

続けて、復号装置４００は、時刻ｔ１〜時刻ｔ３に対応する２番目から４番目の画像ｅｘｔ＿ｂ１〜ｅｘｔ＿ｂ３以外の、画像ｅｘｔ＿ｂ０、ｅｘｔ＿ｂ４を、画像ｅｘｔ＿ｄ０、ｅｘｔ＿ｄ４を結合し、結合した画像を出力する。具体的には、復号装置４００は、画像ｅｘｔ＿ｂ０と画像ｅｘｔ＿ｄ０とを結合した画像ｃｏｍ１と、画像ｅｘｔ＿ｂ４と画像ｅｘｔ＿ｄ１とを結合した画像ｃｏｍ２と、を出力する。

図１６Ｃは、出力画像結合処理の具体例を示す説明図（その３）である。図１６Ｃでは、復号装置４００が、縦横情報を受け付け、縦横情報が縦を示していた場合の出力画像結合処理について説明する。

縦横情報が縦を示していた場合、復号装置４００は、指定された表示領域を変換する。具体的には、復号装置４００を操作するユーザによって表示領域が数画素右へ移動するように指定された場合、復号装置４００は、数画素下に移動するように表示領域を変換する。続けて、符号化フレームの復号、抽出、結合の各処理については、図１６Ａと示した場合と同じであるため、説明を省略する。結合処理後、復号装置４００は、結合により得られた変換後の表示領域の画像列となるｃｏｍ１、ｃｏｍ２を出力する。

次に、図１６Ａ〜図１６Ｃで示した処理のフローチャートについて説明する。図１７にて符号化処理のフローチャートを示す。図１８Ａ〜図２１Ｂでは、符号化処理から実行される、ＭＶＣ符号化処理と、ベースビュー内の動きベクトル探索範囲決定処理と、拡張ビュー内の動きベクトル探索範囲決定処理と、のフローチャートを示している。また、図２２Ａ、図２２Ｂでは、復号処理のフローチャートを示している。符号化処理〜拡張ビュー内の動きベクトル探索範囲決定処理については、符号化装置１０１が実行し、復号処理については、符号化装置１０１と復号装置４００が実行する。本実施の形態では、復号処理について、復号装置４００が実行する場合を例にして説明を行う。

図１７は、符号化処理手順の一例を示すフローチャートである。図１７では、入力動画像を符号化する処理について説明する。符号化装置１０１は、横位置撮影か否かを判断する（ステップＳ１７０１）。なお、横位置撮影か否かの判断方法については、ジャイロセンサ３０６からの角度を取得し、角度に応じて判断する。横位置撮影である場合（ステップＳ１７０１：Ｙｅｓ）、符号化装置１０１は、縦横情報を横に設定する（ステップＳ１７０２）。横位置撮影でない場合（ステップＳ１７０１：Ｎｏ）、符号化装置１０１は、縦横情報を縦に設定する（ステップＳ１７０３）。

ステップＳ１７０２、またはステップＳ１７０３の処理後、符号化装置１０１は、縦横情報が横を示しているか否かを判断する（ステップＳ１７０４）。横を示している場合（ステップＳ１７０４：Ｙｅｓ）、符号化装置１０１は、ベースビューの位置情報を入力画像の中央に、拡張ビューの位置情報をベースビューの左右に決定する（ステップＳ１７０５）。縦を示している場合（ステップＳ１７０４：Ｎｏ）、符号化装置１０１は、ベースビューの位置情報を入力画像の中央に、拡張ビューの位置情報をベースビューの上下に決定する（ステップＳ１７０６）。

ステップＳ１７０２、またはステップＳ１７０３の処理後、符号化装置１０１は、入力画像１１１から、決定された位置情報に従ったベースビュー内の画像と拡張ビュー内の画像を抽出する（ステップＳ１７０７）。次に、符号化装置１０１は、ベースビュー内の画像と拡張ビュー内の画像をＲＡＭ３０３へ出力し（ステップＳ１７０８）、ＭＶＣ符号化処理を実行する（ステップＳ１７０９）。

続けて、符号化装置１０１は、ストリーム１２１に縦横情報とダミーフレーム情報を設定する（ステップＳ１７１０）。次に、符号化装置１０１は、撮影終了か否かを判断する（ステップＳ１７１１）。撮影終了していない場合（ステップＳ１７１１：Ｎｏ）、符号化装置１０１は、ステップＳ１７０４の処理に移行する。撮影終了する場合（ステップＳ１７１１：Ｙｅｓ）、符号化装置１０１は、符号化処理を終了する。このように、図１７で示す処理を実行することで、符号化装置１０１は、入力動画像を符号化することができる。

なお、ステップＳ１７０７およびステップＳ１７０８の処理は画像処理部３１０が実行し、ステップＳ１７０９の処理は画像処理部３１０が実行する。たとえば、ＣＰＵ３０１は、符号化処理を実行するプロセスとして、２つのスレッドを用意してもよい。１つ目のスレッドは、入力画像１１１を受け付けたらステップＳ１７０７とステップＳ１７０８の処理を画像処理部３１０に実行させるスレッドとなる。２つ目のスレッドは、ＲＡＭ３０３を一定周期で確認、または１つ目のスレッドから出力したことを受け付け、ベースビュー内の画像と拡張ビュー内の画像があった場合、ＭＶＣ符号化復号処理部３１１にステップＳ１７０９の処理を実行させるスレッドとなる。

図１８Ａ、図１８Ｂは、ＭＶＣ符号化処理の一例を示すフローチャートである。図１８Ａ、図１８Ｂでは、ベースビュー内の画像と拡張ビュー内の画像を符号化する処理について説明する。初めに、図１８Ａにて、符号化装置１０１は、ベースビュー内の動きベクトル探索範囲決定処理を実行する（ステップＳ１８０１）。次に、符号化装置１０１は、ベースビュー内の画像に対するＭＶＣ符号化処理を実行する（ステップＳ１８０２）。ＭＶＣ符号化処理については、Ｈ．２６４ ＭＶＣの規格に従った符号化処理を行うため、説明を省略する。

ＭＶＣ符号化処理を実行し、いずれかの画像が符号化された後、符号化装置１０１は、ベースビューに対する符号化フレームをストリーム１２１に出力する（ステップＳ１８０３）。続いて、符号化装置１０１は、ダミーフレームが設定済か否かを判断する（ステップＳ１８０４）。ダミーフレームが設定されていない場合（ステップＳ１８０４：Ｎｏ）、符号化装置１０１は、ベースビュー内の先頭の画像を、ダミーフレーム情報のフレーム数分符号化する（ステップＳ１８０５）。

次に、符号化装置１０１は、生成したダミーフレームをベースビューに対する先頭の符号化フレームの次のフレームに設定する（ステップＳ１８０６）。なお、ステップＳ１８０５、ステップＳ１８０６の処理では、２番目の画像を符号化するタイミングにてダミーフレームが設定される場合について説明している。たとえば、３番目の画像を符号化するタイミングにてダミーフレームが設定される場合、ステップＳ１８０５の処理は、「ベースビュー内の２番目の画像を、ダミーフレーム情報のフレーム数分符号化」となる。また、ステップＳ１８０６の処理は、「生成したダミーフレームをベースビューに対する２番目の符号化フレームの次のフレームに設定」となる。

次に、図１８Ｂにて、ステップＳ１８０６の処理後、またはダミーフレームが設定済の場合（ステップＳ１８０４：Ｙｅｓ）、符号化装置１０１は、縦横情報が横を示しているか否かを判断する（ステップＳ１８０７）。横を示している場合（ステップＳ１８０７：Ｙｅｓ）、符号化装置１０１は、横位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理を実行する（ステップＳ１８０８）。縦を示している場合（ステップＳ１８０７：Ｎｏ）、符号化装置１０１は、縦位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理を実行する（ステップＳ１８０９）。

ステップＳ１８０８の処理、またはステップＳ１８０９の処理実行後、符号化装置１０１は、拡張ビューの画像に対するＭＶＣ符号化処理を実行する（ステップＳ１８１０）。符号化装置１０１は、拡張ビューに対する符号化フレームに、拡張ビューを示す識別情報１２４を付与する（ステップＳ１８１１）。次に、符号化装置１０１は、拡張ビューに対する符号化フレームをストリーム１２１に出力する（ステップＳ１８１２）。続いて、符号化装置１０１は、撮影終了か否かを判断する（ステップＳ１８１３）。撮影終了する場合（ステップＳ１８１３：Ｙｅｓ）、符号化装置１０１は、拡張ビュー内の末尾の画像を、ダミーフレーム情報のフレーム数分符号化する（ステップＳ１８１４）。

次に、符号化装置１０１は、生成したダミーフレームを拡張ビューに対する末尾の符号化フレームの次のフレームに設定する（ステップＳ１８１５）。ステップＳ１８１２の終了後、または、撮影終了していない場合（ステップＳ１８１３：Ｎｏ）、符号化装置１０１は、ＭＶＣ符号化処理を終了する。このように、図１８Ａ、図１８Ｂで示す処理を実行することで、符号化装置１０１は、ベースビュー内の画像と拡張ビュー内の画像を符号化することができる。

図１９は、ベースビュー内の動きベクトル探索範囲決定処理の一例を示すフローチャートである。図１９では、カレントＭＢがベースビュー内に存在する場合の動きベクトル探索範囲を決定する処理について説明する。符号化装置１０１は、ｌｘとｒｘを１６に設定し、ｕｙとｄｙを１６に設定する（ステップＳ１９０１）。次に、符号化装置１０１は、カレントＭＢのｍｂａｄｒｘが０か否かを判断する（ステップＳ１９０２）。０である場合（ステップＳ１９０２：Ｙｅｓ）、符号化装置１０１は、ｌｘを０に設定する（ステップＳ１９０３）。

ステップＳ１９０３の実行後、またはｍｂａｄｒｘが０ではない場合（ステップＳ１９０２：Ｎｏ）、符号化装置１０１は、カレントＭＢのｍｂａｄｒｘがｍｂｎｕｍｘ−１か否かを判断する（ステップＳ１９０４）。ｍｂａｄｒｘがｍｂｎｕｍｘ−１である場合（ステップＳ１９０４：Ｙｅｓ）、符号化装置１０１は、ｒｘを０に設定する（ステップＳ１９０５）。

ステップＳ１９０５の実行後、またはｍｂａｄｒｘがｍｂｎｕｍｘ−１ではない場合（ステップＳ１９０４：Ｎｏ）、符号化装置１０１は、カレントＭＢのｍｂａｄｒｙが０か否かを判断する（ステップＳ１９０６）。ｍｂａｄｒｙが０である場合（ステップＳ１９０６：Ｙｅｓ）、符号化装置１０１は、ｕｙを０に設定する（ステップＳ１９０７）。

ステップＳ１９０７の実行後、またはｍｂａｄｒｙが０ではない場合（ステップＳ１９０６：Ｎｏ）、符号化装置１０１は、カレントＭＢのｍｂａｄｒｙがｍｂｎｕｍｙ−１か否かを判断する（ステップＳ１９０８）。ｍｂａｄｒｙがｍｂｎｕｍｙ−１である場合（ステップＳ１９０８：Ｙｅｓ）、符号化装置１０１は、ｄｙを０に設定する（ステップＳ１９０９）。

ステップＳ１９０９の実行後、ｍｂａｄｒｙがｍｂｎｕｍｙ−１でない場合（ステップＳ１９０８：Ｎｏ）、符号化装置１０１は、ベースビュー内の探索範囲画像を取得する（ステップＳ１９１０）。ベースビュー内の探索範囲画像とは、ベースビュー内に対応する符号化フレームが復号された画像のうち、カレントＭＢが参照可能な画像のことである。たとえば、カレントＭＢがＰピクチャであれば、過去のＰピクチャ、またはＩピクチャが復号された画像である。

次に、符号化装置１０１は、ベースビュー内の動きベクトル探索処理を実行し（ステップＳ１９１１）、ベースビュー内の動きベクトル探索範囲決定処理を終了する。このように、図１９で示す処理を実行することで、符号化装置１０１は、カレントＭＢがベースビュー内に存在する場合の動きベクトルの探索範囲を決定することができる。なお、ベースビュー内の動きベクトル探索処理は、ステップＳ１９１０で取得した画像から、カレントＭＢと画素値が最も近いＭＢを探索する処理である。動きベクトル探索処理については、Ｈ．２６４ ＭＶＣの規格に従った符号化処理を行うため、説明を省略する。

図２０Ａ、図２０Ｂは、横位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理の一例を示すフローチャートである。図２０Ａ、図２０Ｂでは、横位置撮影時にカレントＭＢが拡張ビュー内に存在する場合の動きベクトル探索範囲を決定する処理について説明する。なお、ステップＳ２００２〜ステップＳ２００９は、ステップＳ１９０２〜ステップＳ１９０９と同一の処理であるため、説明を省略する。初めに、図２０Ａでは、符号化装置１０１は、ｌｘとｒｘを１６に設定し、ｕｙとｄｙを１６に設定し、領域（Ｌ）と領域（Ｒ）を拡張ビュー内に設定する（ステップＳ２００１）。ステップＳ２００１の処理の実行後、符号化装置１０１は、ステップＳ２００２の処理を実行する。

次に、図２０Ｂにて、ステップＳ２００８、またはステップＳ２００９の実行後、符号化装置１０１は、カレントＭＢのｍｂａｄｒｘがｍｂｎｕｍｘ／２−１か否かを判断する（ステップＳ２０１０）。ｍｂａｄｒｘがｍｂｎｕｍｘ／２−１である場合（ステップＳ２０１０：Ｙｅｓ）、符号化装置１０１は、領域（Ｒ）をベースビュー内に設定する（ステップＳ２０１１）。

ステップＳ２０１１の実行後、またはｍｂａｄｒｘがｍｂｎｕｍｘ／２−１でない場合（ステップＳ２０１０：Ｎｏ）、符号化装置１０１は、カレントＭＢのｍｂａｄｒｘがｍｂｎｕｍｘ／２か否かを判断する（ステップＳ２０１２）。ｍｂａｄｒｘがｍｂｎｕｍｘ／２である場合（ステップＳ２０１２：Ｙｅｓ）、符号化装置１０１は、領域（Ｌ）をベースビュー内に設定する（ステップＳ２０１３）。

ステップＳ２０１３の実行後、またはｍｂａｄｒｘがｍｂｎｕｍｘ／２でない場合（ステップＳ２０１２：Ｎｏ）、符号化装置１０１は、拡張ビュー内の探索範囲画像を取得する（ステップＳ２０１４）。拡張ビュー内の探索範囲画像とは、拡張ビュー内に対応する符号化フレームが復号された画像のうち、カレントＭＢが参照可能な画像のことである。

次に、符号化装置１０１は、領域（Ｌ）がベースビュー内か、または領域（Ｒ）がベースビュー内か否かを判断する（ステップＳ２０１５）。領域（Ｌ）または領域（Ｒ）のいずれかがベースビュー内である場合（ステップＳ２０１５：Ｙｅｓ）、符号化装置１０１は、ベースビュー内の探索範囲画像を取得する（ステップＳ２０１６）。ステップＳ２０１６で取得されるベースビュー内の画像は、ベースビュー内に対応する符号化フレームが復号された画像のうち、カレントＭＢが属している画像と同一時刻となる画像である。

ステップＳ２０１６、または、領域（Ｌ）および領域（Ｒ）がベースビュー内でない場合（ステップＳ２０１５：Ｎｏ）、符号化装置１０１は、拡張ビュー内の動きベクトル探索処理を実行する（ステップＳ２０１７）。なお、拡張ビュー内の動きベクトル探索処理は、ステップＳ２０１４で取得した画像から、カレントＭＢと画素値が最も近いＭＢを探索する。

続けて、符号化装置１０１は、領域（Ｌ）がベースビュー内か、または領域（Ｒ）がベースビュー内否かを判断する（ステップＳ２０１８）。領域（Ｌ）または領域（Ｒ）のいずれかがベースビュー内である場合（ステップＳ２０１８：Ｙｅｓ）、符号化装置１０１は、ベースビュー内の動きベクトル探索処理を実行する（ステップＳ２０１９）。なお、拡張ビュー内の動きベクトル探索処理は、ステップＳ２０１６で取得した画像から、カレントＭＢと画素値が最も近いＭＢを探索する。

ステップＳ２０１９の処理後、または、領域（Ｌ）および領域（Ｒ）がベースビュー内でない場合（ステップＳ２０１８：Ｎｏ）、符号化装置１０１は、横位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理を終了する。このように、図２０Ａ、図２０Ｂで示す処理を実行することで、符号化装置１０１は、横位置撮影時にカレントＭＢが拡張ビュー内に存在する場合の動きベクトルの探索範囲を決定することができる。

図２１Ａ、図２１Ｂは、縦位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理の一例を示すフローチャートである。図２１Ａ、図２１Ｂでは、縦位置撮影時にカレントＭＢが拡張ビュー内に存在する場合の動きベクトル探索範囲を決定する処理について説明する。なお、ステップＳ２１０１〜ステップＳ２１０９は、ステップＳ２００１〜ステップＳ２００９と同一の処理であるため、説明を省略する。

図２１Ａにて、ステップＳ２１０８、またはステップＳ２１０９の実行後、符号化装置１０１は、カレントＭＢのｍｂａｄｒｙがｍｂｎｕｍｙ／２−１か否かを判断する（ステップＳ２１１０）。ｍｂａｄｒｙがｍｂｎｕｍｙ／２−１である場合（ステップＳ２１１０：Ｙｅｓ）、符号化装置１０１は、領域（Ｄ）をベースビュー内に設定する（ステップＳ２１１１）。

ステップＳ２１１１の実行後、またはｍｂａｄｒｙがｍｂｎｕｍｙ／２−１でない場合（ステップＳ２１１０：Ｎｏ）、符号化装置１０１は、カレントＭＢのｍｂａｄｒｙがｍｂｎｕｍｙ／２か否かを判断する（ステップＳ２１１２）。ｍｂａｄｒｙがｍｂｎｕｍｙ／２である場合（ステップＳ２１１２：Ｙｅｓ）、符号化装置１０１は、領域（Ｕ）をベースビュー内に設定する（ステップＳ２１１３）。

ステップＳ２１１３の実行後、またはｍｂａｄｒｙがｍｂｎｕｍｙ／２でない場合（ステップＳ２１１２：Ｎｏ）、符号化装置１０１は、拡張ビュー内の探索範囲画像を取得する（ステップＳ２１１４）。拡張ビュー内の探索範囲画像とは、拡張ビュー内に対応する符号化フレームが復号された画像のうち、カレントＭＢが参照可能な画像のことである。

次に、符号化装置１０１は、領域（Ｕ）がベースビュー内か、または領域（Ｄ）がベースビュー内か否かを判断する（ステップＳ２１１５）。領域（Ｕ）または領域（Ｄ）のいずれかがベースビュー内である場合（ステップＳ２１１５：Ｙｅｓ）、符号化装置１０１は、ベースビュー内の探索範囲画像を取得する（ステップＳ２１１６）。ステップＳ２１１６で取得されるベースビュー内の画像は、ベースビュー内に対応する符号化フレームが復号された画像のうち、カレントＭＢが属している画像と同一時刻となる画像である。

ステップＳ２１１６の実行後、または、領域（Ｕ）および領域（Ｄ）がベースビュー内でない場合（ステップＳ２１１５：Ｎｏ）、符号化装置１０１は、拡張ビュー内の動きベクトル探索処理を実行する（ステップＳ２１１７）。なお、拡張ビュー内の動きベクトル探索処理は、ステップＳ２１１４で取得した画像から、カレントＭＢと画素値が最も近いＭＢを探索する。

続けて、符号化装置１０１は、領域（Ｕ）がベースビュー内か、または領域（Ｄ）がベースビュー内か否かを判断する（ステップＳ２１１８）。領域（Ｕ）または領域（Ｄ）のいずれかがベースビュー内である場合（ステップＳ２１１８：Ｙｅｓ）、符号化装置１０１は、ベースビュー内の動きベクトル探索処理を実行する（ステップＳ２１１９）。なお、拡張ビュー内の動きベクトル探索処理は、ステップＳ２０１６で取得した画像から、カレントＭＢと画素値が最も近いＭＢを探索する。

ステップＳ２１１９の処理後、または、領域（Ｕ）および領域（Ｄ）がベースビュー内でない場合（ステップＳ２１１８：Ｎｏ）、符号化装置１０１は、縦位置撮影時の拡張ビュー内の動きベクトル探索範囲決定処理を終了する。このように、図２１Ａ、図２１Ｂで示す処理を実行することで、符号化装置１０１は、縦位置撮影時にカレントＭＢが拡張ビュー内に存在する場合の動きベクトルの探索範囲を決定することができる。

図２２Ａ、図２２Ｂは、復号処理手順の一例を示すフローチャートである。図２２Ａ、図２２Ｂでは、符号化フレームを復号する処理について説明する。ユーザなどからの動画像再生要求を受け付けると、復号装置４００は、ストリーム１２１から縦横情報とダミーフレーム情報を受け付ける（ステップＳ２２０１）。次に、復号装置４００は、識別情報１２４に基づいて、ストリーム１２１からベースビューに対する符号化フレームを選択し（ステップＳ２２０２）、ユーザから表示領域が指定されたか否かを判断する（ステップＳ２２０３）。

表示領域が指定されていない場合（ステップＳ２２０３：Ｎｏ）、復号装置４００は、ベースビューに対する符号化フレームに対してＭＶＣ復号処理を実行する（ステップＳ２２０４）。次に、復号装置４００は、ベースビュー内の部分画像をＲＡＭ４０３に出力する（ステップＳ２２０５）。続けて、復号装置４００は、ベースビュー内の部分画像のうち、出力対象でない符号化フレームに対応する部分画像以外の画像を出力対象に設定する（ステップＳ２２０６）。次に、復号装置４００は、ベースビュー内の出力対象の画像を出力する（ステップＳ２２０７）。

ステップＳ２２０７、または図２２Ｂで示すステップＳ２２０３：Ｙｅｓのルートとなる一連の処理終了後、復号装置４００は、再生終了か否かを判断する（ステップＳ２２０８）。再生終了していない場合（ステップＳ２２０８：Ｎｏ）、復号装置４００は、ステップＳ２２０２の処理に移行する。再生終了する場合（ステップＳ２２０８：Ｙｅｓ）、復号装置４００は、復号処理を終了する。

次に、図２２Ｂにて、表示領域が指定された場合（ステップＳ２２０３：Ｙｅｓ）、復号装置４００は、ストリーム１２１から拡張ビューに対する符号化フレームを選択する（ステップＳ２２０９）。ステップＳ２２０２とステップＳ２２０９の処理によって、復号対象となるベースビューに対する符号フレームと、同一時刻の拡張ビューに対する符号化フレームが選択されたことになる。続けて、復号装置４００は、ベースビューに対する符号化フレームと拡張ビューに対する符号化フレームに対してＭＶＣ復号処理を実行する（ステップＳ２２１０）。ＭＶＣ復号処理は、Ｈ．２６４ ＭＶＣの規格に従った復号処理を行うため、説明を省略する。

次に、復号装置４００は、復号されたベースビューと拡張ビューの部分画像をＲＡＭ４０３に出力する（ステップＳ２２１１）。続けて、復号装置４００は、ベースビュー内の部分画像のうち、出力対象でない符号化フレームに対応する部分画像以外の画像を出力対象に設定する（ステップＳ２２１２）。次に、復号装置４００は、縦横情報が横を示しているか否かを判断する（ステップＳ２２１３）。

縦を示している場合（ステップＳ２２１３：Ｎｏ）、復号装置４００は、縦横情報に応じて、指定された表示領域を変換する（ステップＳ２２１４）。具体的には、表示領域が中央部分から右方向に１０画素移動するように指定された場合、変換後の表示領域は、中央部分から下方向に１０画素移動された領域となる。ステップＳ２２１４を実行後、または横を示している場合（ステップＳ２２１３：Ｙｅｓ）、復号装置４００は、ベースビュー内の部分画像から表示領域内の画像列を抽出し、拡張ビュー内の部分画像から表示領域内の画像列を抽出する（ステップＳ２２１５）。

次に、復号装置４００は、ベースビュー内の画像列の各画像と拡張ビュー内の画像列の各画像を、同一画像どうしで結合する（ステップＳ２２１６）。次に、復号装置４００は、指定された表示領域の画像を出力し（ステップＳ２２１７）、ステップＳ２２０８の処理に移行する。このように、図２２Ａ、図２２Ｂで示す処理を実行することで、復号装置４００は、符号化フレームを復号し、動画像を再生することができる。

以上説明したように、符号化装置、動画像処理システム、符号化方法、および符号化プログラムによれば、４ｋ２ｋの画像から、２ｋ１ｋを独立したベースビューとし左右の領域をベースビューを参照する拡張ビューとして、ビューの識別情報を付与する。これにより、ベースビューを復号する復号装置は、識別情報から復号対象をベースビューに対する符号化フレームに限定できるため、画面全体を復号してから変換するよりも復号量が低減化できる。

復号量の低減化により、たとえば、復号装置は、ユーザから再生指示を受け付けて動画像の再生を開始するまでの時間を短縮することができる。また、復号装置は、早送り、巻き戻し、頭出し、といったトリックプレイを行う場合にも、トリックプレイを開始するまでの時間を短縮することができる。たとえば、頭出しを行う場合、復号装置は、頭出し処理を高速化することができる。また、動画像再生中の復号装置は、動画像の再生が不自然に途切れたりする現象を減らすことができる。

また、符号化装置は、ダミーフレームを過去へ参照可能な枚数分生成して、ベースビューに設定してもよい。これにより、拡張ビューの符号化時に、過去のベースビューの画像を参照することができ、符号化装置は、符号化効率を向上することができる。なお、ダミーフレームは、スキップマクロブロックとなることが多いため、追加される符号量は小さい。

たとえば、物体がベースビューから拡張ビューに移動した場合、過去のベースビューの画像を参照することができるようになり、符号化効率を向上させることができる。とくに、拡張ビューのＰピクチャは、過去方向にしか参照できないため、ベースビューの過去の画像を参照できるようになることで、符号化効率を向上することができる。また、符号化効率が向上することで、符号化装置は、撮影時間を延ばすことができる。

また、符号化装置は、ダミーフレームの生成数を、連続して存在するＢピクチャの数＋１にしてもよい。これにより、拡張ビューのＰピクチャが、ベースビューのＩピクチャまたはＰピクチャを参照することになる。ベースビューのＩピクチャまたはＰピクチャが高画質に符号化されている場合、高画質の画像を参照できるため、より高画質な画像をユーザに提供できる。

また、符号化装置は、ダミーフレームが設定済の場合、ダミーフレームを生成せずともよい。既にダミーフレームが設定済の場合であれば、符号化装置は、拡張ビューの符号化時に、過去のベースビューの画像を参照することになるためである。

また、符号化装置は、ダミーフレームを過去へ参照可能な枚数分生成して、拡張ビューに設定してもよい。これにより、拡張ビューの符号化時に、未来のベースビューの画像を参照することができる。たとえば、物体が拡張ビューからベースビューに移動した場合、拡張ビューのＰピクチャは、拡張ビュー内の過去の画像と、ベースビュー内の未来の画像を参照することができ、未来の画像の方が現在の画像と近ければ、符号化効率を向上することができる。

また、符号化装置は、自装置の縦横を検出し、ベースビューと拡張ビューの抽出位置を変えてもよい。これにより、符号化装置は、横を検出した場合、横長の物体に適した表示領域で撮影し、縦を検出した場合、縦長の物体に適した表示領域で撮影することができる。

また、符号化装置は、拡張ビュー内の画像の符号化について、ベースビュー内の画像に基づいて符号化してもよい。たとえば、符号化装置が、ダミーフレームを設定しないで、単にベースビュー内の画像と、拡張ビュー内の画像を符号化する仕様であるとする。このとき、ベースビュー内の画像の符号化する時刻と拡張ビュー内の画像の符号化する時刻とはほぼ同時になるため、ベースビュー内の画像がメモリに残っている可能性がある。この場合、符号化装置は、ベースビュー内の画像を符号化した符号化フレームを用いず、そのままベースビュー内の画像を用いて符号化してもよい。

また、復号装置、動画像処理システム、復号方法、および復号プログラムによれば、第１および第２の領域の一連の符号化フレームと、符号化フレームに付与された領域を示す識別情報を受け付け、識別情報から第１の領域の符号化フレームを復号する。このように、復号装置は、識別情報から復号対象をベースビューに対する符号化フレームに限定できるため、復号量が低減化できる。

また、復号装置は、出力対象でない符号化フレームの数および位置を示す情報から、出力対象以外の符号化フレームに対応した復号画像を出力する。これにより、復号装置は、ダミーフレームが含まれていない動画像を出力することができる。

また、復号装置は、表示領域が指定された場合、一連の画像のベースビュー内に対する符号化フレームと、一連の画像の拡張ビュー内に対する符号化フレームと、をそれぞれ復号し、表示領域に抽出し、結合して出力してもよい。これにより、復号装置は、表示領域の変更に応答でき、また、指定があったときだけ、拡張ビュー内に対する符号化フレームを復号することになるため、常に拡張ビュー内の画像を復号することに比べ、処理効率を向上することができる。

また、復号装置は、表示領域が指定され、かつ、出力対象でない符号化フレームの数および位置を受け付けた場合、出力対象以外の符号化フレームに対応したベースビュー内の部分画像と拡張ビュー内の部分画像を、抽出して結合してもよい。これにより、復号装置は、４ｋ１ｋから指定された表示領域を抽出した方法と同じように再生でき、かつ、符号化効率が向上しているため、消費電力も少なくなり再生時間を長くすることができる。また、出力対象以外の画像を除く処理は、抽出処理の後に行ってもよい。

また、復号装置は、一連の画像を受け付けた装置が一連の画像を受け付けたときの角度に関する情報を受け付けて、指定された表示領域を変換してもよい。これにより、復号装置は、一連の画像が受け付けられたときと同じ画像の向きで再生することができる。

また、符号化装置は、ベースビューの領域と拡張ビューの領域を指定してもよい。たとえば、撮影開始時には、撮影対象物ａが撮影範囲の中央に存在し、撮影途中にて、撮影対象物ａが撮影範囲内の右側に移動したとする。このような場合、本実施の形態では復号装置のユーザの操作により表示領域が指定されていた例として提示したが、符号化の時点にて、符号化装置を操作するユーザの操作により、ベースビューの領域と拡張ビューの領域を指定してもよい。

具体的に、ユーザの指示により、ベースビューの領域が、左上の座標が（１．２ｋ、０．５ｋ）であり、縦１ｋ［画素］、横２ｋ［画素］の矩形領域となったとする。ユーザの指示を受け付けた符号化装置は、指定されたベースビューの領域にて、ベースビュー内の画像を抽出する。また、符号化装置は、左上の座標が（０ｋ、０．５ｋ）であり、縦１ｋ［画素］、横１．２ｋ［画素］となる領域と、左上の座標が（３．２ｋ、０．５ｋ）であり、縦１ｋ［画素］、横０．８ｋ［画素］となる領域と、を拡張ビューの領域として抽出する。

続けて、符号化装置は、抽出された画像を符号化し、指定された領域を情報として付与してストリーム１２１に出力する。このとき、拡張ビューのベクトル探索範囲決定処理は、カレントＭＢの横座標が１．２ｋに隣接している箇所で、ベースビュー内の探索範囲画像を取得することになる。

次に、復号装置は、復号装置のユーザの操作がなく、表示領域が指定されない場合、ベースビューの画像を復号する。これにより、撮影対象物ａが移動した場合でも、復号対象をベースビューに対する符号化フレームに限定できるため、復号量が低減化できる。

また、Ｈ．２６４ ＭＶＣは、再符号化、復号することなく、ベースビューの再生を行うことを可能としている。したがって、フルＨＤ Ｈ．２６４ ＡＶＣとして、既存の復号装置で再生することが可能である。

なお、本実施の形態で説明した符号化方法、復号方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。符号化プログラム、復号プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また符号化プログラム、復号プログラムは、インターネット等のネットワークを介して配布してもよい。

また、本実施の形態で説明した画像処理部３１０、ＭＶＣ符号化復号処理部３１１は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣ（以下、単に「ＡＳＩＣ」と称す。）やＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によっても実現することができる。画像処理部４０７、ＭＶＣ復号処理部４０８も同様である。一例として、たとえば、上述した抽出部５０４をＨＤＬ記述によって機能定義し、そのＨＤＬ記述を論理合成してＡＳＩＣやＰＬＤに与えることにより、画像処理部３１０を製造することができる。

上述した実施の形態に関し、さらに以下の付記を開示する。

（付記１）一連の画像のいずれかの画像から、第１の領域内の画像と前記第１の領域に隣接する第２の領域内の画像とを抽出する抽出部と、
前記第１の領域内の画像を前記第１の領域に対する符号化フレームに符号化する第１の符号化部と、
前記第１の符号化部が前記いずれかの画像を符号化する場合、前記いずれかの画像の前の画像の前記第１の領域に対する符号化フレームのダミーフレームを、前記前の画像のうち前記第１の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成する生成部と、
前記生成部によって生成数分生成されたダミーフレームを、前記前の画像の前記第１の領域に対する符号化フレームの次の符号化フレームに設定する設定部と、
前記いずれかの画像の前記第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうち前記いずれかの画像の前記第１の領域に対する符号化フレームから前記ダミーフレームの前記生成数分先行する先行符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化する第２の符号化部と、
前記生成数分生成された前記ダミーフレームと前記ダミーフレームの生成数および設定位置を示す情報とを出力する出力部と、
を有することを特徴とする符号化装置。

（付記２）前記生成部は、
前記ダミーフレームを、前記第１の符号化部が符号化する符号化フレーム群のうち複数の参照先を有する符号化フレームが連続して存在する数より１多い数分、生成することを特徴とする付記１に記載の符号化装置。

（付記３）前記第２の符号化部は、
前記ダミーフレームが設定済の場合、前記いずれかの画像の前記第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうち当該符号化フレームから前記ダミーフレームの前記生成数分先行する先行符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化することを特徴とする付記１または２に記載の符号化装置。

（付記４）前記生成部は、
前記第２の符号化部が前記いずれかの画像を符号化する場合、前記いずれかの画像の前の画像の前記第２の領域に対する符号化フレームのダミーフレームを、前記前の画像のうち前記第２の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成し、
前記設定部は、
前記生成部によって生成数分生成されたダミーフレームを、前記前の画像の前記第２の領域に対する符号化フレームの次の符号化フレームに設定し、
前記第２の符号化部は、
前記いずれかの画像の前記第１の領域に対する符号化フレームに後続する後続符号化フレーム群のうち前記いずれかの画像の前記第１の領域に対する符号化フレームから前記ダミーフレームの生成数分後続する後続符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化し、
前記出力部は、
さらに、前記生成数分生成された前記ダミーフレームと前記ダミーフレームの生成数および設定位置を示す情報とを出力することを特徴とする付記１に記載の符号化装置。

（付記５）前記一連の画像を受け付けたときの自装置の角度に関する情報を取得する取得部と、
前記取得部によって取得された前記自装置の角度に関する情報に応じて、前記第１および第２の領域の位置情報を決定する決定部と、を有し、
前記抽出部は、
前記いずれかの画像から、前記位置情報に従った前記第１の領域内の画像と前記位置情報に従った前記第２の領域内の画像とを抽出することを特徴とする付記１〜４のいずれか一つに記載の符号化装置。

（付記６）前記出力部は、
前記自装置の角度に関する情報を出力することを特徴とする付記５に記載の符号化装置。

（付記７）一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームのうち出力対象でない符号化フレームの数および位置を示す情報と、を受け付ける受付部と、
前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択する選択部と、
前記選択部によって選択された一連の符号化フレームを一連の部分画像に復号する復号部と、
前記復号部によって復号された前記一連の部分画像のうち、前記出力対象でない符号化フレームの数および位置を示す情報に基づいて、前記出力対象でない符号化フレームに対応する部分画像以外の他の部分画像を出力する出力部と、
を有することを特徴とする復号装置。

（付記８）一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、を受け付ける受付部と、
前記第１の領域と前記第２の領域とを結合した領域から表示領域を指定する指定部と、
前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択する選択部と、
前記選択部によって選択された前記第１の領域内の一連の部分画像に対する一連の符号化フレームを前記第１の領域内の一連の部分画像に復号するとともに、前記指定部によって前記表示領域が指定された場合、前記第２の領域内の一連の部分画像に対する一連の符号化フレームを前記第２の領域内の一連の部分画像に復号する復号部と、
前記第１の領域内の一連の部分画像から前記表示領域内の第１の画像列を抽出するとともに、前記第２の領域内の一連の部分画像から前記表示領域内の第２の画像列を抽出する抽出部と、
前記抽出部によって抽出された前記第１の画像列の各画像と、前記第２の画像列の各画像とを、前記一連の画像内の同一画像どうしで結合する結合部と、
前記結合部の結合により得られた前記表示領域の画像列を出力する出力部と、
を有することを特徴とする復号装置。

（付記９）前記受付部は、
前記一連の画像を受け付けた装置が前記一連の画像を受け付けたときの前記装置の角度に関する情報を受け付け、
前記表示領域を前記角度に関する情報に応じて変換する変換部を有し、
前記抽出部は、
前記第１の領域内の一連の部分画像から前記変換部による変換後の表示領域内の第１の画像列を抽出するとともに、前記第２の領域内の一連の部分画像から前記変換後の表示領域内の第２の画像列を抽出し、
前記出力部は、
前記結合部の結合により得られた前記変換後の表示領域の画像列を出力することを特徴とする付記８に記載の復号装置。

（付記１０）一連の画像を符号化する符号化装置と符号化された前記一連の画像を復号する復号装置とを有する動画像処理システムであって、
前記符号化装置は、
前記一連の画像のいずれかの画像から、第１の領域内の画像と前記第１の領域に隣接する第２の領域内の画像とを抽出する抽出部と、
前記第１の領域内の画像を前記第１の領域に対する符号化フレームに符号化する第１の符号化部と、
前記第１の領域に対する符号化フレームを復号し、当該復号した復号画像と前記第２の領域内の画像とに基づいて、前記第２の領域内の画像を前記第２の領域に対する符号化フレームに符号化する第２の符号化部と、
前記第１または第２の領域の少なくともいずれか一方を示す識別情報を対応する符号化フレームに付与して、前記第１および第２の領域に対する各符号化フレームを、前記復号装置に出力する第１の出力部と、を有し、
前記復号装置は、
前記識別情報が付与された前記第１および第２の領域に対する各符号化フレームを受け付ける受付部と、
前記第１および第２の領域に対する各符号化フレームから、前記識別情報に基づいて、前記第１の領域に対する符号化フレームを選択する選択部と、
前記選択部によって選択された前記第１の領域に対する符号化フレームを復号画像に復号する復号部と、
前記復号部によって復号された復号画像を出力する第２の出力部と、
を有することを特徴とする動画像処理システム。

（付記１１）コンピュータが、
一連の画像を記憶する記憶部を参照して、前記一連の画像のうちいずれかの画像から、第１の領域内の画像と前記第１の領域に隣接する第２の領域内の画像とを抽出し、
前記第１の領域内の画像を前記第１の領域に対する符号化フレームに符号化し、
前記いずれかの画像を符号化する場合、前記いずれかの画像の前の画像の前記第１の領域に対する符号化フレームのダミーフレームを、前記前の画像のうち前記第１の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成し、
生成数分生成されたダミーフレームを、前記前の画像の前記第１の領域に対する符号化フレームの次の符号化フレームに設定し、
前記いずれかの画像の前記第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうち前記いずれかの画像の前記第１の領域に対する符号化フレームから前記ダミーフレームの前記生成数分先行する先行符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化し、
前記第１および第２の領域に対する各符号化フレームと前記生成数分生成された前記ダミーフレームと前記ダミーフレームの生成数および設定位置を示す情報とを出力する、
処理を実行することを特徴とする符号化方法。

（付記１２）コンピュータが、
一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームのうち出力対象でない符号化フレームの数および位置を示す情報と、を受け付け、
前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、
選択された一連の符号化フレームを一連の部分画像に復号し、
復号された前記一連の部分画像のうち、前記出力対象でない符号化フレームの数および位置を示す情報に基づいて、前記出力対象でない符号化フレームに対応する部分画像以外の他の部分画像を出力する、
処理を実行することを特徴とする復号方法。

（付記１３）コンピュータが、
一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、を受け付け、
前記第１の領域と前記第２の領域とを結合した領域から表示領域を指定し、
前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、
選択された前記第１の領域内の一連の部分画像に対する一連の符号化フレームを前記第１の領域内の一連の部分画像に復号するとともに、前記表示領域が指定された場合、前記第２の領域内の一連の部分画像に対する一連の符号化フレームを前記第２の領域内の一連の部分画像に復号し、
前記第１の領域内の一連の部分画像から前記表示領域内の第１の画像列を抽出するとともに、前記第２の領域内の一連の部分画像から前記表示領域内の第２の画像列を抽出し、
抽出された前記第１の画像列の各画像と、前記第２の画像列の各画像とを、前記一連の画像内の同一画像どうしで結合し、
結合により得られた前記表示領域の画像列を出力する、
処理を実行することを特徴とする復号方法。

（付記１４）コンピュータに、
一連の画像を記憶する記憶部を参照して、前記一連の画像のうちいずれかの画像から、第１の領域内の画像と前記第１の領域に隣接する第２の領域内の画像とを抽出し、
前記第１の領域内の画像を前記第１の領域に対する符号化フレームに符号化し、
前記いずれかの画像を符号化する場合、前記いずれかの画像の前の画像の前記第１の領域に対する符号化フレームのダミーフレームを、前記前の画像のうち前記第１の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成し、
生成数分生成されたダミーフレームを、前記前の画像の前記第１の領域に対する符号化フレームの次の符号化フレームに設定し、
前記いずれかの画像の前記第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうち前記いずれかの画像の前記第１の領域に対する符号化フレームから前記ダミーフレームの前記生成数分先行する先行符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化し、
前記第１および第２の領域に対する各符号化フレームと前記生成数分生成された前記ダミーフレームと前記ダミーフレームの生成数および設定位置を示す情報とを出力する、
処理を実行させることを特徴とする符号化プログラム。

（付記１５）コンピュータに、
一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームのうち出力対象でない符号化フレームの数および位置を示す情報と、を受け付け、
前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、
選択された一連の符号化フレームを一連の部分画像に復号し、
復号された前記一連の部分画像のうち、前記出力対象でない符号化フレームの数および位置を示す情報に基づいて、前記出力対象でない符号化フレームに対応する部分画像以外の他の部分画像を出力する、
処理を実行させることを特徴とする復号プログラム。

（付記１６）コンピュータに、
一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、を受け付け、
前記第１の領域と前記第２の領域とを結合した領域から表示領域を指定し、
前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、
選択された前記第１の領域内の一連の部分画像に対する一連の符号化フレームを前記第１の領域内の一連の部分画像に復号するとともに、前記表示領域が指定された場合、前記第２の領域内の一連の部分画像に対する一連の符号化フレームを前記第２の領域内の一連の部分画像に復号し、
前記第１の領域内の一連の部分画像から前記表示領域内の第１の画像列を抽出するとともに、前記第２の領域内の一連の部分画像から前記表示領域内の第２の画像列を抽出し、
抽出された前記第１の画像列の各画像と、前記第２の画像列の各画像とを、前記一連の画像内の同一画像どうしで結合し、
結合により得られた前記表示領域の画像列を出力する、
処理を実行させることを特徴とする復号プログラム。

１０１ 符号化装置
４００ 復号装置
５０１ 受付部
５０２ 取得部
５０３ 決定部
５０４ 抽出部
５０５ 第１符号化部
５０６ 第２符号化部
５０７ 生成部
５０８ 設定部
５０９ 出力部
５２１ 受付部
５２２ 選択部
５２３ 指定部
５２４ 変換部
５２５ 復号部
５２６ 抽出部
５２７ 結合部
５２８ 出力部

Claims (14)

1. 一連の画像のいずれかの画像から、第１の領域内の画像と前記第１の領域に隣接する第２の領域内の画像とを抽出する抽出部と、
   前記第１の領域内の画像を前記第１の領域に対する符号化フレームに符号化する第１の符号化部と、
   前記第１の符号化部が前記いずれかの画像を符号化する場合、前記いずれかの画像の前の画像の前記第１の領域に対する符号化フレームのダミーフレームを、前記前の画像のうち前記第１の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成する生成部と、
   前記生成部によって生成数分生成されたダミーフレームを、前記前の画像の前記第１の領域に対する符号化フレームの次の符号化フレームに設定する設定部と、
   前記いずれかの画像の前記第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうち前記いずれかの画像の前記第１の領域に対する符号化フレームから前記ダミーフレームの前記生成数分先行する先行符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化する第２の符号化部と、
   前記第１および第２の領域に対する各符号化フレームと前記生成数分生成された前記ダミーフレームと前記ダミーフレームの生成数および設定位置を示す情報とを出力する出力部と、
   を有することを特徴とする符号化装置。
2. 前記生成部は、
   前記ダミーフレームを、前記第１の符号化部が符号化する符号化フレーム群のうち複数の参照先を有する符号化フレームが連続して存在する数より１多い数分、生成することを特徴とする請求項１に記載の符号化装置。
3. 前記生成部は、
   前記第２の符号化部が前記いずれかの画像を符号化する場合、前記いずれかの画像の前の画像の前記第２の領域に対する符号化フレームのダミーフレームを、前記前の画像のうち前記第２の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成し、
   前記設定部は、
   前記生成部によって生成数分生成されたダミーフレームを、前記前の画像の前記第２の領域に対する符号化フレームの次の符号化フレームに設定し、
   前記第２の符号化部は、
   前記いずれかの画像の前記第１の領域に対する符号化フレームに後続する後続符号化フレーム群のうち前記いずれかの画像の前記第１の領域に対する符号化フレームから前記ダミーフレームの生成数分後続する後続符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化し、
   前記出力部は、
   さらに、前記生成数分生成された前記ダミーフレームと前記ダミーフレームの生成数および設定位置を示す情報とを出力することを特徴とする請求項１に記載の符号化装置。
4. 前記一連の画像を受け付けたときの自装置の角度に関する情報を取得する取得部と、
   前記取得部によって取得された前記自装置の角度に関する情報に応じて、前記第１および第２の領域の位置情報を決定する決定部と、を有し、
   前記抽出部は、
   前記いずれかの画像から、前記位置情報に従った前記第１の領域内の画像と前記位置情報に従った前記第２の領域内の画像とを抽出することを特徴とする請求項１〜３のいずれか一つに記載の符号化装置。
5. 一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームのうち出力対象でない符号化フレームの数および位置を示す情報と、を受け付ける受付部と、
   前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択する選択部と、
   前記選択部によって選択された一連の符号化フレームを一連の部分画像に復号する復号部と、
   前記復号部によって復号された前記一連の部分画像のうち、前記出力対象でない符号化フレームの数および位置を示す情報に基づいて、前記出力対象でない符号化フレームに対応する部分画像以外の他の部分画像を出力する出力部と、
   を有することを特徴とする復号装置。
6. 一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、を受け付ける受付部と、
   前記第１の領域と前記第２の領域とを結合した領域から表示領域を指定する指定部と、
   前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択する選択部と、
   前記選択部によって選択された前記第１の領域内の一連の部分画像に対する一連の符号化フレームを前記第１の領域内の一連の部分画像に復号するとともに、前記指定部によって前記表示領域が指定された場合、前記第２の領域内の一連の部分画像に対する一連の符号化フレームを前記第２の領域内の一連の部分画像に復号する復号部と、
   前記第１の領域内の一連の部分画像から前記表示領域内の第１の画像列を抽出するとともに、前記第２の領域内の一連の部分画像から前記表示領域内の第２の画像列を抽出する抽出部と、
   前記抽出部によって抽出された前記第１の画像列の各画像と、前記第２の画像列の各画像とを、前記一連の画像内の同一画像どうしで結合する結合部と、
   前記結合部の結合により得られた前記表示領域の画像列を出力する出力部と、
   を有することを特徴とする復号装置。
7. 前記受付部は、
   前記一連の画像を受け付けた装置が前記一連の画像を受け付けたときの前記装置の角度に関する情報を受け付け、
   前記表示領域を前記角度に関する情報に応じて変換する変換部を有し、
   前記抽出部は、
   前記第１の領域内の一連の部分画像から前記変換部による変換後の表示領域内の第１の画像列を抽出するとともに、前記第２の領域内の一連の部分画像から前記変換後の表示領域内の第２の画像列を抽出し、
   前記出力部は、
   前記結合部の結合により得られた前記変換後の表示領域の画像列を出力することを特徴とする請求項６に記載の復号装置。
8. 一連の画像を符号化する符号化装置と符号化された前記一連の画像を復号する復号装置とを有する動画像処理システムであって、
   前記符号化装置は、
   前記一連の画像のいずれかの画像から、第１の領域内の画像と前記第１の領域に隣接する第２の領域内の画像とを抽出する抽出部と、
   前記第１の領域内の画像を前記第１の領域に対する符号化フレームに符号化する第１の符号化部と、
   前記第１の領域に対する符号化フレームの画像と前記第２の領域内の画像とに基づいて、前記第２の領域内の画像を前記第２の領域に対する符号化フレームに符号化する第２の符号化部と、
   前記第１または第２の領域の少なくともいずれか一方を示す識別情報を対応する符号化フレームに付与して、前記第１および第２の領域に対する各符号化フレームを、前記復号装置に出力する第１の出力部と、を有し、
   前記復号装置は、
   前記識別情報が付与された前記第１および第２の領域に対する各符号化フレームを受け付ける受付部と、
   前記第１および第２の領域に対する各符号化フレームから、前記識別情報に基づいて、前記第１の領域に対する符号化フレームを選択する選択部と、
   前記選択部によって選択された前記第１の領域に対する符号化フレームを復号画像に復号する復号部と、
   前記復号部によって復号された復号画像を出力する第２の出力部と、
   を有することを特徴とする動画像処理システム。
9. コンピュータが、
   一連の画像を記憶する記憶部を参照して、前記一連の画像のうちいずれかの画像から、第１の領域内の画像と前記第１の領域に隣接する第２の領域内の画像とを抽出し、
   前記第１の領域内の画像を前記第１の領域に対する符号化フレームに符号化し、
   前記いずれかの画像を符号化する場合、前記いずれかの画像の前の画像の前記第１の領域に対する符号化フレームのダミーフレームを、前記前の画像のうち前記第１の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成し、
   生成数分生成されたダミーフレームを、前記前の画像の前記第１の領域に対する符号化フレームの次の符号化フレームに設定し、
   前記いずれかの画像の前記第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうち前記いずれかの画像の前記第１の領域に対する符号化フレームから前記ダミーフレームの前記生成数分先行する先行符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化し、
   前記第１および第２の領域に対する各符号化フレームと前記生成数分生成された前記ダミーフレームと前記ダミーフレームの生成数および設定位置を示す情報とを出力する、
   処理を実行することを特徴とする符号化方法。
10. コンピュータが、
    一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームのうち出力対象でない符号化フレームの数および位置を示す情報と、を受け付け、
    前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、
    選択された一連の符号化フレームを一連の部分画像に復号し、
    復号された前記一連の部分画像のうち、前記出力対象でない符号化フレームの数および位置を示す情報に基づいて、前記出力対象でない符号化フレームに対応する部分画像以外の他の部分画像を出力する、
    処理を実行することを特徴とする復号方法。
11. コンピュータが、
    一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、を受け付け、
    前記第１の領域と前記第２の領域とを結合した領域から表示領域を指定し、
    前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、
    選択された前記第１の領域内の一連の部分画像に対する一連の符号化フレームを前記第１の領域内の一連の部分画像に復号するとともに、前記表示領域が指定された場合、前記第２の領域内の一連の部分画像に対する一連の符号化フレームを前記第２の領域内の一連の部分画像に復号し、
    前記第１の領域内の一連の部分画像から前記表示領域内の第１の画像列を抽出するとともに、前記第２の領域内の一連の部分画像から前記表示領域内の第２の画像列を抽出し、
    抽出された前記第１の画像列の各画像と、前記第２の画像列の各画像とを、前記一連の画像内の同一画像どうしで結合し、
    結合により得られた前記表示領域の画像列を出力する、
    処理を実行することを特徴とする復号方法。
12. コンピュータに、
    一連の画像を記憶する記憶部を参照して、前記一連の画像のうちいずれかの画像から、第１の領域内の画像と前記第１の領域に隣接する第２の領域内の画像とを抽出し、
    前記第１の領域内の画像を前記第１の領域に対する符号化フレームに符号化し、
    前記いずれかの画像を符号化する場合、前記いずれかの画像の前の画像の前記第１の領域に対する符号化フレームのダミーフレームを、前記前の画像のうち前記第１の領域内の画像に基づいて、自符号化フレームで再生可能な特定の符号化フレームの出現間隔に含まれるフレーム数以下分生成し、
    生成数分生成されたダミーフレームを、前記前の画像の前記第１の領域に対する符号化フレームの次の符号化フレームに設定し、
    前記いずれかの画像の前記第１の領域に対する符号化フレームに先行する先行符号化フレーム群のうち前記いずれかの画像の前記第１の領域に対する符号化フレームから前記ダミーフレームの前記生成数分先行する先行符号化フレームによる画像と、前記いずれかの画像の前記第２の領域内の画像と、に基づいて、前記いずれかの画像の第２の領域内の画像を前記いずれかの画像の前記第２の領域に対する符号化フレームに符号化し、
    前記第１および第２の領域に対する各符号化フレームと前記生成数分生成された前記ダミーフレームと前記ダミーフレームの生成数および設定位置を示す情報とを出力する、
    処理を実行させることを特徴とする符号化プログラム。
13. コンピュータに、
    一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームのうち出力対象でない符号化フレームの数および位置を示す情報と、を受け付け、
    前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、
    選択された一連の符号化フレームを一連の部分画像に復号し、
    復号された前記一連の部分画像のうち、前記出力対象でない符号化フレームの数および位置を示す情報に基づいて、前記出力対象でない符号化フレームに対応する部分画像以外の他の部分画像を出力する、
    処理を実行させることを特徴とする復号プログラム。
14. コンピュータに、
    一連の画像のうち第１の領域内の一連の部分画像に対する一連の符号化フレームと、前記一連の画像のうち前記第１の領域に隣接する第２の領域内の一連の部分画像に対する一連の符号化フレームと、前記第１または第２の領域内の一連の部分画像に対する一連の符号化フレームの少なくともいずれか一方に付与された前記いずれか一方に対応する識別情報と、を受け付け、
    前記第１の領域と前記第２の領域とを結合した領域から表示領域を指定し、
    前記第１および第２の領域内の一連の部分画像に対する一連の符号化フレームから、前記識別情報に基づいて、前記第１の領域内の一連の部分画像に対する一連の符号化フレームを選択し、
    選択された前記第１の領域内の一連の部分画像に対する一連の符号化フレームを前記第１の領域内の一連の部分画像に復号するとともに、前記表示領域が指定された場合、前記第２の領域内の一連の部分画像に対する一連の符号化フレームを前記第２の領域内の一連の部分画像に復号し、
    前記第１の領域内の一連の部分画像から前記表示領域内の第１の画像列を抽出するとともに、前記第２の領域内の一連の部分画像から前記表示領域内の第２の画像列を抽出し、
    抽出された前記第１の画像列の各画像と、前記第２の画像列の各画像とを、前記一連の画像内の同一画像どうしで結合し、
    結合により得られた前記表示領域の画像列を出力する、
    処理を実行させることを特徴とする復号プログラム。

Images