JP2018046332A - 半導体装置、動画像処理システム、半導体装置の制御方法 - Google Patents

Abstract

【課題】表示領域の滑らかな移動を可能にすること。【解決手段】半導体装置は、複数の小画面画像からなる全体画像であって時間的に連続し動画像を構成する複数の全体画像を順次受信し、受信した全体画像を復号するものである。ここで、半導体装置は、複数の小画面画像からなる全体画像を受信する受信部と、全体画像のうち復号を行う小画面画像を含んでなる復号領域を決定する決定部と、全体画像のうち決定部により決定された復号領域内の小画面画像を復号する復号部と、を備え、決定部は、復号領域内にイントラフレームの小画面画像が出現した場合に、新たな復号領域を決定する。【選択図】図２６

Description

本発明は、半導体装置、動画像処理システム、半導体装置の制御方法に関し、例えば、動画像を処理する半導体装置に好適に利用できるものである。

近年、１回の撮影で周囲の状況を全て撮影する３６０°カメラが発達し、再生側装置が、３６０°カメラで撮影された３６０°動画像を復号し表示するシーンも増えている。しかし、再生側装置は、スマートフォン等であり、表示部の画面が小さく、動画像全体を表示することができないことが多い。

そのため、再生側装置の中には、動画像の一部の領域を表示領域として切り出し、表示領域内の画像を表示するものがある。また、再生側装置の中には、動画像から切り出す表示領域を移動させることが可能なものもある。

関連技術としては、特許文献１が挙げられる。特許文献１に記載の技術は、パノラマ画像を複数の小画面画像（タイル）に分割し、複数の小画面画像の各々を独立に符号化するものである。

特開２００９−１９４９２０号公報

ここで、特許文献１に記載の技術において、再生側装置が、複数の小画面画像のいずれかを表示領域とし、その小画面画像を復号し表示をしていた場合に、表示領域を、隣接する小画面画像に移動させることを考える。

このとき、移動先の小画面画像は復号されていないため、即座に復号を行う必要がある。また、このとき、移動先の小画面画像がＩ（Intra）フレーム（イントラフレーム）以外である場合は、直前又は直後のＩフレームを参照して復号を行う必要がある。しかし、直前のＩフレームを参照して復号を行う場合には、複数フレームを復号する必要があるため、移動先の小画面画像を表示するまでに時間がかかってしまう。また、直後のＩフレームを参照して復号を行う場合には、移動先の小画面画像の表示を、直後のＩフレームまで遅らせる必要がある。

このように、特許文献１に記載の技術は、表示領域を、隣接する小画面画像に移動させる場合に、移動先の小画面画像がＩフレーム以外であると、移動先の小画面画像を表示するまでに時間がかかり、表示領域を滑らかに移動させることができないという問題があった。なお、この問題は、３６０°動画像やパノラマ画像に限らず、動画像から切り出す表示領域を移動させながら、表示領域内の画像を表示する構成にとって、共通の問題となる。

その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

一実施の形態によれば、半導体装置は、全体画像を受信する受信部と、全体画像のうち復号を行う小画面画像を含んでなる復号領域を決定する決定部と、全体画像のうち決定部により決定された復号領域内の小画面画像を復号する復号部と、を含み、決定部は、復号領域内にイントラフレームの小画面画像が出現した場合に、新たな復号領域を決定する。

前記一実施の形態によれば、上述した課題の解決に貢献することができる。

実施の形態１に係る動画像処理システムの構成例を示す図である。 実施の形態１に係る符号化側装置１０の構成例を示すブロック図である。 実施の形態１に係る再生側装置２０の構成例を示すブロック図である。 実施の形態１に係る符号化側装置１０及び再生側装置２０の動作例の概要を示す図である。 実施の形態１に係る符号化側装置１０及び再生側装置２０の動作例の概要を示す図である。 実施の形態１に係る再生側装置２０の動作例の流れを示すフロー図である。 実施の形態１の変形例に係る符号化側装置１０の構成を示すブロック図である。 実施の形態１の変形例に係る再生側装置２０の構成を示すブロック図である。 実施の形態２に係る動画像処理システムの構成例を示す図である。 実施の形態２に係る符号化側装置１０及び再生側装置２０Ａ，２０Ｂの動作例の概要を示す図である。 実施の形態２に係る符号化側装置１０及び再生側装置２０Ａ，２０Ｂの動作例の概要を示す図である。 実施の形態２に係る再生側装置２０Ａ，２０Ｂの動作例の流れを示すフロー図である。 実施の形態３の構成例１に係る再生側装置２０の構成を示すブロック図である。 実施の形態３の構成例２に係る再生側装置２０の構成を示すブロック図である。 実施の形態３の構成例３に係る動画像処理システムの構成を示す図である。 実施の形態３の構成例３に係るサーバ装置３０の構成を示すブロック図である。 実施の形態３の構成例３に係る再生側装置２０Ａ，２０Ｂの構成を示すブロック図である。 実施の形態３の構成例４に係る符号化側装置１０の構成を示すブロック図である。 実施の形態３の構成例４に係る再生側装置２０の構成を示すブロック図である。 実施の形態３の構成例１に係る符号化側装置１０及び再生側装置２０の動作例の概要を示す図である。 実施の形態３の構成例４に係る符号化側装置１０及び再生側装置２０の動作例の概要を示す図である。 実施の形態３の構成例４に係る再生側装置２０の動作例の流れを示すフロー図である。 実施の形態４に係る符号化側装置１０及び再生側装置２０の動作例１の概要を示す図である。 実施の形態４に係る符号化側装置１０及び再生側装置２０の動作例２の概要を示す図である。 実施の形態５に係る符号化側装置１０及び再生側装置２０の動作例の概要を示す図である。 実施の形態１〜５を概念的に示した動画像処理システムの構成例を示す図である。 実施の形態に係る符号化側装置、再生側装置、再生側装置を実現するハードウェア構成を示すブロック図である。

以下、実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

（１）実施の形態１
（１−１）実施の形態１の構成
＜実施の形態１に係る動画像処理システムの構成＞
以下、本実施の形態１の構成について説明する。まず、図１を参照して、本実施の形態１に係る動画像処理システムの構成例を説明する。図１に示されるように、本実施の形態１に係る動画像処理システムは、符号化側装置１０及び再生側装置２０を備えている。

符号化側装置１０は、動画像から符号化データを生成し、生成した符号化データを再生側装置２０に送信する。再生側装置２０は、符号化側装置１０から符号化データを受信し、受信した符号化データの元となる動画像の一部を再生し表示する。これにより、ユーザは、再生側装置２０に表示された動画像を見ることができる。

＜実施の形態１に係る符号化側装置１０の構成＞
続いて、図２を参照して、本実施の形態１に係る符号化側装置１０の構成例を説明する。図２に示されるように、本実施の形態１に係る符号化側装置１０は、画像入力部１０１、小画面分割部１０２、符号化部１０３、及びデータ送信部１０４を備えている。なお、符号化側装置１０の構成要素は、半導体装置で実現することができる。また、小画面分割部１０２は、分割部の一例であり、データ送信部１０４は、送信部の一例である。

画像入力部１０１は、３６０°動画像等である動画像を構成する、時間的に連続する複数の画像（以下、個々の画像を全体画像と適宜称す）が順次入力される。画像入力部１０１は、例えば、カメラ（不図示）等から全体画像が入力される。

小画面分割部１０２は、画像入力部１０１に入力された全体画像を複数の小画面画像に分割する。ここで、小画面画像のサイズは、符号化部１０３が符号化を行う単位である符号化単位のサイズと同一である。符号化単位のサイズは、符号化部１０３の符号化効率及び再生側装置２０の表示部２０６（図３参照）の画面サイズに応じて符号化側装置１０が決定する。又は、符号化単位のサイズは、再生側装置２０からのリクエストによって決定することもあり得る。

符号化部１０３は、小画面分割部１０２により分割された複数の小画面画像の各々を符号化する。ここで、符号化部１０３は、一定の時間間隔で小画面画像をＩフレームとして符号化し、Ｉフレームとしなかった小画面画像については、直前又は直後のＩフレーム、Ｐ（Predicted）フレームを参照してＰフレーム又はＢ（Bi-directional Predicted）フレームとして符号化する。

データ送信部１０４は、符号化部１０３により符号化された、複数の小画面画像の各々の符号化データを、再生側装置２０に送信する。
以上のようにして、符号化側装置１０は、画像入力部１０１に全体画像が入力される度に、その全体画像を分割した複数の小画面画像の各々の符号化データを再生側装置２０に送信する。

＜実施の形態１に係る再生側装置２０の構成＞
続いて、図３を参照して、本実施の形態１に係る再生側装置２０の構成例を説明する。図３に示されるように、本実施の形態１に係る再生側装置２０は、データ受信部２０１、表示領域入力部２０２、復号領域決定部２０３、復号部２０４、画像切り出し部２０５、及び表示部２０６を備えている。なお、再生側装置２０の構成要素のうち表示部２０６以外の構成要素は、半導体装置で実現することができる。また、データ受信部２０１は、受信部の一例であり、表示領域入力部２０２は、入力部の一例であり、復号領域決定部２０３は、決定部の一例である。

データ受信部２０１は、符号化側装置１０から、全体画像から分割された複数の小画面画像の各々の符号化データを受信する。
表示領域入力部２０２は、全体画像のうち表示部２０６で表示を行う画像を含んでなる表示領域の指示が入力される。表示領域は、全体画像の中の表示領域に相当する位置及び表示領域のサイズによってユーザが指定するものとし、タッチパネルやキーボード等の入力装置（不図示）を介して表示領域入力部２０２に入力される。

復号領域決定部２０３は、表示領域入力部２０２に入力された表示領域を基に、全体画像のうち復号部２０４で復号を行う小画面画像を含んでなる復号領域を決定する。復号領域は、現在の表示領域を含み、その現在の表示領域にマージン分の領域を加えた領域となる。また、復号領域のサイズは、符号化単位のサイズの任意の整数倍のサイズとなる。

復号部２０４は、データ受信部２０１に符号化データとして受信された全体画像のうち、復号領域決定部２０３により決定された復号領域内の画像を復号する。これにより、復号領域内の元の画像が得られる。

画像切り出し部２０５は、復号部２０４により復号された画像から、表示領域入力部２０２に入力された表示領域内の画像を切り出す。
表示部２０６は、画像切り出し部２０５により切り出された画像を表示する。

このように再生側装置２０は、全体画像から、ユーザにより入力された現在の表示領域内の画像を切り出して表示し、これを繰り返す構成である。そのため、ユーザは、表示領域を移動させながら、表示領域内の動画像を見ることができる。

なお、符号化側装置１０から再生側装置２０へ向けて送信される情報は、基本的には、小画面画像を符号化した符号化データであるが、符号化データの管理情報、制御情報、動画像内の物体の動きの情報等を送信することもあり得る。

（１−２）実施の形態１の動作
以下、本実施の形態１の動作について説明する。以下では、説明を簡単にするために、符号化側装置１０は、全体画像の水平方向のみを小画面画像に分割するものとして説明する。

＜実施の形態１に係る符号化側装置１０及び再生側装置２０の動作例の概要＞
まず、図４及び図５を参照して、本実施の形態１に係る符号化側装置１０及び再生側装置２０の動作例の概要について説明する。

図４に示されるように、符号化側装置１０の小画面分割部１０２は、動画像を構成する、時間的に連続する複数の画像（全体画像）の各々を、複数の小画面画像に分割し、符号化側装置１０の符号化部１０３は、複数の小画面画像の各々を符号化する。

また、図５に示されるように、符号化側装置１０の符号化部１０３は、一定の時間間隔で、小画面画像をＩフレームとして符号化する。図５の例では、符号化側装置１０の符号化部１０３は、Ｉフレームの時間間隔をｎとし、時刻ｔ１，ｔ２において、全ての小画面画像をＩフレームとして符号化している。なお、図５の例では、符号化側装置１０の符号化部１０３は、Ｉフレームとしなかった小画面画像をＰフレームとして符号化しているが、Ｂフレームとして符号化しても良い（以下、同じ）。

一方、図４に示されるように、再生側装置２０の復号領域決定部２０３は、表示領域にマージンを付加（図４の例では、表示領域の左右にマージンを付加している）した領域を復号領域に決定し、再生側装置２０の復号部２０４は、復号領域決定部２０３により決定された復号領域内の画像を復号する。

ここで、再生側装置２０の復号領域決定部２０３は、復号領域内にＩフレームの画像が出現したタイミングで、現在の表示領域を基に、新たな復号領域を決定する。図５の例では、復号領域内にＩフレームの画像が出現する時刻は時刻ｔ１，ｔ２であるため、時刻ｔ１，ｔ２で新たな復号領域を決定する。

図４の例では、上段が、初期の全体画像Ｘ、下段が、その後に復号領域内にＩフレームの画像が出現した時の全体画像Ｚ、中段が、全体画像Ｚの直前の全体画像Ｙとなっている。そのため、再生側装置２０は、初期の全体画像Ｘ以降は、復号領域内にＩフレームの画像が出現した全体画像Ｚのタイミングで、現在の表示領域の左右にマージンを付加した領域を新たな復号領域に決定する。ここでは、現在の表示領域は、初期の全体画像Ｘと比べて、右方向に移動しているため、表示領域の移動に合わせて、新たに決定した復号領域も右方向に移動している。

このように、再生側装置２０の復号領域決定部２０３は、復号領域内にＩフレームの画像が出現したタイミングで、現在の表示領域を基に新たな復号領域を決定する。ここで、Ｉフレームは、すぐに復号することができる。また、新たに復号領域を決定するまでの間は、Ｐフレームであり、このＰフレームは、直近に決定した復号領域内のＩフレーム及びそれに続くＰフレームを参照して予め復号することができる。そのため、復号領域内の小画面画像を予め復号しておくことで、表示領域が復号領域内の他の符号化単位の領域に移っても、表示領域をすぐに表示することができる。従って、表示領域を滑らかに移動させることができる。

なお、上述の説明では、全体画像の水平方向のみを小画面画像に分割する例について説明しているが、全体画像のサイズと表示部２０６の画面サイズとの関係に応じて、全体画像を垂直方向に分割しても良い。全体画像を垂直方向に分割する場合も、全体画像の水平方向のみを分割する場合と動作自体は同様であり、新たな復号領域は、現在の表示領域の上下にマージンを付加した領域となる。

＜実施の形態１に係る再生側装置２０の動作例の流れ＞
続いて、図６を参照して、本実施の形態１に係る再生側装置２０の動作例の流れについて説明する。なお、図６の動作は、全体画像が分割された複数の小画面画像の各々の符号化データがデータ受信部２０１に受信された時点で開始される。

図６に示されるように、復号領域決定部２０３は、データ受信部２０１に受信された全体画像の復号領域内にＩフレームが出現したか否かを判断し（ステップＡ１）、Ｉフレームが出現していなければ（ステップＡ１のｎｏ）、復号領域をそのまま不変にすると決定する（ステップＡ３）。

一方、ステップＡ１において、復号領域内にＩフレームが出現していれば（ステップＡ１のｙｅｓ）、復号領域決定部２０３は、現在の表示領域を基に新たな復号領域を決定する（ステップＡ２）。

次に、復号部２０４は、データ受信部２０１に受信された全体画像のうち、復号領域決定部２０３により決定された復号領域内の画像を復号する（ステップＡ４）。次に、画像切り出し部２０５は、復号部２０４により復号された画像から、表示領域入力部２０２に入力された表示領域内の画像を切り出す（ステップＡ５）。次に、表示部２０６は、画像切り出し部２０５により切り出された画像を表示する（ステップＡ６）。

次に、復号領域決定部２０３は、データ受信部２０１に次の全体画像の符号化データが受信されたか否かを判断し（ステップＡ７）、次の全体画像が受信されていれば（ステップＡ７のｙｅｓ）、ステップＡ１の処理に戻り、次の全体画像が受信されていなければ（ステップＡ７のｎｏ）、処理を終了する。

（１−３）実施の形態１の効果
以上説明したように本実施の形態１によれば、符号化側装置１０は、動画像を構成する全体画像を複数の小画面画像に分割して符号化し、再生側装置２０は、復号領域内にＩフレームが出現したタイミングで、現在の表示領域を基に新たな復号領域を決定する。そのため、復号領域内の小画面画像を予め復号しておくことで、表示領域が復号領域内の他の領域に移動しても、移動後の表示領域内の画像をすぐに表示することができる。従って、表示領域を滑らかに移動させることができる。

（１−４）実施の形態１の変形例
本実施の形態１においては、符号化側装置１０は、全体画像の全領域の符号化データを送信していたが、符号化側装置１０と再生側装置２０との間の伝送路の帯域抑制を目的として、再生側装置２０が復号する復号領域の符号化データのみを送信しても良い。この場合、例えば、符号化側装置１０は、図７に示される構成とし、再生側装置２０は、図８に示される構成とすれば良い。

図８に示されるように、本実施の形態１の変形例に係る再生側装置２０は、図３と比較して、データ送信部２０７を追加した点が異なる。データ送信部２０７は、復号領域決定部２０３により決定された復号領域の情報を、符号化側装置１０に送信する。

図７に示されるように、本実施の形態１の変形例に係る符号化側装置１０は、図２と比較して、データ受信部１０５、データ管理部１０６、及び符号化データメモリ１０７を追加した点が異なる。データ受信部１０５は、再生側装置２０から復号領域の情報を受信する。データ管理部１０６は、符号化部１０３により符号化された全体画像（複数の小画面画像に分割されている）の全領域の符号化データを符号化データ格納部１６に一時的に格納する。そして、データ管理部１０６は、再生側装置２０から受信した復号領域の情報を基に、符号化データメモリ１０７に格納された全体画像の全領域の符号化データから、復号領域の符号化データのみを取り出し、取り出した復号領域の符号化データをデータ送信部１０４に出力する。データ送信部１０４は、データ管理部１０６から出力された復号領域の符号化データのみを再生側装置２０に送信する。

これにより、符号化側装置１０から再生側装置２０に対しては、復号領域の符号化データのみが送信されるため、符号化側装置１０と再生側装置２０との間の伝送路の帯域を抑制することができる。

（２）実施の形態２
上述の実施の形態１は、１台の符号化側装置１０に対して、１台の再生側装置２０を設けていた。
これに対して本実施の形態２は、１台の符号化側装置１０に対して、複数台の再生側装置２０を設け、符号化側装置１０において生成された１つの符号化データを基に、複数台の再生側装置２０において、それぞれ個別に動画像を表示するものである。

（２−１）実施の形態２の構成
＜実施の形態２に係る動画像処理システムの構成＞
以下、本実施の形態１の構成について説明する。まず、図９を参照して、本実施の形態２に係る動画像処理システムの構成例を説明する。図９に示されるように、本実施の形態２に係る動画像処理システムは、図１と比較して、２台の再生側装置２０Ａ，２０Ｂ（以下、どの再生側装置であるかを特定しない場合は「再生側装置２０」と適宜称す）を備えている点が異なる。なお、ここでは、説明を簡単にするため、再生側装置２０の台数を２台としているが、これには限定されず、再生側装置２０の台数は複数台であれば良い。

再生側装置２０Ａ，２０Ｂは、符号化側装置１０において生成された１つの符号化データを基に、それぞれ個別に動画像を表示する。
このとき、再生側装置２０Ａ，２０Ｂは、ユーザが指定する表示領域が互いに異なる場合がある。そのため、再生側装置２０Ａ，２０Ｂは、それぞれ個別に復号領域を決定して復号し、画像の切り出し及び表示を行う。

また、再生側装置２０Ａ，２０Ｂは、自身の再生側装置２０の処理性能や、現在の表示領域の移動量（移動速度）が互いに異なる場合がある。ここで、現在の表示領域の移動量とは、現在の表示領域が、直前の表示領域から移動した量を示す。そのため、再生側装置２０Ａ，２０Ｂは、現在の表示領域の移動量等を基に、復号領域のサイズ（すなわち、表示領域に付加するマージンのサイズ）を切り替える。ただし、これには限定されず、再生側装置２０Ａ，２０Ｂは、動画像内の物体（例えば、ボール、車等）の動き速度や、自身の再生側装置２０と符号化側装置１０との間の伝送路の帯域等を基に、復号領域のサイズを切り替えても良い。なお、再生側装置２０Ａ，２０Ｂは、物体の動き速度については、符号化側装置１０から取得し、現在の表示領域の移動量については、タッチパネルやキーボード等の入力装置（不図示）を介してユーザにより入力された表示領域から導出し、自身の再生側装置２０の処理性能及び伝送路の帯域については、自身で予め知っているものとする。

なお、符号化側装置１０の内部構成は、図２又は図７と同様で良いため、図示及び説明を省略する。また、再生側装置２０Ａ，２０Ｂは、上述のように、処理性能は互いに異なる場合があるものの、内部構成自体は図３又は図８と同様で良い。そのため、再生側装置２０Ａ，２０Ｂの内部構成は、図示及び説明を省略する。

（２−２）実施の形態２の動作
以下、本実施の形態２の動作について説明する。なお、符号化側装置１０の動作は、上記の実施の形態１と同様であるため、以下では、再生側装置２０Ａ，２０Ｂの動作のみ説明する。また、以下では、再生側装置２０Ａ，２０Ｂは、現在の表示領域の移動量を基に、それぞれ個別に復号領域のサイズを切り替えるものとして説明する。

＜実施の形態２に係る再生側装置２０Ａ，２０Ｂの動作例の概要＞
まず、図１０及び図１１を参照して、本実施の形態２に係る再生側装置２０Ａ，２０Ｂの動作例の概要について説明する。
図１０及び図１１の例では、上段が、表示領域が移動する直前の全体画像Ｘ、中段が、表示領域が、全体画像Ｘの表示領域から小さな移動量で移動した後の全体画像Ｙ、下段が、表示領域が、全体画像Ｘの表示領域から大きな移動量で移動した後の全体画像Ｚとなっている。また、図１０は、復号領域のサイズが小さい場合の例であり、図１１は、復号領域のサイズが大きい場合の例である。

図１０の例では、復号領域のサイズが小さい。全体画像Ｘの表示領域が小さい移動量で移動した全体画像Ｙにおいては、移動後の表示領域は全て、復号領域に含まれているため、移動後の表示領域内の画像を復号し表示することができる。しかし、全体画像Ｘの表示領域が大きい移動量で移動した全体画像Ｚにおいては、移動後の表示領域の一部が、復号領域からはみ出している。このはみ出した表示領域内の画像は、復号することができないため、真っ黒の画像等に表示されてしまう。

一方、図１１の例では、復号領域のサイズが大きい。そのため、全体画像Ｘの表示領域が大きい移動量で移動した全体画像Ｚにおいても、移動後の表示領域は全て、復号領域に含まれており、移動後の表示領域内の画像を復号し表示することができる。従って、表示領域を滑らかに移動させることができる。

そこで、再生側装置２０Ａ，２０Ｂの復号領域決定部２０３は、現在の表示領域の移動量が大きい場合には、復号領域のサイズを大きくする。これにより、次以降の表示領域が大きい移動量で移動したとしても、移動後の表示領域内の画像を表示することができる。

＜実施の形態２に係る再生側装置２０Ａ，２０Ｂの動作例の流れ＞
続いて、図１２を参照して、本実施の形態２に係る再生側装置２０Ａ，２０Ｂの動作例の流れについて説明する。なお、図１２は、図６と比較して、ステップＡ２の代わりに、ステップＢ１〜Ｂ３を備えている点が異なる。

図１２に示されるように、まず、図６と同様のステップＡ１の処理が行われ、全体画像の復号領域内にＩフレームが出現していなければ（ステップＡ１のｎｏ）、図６と同様のステップＡ３の処理が行われる。

一方、ステップＡ１において、全体画像の復号領域内にＩフレームが出現していれば（ステップＡ１のｙｅｓ）、復号領域決定部２０３は、現在の表示領域の移動量が大きいか否かを判断する（ステップＢ１）。移動量が大きいか否かを判断する方法は、例えば、閾値を設定し、移動量が閾値を超えれば、移動量が大きいと判断する方法が考えられるが、これには限定されない。

ステップＢ１において、現在の表示領域の移動量が大きければ（ステップＢ１のｙｅｓ）、復号領域決定部２０３は、現在の表示領域を基に、大きなサイズの復号領域を新たに決定する（ステップＢ２）。具体的には、復号領域決定部２０３は、現在の表示領域の左右に付加するマージンを通常よりも大きくして、復号領域のサイズを大きくする。その後、ステップＡ４の処理に進む。

一方、ステップＢ１において、現在の表示領域の移動量が大きくなければ（ステップＢ１のｎｏ）、復号領域決定部２０３は、現在の表示領域を基に、小さなサイズの復号領域を新たに決定する（ステップＢ３）。具体的には、復号領域決定部２０３は、現在の表示領域の左右に付加するマージンを通常の小さなサイズとし、復号領域のサイズを小さくする。その後、ステップＡ４の処理に進む。
以降、図６と同様のステップＡ４〜Ａ７の処理が行われる。

（２−３）実施の形態２の効果
以上説明したように本実施の形態２によれば、再生側装置２０Ａ，２０Ｂは、現在の表示領域の移動量等を基に、復号領域のサイズを切り替える。例えば、再生側装置２０Ａ，２０Ｂは、現在の表示領域の移動量が大きい場合には、復号領域のサイズを大きくする。これにより、次以降の表示領域が大きい移動量で移動したとしても、移動後の表示領域内の画像を表示することができるため、表示領域を滑らかに移動させることができる。

なお、上記の説明では、再生側装置２０Ａ，２０Ｂが、現在の表示領域の移動量を基に、復号領域のサイズを切り替える場合の動作について主に説明した。しかし、再生側装置２０Ａ，２０Ｂは、上述のように、自身の再生側装置２０の処理性能や、動画像内の物体の動き速度や、自身の再生側装置２０と符号化側装置１０との間の伝送路の帯域等を基に、復号領域のサイズを切り替えることもできる。例えば、自身の再生側装置２０の処理性能を用いる場合は、処理性能が高ければ、復号領域のサイズを大きくするのが良い。また、動画像内の物体の動き速度を用いる場合は、動き速度が高速であれば、復号領域のサイズを大きくするのが良い。また、伝送路の帯域を用いる場合は、帯域が広ければ、復号領域のサイズを大きくするのが良い。

（３）実施の形態３
上記の実施の形態１，２は、再生側装置２０が、現在の表示領域を基に、新たな復号領域を決定していた。
これに対して本実施の形態３は、再生側装置２０が、現在の表示領域だけでなく、直前の表示領域、表示領域の履歴、動画像内の物体の動きや着目点の位置等を基に、新たな復号領域を決定するものである。

（３−１）実施の形態３の構成
以下、本実施の形態３の構成例１〜４について説明する。
＜実施の形態３の構成例１＞
本構成例１は、現在の表示領域の移動方向を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定するものである。現在の表示領域の移動方向とは、現在の表示領域が直前の前記表示領域から移動した方向を示す。
本構成例１に係る動画像処理システムの構成は、図１又は図９と同様で良いため、図示及び説明を省略する。また、本構成例１に係る符号化側装置１０の内部構成は、図２又は図７と同様で良いため、図示及び説明を省略する。

そこで、図１３を参照して、本構成例１に係る再生側装置２０の構成を説明する。図１３に示されるように、本構成例１に係る再生側装置２０は、図３と比較して、遅延器２０８及び減算器２０９を追加した点が異なる。なお、本構成例１に係る再生側装置２０は、同様の遅延器２０８及び減算器２０９を図８に追加した構成としても良い。

遅延器２０８は、入力装置（不図示）を介してユーザにより入力された現在の表示領域を１フレーム分遅延させる。減算器２０９は、現在の表示領域と、遅延器２０８により遅延させられた直前の表示領域と、の差分を導出し、導出した差分の情報を復号領域決定部２０３に出力する。

復号領域決定部２０３は、減算器２０９から出力された差分の情報を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定する。例えば、現在の表示領域が直前の表示領域から右方向に移動していた場合は、次以降の表示領域が右方向に移動すると予測する。この場合は、現在の表示領域の左右に付加するマージンのうち右側のマージンを大きくした領域を新たな復号領域に決定する。

＜実施の形態３の構成例２＞
本構成例２は、表示領域の履歴を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定するものである。
本構成例２に係る動画像処理システムの構成は、図１又は図９と同様で良いため、図示及び説明を省略する。また、本構成例２に係る符号化側装置１０の内部構成は、図２又は図７と同様で良いため、図示及び説明を省略する。

そこで、図１４を参照して、本構成例２に係る再生側装置２０の構成例を説明する。図１４に示されるように、本構成例２に係る再生側装置２０は、図３と比較して、履歴情報メモリ２１０を追加した点が異なる。なお、本構成例２に係る再生側装置２０は、同様の履歴情報メモリ２１０を図８に追加した構成としても良い。

履歴情報メモリ２１０は、入力装置（不図示）を介してユーザにより入力された表示領域の履歴を表す履歴情報を格納する。復号領域決定部２０３は、履歴情報メモリ２１０に格納された、現在の表示領域を含む表示領域の履歴情報を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定する。例えば、表示領域の履歴から、現在の表示領域の次の移動方向が右向きになる傾向がある場合は、次以降の表示領域が右方向に移動すると予測する。この場合は、現在の表示領域の左右に付加するマージンのうち右側のマージンを大きくした領域を新たな復号領域に決定する。

＜実施の形態３の構成例３＞
本構成例３は、蓄積された他のユーザによる表示領域の履歴情報を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定するものである。

まず、図１５を参照して、本構成例３に係る動画像処理システムの構成例を説明する。図１５に示されるように、本構成例３に係る動画像処理システムは、図１と比較して、サーバ装置３０を追加した点が異なる。

次に、図１６を参照して、本構成例３に係るサーバ装置３０の構成例を説明する。図１６に示されるように、本構成例３に係るサーバ装置３０は、データ受信部３０１、履歴情報メモリ３０２、及びデータ送信部３０３を備えている。

データ受信部３０１は、再生側装置２０から、再生側装置２０の表示領域の情報を受信する。履歴情報メモリ３０２は、すでに蓄積されている他のユーザによる表示領域の履歴情報に、再生側装置２０の表示領域の履歴を表す履歴情報を追加する。データ送信部３０３は、すでに蓄積されている他のユーザによる表示領域の履歴情報を、再生側装置２０に送信する。

次に、図１７を参照して、本構成例３に係る再生側装置２０の構成例を説明する。図１７に示されるように、本構成例３に係る再生側装置２０は、図３と比較して構成要素は同様であるが、動作が異なる。

すなわち、データ受信部２０１は、符号化側装置１０から符号化データを受信すると共に、サーバ装置３０から他のユーザによる表示領域の履歴情報を受信する。復号領域決定部２０３は、他のユーザによる表示領域の履歴情報を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定する。例えば、他のユーザによる表示領域の履歴から、現在の表示領域の次の移動方向が右向きとなる傾向がある場合は、次以降の表示領域が右方向に移動すると予測する。この場合は、現在の表示領域の左右に付加するマージンのうち右側のマージンを大きくした領域を新たな復号領域に決定する。

なお、本構成例３に係る再生側装置２０は、図８と同様の構成要素とし、上記と同様の動作をしても良い。また、本構成例３に係る符号化側装置１０の内部構成は、図２又は図７と同様で良いため、図示及び説明を省略する。

＜実施の形態３の構成例４＞
本構成例４は、動画像内の物体の動きや着目点の位置を基に、新たな復号領域を決定するものである。ここで、着目点とは、動画像内でユーザが着目する箇所であり、例えば、３６０°動画像内の離れた２箇所で別々に演技が行われている場合に、ユーザが着目する方の演技が行われている箇所である。なお、着目点は、ユーザが指定するものとし、タッチパネルやキーボード等の入力装置（不図示）を介して、表示領域入力部２０２又はその他の入力部（不図示）に入力されるものとする。一方、物体とは、動画像内のより動きが大きな物体（例えば、ボール、車等）である。

本構成例４に係る動画像処理システムの構成は、図１又は図９と同様で良いため、図示及び説明を省略する。
そこで、まず、図１８を参照して、本構成例４に係る符号化側装置１０の構成例を説明する。図１８に示されるように、本構成例４に係る符号化側装置１０は、図２と比較して、符号化時情報メモリ１０８を追加した点が異なる。なお、本構成例４に係る符号化側装置１０は、同様の符号化時情報メモリ１０８を図７に追加した構成としても良い。

符号化時情報メモリ１０８は、符号化部１０３による符号化時に、画像認識等により得られた、符号化データ内の情報（物体の動き、着目点の位置等）である符号化時情報を格納する。データ送信部１０４は、符号化データを再生側装置２０に送信すると共に、符号化時情報メモリ１０８に格納された符号化時情報をメタデータとして再生側装置２０に送信する。

次に、図１９を参照して、本構成例４に係る再生側装置２０の構成例を説明する。図１９に示されるように、本構成例４に係る再生側装置２０は、図３と比較して構成要素は同様であるが、動作が異なる。

すなわち、データ受信部２０１は、符号化側装置１０から、符号化データ及びメタデータを受信する。復号領域決定部２０３は、現在の表示領域とメタデータとを基に、新たな復号領域を決定する。物体の動きに係るメタデータを用いる場合には、現在の表示領域と物体の動きの方向とを基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定する。例えば、物体の動きの方向が右向きである場合は、次以降の表示領域が右方向に移動すると予測する。この場合は、現在の表示領域の左右に付加するマージンのうち右側のマージンを大きくした領域を新たな復号領域に決定する。また、着目点に係るメタデータを用いる場合には、現在の表示領域の左右にマージンを付加した領域を復号領域に決定するだけでなく、着目点を含む特定の領域も復号領域に決定する。これにより、ユーザが望んだ時にいつでも着目点に表示領域を移動させることができる。
なお、本構成例４に係る再生側装置２０は、図８と同様の構成要素とし、上記と同様の動作をしても良い。

＜実施の形態３の他の構成例＞
本実施の形態３は、上記の構成例１〜４以外の構成とすることもできる。例えば、再生側装置２０の復号領域決定部２０３は、ユーザの拡大及び縮小操作を基に、新たな復号領域を決定しても良い。例えば、２倍に拡大した画像を表示する場合には、必要な拡大前画像は１／２になるため、表示領域のサイズは１／２になる。逆に、１／２に縮小した画像を表示する場合には、必要な縮小前画像は２倍なるため、表示領域のサイズは２倍になる。このように、ユーザの拡大及び縮小操作に応じて表示領域のサイズが変化することになるため、変化する表示領域のサイズに合わせて、復号領域を決定すれば良い。

（３−２）実施の形態３の動作
以下、本実施の形態３の動作について説明する。まず、本実施の形態３の動作例の概要として、上記の構成例１，４の動作例を代表して説明する。なお、上記の構成例１，４における符号化側装置１０の動作は、上記の実施の形態１と同様であるため、以下では、再生側装置２０の動作のみ説明する。

＜実施の形態３の構成例１に係る再生側装置２０の動作例の概要＞
まず、図２０を参照して、本実施の形態３の構成例１に係る再生側装置２０の動作例の概要について説明する。

図２０の例では、下段が、復号領域内にＩフレームの画像が出現した時の全体画像Ｙ、上段が、全体画像Ｙの直前の全体画像Ｘとなっている。ここでは、Ｉフレームの画像が出現した全体領域Ｙの表示領域は、直前の全体領域Ｘの表示領域から右方向に移動している。そのため、再生側装置２０の復号領域決定部２０３は、次以降の全体画像では表示領域が右方向に移動すると予測し、現在の表示領域の左右に付加するマージンのうち右側のマージンを大きくした領域を新たな復号領域に決定する。

＜実施の形態３の構成例４に係る再生側装置２０の動作例の概要＞
次に、図２１を参照して、本実施の形態３の構成例４に係る再生側装置２０の動作例の概要について説明する。なお、図２１は、着目点の位置に係るメタデータを用いる場合の動作例を示している。

図２１の例では、上段が、表示領域が移動する前の全体画像Ｘ、下段が、表示領域が、全体画像Ｘの表示領域から移動した後の全体画像Ｙとなっている。ここで、全体画像Ｘにおいて、復号領域内にＩフレームの画像が出現したものとする。また、動画像データの提供者により、着目点が指定されたものとする。そのため、再生側装置２０の復号領域決定部２０３は、全体画像Ｘにおいて、現在の表示領域の左右にマージンを付加した領域を復号領域＃１に決定するだけでなく、着目点を含む特定の領域を復号領域＃２に決定している。すなわち、再生側装置２０の復号部２０４は、２箇所の復号領域＃１，＃２で画像を復号する。従って、全体画像Ｙの時に、ユーザが着目点に表示領域を移動させることを望んだ場合に、着目点の画像をすぐに表示することができる。これにより、ユーザが望んだ時にいつでも着目点に表示領域を滑らかに移動させることができる。

続いて、本実施の形態３に係る再生側装置２０の動作例の流れについて説明する。以下では、上記の構成例４の動作例を代表して説明する。
＜実施の形態３の構成例４に係る再生側装置２０の動作例の流れ＞
図２２を参照して、本実施の形態３の構成例４に係る再生側装置２０の動作例の流れについて説明する。なお、図２２は、物体の動きに係るメタデータを用いる場合の動作例を示している。また、図２２は、図６と比較して、ステップＡ２の代わりに、ステップＣ１〜Ｃ３を備えている点が異なる。

図２２に示されるように、まず、図６と同様のステップＡ１の処理が行われ、全体画像の復号領域内にＩフレームが出現していなければ（ステップＡ１のｎｏ）、図６と同様のステップＡ３の処理が行われる。

一方、ステップＡ１において、全体画像の復号領域内にＩフレームが出現していれば（ステップＡ１のｙｅｓ）、復号領域決定部２０３は、動画像内の物体の動きの方向が左向きであるか否かを判断する（ステップＣ１）。物体の動きの方向が左向きであるか否かを判断する方法は、例えば、閾値を設定し、物体の左向きへの移動量が閾値を超えれば、物体の動きの方向が左向きであると判断する方法が考えられるが、これには限定されない。

ステップＣ１において、物体の動きの方向が左向きであれば（ステップＣ１のｙｅｓ）、復号領域決定部２０３は、現在の表示領域の左右に付加するマージンのうち左側のマージンを大きくした領域を新たな復号領域に決定する（ステップＣ２）。その後、ステップＡ４の処理に進む。

一方、ステップＣ１において、物体の動きの方向が左向きでなければ（ステップＣ１のｎｏ）、復号領域決定部２０３は、現在の表示領域の左右に付加するマージンのうち右側のマージンを大きくした領域を新たな復号領域に決定する（ステップＣ３）。その後、ステップＡ４の処理に進む。
以降、図６と同様のステップＡ４〜Ａ７の処理が行われる。

（３−３）実施の形態３の効果
以上説明したように本実施の形態３によれば、再生側装置２０は、現在の表示領域だけでなく、直前の表示領域等を基に、新たな復号領域を決定する。そのため、復号領域の精度を高めることができる。特に、復号領域が切り替わる場合の境界付近における復号領域の精度を高めることができる。その他の効果は実施の形態１と同様である。

（４）実施の形態４
上記の実施の形態１〜３は、符号化側装置１０が、Ｉフレームの時間間隔をｎとし、その時間間隔で全ての小画面画像をＩフレームとして符号化していた。
これに対して本実施の形態４は、符号化側装置１０が、小画面画像をＩフレームとして符号化する時間間隔を変更可能とするものである。

（４−１）実施の形態４の構成
本実施の形態４の構成は、上記の実施の形態１〜３のいずれかと同様で良いため、図示及び説明を省略する。

（４−２）実施の形態４の動作
以下、本実施の形態４の動作について説明する。なお、本実施の形態４は、上記の実施の形態１〜３と比較して、後述のように、Ｉフレームが出現するタイミングが不規則になる。ただし、再生側装置２０は、Ｉフレームが出現した場合に、そのＩフレームを認識して上記の実施の形態１〜３で述べた処理を行えば良い。すなわち、再生側装置２０の動作自体は、上記の実施の形態１〜３のいずれかと同様で良い（後述の実施の形態５においても同様）。そのため、以下では、符号化側装置１０の動作のみ説明する。

＜実施の形態４に係る符号化側装置１０の動作例１の概要＞
まず、図２３を参照して、本実施の形態４に係る符号化側装置１０の動作例１の概要について説明する。
本動作例１は、符号化側装置１０の符号化部１０３が、複数の小画面画像のうちの一部の小画面画像について、Ｉフレームとして符号化するタイミングをずらすものである。

符号化側装置１０の符号化部１０３は、左から奇数番目の小画面画像については、Ｉフレームとして符号化するタイミングを、上記の実施の形態１〜３と同様のタイミングとし、時刻ｔ１，ｔ３の小画面画像をＩフレームとしている。その一方、符号化側装置１０の符号化部１０３は、左から偶数番目の小画面画像については、Ｉフレームとして符号化するタイミングをずらし、時刻ｔ１，ｔ２，ｔ４の小画面画像をＩフレームとしている。

上記の実施の形態１〜３は、符号化側装置１０の符号化部１０３が、Ｉフレームの時間間隔をｎとし、その時間間隔で全ての小画面画像をＩフレームとして符号化していた。この場合、再生側装置２０の復号領域決定部２０３は、時間間隔ｎで、新たな復号領域を決定し直すことしかできない。

これに対して、本動作例１は、符号化側装置１０の符号化部１０３が、左から偶数番目の小画面画像については、Ｉフレームとして符号化するタイミングをずらしている。これにより、図２３の例では、時刻ｔ１，ｔ２，ｔ３，ｔ４で、すなわち、時間間隔ｎ／２で、Ｉフレームが出現する。そのため、再生側装置２０の復号領域決定部２０３は、時間間隔ｎ／２で、新たな復号領域を決定し直すことができる。従って、符号化側装置１０の符号化部１０３が、Ｉフレームの平均時間間隔（この平均時間間隔は符号化効率に影響を与える）をほぼ変えずに、再生側装置２０の復号領域決定部２０３は、より短い間隔で新たな復号領域を決定し直すことができる。

＜実施の形態４に係る符号化側装置１０の動作例２の概要＞
続いて、図２４を参照して、本実施の形態４に係る符号化側装置１０の動作例２の概要について説明する。
本動作例２は、符号化側装置１０の符号化部１０３が、動画像内の物体の動き速度を基に、Ｉフレームの時間間隔を動的に変更するものである。

符号化側装置１０の符号化部１０３は、動画像内の物体の動き速度が大きいか否かについては、符号化時に知ることができる。物体の動き速度が大きいか否かは、例えば、閾値を設定し、物体の動き速度が閾値を超えれば、物体の動き速度が大きいと判断することが考えられるが、これには限定されない。

符号化側装置１０の符号化部１０３は、物体の動き速度が小さい期間においては、Ｉフレームの時間間隔をｎとし、時間間隔ｎで、全ての小画面画像をＩフレームとして符号化している（時刻ｔ１，ｔ４）。

一方、符号化側装置１０の符号化部１０３は、物体の動き速度が大きい期間においては、Ｉフレームの時間間隔をｎ／２とし、時間間隔ｎ／２で、全ての小画面画像をＩフレームとして符号化している（時刻ｔ２，ｔ３）。これにより、再生側装置２０の復号領域決定部２０３は、より短い間隔で新たな復号領域を決定し直すことができる。

なお、本動作例２では、符号化側装置１０の符号化部１０３は、動画像内の物体の動き速度を基に、Ｉフレームの時間間隔を動的に変更していたが、これには限定されない。例えば、符号化側装置１０の符号化部１０３は、再生側装置２０からのリクエスト等によって、Ｉフレームの時間間隔を動的に変更しても良い。

（４−３）実施の形態４の効果
以上説明したように本実施の形態４によれば、符号化側装置１０は、Ｉフレームの時間間隔を変更可能である。そのため、符号化側装置１０は、複数の小画面画像のうちの一部の小画面画像について、Ｉフレームの時間間隔をずらしたり、動画像内の物体の動き速度等に応じて、Ｉフレームの時間間隔を動的に変更したりすることが可能である。これにより、再生側装置２０は、より短い間隔で新たな復号領域を決定し直すことができる。そのため、再生側装置２０は、表示領域の移動量（移動速度）が大きい場合や、物体の動き速度が高速である場合に、これに合わせて復号領域を決定することができる。その結果、再生側装置２０は、同等の復号領域のサイズで、表示領域の移動をより高速に行うことができる。また、同等な表示領域の移動量（移動速度）を得るために必要な復号領域のサイズを小さくすることができる。その他の効果は実施の形態１と同様である。

（５）実施の形態５
上記の実施の形態１〜４は、符号化側装置１０の符号化部１０３が、複数の小画面画像の各々を独立な小画面画像として扱い、フレーム間の予測符号化を適用して、符号化していた。
これに対して本実施の形態５は、符号化側装置１０の符号化部１０３が、ＭＶＣ（Multiview Video Coding）のように、フレーム間の予測符号化と小画面画像間の予測符号化とを組み合わせて、小画面画像を符号化するものである。
なお、ＭＶＣは、例えば、以下の非特許文献に開示されている。
Hideaki Kimata,“Trends of International Standardization of Three-dimensional Video Coding”, NTT Technical Review, October 2011 Vol.9 No.10, ＜URL： https://www.ntt-review.jp/anqtest/archive/ntttechnical.php?contents=ntr201110gls.html＞

本実施の形態５の構成は、上記の実施の形態１〜４のいずれかと同様で良いため、図示及び説明を省略する。
以下、本実施の形態５の動作について説明する。ただし、再生側装置２０の動作は、上述のように、上記の実施の形態１〜３のいずれかと同様で良いため、以下では、符号化側装置１０の動作のみ説明する。ここでは、図２５を参照して、本実施の形態５に係る符号化側装置１０の動作例の概要について説明する。

符号化側装置１０の符号化部１０３は、複数の小画面画像のうち左から奇数番目の小画面画像をベースビューに分類する。符号化側装置１０の符号化部１０３は、ベースビューとなる小画面画像については、実施の形態１〜４と同様に、フレーム間の予測符号化を適用して、符号化を行う。すなわち、ベースビューに属する小画面画像は、一定の時間間隔でＩフレームとして符号化するか、そのＩフレームやそれに続くＰフレームを参照するＰフレーム、Ｂフレームとして符号化する。

一方、符号化側装置１０の符号化部１０３は、複数の小画面画像のうち左から偶数番目の小画面画像を非ベースビューに分類する。符号化側装置１０の符号化部１０３は、非ベースビューとなる小画面画像については、小画面画像間の予測符号化を用いて、符号化を行う。すなわち、非ベースビューに属する小画面画像は全て、同時刻のベースビューに属するＩフレーム又はＰフレームを参照してＰフレーム、Ｂフレームとして符号化する。

なお、図２５の例では、時間間隔ｎで、すなわち、時刻ｔ１，ｔ２でＩフレームが出現するため、再生側装置２０の復号領域決定部２０３は、新たな復号領域を決定し直す。また、図２５の例では、再生側装置２０の復号領域決定部２０３は、復号領域のサイズを、実施の形態１〜４よりも大きなサイズとしているが、これには限定されない。

本実施の形態５においては、ベースビューと非ベースビューとの位置関係、非ベースビューが参照するベースビューの位置関係、復号領域のサイズを適切に決定することで、より符号化効率を高めることができる。

以上説明したように本実施の形態５によれば、符号化側装置１０は、ＭＶＣのように、フレーム間の予測符号化と小画面画像間の予測符号化とを組み合わせて、小画面画像を符号化するため、動画像の符号化効率をさらに高めることができる。その他の効果は実施の形態１と同様である。

（６）実施の形態１〜５の概念
以下、図２６を参照して、上記の実施の形態１〜５を概念的に示した動画処理システムの構成について説明する。図２６に示される動画像処理システムは、符号化側装置８０及び再生側装置９０を備えている。符号化側装置８０は、符号化側装置１０に対応し、再生側装置９０は、再生側装置２０，２０Ａ，２０Ｂに対応する。

符号化側装置８０は、動画像を構成する、時間的に連続する複数の全体画像を順次入力し、入力した全体画像を複数の小画面画像に分割し、分割した複数の小画面画像を符号化して再生側装置９０に送信する。再生側装置９０は、符号化側装置８０から、複数の小画面画像からなる全体画像を順次受信し、受信した全体画像を復号する。

符号化側装置８０は、分割部８０１、符号化部８０２、及び送信部８０３を備えている。分割部８０１は、小画面分割部１０２に対応し、符号化部８０２は、符号化部１０３に対応し、送信部８０３は、データ送信部１０４に対応する。なお、符号化側装置８０の構成要素は、半導体装置で実現することができる。

分割部８０１は、複数の全体画像を順次入力し、入力した全体画像を複数の小画面画像に分割する。符号化部８０２は、分割部８０１により分割された複数の小画面画像を符号化する。送信部８０３は、符号化部８０２により符号化された複数の小画面画像からなる全体画像を再生側装置９０に送信する

再生側装置９０は、受信部９０１、決定部９０２、及び復号部９０３を備えている。受信部９０１は、データ受信部２０１に対応し、決定部９０２は、復号領域決定部２０３に対応し、復号部９０３は、復号部２０４に対応する。なお、再生側装置９０の構成要素は、半導体装置で実現することができる。

受信部９０１は、符号化側装置８０から、複数の小画面画像からなる全体画像を順次受信する。決定部９０２は、全体画像のうち復号を行う小画面画像を含んでなる復号領域を決定する。復号部９０３は、受信部９０１に受信された全体画像のうち決定部９０２により決定された復号領域内の小画面画像を復号する。ここで、決定部９０２は、復号領域内にＩフレームの小画面画像が出現した場合に、新たな復号領域を決定する。

なお、送信部８０３及び受信部９０１は、アンテナやケーブルのような回路で構成することができる。また、分割部８０１、符号化部８０２、決定部９０２、復号部９０３は、ソフトウェア的に実現しても、ハードウェア的に回路によって構成しても良い。また、符号化部８０２及び復号部９０３は、ソフトウェア又はハードウェアのどちらで実現するかは、例えば、画像サイズ等を考慮して選択するようにしても良い。

図２６に示される動画像処理システムにおいては、再生側装置９０は、復号領域内にＩフレームの小画面画像が出現した場合に、新たな復号領域を決定する。ここで、復号領域内のＩフレームの小画面画像は、すぐに復号することができる。また、復号領域内のＩフレーム以外の小画面画像は、直近に決定した復号領域内のＩフレームを参照して予め復号しておくことができる。これにより、表示領域が復号領域内の他の領域に移動しても、移動後の表示領域内の画像をすぐに表示することができるため、表示領域を滑らかに移動させることができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

例えば、上記の各実施の形態においては、表示部は、再生側装置の内部に設けていたが、これには限定されない。表示部は、再生側装置の外部に設け、再生側装置に接続する構成としても良い。

また、上記の各実施の形態においては、動画像は３６０°動画像等であるとしたが、これには限定されない。例えば、地図に対して時間方向に変動する付加情報（例えば、渋滞情報等）を付加して、これを動画像のように扱う場合、地図に付加情報を付加したデータは、全体では非常に巨大なデータとなる。従って、地図に付加情報を付加したデータは、複数に分割して符号化することが自然であるため、上記の各実施の形態を適用しても良い。これにより、地図に付加情報を付加したデータについても、表示領域を滑らかに移動させながら、滞りなくリアルタイムに表示することができる。

また、上記の各実施の形態において、符号化側装置、再生側装置、再生側装置内で様々な処理を行う機能ブロックとして図面に記載された各要素は、ハードウェア的には、図２７に示されるように、演算処理、制御処理等を行うＣＰＵ（Central Processing Unit）などのプロセッサ１００１、プロセッサ１００１によって実行されるプログラム、各種のデータを記憶するメモリ１００２、及び外部と信号の入出力を行うインターフェイス（Ｉ／Ｆ）１００３等の回路で構成することができる。また、各要素は、ソフトウェア的には、プロセッサ１００１によってメモリ１００２から読み出されるプログラムによって実現することができる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−Ｒ／Ｗ（CD-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１０ 符号化側装置
１０１ 画像入力部
１０２ 小画面分割部
１０３ 符号化部
１０４ データ送信部
１０５ データ受信部
１０６ データ管理部
１０７ 符号化データメモリ
１０８ 符号化時情報メモリ
２０，２０Ａ，２０Ｂ 再生側装置
２０１ データ受信部
２０２ 表示領域入力部
２０３ 復号領域決定部
２０４ 復号部
２０５ 画像切り出し部
２０６ 表示部
２０７ データ送信部
２０８ 遅延器
２０９ 減算器
２１０ 履歴情報メモリ
３０ サーバ装置
３０１ データ受信部
３０２ 履歴情報メモリ
３０３ データ送信部
８０ 符号化側装置
８０１ 分割部
８０２ 符号化部
８０３ 送信部
９０ 再生側装置
９０１ 受信部
９０２ 決定部
９０３ 復号部

Claims (16)

1. 複数の小画面画像からなる全体画像であって時間的に連続し動画像を構成する複数の全体画像を順次受信し、受信した全体画像を復号する半導体装置であって、
   前記複数の小画面画像からなる前記全体画像を受信する受信部と、
   前記全体画像のうち復号を行う小画面画像を含んでなる復号領域を決定する決定部と、
   前記全体画像のうち前記決定部により決定された復号領域内の小画面画像を復号する復号部と、を備え、
   前記決定部は、
   前記復号領域内にイントラフレームの小画面画像が出現した場合に、新たな復号領域を決定する、半導体装置。
2. 前記全体画像のうち表示を行う画像を含んでなる表示領域の指示が入力される入力部をさらに備え、
   前記決定部は、
   現在の表示領域を基に、新たな復号領域を決定する、請求項１に記載の半導体装置。
3. 前記決定部は、
   現在の表示領域を含み、現在の表示領域にマージンを加えた領域を、新たな復号領域に決定する、請求項２に記載の半導体装置。
4. 前記決定部は、
   現在の表示領域が直前の表示領域から移動した移動量を基に、新たな復号領域のサイズを決定する、請求項２に記載の半導体装置。
5. 前記決定部は、
   前記動画像内の物体の動き速度を基に、新たな復号領域のサイズを決定する、請求項２に記載の半導体装置。
6. 前記決定部は、
   現在の表示領域が直前の表示領域から移動した移動方向を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定する、請求項２に記載の半導体装置。
7. 前記決定部は、
   自身の半導体装置の現在の表示領域を含む表示領域の履歴を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定する、請求項２に記載の半導体装置。
8. 前記決定部は、
   他のユーザによる表示領域の履歴を基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定する、請求項２に記載の半導体装置。
9. 前記決定部は、
   現在の表示領域と前記動画像内の物体の動きの方向とを基に、次以降の表示領域を予測し、予測した次以降の表示領域を基に、新たな復号領域を決定する、請求項２に記載の半導体装置。
10. 前記決定部は、
    現在の表示領域を含み、現在の表示領域にマージンを加えた領域と、前記動画像内の特定の領域と、を新たな復号領域に決定する、請求項２に記載の半導体装置。
11. 動画像を構成する、時間的に連続する複数の全体画像を順次入力し、入力した全体画像を複数の小画面画像に分割し、分割した複数の小画面画像を符号化して送信する符号化側装置と、
    前記符号化側装置から、前記複数の小画面画像からなる前記全体画像を順次受信し、受信した全体画像を復号する再生側装置と、を備え、
    前記符号化側装置は、
    前記全体画像を前記複数の小画面画像に分割する分割部と、
    前記複数の小画面画像を符号化する符号化部と、
    前記符号化された前記複数の小画面画像からなる前記全体画像を前記再生側装置に送信する送信部と、を含み、
    前記再生側装置は、
    前記符号化側装置から前記全体画像を受信する受信部と、
    前記全体画像のうち復号を行う小画面画像を含んでなる復号領域を決定する決定部と、
    前記全体画像のうち前記決定部により決定された復号領域内の小画面画像を復号する復号部と、を含み、
    前記決定部は、
    前記復号領域内にイントラフレームの小画面画像が出現した場合に、新たな復号領域を決定する、動画像処理システム。
12. 前記符号化部は、
    一定の時間間隔で、前記複数の小画面画像の全てをイントラフレームとして符号化する、請求項１１に記載の動画像処理システム。
13. 前記符号化部は、
    前記複数の小画面画像のうちの一部の小画面画像について、イントラフレームとして符号化するタイミングをずらす、請求項１１に記載の動画像処理システム。
14. 前記符号化部は、
    前記動画像内の物体の動き速度を基に、イントラフレームの時間間隔を動的に変更し、変更した時間間隔で、前記複数の小画面画像の全てをイントラフレームとして符号化する、請求項１１に記載の動画像処理システム。
15. 前記符号化部は、
    前記複数の小画面画像をベースビュー又は非ベースビューに分類し、
    前記ベースビューに属する小画面画像を、イントラフレーム又は該イントラフレームを参照するフレームとして符号化し、
    前記非ベースビューに属する小画面画像を、前記ベースビューに属する小画面画像を参照して符号化する、請求項１１に記載の動画像処理システム。
16. 半導体装置の制御方法であって、
    複数の小画面画像からなる全体画像であって時間的に連続し動画像を構成する複数の全体画像を順次受信する受信ステップと、
    前記全体画像のうち復号を行う小画面画像を含んでなる復号領域を決定する決定ステップと、
    前記全体画像のうち前記決定ステップにより決定された復号領域内の小画面画像を復号する復号ステップと、を備え、
    前記決定ステップでは、
    前記復号領域内にイントラフレームの小画面画像が出現した場合に、新たな復号領域を決定する、半導体装置の制御方法。

Images