JP2009194920A - 画像符号化装置、および画像送信装置 - Google Patents

Abstract

【課題】効率良くパノラマ画像を蓄積あるいは電送する画像符号化装置、および画像送信装置を提供する。
【解決手段】入力されたパノラマ画像をタイル分割部（１２）で小画面の画像（タイル）に分割し、符号化部（１４）で各タイルを独立に符号化することでデータ量を削減すると共に、管理情報付加部（１６）ではタイルの符号化データの全符号化データ内での指定時刻における位置を示す情報を指定時刻にランダムアクセスするための管理情報として付加することで、パノラマ画像の一部を取り出して、容量の小さい伝送路でも送信することを可能とする画像符号化装置、および画像送信装置を提供する。
【選択図】図２

Description

本発明は、パノラマ立体画像などの画像データを符号化・復号する画像符号化装置、および画像送信装置に関するものである。

従来より、パノラマ立体画像を表示装置に表示する際に、左目用パノラマ画像と右目用パノラマ画像を表示して、ユーザはそれぞれの目でそれぞれの画像を見てパノラマ立体画像を視認できるようにする。この場合に、パノラマ画像全体を表示装置の画面に表示するのでは、画像が大きすぎたり歪んでいたりして細部が分からない場合があるので、ユーザの好みの箇所を拡大・縮小して表示するのが通常である。

そのような技術に関し、データ処理によってパノラマ画像から指定領域を抽出し、視点の異なる２枚の静止画像を合成して立体画像を表示する方法として、一般に図２４に示されるような構成をとる技術がある。

図２４において、領域指定手段１０１は、ユーザがパノラマ画像中の任意の矩形領域を指定するための手段であり、指定した矩形領域を指定する信号を画像抽出手段１０２に出力する。

画像抽出手段１０２は、左目用パノラマ画像、右目用パノラマ画像から、指定された矩形領域（左目用画像、右目用画像）を抽出する手段である。

立体表示手段１０３は、抽出された左目用画像、右目用画像を立体表示する手段であり、種々の方式の立体画像ディスプレイがある。

図２５は、左目用パノラマ画像、右目用パノラマ画像を示す。また、図２６は、図２５のようなパノラマ立体画像を撮影する、それぞれが組み合わさって左右に回転する左目用カメラＬと右目用カメラＲとそれらの撮影視野Ｌ１（実線で示した範囲）とＲ１（点線で示した範囲）および実際の撮影領域ｆを示す。

上記のように指定領域を抽出して表示するパノラマ画像では、パノラマ画像を表すための画素数（解像度）が、一般の画像に比べて大きい。例えば標準デジタルテレビ画像の解像度が７２０×４８０画素であるのに対して、パノラマ画像の解像度は例えば６０００×４８０画素となる。したがって、このようなパノラマ画像を蓄積あるいは伝送する場合、データ量が膨大となることが非常に問題となる。

本発明はこのような問題を解決し、効率良くパノラマ画像を蓄積あるいは伝送可能にする画像符号化装置または画像送信装置を提供することを目的とする。

本発明は、上記の目的を達成するため、次の構成を有する。

本発明は、立体動画像用の２以上のパノラマ動画像を入力する画像入力手段と、入力されたパノラマ動画像をフレーム毎に小画面に分割する分割手段と、時間的に連続する複数のフレームからなる小画面動画像を符号化する符号化手段と、前記符号化データに小画面動画像の符号化データの全符号化データ内での位置を示す情報と、小画面動画像内の指定時刻の符号化データへのアクセスを行うための情報を付加する管理情報付加手段と、を有し、前記動画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像符号化装置である。

また、本発明は、入力されたパノラマ動画像の縮小処理をする画像縮小手段と、小画面の表示領域を決定して再生時刻を決定するための前記縮小動画像を符号化する縮小画像符号化手段と、を有することを特徴とする。

また、本発明は、請求項１又は２に記載の画像符号化装置を備えた画像送信装置において、立体動画像用の２以上のパノラマ動画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを送信する送信手段と、を有することを特徴とする。

また、本発明は、請求項１又は２に記載の画像符号化装置を備えた画像送信装置において、立体動画像用の２以上のパノラマ動画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを復号する復号手段と、復号された小画面画像データのうちの所定領域を切り出す切り出し手段と、切り出された所定領域の画像データを再符号化する再符号化手段と、再符号化された所定領域の画像データを送信する送信手段と、を有することを特徴とする。

ここで、前記画像送信装置は、切り出された所定領域の画像データを合成する合成手段を有し、合成データを再符号化手段で再符号化して、送信手段から送信することを特徴とする。

また、前記送信手段は、小画面画像に分割する前の画像の所定の縮小画像を送信することを特徴とする。

本発明は、立体視用画像データを構成する２以上のパノラマ動画像の一つを入力する画像入力手段と、前記動画像を符号化する画像符号化手段と、前記符号化データに前記動画像内の所定の領域の位置を示す情報と、前記動画像内の指定時刻の符号化データへのアクセスを行うための情報を付加する管理情報付加手段と、を有し、前記動画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含み、前記位置情報は、前記領域が前記符号化データ内での位置を示す情報であることを特徴とする画像符号化装置である。

また、本発明は、入力する立体視用画像データには、立体視用のパノラマ動画像が何の種類の画像からなるかを示す情報と、各動画像の方向を示す情報とが付加情報として付加されていることを特徴とする。

本発明においては、効率良くパノラマ画像を蓄積あるいは伝送する動画像符号化・復号装置を構成できる。

本発明の第１の実施形態に係る符号化装置、送信装置、および受信装置の全体システム説明図である。 第１の実施形態に係る符号化装置を示すブロック図である。 第１の実施形態に係る左目用、右目用の各パノラマ画像を分割した例の説明図である。 図３の左目用パノラマ画像を動画像にした場合の各フレームの説明図である。 パノラマ動画像をＭＰＥＧ−４で符号化する場合の例の説明である。 管理情報の結合された各タイルの符号化データの例の説明図である。 管理情報の例を示す図表であって、（１）は符号化データへのタイムアクセステーブルの説明図、（２）は指定時刻へのランダムアクセステーブルの説明図である。 第１の実施の形態の送信装置を示すブロック図である。 パノラマ画像と表示位置の関係を説明する図である。 第２の実施形態の受信装置を示すブロック図である。 ２個の全方位カメラを使用した視野および撮影範囲の説明図である。 全方位カメラ１による画像と、全方位カメラ２による画像のデータ例を示す。 図１２の画像をタイル分割した例を示す。 各タイルの符号化データを蓄積する例を示す。 全方位カメラで立体視が可能なようにカメラを配置した例を示す。 全方位カメラ１，２，３による画像の例を示す。 図１６の画像をタイル分割した例を示す。 各タイルの符号化データを管理情報と共に蓄積する例を示す。 第４実施形態の送信装置のブロック図である。 左目用と右目用の切り出し画像を合成した画像の例の説明図である。 左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像の例の説明図である。 左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像の他の例の説明図である。 左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像であってパディング領域を埋めた例の説明図である。 一般の視点の異なる２枚の静止画像を合成して立体画像を表示する方法の説明図である。 左目用パノラマ画像、右目用パノラマ画像例を示す。 パノラマ立体画像を撮影する左右のカメラの説明図である。 第１の実施形態の受信装置を示すブロック図である。

以下、図面を参照して本発明の実施の形態について説明する。

［第１の実施の形態］
図１は第１の実施の形態の全体的なシステム構成図である。

図１に示すように、第１の実施の形態は、パノラマ画像を符号化する符号化装置５、符号化データを蓄積する蓄積装置８と、蓄積された符号化データの一部を取り出し、受信装置に送信する送信装置６と、送信装置６に対してパノラマ画像の表示位置を指定し、送信装置からの符号化データを受信して復号・表示する受信装置７とから成るパノラマ画像送受信システムである。図１において符号９は有線あるいは無線のネットワークである。

図２は第１の実施の形態の符号化装置５を示すブロック図である。図２の符号化装置５は、パノラマ画像を撮影・デジタル化し、パノラマ画像を入力する入力部（画像入力手段）１０と、入力されたパノラマ画像を該パノラマ画像の全体よりも小さい矩形等の領域であって複数画素からなる小画面の画像（以下「タイル」という）に分割するタイル分割部（分割手段）１２と、分割された各タイルを符号化する符号化部（符号化手段）１４と、各タイルへのアクセスおよびタイル内の指定時間へのランダムアクセスを行うための管理情報を、符号化データに付加する管理情報付加部（管理情報付加手段）１６とを有して構成される。

図３は図２のタイル分割部１２でパノラマ画像を分割した例を示す。ここで、Ｌは左目用パノラマ画像、Ｒは右目用パノラマ画像とし、それぞれが５個のタイルに分割されたものとする。分割されたタイルの番号を０，１，２，３，４とし、左目用パノラマ画像のタイルにＬＴ０〜ＬＴ４、右目用パノラマ画像のタイルにＲＴ０〜ＲＴ４と記号を付ける。各パノラマ画像のサイズが６０００×４８０画素の場合、各タイルの大きさは１２００×４８０画素となる。

なお、ここでは各パノラマ画像を水平５個×垂直１個のタイルに分割したが、タイル分割の方法はこれに限るものではなく、例えば水平１０個×垂直３個のようにより細かく分割しても良いし、各タイルの大きさを可変としても良い。

図２の符号化部１４は各タイルを圧縮符号化する部分である。符号化方式として、パノ ラマ画像が静止画の場合はＪＰＥＧ，ＪＰＥＧ２０００など静止画用の国際標準方式、パノラマ画像が動画（パノラマ動画像）の場合はＭＰＥＧ−２，ＭＰＥＧ−４など動画用の国際標準方式が用いられる。もちろん、国際標準方式以外の独自方式を用いても良い。

また、前記パノラマ動画像の場合、図３の各タイルは１枚の画像ではなく所定時間間隔で表示する複数のフレームからなる。図４に、パノラマ動画像の左目用画像（左目用パノラマ動画像）をタイル分割した例を示す。ｆ０，ｆ１，ｆ２，・・・は動画の各フレームを示し、例えばタイルＬＴ１はＬＴ１ｆ０，ＬＴ１ｆ１，ＬＴ１ｆ２，・・・のように時間的に連続した複数のフレームから構成される。

パノラマ動画像をＭＰＥＧ−４で符号化する場合の例を図５に示す。ＭＰＥＧ−４ではコマ落しを用いることが出来るため、符号化されるフレームはＬＴ１ｆ０，ＬＴ１ｆ３，ＬＴ１ｆ５，ＬＴ１ｆ１０のようにフレーム番号が飛び飛びになっている。また、この例ではＬＴ１ｆ０をフレーム内符号化フレーム（Ｉフレーム）、ＬＴ１ｆ１０をＬＴ１ｆ０の復号フレームから予測符号化するフレーム（Ｐフレーム）、ＬＴ１ｆ３，ＬＴ１ｆ５をＬＴｆ０，ＬＴｆ１０の復号フレームから両方向予測符号化するフレーム（Ｂフレーム）として符号化している。このような符号化方式で符号化されたデータにランダムアクセスする場合、後で述べるように、アクセスしたいフレームの近傍（直前または直後）のＩフレームから復号を行う。

図２の管理情報付加部１６で付加される管理情報について説明する。管理情報の結合された各タイルの符号化データの例を図６に示す。また、この管理情報の例（表１）を図７に示す。

各タイルの符号化データは、管理情報と共に図６に示すように結合されて蓄積されるが、この時、各タイルへのアクセスを可能とするための情報が管理情報である。パノラマ動画像の場合は、タイルへのアクセスと共に、タイル内の指定時刻の符号化データへのランダムアクセスを可能とする情報も含まれる。

図７の表１（１）は、各タイルの符号化データへのアクセスを行うための管理情報（全符号化データ内での各タイルの符号化データの位置を示す情報を含む）の１例のタイルアクセステーブルある。例えばタイルＬＴ２の符号化データは、図６のデータの先頭からＢ２バイト目（位置を示す情報に相当）に存在することを示している。表１（１）にはさらに、タイル内での指定時刻へのアクセスを行うための情報（ランダムアクセステーブル）へのポインタが記載されている。例えばＬＴ２の符号化データの場合、指定時刻へのアクセステーブルは管理情報内のアドレスＰ２にあることが示される。

また、前記図７の表１（２）は、指定時刻へのアクセステーブル（ランダムアクセステーブル）の例である。この表において時刻ｔ１，ｔ２，ｔ３，・・・は等間隔に設定されていても良いし、任意の時間間隔であっても良い。例えば時刻ｔ３に対応する符号化データは、タイルの符号化データの先頭からＢｔ３バイト目に存在し、その位置からＩｔ３バイト遡った位置にＩフレームの符号化データがあることが示されている。復号装置においてタイルの復号データを時刻ｔ３から表示したい場合、まず、先頭から（ＢＴ３−Ｉｔ３）バイト目にあるＩフレームの符号化データを復号する。次に、順次ＰフレームやＢフレームを復号しつつ復号したバイト数をカウントし、Ｉｔ３バイトだけ復号した時点で表示を開始すれば、指定した時刻ｔ３の表示が行われる。

以上のようにして、膨大なデータ量を持つパノラマ画像が効率よく符号化され、蓄積される。本発明の符号化データは、パノラマ画像をタイルに分割し、各タイルの符号化データへのアクセスを容易にするための情報を符号化データと共に蓄積するため、後述するように、符号化データの一部を取り出すことが可能となる。

［その他のアクセス方法］
（ａ）テレビ電話、インターネットによるストリーミング等、通信用途では符号化データがパケット化されており、各パケットのヘッダ情報にＩフレームの先頭を含むか否かを示す情報が組込まれている場合がある。この時、例えば図７の表１（２）には、指定時刻ｔｉとそれに対応するパケットの先頭までのバイト数Ｂｉ（ｉは正の整数）が書かれている。

指定時刻がｔ３の場合、デコーダは指定時刻ｔ３のパケットにアクセスした後、パケットがＩフレームの先頭を含むか否かをチェックしながら符号化データを読み進み、Ｉフレームを含んだパケットから復号・表示を開始する。（それ以前のパケットは読み捨てる）

（ｂ）前記の（ａ）で、パケットの先頭までのバイト数を明示せず、パケット番号のみを表１（２）に書いておくこともできる。この場合、一つの符号化データ内のパケットの長さ（バイト数など）を固定とし、符号化データのヘッダ情報にパケットの長さを書いておく。

デコーダにて、パケット番号とパケットのバイト数から、指定時刻のパケットの先頭までのバイト数を計算することによって、指定時刻のデータにアクセスすることが可能となる。指定時刻のパケットにアクセスした後の動作は前記（ａ）と同様である。

［その他の蓄積方法］
図６では管理情報と符号化情報が結合されて蓄積されている状態を示しているが、管理情報は符号化情報とは別ファイルとして分離して蓄積してもかまわない。

また、指定時刻へのアクセスのための情報は、前記図７の表１（２）のような管理情報中ではなく、各タイルの符号化データのヘッダ情報に含まれていても良い。その場合、図７の表１（１）の３列目（タイル内での指定時刻へのアクセスを行うための情報へのポインタ）は必要が無くなる。

さらに、管理情報、各タイルの符号化データを全て別ファイルとしても良い。この時、例えば図７の表１（１）の２列目には先頭からのバイト数の代わりに、各タイルの符号化データのファイル名が書かれる。また、各タイルへのアクセスはファイル名を基に行われる。

図８は第１の実施の形態の送信装置を示す。図８の送信装置は、符号化データに含まれる管理情報を分離する管理情報分離部（管理情報分離手段）２０と、受信装置７などから表示位置（指定位置）および表示サイズを入力し、これに対応するタイルを指定するタイル指定部２２と、管理情報と表示位置およびサイズを基に管理情報を解析する解析部２４と、解析結果を元に符号化データをランダムアクセスするランダムアクセス部（検索手段）２６と、ランダムアクセスされた符号化データの一部を送信する送信部２８とから構成される。

図８に示す前記管理情報分離部２０は、図６のように蓄積されたデータから、管理情報を分離する。
また、図８に示す前記タイル指定部２２は、受信部から送られてきた表示位置およびサイズ（パノラマ動画像の場合は、さらに表示時刻）を入力し、表示位置に対応するタイルを求める。

図９はパノラマ画像と表示位置の関係を説明する図である。表示位置およびサイズはパノラマ画像中の座標（ａ，ｂ）および水平・垂直サイズ（ｘ，ｙ）でそれぞれ表される。通常、受信装置のディスプレイで表示できる画像サイズは固定であるため、サイズ（ｘ，ｙ）を固定とし、受信装置７からは表示位置（ａ，ｂ）のみを送信装置６に伝えるようにしても良い。

また、受信部側（受信装置７側）で表示位置を入力し易くするために、パノラマ画像の縮小データを予め送信しておいても良い。この場合は、符号化装置５にてパノラマ画像縮小部（画像縮小手段）をさらに備え、入力されたパノラマ画像を縮小し、縮小されたパノラマ画像を符号化部１４にて符号化し、図６のデータと共に蓄積しておく。送信装置６は蓄積された符号化データから、縮小されたパノラマ画像の符号化データを取り出し受信装置７に送信する。受信装置７ではこの符号化データを復号して、縮小パノラマ画像を確認しつつ、所望の表示位置、表示サイズを送信装置に伝えれば良い。パノラマ画像が動画の場合は、上記の縮小パノラマ画像も動画となっており、受信装置は表示位置、表示サイズと共に、表示時刻ｔも指定する。例えば、受信装置で縮小パノラマ動画像を再生し、再生中に所望の表示領域を決定することで、その時の再生時刻を表示時刻ｔとして指定する。

図８のタイル指定部２２は、表示位置およびサイズ（および表示時刻）に基づいて表示 位置に対応するタイルを求める。表示位置（ａ，ｂ）、サイズ（ｘ，ｙ）を図９のように選択した場合、指定されるタイルはタイル番号１および２となる。

このようなタイルの指定は受信装置７側で行っても良い。その場合は、タイル指定部２２は送信装置６ではなく、受信装置７に備えられ、表示位置およびサイズの代わりに指定するタイルのタイル番号を受信装置から送信装置に通知することとなる。

図８の解析部２４は、前記図７の表１のような管理情報のテーブルと指定されたタイルの情報（および表示時刻）に従って、左目用パノラマ画像、右目用パノラマ画像の各々について、指定されたタイルの符号化情報が、蓄積された符号化データの先頭から何バイト目に存在するかを解析する。

図８のランダムアクセス部２６は、上記解析結果に基づいて蓄積された符号化データをランダムアクセスし、指定されたタイルに対応する符号化データを取り出す。パノラマ動画像の場合は、指定されたタイルの符号化データのうち、表示時刻の直前のＩフレーム以降の符号化データが取り出される。［その他のアクセス方法］に例示した方法でランダムアクセステーブルが作成されている場合は、表示時刻からパケットを読み捨てていき、Ｉフレームを含むパケットが見つかった時点以降の符号化データが取り出される。あるいは、表示時刻のフレームを必ず表示したい場合は、表示時刻から逆方向にパケットを読みながら、Ｉフレームを含むパケットを探し、Ｉフレームを含むパケットが見つかった時点以降の符号化データを取り出すようにしても良い。

図８の送信部（送信手段）２８は、取り出された符号化データを受信装置に送信する。図２７は本実施の形態の受信装置の例を示す。表示位置・サイズ決定部４０は、パノラマ画像の一部を表示領域として決定し、送信装置に通知する部分である。パノラマ動画像の場合は、表示位置、サイズの他に指定時刻も合わせて通知する。復号部（復号手段）３０は送信された符号化データを復号する部分である。一般に送信された符号化データは、表示領域を含む１以上のタイルに対応しているため、切り出し部（切り出し手段）３２にて表示領域を切り出す処理が必要となる。切り出し部３２は、表示位置・サイズ決定部４０で決定した情報に基づき、復号されたタイルの中から必要な表示領域を切り出して、切り出された画像を立体ディスプレイ等に出力し、表示する。パノラマ動画像の場合に、指定時刻の直前のＩフレーム以降の符号化データが送信されているときは、切り出し部３２は指定時刻のフレームが復号されるまで、画像を出力しないようにすることもできる。このような処理を行うため、送信装置からは、表２（１）に示す「直前のＩフレームまでのバイト数」が受信装置に通知されているものとする。

以上のようにして、第１の実施の形態によれば、パノラマ画像のうち、受信装置で表示したい部分を空間的、時間的に指定し、蓄積された符号化データの一部を取り出して送信することができるため、容量の小さい伝送路においてもパノラマ画像を容易に送信し、表示することが可能となる。

［第２の実施の形態］
前記第１の実施の形態とは異なり、他の実施の形態としての第２の実施の形態では、送信装置６は、符号化装置５で作成したパノラマ画像の符号化データを全て受信装置７に送信するようにしてもよい。あるいは、大容量の記録媒体を用いて（介在させて）前記符号化データを受信装置７に渡しても良い。そして、受信装置７に全ての符号化データを蓄積する。

通常、受信装置７側のディスプレイは解像度が低く、蓄積したパノラマ画像を全て表示できないため、図１０のように、受信装置７に第１の実施の形態における送信装置と同様の管理情報分離部２０、タイル指定部２２、解析部２４、ランダムアクセス部２６を設け、さらに、符号化データを復号する復号部３０を設け、パノラマ画像の一部表示位置・サイズ、表示時刻を指定して、管理情報の解析、ランダムアクセス、符号化データの一部の復号をし、ディスプレイなど表示部への表示を行う。

［第３の実施の形態］
本発明の符号化装置におけるパノラマ画像入力部としては、前記図２６に示したような回転カメラの代わりに全方位カメラ（撮影手段）を使用できる。以下、これにより、立体 パノラマ動画像の撮影を容易にできるものを第３の実施の形態として説明する。本実施形態では、複数の全方位カメラを使用して立体パノラマ画像を得るようにする。

２個の全方位カメラを使用した場合について図１１〜図１４に基き説明する。
２個の全方位カメラを使用し、各カメラで左目用パノラマ画像、右目用パノラマ画像をそれぞれ得る場合、図１１に示すように、立体視が可能な範囲はＡとＣの範囲になる。一方、他のカメラが視野に干渉して、範囲ＤとＢでは立体視ができない。

このようなパノラマ画像に必要な付加情報（立体視用画像が何の種類の画像からなるかを示す情報と各画像の方向を示す情報とを付加）としては、カメラのタイプ（全方位カメラ２個から成ることを示す）と、全方位カメラ１を左目用、全方位カメラ２を右目用とした時の正面位置に対応する座標（Ｆ（１，２）と表す）と、全方位カメラ２を左目用、全方位カメラ１を右目用とした時の正面位置に対応する座標（Ｆ（２，１）と表す）と、Ａ，Ｂ，Ｃ，Ｄの範囲を示す情報とがある。ここで、Ａ，Ｂ，Ｃ，Ｄの範囲を示す情報は、全方位カメラの特性、カメラのタイプとＦ（１，２）、Ｆ（２，１）などから導くことができるため付加情報として必須ではないが、導くための処理量を削減したり、コンテンツに合わせて範囲を可変にする等の理由から付加情報に含めて明示するようにしても良い。

図１２は、全方位カメラ１による画像と、全方位カメラ２による画像のデータ例を示す。
範囲ＡとＣで、右目用データと左目用データの関係が入れ替わる。範囲Ｂ、Ｄのデータは全て片目用（平面表示用）のデータとなる。

図１３は、図１２の画像をタイル分割した例を示す。
全方位カメラ１の左目用画像はタイルＬＴ０，ＬＴ１、右目用画像はタイルＲＴ０，ＲＴ１、片目用画像はタイルＭＴ０，ＭＴ１に分割される。また、全方位カメラ２も同様に左目用画像はタイルＬＴ２，ＬＴ３、右目用画像はタイルＲＴ２，ＲＴ３、片目用画像はタイルＭＴ２，ＭＴ３に分割される。

図１４は、各タイルの符号化データを管理情報と共に蓄積する例を示す。管理情報には第１の実施形態で説明したタイルアクセステーブル、ランダムアクセステーブルと共に、前述した付加情報が含まれる。付加情報のうち、Ｆ（１，２）、Ｆ（２，１）を図１３のようなパノラマ画像上の水平方向の画素位置（一次元座標）で表現する場合は、Ｆ（１，２）の画素位置は範囲Ａの中央（タイルＬＴ１の左端の画素位置）、Ｆ（２，１）の画素位置は範囲Ｃの中央（タイルＲＴ１の左端の画素位置）となる。このような表現では、Ｆ（１，２）の画素位置とパノラマ画像の水平画素数からＦ（２，１）を求めることが出来るため、付加情報にはＦ（１，２）の情報のみを含めるようにすることもできる。

この例では、全方位カメラ１の符号化データは、少なくとも全方位で平面表示できるように全てのタイルの符号化データを記録する。
また、全方位カメラ２の符号化データは、立体視可能な領域についてのみ符号化データを記録する。すなわち、ＭＴ２，ＭＴ３は符号化しない、あるいはＭＴ２，ＭＴ３の符号化データは記録しないようにする。

なお、上記の例では片目用画像のタイルＭＴ２，ＭＴ３を落としていたが、符号化データのうちで片目用画像を利用する場合で、他のカメラを写しこんでいないタイルのデータを利用することもできる。つまり、全方位カメラ１では、範囲ＢのタイルＭＴ０を落とし、範囲ＤのタイルＭＴ１を残し、全方位カメラ２では範囲ＢのタイルＭＴ２を残し、範囲ＤのタイルＭＴ３を落とす。

タイルへの分割方法、符号化データの組み合わせ方法は上記の例に限るものではない。例えば、一つのタイルが範囲Ａと範囲Ｂの両方にまたがるように分割してもかまわない。また、一部のタイルを落す例を述べたが、全てのタイルを符号化するようにしてもよい。

次に、３個の全方位カメラを使用した場合について説明する。
図１５は、全ての方位で立体視が可能なように３個の全方位カメラを配置した例を示す。

このようなパノラマ画像に必要な付加情報としては、カメラのタイプ（全方位カメラ３個から成ることを示す）と、全方位カメラ１を左目用、全方位カメラ２を右目用とした時 の正面位置に対応する座標（Ｆ（１，２）と表す）と、全方位カメラ２を左目用、全方位カメラ３を右目用とした時の正面位置に対応する座標（Ｆ（２，３））と表す）と、カメラ３を左目用、カメラ１を右目用とした時の正面位置に対応する座標（Ｆ（３，１）と表す）と、Ｅ，Ｆ，Ｇの範囲を示す情報とがある。ここでＥ，Ｆ，Ｇの情報は前述のＡ，Ｂ，Ｃ，Ｄと同様、付加情報に必須ではないが、処理量削減等のために付加情報に含めて明示するようにしてもよい。

図１６は、全方位カメラ１，２，３による画像の例を示す。
範囲Ｅ，Ｆ，Ｇで、右目用データと左目用データの関係および使用するカメラの組み合わせが異なる。
図１７は、図１６の画像をタイル分割した例を示す。

また、図１８は、各タイルの符号化データを管理情報と共に蓄積する例を示す。管理情報には第１の実施形態で説明したタイルアクセステーブル、ランダムアクセステーブルと共に、前述した付加情報が含まれる。付加情報のうち、Ｆ（１，２）、Ｆ（２，３）、Ｆ（３，１）を図１７のようなパノラマ画像上の水平方向の画素位置（一次元座標）で表現する場合は、全方位カメラを２個用いた場合と同様に、Ｆ（１，２）のみを付加情報に含めるようにすることもできる。
なお、図１８の例ではタイルＭＴ２〜ＭＴ５の符号化を行わず、これらに対応する符号化データは記録しない。

このように第３の実施の形態においては、全方位カメラを複数用いることで立体パノラマ動画像の撮影を容易に行うことが可能となり、また、タイルの一部を符号化しないことで蓄積または伝送される符号化データ量を削減することが可能となる。

［第４の実施の形態］
第１の実施の形態で説明した送信装置では、一般に表示位置・サイズに対応したタイルが複数あるため、伝送データに無駄が発生する。本発明の第４の実施の形態では図１９の送信装置のように、復号部３０で復号したデータを切り出し部３２で表示位置・サイズの部分を切り出して合成部（合成手段）３４で合成画像を作成する。そして、再符号化部（再符号化手段）３６で合成画像を再符号化して送信部２８により送信する。このように必要な部分の復号画像を切り出し合成し再符号化して送信し、データ量を最少にする。

合成画像には、例えば、図２０に示すように左目用と右目用の切り出し画像を左右くっ付けた状態の１フレームの合成画像にすることができる。

また、図２１に示すように、全体画像が確認できるように縮小したパノラマ画像も、切り出した左右の画像の上側に付けるなどした１フレームの合成画像とすることができる。

また、図２２に示すように、縮小パノラマ画像を左右の切り出し画像の先頭に付けるようにした合成画像にしても良い。

さらに、図２３に示すように、左右の切り出し画像と縮小パノラマ画像の３つの画像を合成したとき、一般には余りの領域が生じる。余りの部分についてはパディングによってデータ（ダミーデータ）を埋め、全体として矩形の画像を作成する。

いずれの場合にも、合成した画像を受信装置で分離するための情報を符号化データのヘッダ部分などに付加することとなる。あるいは、このような情報はヘッダ部分ではなく管理情報に含めるようにしても良い。

前記図１９などに説明したように、合成画像を再符号化・送信するのは受信装置側で１つの符号化データを扱えばすむというメリットがある。しかし、合成の処理を省略したい場合は受信装置側で複数符号化データを扱えるようにしても良い。その場合、送信装置では縮小画像や切り出した左右の画像を独立に符号化して送信する。

前記図９の説明では、表示位置（ａ，ｂ）と表示サイズ（ｘ，ｙ）を受信装置から送信装置に通知する方法を述べたが、パノラマ画像の表示領域を指定する方法はこれに限るものではない。前記図１９などによる本発明の実施の形態では、切り取り位置（Ａ，Ｂ）、切り取りサイズ（Ｘ，Ｙ）および表示サイズ（ｘ，ｙ）を指定する方法を用いても良い。ここで、送信装置がパノラマ画像から切り取る領域は、切り取り位置（Ａ，Ｂ）、切り取りサイズ（Ｘ，Ｙ）で表され、受信装置にて実際に表示されるサイズは（ｘ，ｙ）で表す ものとする。例えば、（Ｘ，Ｙ）が（ｘ，ｙ）より大きい場合は切り取られた領域が（ｘ，ｙ）のサイズに縮小され符号化されて受信装置に送られる。逆に、（Ｘ，Ｙ）が（ｘ，ｙ）より小さい場合は切り取られた領域が（ｘ，ｙ）のサイズに拡大され符号化されて受信装置に送られる。このようにすることで、パノラマ画像の表示画像がズームインしたりズームアウトするような効果を得ることが可能となる。

以上説明したとおり本発明によれば、効率良くパノラマ画像を蓄積あるいは伝送する動画像符号化・復号装置、および簡単に動画のパノラマ立体画像を得る撮影装置を構成できる。

本発明に係る画像符号化装置、画像送信装置および画像撮影装置は、パノラマ立体画像特に画素数が多く（解像度の高い）膨大なデータ量のパノラマ静止画像もしくはパノラマ立体動画像を効率良く符号化して蓄積し、ネットワークの経由により伝送し復号することにより、そのパノラマ立体画像を表示装置の画面に表示させることを可能にするもので、容量の小さな伝送路においてパノラマ画像を容易に送信し表示させることに適している。

５ 符号化装置
６ 送信装置
７ 受信装置
８ 蓄積装置
９ 無線ネットワーク
１０ 入力部
１２ タイル分割部
１４ 符号化部
１６ 管理情報付加部
２０ 管理情報分離部
２２ タイル指定部
２４ 解析部
２６ ランダムアクセス部
２８ 送信部
３０ 復号部
３２ 切り出し部
３４ 合成部
３６ 再符号化部
４０ 表示位置・サイズ決定部

Claims (8)

1. 立体動画像用の２以上のパノラマ動画像を入力する画像入力手段と、
   入力されたパノラマ動画像をフレーム毎に小画面に分割する分割手段と、
   時間的に連続する複数のフレームからなる小画面動画像を符号化する符号化手段と、
   前記符号化データに小画面動画像の符号化データの全符号化データ内での位置を示す情報と、小画面動画像内の指定時刻の符号化データへのアクセスを行うための情報を付加する管理情報付加手段と、
   を有し、
   前記動画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含むことを特徴とする画像符号化装置。
2. 入力されたパノラマ動画像の縮小処理をする画像縮小手段と、
   小画面の表示領域を決定して再生時刻を決定するための前記縮小動画像を符号化する縮小画像符号化手段と、
   を有することを特徴とする請求項１記載の画像符号化装置。
3. 請求項１又は２に記載の画像符号化装置を備えた画像送信装置において、
   立体動画像用の２以上のパノラマ動画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、
   分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、
   検索された指定位置に基づく小画面画像の符号化データを送信する送信手段と、
   を有することを特徴とする画像送信装置。
4. 請求項１又は２に記載の画像符号化装置を備えた画像送信装置において、
   立体動画像用の２以上のパノラマ動画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、
   分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、
   検索された指定位置に基づく小画面画像の符号化データを復号する復号手段と、
   復号された小画面画像データのうちの所定領域を切り出す切り出し手段と、
   切り出された所定領域の画像データを再符号化する再符号化手段と、
   再符号化された所定領域の画像データを送信する送信手段と、
   を有することを特徴とする画像送信装置。
5. 切り出された所定領域の画像データを合成する合成手段を有し、
   合成データを前記再符号化手段で再符号化して、前記送信手段から送信することを特徴とする請求項４に記載の画像送信装置。
6. 前記送信手段は、小画面画像に分割する前の画像の所定の縮小画像を送信することを特徴とする請求項４または５に記載の画像送信装置。
7. 立体視用画像データを構成する２以上のパノラマ動画像の一つを入力する画像入力手段と、
   前記動画像を符号化する画像符号化手段と、
   前記符号化データに前記動画像内の所定の領域の位置を示す情報と、前記動画像内の指定時刻の符号化データへのアクセスを行うための情報を付加する管理情報付加手段と、
   を有し、
   前記動画像は、右目用の画像領域と左目用の画像領域の両方を各画像内に含み、
   前記位置情報は、前記領域が前記符号化データ内での位置を示す情報であることを特徴とする画像符号化装置。
8. 入力する立体視用画像データには、立体視用のパノラマ動画像が何の種類の画像からなるかを示す情報と、各動画像の方向を示す情報とが付加情報として付加されていることを特徴とする請求項７に記載の画像符号化装置。

Images