JP2008263528A - 画像情報処理方法及び画像情報処理システム - Google Patents

Abstract

【課題】複数のカメラ画像に基づく任意視点の画像を生成する際に、送信側システムにおける情報処理量を過大にせず、受信側システムとして処理能力の低い機器が使用でき、システム全体の情報処理量を低減できる画像情報処理方法及びシステムを提供する。
【解決手段】送信側システム１０は、複数のカメラ画像を取得し、複数のカメラ画像に対応する複数の奥行きマップを生成し、複数のカメラ画像及び複数の奥行きマップを符号化して送信し、受信側システム３０は、複数のカメラ画像及び複数の奥行きマップを受信して復号化し、複数のカメラ画像及び複数の奥行きマップを用いて、カメラ画像の間の補間画像を計算して、カメラ画像と補間画像とからなる光線空間を生成し、光線空間から表示画像を切り出して出力する。
【選択図】図７

Description

本発明は、複数のカメラ画像に基づいて実際にカメラが存在しない視点（仮想カメラ）から見た自由視点画像を生成するための画像情報処理方法及び画像情報処理システムに関し、特に、複数のカメラ画像を取得する送信側システム及び自由視点画像を表示する受信側システムにおける画像情報処理に関する。

見る者があたかもその場にいるかのように、自由に視点を変えて３次元シーンを見ることのできる自由視点テレビ（Ｆｒｅｅ ｖｉｅｗｐｏｉｎｔ ＴＶ：ＦＴＶ）が提案されている（例えば、非特許文献１及び２参照）。図１は、ＦＴＶシステムの基本的な構成を概念的に示す図である。図１に示されるＦＴＶシステムは、複数のカメラによる撮影（ステップＳＴ１）、離散的にしか存在しないカメラ画像の間に画像を補間する補間処理（ステップＳＴ２又は２ａ）、及び入力された視点（仮想カメラ）から見た画像の切り出し及び表示（ステップＳＴ４及びＳＴ５）を行う。ＦＴＶシステムでは、３次元実空間に存在する被写体１０１の画像情報を複数のカメラ（図１には、符号１０２_１〜１０２_５の５台を示すが、実際にはより多くのカメラが用いられる。）によって取得し、取得された複数のカメラ画像（図１には、符号１０３_１〜１０３_５の５つの画像を示すが、実際にはより多くの画像が用いられる。）を光線空間１０３に配列し、ＦＴＶ信号とする。なお、図において、ｘは、水平視野方向、ｙは、垂直視野方向、ｕ（＝ｔａｎθ）は、視域方向を示す。

光線空間法では、３次元実空間の１本の光線を、それを表すパラメータを座標とする多次元空間の１点で表す。この仮想的な多次元空間を光線空間（Ｒａｙ Ｓｐａｃｅ）という。光線空間全体は、３次元空間のすべての光線を過不足なく表現する。光線空間は、多くの視点から撮影された画像を集めることによって作られる。光線空間の点の値は、画像の画素値と同じであるから、画像から光線空間への変換は、単なる座標変換である。図２（ａ）に示されるように、実空間中の基準面１０６を通過する光線１０７は通過位置（ｘ，ｙ）と通過方向（θ，φ）の４つのパラメータによって一意に表現することができる。図２（ａ）において、Ｘは、３次元実空間における水平方向の座標軸であり、Ｙは、垂直方向の座標軸であり、Ｚは、奥行き方向の座標軸である。また、θは、基準面１０６の法線に対する水平方向の角度、すなわち、基準面１０６に対する水平方向の出射角であり、φは、基準面１０６の法線に対する垂直方向の角度、すなわち、基準面１０６に対する垂直方向の出射角である。これにより、この３次元実空間内の光線情報を輝度ｆ（ｘ，ｙ，θ，φ）と表すことができる。ここでは、説明を分かりやすくするために、垂直方向の視差（角度φ）を無視する。図２（ａ）に示されるように、基準面１０６に向けて、且つ、水平に配置された多数のカメラで撮影された画像は、図２（ｂ）に示されるように、ｘ，ｙ，ｕ（＝ｔａｎθ）の軸を持つ３次元空間において、点線で描かれる断面１０３_１〜１０３_５に位置していることになる。図２（ｂ）に示される光線空間１０３から任意の面を切り取ることによって、実空間における水平方向の任意の視点から見た画像を生成することが可能となる。例えば、図３（ａ）に示される光線空間１０３から断面１０３ａを切り出すと、図３（ｂ）に示されるような画像がディスプレイに表示され、図３（ａ）に示される光線空間１０３から断面１０３ｂを切り出すと、図３（ｃ）に示されるような画像がディスプレイに表示される。また、光線空間１０３に配列された画像（断面１０３_１〜１０３_５）の間にはデータがないため、これを補間によって作る。なお、補間は、光線空間の全体についてではなく、必要な部分についてのみ行う場合もある。

図４は、送信側システム２１０と受信側システム２３０とから構成される従来の画像情報処理システムの構成及び動作を示す図である。図４に示されるように、送信側システム２１０は、被写体１０１を複数のカメラ２１１ａで撮影することによって複数のカメラ画像２１０ａを取得する画像取得部２１１と、取得された複数のカメラ画像２１０ａを補正する補正部２１２と、補正されたカメラ画像２１０ｂを符号化する符号化部（エンコーダ）２１３と、符号化されたカメラ画像２１０ｃとカメラパラメータをインターネットなどの伝送手段２２０を介して送信する送信部２１４とを有している。また、受信側システム２３０は、送信側システム２１０から送信されたカメラ画像２１０ｃとカメラパラメータを受信する受信部２３１と、受信されたカメラ画像２１０ｃを復号化する復号化部（デコーダ）２３２と、復号化されたカメラ画像２３０ａを用いて光線空間２３０ｂを生成する画像生成（Ｖｉｅｗ Ｇｅｎｅｒａｔｉｏｎ）部２３３と、光線空間２３０ｂから表示画像を切り出す抽出部２３４と、切り出された表示画像２３０ｃを表示する表示部２３５と有している。

図５（ａ）〜（ｃ）は、従来の画像情報処理システム又は３Ｄサービスシステムの具体例を示すブロック図である。図５（ａ）に示されるインターネットを用いたダウンロード／パッケージサービスにおいては、送信側システムのデジタルアーカイブス２４１を伝送／パッケージ手段２４２を介して受信側の複数のユーザのシステムに送信し、各ユーザのシステムがデコーダ２４３による復号化、画像生成部２４４による光線空間の生成、及び表示部２４５による自由視点画像（２Ｄ画像又は３Ｄ画像）の表示を行う。ダウンロード／パッケージサービスにおいては、リアルタイム性はあまり要求されない。図５（ｂ）に示される放送サービスにおいては、送信側の画像取得部２５１でカメラ画像を取得し、補正部２５２でカメラ画像を補正し、エンコーダ２５３で符号化した画像を伝送手段２５４によって伝送し、受信側の複数のユーザのシステムにおいて、デコーダ２５５が受信画像を復号化し、画像生成部２５６によって光線空間を生成し、自由視点画像の表示を行う。放送サービスにおいては、ダウンロード／パッケージサービスよりはリアルタイム性が要求されるが、完全なリアルタイム性までは要求されない。図５（ｃ）に示される通信サービスにおいては、画像取得部２６１又は２７１、補正部２６２又は２７２、及びエンコーダ２６３又は２７３を有する送信側システムから、伝送手段２６４を介して符号化画像を伝送し、デコーダ２６５又は２７５、画像生成部２６６又は２７６、及び表示部２６７又は２７７を有する受信側システムが復号化、画像生成、及び自由視点画像の表示を行う。通信サービスにおいては、高いリアルタイム性が要求される。

谷本正幸、「自由視点テレビ」、日本工業出版、画像ラボ、２００５年２月号、２３〜２８頁 岡慎也、ナ バンチャンプリム、藤井俊彰、谷本正幸、「自由視点テレビのための光線空間情報圧縮」、信学技報、ＣＳ２００３−１４１、７〜１２頁、２００３年１２月

図４又は図５（ａ）〜（ｃ）に示されるシステムにおいては、カメラ画像から自由視点画像を生成するための画像生成処理（図４の画像生成部２３３による処理、図５（ａ）の画像生成部２４４による処理、図５（ｂ）の画像生成部２５６による処理、図５（ｃ）の画像生成部２６６及び２７６による処理）をすべて受信側システムで行っている。自由視点画像の生成にはシーンの奥行き情報である奥行きマップ（Ｄｅｐｔｈ Ｍａｐ）の算出プロセスと、この奥行きマップを用いた光線空間の補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）プロセスが含まれる。このため、複数のカメラ画像（輝度信号）のみを受信側システムに伝送した場合には、受信側システムで複数のカメラ画像から奥行きマップを算出する必要が生じる。しかし、奥行きマップの算出処理には、非常に計算能力の高い装置が必要であり、ユーザ側機器である受信側システム２３０に、自由視点画像を生成するための高い計算能力を持たせることは、コスト面から難しいという問題がある。

このため、複数のカメラ画像から自由視点画像を生成するための処理における、奥行きマップの算出プロセス及び補間プロセスを送信側システムで行い、受信側システムは光線空間から表示画像を切り出す処理を行うシステムも考えられる。図６は、このような画像情報処理システムの構成及び動作を示す図である。図６に示されるように、送信側システム３１０は、被写体１０１を複数のカメラ３１１ａで撮影することによって複数のカメラ画像３１０ａを取得する画像取得部３１１と、撮影された複数のカメラ画像３１０ａを補正する補正部３１２と、補正されたカメラ画像３１０ｂから補間画像を生成して補間された光線空間３１０ｃを生成する画像生成部３１３と、光線空間３１０ｃの情報を符号化する符号化部３１４と、符号化された光線空間情報を伝送手段３２０を介して送信する送信部３１５とを有している。また、受信側システム３３０は、送信側システム３１０から送信された光線空間３１０ｃの情報を受信する受信部３３１と、受信された情報を復号化する復号化部３３２と、復号化された情報を用いて光線空間３１０ｃを生成する画像生成部３３２と、光線空間３１０ｃから表示画像を切り出す抽出部３３３と、抽出された表示画像３１０ｄを表示する表示部３３４と有している。

しかし、図６に示される画像情報処理システムの送信側システム３１０で光線空間を作成する場合には、受信側に存在する多数のユーザのすべての要望に対応できるようにするため、離散的にしか存在しない複数のカメラ画像の間を埋め尽くすように、極めて多くの補間画像を形成する必要がある。このため、送信側システム３１０における情報処理量が膨大になり、送信者、例えば、放送事業者、に多大なコストを強いるという問題がある。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、複数のカメラ画像に基づく任意視点の画像を生成する画像情報処理において、送信側システムにおける情報処理量を抑制でき、かつ、受信側システムとして計算能力の低い機器を使用でき、かつ、システム全体の情報処理量を低減することができる画像情報処理方法及び画像情報処理システムを提供することにある。

本発明の画像情報処理方法は、送信側システムと受信側システムとを有する画像情報処理システムにおける方法であって、前記送信側システムが、被写体を複数のカメラで撮影することによって複数のカメラ画像を取得するステップと、前記送信側システムが、撮影された前記複数のカメラ画像に対応し、前記カメラに入射する光線を出す前記被写体の部分の方向と距離を含む前記被写体の奥行き情報から構成される奥行きマップを生成するステップと、前記送信側システムが、前記カメラ画像及び前記奥行きマップを符号化するステップと、前記送信側システムが、符号化された前記カメラ画像及び前記奥行きマップを送信するステップと、前記受信側システムが、前記送信側システムから送信された前記カメラ画像及び前記奥行きマップを受信するステップと、前記受信側システムが、受信された前記カメラ画像及び前記奥行きマップを復号化するステップと、前記受信側システムが、復号化された前記カメラ画像及び前記奥行きマップを用いて、前記カメラ画像の間の補間画像を計算して、前記カメラ画像と前記補間画像とからなる光線空間情報を生成するステップと、前記受信側システムが、前記光線空間情報から表示画像を抽出して出力するステップとを有することを特徴としている。

また、本発明の画像情報処理システムは、送信側システムと受信側システムとを有する画像情報処理システムであって、前記送信側システムが、被写体を複数のカメラで撮影することによって複数のカメラ画像を取得する複数のカメラと、撮影された前記複数のカメラ画像に対応し、前記カメラに入射する光線を出す前記被写体の部分の方向と距離を含む前記被写体の奥行き情報から構成される奥行きマップを生成する奥行きサーチ部と、前記カメラ画像及び前記奥行きマップを符号化する符号化部と、符号化された前記カメラ画像及び前記奥行きマップを送信する送信部とを有し、前記受信側システムが、前記送信側システムから送信された前記カメラ画像及び前記奥行きマップを受信する受信部と、受信された前記カメラ画像及び前記奥行きマップを復号化する復号化部と、復号化された前記カメラ画像及び前記奥行きマップを用いて、前記カメラ画像の間の補間画像を計算して、前記カメラ画像と前記補間画像とからなる光線空間情報を生成する補間部と、前記光線空間情報から表示画像を抽出して出力する抽出部とを有することを特徴としている。

本発明の画像情報処理方法及び画像情報処理システムにおいては、複数のカメラ画像から各カメラに対応する奥行きマップを計算する処理を送信側システムで行い、複数のカメラ画像と複数の奥行きマップを用いて、光線空間に画像を補間する処理を受信側システムで行っている。このように、情報処理量の大きい奥行きマップの生成処理を送信側システムが行うことによって、受信側システムに要求される計算能力を低くすることができ、受信者のコスト負担を低減することができる。

また、複数のカメラ画像と複数の奥行きマップを用いて光線空間を補間する処理は、送信側システムで行う場合には、複数のカメラ画像の間の全領域について行う必要があるが、受信側システムで行う場合には、ユーザが指定した領域に関係する部分についてのみ行えばよい。したがって、本発明の画像情報処理方法及び画像情報処理システムによれば、補間処理を行う受信側システムに要求される計算能力は低く、受信者のコスト負担を大きく増加させることはない。

さらに、複数のカメラ画像と奥行きマップを用いて光線空間を補間する処理は、送信側システムで行う場合には、複数のカメラ画像の間の全領域について行う必要があるが、受信側システムで行う場合には、ユーザが指定した領域に関係する部分についてのみ行えばよい。このため、補間処理を受信側システムで行う本発明の画像情報処理方法及び画像情報処理システムによれば、画像生成処理のすべてを送信側システムで行う場合に比べ、システム全体の情報処理量を削減することができ、結果的に、計算コストを削減することができる。

《１．第１の実施形態》
〈１−１．第１の実施形態の画像情報処理システムの構成及び動作〉
図７は、送信側（ｓｅｎｄｅｒ）システム１０と受信側（ｒｅｃｅｉｖｅｒ）システム３０とから構成される本発明の第１の実施形態の画像情報処理システムの構成及び動作を示す図である。図７の画像情報処理システムは、任意の視点から見た２次元画像を表示するＦＴＶシステムであるが、三次元（３Ｄ）画像を表示する３Ｄ表示システムとすることもできる。

図７に示される画像情報処理システムは、送信側システム１０と受信側システム３０とを有するシステムである。送信側システム１０は伝送（ｔｒａｎｓｍｉｓｓｉｏｎ）手段２０を介して受信側システム３０に情報を送信する。伝送手段２０は、例えば、インターネット、放送設備、通信設備などであるが、信号を伝送できる手段であれば何であってもよい。また、伝送手段２０は、必要に応じて、情報を保持する記憶手段（ｓｔｏｒａｇｅ）を備えたものであってもよい。

図７に示されるように、送信側システム１０は、被写体１０１を複数のカメラ１１ａで撮影することによって複数のカメラ画像１０ａを取得する画像取得部１１と、撮影された複数のカメラ画像１０ａを補正する補正部１２と、補正された複数のカメラ画像１０ｂに対応する複数の奥行きマップ１０ｄを生成する奥行きサーチ部１３と、複数のカメラ画像１０ｂ及び各カメラ画像に対応する複数の奥行きマップを符号化する符号化部１４と、符号化されたカメラ画像１０ｃ、奥行きマップ１０ｄ、及び複数のカメラ１１ａに関するカメラパラメータを伝送手段２０を介して送信する送信部１５とを有している。補正部１２は、複数のカメラ１１ａが、例えば、１列に等間隔で並んでいない場合や同じ方向を向いていない場合に、カメラ画像を補正して、複数のカメラが１列に等間隔で並び且つ同じ方向を向いていると見なせるように、カメラ画像１０ａを補正する。奥行きマップ１０ｄは、カメラに入射する光線を出す被写体１０１の各部分の方向と距離を含む被写体１０１の奥行き情報から構成される。

また、図７に示されるように、受信側システム３０は、送信側システム１０から伝送手段２０を介して送信されたカメラ画像１０ｃ、奥行きマップ１０ｄ、及びカメラパラメータを受信する受信部３１と、受信されたカメラ画像１０ｃ及び奥行きマップ１０ｄを復号化する復号化部３２と、復号化されたカメラ画像１０ｅ、奥行きマップ１０ｆ、及びカメラパラメータを用いて、カメラ画像の間の補間画像を計算して、カメラ画像からなる光線空間に補間画像を補間する補間部３３と、補間後の光線空間１０ｇから表示画像を切り出す抽出部３４と、切り出された表示画像１０ｈを１台又は複数台のディスプレイに表示する表示部３５と有している。

＜本発明の画像情報処理システムの動作（本発明の画像情報処理方法）＞
本発明の第１の実施形態においては、図７に示されるように、送信側システム１０は、被写体１０１を複数のカメラ１１ａで撮影することによって複数のカメラ画像１０ａを取得し、撮影された複数のカメラ画像１０ａを必要に応じて補正し、複数のカメラ画像１０ｂに対応する複数の奥行きマップを生成し、複数のカメラ画像１０ｂ及び複数の奥行きマップを符号化し、カメラ画像１０ｃ、奥行きマップ１０ｄ、及びカメラパラメータを伝送手段２０を介して送信する。

また、図７に示されるように、受信側システム３０は、送信側システム１０から伝送手段２０を介して送信されたカメラ画像１０ｃ、奥行きマップ１０ｄ、及びカメラパラメータを受信し、受信されたカメラ画像１０ｃ及び奥行きマップ１０ｄを復号化し、復号化されたカメラ画像１０ｅ、奥行きマップ１０ｆ、及びカメラパラメータを用いて、カメラ画像の間の補間画像を計算して、カメラ画像からなる光線空間に補間画像を補間し、補間後の光線空間１０ｇから表示画像を切り出し、切り出された表示画像１０ｈを表示する。

図８は、本発明の第１の実施形態の画像情報処理システム（図７）及び従来の画像情報処理システム（図４、図６）における送信側システムから送信される情報を示す図である。図４に示される従来の画像情報処理システム（比較例）の場合には、送信側システム２１０から送信される画像はカメラパラメータと複数のカメラ画像２１０ｃである。図６に示される従来の画像情報処理システム（比較例）の場合には、送信側システム３１０から送信される画像は光線空間情報３１０ｃである。これに対し、図７に示される本発明の画像情報処理システムにおいては、送信側システム１０から送信される画像はカメラパラメータと複数のカメラ画像１０ｃと各カメラの奥行きマップ１０ｄである。

図９は、本発明の第１の実施形態の画像情報処理システム（図７）における複数のカメラ画像と複数の奥行きマップを示す図である。図９において、Ｎは正の整数であり、ｋはＮ以下の正の整数である。図９において、１、２、…、ｋ−１、ｋ、ｋ＋１、…、Ｎは、画像取得部（図７の符号１１）の複数のカメラのカメラ番号である。また、Ｉ_１、Ｉ_２、…、Ｉ_ｋ−１、Ｉ_ｋ、Ｉ_ｋ＋１、…、Ｉ_Ｎは、複数のカメラ画像を示し、Ｄ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎは、各カメラに対応する奥行きマップを示す。図９に示されるカメラ画像Ｉ_１、Ｉ_２、…、Ｉ_ｋ−１、Ｉ_ｋ、Ｉ_ｋ＋１、…、Ｉ_Ｎのそれぞれは１枚の画像で（例えば、長方形）あるが、図９においては、カメラ画像を図９が描かれた紙面に垂直に並べている場合を示している。また、図９に示される奥行きマップＤ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎのそれぞれは、カメラ画像と同様に１枚の画像（例えば、長方形）として表すことができるが、図９においては、奥行きマップを図９が描かれた紙面に垂直に並べている場合を示している。

図１０は、１枚の奥行きマップを明るさの違いで表示した例を示す図である。図１０において、明るい部分（白い部分）は近い部分であり、暗く（黒く）なるほど遠い部分を示す。送信側システム１０から送信されるカメラ画像Ｉ_１、Ｉ_２、…、Ｉ_ｋ−１、Ｉ_ｋ、Ｉ_ｋ＋１、…、Ｉ_ＮがＮ枚である場合には、送信側システム１０から送信される奥行きマップＤ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_ＮもＮ枚となる。

図１１は、図４に示される従来の画像情報処理システム（比較例）の送信側システム２１０及び受信側システム２３０における情報処理プロセスを示す図である。図１１において、１、２、…、ｋ−１、ｋ、ｋ＋１、…、Ｎは、画像取得部（図４の符号２１１）の複数のカメラのカメラ番号である。また、Ｉ_１、Ｉ_２、…、Ｉ_ｋ−１、Ｉ_ｋ、Ｉ_ｋ＋１、…、Ｉ_Ｎは、複数のカメラ画像を示し、Ｄ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎは、各カメラに対応する奥行きマップを示す。図１１に示されるカメラ画像及び奥行きマップのそれぞれは、カメラ画像と同様に１枚の画像（例えば、長方形）として表すことができるが、図１１においては、奥行きマップを図１１が描かれた紙面に垂直に並べている場合を示している。図１１に示されるように、図４に示される画像情報処理システム（比較例）においては、奥行きサーチ、及び奥行きマップＤ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎの生成を、受信側システム２３０が行っている。

図１２は、図６に示される従来の画像情報処理システム（比較例）の送信側システム３１０及び受信側システム３３０における情報処理プロセスを示す図である。図１２において、１、２、…、ｋ−１、ｋ、ｋ＋１、…、Ｎは、画像取得部（図６の符号３１１）の複数のカメラのカメラ番号である。また、Ｉ_１、Ｉ_２、…、Ｉ_ｋ−１、Ｉ_ｋ、Ｉ_ｋ＋１、…、Ｉ_Ｎは、複数のカメラ画像を示し、Ｄ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎは、各カメラに対応する奥行きマップを示す。図１２に示されるカメラ画像及び奥行きマップのそれぞれは、カメラ画像と同様に１枚の画像として表すことができるが、図１２においては、奥行きマップを図１２が描かれた紙面に垂直に並べている場合を示している。図１２に示されるように、図６に示される画像情報処理システム（比較例）においては、奥行きサーチ、及び奥行きマップＤ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎの生成、光線空間の生成を送信側システム３１０が行っている。

図１３は、本発明の第１の実施形態の画像情報処理システムの送信側システム１０及び受信側システム３０における情報処理プロセスを示す図である。図１３において、１、２、…、ｋ−１、ｋ、ｋ＋１、…、Ｎは、画像取得部（図７の符号１１）の複数のカメラのカメラ番号である。また、Ｉ_１、Ｉ_２、…、Ｉ_ｋ−１、Ｉ_ｋ、Ｉ_ｋ＋１、…、Ｉ_Ｎは、複数のカメラ画像を示し、Ｄ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎは、各カメラに対応する奥行きマップを示す。図１３に示されるカメラ画像及び奥行きマップのそれぞれは、カメラ画像と同様に１枚の画像（例えば、長方形）として表すことができるが、図１３においては、奥行きマップを図１３が描かれた紙面に垂直に並べている場合を示している。図１３に示されるように、本発明の第１の実施形態の画像情報処理システムにおいては、奥行きサーチ、及び奥行きマップＤ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎの生成を送信側システム１０が行い、補間画像の生成及び補間された光線空間からの表示画像の切り出しを受信側システム３０が行っている。

〈１−２．画像生成処理〉
図１４は、実際のカメラで取得されたカメラ画像から任意視点の画像を生成するプロセスを示す図である。図１４において、４０１〜４０５は、直線上に１列に同じ方向を向けて配列したカメラであり、４１１は、実際には存在しない仮想カメラ（ユーザーが指定して視点位置）である。カメラ４０１〜４０５は、カメラ４０１〜４０５を通る光線を撮影するが、隣り合うカメラ間を通る光線は撮影していない。そこで、ユーザが見たいところ、すなわち、隣り合うカメラ間に仮想カメラ４１１を置く。実際のカメラ（図１４においては、カメラ４０２、４０３）を通る光線から、補間して仮想カメラ４１１を通る光線を作る。しかし、カメラ４０１〜４０５を通る光線はどの方向から来た光線であるかはわかるが、どの位置から来た光線かは、わからない。そこで、例えば、図１４に示されるカメラ４０２と４０３を用いて、被写体４１２の奥行きをサーチする。この奥行きサーチに際しては、物体表面のある点からの光はどの方向にも同じ強度であるということ（ランベルト反射）を前提とすると、カメラ４０２の撮影点（被写体上の部分）とカメラ４０３の撮影点（被写体上の部分）の輝度がマッチングする位置を探し、マッチングした位置を物体の表面と推定する。このとき、カメラ４０２とカメラ４０３の間隔は既知であり、マッチング位置からの光線がカメラ４０２に入射する角度とマッチング位置からの光線がカメラ４０３に入射する角度も判るので、マッチング位置までの距離を計算することができる。このようにして物体の奥行きを推定できた後に、仮想カメラ４１１から見た画像を推定して補間画像を生成する。

図１５は、奥行きと視差との関係を示す図である。光線空間における補間画像は、生成すべきカメラ位置でのシーンの奥行きを求めることができれば、生成可能となる。ここで、奥行きと視差との幾何学的な関係を説明する。簡単のために高さ方向を考慮しない２次元平面で考える。左右のカメラをカメラ（ｃａｍｅｒａ）Ｌとカメラ（ｃａｍｅｒａ）Ｒとする。光線源Ｍの奥行きをＤと仮定する。このとき、この光線源Ｍが放つ光線は、左右のカメラＬとカメラＲのそれぞれの点Ｖ_Ｌ及び点Ｖ_Ｒに入射する。同一の光線源Ｍが放つ光線を、異なるカメラがとらえた点（この場合は、Ｖ_Ｌ，Ｖ_Ｒ）を対応点と呼ぶ。また、カメラＬとカメラＲ間の対応点Ｖ_Ｌ，Ｖ_Ｒの差を視差と呼び、ｄと記述する。

奥行きＤと視差ｄの関係を求める。図１５において、カメラの焦点距離をｆ、左右のカメラ間距離をＪ、光線源をＭとし、光線源ＭからカメラＬまでのＸ座標の距離をｍとしたとき、幾何関係から、図１５中のｄ_１及びｄ_２は以下のように求めことができる。
ｄ_１＝ｆ・（Ｊ−ｍ）／Ｄ
ｄ_２＝ｆ・ｍ／Ｄ
視差ｄは、ｄ_１＋ｄ_２で与えられるため、
ｄ＝ｄ_１＋ｄ_２＝ｆ・（Ｊ−ｍ）／Ｄ＋ｆ・ｍ／Ｄ＝ｆ・Ｊ／Ｄ
となる。カメラＬから光線源Ｍまでの距離Ｄ_Ｌは
Ｄ_Ｌ＝Ｄ／ｃｏｓθ
カメラＬから見たときの、視差ｄと距離Ｄ_Ｌの関係は、
ｄ＝（ｆ・Ｊ・ｃｏｓθ）／Ｄ_Ｌ
となる。つまり、視差ｄは、カメラ間隔Ｊに比例し、カメラＬから見たときの光線源Ｍの奥行きＤ_Ｌに反比例したものとなる。本発明の奥行き推定法は、補間するカメラ位置での奥行き推定となる。したがって、情報の無い状態から、周辺画像情報のみを利用して奥行き推定を行い、補間画像を生成することになる。この奥行き推定法によれば、作り出す視点での奥行きを求めることで、より正確に補間画像を生成できる。このような奥行きＤ_Ｌと視差ｄの関係から、左右の画像間で視差ｄを変化させることは、光線源の奥行きＤ_Ｌを変化させたことと等価であるとわかる。つまり、視差ｄを様々に変化させることで、画像間での対応点を探し出し、求められた視差情報を基に、光線源が推定され、補間すべき画素値が特定される。

〈１−３．オクルージョンを考慮した奥行きマップ生成方法〉
図１６は、オクルージョン（ｏｃｃｕｌｕｓｉｏｎ）が存在するときの奥行きサーチの方法を示す図である。図１６において、物体４２１の表面の点４２１ａは、カメラ位置ｋ及びカメラ位置ｋ＋１の両方が見える位置である。したがって、仮想カメラ位置である視点４３１から点４２１ａを見たときの奥行き推定は、視点ｋからの画像情報と視点ｋ＋１からの画像情報とを用いて行うことができる。しかし、後方にある物体４２２の表面の点４２２ａは、カメラ位置ｋ＋１からは見えるが、物体４２１の陰になってカメラ位置ｋからは見えない。このように一方のカメラ視点から見えるが他方のカメラ視点から見えないことをハーフオクルージョン（ｈａｌｆ ｏｃｃｕｌｕｓｉｏｎ）と言う。また、両方のカメラ位置から見えないことをフルオクルージョン（ｆｕｌｌ ｏｃｃｕｌｕｓｉｏｎ）と言う。

図１７は、物体４２２についてカメラ位置ｋ及びカメラ位置ｋ＋１から見たときの、ハーフオクルージョンの範囲とフルオクルージョンの範囲を示す図である。図１７に示されるように、物体４２２の範囲４４０は、いずれのカメラ位置ｋ及びカメラ位置ｋ＋１からも見える範囲であり、物体４２２の範囲４４１及び４４３は、カメラ視点ｋ＋１からは見えるがカメラ視点ｋからは見えないハーフオクルージョンの範囲であり、物体４２２の範囲４４２は、カメラ視点ｋ及びカメラ位置ｋ＋１のいずれからも見えないフルオクルージョンの範囲である。

図１８は、本発明の第１の実施形態における奥行きマップの計算方法を示す図である。図１８において、最上段の１、２、…、Ｎは、画像取得部（図７の符号１１）の複数のカメラのカメラ番号である。また、Ｉ_１、Ｉ_２、…、Ｉ_Ｎは、複数のカメラ画像を示し、中段付近の１、２、…、Ｎ−１はカメラ画像の対（ｐａｉｒ）を示している。カメラ画像の１つの対に含まれる２本の線のうち太線は、カメラの対の内の左側のカメラに基づく奥行きマップを示し、細線は右側のカメラに基づく奥行きマップを示す。

図１９は、本発明における視差の計算方法を示す図である。図１９において、Ｉ_ｋとＩ_ｋ＋１は、カメラ画像の対（ｐａｉｒ）を示し、Ｉ_ｋはカメラの対の内の左側のカメラのカメラ画像を示し、Ｉ_ｋ＋１は右側のカメラのカメラ画像を示す。また、図１９において、５００は、カメラ画像Ｉ_ｋとカメラ画像Ｉ_ｋ＋１の視差を示す図である。

図１９に示されるように、先ず、左側のカメラで撮影した画像Ｉ_ｋの中の部分５０１_ｋと同じと見なすことができる（又は類似する）輝度及び形状の部分を、右側のカメラで撮影したカメラ画像Ｉ_ｋ＋１の中から検出する。この処理によって検出されたカメラ画像Ｉ_ｋ＋１の部分を５０１_ｋ＋１とし、視差図５００内に示されるように、そのときの視差をＲ_ｋとする。ここで、同じと見なすことができる（又は類似する）とは、輝度値の差分値が所定範囲内であるという意味である。

次に、右側のカメラで撮影した画像Ｉ_ｋの中の検出された部分５０１_ｋ＋１と同じと見なすことができる（又は類似する）輝度及び形状の部分を、左側のカメラで撮影したカメラ画像Ｉ_ｋの中から検出する。この処理によって検出されたカメラ画像Ｉ_ｋの部分は５０１_ｋとなっており、視差図５００内に示されるように、そのときの視差をＬ_ｋとする。

したがって、左側のカメラで撮影した画像Ｉ_ｋの中の部分５０１_ｋを基準としたときの右側のカメラで撮影した画像Ｉ_ｋ＋１の中の検出部分（対応部分）は、部分５０１_ｋ＋１であり、且つ、右側のカメラで撮影した画像Ｉ_ｋ＋１の中の部分５０１_ｋ＋１を基準としたときの左側のカメラで撮影した画像Ｉ_ｋの中の検出部分（対応部分）は、部分５０１_ｋである。したがって、部分５０１_ｋと部分５０１_ｋ＋１についてはＬ_ｋ＝Ｒ_ｋである。この場合、奥行きは、２つのカメラ画像に基づいて、計算することができ、この場合は奥行きの信頼度（ｒｅｌｉａｂｉｌｉｔｙ）が高いと言うことができる。

次に、別の例を説明する。図１９に示されるように、左側のカメラで撮影した画像Ｉ_ｋの中の部分５０２_ｋと同じと見なすことができる（又は類似する）輝度及び形状の部分を、右側のカメラで撮影したカメラ画像Ｉ_ｋ＋１の中から検出する。この処理によって検出されたカメラ画像Ｉ_ｋ＋１の部分を５０２_ｋ＋１とし、視差図５００内に示されるように、そのときの視差をＲ_ｋとする。

次に、右側のカメラで撮影した画像Ｉ_ｋ＋１の中の部分５０２_ｋ＋１と同じと見なすことができる（又は類似する）輝度及び形状の部分を、左側のカメラで撮影したカメラ画像Ｉ_ｋの中から検出する。この処理によって検出されたカメラ画像Ｉ_ｋの部分は５０３_ｋとなり、部分５０２_ｋとは異なる位置になっている。視差図５００内に示されるように、そのときの視差をＬ_ｋとする。

したがって、左側のカメラで撮影した画像Ｉ_ｋの中の部分５０２_ｋを基準としたときの右側のカメラで撮影した画像Ｉ_ｋ＋１の中の検出部分は、部分５０２_ｋ＋１であり、且つ、右側のカメラで撮影した画像Ｉ_ｋ＋１の中の部分５０２_ｋ＋１を基準としたときの左側のカメラで撮影した画像Ｉ_ｋの中の検出部分は、部分５０３_ｋである。したがって、部分５０１_ｋ＋１についてはＬ_ｋ≠Ｒ_ｋである。このような状況は、オクルージョンが存在する箇所に生じることが多く、奥行きは、１台又は０台のカメラ画像に基づく結果であり、信頼度（ｒｅｌｉａｂｉｌｉｔｙ）が低いと言うことができる。

図２０は、視点ｋにおける奥行きＤ_ｋの決定方法を示す図である。図２０に示されるように、まず、隣接するカメラからのカメラ画像Ｉ_ｋ―１、Ｉ_ｋの対について、図１９に示される視差の計算を行い、左側のカメラ画像Ｉ_ｋ―１の部分を基準として右側のカメラ画像Ｉ_ｋの類似部分を検出したときの視差Ｌ_ｋ−１と右側のカメラ画像Ｉ_ｋの部分を基準として左側のカメラ画像Ｉ_ｋ―１の類似部分を検出したときの視差Ｒ_ｋ−１から、奥行きＤ_ｋ−とその信頼性を計算する。

次に、隣接するカメラからのカメラ画像Ｉ_ｋ、Ｉ_ｋ＋１の対について、図１９に示される視差の計算を行い、左側のカメラ画像Ｉ_ｋの部分を基準として右側のカメラ画像Ｉ_ｋ＋１の類似部分を検出したときの視差Ｌ_ｋと右側のカメラ画像Ｉ_ｋ＋１の部分を基準として左側のカメラ画像Ｉ_ｋの類似部分を検出したときの視差Ｒ_ｋから、奥行きＤ_ｋ＋とその信頼性を計算する。

次に、Ｌ_ｋ−１＝Ｒ_ｋ−１又はＬ_ｋ＝Ｒ_ｋであれば、信頼性は高く、それ以外では信頼性は低い。したがって、得られた信頼性を考慮にいれて、奥行きＤ_ｋ＋とＤ_ｋ−から奥行きＤ_ｋを計算する。

例えば、Ｌ_ｋ−１＝Ｒ_ｋ−１且つＬ_ｋ≠Ｒ_ｋであれば、ハーフオクルージョンがあると判定し、奥行きＤ_ｋ−を奥行きＤ_ｋとする。また、例えば、Ｌ_ｋ−１≠Ｒ_ｋ−１且つＬ_ｋ＝Ｒ_ｋであれば、ハーフオクルージョンがあると判定し、奥行きＤ_ｋ＋を奥行きＤ_ｋとする。また、例えば、Ｌ_ｋ−１＝Ｒ_ｋ−１且つＬ_ｋ＝Ｒ_ｋであれば、オクルージョンは無いと判定し、奥行きＤ_ｋ−と奥行きＤ_ｋ＋の平均値を奥行きＤ_ｋとする。また、例えば、Ｌ_ｋ−１≠Ｒ_ｋ−１且つＬ_ｋ≠Ｒ_ｋであれば、フルオクルージョンがあると判定し、奥行きＤ_ｋとして、別な方法で得た値（例えば、隣接部分の奥行きに基づく値）、又は、予め決められ値などを用いる。なお、Ｄ_ｋ＋の決定方法は、上記例に限定されない。

また、Ｌ_ｋ−１≠Ｒ_ｋ−１、又は、Ｌ_ｋ≠Ｒ_ｋが生じる範囲は、オクルージョンが存在する範囲であり、例えば、図２１にハッチングで示す領域である。図２１において、クロスハッチングの領域は、右側のカメラからは見えるが左側のカメラからは見えないハーフオクルージョンの範囲であり、ハッチングの領域は、左側のカメラからは見えるが右側のカメラからは見えないハーフオクルージョンの範囲である。このように、検出された視差Ｌ_ｋ−１とＲ_ｋ−１の一致又は不一致、視差Ｌ_ｋとＲ_ｋの一致又は不一致に基づいて、すなわち、奥行きの一致又は不一致に基づいて、オクルージョンの有無を判定し、光線が届く側のカメラ画像の対に基づく片側補間を行っているので、ハーフオクルージョンの存在による、奥行きＤ_ｋの誤差を小さくすることができ、結果的に、生成された画像の品質を向上させることができる。

〈１−４．第１の実施形態の効果〉
以上に説明したように、第１の実施形態の画像情報処理方法及び画像情報処理システムにおいては、複数のカメラ画像Ｉ_１、Ｉ_２、…、Ｉ_Ｎから各カメラに対応する奥行きマップＤ_１、Ｄ_２、…、Ｄ_Ｎを計算する処理を送信側システム１０で行い、複数のカメラ画像Ｉ_１、Ｉ_２、…、Ｉ_Ｎと複数の奥行きマップＤ_１、Ｄ_２、…、Ｄ_Ｎを用いて、光線空間に画像を補間する処理を受信側システム３０で行っている。このように、情報処理量の大きい奥行きマップＤ_１、Ｄ_２、…、Ｄ_Ｎの生成という処理を送信側システム１０が行うことによって、ユーザ側である受信側システム３０に要求される計算能力は高くなくてもよく、ユーザのコスト負担を低減することができる。

また、複数のカメラ画像Ｉ_１、Ｉ_２、…、Ｉ_Ｎと複数の奥行きマップＤ_１、Ｄ_２、…、Ｄ_Ｎを用いて光線空間を補間する処理は、送信側システム１０で行う場合には、複数のカメラ画像Ｉ_１、Ｉ_２、…、Ｉ_Ｎの間の全領域について行う必要があるが、受信側システム３０で行う場合には、ユーザが指定した領域に関係する部分についてのみ行えばよい。したがって、第１の実施形態の画像情報処理方法及び画像情報処理システムによれば、補間処理を行う受信側システム３０に要求される計算能力は高くなくてもよく、ユーザのコスト負担を増加させることはない。

さらに、複数のカメラ画像Ｉ_１、Ｉ_２、…、Ｉ_Ｎと複数の奥行きマップＤ_１、Ｄ_２、…、Ｄ_Ｎを用いて光線空間を補間する処理は、送信側システム１０で行う場合には、複数のカメラ画像Ｉ_１、Ｉ_２、…、Ｉ_Ｎの間の全領域について行う必要があるが、受信側システム３０で行う場合には、ユーザが指定した領域に関係する部分についてのみ行えばよい。このため、補間処理を受信側システム３０で行う第１の実施形態の画像情報処理方法及び画像情報処理システムによれば、画像生成処理のすべてを送信側システム１０で行う場合に比べ、システム全体の情報処理量を削減することができ、結果的に、計算コストを削減することができる。

《２．第２の実施形態》
〈２−１．第２の実施形態の画像情報処理システムの構成及び動作〉
図２２は、本発明の第２の実施形態の画像情報処理システムであるＦＴＶシステムの構成及び動作を示す図である。図２２において、図７（第１の実施形態）の構成と同一又は対応する構成には同じ符号を付す。第２の実施形態の画像情報処理システムにおいては、図７に示される第１の実施形態の画像情報処理システムとは異なり、送信側システム１０は、実測による奥行き情報、オクルージョン範囲を示すオクルージョン情報、被写体が鏡面反射する範囲などを示す鏡面反射情報等の追加情報を、カメラ画像１０ｃ、奥行きマップ１０ｄ、カメラパラメータに追加して、受信側システム３０に送信している。

図７に示される第１の実施形態の画像情報処理システムにおいては、受信側システム３０において、送信側システム１０から送信された複数のカメラ画像、複数の奥行きマップ、及びカメラパラメータを用いて、補間画像を生成している。しかし、例えば、被写体１０１の表面で鏡面反射が生じる場合、オクルージョンが生じる場合、被写体の表面が周期的構造を持っている場合、被写体の表面が模様のない構造（平板、白板、曲面）である場合などには、図１９に示されるマッチング判定が不正確になり、奥行きを正確に推定できないことがある。ここで、鏡面反射とは、図２３（ａ）に示されるランベルト反射とは異なり、図２３（ｂ）に示されるように楕円状の反射光強度分布を持つ反射である。

そこで、第２の実施形態の画像情報処理システムにおいては、送信側システム１０が、図示しない別の手段で被写体の奥行きを測定し、又は、鏡面反射の範囲を測定し、又は、オクルージョンの生じる範囲を測定して、測定結果を追加情報Ｅをして受信側システム３０に送信する。ここで、被写体の奥行き、鏡面反射の範囲、オクルージョンの有無は、例えば、被写体に光線を照射して反射光線の有無、反射光線の方向、反射光線の強度分布などを検出するなど、既知の装置によって取得することができる。なお、通常の補間では仮想カメラに近い２台のカメラから線形補間等を用いて補間画像を生成するが、鏡面反射の場合は、指向性が高いため線形補間では、その反射強度が適切に近似できない場合がある。このため、２台のカメラのみでなく、３台以上の多数のカメラ画像を用いて補間することによって、反射強度の適切な近似が可能になる。

〈２−２．第２の実施形態の効果〉
以上に説明したように、第２の実施形態の画像情報処理方法及び画像情報処理システムにおいては、カメラ画像、奥行き情報に加えて、送信側でしか知り得ない情報である追加情報Ｅを受信側システム３０に送信しているので、第１の実施形態の画像情報処理方法及び画像情報処理システムよりも、奥行き誤差を小さくすることができ、結果的に、品質の高い画像を生成できる。

なお、第２の実施形態において、上記以外の点は、上記第１の実施形態の場合と同じである。

ＦＴＶシステムの基本的な構成を概念的に示す図である。 （ａ）は実空間上における物体、直線配置されたカメラ、基準面、及び光線を示す図であり、（ｂ）は光線空間を示す図である。 （ａ）は光線空間を示す図であり、（ｂ）は光線空間から切り出された画像を示す図であり、（ｃ）は光線空間から切り出された他の画像を示す図である。 従来のＦＴＶシステムの構成及び動作を示す図である。 （ａ）〜（ｃ）は、従来のＦＴＶ／３Ｄサービスの具体例を示すブロック図である。 従来の他のＦＴＶシステムの構成及び動作を示す図である。 本発明の第１の実施形態の画像情報処理システムの構成及び動作を示す図である。 本発明及び従来の画像情報処理システムの送信側システムから送信される情報を示す図である。 画像情報処理システムにおいて用いられる複数の画像情報と複数の奥行きマップ情報を概念的に示す図である。 １枚の奥行きマップを明るさの違いで表示した例を示す図である。本発明における奥行きマップの一例を示す図である。 図４に示される従来の画像情報処理システムの送信側システム及び受信側システムにおける画像生成のプロセスを示す図である。 図６に示される従来の画像情報処理システムの送信側システム及び受信側システムにおける画像生成のプロセスを示す図である。 図７に示される本発明の第１の実施形態の画像情報処理システムの送信側システム及び受信側システムにおける画像生成のプロセスを示す図である。 実際のカメラ画像から任意視点（仮想カメラ）の画像を生成するプロセスを示す図である。 奥行きと視差の幾何関係を示す図である。 本発明における奥行きサーチの方法を示す図である。 ハーフオクルージョン及びフルオクルージョンを示す図である。 本発明における奥行きマップの計算方法を示す図である。 本発明における視差の計算方法を示す図である。 本発明における奥行きの決定方法を示す図である。 オクルージョンの箇所を示した図である。 本発明の第２の実施形態の画像情報処理システムの構成及び動作を示す図である。 （ａ）は、ランベルト反射を示し、（ｂ）は鏡面反射を示す。

符号の説明

１０ 送信側システム、
１０ａ カメラ画像（補正前）、
１０ｂ カメラ画像（補正後）、
１０ｃ カメラ画像（符号化後）、
１０ｄ 奥行きマップ（符号化後）、
１０ｅ カメラ画像（復号化後）、
１０ｆ 奥行きマップ（復号化後）、
１０ｇ 光線空間、
１０ｈ 切り出された画像、
１１ 画像取得部、
１１ａ カメラ、
１２ 補正部、
１３ 奥行きサーチ部、
１４ 符号化部、
１５ 送信部、
２０ 伝送手段、
３０ 受信側システム、
３１ 受信部、
３２ 復号化部、
３３ 補間部、
３４ 抽出部、
３５ 表示部、
１０１ 被写体、
Ｉ_１、Ｉ_２、…、Ｉ_ｋ−１、Ｉ_ｋ、Ｉ_ｋ＋１、…、Ｉ_Ｎ カメラ画像、
Ｄ_１、Ｄ_２、…、Ｄ_ｋ−１、Ｄ_ｋ、Ｄ_ｋ＋１、…、Ｄ_Ｎ 奥行きマップ、
Ｅ 追加情報。

Claims (18)

1. 送信側システムと受信側システムとを有する画像情報処理システムにおける画像情報処理方法であって、
   前記送信側システムが、被写体を複数のカメラで撮影することによって複数のカメラ画像を取得するステップと、
   前記送信側システムが、撮影された前記複数のカメラ画像に対応し、前記カメラに入射する光線を出す前記被写体の部分の方向と距離を含む前記被写体の奥行き情報から構成される奥行きマップを生成するステップと、
   前記送信側システムが、前記カメラ画像及び前記奥行きマップを符号化するステップと、
   前記送信側システムが、符号化された前記カメラ画像及び前記奥行きマップを送信するステップと、
   前記受信側システムが、前記送信側システムから送信された前記カメラ画像及び前記奥行きマップを受信するステップと、
   前記受信側システムが、受信された前記カメラ画像及び前記奥行きマップを復号化するステップと、
   前記受信側システムが、復号化された前記カメラ画像及び前記奥行きマップを用いて、前記カメラ画像の間の補間画像を計算して、前記カメラ画像と前記補間画像とからなる光線空間情報を生成するステップと、
   前記受信側システムが、前記光線空間情報から表示画像を抽出して出力するステップと
   を有することを特徴とする画像情報処理方法。
2. 前記表示画像は、カメラが存在しない任意の位置から見た１又は複数の２次元画像であることを特徴とする請求項１に記載の画像情報処理方法。
3. 前記表示画像は、カメラが存在しない任意の位置から見た３次元画像であることを特徴とする請求項１に記載の画像情報処理方法。
4. 前記奥行きマップを生成するステップは、
   ｋを前記複数のカメラの台数以下の正の整数としたときに、
   前記複数のカメラのうちのｋ番目のカメラで撮影された第ｋのカメラ画像に含まれる被写体の部分の画像情報と、前記複数のカメラのうちのｋ＋１番目のカメラで撮影された第ｋ＋１のカメラ画像に含まれる被写体の部分の画像情報とのマッチング判定の結果と、
   前記複数のカメラのうちのｋ番目のカメラで撮影された第ｋのカメラ画像に含まれる被写体の部分の画像情報と、前記複数のカメラのうちのｋ−１番目のカメラで撮影された第ｋ−１のカメラ画像に含まれる被写体の部分の画像情報とのマッチング判定の結果と
   に基づいて、第ｋのカメラ画像に含まれる被写体の前記部分の奥行きを決定するステップを含む
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像情報処理方法。
5. 前記奥行きマップを生成するステップにおける前記マッチング判定において、
   前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされ、かつ、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされたときには、
   前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報と、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報とから、前記第ｋのカメラ画像に含まれる被写体の前記部分の奥行きを決定する
   ことを特徴とする請求項４に記載の画像情報処理方法。
6. 前記奥行きマップを生成するステップにおける前記マッチング判定において、
   前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされ、かつ、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報が一致しないという判定がなされたときには、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報から、前記第ｋのカメラ画像に含まれる被写体の前記部分の奥行きを決定し、
   前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報が一致しないという判定がなされ、かつ、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされたときには、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報から、前記第ｋのカメラ画像に含まれる被写体の前記部分の奥行きを決定する
   ことを特徴とする請求項４に記載の画像情報処理方法。
7. 前記送信側システムが、前記複数のカメラのそれぞれから見た被写体の奥行きの実測値を測定し、前記実測値に基づく実測奥行き情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項１から６までのいずれか１項に記載の画像情報処理方法。
8. 前記送信側システムが、前記複数のカメラのそれぞれについて、撮影できる範囲を求め、前記撮影できる範囲以外のオクルージョン範囲を示すオクルージョン情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項１から７までのいずれか１項に記載の画像情報処理方法。
9. 前記送信側システムが、前記複数のカメラのそれぞれについて、被写体の表面が鏡面反射する範囲を求め、前記鏡面反射する範囲を示す鏡面反射情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項１から８までのいずれか１項に記載の画像情報処理方法。
10. 送信側システムと受信側システムとを有する画像情報処理システムであって、
    前記送信側システムが、
    被写体を複数のカメラで撮影することによって複数のカメラ画像を取得する複数のカメラと、
    撮影された前記複数のカメラ画像に対応し、前記カメラに入射する光線を出す前記被写体の部分の方向と距離を含む前記被写体の奥行き情報から構成される奥行きマップを生成する奥行きサーチ部と、
    前記カメラ画像及び前記奥行きマップを符号化する符号化部と、
    符号化された前記カメラ画像及び前記奥行きマップを送信する送信部とを有し、
    前記受信側システムが、
    前記送信側システムから送信された前記カメラ画像及び前記奥行きマップを受信する受信部と、
    受信された前記カメラ画像及び前記奥行きマップを復号化する復号化部と、
    復号化された前記カメラ画像及び前記奥行きマップを用いて、前記カメラ画像の間の補間画像を計算して、前記カメラ画像と前記補間画像とからなる光線空間情報を生成する補間部と、
    前記光線空間情報から表示画像を抽出して出力する抽出部とを有する
    ことを特徴とする画像情報処理システム。
11. 前記表示画像は、前記カメラが存在しない任意の位置から見た１又は複数の２次元画像であることを特徴とする請求項１０に記載の画像情報処理システム。
12. 前記表示画像は、前記カメラが存在しない任意の位置から見た３次元画像であることを特徴とする請求項１０に記載の画像情報処理システム。
13. 前記奥行きサーチ部は、
    ｋを前記複数のカメラの台数以下の正の整数としたときに、
    前記複数のカメラのうちのｋ番目のカメラで撮影された第ｋのカメラ画像に含まれる被写体の部分の画像情報と、前記複数のカメラのうちのｋ＋１番目のカメラで撮影された第ｋ＋１のカメラ画像に含まれる被写体の部分の画像情報とのマッチング判定の結果と、
    前記複数のカメラのうちのｋ番目のカメラで撮影された第ｋのカメラ画像に含まれる被写体の部分の画像情報と、前記複数のカメラのうちのｋ−１番目のカメラで撮影された第ｋ−１のカメラ画像に含まれる被写体の部分の画像情報とのマッチング判定の結果と
    に基づいて、第ｋのカメラ画像に含まれる被写体の前記部分の奥行きを決定する
    ことを特徴とする請求項１０から１２までのいずれか１項に記載の画像情報処理システム。
14. 前記奥行きサーチ部は、前記マッチング判定において、
    前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされ、かつ、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされたときには、
    前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報と、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報とから、前記第ｋのカメラ画像に含まれる被写体の前記部分の奥行きを決定する
    ことを特徴とする請求項１３に記載の画像情報処理システム。
15. 前記奥行きサーチ部は、前記マッチング判定において、
    前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされ、かつ、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報が一致しないという判定がなされたときには、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報から、前記第ｋのカメラ画像に含まれる被写体の前記部分の奥行きを決定し、
    前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ＋１のカメラ画像に含まれる被写体の前記部分の画像情報が一致しないという判定がなされ、かつ、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報が一致するという判定がなされたときには、前記第ｋのカメラ画像に含まれる被写体の前記部分の画像情報と前記第ｋ−１のカメラ画像に含まれる被写体の前記部分の画像情報とに基づいて計算された奥行き情報から、前記第ｋのカメラ画像に含まれる被写体の前記部分の奥行きを決定する
    ことを特徴とする請求項１４に記載の画像情報処理システム。
16. 前記送信側システムが、前記複数のカメラのそれぞれから見た被写体の奥行きの実測値を測定する距離測定手段を有し、前記実測値に基づく実測奥行き情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項１０から１５までのいずれか１項に記載の画像情報処理システム。
17. 前記送信側システムが、前記複数のカメラのそれぞれについて、撮影できる範囲を求め、前記撮影できる範囲以外のオクルージョン範囲を示すオクルージョン情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項１０から１６までのいずれか１項に記載の画像情報処理システム。
18. 前記送信側システムが、前記複数のカメラのそれぞれについて、被写体の表面が鏡面反射する範囲を求め、前記鏡面反射する範囲を示す鏡面反射情報を前記カメラ画像及び前記奥行きマップと共に送信することを特徴とする請求項１０から１７までのいずれか１項に記載の画像情報処理システム。
    

Images