JP2005174148A - 撮像装置及び方法、撮像システム - Google Patents

撮像装置及び方法、撮像システム Download PDF

Info

Publication number
JP2005174148A
JP2005174148A JP2003415740A JP2003415740A JP2005174148A JP 2005174148 A JP2005174148 A JP 2005174148A JP 2003415740 A JP2003415740 A JP 2003415740A JP 2003415740 A JP2003415740 A JP 2003415740A JP 2005174148 A JP2005174148 A JP 2005174148A
Authority
JP
Japan
Prior art keywords
image
imaging
information
light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003415740A
Other languages
English (en)
Inventor
Ikoku Go
偉国 呉
Teruyuki Ushiro
輝行 後
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003415740A priority Critical patent/JP2005174148A/ja
Publication of JP2005174148A publication Critical patent/JP2005174148A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 複数のカメラにより互いに異なる視点から撮像した画像を相対的な位置情報に応じて再構成する際に、特にカメラ間のキャリブレーションを高精度でリアルタイムに実現する。
【解決手段】 撮影対象５を互いに異なる視点から少なくとも２以上の撮像素子を介して撮像するとともに、撮影対象５を含む実空間において規則的に配置された既知のパターンからの情報光を同時に受光し、また撮像した各画像を受光した情報光に基づいて補正し、補正した各画像間において撮影対象５と関連させつつ画素位置毎に対応付けを行い、仮想的に設置される仮想カメラにおける光学中心の上記各撮像素子の光学中心に対する相対的な位置関係を示す相対位置情報を生成し、互いに対応付けした画素位置並びにその輝度成分から、生成された相対位置情報に応じて仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。
【選択図】図１

Description

本発明は、複数の視点から撮像した画像を相対的な位置情報に応じて仮想視点画像を構成する撮像装置及び方法、撮像システムに関する。
サッカー等のスポーツ中継の臨場感を高めるために、任意の視点で映像中継することができる撮像システムが近年において望まれている。即ち、スポーツ興業等を行うスタジアムにおける三次元実空間中の任意地点にカメラを設置し、試合展開に応じてそのカメラの視点を変えていくことにより、中継そのもののリアリティを向上させることができる。
しかしながら、物理的な制約により、実際に三次元空間中の任意地点にカメラを設定することや、膨大なカメラを同時に使用することは困難である。このため、任意視点から被写体を撮像したのと同様な効果を得るべく、設置された最小限のカメラにより撮像された画像に基づいて被写体の仮想視点画像を再構成する撮像システムが必要となる。特に従来において、モデルベースの手法や映像ベースの手法による仮想視点画像生成技術を用いた撮像システムが提案されている（例えば、非特許文献１〜４参照。）。
ところで、上述の如き複数のカメラを用いることにより違和感のない仮想視点画像を作り出すためには、各カメラ間につき高精度のキャリブレーションが必要となる。かかるキャリブレーションは、所望の被写体画像を撮像する前に、チェッカパターン等に代表される特殊な画像パターンを用いることにより実行する（例えば、非特許文献５参照。）。即ち、当該被写体を含む実空間において規則的に配置された画像パターンから情報を取得し、取得した情報に基づいて、カメラの焦点距離,レンズ歪み,歪み中心,アスペクト比等を反映させた内部パラメータや、カメラの位置や姿勢等を反映させた外部パラメータを推定することにより、キャリブレーションを行う。
しかしながら、上記従来の技術では、事前に行ったキャリブレーションを基にカメラの位置や倍率等を固定した上で撮像を行わなければならない。このため、被写体や周囲の環境の変化にリアルタイムに対応することができず、臨場感の高い仮想視点画像やそれを利用した魅力的なコンテンツを作成することができないという問題点があった。
また、各カメラにより撮像された画像から自動的に判別した特徴点を用いることによりカメラ間のキャリブレーションのリアルタイム化を図らんとした手法が提案されている（例えば、非特許文献６参照。）。
しかしながら、実際に撮像された画像から特徴点を随時判別しなければならないためシステム全体の負担が過大となり、またこれら特徴点を高精度に検出することにより、撮影環境へリアルタイムに対応したキャリブレーションを実現することは困難を極めていた。
多視点画像の融合によるスポーツシーンの自由視点画像生成、画像の認識・理解シンポジウム（MIRU2000） Spatio-Temporal View Interpolation, Tech Report CMU-RI-TR-01-35, Robotics Institute, CMU View Morphing,Siggraph'96 Processing,pp.21-30, (1996) Light Field Rendering,Siggraph'96 Processing,pp.31-42, (1996) An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision, Proc. Of IEEE Conference on Computer Vision and Pattern Recognition, pp. 364-374,(1996) Determining the Epipolar Geometry and its Uncertainty: A Review,INRIA Research Report,(1996)
そこで、本発明は上述した問題点に鑑みて案出されたものであり、その目的とするところは、複数のカメラにより互いに異なる視点から撮像した画像を相対的な位置情報に応じて再構成する際に、特にカメラ間のキャリブレーションをリアルタイムに実現することができる撮像装置及び方法、撮像システムを提供することにある。
本発明を適用した撮像装置及び方法、撮像システムでは、上述した課題を解決するために、撮影対象を互いに異なる視点から少なくとも２以上の撮像素子を介して撮像するとともに、撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を同時に受光し、また撮像した各画像を受光した情報光に基づいて補正し、補正した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、仮想的に設置される仮想カメラにおける光学中心の上記各撮像素子の光学中心に対する相対的な位置関係を示す相対位置情報を生成し、互いに対応付けした画素位置並びにその輝度成分から、生成された相対位置情報に応じて仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める。
即ち、本発明を適用した撮像装置は、撮影対象を互いに異なる視点から撮像する少なくとも２以上のカメラにそれぞれ設けられる撮像処理手段と、上記撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する受光手段と、上記各撮像処理手段により撮像された各画像を上記受光手段により受光した情報光に基づいて補正する画像補正手段と、上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備える。
また、本発明を適用した撮像方法では、撮影対象を互いに異なる視点から少なくとも２以上の撮像素子を介して撮像する撮像ステップと、撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する受光ステップと、上記撮像ステップにおいて撮像した各画像を上記受光ステップにおいて受光した情報光に基づいて補正する画像補正ステップと、上記画像補正ステップにより補正した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、仮想的に設置される仮想カメラにおける光学中心の上記各撮像素子の光学中心に対する相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、上記マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップとを有する。
また、本発明を適用した撮像システムでは、撮影対象を互いに異なる視点から撮像する少なくとも２以上のカメラにそれぞれ設けられる撮像処理手段と、上記撮影対象を含む実空間において規則的に配置された既知のパターンと、上記パターンからの情報光を上記撮像と同時に受光する受光手段と、上記各撮像処理手段により撮像された各画像を上記受光手段により受光した情報光に基づいて補正する画像補正手段と、上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、 上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備える。
本発明では、複数のカメラにより互いに異なる視点から画像を撮像するとともに、規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する。そして、撮像した各画像を情報光に基づいて補正する。これにより、本発明では、パターンを利用したキャリブレーションを得られる画像毎に高精度でリアルタイムに行うことができる。
また本発明では、事前に行ったキャリブレーションを基にカメラの位置や倍率等を固定することなく、被写体や周囲の環境の変化にリアルタイムに対応したキャリブレーションを実現することができるため、臨場感の高い仮想視点画像やそれを利用した魅力的なコンテンツを作成することが可能となる。
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
本発明を適用した撮像システム１は、例えば図１に示すように、複数台のカメラを有する撮像装置２により所望の撮影対象５を撮像し、更に撮影対象５を含む実空間において規則的に配置された既知のパターン６からの情報光を上記撮像と同時に取得する。
この撮像装置２は、互いに異なる視点から同一の撮影対象５を撮像するｎ台（ｎは２以上）のカメラ１１＿１〜１１＿ｎと、各カメラ１１＿１〜１１＿ｎより撮像された画像Ｐａ１,Ｐａ２,・・,Ｐａｎが供給されるＩＤ画像収録部１８と、ＩＤ画像収録部１８に接続されてなる画像補正部２０並びにＩＤ情報検出部２５と、ＩＤ情報検出部２５並びに画像補正部２０に接続されるパラメータ推定部２６と、画像補正部２０に接続されるマッチング部２９と、さらにこのマッチング部２９に接続される仮想視点画像生成部３０と、仮想視点画像生成部３０により生成された仮想視点画像Ｉｍａを図示しないディスプレイ上に表示し、又はネットワークを介して他の端末装置へ送信するための出力制御部３１と、各カメラ１１＿１〜１１＿ｎに対する仮想カメラの相対的な位置関係を示す相対位置情報を生成する情報生成部３３とを備えている。
カメラ１１＿１〜１１＿ｎは、図示しないカメラ制御部から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、このカメラ１１＿１〜１１＿ｎは、撮像した撮影対象５の光学像を、そのままＣＣＤへ入射させることにより、これを電気信号に変換する。このカメラ１１＿１〜１１＿ｎは、変換した電気信号により表される画像Ｐａ１,Ｐａ２,・・,ＰａｎをそれぞれＩＤ画像収録部１８へ供給する。
また、このカメラ１１＿１〜１１＿ｎは、パターン６からの情報光を上記撮像と同時に受光し、これを光電変換する。カメラ１１＿１〜１１＿ｎは、光電変換した電気信号として表されるＩＤ信号をそれぞれＩＤ画像収録部１８へ供給する。ちなみに、カメラ１１＿１〜１１＿ｎは、所望の撮影対象５に応じて撮影方向、撮影画角が固定された状態で設置されるが、固定視点である場合に限定されるものではなく、例えば、ユーザから入力される情報に基づき、これら撮影方向、撮影画角を自在に変更するようにしてもよい。
図２は、この撮影対象５を含む実空間を互いに異なる撮影方向から撮像するカメラ１１＿１〜１１＿ｎの配置例を示している。この図２に示すように、カメラ１１＿１〜１１＿ｎは、固定視点とする場合において、撮影対象５を中心として互いに円弧を描くように配設される。これにより、各カメラ１１＿１〜１１＿ｎの光軸を同一の撮影対象５における同一位置に合わせる場合においても、撮像距離を揃えることができ、後段における画像内挿により生成される画像の違和感を解消することができる。ちなみに、このカメラ１１＿１〜１１＿ｎは、図２の如く１列に並べて配設する場合のみならず、２列以上に並べてもよい。
ＩＤ画像収録部１８は、各カメラ１１＿１〜１１＿ｎから送信される画像Ｐａ１〜ＰａｎやＩＤ信号をそれぞれ図示しないメモリ等に格納する。ＩＤ画像収録部１８は、所定のタイミングに基づいて画像Ｐａ１〜Ｐａｎを後段の補正部２０へ送信する。また、ＩＤ画像収録部１８は、所定のタイミングに基づいてＩＤ信号をＩＤ情報検出部２５へ送信する。
補正部２０は、各カメラ１１＿１〜１１＿ｎから送信される画像Ｐａ１〜Ｐａｎにつき幾何学的な画像補正を施すための幾何学的画像補正部２１＿１,２１＿２,・・,２１＿ｎと、これら幾何学的画像補正部２１＿１〜２１＿ｎにより画像補正が施された画像を正規化するための正規化処理部２４とを備えている。
幾何学的画像補正部２１＿１〜２１＿ｎは、パラメータ推定部２６から送信される、上記カメラ１１＿１〜１１＿ｎの幾何学的な位置関係を含むパラメータに基づいて、各画像Ｐａ１〜Ｐａｎを補正する。
正規化処理部２４は、各幾何学的画像補正部２１＿１〜２１＿ｎにおいて補正された画像がそれぞれ供給され、これらにつき幾何学的正規化処理を施す。この正規化処理部２４は、各カメラにより撮像された各画像Ｐａ１〜Ｐａｎの法線方向を合わせる。即ち、この正規化処理部２４は、各画像Ｐａ１〜Ｐａｎの法線方向を仮想的に設定された仮想平面πの法線方向に合わせることによりこれを正規化し、それぞれ正規化画像Ｐｍ１,Ｐｍ２,・・,Ｐｍｎを生成する。かかる場合において、正規化処理部２４は、各カメラ１１＿１〜１１＿ｎにより撮像された各画像Ｐａ１〜Ｐａｎを上記仮想平面πへ射影するための射影変換行列を求め、求めた射影変換行列に基づいて上記各画像の法線方向を上記仮想平面πの法線方向に合わせる。
ＩＤ情報検出部２５は、ＩＤ画像収録部１８から送信されるＩＤ信号から各種情報を取得する。また、このＩＤ情報検出部２５は、この取得したＩＤ信号間の対応付けを行う。ＩＤ情報検出部２５は、これらの対応付け処理の結果をカメラパラメータ推定部２６へ通知する。
カメラパラメータ推定部２６は、ＩＤ情報検出部２５からの対応付け処理の結果に基づいて、各カメラ１１＿１〜１１＿ｎの特性を示す内部パラメータ、及び／又は上記各カメラ間の幾何学的な位置関係を示す外部パラメータを推定する。カメラパラメータ推定部２６は、上記撮像時に生じる歪み要因を示す歪曲収差パラメータを推定する。カメラ推定部２６は、これら推定した各パラメータを補正部２０へ送信する。
ちなみに、これらＩＤ情報検出部２５並びにカメラパラメータ推定部２６は、カメラ１１＿１〜１１＿ｎとしていわゆる固定視点カメラを適用する場合には、予め画像Ｐａ１〜Ｐａｎの法線方向を取得するようにしてもよい。また、各カメラ１１＿１〜１１＿ｎの撮影方向及び／又は撮影画角を変更しつつ撮像を実行する場合には、ＩＤ情報検出部２５並びにカメラパラメータ推定部２６においてこれらをデータ化し、画像を正規化する際にこれらのデータを制御情報に含めるようにしてもよい。これにより、仮想カメラの位置に応じて撮影方向等を順次変更しつつ撮像を行う場合においても柔軟に対応することができる。
また、このＩＤ情報検出部２５並びにカメラパラメータ推定部２６において、これらのデータを図示しないＲＯＭやＲＡＭへ格納しておくことにより、補正部２０は、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。
マッチング部２９は、正規化処理部２４において生成された正規化画像Ｐｍ１〜Ｐｍｎがそれぞれ供給される。このマッチング部２９は、これら正規化画像Ｐｍ１〜Ｐｍｎを構成する各画素位置につき対応関係を求める。
このマッチング部２９では、例えば、上記撮影対象５としてユーザａの顔を捉えているときに、これら対応付けは、ユーザａの顔を構成する同一の箇所にある画素位置と輝度成分を正規化画像Ｐｍｎ間で抽出して対応をとるようにする。例えば正規化画像Ｐｍ１,Ｐｍ２間で対応付けを行う場合には、図３に示すように、正規化画像Ｐｍ１のエピポーラ線Ｌ１上にある画素Ｐ１１の対応点については、正規化画像Ｐｍ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、最も類似する画素位置Ｐ１１’を対応点として検出することができる。ちなみにマッチング部２９は、この対応付けにつき特徴抽出した箇所のみについて実行してもよいし、正規化画像Ｐｍ１,Ｐｍ２を構成する全ての画素に対して実行してもよい。
情報生成部３３は、画素位置毎に対応関係を求める際に必要な情報を生成し、これをマッチング部２９へ供給する。情報生成部３３は、この生成すべき相対位置情報をカメラ１１＿１〜１１＿ｎから被写体としてのユーザａに至るまでの距離を識別し、これに基づく視差情報を生成するようにしてもよい。かかる距離の識別については、各カメラ１１＿１〜１１＿ｎにより生成された画像情報からDepth情報を取得することにより実行してもよい。
また、この情報生成部３３は、生成すべき相対位置情報をユーザａのディスプレイ５ａに対する視線方向に基づいて生成してもよい。かかる場合において情報生成部３０は、カメラ１１＿１〜１１＿ｎから供給される画像Ｐａ１〜Ｐａｎからユーザａの視線方向を取得し、これに基づいて相対位置情報を生成する。これにより、いわば仮想カメラの撮影方向をユーザａの視線方向に合わせ込むことと同様の処理を実現することができる。
仮想視点画像生成部３０は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部３０は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部３３より生成された相対位置情報に応じて、新たに生成すべき仮想視点画像Ｉｍａを構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部３０は、求めた画素位置並びにその輝度成分により構成される仮想視点画像Ｉｍａを出力制御部３１へ供給する。
パターン６は、図４に示すように、白黒の市松模様等に代表されるような所定の幾何学的形状に対応させて規則的に配列された光ビーコン６１により構成されている。即ち、このパターン６を白黒の市松模様として構成した場合には、かかる白黒領域の境界や交点等にこの光ビーコン６１を設置する。そして、この市松模様に応じた情報光を各光ビーコン６１から発振させる。
ここで、光ビーコン６１を図４に示すようにパターン６上にある白黒領域の交点に配列した場合に、それぞれ光ビーコン６１ａ,・・,６１ｈと定義する。各光ビーコン６１ａ〜６１ｈは、かかる交点位置の座標に応じた情報光を発振する。これら情報光を受信したカメラ１１＿１〜１１＿ｎは、結果として白黒の市松模様からなるパターン画像を取得することと同等の効果を得ることができる。
図５(a)は、パターン６の実空間設置時までにＩＤ信号を予め蓄積しておく光ビーコン６１ａの構成を示している。この光ビーコン６１ａは、データ保存用メモリ６２と、このデータ保存用メモリ６２に接続されてなる点滅制御部６３と、点滅制御部６３に接続される光源６４とを備えている。
データ保存用メモリ６２は、光ビーコン６１ａの情報光として重畳するためのＩＤ信号を所定のアドレスに格納する。このデータ保存用メモリ６２に格納されているＩＤ信号は、図示しない制御部による制御の下、順次読み出されて点滅制御部６３へ供給されることになる。
点滅制御部６３は、データ保存メモリ６２から供給されるＩＤ信号の内容に基づいて光源を点滅させるためのデバイスである。また、光源６４は、点滅制御部６３による制御に基づいて高速に点滅する光源であり、可視光に限定されることなく、赤外光を発光するようにしてもよい。この光源６４からＩＤ信号の内容が重畳された情報が発振されることになる。ちなみにこの情報光の点滅周期は、カメラ１１＿１〜１１＿ｎにおいてこれを受光するセンサの周波数に支配されることになる。なお、シャノンの標本化定理により、カメラ１１＿１〜１１＿ｎのセンサのサンプリングレートは、光源の点滅周期の２倍以上が必要とされることから、以下の説明では、光源の点滅周期がセンサのサンプリングレートの３倍である場合を例にとり説明をする。
図５(b)は、撮影中においても送信するＩＤ信号を順次変更可能な光ビーコン６１ｂを示している。この光ビーコン６１ｂは、外部通信を実現するためのデータ送受信部６５と、このデータ送受信部６５に接続されてなる点滅制御部６３と、点滅制御部６３に接続される光源６４とを備えている。なお、上述した光ビーコン６１ａと同一の構成については同一の番号を付して説明を省略する。
データ送受信部６５は、データ通信用のドライバやＩＣ等により構成され、通信路６７を介してＩＤ信号を受信する。このデータ送受信部６５により受信されたＩＤ信号は、そのまま点滅制御部６３へ出力され、上述の如く光源６４を点滅させることになる。
通信路６７は、有線又は無線による通信回線であり、例えば電話回線、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）、ＲＳ−４２２、ＲＳ−２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４等である。
このような構成からなる光ビーコン６１をパターン６上に設けることにより、事前に格納されたＩＤ信号に加えて、通信路６７を介して随時供給されるＩＤ信号を情報光に重畳させることができる。また、これらＩＤ信号を白黒の市松模様からなるパターン画像が構成されるように定義することにより、これらを含む情報光を受信したカメラ１１＿１〜１１＿ｎは、当該パターン画像を撮影中においてもリアルタイムに取得することができる。このため、状況に応じてパターン画像を変化させる必要が生じた場合であっても、カメラ１１＿１〜１１＿ｎ側において、これを随時取得することができる。
図６は、これら情報光を受光するとともに画像を撮像するためのカメラ１１の構成を示している。
カメラ１１＿１〜１１＿ｎは、受光部４１と、この受光部４１に接続される画像信号処理部４２とを備えており、画像信号処理部４２は、受光部４１により光電変換された電気信号を増幅するための増幅部４３と、この増幅部４３に接続されてなる画像処理部４４並びにフレームメモリ４５と、フレームメモリ４５に対して順次接続される比較部４６,デコード処理部４７とを備えている。
受光部４１は、ＣＣＤ等に代表されるようなイメージセンサの２次元の受光アレイであるが、かかる場合に限定されるものではなく、例えばＣＭＯＳ(Complementary Metal-Oxide Semicondactor)等のように低消費電力であり演算回路を持たせることができるセンサを適用することにより、点滅周期の短い情報光を高速に受光するとともに、増幅部４３,フレームメモリ４５,比較部４６のような演算回路をこれに実装することにより、回路構成をより簡略化することができる。
図７(a)は、かかる受光部４１の詳細な構成を示している。この受光部４１は、レンズ系４１１と、同時撮像センサ４１２と、制御部４１３とを備えている。互いに同一方向から受光部４１に対して入射される上記画像Ｐｍを構成するための撮像光並びに情報光は、レンズ系４１１を介して光束を制御され、それぞれ同一の同時撮像センサ４１２により光電変換される。ちなみに、レンズ系４１１におけるズームや撮像時における同期については、制御部４１３により随時制御されることになる。
図７(b)は、かかる撮像光並びに情報光が互いに異なる方向から入射される受光部４１の詳細な構成を示している。この受光部４１は、レンズ系４１１と、同時撮像センサ４１２と、制御部４１３に加え、さらにプリズム４１４を備えている。
プリズム４１４は、互いに異なる方向から入射される撮像光及び情報光が入射される。この図７(b)に示す例では、入射された撮像光をそのまま直進させ、情報光の伝搬方向を折り曲げることにより、同一のレンズ系４１１に入射されるように制御される。即ち、この受光部４１は、情報光や撮像光の入射角が異なる場合であっても、このプリズム４１４を配設することにより対応することが可能となる。なお、このプリズム４１４を例えばハーフミラー等に代替してもよいことは勿論である。
カメラ１１＿１〜１１＿ｎの構成の説明に戻る。増幅部４３は、センサにより光電変換された電気信号を増幅する。この増幅部４３により増幅された電気信号により表される画像Ｐａ１〜Ｐａｎを画像処理部４４及びフレームメモリ４５へ供給し、また増幅部４３により増幅された電気信号として表されるＩＤ信号をフレームメモリ４５へ供給する。
画像処理部４４は、増幅部４３より供給される画像Ｐａ１〜Ｐａｎにつきカラーの復元処理（デモザイク処理）、ガンマ補正、オートホワイトバランス処理等を施す。画像処理部４４は、これらの各処理が施された画像Ｐａ１〜Ｐａｎを上述したＩＤ画像収録部１８へ送信する。
フレームメモリ４５は、２フレーム以上の画像間においてＩＤ信号等の比較演算を行うべく、増幅部４３より供給される画像Ｐａ１〜Ｐａｎを格納するためのメモリである。このフレームメモリ４５は、例えば４フレームを格納することができるように構成される。
比較部４６は、フレームメモリ４５から読み出した複数フレーム間につきＩＤ信号の差分値を求める。この比較部４６は、求めた差分値を所定の閾値と比較した結果を出力する。本実施の形態においては、この比較部４６において４フレーム間で差分値を比較する。
デコード処理部４７は、比較部４６における比較結果が通知される。このデコード処理部４７は、ＩＤ信号の復元及びエラー検出処理を行う。デコード処理部４７は、これら復元したＩＤ信号並びにその座標に関する情報をＩＤ画像収録部１８へ送信する。
なお、上述したカメラ１１＿１〜１１＿ｎの構成では、あくまで同一の同時撮像センサ４１２により撮像光と情報光を取得する場合を例にとり説明をしたが、かかる場合に限定されるものではなく、例えば図８に示すように互いに異なるセンサによりそれぞれの光を受光する受光部１４１を適用するようにしてもよい。
この受光部１４１は、例えば図８(a)に示すように、レンズ系４１１と、プリズム４１５と、画像撮像センサ４１６と、ＩＤ撮像センサ４１７と、受光部全体を制御する制御部４１３を備えている。互いに同一方向から受光部１４１に対して入射される撮像光並びに情報光は、レンズ系４１１を介して光束を制御された後、プリズム４１５によりそれぞれ分離される。ここで撮像光はこのプリズム４１５をそのまま直進して画像撮像センサ４１６により光電変換される。また情報光はプリズム４１５により光路が折り曲げられＩＤ撮像センサ４１７により光電変換される。
図８(b)は、かかる撮像光並びに情報光が互いに異なる方向から入射される受光部１４１の詳細な構成を示している。この受光部１４１は、レンズ系４１１と、プリズム４１５と、画像撮像センサ４１６と、ＩＤ撮像センサ４１７と、制御部４１３に加え、さらにプリズム４１８を備えている。
プリズム４１８は、互いに異なる方向から入射される撮像光及び情報光が入射される。この図８(b)に示す例では、入射された撮像光をそのまま直進させ、情報光の伝搬方向を折り曲げることにより、同一のレンズ系４１１に入射されるように制御される。即ち、この受光部１４１は、情報光や撮像光の入射角が異なる場合であっても、このプリズム４１８を配設することにより対応することが可能となる。
次に、この撮像装置２における具体的な動作につき説明をする。
撮影対象５（ユーザａ）は、カメラ１１＿１〜１１＿ｎにより互いに異なる角度から撮影される。このような画像Ｐａ１〜Ｐａｎは、カメラ１１＿１〜１１＿ｎ内の同時撮像センサ４１２を介して取得される。その結果、カメラ１１＿１〜１１＿ｎにより生成される画像Ｐａ１〜Ｐａｎ上の撮影対象５の向きや明るさは、互いに異なる状態となる。
また、この撮影対象５の撮像と同時にパターン６上に配置された光ビーコン６１からＩＤ信号が重畳された情報光が発振される。かかる情報光に重畳されるＩＤ信号は、カメラ１１＿１〜１１＿ｎ側において安定した受信を実現できるように、光ビーコン６１においてマンチェスタ符号化される。このマンチェスタ符号化は、例えば、データ“０”に対してＩＤ信号を“１０”とし、またデータ“１”に対してＩＤ信号を“０１”とする符号化であり、これを用いることにより、光ビーコン６１が有効なＩＤ信号を送信している間は、必ず光の輝度変化が生じていることになる。
例えば固定長８ビットのデータからなるＩＤ信号をフレーム単位で送信する場合には、図９に示すように、１フレームの先頭であることを受信側に知らせるためのスタートコード領域６８にビット“０００１”を割り当てる。またＩＤ信号は、上述したスタートコード領域６８に続く送信データ領域６９において“１００１００１０”からなる８ビットデータをマンチェスタ符号化した１６ビットデータで割り当てる。
図１０は、これら１６ビットデータとしてのＩＤ信号に基づいて、上記情報光に重畳させるための点滅信号を生成する例を示している。この図１０に示すように、固定長８ビットのデータをマンチェスタ符号化した１６ビットデータは、“Ｈｉ”と“Ｌｏｗ”からなる点滅信号に変換される。これら点滅信号が重畳された情報光を受光する同時撮像センサ４１２のサンプリングレートは、光源の点滅周期よりも大きいことから、情報光を受光することにより得られるセンサ出力としてこれを捉えることができる。
同時撮像センサ４１２により光電変換される各画像Ｐａ１〜ＰａｎやＩＤ信号は、例えば図１１に示すように、１／３０秒毎のフレーム単位で切り替えられて構成される。画像Ｐａ１〜画像Ｐａｎが割り当てられる画像フレームと、ＩＤ信号が割り当てられるＩＤフレームとを１対１で対応させることにより、画像Ｐａ１〜Ｐａｎの１フレーム毎に応じたＩＤ信号を割り当てることができる。ちなみに、これら各画像Ｐａ１〜Ｐａｎ並びにＩＤ信号は、この図１１に示すように時間で区切る場合に限定されるものではない。
同時撮像センサ４１２により、各画像Ｐａ１〜Ｐａｎを１５ｆｐｓで、またＩＤ信号を１５ｆｐｓで取得することになる。なお、このＩＤ信号については、図１１に示すように、ＩＤデコード処理区間５０１とＩＤ重心区間５０２の２つに分けられる。
これらＩＤ信号は、デコード処理部４７において上述したＩＤデコード処理区間５０１を介してデコードされる結果、図１０に示すようなｂ０,ｂ１,ｂ２,ｂ３,ｂ４,ｂ５,ｂ６,ｂ７の各ビットにおいて“１００１００１０”からなる８ビットデータを復元することができる。
このように復元されたＩＤ信号は、ＩＤ画像収録部１８を介してＩＤ情報検出部２５へ送信される。このＩＤ情報検出部２５において、各カメラ１１＿１〜１１＿ｎにおいて取得されたＩＤ信号は、互いに対応付けされる。例えばカメラ１１＿１により取得されたＩＤ信号と、カメラ１１＿２により取得されたＩＤ信号との間で対応付けを行う場合には、例えば図１２に示すように、カメラ１１＿１により取得されたＩＤ信号に基づくＩＤ観測画像と、カメラ１１＿２により取得されたＩＤ信号に基づくＩＤ観測画像を生成する。得られるＩＤ観測画像の光ビーコン６１ａ〜６１ｈに応じた位置６２ａ〜６２ｈの輝度データは、互いに異なるＩＤ信号が上記情報光に重畳される結果、互いに異なるものとなる。
次に、各ＩＤ観測画像につき、カメラ１１＿１によるＩＤ観測画像上の各位置８１ａ〜８１ｈに割り振られたＩＤ信号並びにその座標を検出する。同様に、カメラ１１＿１によるＩＤ観測画像上の各位置８１ａ’〜８１ｈ’に割り振られたＩＤ信号並びにその座標を検出する。そして検出したＩＤ信号につき、互いのＩＤ観測画像における同一座標位置８１ａ〜８１ｈ、８１ａ’〜８１ｈ’毎に対応付けを行う。
カメラパラメータ推定部２６では、これらＩＤ観測画像における対応付け処理の結果に基づき、例えば特開２０００−３５０２３９号公報や、特開平１１−５３５４９号公報に示されているカメラキャリブレーション手法に基づくパラメータ化を行う。カメラパラメータ推定部２６は、歪曲収差パラメータとして歪み係数κ、歪み中心（ｃｘ,ｃｙ）アスペクト比ｓｘを求める。また、このカメラパラメータ推定部２６は、内部パラメータとして、換言すればカメラ１１＿１〜１１＿ｎ固有のパラメータとして、ｕ軸スケール因子αと、ｖ軸スケール因子βと、画像中心（ｕ０,ｖ０）を求める。更に、このカメラパラメータ推定部２６は、外部パラメータＲｔとして、回転行列Ｒや並進ベクトルｔを求める。これら推定された各パラメータを補正部２０へ送信される。
このような各パラメータが送信される補正部２０では、これらに基づいて、ＩＤ画像収録部１８から供給される各画像Ｐａ１〜Ｐａｎを補正する。即ち、幾何学的画像補正部２１において、各画像Ｐａ１〜Ｐａｎは、送信されたパラメータに基づいて、各カメラ１１＿１〜１１＿ｎからの画像Ｐａ１〜Ｐａｎを射影変換することにより基準となる画像へ合わせ込まれる。輝度成分等についても同様にカメラ１１＿１〜１１＿ｎからの画像Ｐａ１〜Ｐａｎ間において輝度の誤差が最小となるような射影変換行列を用いることにより互いの調整が図られることになる。
これら幾何学的画像補正部２１において補正された各画像Ｐａ１〜Ｐａｎは、正規化処理部２４へ供給されると以下に示される方法に基づいて正規化されることになる。
図１３は、各カメラ１１＿１〜１１＿ｎにより撮像した画像Ｐａ１〜Ｐａｎのうち、画像Ｐａ１,Ｐａ２を正規化する場合につき示している。この図１３に示されるように、各カメラ１１ａ,１２ａの光学中心Ｃ１,Ｃ２により互いに異なる視点から撮影対象のＭ点へ光軸を合わせて撮像を行うと、これにより生成される画像Ｐａ１,Ｐａ２は、各カメラ１１ａ,１２ａの撮像面に対して平行となる。ここで各カメラ１１ａ,１２ａと、Ｍ点を結ぶ直線の方向は、各カメラにより撮像された各画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２に一致するが、これらは互いに異なる方向を指している。これら各画像Ｐａ１,Ｐａ２の法線方向ｋ１,ｋ２が同一方向となるように幾何学的正規化を行うことにより、画像面が互いに平行な正規化画像Ｐｍ１,Ｐｍ２を作り出す。
この幾何学的正規化は、パラメータ推定部２６において求められた射影行列Ｐ１,Ｐ２を用いて、内部パラメータＡ、回転行列Ｒ、転移行列ｔを推定することにより実現する。その結果、補正後の画像撮像面の法線方向ｋ１’,ｋ２’が平行化された正規化画像Ｐｍ１,Ｐｍ２を生成することができる。
正規化処理部２４において上述の如く射影変換された正規化画像Ｐｍ１,Ｐｍ２は、マッチング部２９において撮影対象と関連させつつ、画素位置毎に対応付けされる。本発明においては、マッチング部２９の前段にある正規化処理部２４において予め正規化され、エピポーラ線が平行化されているため、画素探索のロバスト性を向上させることができる。
ちなみに、これら正規化画像Ｐｍ１とＰｍ２につき、このマッチング部２９において対応付けを行う場合において、図１３に示すように正規化画像Ｐｍ１のエピポーラ線Ｌ１上にある画素Ｐ１１の対応点については、正規化画像Ｐｍ２のエピポーラ線Ｌ１’上に存在することとなり、そのＬ１’上を探索することにより、対応点としての画素Ｐ１１’を検出することができる。
例えば図１４(a)に示すように、被写体としてのユーザａがそれぞれ写し出された正規化画像Ｐｍ１におけるエピポーラ線Ｌ１上の画素と、正規化画像Ｐｍ２におけるエピポーラ線Ｌ１’上の画素とを対応付けする場合に、エピポーラ線Ｌ１上の特徴点の点列Ｒ１を左から順に｛ａ１,ａ２,ａ３,ａ４,ａ５｝とし、またエピポーラ線Ｌ１’の特徴点の点列Ｒ２を左から順に｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とする。ここで、互いのエピポーラ線Ｌ１,Ｌ１’上にある特徴点Ｒ１,Ｒ２を被写体との関係において対応付けるとき、先ず、ａ１に対してＬ１’上の特徴点はｂ１が該当し１：１で対応することとなるが、ユーザａの右耳を構成する特徴点ａ２,ａ３に対してＬ１’上の特徴点はｂ２が該当し、２：１で対応することとなる。同様に、ユーザａの左耳を構成する特徴点ａ４に対してＬ１’上の特徴点はｂ３,ｂ４が該当し、１：２で対応することとなる。なお、ａ５に対してＬ１’上の特徴点はｂ５が該当し１：１で対応することとなる。
このように、異なる視点から撮像することにより得られる正規化画像Ｐｍ１,Ｐｍ２では、被写体からカメラに至るまでの距離に基づく視差により、ユーザａの耳の部分等において表示される内容が異なってくる。以下、このような領域をオクリュージョン領域という。かかるオクリュージョン領域では、上記視差により、一方の正規化画像に表示されている被写体の対応点が他方の正規化画像にて隠れてしまうため、従来と同様に、｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けてしまうと、誤差が生じることになる。
このため、本発明を適用した画像処理装置２ａにおけるマッチング部２９では、かかる視差を識別することにより、図１４(a)に示される正規化画像の特徴点の点列Ｒ１,Ｒ２を、結果的に図１４(b)に示されるように｛（ａ１, ｂ１）、（ａ２, ｂ２）、（ａ３, ｂ２）、（ａ４, ｂ３）、（ａ４, ｂ４）、（ａ５, ｂ５）｝と対応付けられるように制御する。
具体的には、各正規化画像Ｐｍ１,Ｐｍ２におけるエピポーラ線上にある全ての画素につき、図１４(c)に示すようなDynamic Programming（ＤＰ：最短経路探索）を利用した動的な対応付けを行う。
この図１４(c)におけるｘ軸にエピポーラ線Ｌ１上の特徴点の点列Ｒ１｛ａ１,ａ２,ａ３,ａ４,ａ５｝を配列し、またｙ軸をエピポーラ線Ｌ１’上の特徴点の点列Ｒ２｛ｂ１,ｂ２,ｂ３,ｂ４,ｂ５｝とするとき、図１４(b)に示される対応関係をこのグラフにあてはめると、図１４(c)に示される太線で示される経路をとることになる。以下、この太線で示される対応点を結ぶ直線を最適経路という。
この最適経路において右上に線形増加する場合には、エピポーラ線Ｌ１,Ｌ１’上を左から右へシフトさせて対応付けする際に、互いの特徴点を１：１で順次シフトさせて対応させることを示している。右上に線形増加する最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ１, ｂ１）から左から右へそれぞれ一つずつシフトさせることにより特徴点（ａ２, ｂ２）を正確に対応付けすることができる。
また、この最適経路において水平方向にシフトする場合には、正規化画像Ｐｍ１,Ｐｍ２間において視差が生じた結果、正規化画像Ｐｍ１において示されている特徴点が正規化画像Ｐｍ２において隠れてしまったことを示唆している。かかる場合には、正規化画像Ｐｍ２上にある１の特徴点に対して、正規化画像Ｐｍ１上にある複数の特徴点を対応付ける。この水平方向にシフトする最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ２, ｂ２）においてユーザａの右耳を示すｂ２は、上述した視差により更にａ３とも対応するため、ｂ２をそのまま維持しつつこれにａ３を対応付ける。
また、この最適経路において垂直方向へシフトする場合には、正規化画像Ｐｍ１,Ｐｍ２間において視差が生じた結果、正規化画像Ｐｍ２において示されている特徴点が正規化画像Ｐｍ１において隠れてしまったことを示唆している。かかる場合には、正規化画像Ｐｍ１上にある１の特徴点に対して、正規化画像Ｐｍ２上にある複数の特徴点を対応付ける。この垂直方向にシフトする最適経路の例として、エピポーラ線Ｌ１,Ｌ１’上の特徴点（ａ４, ｂ３）においてユーザａの左耳を示すａ４は、上述した視差により更にｂ４とも対応するため、ａ４をそのまま維持しつつこれにｂ４を対応付ける。
マッチング部２９は、これら対応付けを、互いの正規化画像Ｐｍ１,Ｐｍ２を構成する全てを構成する、或いは一部を構成するエピポーラ線Ｌ１,Ｌ１’間において実行する。そしてエピポーラ線Ｌ１,Ｌ１’毎に上述した最適経路を求めることにより、特徴点の点列Ｒ１,Ｒ２間における対応付けを行う。
図１５は、エピポーラ線Ｌ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合につき示している。
この特徴点（ｘ,ｙ）に至る最適経路は、特徴点（ｘ−１,ｙ−１）から左から右へそれぞれ一つずつシフトさせることにより図１５に示されるグラフにおいて右上に線形増加し、或いは特徴点（ｘ−１,ｙ）においてｙをそのまま維持しつつ水平方向に１シフトさせることにより図１５に示されるグラフにおいて特徴点（ｘ−１,ｙ）から水平方向へ移動する。さらに、この特徴点（ｘ,ｙ）に至る最適経路は、特徴点（ｘ,ｙ−１）においてｘをそのまま維持しつつ垂直方向へ１シフトさせることにより図１５に示されるグラフにおいて特徴点（ｘ,ｙ−１）から垂直方向へ移動することになる。
即ち、特徴点（ｘ,ｙ）を通る最適経路は、図１５に示すグラフにおいて、その左,左下,下に位置する特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）の何れかを経ることになる。本発明マッチング部２９は、何れの特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）を経て特徴点（ｘ,ｙ）へ至るのかにつき、以下に説明する関数を順次求めてゆくことにより決定する。
マッチング部２９は、以下に示すマッチングコスト関数ｄ（ｘ,ｙ）と、動的なオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求め、求めた各関数に応じて上述した最適経路を求める。マッチングコスト関数ｄ（ｘ,ｙ）は、対応関係を求める各画素位置間における輝度成分及び色成分の類似度を示す関数であり、またオクリュージョンコスト関数ｄｘ（ｘ,ｙ）は、正規化画像Ｐｍ１の正規化画像Ｐｍ２に対する被写体画像の隠れ度合いを示す関数であり、またオクリュージョンコスト関数ｄｙ（ｘ,ｙ）は、正規化画像Ｐｍ２の正規化画像Ｐｍ１に対する被写体画像の隠れ度合いを示す関数である。これらオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、被写体の各画像間における視差が反映される形となる。
先ず、マッチングコスト関数ｄ（ｘ,ｙ）を求める方法につき説明をする。
ｄ（ｘ,ｙ）につき、比較する輝度成分又は色成分のうち何れに重み付けをするか決定する。この重み付けは、重み付け係数αを用いて、以下の式（１）に基づいて行う。
ｄｋ（ｓ,ｔ）＝α×ｄＹｋ（ｓ,ｔ）＋（１−α）ｄＣｋ（ｓ,ｔ）・・・・・（１）
ここで（ｓ,ｔ）は、特徴点（ｘ,ｙ）に対応する正規化画像Ｐｍ１、正規化画像Ｐｍ２における画素位置を表している。またｋは、正規化画像Ｐｍ１、正規化画像Ｐｍ２の何行目に該当するかを示している。この式（１）においてｄＹｋ（ｓ,ｔ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２との座標（ｓ,ｔ）間における輝度成分の差分絶対値を表し、以下の（２）式で定義される。
ｄＹｋ（ｓ,ｔ）＝｜Ｙ１ｋ（ｓ,ｔ）−Ｙ２ｋ（ｓ,ｔ）｜・・・・・（２）
また、この式（１）においてｄＣｋ（ｓ,ｔ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２との間における色成分の差分絶対値を表し、以下の（３）式で定義される。
ｄＣｋ（ｓ,ｔ）＝｜Ｃ１ｋ（ｓ,ｔ）−Ｃ２ｋ（ｓ,ｔ）｜・・・・・（３）
即ち、上記式（１）においてαをより高く設定することにより、求めるｄｋ（ｓ,ｔ）につき、輝度成分の差分絶対値ｄＹｋ（ｓ,ｔ）の成分をより反映させることができる。また上記式（１）においてαをより小さく設定することにより、求めるｄｋ（ｓ,ｔ）につき、色成分の差分絶対値ｄＣｋ（ｓ,ｔ）の成分をより反映させることができる。ちなみに、このαについては、色成分のマッチングコストと、輝度成分のマッチングコストとの平均値を割り当てるようにしてもよい。
ｄ（ｘ,ｙ）は、（１）式により求められるｄｋ（ｓ,ｔ）に基づいて、更に以下の（４）式により求められる。
ｄ（ｘ,ｙ）＝（Σｄｋ（ｓ,ｔ））／２Ｋ ｋ＝−Ｋ，・・，Ｋ−１
・・・・・・・・・（４）
この（４）式は、エピポーラ線の上下に位置する各画素との間で平均をとることにより、ｄ（ｘ,ｙ）を求めることができることを意味している。この（４）式により、求めるｄ（ｘ,ｙ）につきエピポーラ線の上下に位置する各画素との相関関係を反映させることができる。これにより対応付け精度を大幅に向上させることが可能となる。
即ち、上述の方法により求められるマッチングコストｄ（ｘ,ｙ）は、正規化画像Ｐｍ１と正規化画像Ｐｍ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差分絶対値が大きくなるにつれて増加する。換言すれば、正規化画像Ｐｍ２と正規化画像Ｐｍ１の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の差異が大きくなるにつれて増加し、またこれらが類似するにつれて小さくなる。即ち、このマッチングコストｄ（ｘ,ｙ）により、正規化画像Ｐｍ１と正規化画像Ｐｍ２の画素位置（ｓ,ｔ）における輝度成分、或いは色成分の類似度を識別することが可能となる。
次にオクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求める方法につき説明をする。
これら各オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、情報生成部３３におより生成される視差情報に基づいて生成される。カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が小さくなるにつれて（視差が大きくなるにつれて）、オクリュージョン領域の発生する確率が高くなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を下げることにより対応する。一方、カメラ１１ａ,１２ａから被写体としてのユーザａに至るまでの距離が長くなるにつれて（視差が小さくなるにつれて）、オクリュージョン領域の発生する確率が小さくなる。かかる場合において、マッチング部２９は、オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を上げることにより対応する。
各オクリュージョンコスト関数ｄｘ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）は、以下の式（５）、（６）に基づいて求めることができる。
ｄｘ（ｘ,ｙ）＝β×ｄｐ（ｘ,ｙ）＋Ｔ０・・・・・・・・（５）
ｄｙ（ｘ,ｙ）＝γ×ｄｐ（ｘ,ｙ）＋Ｔ１・・・・・・・・（６）
ここで、ｄｐ（ｘ,ｙ）は、上記取得される視差情報に支配され、視差がより大きくなるにつれて減少し、また視差がより小さくなるにつれて増加する。β、γは、ｄｐ（ｘ,ｙ）の変化率を表しており、予め実験的に求めることができる。またＴ０、Ｔ１は、初期オクリュージョンコスト定数であり、これについても予め実験的に求めることができる。
マッチング部２９は、これら各関数ｄｘ（ｘ,ｙ）,ｄ（ｘ,ｙ）,ｄｙ（ｘ,ｙ）を求めた後、それぞれ以下の式（７）〜式（９）に基づいて累積マッチングコストＣ（ｘ−１,ｙ）,Ｃ（ｘ−１,ｙ−１）,Ｃ（ｘ,ｙ−１）を加算し、総コストｋ１,ｋ２,ｋ３を算出する。
ｋ１＝Ｃ（ｘ−１,ｙ）＋ｄｘ（ｘ,ｙ）・・・・・・・・（７）
ｋ２＝Ｃ（ｘ−１,ｙ−１）＋ｄ（ｘ,ｙ）・・・・・・・（８）
ｋ３＝Ｃ（ｘ,ｙ−１）＋ｄｙ（ｘ,ｙ）・・・・・・・・（９）
ここでＣ（ｘ−１,ｙ）,Ｃ（ｘ−１,ｙ−１）,Ｃ（ｘ,ｙ−１）は、それぞれ特徴点（ｘ−１,ｙ）,（ｘ−１,ｙ−１）,（ｘ,ｙ−１）において求められた累積マッチングコストを示している。ちなみに、特徴点（ｘ,ｙ）における累積マッチングコストＣ（ｘ,ｙ）は、以下の式（１０）に示すように、求めたｋ１,ｋ２,ｋ３の中から最小となるものが割り当てられる。
Ｃ（ｘ,ｙ）＝ｍｉｎ｛ｋ１,ｋ２,ｋ３｝・・・・・・・（１０）
マッチング部２９は、求めた総コストｋ１,ｋ２,ｋ３の中から最小となるものを選択することにより最適経路を求める。
ここで、ｋ１が最小となる場合には、視差が大きくなることにより、正規化画像Ｐｍ１において示されている特徴点が正規化画像Ｐｍ２において遮蔽されたことを意味している。かかる場合には、図１５矢印Ｊ１に示すように特徴点（ｘ−１,ｙ）から水平方向にシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。
またｋ３が最小となる場合には、視差が大きくなることにより、正規化画像Ｐｍ２において示されている特徴点が正規化画像Ｐｍ１において遮蔽されたことを意味している。かかる場合には、図１５矢印Ｊ３に示すように、特徴点（ｘ,ｙ−１）から垂直方向にシフトさせることにより特徴点（ｘ,ｙ）に至るように最適経路が求められることになる。
即ち、このマッチング部２９では、上記各正規化画像Ｐｍ１,Ｐｍ２間における対応関係を求める際に、識別した類似度及び視差のうち何れを優先させるか決定し、類似度を優先させる場合には、水平ライン上にある同一画素位置間において対応付け、視差を優先させる場合には、一の画素位置に対し同一の水平ライン上にある複数の画素位置を対応付ける。これにより、オクリュージョン領域が存在する場合においてもより正確な対応付けを行うことができる。また、上述の手法に基づいて対応付けを行うことにより、例えば両目部分等の繰り返しパターンや、輝度変化が殆ど生じないいわゆる非特徴点（例えば壁の部分）においても対応付けの精度を向上させることができる。
仮想視点画像生成部３０では、上述の如くマッチング部２９において求められた対応関係に基づいて、仮想視点画像Ｉｍａを生成する。例えばマッチング部２９において、正規化画像Ｐｍ１における画素位置Ｐ１１に対して、正規化画像Ｐｍ２における画素位置Ｐ１１’がその対応点として特定されていた場合に、かかる画素位置Ｐ１１の座標を図１６に示すように（ｘ１,ｙ１）とし、また画素位置Ｐ１１’の座標を（ｘ２,ｙ２）とする。仮想視点画像生成部３１は、かかる画素位置Ｐ１１、Ｐ１１’に対応する仮想視点画像Ｉｍａ上の画素位置の座標（ｘｔ,ｙｔ）を、相対位置情報としてのｍに基づいて以下の式（１１）により決定することができる。
（ｘｔ,ｙｔ）＝（１−ｍ）×（ｘ１,ｙ１）＋ｍ×（ｘ２,ｙ２）・・・（１１）
また画素位置Ｐ１１、Ｐ１１’における輝度成分をそれぞれＪ１１, Ｊ１１’としたときに、かかる仮想視点画像Ｉｍａ上の画素位置Ｐｈにおける輝度成分Ｐｔを以下の式（１２）により決定することができる。
Ｐｔ＝（１−ｍ）×Ｊ１１＋ｍ×Ｊ１１’ ・・・（１２）
このように仮想視点画像生成部３１は、仮想視点画像Ｉｍａを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのｍに応じて決定することができる。
ここでｍは、仮想カメラにおける仮想視点がカメラ１１ａに近くなるにつれて小さくなり、また仮想視点がカメラ１２ａに近くなるにつれて大きくなる。
このため、式（１１）に基づいて決定される座標（ｘｔ,ｙｔ）は、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の座標（ｘ１,ｙ１）に近づき、また仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１２の座標（ｘ２,ｙ２）に近づくことになる。即ち、座標（ｘｔ,ｙｔ）を、仮想カメラの位置に応じて自在に決定することができるため、仮想視点画像Ｉｍａ上に表示させるユーザａの位置を自在に変化させることができる。
また、式（１２）に基づいて決定される輝度成分Ｐｔは、仮想視点がカメラ１１ａに近づくにつれて画素位置Ｐ１１の輝度成分Ｊ１１に近づき、仮想視点がカメラ１２ａに近づくにつれて画素位置Ｐ１１’の輝度成分Ｊ１１’に近づくことになる。即ち、仮想カメラの位置に応じて、仮想視点画像Ｉｍａ上のユーザａを構成する画素を輝度成分Ｊ１１、又は輝度成分Ｊ１１’に近づけることができる。
特に、カメラ１１ａとカメラ１２ａは互いに撮影方向が異なるため、正規化画像Ｐｍ１上にある画素位置Ｐ１１と、これに対応する正規化画像Ｐｍ２上にある画素位置Ｐ１１’との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのｍに応じて輝度成分Ｐｔを線形に増減させることにより、仮想カメラの位置に応じて仮想視点画像Ｉｍａ上に表示させるユーザａを構成する画素の輝度成分を決定することが可能となる。また、この生成される仮想支点画像Ｉｍａは、上述したマッチング部２９において対応付けられた関係に基づいて生成されるため、得られる画像の画質劣化をより減少させることができる。
上述のようにして画素位置Ｐｈにおける座標（ｘｔ,ｙｔ）並びにその輝度成分Ｐｔを順次決定することにより、生成した仮想視点画像Ｉｍａは、表示されるユーザａの視線方向、顔の向き等は互いに異なっていた正規化画像Ｐｍ１,Ｐｍ２に対して、常時正面を向いている状態となる。
即ち、本発明を適用した撮像システム１においては、複数のカメラ１１＿１〜１１＿ｎにより互いに異なる視点から画像Ｐａ１〜Ｐａｎを撮像するとともに、規則的に配置された既知のパターン６からの情報光を上記撮像と同時に受光する。そして、撮像した各画像を情報光に基づいて補正する。これにより、本発明を適用した撮像システム１では、パターン６を利用したキャリブレーションを得られる画像Ｐａ１〜Ｐａｎ毎にリアルタイムに行うことができる。
これにより、事前に行ったキャリブレーションを基にカメラの位置や倍率等を固定することなく、被写体や周囲の環境の変化にリアルタイムに対応したキャリブレーションを実現することができるため、臨場感の高い仮想視点画像やそれを利用した魅力的なコンテンツを作成することが可能となる。
また本発明を適用した撮像システム１では、実際に撮像された画像から特徴点を随時判別することなく、光ビーコン６１から発せられるＩＤ信号に基づきキャリブレーションを行うことができるため、得られる画像から特徴点を抽出するステップを省略することができることから、撮影環境へのリアルタイムに対応を実現することができる。
本発明を例えばテレビ会議システムに適用する場合に、図１７に示すＡ地点に設置された撮像装置２において生成された仮想視点画像Ｉｍａは、出力制御部３１による制御の下、ネットワーク７へ送出される。そしてＢ地点にある相手側の画像処理装置１２０へ送信された仮想視点画像Ｉｍａは、ディスプレイ５ｂ上へ表示されることになる。ユーザｂは、ディスプレイ５ｂに表示される仮想視点画像Ｉｍａ上のユーザａを視認しつつ対話をすることになるが、ユーザａの顔、視線方向は正面を向いている状態にあるため、あたかも画面中央付近に設置された仮想カメラで撮像されたような画像を視認しているような感覚を味わうことができる。ユーザａについても同様にディスプレイ５ａに表示される仮想視点画像Ｉｍｂ上のユーザｂを視認しつつ対話をすることになるが、正面を向いているユーザｂを視認することができる。即ち、この通信システム１では、いわば対話するユーザ間において常時視線を一致させたビジュアルコミュニケーションを実現することができ、よりリアルで臨場感のある遠隔対話を実現することができる。
また、本発明では、ハーフミラーやホログラムスクリーン、更にはプロジェクタ等のような特殊装置を用いる必要もなく、簡易で安価なシステムを構成することができる。
なお、本発明を適用した通信システムは、上述した実施の形態に限定されるものではなく、例えば図１８に示すように、得られた画像につき複眼立体視を可能とすべく処理を施すための撮像システム７に適用してもよい。この撮像システム７において上述した通信システム１と同一の構成については、当該同一の番号を付して説明を省略する。
この撮像システム７は、互いに異なる視点から同一の撮影対象５を撮像するｎ台（ｎは２以上）のカメラ１１＿１〜１１＿ｎと、各カメラ１１＿１〜１１＿ｎより撮像された画像Ｐａ１〜Ｐａｎが供給されるＩＤ画像収録部１８と、ＩＤ画像収録部１８に接続されてなる画像補正部２０並びにＩＤ情報検出部２５と、ＩＤ情報検出部２５並びに画像補正部２０に接続されるパラメータ推定部２６と、画像補正部２０に接続されるマッチング部２９と、さらにこのマッチング部２９に接続される仮想視点画像生成部３０と、立体視ディスプレイ８０を視認するユーザの頭部位置を検出し、これに基づいてユーザの相対的な視点位置を推定するための両眼位置推定部７５と、両眼位置推定部７５により推定されたユーザの視点位置に応じて、立体視ディスプレイ８０に対するユーザの視点位置における相対的な位置関係を示す相対位置情報を生成する情報生成部７６と、マッチング部２９並びに情報生成部７６にそれぞれ接続されてなり、ユーザの左眼により視認される左眼用視差画像と、ユーザの右眼により視認される右眼用視差画像とを生成する仮想視点画像生成部３０と、仮想視点画像生成部３０により生成された左眼用視差画像と右眼用視差画像とを、接続された立体視ディスプレイ８０上へ表示させるための表示制御部７９とを備えている。
両眼位置推定部７５は、立体視ディスプレイ８０を視認するユーザの頭部における３次元的な位置やサイズを、当該立体視ディスプレイ８０との間で相対的に検出する。この両眼位置推定部７５は、例えばステレオ視方式やレンジファインダ方式に基づいてリアルタイムな位置検出を行う距離計測装置等により適用される。この両眼位置推定部７５は、検出したユーザの頭部における３次元的な位置やサイズに基づき、三次元空間座標の下、ユーザの左眼位置並びに右眼位置を推定する。この両眼位置の推定については、例えば、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照しつつリアルタイムに実行するようにしてもよい。
情報生成部７６は、両眼位置推定部７５において推定された、ユーザの左眼位置並びに右眼位置をパラメータ化した相対位置情報を生成し、これを仮想視点画像生成部３０へ送信する。
仮想視点画像生成部３０は、マッチング部２９により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部３０は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部７６より生成された相対位置情報に応じて、上記仮想視点画像Ｉｍａの代替として、左眼用視差画像並びに右眼用視差画像を生成する。
表示制御部７９は、仮想視点画像生成部３０により生成された左眼用視差画像と右眼用視差画像につき、立体視ディスプレイ８０における表示方法に応じて、各画素位置における輝度レベル（ＲＧＢ）を割り当てる。
立体視ディスプレイ８０は、液晶パネル上に光学素子を組み合わせ、互いに異なる左眼用視差画像と右眼用視差画像を表示させる表示面であり、ユーザに対して専用眼鏡の着用を義務付ける必要がない点において優れている。
図１９(a)は、点線で示される撮影対象５に対する各カメラ７１の相対的な位置関係を、実線で示される立体視ディスプレイ８０に対するユーザの視点の位置関係にそのまま重ね合わせて表示したものである。立体視ディスプレイ８０では、この撮影対象５に対する各カメラ７１の光学中心の相対的な位置関係が、立体視ディスプレイ８０を視認するユーザの左眼、右眼の視点位置の位置関係に合致する場合のみ立体視が実現されることになる。
ここで、座標（０,０,０）上に位置する撮影対象５のＭ点へカメラ７１＿１〜７１＿８の光軸を合わせて撮像を行う場合に、これに立体視ディスプレイ８０の中心を重ね合わせることにより、その中心の座標が原点（０,０,０）に位置するように設定する。また両眼位置推定部７５により計測されたユーザの頭部位置の座標（ｘｎ,ｙｎ,ｚｎ）をこの原点座標（０,０,０）に基づき特定する。ちなみにユーザの頭部位置をいかに定義するかについては、撮像システム７側において任意に決定することができるが、例えば、ユーザの眉間中心を頭部位置として定義するようにしてもよい。
仮にユーザの頭部が位置Ａにあるとき、両眼位置推定部７５はその座標（ｘａ,ｙａ,ｚａ）を特定する。またユーザの頭部が位置Ｂにあるとき、両眼位置推定部７５はその座標（ｘｂ,ｙｂ,ｚｂ）を特定する。またユーザの頭部が位置Ｃにあるとき、両眼位置推定部７５はその座標（ｘｃ,ｙｃ,ｚｃ）をそれぞれ特定する。ちなみに両眼位置推定部７５は、かかる座標の特定と同時に、ユーザの頭部のサイズを同時に識別する。
両眼位置推定部７５は、これら特定したユーザの頭部位置（ｘｎ,ｙｎ,ｚｎ）の座標に基づき、ユーザの左眼位置並びに右眼位置を推定する。この推定は、例えば頭部位置Ａにつき特定した座標（ｘａ,ｙａ,ｚａ）と、識別したユーザ頭部のサイズに基づき、統計的な計測データを参照しつつ、図１９(b)に示すように、ユーザの左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）を推定する。これにより、立体視ディスプレイ２０の中心座標（０,０,０）に基づいた左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）を相対的に求めることが可能となる。
ちなみに、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、それぞれ図１９(a)の点線で示されるカメラ７１＿１〜７１＿８の光学中心に位置している場合には、かかるカメラから取得される画像をそのまま左眼用視差画像と右眼用視差画像とすれば立体視が実現されることになる。しかし、それ以外の場合には、撮影対象５に対する各カメラ７１の相対的な位置関係から外れることになり、ユーザによる立体視の実現が困難となる。
ここで、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、カメラ７１＿１〜７１＿８の光学中心以外に位置している場合であって、かつ図１９(a)に示すカメラ７１間の光学中心を結ぶラインＬｃ上に位置している場合には、左眼用視差画像（右眼用視差画像）を構成することのみで、かかる位置関係の調整を図る。
例えば図２０に示すように、ユーザの頭部が位置Ｄにあり、また推定した左眼位置,右眼位置がそれぞれＶｃＬ１,ＶｃＲ１にあるとき、このＶｃＬ１,ＶｃＲ１に仮想的にカメラを設置して撮影対象５のＭ点（立体視ディスプレイ２０の中心座標（０,０,０）に相当する）を撮像した結果得られる画像が左眼用視差画像（右眼用視差画像）となるように調整する。
かかる場合において、情報生成部７６は、上述の如く両眼位置推定部７５により推定された左眼位置ＶｃＬ１,右眼位置ＶｃＲ１をそれぞれ取得する。そして、この取得した左眼位置ＶｃＬ１を仮想的にカメラを設置する仮想位置ＷＬ１とし、これを実際に撮影対象５との間で相対的な位置関係を保ちつつ設置されているカメラ７１＿１〜カメラ７１＿８の位置関係に当てはめる。同様にして、取得した右眼位置ＶｃＲ１を仮想的にカメラを設置する仮想位置ＷＲ１とし、これを実際に撮影対象５との間で相対的な位置関係を保ちつつ設置されているカメラ７１＿１〜カメラ７１＿８の位置関係に当てはめる。
例えば図２０に示すように、左眼位置ＶｃＬ１,右眼位置ＶｃＲ１の双方がカメラ７１＿４、７１＿５の間にある場合に、情報生成部７６は、カメラ７１＿４、７１＿５に対する左眼位置ＶｃＬ１並びに右眼位置ＶｃＲ１の位置関係を相対的に識別し、これに応じた相対位置情報としてｋＬ１、ｋＲ１をそれぞれ生成する。この相対位置情報としてのｋＬ１は、仮想位置ＷＬ１が、カメラ７１＿４から７１＿５にかけてｋＬ１：１−ｋＬ１の位置にあることを意味している。同様に、この相対位置情報としてのｋＲ１は、仮想位置ＷＲ１が、カメラ７１＿４から７１＿５にかけてｋＲ１：１−ｋＲ１の位置にあることを意味している。即ち、この相対位置情報としてのｋＬ１、ｋＲ１が小さくなるにつれて、仮想位置ＷＬ１,仮想位置ＷＲ１はカメラ７１＿４に近づき、またこの相対位置情報としてのｋＬ１、ｋＲ１が大きくなるにつれて仮想位置ＷＬ１,仮想位置ＷＲ１はカメラ７１＿５に近づくことになる。
このため仮想視点画像生成部１８において、式（１１）に基づいて決定される左眼用視差画像（右眼用視差画像）上の画素ｍｖ’の座標（ｘｔ,ｙｔ）は、仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿４に近づくにつれて（ｘ１,ｙ１）に近づき、また仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿５に近づくにつれて（ｘ２,ｙ２）に近づくことになる。
また、式（１２）に基づいて決定される左眼用視差画像（右眼用視差画像）上の画素ｍｖ’における輝度成分Ｐｔは、仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿４に近づくにつれてＪ１１に近づき、また仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ７１＿５に近づくにつれてＪ１１’に近づくことになる。
得られた左眼用視差画像（右眼用視差画像）は、ＶｃＬ１（ＶｃＲ１）に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部７９を介して立体視ディスプレイ８０へ表示させることにより、推定した左眼位置,右眼位置ＶｃＬ１,ＶｃＲ１にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。
図２１は、これら左眼用視差画像（右眼用視差画像）の構成例につき示している。仮に撮影対象５が人物の顔である場合において、カメラ７１＿４,７１＿５においてこれを撮影する。かかる場合にカメラ７１＿４は、撮影範囲の右端付近において捉えた撮影対象５としての人物を撮像し、またカメラ７１＿５は、撮影範囲の左端付近において捉えた撮影対象５としての人物を、カメラ７１＿４と異なる視点から撮像することになる。その結果、カメラ７１＿４により撮像される画像は、図２１に示すように右端付近において右側を向いている人物が示されている状態となり、またカメラ７１＿５により撮像される画像は、左端付近において左側を向いている人物が示されている状態となる。
相対位置情報としてのｋが小さい場合（ｋ１の場合）において、仮想位置ＷＬ１a（仮想位置ＷＲ１a）は、カメラ７１＿４により近くなる。またこの仮想位置ＷＬ１aにつき、上記（１１）,（１２）式から求められる左眼用視差画像（右眼用視差画像）は、カメラ７１＿４に近い内容となる。
また相対位置情報がｋ２からｋ４へと徐々に大きくなるにつれて、仮想位置は、ＷＬ１b（仮想位置ＷＲ１b）からＷＬ１d（仮想位置ＷＲ１d）へと、徐々にカメラ７１＿５へ近くなる。これに伴って、左眼用視差画像（右眼用視差画像）に示される画像は、右端付近から左端付近へ徐々に移り、また人物が向いている方向も右から左へ徐々に変化することになる。
なお、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、ラインＬｃ上に位置していない場合には、構成した左眼用視差画像（右眼用視差画像）の視野を拡大又は縮小することにより位置関係の調整を図るようにしてもよい。
このような立体視を実現する撮像システム１において、視差によるオクリュージョン領域が発生する場合であっても、マッチング部２９により精度良く対応付けを行うことができる。このため、立体視ディスプレイ２０を視認するユーザの視点位置に支配されることなく、視差のズレを高精度かつスムーズに解消することができ、ユーザに対してより自然な立体画像を常時提供することが可能となる。
また、上述したカメラ中心を結ぶ線上での任意の仮想視点画像生成を利用することにより、視差のズレ等を解消させたホログラム立体写真を作成することも可能となる。
また、本発明を適用した撮像システム１を更に図２２に示すようなスポーツ興業等を行うスタジアムに設置してもよいことは勿論である。かかる場合において、グラウンドに上述した光ビーコン６１を埋め込み、各カメラ１１＿１〜１１＿ｎにより、実際のプレーを撮影するとともに、これら光ビーコン６１からの情報光を受光する。もちろん、グラウンドではなく、例えば、スタジアムの天井に上述した光ビーコン６１を埋め込み、図７に示すようなカメラユニットで光ビーコン６１からの情報光と選手を同時に撮影することも可能である。これにより、事前に行ったキャリブレーションを基にカメラの位置や倍率等を固定することなく、試合展開にリアルタイムに対応したキャリブレーションを実現することができるため、臨場感のスポーツ中継を実現することが可能となる。
本発明を適用した撮像装置の構成を示す図である。 カメラの配列につき説明するための図である。 マッチング部における画像間対応付けにつき説明するための図である。 本発明を適用した撮像システムにおいて配置されるパターンにつき説明するための図である。 光ビーコンの構成の詳細につき説明するための図である。 カメラのシステム構成につき示す図である。 受光部の構成例につき説明するための図である。 受光部の他の構成例につき説明するための図である。 ＩＤ信号の詳細につき説明するための図である。 １６ビットデータとしてのＩＤ信号に基づいて、情報光に重畳させるための点滅信号を生成する例を示す図である。 各画像やＩＤ信号をフレームで構成する例につき説明するための図である。 ＩＤ信号間の対応付け並びに各パラメータを推定するまでの手順につき示す図である。 各画像Ｐａ１,Ｐａ２の法線方向を合わせる正規化につき説明するための図である。 エピポーラ線Ｌ１,Ｌ１’上の任意の特徴点（ｘ,ｙ）に至るまでの最適経路を求める場合につき示す図である。 正規化画像Ｐｍ１と正規化画像Ｐｍ２におけるエピポーラ線Ｌ１,Ｌ１’上にある各特徴点の画素成分（輝度又は色成分）の対応関係を示す図である。 仮想視点画像を作成する方法につき説明するための図である。 本発明を双方向のテレビ会議、テレビ電話システムに適用する例を示す図である。 ３Ｄ画像を生成する撮像システムにおける構成につき示す図である。 立体視を実現する例につき説明するための図である。 ユーザの視点位置に応じて仮想的にカメラを設置する例につき説明するための図である。 左眼用視差画像（右眼用視差画像）の構成例につき説明するための図である。 本発明を適用した撮像システムをスポーツ興業等を行うスタジアムに設置する例を示す図である。
符号の説明
１ 撮像システム、２ 撮像装置、５ 撮影対象、６ パターン、１１ カメラ、１８ ＩＤ画像収録部、２０画像補正部、２５ ＩＤ情報検出部、２６ パラメータ推定部、２９ マッチング部、３０ 仮想視点画像生成部、３１ 出力制御部、３３ 情報生成部

Claims (15)

  1. 撮影対象を互いに異なる視点から撮像する少なくとも２以上のカメラにそれぞれ設けられる撮像処理手段と、
    上記撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する受光手段と、
    上記各撮像処理手段により撮像された各画像を上記受光手段により受光した情報光に基づいて補正する画像補正手段と、
    上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
    仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
    上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備えること
    を特徴とする撮像装置。
  2. 上記情報光に基づいて、上記各カメラの特性を示す内部パラメータ、及び／又は上記各カメラ間の幾何学的な位置関係を示す外部パラメータを推定するパラメータ推定手段をさらに備え、
    上記画像補正手段は、上記パラメータ推定手段において推定された各パラメータに応じた射影変換行列により上記撮像された各画像を仮想的に設定された仮想平面へ射影すること
    を特徴とする請求項１記載の撮像装置。
  3. 上記パラメータ推定手段は、上記情報光に基づいて、上記撮像時に生じる歪み要因を示す歪曲収差パラメータを推定し、
    上記画像補正手段は、上記パラメータ推定手段において推定された歪曲収差パラメータに応じて上記各撮像処理手段により撮像された各画像の歪みを除去すること
    を特徴とする請求項２記載の撮像装置。
  4. 上記受光手段は、上記パターンから上記情報光として発せられた赤外光を受光すること
    を特徴とする請求項１記載の撮像装置。
  5. 上記受光手段は、上記パターンに応じた点滅信号が重畳された上記情報光を受光し、
    上記画像補正手段は、上記各カメラにより撮像された各画像を、上記情報光に重畳された点滅信号に基づいて補正すること
    を特徴とする請求項１記載の撮像装置。
  6. 上記撮像処理手段と、上記受光手段とは、同一のカメラ内に設けられてなること
    を特徴とする請求項１記載の撮像装置。
  7. 上記カメラユニットは、上記撮影対象を撮像するための撮像光と上記情報光を分離するための分離手段を備えること
    を特徴とする請求項６記載の撮像装置。
  8. 上記撮像処理手段と、上記受光手段とは、同一のセンサとして構成されてなること
    を特徴とする請求項６記載の撮像装置。
  9. 撮影対象を互いに異なる視点から少なくとも２以上の撮像素子を介して撮像する撮像ステップと、
    撮影対象を含む実空間において規則的に配置された既知のパターンからの情報光を上記撮像と同時に受光する受光ステップと、
    上記撮像ステップにおいて撮像した各画像を上記受光ステップにおいて受光した情報光に基づいて補正する画像補正ステップと、
    上記画像補正ステップにより補正した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、
    仮想的に設置される仮想カメラにおける光学中心の上記各撮像素子の光学中心に対する相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、
    上記マッチングステップにおいて互いに対応付けした画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップとを有すること
    を特徴とする撮像方法。
  10. 上記撮像素子を搭載する各カメラの特性を示す内部パラメータ、及び／又は上記各カメラ間の幾何学的な位置関係を示す外部パラメータを、上記情報光に基づいて推定するパラメータ推定ステップをさらに有し、
    上記画像補正ステップでは、上記パラメータ推定ステップにおいて推定した各パラメータに応じた射影変換行列により上記撮像された各画像を仮想的に設定された仮想平面へ射影すること
    を特徴とする請求項９記載の撮像方法。
  11. 上記パラメータ推定ステップでは、上記情報光に基づいて、上記撮像時に生じる歪み要因を示す歪曲収差パラメータを推定し、
    上記画像補正ステップでは、上記パラメータ推定ステップにおいて推定した歪曲収差パラメータに応じて上記各撮像処理手段により撮像された各画像の歪みを除去すること
    を特徴とする請求項１０記載の撮像方法。
  12. 上記受光ステップでは、上記パターンから上記情報光として発せられた赤外光を受光すること
    を特徴とする請求項９記載の撮像方法。
  13. 上記受光ステップでは、上記パターンに応じた点滅信号が重畳された上記情報光を受光し、
    上記画像補正ステップでは、上記各撮像素子を介して撮像された各画像を、上記情報光に重畳された点滅信号に基づいて補正すること
    を特徴とする請求項９記載の撮像方法。
  14. 撮影対象を互いに異なる視点から撮像する少なくとも２以上のカメラにそれぞれ設けられる撮像処理手段と、
    上記撮影対象を含む実空間において規則的に配置された既知のパターンと、
    上記パターンからの情報光を上記撮像と同時に受光する受光手段と、
    上記各撮像処理手段により撮像された各画像を上記受光手段により受光した情報光に基づいて補正する画像補正手段と、
    上記画像補正手段により補正された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
    仮想的に設置される仮想カメラにおける光学中心の上記各カメラに対する相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
    上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、上記仮想カメラにより生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段とを備えること
    を特徴とする撮像システム。
  15. 上記パターンは、点滅信号を重畳した情報光を発振する光源が規則的に配置されていること
    を特徴とする請求項１４記載の撮像システム。
JP2003415740A 2003-12-12 2003-12-12 撮像装置及び方法、撮像システム Withdrawn JP2005174148A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003415740A JP2005174148A (ja) 2003-12-12 2003-12-12 撮像装置及び方法、撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003415740A JP2005174148A (ja) 2003-12-12 2003-12-12 撮像装置及び方法、撮像システム

Publications (1)

Publication Number Publication Date
JP2005174148A true JP2005174148A (ja) 2005-06-30

Family

ID=34735140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003415740A Withdrawn JP2005174148A (ja) 2003-12-12 2003-12-12 撮像装置及び方法、撮像システム

Country Status (1)

Country Link
JP (1) JP2005174148A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229369A (ja) * 2004-02-13 2005-08-25 Hitachi Ltd マルチカメラシステム
JP2007156170A (ja) * 2005-12-06 2007-06-21 Canon Inc 画像撮影システム
JP2016009245A (ja) * 2014-06-23 2016-01-18 日本電信電話株式会社 中間視点画像生成装置
US20170293413A1 (en) * 2016-04-08 2017-10-12 Canon Kabushiki Kaisha Virtual viewpoint image generation system, virtual viewpoint image generation apparatus, and method of controlling same
JPWO2018147329A1 (ja) * 2017-02-10 2019-11-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
CN111429513A (zh) * 2020-04-26 2020-07-17 广西师范大学 一种可优化视觉遮挡场景的光场绘制的方法
US10922839B2 (en) 2017-11-07 2021-02-16 Casio Computer Co., Ltd. Location obtaining system, location obtaining device, location obtaining method, and non-transitory computer-readable recording medium
WO2023042429A1 (ja) * 2021-09-14 2023-03-23 日立Astemo株式会社 車載カメラ校正装置、制御装置、およびビーコン付パターン

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229369A (ja) * 2004-02-13 2005-08-25 Hitachi Ltd マルチカメラシステム
JP2007156170A (ja) * 2005-12-06 2007-06-21 Canon Inc 画像撮影システム
JP4667220B2 (ja) * 2005-12-06 2011-04-06 キヤノン株式会社 画像撮影システムおよび撮像装置
JP2016009245A (ja) * 2014-06-23 2016-01-18 日本電信電話株式会社 中間視点画像生成装置
US20170293413A1 (en) * 2016-04-08 2017-10-12 Canon Kabushiki Kaisha Virtual viewpoint image generation system, virtual viewpoint image generation apparatus, and method of controlling same
US10666924B2 (en) 2016-04-08 2020-05-26 Canon Kabushiki Kaisha Virtual viewpoint image generation system based on captured images, virtual viewpoint image generation apparatus, and method of controlling same
JPWO2018147329A1 (ja) * 2017-02-10 2019-11-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP7159057B2 (ja) 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10922839B2 (en) 2017-11-07 2021-02-16 Casio Computer Co., Ltd. Location obtaining system, location obtaining device, location obtaining method, and non-transitory computer-readable recording medium
CN111429513A (zh) * 2020-04-26 2020-07-17 广西师范大学 一种可优化视觉遮挡场景的光场绘制的方法
CN111429513B (zh) * 2020-04-26 2022-09-13 广西师范大学 一种可优化视觉遮挡场景的光场绘制的方法
WO2023042429A1 (ja) * 2021-09-14 2023-03-23 日立Astemo株式会社 車載カメラ校正装置、制御装置、およびビーコン付パターン

Similar Documents

Publication Publication Date Title
JP4069855B2 (ja) 画像処理装置及び方法
KR102417177B1 (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US8897502B2 (en) Calibration for stereoscopic capture system
JP5414947B2 (ja) ステレオ撮影装置
US8704881B2 (en) Stereoscopic image display apparatus
JP3728160B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
JP5204350B2 (ja) 撮影装置、再生装置、および画像処理方法
JP5320524B1 (ja) ステレオ撮影装置
JP5204349B2 (ja) 撮影装置、再生装置、および画像処理方法
JPWO2012029298A1 (ja) 撮影装置および画像処理方法
JP4432462B2 (ja) 撮像装置及び方法、撮像システム
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
JP2005174148A (ja) 撮像装置及び方法、撮像システム
JP6768933B2 (ja) 情報処理装置、情報処理システム、および画像処理方法
JP2000222116A (ja) 表示画像の位置認識方法とその位置認識装置および仮想画像立体合成装置
JP6257260B2 (ja) 撮像装置及びその制御方法
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
JP5689693B2 (ja) 描画処理装置
CN214756700U (zh) 3d显示设备
JP2006024141A (ja) 画像処理装置及び方法、プログラム
KR20190065736A (ko) 3d 이미지를 생성하기 위한 전자 장치 및 방법
JP2006024142A (ja) 画像処理装置及び方法、プログラム
JP2024011041A (ja) 撮像方法、学習方法、学習データ生成装置、及びデータ構造
JP2021007231A (ja) 情報処理装置、情報処理システム、および画像処理方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070306