JP2005142957A - 撮像装置及び方法、撮像システム - Google Patents

Abstract

【課題】 立体視ディスプレイに対するユーザの視点の相対的な位置関係に応じて仮想的な画像を生成する際において、ユーザの頭部における３次元位置から特定した視点位置に基づき、視差のズレを精度よく解消する。
【解決手段】 撮影対象を互いに異なる視点から撮像し、撮像した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成し、互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成してこれを表示画面上に表示させる。
【選択図】図１

Description

本発明は、所望の撮影対象につき撮像した画像を例えば立体視ディスプレイ等に表示するためにこれを再構成する撮像装置及び方法、撮像システムに関するものである。

従来より、複眼撮像装置を用いた立体視撮像表示法が提案されている。これは２つの撮像光学系を基線長で与えられる間隔で左右に配置して、２視点からの画像の撮像を行うものである。

人間の左右の眼は、平均して６５ｍｍ程の距離があるとされ、立体視撮像表示においても２つの撮像光学系の基線長を６５ｍｍとすることが基準となっている。このように、左右の２視点から所望の被写体を撮像した場合、それぞれの撮像系で撮像される画像中の被写体の位置や輝度レベルが互いに異なってくる。即ちこれが視差であり、この視差をステレオ視することにより、ユーザは立体感のある画像を視認することができる。

ちなみに、この左右の２視点で得られた画像をステレオ視するためには、ディスプレイ上に左右それぞれの画像を左右交互に出力する。ユーザ側では、その左右画像の表示切り替えに同期して左右のシャッターの切換を行う液晶シャッター眼鏡でこれを視認することにより、立体画像を味わうことができる。

また、得られた画像をステレオ視する他の方法として、左右２枚の画像を、予め作成しておいた１枚の立体視画像の領域に水平方向の１ラインおきに交互に配置することにより、左右２画像からなるストライプ上の画像を生成する方法がある。この方法では、生成した立体視画像と同様に水平方向の１ラインおきに偏光方向が交互に変化する偏光板をディスプレイ上に設け、偏光方向を互いにストライプ状に異ならせた画像を表示させる。これにより、右の撮像光学系に撮像された画像がある方向の偏光成分だけが透過して表示され、左の撮像光学系で撮像された画像は他の方向の偏光成分のみが透過して表示されることになる。ユーザは、左右それぞれにつき、ディスプレイ上に表示される画像と同じ偏光成分のみ透過する機能を備えた偏光眼鏡を着用することにより、立体画像を味わうことができる。

以上のように、立体視撮像表示では、異なる視点から撮像される画像の視差を利用している。即ち、ユーザは視差を有する２つの画像を、所望の被写体との関係において重ね合わせることにより、立体感のある画像を作り出す。

ところで、このような立体視撮像表示では、ユーザに対して眼鏡の着用を常時義務付けるものであるため、煩わしさを感じさせるという問題点があった。このため、特に近年において、専用眼鏡が不要な立体視ディスプレイとして、液晶パネル上に光学素子を組み合わせ、互いに異なる左眼用視差画像と右眼用視差画像を表示させるディスプレイが提案されている。

このような複眼立体視を可能とする立体視ディスプレイでは、パララックスバリア法に基づくダブルイメージスプリッタ方式を採用し、スリットを連続して並べた細い縦縞状のバリア板の裏側に左右両眼分の視差がある左眼用視差画像と右眼用視差画像とを交互に縦縞状に表示させることにより、ステレオグラムを構成する。この左眼用視差画像と右眼用視差画像を実際に表示させる場合には、立体視における視差、表示方向、透過度及び輝度レベル（ＲＧＢ）等を撮影対象に応じて可変とする。

なお、このような立体視ディスプレイでは、図１０(a)に示すように、視点を固定させたカメラにより、互いに異なる撮影方向で同一の撮影対象Ｘを撮像した場合において、かかる撮影対象Ｘに対する各カメラの相対的な位置関係が、図１０(b)に示すように、立体視ディスプレイを視認するユーザの左眼、右眼の視点位置における相対的な位置関係に合致する場合のみ立体視が実現されることになる。

しかしながら、ユーザの視点位置が、図１１(a)に示すように立体視ディスプレイから離れる場合や、図１１(b)に示すように立体視ディスプレイに対してより接近する場合、更には図１１(c)に示すように立体視ディスプレイに対して左右に移動する場合等には、仮想的に表示した撮影対象Ｘ’との相対的な位置関係から外れることになり、視差のズレが生じてしまう。かかる場合には、ユーザに対して不自然な画像が表示されることになり、違和感や眼精疲労を与えてしまうことになる。

このため、立体視ディスプレイに対するユーザの視点の相対的な位置関係に応じて、仮想的な画像を生成し、これを表示する手法が従来において提案されている（例えば、特許文献１参照。）。

特開平８−１１６５５６号公報

しかしながら、上述した特許文献１における開示技術では、あくまで直線検出をベースにした画像間対応付けを行った上で、左眼用視差画像と右眼用視差画像を仮想的に生成するものである。このため、かかる画像間対応付けにつき高精度に実行するためには、所望の撮影対象を撮像するための複数台のカメラを直線状に配置する必要があり、さらに各カメラの撮像面が当該直線に対して平行となるように配置する必要があるため、システム全体が大型化、複雑化してしまうという問題点があった。

またユーザの視点位置、視線方向を高精度に検出することが困難であったため、実際に、左眼用視差画像と右眼用視差画像とを仮想的に生成する場合において、視差のズレ等を解消することができず、違和感を与えてしまうという問題点もあった。

そこで、本発明は、上述した課題に鑑みて案出されたものであり、その目的とするところは、立体視ディスプレイに対するユーザの視点の相対的な位置関係に応じて仮想的な画像を生成する際において、ユーザの頭部における３次元位置から特定した視点位置に基づき、視差のズレを精度よく解消することができる撮像装置及び方法、撮像システムを提供することにある。

本発明は、上述した課題を解決するために、撮影対象を互いに異なる視点から撮像し、撮像した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成し、互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成してこれを表示画面上に表示させる。

即ち、本発明を適用した撮像装置は、撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段と、上記撮像手段における各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、 表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、 上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを備える。

また、本発明を適用した撮像方法は、撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像ステップと、上記各カメラにより撮像した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成ステップと、上記マッチングステップにおいて互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成ステップと、上記画像生成ステップにおいて生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示ステップとを有する。

また、本発明を適用した撮像システムは、撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段と、上記撮像手段における各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段とを有する撮像装置と、表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記撮像装置におけるマッチング手段からネットワークを介して受信した互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを有する電子機器とを備える。

また、本発明を適用した撮像システムは、撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段を有する撮像装置と、上記撮像装置におけるマッチング手段からネットワークを介して受信した各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを有する電子機器とを備える。

即ち本発明は、撮影対象を互いに異なる視点から撮像し、撮像した各画像間において撮影対象と関連させつつ画素位置毎に対応付けを行い、表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成し、互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成してこれを表示画面上に表示させる。

このため、本発明では、ユーザの視点位置が、立体視ディスプレイから離れる場合や、接近する場合、更には立体視ディスプレイに対して左右に移動する場合であっても、視差のズレを高精度かつスムーズに解消することができるため、ユーザに対して自然な立体画像を常時提供することが可能となる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明を適用した撮像システムは、例えば図１に示すように、複数台のカメラで所望の撮影対象５につき撮像して、得られた画像につき複眼立体視を可能とすべく処理を施して、これを立体視ディスプレイ２０に表示するシステムである。

即ち、この撮像システム１は、互いに異なる撮影方向から同一の撮影対象５を撮像する８台のカメラ１１＿１〜１１＿８と、接続された各カメラ１１＿１〜１１＿８より撮像された画像が供給される画像補正部１２＿１〜１２＿８と、各画像補正部１２＿１〜１２＿８における画像補正に必要なパラメータを供給するためのカメラ補正パラメータ供給部１３と、接続された各画像補正部１２＿１〜１２＿８から供給される各画像につき互いに対応付けをとるためのマッチング部１４と、立体視ディスプレイ２０を視認するユーザの頭部位置を検出し、これに基づいてユーザの相対的な視点位置を推定するための両眼位置推定部１５と、両眼位置推定部１５により推定されたユーザの視点位置に応じて、立体視ディスプレイ２０に対するユーザの視点位置における相対的な位置関係を示す相対位置情報を生成する情報生成部１６と、マッチング部１４並びに情報生成部１６にそれぞれ接続されてなり、ユーザの左眼により視認される左眼用視差画像と、ユーザの右眼により視認される右眼用視差画像とを生成する仮想視点画像生成部１８と、仮想視点画像生成部１８により生成された左眼用視差画像と右眼用視差画像とを、接続された立体視ディスプレイ２０上へ表示させるための表示制御部１９とを備えている。

カメラ１１＿１〜１１＿８は、図示しないカメラ制御部から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、このカメラ１１＿１〜１１＿８は、撮像した撮影対象の光学像を、そのままＣＣＤへ入射させることにより、これを電気信号に変換する。このカメラ１１＿１〜１１＿８は、変換した電気信号により表される画像をそれぞれ画像補正部１２＿１〜１２＿８へ供給する。ちなみに、カメラ１１＿１〜１１＿８は、所望の撮影対象５に応じて撮影方向、撮影画角が固定された状態で設置されるが、固定視点である場合に限定されるものではなく、例えば、ユーザから入力される情報に基づき、これら撮影方向、撮影画角を自在に変更するようにしてもよい。

図２は、この撮影対象５を互いに異なる撮影方向から撮像するカメラ１１＿１〜１１＿８の配置例を示している。この図２に示すように、カメラ１１＿１〜１１＿８は、固定視点とする場合において、撮影対象５を中心として互いに円弧を描くように配設される。これにより、各カメラ１１＿１〜１１＿８の光軸を同一の撮影対象５における同一位置に合わせる場合においても、撮像距離を揃えることができ、後段における画像内挿により生成される画像の違和感を解消することができる。ちなみに、このカメラ１１＿１〜１１＿８は、図２の如く１列に並べて配設する場合のみならず、２列以上に並べてもよい。また、このカメラ１１＿１〜１１＿８の台数は８台に限定されるものではなく、複数台であれば何台で構成してもよい。

画像補正部１２＿１〜１２＿８は、カメラ１１＿１〜１１＿８からそれぞれ供給される画像を、カメラ補正パラメータ供給部１３から送信される制御情報に基づいて補正する。この各画像補正部１２＿１〜１２＿８は、少なくとも上記カメラカメラ１１＿１〜１１＿８における幾何学的な位置関係に基づいて供給される各画像を補正する。このカメラ１１＿１〜１１＿８の幾何学的な位置関係は、カメラ補正パラメータ供給部１３においていかなる形でパラメータ化されていてもよい。このとき、カメラ補正パラメータ供給部１３は、同様にカメラ１１＿１〜１１＿８の各レンズにおける色収差や歪み、光軸のずれをパラメータ化し、これらを各画像補正部１２＿１〜１２＿８に送信するようにしてもよい。

ちなみに、カメラ補正パラメータ供給部１３は、これらのパラメータを図示しないＲＯＭやＲＡＭへ格納しておくことにより、状況に応じて随時これらを参照することができ、高速な補正処理を実現することができる。またカメラ補正パラメータ供給部１３は、上記カメラ１１＿１〜１１＿８から画像が供給される度にこれらのパラメータを求めることにより、各画像補正部１２＿１〜１２＿８において精度の高い補正処理を実現することができる。

なお、本発明を適用した撮像システム１では、この画像補正部１２＿１〜１２＿８並びにカメラ補正パラメータ供給部１３からなる構成を省略してもよい。

マッチング部１４は、画像補正部１２＿１〜１２＿８において補正処理された各画像が供給される。マッチング部１４は、これら供給された各画像につき、互いに対応付けを行う。この対応付けは、撮影対象５を構成する同一の箇所を特徴点として抽出した場合にはかかる箇所にある画素位置と輝度成分を、互いに隣接するカメラにより撮像された画像間において対応をとるようにする。

例えば図３に示すように、カメラ１１＿１により撮像された画像Ｆｒ１上にある画素位置Ｐ１１に対して、カメラ１１＿２により撮像された画像Ｆｒ２上において同一の箇所に存在する画素位置Ｐ１１’をその対応点として特定する。同様に、画像Ｆｒ１上にある画素位置Ｐ１２に対して、画像Ｆｒ２上において同一の箇所に存在する画素位置Ｐ１２’をその対応点として特定する。

即ち、このマッチング部１４では、互いに隣接するカメラにより撮像された画像間において、撮影対象５と関連させつつ、画素位置毎に対応付けを行う。ちなみにマッチング部１４は、この対応付けにつき特徴抽出した画像領域に限定して実行してもよいし、全ての画像領域につき実行してもよい。

両眼位置推定部１５は、立体視ディスプレイ２０を視認するユーザの頭部における３次元的な位置やサイズを、当該立体視ディスプレイ２０との間で相対的に検出する。この両眼位置推定部１５は、例えばステレオ視方式やレンジファインダ方式に基づいてリアルタイムな位置検出を行う距離計測装置等により適用される。この両眼位置推定部１５は、検出したユーザの頭部における３次元的な位置やサイズに基づき、三次元空間座標の下、ユーザの左眼位置並びに右眼位置を推定する。この両眼位置の推定については、例えば、人間の頭部と両眼の相対的な位置関係に関する統計的な計測データを参照しつつリアルタイムに実行するようにしてもよい。

情報生成部１６は、両眼位置推定部１５において推定された、ユーザの左眼位置並びに右眼位置をパラメータ化した相対位置情報を生成し、これを仮想視点画像生成部１８へ送信する。

仮想視点画像生成部１８は、マッチング部１４により互いに対応付けされた画素位置並びにその輝度成分がそれぞれ入力される。また、仮想視点画像生成部１８は、互いに対応付けされた画素位置並びにその輝度成分から、情報生成部１６より生成された相対位置情報に応じて、新たに生成すべき左眼用視差画像並びに右眼用視差画像を構成する画素位置並びにその輝度成分を求める。仮想視点画像生成部１８は、求めた画素位置並びにその輝度成分により構成される左眼用視差画像並びに右眼用視差画像をそれぞれ表示制御部１９へ送信する。

表示制御部１９は、仮想視点画像生成部１８により生成された左眼用視差画像と右眼用視差画像につき、立体視ディスプレイ２０における表示方法に応じて、各画素位置における輝度レベル（ＲＧＢ）を割り当てる。

立体視ディスプレイ２０は、液晶パネル上に光学素子を組み合わせ、互いに異なる左眼用視差画像と右眼用視差画像を表示させる表示面であり、ユーザに対して専用眼鏡の着用を義務付ける必要がない点において優れている。このような複眼立体視を可能とする立体視ディスプレイ２０では、例えば図４(a)に示すようにパララックスバリア法に基づくダブルイメージスプリッタ方式を採用し、スリットを連続して並べた細い縦縞状のバリア板２５の裏側に左右両眼分の視差がある左眼用視差画像と右眼用視差画像とを交互に縦縞状に表示させる。これにより、ユーザは、左眼のみで左眼用視差画像を視認し、右眼のみに右眼用視差画像を視認することができるため、リアルな臨場感を感じることができ、３次元形状および３次元構造の前後関係を容易に認識することができる。

ちなみに、この立体視ディスプレイ２０は、ダブルイメージスプリッタ方式を採用する場合に限定されるものではなく、例えば、図４(b)に示すようなレンチキュラー方式を採用してもよい。このレンチキュラー方式では、左右両眼分の視差に応じて、鋭い指向性を持つレンチキュラー板２６を立体視ディスプレイ２０の表面に配設する。これによってもユーザは、左眼のみで左眼用視差画像を視認し、右眼のみに右眼用視差画像を視認することができるため、立体視が実現されることになる。

次に、この端末装置２における具体的な動作につき説明をする。

撮影対象５は、カメラ１１＿１〜１１＿８により互いに異なる視点から撮影される。その結果、カメラ１１＿１〜１１＿８により生成される撮影対象５を写した画像は、その輝度成分や各面の向き等が互いに異なる状態となる。

このカメラ１１＿１〜１１＿８からの画像は、それぞれ各画像補正部１２＿１〜１２＿８へ供給され、カメラ補正パラメータ１３により予め求められた各カメラ１１＿１〜１１＿８のレンズ歪みや画像中心等のパラメータに基づき、画像の歪みや画像中心がずれないように補正を行う。

例えば図５に示すように、カメラ１１＿１並びにカメラ１１＿２により3次元空間における既知の撮影対象５のＭ点撮像を行うと、各カメラ１１の撮像面に対して平行な画像がそれぞれ生成される。ここでカメラ１１＿１により生成された画像を画像Ｉ１とし、カメラ１１＿２により生成された画像を画像Ｉ２とする。画像補正部１２＿１並びに画像補正部１２＿２は、この生成された画像Ｉ１、画像Ｉ２につき、互いの画像面が平行となるように幾何学的正規化する。この幾何学的正規化は、カメラ補正パラメータ１３により予め求められた射影行列Ｐ１,Ｐ２を用いて、カメラ内部パラメータＡ１,Ａ２、回転行列Ｒ１,Ｒ２、転移行列Ｔ１,Ｔ２を推定することにより実現する。

その結果、画像Ｉ１は、画像Ｉ１’に変換され、また画像Ｉ２は、画像Ｉ２’に変換されることになる。この正規化された画像Ｉ１’と画像Ｉ２’の光軸は、互いに平行となり、また、これらは互いに同一平面上に位置することになる。

なお、カメラ１１＿３〜カメラ１１＿８により撮像された各画像についても各画像補正部１２＿３〜１２＿８において同様に幾何学的正規化される。また、これら各画像補正部１２＿１〜１２＿８において互いに平行な画像面となるように幾何学的正規化された画像Ｉ１’,Ｉ２’は、マッチング部１４へ供給される。

なお、この各画像補正部１２＿３〜１２＿８における補正処理を行うためのカメラパラメータ取得方法に関しては、例えば特開２０００−３５０２３９号公報や、特開平１１−５３５４９号公報に示されているカメラキャリブレーション手法をそのまま適用してもよい。

上述の如き正規化された画像Ｉ１’,Ｉ２’につき、このマッチング部１４において対応付けを行う場合において、例えば画像Ｉ１’のエピポーララインＬ１上にある画素ｍ１’の対応点については、画像Ｉ２’のエピポーララインＬ２上に存在することとなり、その直線Ｌ２上を探索することにより、対応点としての画素ｍ２’を検出することができる。

即ち、この画像Ｉ１’と画像Ｉ２’は、前段の画像補正部１２において幾何学的正規化が施されているため、各画素間の対応付けを効率よく行うことができる。これは、スキャンするエピポーララインＬ１上の各画素が、エピポーララインＬ２上の各画素に対応するため、各列に配された画素の対応付けは、Dynamic Programmingによる最短経路探索問題として解くことができるからである。このマッチング部１４では、画像間の輝度差ｄｇ（ｘ,ｙ）と、カラー情報の差異ｄＩ（ｘ,ｙ）を用いることにより、以下の式（１）で示されるマッチングコスト関数ＭＣ（ｘ,ｙ）を求める。
ＭＣ（ｘ,ｙ）＝(1−α)・ｄｇ（ｘ,ｙ）＋α・ｄＩ（ｘ,ｙ）・・・・・・（１）
ここで、αは、重み付け係数であり、０≦α≦１の値である。マッチング部１４では、この求めたマッチングコスト関数ＭＣ（ｘ,ｙ）に基づいて、対応点を検出することになるが、かかる場合において対応付け精度を更に向上させるべく、各補正処理部１２から入力される各画像に応じて、オクリュージョンコストを適切に調整するようにしてもよい。

即ち、本発明を適用した撮像システム１では、このマッチング部１４において上述したマッチング処理を実現するため、各画素間の対応付けを正確に、かつスムーズに行うことが可能となる。ちなみに、このマッチング部１４により互いに対応付けされた画素位置並びにその輝度成分は、それぞれ仮想視点画像生成部１８へ出力される。

仮想視点画像生成部１８では、互いに対応付けされた画素位置並びに、情報生成部１６から送信される相対位置情報ｋ（ここで０＜ｋ≦１とする）に基づき、以下に説明する方法に基づいて左眼用視差画像（右眼用視差画像）Ｉｖ’を構成する画素位置並びにその輝度成分を求める。例えばマッチング部１４において、図５に示すように、画像Ｉ１’上にある画素ｍ１’の対応点として、画像Ｉ２’上に存在する画素ｍ２’が特定されていた場合に、かかる画素ｍ１’の座標を（ｘ１,ｙ１）とし、また画素ｍ２’の座標を（ｘ２,ｙ２）とする。仮想視点画像生成部１８は、かかる画素ｍ１’,画素ｍ２’に対応する左眼用視差画像（右眼用視差画像）上の画素ｍｖ’の座標（ｘｔ,ｙｔ）を、相対位置情報ｋに基づいて以下の式（２）により決定することができる。
（ｘｔ,ｙｔ）＝ｋ×（ｘ１,ｙ１）＋（１−ｋ）×（ｘ２,ｙ２）・・・（２）
また画素ｍ１’,画素ｍ２’における輝度成分をそれぞれＪ１’, Ｊ２’としたときに、かかる左眼用視差画像（右眼用視差画像）上の画素ｍｖ’における輝度成分Ｐｔを以下の式（３）により決定することができる。

Ｐｔ＝ｋ×Ｊ１’＋（１−ｋ）×Ｊ２’・・・・・・（３）
このように仮想視点画像生成部１８は、左眼用視差画像（右眼用視差画像）を構成する各画素の座標並びにその輝度成分を、相対位置情報ｋに応じて決定することができる。

ちなみに相対位置情報ｋは、立体視ディスプレイ２０を視認するユーザの視点位置に応じて、以下の手順により生成されることになる。

図６(a)は、点線で示される撮影対象５に対する各カメラ１１の相対的な位置関係を、実線で示される立体視ディスプレイ２０に対するユーザの視点の位置関係にそのまま重ね合わせて表示したものである。立体視ディスプレイ２０では、この撮影対象５に対する各カメラ１１の光学中心の相対的な位置関係が、立体視ディスプレイ２０を視認するユーザの左眼、右眼の視点位置の位置関係に合致する場合のみ立体視が実現されることになる。

ここで、座標（０,０,０）上に位置する撮影対象５のＭ点へカメラ１１＿１〜１１＿８の光軸を合わせて撮像を行う場合に、これに立体視ディスプレイ２０の中心を重ね合わせることにより、その中心の座標が原点（０,０,０）に位置するように設定する。また両眼位置推定部１５により計測されたユーザの頭部位置の座標（ｘｎ,ｙｎ,ｚｎ）をこの原点座標（０,０,０）に基づき特定する。ちなみにユーザの頭部位置をいかに定義するかについては、撮像システム１側において任意に決定することができるが、例えば、ユーザの眉間中心を頭部位置として定義するようにしてもよい。

仮にユーザの頭部が位置Ａにあるとき、両眼位置推定部１５はその座標（ｘａ,ｙａ,ｚａ）を特定する。またユーザの頭部が位置Ｂにあるとき、両眼位置推定部１５はその座標（ｘｂ,ｙｂ,ｚｂ）を特定する。またユーザの頭部が位置Ｃにあるとき、両眼位置推定部１５はその座標（ｘｃ,ｙｃ,ｚｃ）をそれぞれ特定する。ちなみに両眼位置推定部１５は、かかる座標の特定と同時に、ユーザの頭部のサイズを同時に識別する。

両眼位置推定部１５は、これら特定したユーザの頭部位置（ｘｎ,ｙｎ,ｚｎ）の座標に基づき、ユーザの左眼位置並びに右眼位置を推定する。この推定は、例えば頭部位置Ａにつき特定した座標（ｘａ,ｙａ,ｚａ）と、識別したユーザ頭部のサイズに基づき、統計的な計測データを参照しつつ、図６(b)に示すように、ユーザの左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）を推定する。これにより、立体視ディスプレイ２０の中心座標（０,０,０）に基づいた左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）を相対的に求めることが可能となる。ちなみに、この左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）並びに右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）は、ユーザが任意の値に設定できるようにしてもよい。

ちなみに、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、それぞれ図６(a)の点線で示されるカメラ１１＿１〜１１＿８の光学中心に位置している場合には、かかるカメラから取得される画像をそのまま左眼用視差画像と右眼用視差画像とすれば立体視が実現されることになる。しかし、それ以外の場合には、撮影対象５に対する各カメラ１１の相対的な位置関係から外れることになり、ユーザによる立体視の実現が困難となる。

ここで、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、カメラ１１＿１〜１１＿８の光学中心以外に位置している場合であって、かつ図６(a)に示すカメラ１１間の光学中心を結ぶラインＬｃ上に位置している場合には、左眼用視差画像（右眼用視差画像）を構成することのみで、かかる位置関係の調整を図る。

例えば図７(a)に示すように、ユーザの頭部が位置Ｄにあり、また推定した左眼位置,右眼位置がそれぞれＶｃＬ１,ＶｃＲ１にあるとき、このＶｃＬ１,ＶｃＲ１に仮想的にカメラを設置して撮影対象５のＭ点（立体視ディスプレイ２０の中心座標（０,０,０）に相当する）を撮像した結果得られる画像が左眼用視差画像（右眼用視差画像）となるように調整する。

かかる場合において、情報生成部１６は、上述の如く両眼位置推定部１５により推定された左眼位置ＶｃＬ１,右眼位置ＶｃＲ１をそれぞれ取得する。そして、この取得した左眼位置ＶｃＬ１を仮想的にカメラを設置する仮想位置ＷＬ１とし、これを実際に撮影対象５との間で相対的な位置関係を保ちつつ設置されているカメラ１１＿１〜カメラ１１＿８の位置関係に当てはめる。同様にして、取得した右眼位置ＶｃＲ１を仮想的にカメラを設置する仮想位置ＷＲ１とし、これを実際に撮影対象５との間で相対的な位置関係を保ちつつ設置されているカメラ１１＿１〜カメラ１１＿８の位置関係に当てはめる。

例えば７(a)に示すように、左眼位置ＶｃＬ１,右眼位置ＶｃＲ１の双方がカメラ１１＿４、１１＿５の間にある場合に、情報生成部１６は、カメラ１１＿４、１１＿５に対する左眼位置ＶｃＬ１並びに右眼位置ＶｃＲ１の位置関係を相対的に識別し、これに応じた相対位置情報としてｋ_Ｌ１、ｋ_Ｒ１をそれぞれ生成する。この相対位置情報としてのｋ_Ｌ１は、仮想位置ＷＬ１が、カメラ１１＿４から１１＿５にかけてｋ_Ｌ１：１−ｋ_Ｌ１の位置にあることを意味している。同様に、この相対位置情報としてのｋ_Ｒ１は、仮想位置ＷＲ１が、カメラ１１＿４から１１＿５にかけてｋ_Ｒ１：１−ｋ_Ｒ１の位置にあることを意味している。即ち、この相対位置情報としてのｋ_Ｌ１、ｋ_Ｒ１が小さくなるにつれて、仮想位置ＷＬ１,仮想位置ＷＲ１はカメラ１１＿４に近づき、またこの相対位置情報としてのｋ_Ｌ１、ｋ_Ｒ１が大きくなるにつれて仮想位置ＷＬ１,仮想位置ＷＲ１はカメラ１１＿５に近づくことになる。

このため仮想視点画像生成部１８において、式（２）に基づいて決定される左眼用視差画像（右眼用視差画像）上の画素ｍｖ’の座標（ｘｔ,ｙｔ）は、仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ１１＿４に近づくにつれて（ｘ１,ｙ１）に近づき、また仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ１１＿５に近づくにつれて（ｘ２,ｙ２）に近づくことになる。

また、式（３）に基づいて決定される左眼用視差画像（右眼用視差画像）上の画素ｍｖ’における輝度成分Ｐｔは、仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ１１＿４に近づくにつれてＪ１’に近づき、また仮想位置ＷＬ１（仮想位置ＷＲ１）がカメラ１１＿５に近づくにつれてＪ２’に近づくことになる。

特に、カメラ１１＿４とカメラ１１＿５は互いに撮影方向が異なるため、座標（ｘｔ,ｙｔ）と、座標（ｘ２,ｙ２）との間では、輝度成分が互いに異なる。この互いに異なる輝度成分の何れか一方を最小値とし、他方が最大値となるようにして、相対位置情報としてのｋ（ｋ_Ｌ１,ｋ_Ｒ１）に応じて輝度成分Ｐｔを線形に増減させることにより、左眼用視差画像（右眼用視差画像）上の画素ｍｖ’の輝度成分を決定することが可能となる。

即ち、この仮想視点画像生成部１８は、撮影対象を互いに異なる視点で撮像した結果得られる複数枚の画像から、推定したユーザの左眼位置並びに右眼位置より生成された相対位置情報に応じて画像内挿を行うことにより、新たに左眼用視差画像（右眼用視差画像）を生成することができる。

得られた左眼用視差画像（右眼用視差画像）は、ＶｃＬ１（ＶｃＲ１）に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部１９を介して立体視ディスプレイ２０へ表示させることにより、推定した左眼位置,右眼位置ＶｃＬ１,ＶｃＲ１にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。このため、推定した左眼位置,右眼位置に応じた立体視を実現することができる。なお、識別したユーザの頭部位置が他のカメラ１１の間にくる場合においても同様の処理が実行されることになる。

図８は、これら左眼用視差画像（右眼用視差画像）の構成例につき示している。仮に撮影対象５が人物の顔である場合において、カメラ１１＿４,１１＿５においてこれを撮影する。かかる場合にカメラ１１＿４は、撮影範囲の右端付近において捉えた撮影対象５としての人物を撮像し、またカメラ１１＿５は、撮影範囲の左端付近において捉えた撮影対象５としての人物を、カメラ１１＿４と異なる視点から撮像することになる。その結果、カメラ１１＿４により撮像される画像は、図８に示すように右端付近において右側を向いている人物が示されている状態となり、またカメラ１１＿５により撮像される画像は、左端付近において左側を向いている人物が示されている状態となる。

相対位置情報としてのｋが小さい場合（ｋ１の場合）において、仮想位置ＷＬ１a（仮想位置ＷＲ１a）は、カメラ１１＿４により近くなる。またこの仮想位置ＷＬ１aにつき、上記（２）,（３）式から求められる左眼用視差画像（右眼用視差画像）は、カメラ１１＿４に近い内容となる。

また相対位置情報がｋ２からｋ４へと徐々に大きくなるにつれて、仮想位置は、ＷＬ１b（仮想位置ＷＲ１b）からＷＬ１d（仮想位置ＷＲ１d）へと、徐々にカメラ１１＿５へ近くなる。これに伴って、左眼用視差画像（右眼用視差画像）に示される画像は、右端付近から左端付近へ徐々に移り、また人物が向いている方向も右から左へ徐々に変化することになる。

ちなみに、この仮想視点画像生成部１８は、画像内挿を行う場合に限定されるものではない。例えば図７(a)に示すように、ユーザの頭部が位置Ｅにあり、また推定した左眼位置,右眼位置がそれぞれＶｃＬ２,ＶｃＲ２にあるときには、右眼用視差画像については、画像外挿を行うことにより生成してもよい。

次に、推定した左眼位置の座標（ｘａＬ,ｙａＬ,ｚａＬ）と、右眼位置の座標（ｘａＲ,ｙａＲ,ｚａＲ）が、ラインＬｃ上に位置してない場合における処理につき説明する。かかる場合において撮像システム１は、構成した左眼用視差画像（右眼用視差画像）の視野を拡大又は縮小することにより位置関係の調整を図る。

なお、本発明を適用した撮像システム１では、立体視ディスプレイ２０に対してユーザの視点位置が遠近方向に移動する場合においても立体視を実現させることができる。図７(b)に示すように、立体視ディスプレイ２０から左眼位置ＶｃＬ１,右眼位置ＶｃＲ１に至るまでの距離をｚとし、立体視ディスプレイ２０からラインＬｃに至るまでの距離をｚ_０とするとき、ｚ＜ｚ_０となるような位置Ｆにおいてユーザの頭部を識別した場合に、以下に説明する処理を実行する。

先ず、識別した位置Ｆに基づき推定した左眼位置,右眼位置がそれぞれＶｃＬ１,ＶｃＲ１にあるとき、このＶｃＬ１とＭ点を結ぶ延長線とラインＬｃとの交点をＶｃＬ１’とし、ＶｃＲ１とＭ点を結ぶ延長線とラインＬｃとの交点をＶｃＲ１’とする。そして、このＶｃＬ１’,ＶｃＲ１’に仮想的にカメラを設置して撮影対象５のＭ点（立体視ディスプレイ２０の中心座標（０,０,０）に相当する）を撮像した結果得られる画像が、左眼用視差画像（右眼用視差画像）となるように調整する。

かかる場合においても同様に、推定した左眼位置ＶｃＬ１’並びに右眼位置ＶｃＲ１’の双方がカメラ１１＿４、１１＿５の間にある場合に、情報生成部１６は、カメラ１１＿４、１１＿５に対する左眼位置ＶｃＬ１’並びに右眼位置ＶｃＲ１’の位置関係を相対的に識別し、これに応じた相対位置情報ｋを生成する。

次に、式（２）,（３）に基づき、相対位置情報としてのｋに応じて左眼用視差画像（右眼用視差画像）を生成する。得られた左眼用視差画像（右眼用視差画像）は、ＶｃＬ１’（ＶｃＲ１’）に仮想的にカメラを設置した結果得られる画像に相当する。

次にこれら左眼用視差画像（右眼用視差画像）をＶｃＬ１,ＶｃＲ１に仮想的にカメラを設置した結果得られる画像となるまで視野を拡大する。かかる場合において、両眼位置推定部１５は、上述した距離の比ｚ／ｚ_０に応じて左眼用視差画像（右眼用視差画像）を拡大する。ちなみにこの距離ｚの計測については、両眼位置推定部１９により、頭部位置を計測する時に実行してもよい。

この視野につき拡大された左眼用視差画像（右眼用視差画像）は、ＶｃＬ１（ＶｃＲ１）に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部１９を介して立体視ディスプレイ２０へ表示させることにより、推定した左眼位置ＶｃＬ１,右眼位置ＶｃＲ１に仮想的にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。このため、推定した左眼位置,右眼位置に応じた立体視を実現することができる。

ここで図７(c)に示すように、ｚ＞ｚ_０となるような位置Ｇにおいてユーザの頭部を識別した場合には、以下に説明する処理を実行する。

先ず、識別した位置Ｆに基づき推定した左眼位置,右眼位置がそれぞれＶｃＬ１,ＶｃＲ１にあるとき、このＶｃＬ１とＭ点を結ぶ線とラインＬｃとの交点をＶｃＬ１’とし、ＶｃＲ１とＭ点を結ぶ線とラインＬｃとの交点をＶｃＲ１’とする。そして、このＶｃＬ１’,ＶｃＲ１’に仮想的にカメラを設置して撮影対象５のＭ点（立体視ディスプレイ２０の中心座標（０,０,０）に相当する）を撮像した結果得られる画像が左眼用視差画像（右眼用視差画像）となるように調整する。

かかる場合においても同様に、推定した左眼位置ＶｃＬ１’,右眼位置ＶｃＲ１’の双方がカメラ１１＿４、１１＿５の間にある場合に、情報生成部１６は、カメラ１１＿４、１１＿５に対する左眼位置ＶｃＬ１’並びに右眼位置ＶｃＲ１’の位置関係を相対的に識別し、これに応じた相対位置情報ｋを生成する。

次に、式（２）,（３）に基づき、相対位置情報としてのｋに応じて左眼用視差画像（右眼用視差画像）を生成する。得られた左眼用視差画像（右眼用視差画像）は、ＶｃＬ１’（ＶｃＲ１’）に仮想的にカメラを設置した結果得られる画像に相当する。

次にこれら左眼用視差画像（右眼用視差画像）をＶｃＬ１,ＶｃＲ１に仮想的にカメラを設置した結果得られる画像となるまで視野を縮小する。かかる場合において、両眼位置推定部１５は、上述した距離の比ｚ／ｚ_０に応じて左眼用視差画像（右眼用視差画像）を縮小する。

この視野につき縮小された左眼用視差画像（右眼用視差画像）は、ＶｃＬ１（ＶｃＲ１）に仮想的にカメラを設置した結果得られる画像に相当する。これらを表示制御部１９を介して立体視ディスプレイ２０へ表示させることにより、推定した左眼位置ＶｃＬ１,右眼位置ＶｃＲ１に仮想的にカメラを設置した結果得られる画像を左眼用視差画像,右眼用視差画像として出力することができる。このため、推定した左眼位置,右眼位置に応じた立体視を実現することができる。

即ち、本発明を適用した撮像システム１では、ユーザの視点がラインＬｃ上に位置してない場合においてもこれに応じた左眼用視差画像（右眼用視差画像）の視野の拡大、縮小を行うことができる。これにより、立体視ディスプレイ２０を視認するユーザの視点位置に支配されることなく、視差のズレを高精度かつスムーズに解消することができるため、ユーザに対して自然な立体画像を常時提供することが可能となる。

特に本発明を適用した撮像システム１では、有限の固定視点のカメラ１１＿１〜１１＿８から、無限数の視点における画像情報を理論上得ることができるため、相対的に少ないカメラ数を用いて左眼用視差画像（右眼用視差画像）の生成が可能となり、システム全体の大幅な小型化、低コスト化を図ることができる。

ちなみに視野の拡大や縮小を行う場合には、図９に示す撮像システム２の構成を採用するようにしてもよい。この撮像システム２において、図１に示す撮像システム１と同一の構成については説明を省略するが、仮想視点画像部１８から出力された左眼用視差画像（右眼用視差画像）の視野の拡大、縮小を施すための倍率処理部２１が新たに設けられる。この倍率処理部２１は、情報生成部１６から、距離ｚ、ｚ_０に関する情報を受信し、これに応じて上述した視野の拡大や縮小を行う。

なお、本発明を適用した撮像システム１は、上述した実施の形態に限定されるものではなく、立体視ディスプレイ２０のバリア板２５の背面において、光学素子の配置方法にバリエーションを持たせるようにしてもよい。

ダブルイメージスプリッタ方式を採用する立体視ディスプレイ２０では、複眼立体視を可能とする専用眼鏡の役割をディスプレイ側に持たせることにより、立体視を実現するものであるが、ユーザの視点位置によっては、交互に縦縞状に表示される左眼用視差画像と右眼用視差画像をそれぞれ左眼、右眼のみで視認できない場合もある。かかる不都合を防止すべく、スリットの間隔に応じて配置する光学素子の間隔や配置数等を調整するようにしてもよい。

また、本発明を適用した撮像システム１は、少なくともカメラ１１＿１〜１１＿８を含む撮像装置と、この撮像装置から例えばインターネット網を介したネットワークを介して信号を受信し、少なくとも両眼位置推定部１５,情報生成部１６,仮想視点画像生成部１８,表示制御部１９を含む電子機器とにより構成されていてもよい。即ち、撮像システム１全体をネットワークを介して分割構成することにより、例えば放送局側に配設された撮像装置により撮影対象５を撮像し、これを各家庭に設けられた電子機器へネットワークを介して配信するサービスを提供することができる。ちなみに、マッチング部１４の構成については、撮像装置側に設けるようにしてもよいし、電子機器側に設けるようにしてもよい。

本発明を適用した撮像システム１における構成につき示す図である。 撮影対象５に対するカメラの配設例につき説明するための図である。 マッチング部における対応付けにつき説明するための図である。 立体視ディスプレイの構成につき説明するための図である。 撮像した画像間につき幾何学的正規化を施す例につき説明するための図である。 両眼位置推定部における動作につき説明するための図である。 ユーザの視点位置に応じて仮想的にカメラを設置する例につき説明するための図である。 左眼用視差画像（右眼用視差画像）の構成例につき説明するための図である。 視野の拡大や縮小を行う撮像システムの構成につき説明するための図である。 立体視を実現する例につき説明するための図である。 従来技術の問題点につき説明するための図である。

符号の説明

１ 撮像システム、５ 撮影対象、１１ カメラ、１２ 画像補正部、１３ カメラ補正パラメータ供給部、１４ マッチング部、１５ 両眼位置推定部、１６ 情報生成部、１８ 仮想視点画像生成部、１９ 表示制御部、２０ 立体視ディスプレイ

Claims (14)

1. 撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段と、
   上記撮像手段における各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
   表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、
   上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、
   上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを備えること
   を特徴とする撮像装置。
2. 上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを、さらに上記相対位置情報に応じて拡大又は縮小する画像サイズ調整手段を備え、
   上記表示制御手段は、上記画像サイズ調整手段によりサイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させること
   を特徴とする請求項１記載の撮像装置。
3. 上記表示画面は、立体視ディスプレイであり、
   上記表示制御手段は、上記画像サイズ調整手段により調整された左眼用視差画像と右眼用視差画像と上記立体視ディスプレイ上に表示させること
   を特徴とする請求項２記載の撮像装置。
4. 少なくとも上記各カメラ間の幾何学的な位置関係に基づき、上記撮像手段により撮像された画像を補正する画像補正手段をさらに備えること
   を特徴とする請求項１記載の撮像装置。
5. 撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像ステップと、
   上記各カメラにより撮像した各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、
   表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成ステップと、
   上記マッチングステップにおいて互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成ステップと、
   上記画像生成ステップにおいて生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示ステップとを有すること
   を特徴とする撮像方法。
6. 上記画像生成ステップにおいて生成された左眼用視差画像と右眼用視差画像とを、さらに上記相対位置情報に応じて拡大又は縮小する画像サイズ調整ステップを有し、
   上記表示ステップでは、上記画像サイズ調整ステップにおいてサイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させること
   を特徴とする請求項５記載の撮像方法。
7. 上記表示ステップでは、サイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面としての立体視ディスプレイ上に表示させること
   を特徴とする請求項６記載の撮像方法。
8. 少なくとも上記各カメラ間の幾何学的な位置関係に基づき、上記各カメラにより撮像された画像を補正する画像補正ステップをさらに有すること
   を特徴とする請求項５記載の撮像方法。
9. 撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段と、上記撮像手段における各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段とを有する撮像装置と、
   表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記撮像装置におけるマッチング手段からネットワークを介して受信した互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを有する電子機器とを備えること
   を特徴とする撮像システム。
10. 上記電子機器は、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを、さらに上記相対位置情報に応じて拡大又は縮小する画像サイズ調整手段を有し、
    上記表示制御手段は、上記画像サイズ調整手段によりサイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させること
    を特徴とする請求項９記載の撮像システム。
11. 上記表示画面は、立体視ディスプレイであり、
    上記表示制御手段は、上記画像サイズ調整手段により調整された左眼用視差画像と右眼用視差画像と上記立体視ディスプレイ上に表示させること
    を特徴とする請求項１０記載の撮像システム。
12. 上記撮像装置は、少なくとも上記各カメラ間の幾何学的な位置関係に基づき、上記撮像手段により撮像された画像を補正する画像補正手段をさらに有すること
    を特徴とする請求項９記載の撮像システム。
13. 撮影対象を互いに異なる視点から撮像する複数のカメラを含む撮像手段を有する撮像装置と、
    上記撮像装置におけるマッチング手段からネットワークを介して受信した各カメラにより撮像された各画像間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、表示画面を視認するユーザの左眼位置並びに右眼位置を当該表示画面との関係において相対的に識別した相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、左眼用視差画像と右眼用視差画像とをそれぞれ生成する画像生成手段と、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させる表示制御手段とを有する電子機器とを備えること
    を特徴とする撮像システム。
14. 上記電子機器は、上記画像生成手段により生成された左眼用視差画像と右眼用視差画像とを、さらに上記相対位置情報に応じて拡大又は縮小する画像サイズ調整手段を有し、
    上記表示制御手段は、上記画像サイズ調整手段によりサイズ調整された左眼用視差画像と右眼用視差画像とを上記表示画面上に表示させること
    を特徴とする請求項１３記載の撮像システム。
    

Images