JP2010181826A - 立体画像形成装置 - Google Patents

Abstract

【課題】良好な全周囲立体画像を形成すること。
【解決手段】被写体からの光を鏡面上で反射する複数のミラーを有する全方位ミラー光学系２０と、全方位ミラー光学系２０からの反射像を撮影して撮影画像を出力するカメラ１０と、撮影画像から、左目用部分画像領域と右目用部分画像領域を切り出して選択する領域切出部１２０と、選択された左目用部分画像領域および右目用部分画像領域を合成して、左目用画像と右目用画像とからなる立体画像を生成する画像合成部１４０、１５０と、を設けた。これにより、全周囲画像を一度に一目で立体視観察することを容易に実現でき、かつ、被写体の方向と奥行き位置とを含む３次元位置を直感的に観察者が認識でき、注意すべき被写体の奥行き関係が理解しやすい全周囲パノラマ立体表示を実現できる。
【選択図】図１３

Description

本発明は、観察者が全周囲画像全体を一度に立体視ができ、全周囲の被写体状況を直感的に認識しやすい表示画像を得ることができるパノラマ立体画像形成装置に関するものである。

従来のパノラマ画像の立体表示システムの第１の例として、図１に示すように、左右眼に対応する２台のカメラ１０−１、１０−２を水平に並べて三脚１１に固定し、２台のカメラ１０−１、１０−２を同時に図中矢印で示す水平方向に回転させることで、各カメラ１０−１、１０−２によって、図２に示すように、横長の横方向３６０度視野のパノラマ画像を得、２つの横方向３６０度視野のパノラマ画像の一部又は全体を用いてパノラマ立体表示画像を実現する。実際には、カメラ１０−１により得られた左目用パノラマ画像と、カメラ１０−２により得られた右目用パノラマ画像とを用いて、全周囲立体表示を実現する。立体表示の方式としては、例えば、時分割立体表示方式、偏光立体表示方式、眼鏡無しレンチキュラレンズ方式など多種のものが存在する（例えば非特許文献１参照）。２台のカメラ１０−１，１０−２の代わりに、特許文献１に記載されたような１台のステレオカメラ（鏡を用いて左右視差のある立体画像を撮影できるカメラ）を水平方向に回転することで、全周囲立体画像を得ることも可能である。また例えば特許文献２に記載された方法のように、隣接するカメラどうしの視野が重複するように多数のカメラを円周上に配置して同時に撮影することにより、パノラマ（全周囲）立体画像を得ることも可能である。

また、従来のパノラマ画像の立体表示システムの第２の例として、１８０度視野の魚眼レンズを装着した２台の魚眼カメラで撮像した画像を、そのまま観察する方法がある。
特開平７−９８２０５号公報 特表２００２−５１１２２１号公報 ３次元画像の基礎、ＮＨＫ放送技術研究所編、オーム社、１９９５ 小嶋ほか「視差検出フィルタによる狭基線長全方位ステレオ」、画像の認識・理解シンポジウム（ＭＩＲＵ２００７）、２００７年７月 M.Yamada et al, "An improved Sight-line displacement analyzer and its application to TV program production",SMPTEJournal Vol.99, No.1, pp.16-26,1990年

しかしながら、上記第１の例のような全周囲立体画像の場合、撮像画像のアスペクト比が極端に横長であるため、全周囲画像の全体を通常の４：３や１６：９アスペクトの立体ディスプレイに表示する場合に、画像サイズが小さくなるので、詳細な画像の観察及び把握が困難である。また、全周囲の撮像画像の一部を表示し、順次横スクロールする方法もあるが、この方法を用いた場合には、現在どの方向を見ているのかを直感的に把握することが困難である。

また、上記第２の例のような１８０度視野の魚眼ステレオカメラの場合、片方の眼用のカメラレンズそのものが他方の眼用のカメラ撮像領域を隠してしまうので、全周囲の画像を一度に確認することが困難である。

本発明は、かかる点を考慮してなされたものであり、全周囲画像を一度に一目で立体視観察することを容易に実現でき、かつ、被写体の方向と奥行き位置とを含む３次元位置を直感的に観察者が認識でき、注意すべき被写体の奥行き関係が理解しやすい全周囲パノラマ立体表示を実現できる立体画像形成装置を提供する。

本発明の立体画像形成装置の一つの態様は、被写体からの光を鏡面上で反射する複数の鏡と、前記複数の鏡面の反射像を撮影して撮影画像を出力する撮影手段と、前記撮影手段から出力された撮影画像から、左目用部分画像領域と右目用部分画像領域を切り出して選択する選択手段と、前記選択された左目用部分画像領域および右目用部分画像領域を合成して、左目用画像と右目用画像とからなる立体画像を生成する合成手段と、を具備する構成を採る。

本発明によれば、全周囲画像を一度に一目で立体視観察することが容易に実現され、被写体の方向と被写体の奥行き位置とを含む被写体の３次元位置を直感的に観察者が認識でき、注意すべき被写体の奥行き関係が理解しやすい全周囲パノラマ立体表示を実現することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
（１）原理
先ず、本実施の形態の立体画像形成装置における、撮像光学系及び信号処理系（撮像信号合成部）の原理について説明する。

本実施の形態の一つ特徴は、複数のミラーを有する全方位ミラー光学系の鏡面の反射像を撮影して撮影画像を得、かつ、各ミラーの反射像による撮像画像から左目用部分画像領域と右目用部分画像領域とを切り出して選択し、かつ、選択された左目用部分画像領域および右目用部分画像領域を合成して、左目用画像と右目用画像とからなる全周囲立体画像を生成することである。

図３及び図４に、本実施の形態で使用するパノラマ立体画像を撮像する撮影光学系の概略を示す。図３は光学系正面図、図４は光学系側面図である。なお、図４の側面図は、図３をミラー［3］側から見たものであり、実際にはミラー［4］とミラー［2］の間に、ミラー［3］が存在するが、図及び説明を簡単化するために、これを省略して示してある。

本実施の形態で使用する撮像光学系は、全方位（全周囲）のパノラマ画像を得るためのものなので、以下、全方位ミラー光学系と呼ぶことにする。全方位ミラー光学系２０は複数の凸ミラー［1］〜［5］を有する。各ミラー［1］〜［5］は、半球状であり、表面にミラー面が形成されている。中心のミラー［5］はメインミラーであり、その周囲にメインミラー［5］よりも小さいサブミラー［1］〜［4］が等間隔で配置されている。なお、各ミラー［1］〜［5］は完全な半球面でなくてもよく、円錐面、双曲面や放物面などであってもよい。またサブミラーの数も４つに限らない。要は、本発明で使用する全方位ミラー光学系は、複数のミラーを用いて全方位（パノラマ）画像を取得でき、かつ、同一の物体の像を２つ以上のミラーにて反射させることができる、形状、配置及び数のミラーを設けたものであればよい。

図４に示すように、本実施の形態では、全方位ミラー光学系２０の前面側に配置されたカメラ１０によって、全方位ミラー光学系２０から反射された被写体像を撮像することにより、複数視点の全周囲画像を一度に撮影する。これにより、視差のある全周囲画像を取得することができる。

ここで、全方位ミラー光学系２０を用いた、被写体の３次元位置の測定方法が、非特許文献２に記載されている。この被写体の３次元位置の測定は、図５に示したように、各ミラーに映っているポイントの座標値のずれを計算することで行われる。つまり、図５において、人物Ａ１の３次元位置は、各ミラー［4］,［5］の人物Ａ１の像位置Ａ１−１、Ａ１−２から導出され、人物Ａ２の３次元位置は、各ミラー［2］,［5］の人物Ａ２の像位置Ａ２−１、Ａ２−２から導出される。

３次元位置の具体的な算出方法について、図６を用いて簡単に説明する。図６において、物体から各ミラーＡ，Ｂの焦点ｐ，ｐ’に向かって引いた光線ｕ、ｕ’と、ミラーＡ，Ｂの表面との交点をｍ，ｍ’’とし、ミラーＡ，Ｂへの平行光線（物体が無限遠にある場合）と、ミラーＡ，Ｂの表面との交点をｍ，ｍ’とする。図４のように、カメラ１０でこれらのミラーＡ，Ｂを撮影した時の撮像面（撮影画像に相当）への、これらの交点ｍ，ｍ’，ｍ’’の投影点をｘ，ｘ’’，ｘ’とする。この時、ｘ’とｘ’’のずれ量δを算出することによって、被写体（物体）の位置を計測できる。

このずれ量δが、本実施の形態での視差となる。つまり、本実施の形態では、全方位ミラー光学系２０を用いることにより生じる撮像面でのずれ量δが視差となることを有効に利用して、視差のある全周囲画像を取得するようになっている。

次に、天井から床面に向かって撮像するように全方位ミラー光学系２０を天井に設置した場合の被写体の映り方を説明する。

５つのミラー［1］〜［5］のうち適切な２つを選び、この２つのうち一方のミラーに映った像を左目用画像として用い、他方のミラーに映った像を右目用画像として用いる。図７は、被写体である人物Ａ，Ｂ，Ｃ，Ｄがミラーに映った像を模式的に示したものである。同図においては、ミラー[1]〜[5]に映る人物は、ミラーの中心と人物とを結ぶ線が水平と垂直の場合を示している。

人物Ａはミラー[1]とミラー[5]に映る。このとき、ミラー[1]に映った人物Ａの像におけるミラー中心から像までの距離（例えば人物Ａの頭位置までの距離）[1]Ａと、ミラー[5]に映った人物Ａの像におけるミラー中心から像までの距離[5]Ａとは、異なる。この違いが視差となる。なお、図中の黒点は各ミラーの中心を示す。

実際に、ミラー[1]と[5]の映像を、片方の画像を解像度変換して大きさを合わせ、立体画像表示装置で観察者の左右眼に独立して提示した場合、これは垂直視差となり人間が観察しても奥行きを知覚することはできない。なぜならば、人間は水平視差に関して奥行きを知覚し、垂直視差からは奥行きを殆ど知覚できないからである。

人物Ａの場合、水平視差を生むのはミラー[2]と[4]、ミラー[2]と[5]、またはミラー[5]と[4]の組み合わせのいずれかである。ミラー[2]と[4]の場合は、ミラーサイズが同じなので解像度変換無しで立体画像用の左右画像とすることができるが、ミラー[2]と[5]、またはミラー[5]と[4]の組み合わせの場合は、ミラーサイズが異なるため、ミラー[5]の画像サイズを下げるか、ミラー[2]、[4]のサイズを上げるような画像解像度変換が必要となる。解像度変換は、画像サイズを下げる場合には例えば画素の間引き処理によって、画像サイズを上げる場合は例えば画素の補間処理によって、実現できる。

ここで実際には、図８に示したように、人物Ａは必ずしも垂直方向に存在するわけではないので、回転成分を持ち、ミラー[2]、[4]における人物Ａの視差は水平のみではなく、垂直視差も生じる。因みに、人物とミラーの距離が大きくなるほど、垂直視差が小さくなるので、この距離がある程度大きくなれば、人間の両眼融合範囲内となり、問題なく立体視観察できる。

人物Ｂの場合、ミラー[5]と[2]が水平視差（距離[5]Ｂと距離[2]Ｂの長さの違い）を生むため、どちらかのミラーの画像の解像度変換を行うことで画像の大きさを合わせた後、左右画像として使用することができる。ミラー[1]と[3]の組み合わせの場合は、垂直視差となるので、この方向のままでは立体視することはできない。

人物Ａの場合と同様に、人物Ｃの場合、立体画像として観察できる水平視差を生むミラーの組み合わせは、ミラー[4]と[2]、ミラー[4]と[5]、またはミラー[5]と[2]のいずれかである。但し、ミラー[4]と[5]、ミラー[5]と[2]の組み合わせの場合は、前述と同様に画像大きさを一致させるために解像度変換が必要となる。

人物Ｂの場合と同様に、人物Ｄの場合、立体画像として観察できる水平視差を生むミラーの組み合わせは、ミラー[4]と[5]となる。この場合も、画像大きさを一致させるために解像度変換が必要となる。

次に、人物が斜め位置に存在する場合について、図８を用いて説明する。図８に示す位置に存在する人物Ａを撮像した場合、ミラー[1]と[2]、ミラー[1]と[5]、ミラー[5]と[2]が、立体画像表示のための左右画像組み合わせ候補となる。図に示すようにミラー[1]と[2]に映った画像は、回転成分も生ずるので、水平視差だけでなく垂直視差も生じる。実際には、水平及び垂直のずれのみではなく回転成分も生じるので、これらの組み合わせの画像をそのまま用いて立体画像表示装置によって観察者に左右独立に提示しても、正常な立体視観察はできない。

このように、複数の反射ミラーを有する全方位ミラー光学系を用いると、画像の各領域それぞれにおいて画像歪みが水平視差以外の成分を有し、さらに画像の各領域において視差成分が変化し、観察者がそのまま全周囲パノラマ映像を見ても両眼融合できない。すなわち、歪み補正前の全方位画像のままでは垂直視差成分が多く、立体表示することが困難である。この結果、全方位画像をそのまま立体観察することは困難であり、全体を一度に確認することは困難である。

以上説明したように、１つのカメラと複数のミラーとを用いて全周囲立体画像を取得しようとすると、サブミラーの設置位置が人間の眼の配置（水平）に対して同じにならない場合があるため、その場合はそのままの画像を立体画像表示しても垂直視差成分が生じたり、画像の各領域において水平視差が変化してしまい、正常な立体視を実現することができない。

そこで、本実施の形態においては、次の処理を行う。
（ｉ）立体画像表示装置に入力する左右画像について、観察者にとって垂直視差が発生せず、なるべく水平視差のみの画像になるように、全周囲画像の領域毎になるべく水平視差のみによる左右画像を用意できるミラーの画像を選択して領域抽出を行う。
（ｉｉ）その後、解像度変換・大きさ変換を行うことで左右画像の大きさを合わせる。
（ｉｉｉ）さらに、垂直視差が残存する組み合わせのミラー画像を左右画像として用いた場合には、垂直視差の許容量以下まで片方の画像を垂直移動することにより、立体視可能な状態にする。具体的には、残存する垂直視差をそれぞれの領域の中心付近で０になるように画像を平行移動すると好ましい。垂直移動量は、予め想定される被写体存在範囲を求め、その中央値や平均値を用いた値を採用すればよい。あるいは、後述のように観察者が観察している画像領域の被写体の垂直視差を測定し、その垂直視差が０になるように垂直移動量を設定してもよい。

また、観察者の両眼融合範囲内に水平視差を設定したり、水平視差の領域毎の急激な変化を抑圧するために、画像を水平方向に平行移動してもよい。

このように、本実施の形態においては、上記（ｉ）〜（ｉｉｉ）の処理を行うことにより、すなわち、各ミラーから最適な領域を選択し、画像切り出しを行い、それを組み合わせた上で解像度変換と水平・垂直移動処理と行うことにより、全方位ミラー光学系を用いて撮像された画像から右目用・左目用の全周画像を得る。

図９を用いて、上述したような、各ミラーから最適な領域を選択し、画像切り出しを行い、それを組み合わせた上で解像度変換と水平・垂直移動処理と行う場合における、最適領域の組み合わせ方の一例を説明する。図９に示すように、被写体の存在領域をα、β、γ、ε、δ、λ、τ、ωに分ける。

領域ωまたは領域εに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[4]の反射像を用い、右目用画像（Ｒ）としてミラー[2]の反射像を用いる。この場合、どちらか一方（もしくは両方）を水平移動することで、観察者の両眼融合範囲内にこの領域ω、εそれぞれの被写体の水平視差が入るようにしてもよい。因みに、領域ωまたは領域εを“遠方のみ”としたのは、全方位ミラー光学系２０に近い領域では、ミラー[4]とミラー[2]の反射像を用いようとしても、ミラー［1］やミラー［2］が障害となってこれらの反射像を得ることができないためである。

領域αに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[1]の反射像を用い、右目用画像（Ｒ）としてミラー[2]の反射像を用いる。この場合、どちらか一方（もしくは両方）を垂直移動することで、観察者の両眼融合範囲内にこの領域αの被写体の垂直視差が入るようにする。

領域βに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[5]の反射像を用い、右目用画像（Ｒ）としてミラー[2]の反射像を用いる。この場合、どちらか一方（もしくは両方）を水平移動することで、観察者の両眼融合範囲内にこの領域βの被写体の水平視差が入るようにしてもよい。また、ミラー[5]またはミラー[2]の画像どちらかを解像度変換し、それぞれの被写体画像の大きさを一致させる必要がある。

領域γに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[3]の反射像を用い、右目用画像（Ｒ）としてミラー[2]の反射像を用いる。この場合、どちらか一方（もしくは両方）を垂直移動することで、観察者の両眼融合範囲内にこの領域γの被写体の垂直視差が入るようにする。

領域δに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[4]の反射像を用い、右目用画像（Ｒ）としてミラー[3]の反射像を用いる。この場合、どちらか一方（もしくは両方）を垂直移動することで、観察者の両眼融合範囲内にこの領域δの被写体の垂直視差が入るようにする。

領域λに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[4]の反射像を用い、右目用画像（Ｒ）としてミラー[5]の反射像を用いる。この場合、どちらか一方（もしくは両方）を水平移動することで、観察者の両眼融合範囲内にこの領域λの被写体の水平視差が入るようにしてもよい。また、ミラー[4]またはミラー[5]の画像どちらかを解像度変換し、それぞれの被写体画像の大きさを一致させる必要がある。

領域τに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[4]の反射像を用い、右目用画像（Ｒ）としてミラー[1]の反射像を用いる。この場合、どちらか一方（もしくは両方）を垂直移動することで、観察者の両眼融合範囲内にこの領域τの被写体の垂直視差が入るようにする。

さらに、各領域（α、β・・・）毎で水平視差量が大きく変化してしまい、領域間が凸凹な奥行き形状にならないように、隣接する領域それぞれにおいて水平視差があまり異ならないように各領域における画像をそれぞれ水平移動することにより水平視差を調整してもよい。これによって、全周囲立体画像全体を立体視観察した場合の観察者にとっての領域毎の奥行き不均一感を低減することができる。

次に、左目用画像及び右目用画像を形成するにあたって、どのミラーのどの領域からの反射像を切り出して選択するかについて、図１０、図１１、図１２の例を用いて説明する。

図１０は、カメラ１０から全方位ミラー光学系２０を見た場合の、各ミラー[1]〜[5]への領域α、β、γ、ε、δ、λ、τ、ωの映り方の様子を示す。換言すれば、各領域α、β、γ、ε、δ、λ、τ、ωに存在する被写体がカメラ１０の撮像面に投影された際の、撮像画像の様子を示すものである。

図１１は、図１０の撮像画像から、最適な領域を選択し切り出して形成した、左目用画像（図１１Ａ）と、右目用画像（図１１Ｂ）の様子を示す。

図１２は、左目用画像（図１１Ａ）と右目用画像（図１１Ｂ）との対応関係を分かり易く示したものである。ここで、各領域の境界部については、ぼかし変換を施す、コントラストを下げる、または、領域画像をある程度離して配置することにより、領域切り替わり部分で発生する画像の不整合（不連続）を抑圧できる。この結果、立体感の不連続による違和感を低減でき、全周囲映像の、どの領域の映像でも観察者が正常な立体視を行うことができるようになる。

（２）構成及び効果
図１３に、上述した方法により全周囲立体画像を形成する立体画像形成装置の構成を示す。

立体画像形成装置１００は、全方位ミラー光学系２０をカメラ１０で撮像し、撮像画像を映像取込部１１０に入力する。映像取込部１１０は撮像画像をデジタルデータに変換し、領域切出部１２０に出力する。

ここで映像取込部１１０に入力される撮像画像は、図１０に示すような配置となっており、領域切出部１２０はこの撮像画像からそれぞれ左目用（Ｌ）及び右目用（Ｒ）のα領域画像、β領域画像、γ領域画像、ε領域画像、δ領域画像、λ領域画像、τ領域画像、ω領域画像を切り出すと共に、切り出した領域の画像を上述した規則に従って左目用画像合成部１４０または右目用画像合成部１５０に出力する。

左目用画像合成部１４０は、領域切出部１２０から入力した画像を合成することで、図１１Ａに示すような左目用画像を形成し、これを立体画像表示装置１６０に出力する。右目用画像合成部１５０は、領域切出部１２０から入力した画像を合成することで、図１１Ｂに示すような右目用画像を形成し、これを立体画像表示装置１６０に出力する。

また、領域切出部１２０と画像合成部１４０、１５０との間には、画像シフト・解像度変換部１３０が設けられ、画像シフト・解像度変換部１３０は、垂直移動回路（Ｖシフタ）、水平移動回路（Ｈシフタ）、解像度変換回路を用いて、これらの処理が必要な領域画像に対して適宜、垂直移動処理、垂直移動処理、解像度変換処理を施す。

図１４に、垂直移動回路（Ｖシフタ）の構成例を示す。垂直移動回路は、左目用画像（Ｌ）を垂直シフト回路２０１−１および水平視差検出部２０２に入力する。垂直移動回路は、右目用画像（Ｒ）を垂直シフト回路２０１−２および水平視差検出部２０２に入力する。水平視差検出部２０２は、左目用画像（Ｌ）と右目用画像（Ｒ）における同一対象の画素位置の差分に基づいたステレオマッチング計算などにより、水平視差を検出し、検出結果を垂直シフト量計算部２０３に出力する。垂直シフト量計算部２０３は、水平視差に基づいて係数を乗算すること等により垂直シフト量を計算し、垂直シフト回路２０１−１及び又は垂直シフト回路２０１−２のシフト量を調整することで、左目用画像（Ｌ）と右目用画像（Ｒ）との垂直視差を０にする。ここで、本実施の形態では、各ミラー［1］〜［5］の位置関係が水平方向および垂直方法で対象形なので、水平視差と垂直視差は比例関係にあり、垂直シフト量計算回路２０３は、水平視差から垂直シフト量を計算できる。なお、水平視差検出部２０２を省略して、水平視差検出と同様な計算手法を用いることにより、垂直シフト量計算部２０３で垂直シフト量を直接計算してもよい。また、垂直シフト回路は、左目用画像（Ｌ）または右目用画像（Ｒ）のいずれか一方のみに設けてもよい。

なお、図１３では、メインミラー［5］の解像度を下げることで、メインミラー［5］の画像サイズをサブミラー［1］〜［4］の画像サイズに合わせる構成となっているが、サブミラー［1］〜［4］の解像度（構成する画素数）を上げることで、サブミラー［1］〜［4］の画像サイズをメインミラー［5］の画像サイズに合わせる構成としてもよい。このようにすると、図１３の構成と比較して、解像度変換部の構成が複雑化するが、表示画像の画質を上げることができる。

このようにして、左目用画像合成部１４０および右目用画像合成部１５０において、全周囲の領域をカバーし、かつ、水平視差のみを有する左目用画像および右目用画像が形成される。

立体画像表示装置１６０は、左目用画像および右目用画像を、例えば時分割立体表示方式、偏光立体表示方式、眼鏡無しレンチキュラレンズ方式等を用いて表示することで立体視を実現する。

以上説明したように、本実施の形態によれば、被写体からの光を鏡面上で反射する複数のミラーを有する全方位ミラー光学系２０と、全方位ミラー光学系２０からの反射像を撮影して撮影画像を出力するカメラ１０と、撮影画像から、左目用部分画像領域と右目用部分画像領域を切り出して選択する領域切出部１２０と、選択された左目用部分画像領域および右目用部分画像領域を合成して、左目用画像と右目用画像とからなる立体画像を生成する画像合成部１４０、１５０と、を設けたことにより、全周囲画像（歪み補正前の画像）を一度に一目で立体視観察することを容易に実現でき、かつ、被写体の方向と奥行き位置とを含む３次元位置を直感的に観察者が認識でき、注意すべき被写体の奥行き関係が理解しやすい全周囲パノラマ立体表示を実現できる。

（３）変形例１
上述した実施の形態では、メインミラー［5］の周囲に４つのサブミラー［1］〜［4］を配置した全方位ミラー光学系２０を用いた場合について説明した。ここでは、図１５に示したように、メインミラー［17］の周囲に６つのサブミラー［11］〜［16］を配置した全方位ミラー光学系を用いた場合について説明する。

この場合、領域をＩ、II、III、IVの４つに分ける。この場合は、ミラーの選択により顕著な垂直視差は発生しない設定が可能である。

領域Iに存在する被写体に対しては、右目用にミラー[12]の反射像、左目用にミラー[17]の反射像を用いる。また、ミラー[12]か[17]の画像どちらかを解像度変換し、それぞれの被写体画像の大きさを一致させる必要がある。さらに、この場合、どちらか一方（もしくは両方）を水平移動することで、観察者の両眼融合範囲内にこの領域Iでの被写体の水平視差が入るようにしてもよい。領域IIIはこれと対称方向であり、右目用にミラー[17]の反射像、左目用にミラー[15]の反射像を用い、それ以外は領域Iと同様の処理を行えばよい。

領域IIに存在する被写体に対しては、左眼用にミラー[14]の反射像、右目用にミラー[13]の反射像を用いる。領域IVに存在する被写体に対しては、左目用にミラー[16]の反射像、右目用にミラー[11]の反射像を用いる。そして、左目用画像または右目用画像のどちらか一方（もしくは両方）を水平移動することで、観察者の両眼融合範囲内にこの領域II，IVでの被写体の水平視差が入るようにしてもよい。

図１６に、各ミラー領域の中で、選択される部分を示す。図中、[11]−IVなどのように、記号を記入してある部分が選択される可能性のある領域である。

図１７に、最適な領域を選択し切り出して形成した、左目用画像（図１７Ａ）と、右目用画像（図１７Ｂ）の様子を示す。

以上のようにすることにより、周辺に４つのミラーを配置した全方位ミラー光学系［1］〜［4］を用いた場合と同様に、周囲に６つのミラー［11］〜［16］を配置した全方位ミラー光学系を用いた場合においても、立体画像を形成することができる。

（４）変形例２
実施の形態と同様の処理を、全方位ミラー光学系２０及びカメラ１０に換えて、魚眼レンズを用いた複眼カメラを用いて実現することもできる。

この場合の各カメラの配置を、図１８に示す。図１８Ａはカメラ配置を示す斜視図、図１８Ｂは正面図、図１８Ｃは側面図である。なお、図１８Ｃの側面図は、実際にはカメラ［5］の手前側にカメラ［4］が存在するが、便宜上これを省略して示してある。

各カメラ［1］〜［5］は、魚眼レンズを用いて、１８０度の視野を持つ撮像画像を撮像するようになっている。この場合、図１９に示すように、各カメラ［1］〜［5］は、１８０度の視野を持つため、隣接するレンズが視野に入り（障害となって）、全ての視野をカバーすることができない。そこで、カメラ[5]を他のカメラ［1］〜［4］よりも少し前方に配置する。このようにすることで、カメラ[5]の周辺視野を確保し、その視野を活用することで、全周囲の立体画像視野を得るようにする。

信号処理に関しては、ミラー［1］の反射像に対する処理と同様の領域切出等の処理をカメラ［1］により撮像された画像に対して行い、ミラー［2］の反射像に対する処理と同様の領域切出等の処理をカメラ［2］により撮像された画像に対して行い、ミラー［3］の反射像に対する処理と同様の領域切出等の処理をカメラ［3］により撮像された画像に対して行い、ミラー［4］の反射像に対する処理と同様の領域切出等の処理をカメラ［4］により撮像された画像に対して行い、ミラー［5］の反射像に対する処理と同様の領域切出等の処理をカメラ［5］により撮像された画像に対して行い、さらに、切り出した画像を実施の形態と同様に合成することで、左右眼用の全周囲立体画像を作成することができる。

（実施の形態２）
実施の形態１においては、３６０度全方位の全周囲画像についての立体画像を得る方法を提示したが、本実施の形態では、全周囲画像の一部を表示する場合について説明する。

全周囲画像の一部を表示するようにする場合は、撮像領域によって表示方向が異なるため、各ミラーや領域選択、平行移動や解像度変換処理の適用方法が実施の形態１とは異なる。

例えば、図２０Ａ（１８０度視野の左目用画像）、図２０Ｂ（１８０度視野の右目用画像）のように、全周囲ではなくω方向（つまり垂直方向）を中心とした１８０度分のパノラマ画像を表示する場合、表示する場合の水平方向が図１１と同じなので、実施の形態１と同様の処理により、立体画像用の左右眼用画像を得ることができる。

これに対し、注目すべき被写体がβ領域方向に存在する場合、すなわち被写体が図７の人物Ｂの場合、図２１Ａ（１８０度視野の左目用画像）、図２１Ｂ（１８０度視野の右目用画像）のように、β領域が観察者にとって上になるように表示画像を配置すべきである。すなわち、実施の形態１の場合に対して、左９０度画像を回転させる。そのため、水平・垂直視差の扱いが実施の形態１とは異なる。

具体的には、図２１Ａ、図２１Ｂに示すように、領域βに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[1]の反射像を用い、右目用画像（Ｒ）としてミラー[3]の反射像を用いる。この場合、どちらか一方（もしくは両方）を水平移動することで、観察者の両眼融合範囲内にこの領域βそれぞれの被写体の水平視差が入るようにしてもよい。

領域γに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[2]の反射像を用い、右目用画像（Ｒ）としてミラー[3]の反射像を用いる。この場合、どちらか一方（もしくは両方）を垂直移動することで、観察者の両眼融合範囲内にこの領域γの被写体の垂直視差が入るようにする。

領域εに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[5]の反射像を用い、右目用画像（Ｒ）としてミラー[3]の反射像を用いる。この場合、どちらか一方（もしくは両方）を水平移動することで、観察者の両眼融合範囲内にこの領域εの被写体の水平視差が入るようにしてもよい。また、ミラー[5]またはミラー[3]の画像どちらかを解像度変換し、それぞれの被写体画像の大きさを一致させる必要がある。

領域ωに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[1]の反射像を用い、右目用画像（Ｒ）としてミラー[5]の反射像を用いる。この場合、どちらか一方（もしくは両方）を水平移動することで、観察者の両眼融合範囲内にこの領域ωの被写体の水平視差が入るようにしてもよい。また、ミラー[1]またはミラー[5]の画像どちらかを解像度変換し、それぞれの被写体画像の大きさを一致させる必要がある。

領域αに存在する被写体に対しては、左眼用画像（Ｌ）としてミラー[1]の反射像を用い、右目用画像（Ｒ）としてミラー[2]の反射像を用いる。この場合、どちらか一方（もしくは両方）を垂直移動することで、観察者の両眼融合範囲内にこの領域αの被写体の垂直視差が入るようにする。

（実施の形態３）
ここまでの実施の形態においては、斜め方向の被写体領域（実施の形態１では領域α、γ、δ、τ）において、それぞれの領域での画像の垂直移動のみでは、領域全体での垂直視差を０にすることはできない。

そこで、本実施の形態では、図２２に示すように観察者の注視点を検出し、注視点の垂直視差が０になるように実時間で画像を平行移動させる。これにより、垂直視差知覚による立体視妨害を抑圧することができる。

ところで、観察者が見る画像は、注視している領域近辺のみの解像度が高く、それ以外の周辺視野は解像度が低くなる。このため、周辺視野での垂直視差の融合範囲が広く、多少の垂直視差があっても両眼立体視に弊害は少ない。

本実施の形態では、この特性を利用して、画像領域における注視点の位置を検出し、注視点における垂直視差が０になるように左右眼用の画像の片方もしくは両方を平行移動する。このようにすることにより、各領域すべての位置での垂直視差を０にしなくても、観察者にとって違和感が少なく、立体視を可能とすることができる。

以上の処理は、領域α、γ、δ、τについて特に有効であるが、垂直視差を含む他の領域に適用してもよい。

図１４との対応部分に同一符号を付して示す図２３に、本実施の形態の垂直移動回路（Ｖシフタ）の構成例を示す。視線検出装置３０１によって観察者の注視点を検出する。注視領域判定部３０２は、注視点がα、β、γ、ε、δ、λ、τ、ωのどの領域に属するか、さらに領域内のどの部分に存在するか（注視点の位置）を判定する。注視領域判定部３０２は、注視点が属する領域の左目用画像（Ｌ）および右目用画像（Ｒ）と注視点の位置とを出力する、これにより、続く、水平視差検出部２０２、垂直シフト量計算部２０３および垂直シフト回路２０１−１、２０１−２の処理によって、注視点に対応する画像位置の垂直視差が０とされる。

また、注視点が属する領域に関して、注視点を含む小領域のみに対し垂直シフトの処理を施し、注視点を含む小領域以外には施さないようにすることも可能である。

なお、視線検出装置３０１による注視点の検出については、例えば非特許文献３に記載されている方法を用いて実現することが可能である。

（他の実施の形態）
なお、上述の実施の形態では、図４に示したように、全方位ミラー光学系２０の正面側にカメラ１０を配置した場合について述べたが、図２４に示すように、全方位ミラー光学系２０の背面側にカメラ１０を配置してもよい。この場合、全方位ミラー光学系２０の正面側に反射ミラー２１を設けると共に、メインミラー［5］に反射ミラー２１からの反射光を通過させるスルーホール２２を形成する。これにより、全方位ミラー光学系２０の正面側にカメラ１０を配置した場合と同様の撮像画像を取得することができる。但し、このようにすれば、一般に反射ミラー２１よりも大きいカメラ１０を被写体の方向に配置しなくて済むので、カメラ１０が邪魔にならないので良好である。

本発明は、良好な全周囲立体画像を形成することができ、例えば監視システム等に適用可能である。

左右眼に対応する２台のカメラを水平に並べてパノラマ画像を取得する例を示す図 横方向３６０度視野のパノラマ画像を示す図 実施の形態で用いる全方位ミラー光学系の構成を示す正面図 実施の形態で用いる全方位ミラー光学系の構成を示す側面図 被写体像が全方位ミラー光学系を介してカメラに入射される様子を示す図 全方位ミラー光学系を用いた、被写体の３次元位置の算出方法の説明に供する図 被写体である人物Ａ，Ｂ，Ｃ，Ｄがミラーに映った像を模式的に示した図 垂直視差の説明に供する図 各ミラーから最適な領域を選択し、画像切り出しを行い、それを組み合わせた上で解像度変換と水平・垂直移動処理と行う場合における、最適領域の組み合わせ方の一例を示す図 カメラから全方位ミラー光学系を見た場合の、各ミラーへの領域α、β、γ、ε、δ、λ、τ、ωの映り方の様子を示す図 最適な領域を選択し切り出して形成した、左目用画像（図１１Ａ）と、右目用画像（図１１Ｂ）の様子を示す図 左目用画像と右目用画像との対応関係を分かり易く示した図 本発明の実施の形態１に係る立体画像形成装置の構成を示す図 垂直移動回路（Ｖシフタ）の構成例を示す図 メインミラーの周囲に６つのサブミラーを配置した全方位ミラー光学系を示す図 各ミラー領域の中で、選択される部分を示す図 最適な領域を選択し切り出して形成した、左目用画像（図１７Ａ）と、右目用画像（図１７Ｂ）の様子を示す図 魚眼レンズを用いた複眼カメラの配置を示す図であり、図１８Ａは斜視図、図１８Ｂは正面図、図１８Ｃは側面図 視野妨害領域を示す図 注目すべき被写体がω領域方向に存在する場合における、図２０Ａは１８０度視野の左目用画像、図２０Ｂは１８０度視野の右目用画像を示す図 注目すべき被写体がβ領域方向に存在する場合における、図２１Ａは１８０度視野の左目用画像、図２１Ｂは１８０度視野の右目用画像を示す図 観察者の注視点の説明に供する図 実施の形態３の垂直移動回路（Ｖシフタ）の構成例を示す図 全方位ミラー光学系の背面側にカメラを配置した様子を示す図

１０、１０−１、１０−２ カメラ
２１ 反射ミラー
［1］〜［5］、［11］〜［17］ ミラー
１００ 立体画像形成装置
１１０ 映像取込部
１２０ 領域切出部
１３０ 画像シフト・解像度変換部
１４０ 左目用画像合成部
１５０ 右目用画像合成部
１６０ 立体画像表示装置
２０１−１、２０１−２ 垂直シフト回路
２０２ 水平視差検出部
２０３ 垂直シフト量計算部
３０１ 視線検出装置
３０２ 注視領域判定部

Claims (11)

1. 被写体からの光を鏡面上で反射する複数の鏡と、
   前記複数の鏡面の反射像を撮影して撮影画像を出力する撮影手段と、
   前記撮影手段から出力された撮影画像から、左目用部分画像領域と右目用部分画像領域を切り出して選択する選択手段と、
   前記選択された左目用部分画像領域および右目用部分画像領域を合成して、左目用画像と右目用画像とからなる立体画像を生成する合成手段と、
   を有する立体画像形成装置。
2. 前記選択手段は、
   前記撮影画像に撮影されている第１の鏡面画像から左目用の部分画像領域を選択し、
   前記撮影画像に撮影されている第２の鏡面画像から右目用の部分画像領域を選択し、
   前記合成手段は、
   前記左目用の部分画像領域と前記右目用の部分画像領域とが垂直視差を有する場合、前記左目用の部分画像領域と前記右目用の部分画像領域の少なくともいずれか一方を垂直移動することにより、前記垂直視差を減少させて、前記立体画像を合成する、
   請求項１記載の立体画像形成装置。
3. 前記立体画像を観察する観察者の注視点を検出する注視点検出手段をさらに備え、
   前記合成手段は、
   前記左目用の部分画像領域または前記右目用の部分画像領域内に含まれる前記注視点の垂直視差を減少させるように、前記左目用の部分画像領域と前記右目用の部分画像領域の少なくともいずれか一方の垂直移動量を決定する、
   請求項２記載の立体画像形成装置。
4. 前記選択手段は、
   前記撮影画像に撮影されている第１の鏡面画像から左目用の部分画像領域を選択し、
   前記撮影画像に撮影されている第２の鏡面画像から右目用の部分画像領域を選択し、
   前記合成手段は、
   前記左目用の部分画像領域と前記右目用の部分画像領域とが所定値を超える水平視差を有する場合、前記左目用の部分画像領域と前記右目用の部分画像領域の少なくともいずれか一方を水平移動することにより、前記水平視差を減少させて、前記立体画像を合成する、
   請求項１記載の立体画像形成装置。
5. 前記選択手段は、
   前記撮影画像に撮影されている第１の鏡面画像から左目用の第１の部分画像領域および左目用の第２の部分画像領域を選択し、
   前記撮影画像に撮影されている第２の鏡面画像から右目用の第１の部分画像領域および右目用の第２の部分画像領域を選択し、
   前記合成手段は、
   前記左目用の第１の部分画像領域と前記右目用の第１の部分画像領域との第１の水平視差と、前記左目用の第２の部分画像領域と前記右目用の第２の部分画像領域との第２の水平視差と、が異なる値を有する場合に、前記左目用の第１、第２の部分画像領域、前記右目用の第１、第２の部分画像領域のうちの少なくとも一つの部分画像領域を水平移動することにより、前記第１の水平視差と前記第２の水平視差との差分を減少させて、前記立体画像を合成する、
   請求項１記載の立体画像形成装置。
6. 前記選択手段は、
   前記撮影画像に撮影されている第１の鏡面画像から左目用の部分画像領域を選択し、
   前記撮影画像に撮影されている第２の鏡面画像から右目用の部分画像領域を選択し、
   前記合成手段は、
   前記左目用の部分画像領域と前記右目用の部分画像領域とで同一の被写体が異なる画素数で表現されている場合に、前記左目用の部分画像領域と前記右目用の部分画像領域の少なくともいずれか一方の解像度を変換することにより、前記同一の被写体に関する画像数の違いを減少させて、前記立体画像を合成する、
   請求項１記載の立体画像形成装置。
7. 前記複数の鏡はそれぞれ全周囲の物体の光を反射する凸面鏡であり、
   前記画像合成手段は、前記選択手段によって選択された左目用の部分画像領域および右目用の部分画像領域を合成して、左目用の全周囲画像と右目用の全周囲画像とからなる全周囲立体画像を生成する、
   請求項１ないし６のいずれか一項に記載の立体画像形成装置。
8. 前記複数の鏡はそれぞれ全周囲の物体の光を反射する凸面鏡であり、
   前記画像合成手段は、前記選択手段によって選択された左目用の部分画像領域および右目用の部分画像領域を合成して、扇形である左目用の部分周囲画像と扇形である右目用の部分周囲画像とからなる部分周囲立体画像を生成する、
   請求項１ないし６のいずれか一項に記載の立体画像形成装置。
9. 前記複数の鏡は、第１の凸面鏡と、前記第１の凸面鏡の周囲に配置され前記第１の凸面鏡よりも小さい第２の凸面鏡とから構成され、
   さらに前記第１の凸面鏡および前記第２の凸面鏡による反射像を反射する第３の鏡を備え、
   前記撮影手段は、前記第３の鏡の鏡面画像を撮影する、
   ことを特徴とする請求項７または８記載の立体画像形成装置。
10. 前記選択手段は、
    前記複数の鏡と前記被写体との位置関係と、前記合成手段によって合成されるべき前記立体画像と観察者との位置関係とに基づいて、前記左目用部分画像領域と前記右目用部分画像領域を切り出して選択する、
    ことを特徴とする請求項１ないし９のいずれか一項に記載の立体画像形成装置。
11. 複数の魚眼レンズによる被写体の撮影画像を出力する撮影手段と、
    前記複数の魚眼レンズによる撮影画像の画像領域から左目用の部分画像領域と右目用の部分画像領域を選択する選択手段と、
    前記選択された部分画像領域を合成して、左目用の全周囲画像と右目用の全周囲画像とを生成する画像合成手段と、
    を有することを特徴とする立体画像形成装置。

Images