JP2006054503A - 画像生成方法および装置 - Google Patents

Abstract

【課題】 撮像対象物までの距離が遠近いずれの場合にも鮮明な画像として撮像し、視点変換処理した場合でも像の歪みの極めて小さい空間モデルを貼り付けた変換画像を構成する。
【解決手段】 車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置である。前記撮像手段をステレオカメラユニット１２で構成するとともに前記ステレオカメラユニット１２対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニット１２の左右もしくは上下の異なる側の片側視野画像情報を用いて取得する。
【選択図】 図１

Description

本発明は画像生成方法および装置に係り、特に複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示する際、生成画像に歪みのない表示ができるようにした画像生成方法および装置に関する。

一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。

しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラ画像を１つのモニタに分割表示するものや、特許文献２に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものがある。また、特許文献３に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成して、任意の視点による合成画像を表示するようにしたものもある。

特許文献３に開示されている方法では、複数のカメラによる画像のデータを、一元的に取り込み、既知情報などにより生成した三次元の空間モデルを生成し、ここに、この取得した画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素の情報を対応付けてマッピングを行い、空間データを作成する。このようにして、独立したすべてのカメラからの画像を１つの三次元空間内の点として対応付けた後に、現実のカメラの視点ではなく任意の仮想の視点からみた視点変換画像を生成して表示する。このような視点変換画像表示方法によれば、画像精度を低下させることなく監視領域の全体が１つの任意の視点で表示され、監視したい領域を任意の視点で確認できる利点がある。

ところで、視点変換画像に移動物体や（例えば車両周囲の）障害物などを空間モデルとして貼り付ける場合には、上記従来方法では、距離情報を得て、距離に応じた画像上の位置に衝立状の垂直平面的な空間モデルを設定する方法が採用されている。空間モデルに距離情報がない場合、これを視点変換画像に貼り付けると、空間モデルが歪んでしまい、実際の障害物等を表す画像としては視認が極めて困難な表示となってしまう。そのため、距離情報を取得しつつ、ステレオカメラによる撮像によって三次元形状に復元して貼り付けるようにすればよいが、各ステレオカメラにおける基線長（カメラ対の光軸間距離）が固定的であるので、対象物までの距離によっては画像が粗くなり、精度が高い表示ができない問題があった。

なお、ステレオカメラで被写体を撮像して一対の画像の相関を求めて、同一物体に対する視差からステレオカメラの設置位置や焦点距離等のカメラパラメータを用いて三角測量の原理によって距離を求め画像処理に利用している例もある（特許文献４）。
特開平０５−３１００７８号公報 特開平１０−１６４５６６号公報 特許第３２８６３０６号公報 特開平５−１１４０９９号公報

本発明は、上記従来の問題点に着目し、ステレオカメラを利用した撮像手段を用いて立体的に視点変換画像を構成する場合、撮像対象物までの距離が遠近いずれの場合にも鮮明な画像として撮像することができ、しかも、視点変換処理した場合でも像の歪みの極めて小さい空間モデルに画像を貼り付けた変換画像を構成することができる画像生成方法および装置を提供することを目的とする。

すなわち、本発明は、複数の撮像手段により距離画像データを取得する際に、ディストーションなどのパラメータ、解像度、歪み補正の精度などが、単体のステレオカメラに極めて近似した画像処理を行うことで、単体のステレオカメラと同様の処理方法で、組み合わせカメラでのステレオマッチングを行えるので、プログラム、あるいは処理回路構成を簡略化することができる画像生成方法および装置を提供することを目的とするものである。

上記目的を達成するために、本発明に係る画像生成方法は、車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの左右もしくは上下の異なる側の片側視野画像情報を組み合わせて用いることを特徴としている。

また、本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段をステレオカメラユニットで構成するとともに前記ステレオカメラユニット対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、当該撮像カメラ切替手段は前記ステレオカメラユニットの左右もしくは上下の異なる側の片側視野を組み合わせた撮像を行わせるように切替可能に構成した。

また、本発明は、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体による短基線長画像の撮像とステレオカメラユニット対の組合せステレオカメラによる長基線長画像の撮像を切替える撮像カメラ切替手段を設け、当該撮像カメラ切替手段は前記ステレオカメラユニットの左右もしくは上下の異なる側の片側視野同士を組み合わせた撮像を行わせるように切替可能とし、前記ステレオカメラユニット単体による画像情報と前記組合せステレオカメラによる画像情報とから画像生成を可能とした構成としてもよい。
上記画像生成装置では、前記ステレオカメラユニットはステレオアダプタと結像光学系を有する撮像手段による分割画像を取得可能とすることができる。

本発明は、画像生成方法として、１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの左右もしくは上下の異なる側の片側視野画像情報を組み合わせて用いて取得するようにしてもよい。

さらに、本発明は、画像生成装置として、特に、１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段をステレオカメラユニットで構成するとともに前記ステレオカメラユニット対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、当該撮像カメラ切替手段は前記ステレオカメラユニットの左右もしくは上下の異なる側の片側視野を組み合わせた撮像を行わせるように切替可能に構成することができる。

また、１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体による短基線長画像の撮像とステレオカメラユニット対の組合せステレオカメラによる長基線長画像の撮像を切替える撮像カメラ切替手段を設け、当該撮像カメラ切替手段は前記ステレオカメラユニットの左右もしくは上下の異なる側の片側視野同士を組み合わせた撮像を行わせるように切替可能とし、前記ステレオカメラユニット単体による画像情報と前記組合せステレオカメラによる画像情報とから画像生成を可能とすることができる。

上記画像生成装置にて、前記撮像手段として撮像手段配置物体に所定の形態で配置されたものを適用できる。また、前記撮像手段は、撮像手段配置物体に所定の形態で配置されたものであることを特徴としている。

また、前記撮像手段は撮像手段配置物体に所定の形態で配置させればよい。前記ステレオカメラユニットはステレオアダプタと結像光学系を有する撮像手段により分割画像を取得できるようにしてもよい。

上記構成によれば、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの左右もしくは上下の異なる側の片側視野画像情報を用いて取得するように構成しているので、左右もしくは上下の異なる側の分割画面を用いることで、レンズによる歪曲収差（ディストーション）が単体のステレオカメラユニットの場合と近似した画像が得られる。

このため、取得した画像のレクティフィケーションを行い、歪み補正するアルゴリズムを単体のステレオカメラユニットの画像と、ステレオカメラユニットの対による画像とで共通化し、わずかなパラメータの変更で処理することができる。したがって、例えば、ハードウェアとしてレクティフィケーション処理を行うＡＳＩＣなどを構成した際に回路規模を減らすことができる。また、ソフトウェアとして処理する際にも、共通の補正関数を用いることができるので、プログラムをより簡潔に記載できメモリの削減などに効果がある。

また、長基線長側の空間モデルの生成において、ステレオカメラユニットを用いた画像中の分割された視野で左右もしくは上下の異なる側の片側画像を切り出して、空間モデルを生成するためのステレオペア画像として用いられる。空間再構成装置には短基線長の空間モデルと、長基線長の空間モデルが入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される。

以下に、本発明に係る画像生成方法および装置の最良の実施形態を、図面を参照しつつ、詳細に説明する。
図１は実施形態に係る画像生成装置のシステム構成ブロック図であり、図２は実施形態に適用されるステレオカメラユニットの断面図であり、図３は複数のステレオカメラユニットの撮像範囲を示す図であり、図４は実施形態に係る画像生成装置を車両１０に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。

このシステムの基本的な構成は、撮像手段としての複数のステレオカメラユニット１２と、このステレオカメラユニット１２によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための視点変換画像の生成／表示装置１４から構成されている。ここで、図１〜３において、各ステレオカメラユニット１２や後述する受光部１８などの付記号を前後カメラ群の識別のＦとＲ、左右ステレオカメラの識別記号のＬとＲ、及びステレオカメラユニット１２における左右受光部１８の識別記号のＬとＲとを順次付記する。

まず、図２に示すように、本実施形態では左右視野の歪み方が異なるミラー型のステレオカメラユニット１２を用いている。ステレオカメラユニット１２はケーシング１６の中央に結像レンズ１７を配置し、その前方に偏向ミラープリズム２１と、この偏向ミラープリズム２１を中心として左右２枚の偏向ミラー２２を設置した構成としている。また、結像レンズ１７を通じて入力した撮像光を撮像信号として受信する撮像素子２０がケーシング１６背面の中央部に配置されており、撮像素子２０の左右領域にて、それぞれ左右の前記偏向ミラー２２からの被写体映像を結像させるようになっている。２３は取得した分割画像を示す。

これにより、２視点からの画像を左右の受光部１８Ｒ，１８Ｌを介して光路分割手段となる偏向ミラー２２ならびに偏向ミラープリズム２１で折り曲げ、一つの結像レンズ１７に入射させ、被写体１９をステレオ撮像することができる。

この実施形態では、複数のステレオカメラユニット１２において、ステレオ視するカメラユニットを変更することで基線長を変更できるように構成されている。すなわち、図１に示しているように、個々のステレオカメラユニット１２における左右一対の各受光部１８Ｒ，１８Ｌ間の光軸が互いに平行となるように設定されており、その光軸間距離である基線長Ｌ１は固定長となっている。

これに対し、左右のステレオカメラユニット１２ＦＲ、１２ＦＬ両者の左右異なる側にある片側受光部１８ＦＲＲ、１８ＦＬＬを用い、ステレオ視する際の受光部１８ＲＲ、１８ＬＬのほぼ光軸間距離（ステレオカメラユニット１２の離間距離、実際にはキャリブレーションにより算出されるカメラパラメータの一つである）であるＬ２を基線長としてステレオ撮像できるようにしている。

さらに、図３に示すように、上下間で光軸が平行となるように配置したステレオカメラユニット１２Ｈ、１２Ｌの両者の上下の異なる側にある片側受光部１８ＨＲ、１８ＬＬ（または１８ＨＬ、１８ＬＲ）を用い、ステレオ視する際の受光部１８ＨＲ、１８ＬＬの光軸間距離（ステレオカメラユニット１２の離間距離）であるＬ３を基線長としてステレオ撮像できるようにしている。基線長Ｌ２及びＬ３は前述した基線長Ｌ１よりは長いので、これを長基線長Ｌ２及びＬ３として、単一のステレオカメラユニット１２Ｒ（又は１２Ｌ）によってステレオ視する際の基線長Ｌ１（相対的にＬ１は短基線長となる）よりは長くしたステレオ画像を取得できる。これは後述する撮像カメラ切替手段を設け、一対のステレオカメラユニット１２における左右もしくは上下の異なる側の片側視野から撮像させるようにしている。また、同図の２６ａ，２６ｂ，２６ｃは短基線長Ｌ１の撮像範囲を示し、２７ａ，２７ｂはステレオカメラユニット１２Ｒ，１２Ｌの受光部１８ＬＬ，１８ＲＲによる長基線長Ｌ２の撮像範囲を示し、２７ｂ，２７ｃはステレオカメラユニット１２Ｈ，１２Ｌの受光部１８ＨＲ，１８ＬＬによる長基線長Ｌ３の撮像範囲を示す。このように、各ユニット間（上下あるいは左右）の基線長を平行に設置することにより、長基線長撮像が可能となる。

また、図１に示しているように、各ステレオカメラユニット１２の片側受光部による撮像領域が破線扇形として示され、それらの重合部分が短基線長のステレオ視に基づく近距離のステレオ撮像領域（ハッチング部分）となる。図中２４はステレオカメラユニット１２ＦＲによる近距離時使用画像の撮像領域を示す。

一方、同図１に実線扇形で示しているように、対をなしているステレオカメラユニット１２ＦＲ、１２ＦＬにおける左右異なる側の片側受光部１８ＦＲＲ、１８ＦＬＬを組み合わせて臨時のステレオカメラユニットを構成すれば、それら撮像領域である実線扇形の重合部分が長基線長のステレオ視に基づく遠距離の撮像領域となる。図中２５は左側受光部１８ＦＲＲ、１８ＦＬＬを組み合わせた臨時のステレオカメラユニットによる遠距離時使用画像の撮像領域（ハッチング部分）を示す。対のステレオカメラユニット間の基線長Ｌ２は、ステレオカメラユニット１２単体の基線長Ｌ１よりも長く、ステレオカメラユニット１２単体では明瞭とならない遠距離の測距が可能となる。

図４に示すように、撮像手段配置物体としての車両１０の前後部には、撮像手段としてのステレオカメラユニット１２を複数装備している。この図示の例では、車両１０の前部に前方カメラ群１２Ｆ（１２ＦＲ、１２ＦＬ）が装備されている。また、車両の後部にも、撮像手段としての後方カメラ群１２Ｒ（１２ＲＲ、１２ＲＬ）が装備されている。この実施形態では、前後カメラ群１２Ｆ，１２Ｒからの画像データを取り込むための画像選択装置２８（２８Ｆ、２８Ｒ）が設けられ、運転席近傍に設けられた視点変換画像生成／表示装置１４からの画像選択コマンドを受け、必要画像を選択して画像情報として視点変換画像生成／表示装置１４に返すように構成されている。データ送受信は例えば車内ＬＡＮ回線を通じて行うようにしても良い。

この画像選択装置２８には、各ステレオカメラユニット１２から画像データが通信制御装置（図示せず）を介して送信されてくる。各ステレオカメラユニット１２から取得すべき画像データは、設定される仮想視点によって決定するので、画像選択装置２８は設定された仮想視点に対応する画像データを取得するようにしている。画像選択装置２８によって任意のステレオカメラユニット１２から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段での画像合成処理に利用される。

視点変換画像の生成／表示装置１４における基本的な処理は、各撮像手段の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。

このシステムでは、各ステレオカメラによる撮影画像データ単位にＩＤを付加し、タイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませるようにしている。これによって、各ステレオカメラユニット１２から送られる画像データにはＩＤが付され、かつタイムスタンプ、その他の撮影情報が含まれた状態でバッファ装置から視点変換合成画像生成／表示装置１４に連続的にパケット送信されるようになっている。

画像データ等が送られてくる視点変換画像生成／表示装置１４においては、撮像カメラ切替手段となる画像選択装置２８によって、視点変換に応じて複数のステレオカメラユニット１２の切替えを行うとともに、撮影対象物の遠近によりステレオカメラユニット１２による短基線長での撮像と、ステレオカメラユニット１２の対の組合せで構成されるステレオカメラによる長基線長での撮像とを切替える。さらに、長基線長の場合には一対のステレオカメラユニット１２における左右もしくは上下の異なる側の視野の組み合わせとなるステレオペアを切替える。

上述したステレオカメラ撮像画像はＩＤ付き画像データ単位でパケット通信によってカメラバッファに一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１４は、複数のステレオカメラユニット１２からの撮像画像をＩＤ情報に基づいて時系列に整理して、それを時系列に記憶する実写画像データ記憶装置３０を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませ、必要に応じて三次元空間に貼り付ける画像データ相互の調整を行うようにしている。

また、当該実施形態に係るシステムを搭載した車両１０には、移動障害物までの距離を測定する測距装置４６を設けている。この測距装置４６は、本実施形態ではレーザレーダやミリ波レーダなどによる測距と、ステレオ撮像による測距とを併用しても良い。レーダ４４による計測は送信信号と反射信号との時間差により計測する通常システムを用いれば良い。また、ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像データが生成され、記憶装置４７に格納される。

さらに、視点変換画像生成／表示装置１４には、空間モデル生成装置４８が設けられている。空間モデル生成装置４８は、画像データ、測距装置４６による距離画像データ、キャリブレーションデータを用いて空間モデルを生成するようにしている。

キャリブレーション装置５０は三次元の実世界に配置された撮像手段（ステレオカメラユニット１２）についての、その三次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとして記憶装置５２に格納される。

したがって、前記空間モデル生成装置４８は、画像データ、距離画像データ、並びにキャリブレーションデータを用いて空間モデルを生成する。生成した空間モデルはその記憶装置５４に格納される。

選択的に取り込まれた画像データの各画素は、空間再構成装置３２にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置３４に一旦記憶するようにしている。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。

視点変換手段となる視点変換装置３６は、空間再構成装置３２の空間データ記憶装置３４の画像データを任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記三次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。これによって、新たな変換視点から見た画像が空間データ記憶装置３４から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置３８に格納した後、表示装置４０にて視点変換画像として表示されることになる。

なお、視点変換画像生成／表示装置１４には、自車モデルを記憶格納している撮像装置配置物体モデル記憶装置５６が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。また、視点選択装置５８が設けられており、予め規定されている設定仮想視点に対応する画像データを記憶装置６０に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置３６に送信し、選択された仮想視点に対応する変換画像を表示させるようにしている。

ここで、本発明は、車両１０に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成するに際して、撮像手段をステレオカメラユニット１２で構成している。前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニット１２の左右もしくは上下の異なる側の画像情報を用いて取得するようにしたものである。

すなわち、車両１０からの近距離物体の撮像と遠距離物体の撮像とをする場合に、ステレオカメラユニットの基線長を変えて撮像し、空間モデルを生成する際に、適正表示ができるようにしている。これは、図１に示すように、ステレオカメラユニット１２の近距離に存在する物体を撮像する場合、単体のステレオカメラユニット１２による短基線長撮像を行う。ステレオカメラユニット１２の基線長Ｌ１は固定された受光部１８Ｌ、１８Ｒのほぼ光軸間距離であり、（実際にはキャリブレーションにより算出されるカメラパラメータの一つである）近距離を撮像するのに最適な長さを持つ基線長である。このため、近距離の撮像画像上で精度の高い距離画像データを得ることができる。

一方、車両１０の搭載ステレオカメラユニット１２から遠距離にある被写体を撮像する場合、一対のステレオカメラユニット１２ＦＲ、１２ＦＬ（あるいは１２ＲＲ、１２ＲＬ）における左右の異なる側の受光部同士の組合せ、例えば、前方ステレオカメラユニット１２ＦＲ、１２ＦＬの各左方受光部１８ＦＲＲ、１８ＦＬＬを一つのステレオカメラユニットを構成するステレオ受光部の組み合わせとして扱い、これらの受光部同士によるステレオ視画像を入力画像として取得するのである。受光部１８ＦＲＲ、１８ＦＬＬ同士のほぼ光軸間距離である基線長Ｌ２は、単一ステレオカメラユニット１２間の基線長Ｌ１より長く、長基線長のステレオ撮像が可能である。したがって、この実施形態では、短基線長のステレオ画像と長基線長のステレオ画像を簡単に撮像手段の切替えによって実現できる。

本実施形態では、長基線長のステレオ撮像を行う場合、ステレオカメラユニット１２対の左右もしくは上下の異なる側の片側視野画像情報を用いる。ステレオカメラユニット１２の短基線長あるいは長基線長により撮像し、距離画像データを取得する例を図５及び図６の模式図と図７のフローチャートとで説明する。

図５は実施形態に係る画像生成方法における単体のステレオカメラユニット１２の短基線長による画像処理の模式図である。被写体１９を撮像すると、ステレオカメラユニット１２の撮像素子２０に図５（１）に示されるように被写体１９が結像する。これからステレオカメラユニット１２の左右の視野画像を切り出し、図５（２）に示すようなステレオ画像ペアができる。ついで図５（３）のようにレクティフィケーションを行い、歪み補正することにより、エピポーラ線付近を対応点検索するだけで、より正確にステレオマッチングを行い、距離画像を生成することができる。このようにステレオカメラユニット１２によるそれぞれの左右画像の歪み方は、偏向ミラー２２で光路分割したのち、単一の結像レンズ１７で結像しているので、歪み具合が異なっている。

図６は実施形態に係る画像生成方法におけるステレオカメラユニット１２の対の長基線長による画像処理の模式図である。被写体１９を撮像すると、各ステレオカメラユニット１２ＦＬと１２ＦＲの撮像素子２０に図６（１）に示されるように被写体１９が結像する。これから二つのステレオカメラユニット１２ＦＬと１２ＦＲの異なる側の視野画像（１２ＦＲの右側−１２ＦＬの左側）を用いて、長基線長画像を得る場合に、図６（２）に示すように、異なる側（右と左）の画像を切り出すとステレオ画像ペアができる。これにより、レンズによるディストーション（歪曲収差）が、前述の単体のステレオカメラユニット１２で処理したステレオペアと同様に生じる。そして、図６（３）のようにレクティフィケーションを行い、歪み補正する際の処理が、図５に示した単体のステレオカメラユニットでの短基線長での処理と近似しているので、基線長のパラメータ以外のパラメータが近似した値を持つとともに、補正式も近似した式を用いることができる。

本実施形態に係るステレオ撮像のステレオマッチングによる距離画像の生成を示す。以下、左ステレオカメラユニットと、右ステレオカメラユニットから入力された画像のうち、ステレオペアを形成する左右異なる側（１８ＦＲＲ−１８ＦＬＬ）の視野画像を用いる例を示す。

それぞれステレオカメラユニット１２ＦＬの撮像画像の左側視野部分を左側視野切り出し処理により、１２ＦＲの撮像画像の右側視野部分を右側視野切り出し処理により、所定の大きさに切り出し（Ｓ２００），（Ｓ２０４）、ステレオ左画像と、ステレオ右画像を生成する。
（Ｓ２０２）得られたステレオ左画像。
（Ｓ２０６）得られたステレオ右画像。
（Ｓ２０８）得られたレクティフィケーション・キャリブレーションデータ。あらかじめキャリブレーション装置５０によってレクティフィケーションに用いるキャリブレーションを実施し、選択したステレオカメラユニットの右側カメラあるいは左側カメラに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２１０）次に、左右それぞれのステレオ画像をレクティフィケーション用のキャリブレーションデータに基づいて、ステレオの左右画像の歪曲収差の補正を行い、エピポーラ線上に左右画像の対応点が同一線上に来るように画像を幾何変換するレクティフィケーション処理を行う。
（Ｓ２１２）得られたレクティフィケーション後のステレオ左画像。
（Ｓ２１４）得られたレクティフィケーション後のステレオ右画像。
（Ｓ２１６）このレクティフィケーション後の左右画像をステレオマッチング処理し、対応点検索を行い、視差を算出する。これにより、画像上の各点の視差量のマップが生成され、これが視差データとなる。
（Ｓ２１８）得られた視差データ。
（Ｓ２２０）得られたステレオ距離キャリブレーションデータ。あらかじめキャリブレーション装置５０によってステレオ測距に用いるキャリブレーションを実施し、選択したステレオカメラユニットに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２２２）ステレオ距離キャリブレーションにより、視差量は基準点からの距離に変換され、距離画像データが生成される。
（Ｓ２２４）得られた距離画像データ。

以上のような処理を行うことにより、複数のステレオカメラの画像から距離画像データを算出することができる。得られた距離画像データは空間モデルの生成に用いている。なお、ステレオペアを形成する（１８ＨＲ−１８ＬＬ、１８ＨＬ−１８ＬＲ）の視野画像についても同様の処理を行うことで距離画像データを取得することができる。

上記構成による視点変換画像生成装置の視点変換画像の処理フローを図８に示す。以下、視点変換画像の画像生成方法について説明する。
（Ｓ１０２）自車両の前方あるいは後方など任意の仮想視点を視点選択装置５８で選択する。
（Ｓ１０４）選択した仮想視点に対応する自車両に設置した撮像装置を画像選択装置２８で選択する。ステレオカメラユニット１２による短基線長、あるいはステレオカメラユニット１２の対の組み合わせで構成されるステレオカメラによる長基線長を切り替える制御手段となる画像選択装置２８によって基線長を任意に選択する。
（Ｓ１１０）レーダ４４による測距装置４６で撮像画像の概略の距離情報を取得して、簡易距離画像データを生成する。
（Ｓ１１２）簡易距離画像データ中の障害物を認識する。さらに、この障害物を測距装置４６によって測距する。
（Ｓ１１４）検出された障害物の概略距離に基づいて、障害物部分の空間モデルの生成を長基線長、短基線長、あるいはステレオ測距領域外のいずれかの距離画像データを用いるかを選択し判定する。また、測距装置４６は障害物の概略距離に基づいて、遠近切替更新手段となり空間モデル更新に用いる画像情報の遠近切替えを行う。
（Ｓ１２０）長基線長画像ぺアとなるステレオカメラユニット１２間による長基線長撮像を行う。
（Ｓ１２２）キャリブレーションデータ。あらかじめキャリブレーション装置５０によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ１２４）キャリブレーションデータを基に選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを元に距離を算出し、得られた距離データを長基線長距離画像データとする。
（Ｓ１２６）得られた長基線長距離画像データ。
（Ｓ１２８）測定した距離画像データを前述の障害物距離判定に応じて空間モデル生成装置４８に距離画像データを出力する。
（Ｓ１３０）短基線長画像ぺアとなるステレオカメラユニット１２による短基線長撮像を行う。
（Ｓ１３２）キャリブレーションデータ。あらかじめキャリブレーション装置５０によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ１３４）キャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを元に距離を算出し、得られた距離データを短基線長距離画像データとする。
（Ｓ１３６）得られた短基線長距離画像データ。
（Ｓ１３８）測定した距離画像データを前述の障害物距離判定に応じて空間モデル生成装置４８に距離画像データを出力する。
（Ｓ１４０）ステレオ測距領域外において、測距装置４６、すなわちレーザレーダやミリ波レーダの測距結果から、空間モデルに対して、障害物を衝立状の平面で表現するなどした簡易空間モデルを生成し、測距装置距離画像データを生成する。
（Ｓ１４２）得られた測距装置距離画像データ。
（Ｓ１４４）空間モデル更新手段となる空間モデル生成装置４８には、長基線長の距離画像データと、短基線長の距離画像データ、測距装置４６による距離画像データが入力手段によって入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される。
（Ｓ１４６）この空間モデルに対応する実写画像データをキャリブレーションデータに従って、撮像手段からの入力画像を三次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される。
（Ｓ１４８）空間再構成装置３２によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置３６で生成する。生成した視点変換画像データは視点変換画像データ記憶装置３８に一時保管される。
（Ｓ１５０）生成した視点変換画像データを表示装置４０で表示する。このような処理を自車両もしくは障害物の距離の変化あるいは形状の変化に応じて逐次繰り返し行う。これにより空間モデルが更新されて仮想視点画像を順次表示することが可能となる。

以上説明したように画像生成方法によれば、車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの左右もしくは上下の異なる側の片側視野画像情報を用いて取得するようにしている。このため、単体のステレオカメラユニットによるレンズのディストーションが近似し、処理を共通化してステレオマッチングによる対応点検索を簡便に行なうソフトウェアあるいはハードウェアを構築することができる。

また、生成した仮想視点画像を車両のモニタ画面に表示すれば車両周辺状況を詳細に認識することが可能となり、安全性を大幅に向上させることができる。

上述した各例において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能三次元視覚システム」等）。特に複数カメラを２方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。

なお、カメラなど撮像手段を所定の形態で設置する対象物は、車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。

本発明に係る画像生成方法および装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための建物や室内外の監視装置として利用することができる。

実施形態に係る画像生成装置のシステム構成ブロック図である。 実施形態に適用されるステレオカメラユニットの断面図である。 複数のステレオカメラユニットの撮像範囲を示す図である。 実施形態に係る画像生成装置を車両に搭載した場合の構成ブロック図である。 実施形態に係る画像生成方法における短基線長による画像処理の模式図である。 実施形態に係る画像生成方法における長基線長による画像処理の模式図である。 同実施形態に係る画像生成時の距離画像データの生成処理を示すフローチャートである。 実施形態に係る視点変換画像生成のフローチャートである。

符号の説明

１０………車両、１２………ステレオカメラユニット、１４………視点変換画像生成／表示装置、１６………ケーシング、１７………結像レンズ、１８………受光部、１９………被写体、２０………撮像素子、２１………偏向ミラープリズム、２２………偏向ミラー、２４………近距離時使用画像撮像領域、２５………遠距離時使用画像撮像領域、２８………画像選択装置、３０………実写画像データ記憶装置、３２………空間再構成装置、３４………空間データ記憶装置、３６………視点変換装置、３８………視点変換画像データ記憶装置、４０………表示装置、４４………レーダ、４６………測距装置、４７………距離画像データ記憶装置、４８………空間モデル生成装置、５０………キャリブレーション装置、５２………キャリブレーションデータ記憶装置、５４………空間モデル記憶装置、５６………撮像装置配置物体モデル記憶装置、５８………視点選択装置、６０………仮想視点データ記憶装置。

Claims (11)

1. 車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、
   前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの左右もしくは上下の異なる側の片側視野画像情報を組み合わせて用いることを特徴とする画像生成方法。
2. 車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
   前記撮像手段をステレオカメラユニットで構成するとともに前記ステレオカメラユニット対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、当該撮像カメラ切替手段は前記ステレオカメラユニットの左右もしくは上下の異なる側の片側視野を組み合わせた撮像を行わせるように切替可能としてなることを特徴とする画像生成装置。
3. 車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
   前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体による短基線長画像の撮像とステレオカメラユニット対の組合せステレオカメラによる長基線長画像の撮像を切替える撮像カメラ切替手段を設け、当該撮像カメラ切替手段は前記ステレオカメラユニットの左右もしくは上下の異なる側の片側視野同士を組み合わせた撮像を行わせるように切替可能とし、前記ステレオカメラユニット単体による画像情報と前記組合せステレオカメラによる画像情報とから画像生成を可能としたことを特徴とする画像生成装置。
4. 前記ステレオカメラユニットはステレオアダプタと結像光学系を有する撮像手段による分割画像を取得可能となっていることを特徴とする請求項２又は３に記載の画像生成装置。
5. １又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、
   前記撮像手段をステレオカメラユニットで構成し、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新するに際し、前記長基線長撮像手段による画像情報は対のステレオカメラユニットの左右もしくは上下の異なる側の片側視野画像情報を組み合わせて用いることを特徴とする画像生成方法。
6. １又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
   前記撮像手段をステレオカメラユニットで構成するとともに前記ステレオカメラユニット対の組合せステレオカメラによる長基線長撮像を可能とする撮像カメラ切替手段を有し、当該撮像カメラ切替手段は前記ステレオカメラユニットの左右もしくは上下の異なる側の片側視野を組み合わせた撮像を行わせるように切替可能としてなることを特徴とする画像生成装置。
7. １又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、
   前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体による短基線長画像の撮像とステレオカメラユニット対の組合せステレオカメラによる長基線長画像の撮像を切替える撮像カメラ切替手段を設け、当該撮像カメラ切替手段は前記ステレオカメラユニットの左右もしくは上下の異なる側の片側視野同士を組み合わせた撮像を行わせるように切替可能とし、前記ステレオカメラユニット単体による画像情報と前記組合せステレオカメラによる画像情報とから画像生成を可能としたことを特徴とする画像生成装置。
8. 前記撮像手段として撮像手段配置物体に所定の形態で配置されたものを適用することを特徴とする請求項５に記載の画像生成方法。
9. 前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項６に記載の画像生成装置。
10. 前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項７に記載の画像生成装置。
11. 前記ステレオカメラユニットはステレオアダプタと結像光学系を有する撮像手段により分割画像を取得可能となっていることを特徴とする請求項６又は７に記載の画像生成装置。
    
    

Images