JP2006031101A - 画像生成方法およびその装置 - Google Patents

Abstract

【課題】 複数の撮像手段からの撮像画像によって視点変換画像の生成において、認識度の高い視点変換画像を生成できる画像生成方法を提供する。
【解決手段】 車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新可能とした構成としている。この場合において、空間モデルの遠近情報はステレオカメラユニット１２の距離情報により取得して空間モデルの更新するようにする。
【選択図】 図１

Description

本発明は画像生成方法およびその装置に係り、特に複数の撮像手段で撮像した画像を元にして、仮想視点画像を生成して表示する場合に好適な画像生成方法およびその装置に関する。

ある特定エリアを監視等の目的のためモニタ画面上に表示するには、複数台のカメラで広範囲を撮影し得られた画像を１つの画面上に分割表示したり、時間毎に撮像した画像を順次切り替えて表示したりしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。

しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまう。広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗く表示画像が見にくく監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。

この画像生成の際、車両と車両の周囲に存在する障害物等の距離データを計測し、画像上に障害物を表示するデータとして用いて画像生成を行っている。
例えば、特許文献１には、車両周囲の状況表示に関して、車両に設置した複数台のカメラで車両周囲を撮影し、任意の視点による合成画像を表示するようにした技術が提案されている。これは各カメラの映像出力を画素単位で仮想視点から見た二次元平面上に座標変換して展開し、複数のカメラ画像を仮想視点から見た１つの画像に合成してモニタ画面に表示するようにしたものである。これにより、１枚の仮想視点画像から車両の全周囲にわたってどのような物体が存在するかを運転者が瞬時に把握することができるようになる。この際距離センサを用いて車両と車両の周囲に存在する障害物との距離に基づいて空間モデルについたて面を表示する方法が開示されている。

図９に従来の距離計測による仮想視点画像の生成を示す。同図の矢印は撮像装置配置物体（自車両）の座標系を示す。図示のように、自車両１に設置した距離センサ、例としてレーザレーダを用いて、前方の先行車両２の後部リフレクタ（反射板）３の距離を計測する。距離センサによる測距座標（２つのリフレクタ間３ａ，３ｂの間隔長さも含む）に合わせて、図１０（１）に示すような簡易の空間モデルを生成する。同図に示すように、自車両１を空間モデル座標系の中心として、円柱状の空間モデル（背景）４と平面上の空間モデル（路面）５上に、先行車両２の板状のリフレクタ３ａ，３ｂ間の間隔に応じた大きさの空間モデル６を生成する。ついで、これをもとに自車両１に搭載した撮像手段によるカメラ画像をマッピングして、視点変換画像を生成すると、同図（２）に示すような領域に画像がマッピングされた視点変換画像が生成される。図中７は路面の空間モデルから生成される視点変換画像範囲を示す。８は背景の空間モデルから生成される視点変換画像範囲を示す。また、９は移動物体の空間モデルから生成される視点変換画像範囲を示す。

また、この他にも距離データは、ステレオカメラで被写体を撮像して一対の画像の相関を求め同一物体に対する視差からステレオカメラの設置位置や焦点距離等のカメラパラメータを用いる三角測量の原理によって求めている。そして得られた距離データを画像処理に利用している（例えば引用文献２）。
特許第３２８６３０６号公報 特開平５−１１４０９９号公報

しかしながら上述のような方法による仮想視点から見た視点変換画像上では先行車両２は歪んだ画像となって表示されるため視認性が悪いという問題があった。

また、ステレオ撮像した画像は基線長が短い場合、遠距離は測距精度が低下し、基線長が長い場合、近距離の被写体は視差量が大きすぎて画面内に映らないことが知られている。

そこで本発明は上記従来技術の問題点を解決すべく、複数の撮像手段からの画像によって視点変換画像の生成において、近距離画像または遠距離画像を用いて認識度の高い視点変換画像を生成することができる画像生成装置を提供することを目的としている。

本発明に係る画像生成方法は、車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新可能としたことを特徴としている。

この場合において、前記空間モデルの遠近情報はステレオカメラユニットの距離情報により取得して空間モデルの更新をなすとよい。また、前記近距離空間モデルをステレオカメラ単体の画像情報によって更新し、前記遠距離空間モデルをステレオカメラユニット対の組合せステレオカメラの画像情報により更新するとよい。

また、本発明に係る画像生成方法は、１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新可能としたことを特徴としている。

この場合において、前記撮像手段は撮像手段配置物体に所定の形態で配置すると良い。また、前記空間モデルの遠近情報はステレオカメラユニットの距離情報により取得して空間モデルの更新をなすとよい。さらに、前記近距離空間モデルをステレオカメラ単体の画像情報により更新し、前記遠距離空間モデルをステレオカメラユニット対の組合せステレオカメラの画像情報により更新するとよい。

本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、複数の撮像手段を複数のステレオカメラユニットで構成し、前記ステレオカメラユニットは空間モデルが近距離のときはステレオカメラユニット単体による短基線長画像情報により空間モデルを更新すると共に遠距離のときはステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報により空間モデルの更新をなす遠近切替更新手段を設けたことを特徴としている。

また、本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体によって取得した短基線長画像情報とステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報の入力手段を設けるとともに、当該入力手段に供給される基線長の異なる画像情報に基づいて前記生成画像における近距離空間モデルと遠距離空間モデルとをそれらの遠近情報に応じて更新する空間モデル更新手段を設けてなることを特徴としている。

この場合において、近距離の空間モデルの生成と遠距離の空間モデルの生成に際し、ステレオカメラユニットのどの画像を用いるかを切り替えることにより基線長を切り替える制御手段を備えるようにするとよい。

本発明に係る画像生成装置は、１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、複数の撮像手段を複数のステレオカメラユニットで構成し、前記ステレオカメラユニットは空間モデルが近距離のときはステレオカメラユニット単体によって短基線長画像情報により空間モデルを更新すると共に遠距離のときはステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報により空間モデルの更新をなす遠近切替更新手段を設けたことを特徴としている。

また、本発明に係る画像生成装置は、１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体によって取得した短基線長画像情報とステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報の入力手段を設けるとともに、当該入力手段に供給される基線長の異なる画像情報に基づいて前記生成画像における近距離空間モデルと遠距離空間モデルとをそれらの遠近情報に応じて更新する空間モデル更新手段を設けてなることを特徴としている。

この場合において、前記撮像手段は撮像手段配置物体に所定の形態で配置するとよい。また、近距離の空間モデルの生成と遠距離の空間モデルの生成に際し、ステレオカメラユニットのどの画像を用いるかを切り替えることにより基線長を切り替える制御手段を備えるとよい。

上記構成による画像生成方法およびその装置によれば、遠近情報によって短基線長撮像手段による画像情報と、長基線長撮像手段による画像情報によって空間モデルを更新可能とした。このため、これらを任意の距離で選択的に用いることにより認識度の高い空間モデルを生成できる。したがって、障害物の形状まで配慮した視点変換画像を生成することができ、仮想視点からの変換画像上においても歪みの少ない視点変換画像を表示することが可能となる。

以下、本発明に係る画像生成方法およびその装置の実施形態を添付した図面に基づいて詳細に説明する。
図１は本実施形態に係る画像生成装置の構成を示したシステムブロック図である。このシステムの基本的な構成は、複数の撮像手段と、この撮像手段によって取得した画像データを処理して、カメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための画像生成装置となる視点変換合成画像の生成／表示装置１０から構成されている。

視点変換合成画像の生成／表示装置１０における基本的な処理は、各撮像手段の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。

視点変換合成画像の生成／表示装置１０構成要素について説明する。撮像手段であるステレオカメラユニット１２の構成概略を図２に示す。同図（１）は撮像素子を２台設置したステレオカメラユニットを示し、（２）はステレオアダプタを用いたステレオカメラユニットを示す。

まず、同図（１）に示すように、ケーシング４０の正面部左右に距離Ｌ１（基線長）だけ離して各々受光レンズ群を配設した左右一対の受光部４２Ｌ，４２Ｒを形成し、被写体４４をステレオ撮影できるようにしている。受光部４２Ｌ、４２Ｒを通じて入力した撮像光を撮像信号として受信する撮像素子４６Ｌ，４６Ｒがケーシング４０背面部左右に配置されている。受光部４２Ｌ，４２Ｒと撮像素子４６Ｌ，４６Ｒとの間の光路上に赤外カットフィルタ・ローパスフィルタ４８Ｌ，４８Ｒが配置されている。赤外カットフィルタは有害な赤外光をカットし、ローパスフィルタはモアレを防止するために用いている。

この構成による撮像画像は左右のカメラでほぼ同じようなディストーションの分布になるため、二つのステレオカメラユニットのいずれか一方の画像を用いて、長基線長画像として用いる際にも、単体のステレオカメラユニット上での近距離のステレオ処理と同じステレオ画像の画像補正アルゴリズム、特にレクティフィケーションにおける画像歪みの補正パラメータが大きく変化することがない。したがって、ステレオカメラユニット１２Ａ，１２Ｂによる長基線の組み合わせは、１２ＡＬ−１２ＢＬ，１２ＡＲ−１２ＢＲ，１２ＡＲ−１２ＢＬ，１２ＡＬ−１２ＢＲの４通りの組み合わせから任意に選択することができる。

同図（２）のステレオカメラユニットはステレオアダプタを用いている。ケーシング４０の正面部左右に距離Ｌ１だけ離して各々受光レンズ群を配設した左右一対の受光部４２Ｌ，４２Ｒを形成し、被写体４４をステレオ撮影できるようにしている。受光部４２Ｌ，４２Ｒを通じて入力した撮像光を撮像信号として受信する撮像素子４６がケーシング４０背面の中央部に配置されており、撮像素子４６の左右領域にて、それぞれ前記左右受光部４２Ｌ、４２Ｒからの被写体映像を結像させるようになっている。このため、撮像素子４６と左右受光部４２Ｌ，４２Ｒの間には、偏向プリズム５０などを含む導光用光学系５２が配設され、左側受光部４２Ｌで捉えた被写体映像が、撮像素子４６の左側領域に、右側受光部４２Ｒで捉えた被写体映像は撮像素子４６の右側領域に導かれて、それぞれ一つの撮像素子４６の受光面に左右分離された状態で同時に結像されるようになっている。この構成による撮像画像は、右画像、左画像をそれぞれ単一の画像から切り出して前述（１）に示すステレオカメラユニットと同様に用いることができる。

本実施形態ではこのステレオカメラユニット１２による撮像領域を近距離の撮像領域としている。また、このステレオカメラユニット１２を同一側面上に複数配置する場合、ステレオカメラユニット１２間の配置距離がステレオカメラユニット１２単体における基線長より長くなるように設置している。本実施形態ではこのステレオカメラユニット１２間による撮像領域を遠距離の撮像領域としている。

図３はステレオカメラユニット１２を車両に搭載した構成を示す図である。図示のように、被写体の遠近に応じてステレオカメラユニットの撮像手段の視点の切り替えをなすように構成している。ステレオカメラユニット１２は自車両１のリアにそれぞれ２台並列に設置している。この場合、前述のようにステレオカメラユニット１２Ａ，１２Ｂ間の配置距離がステレオカメラユニット１２単体における基線長より長くなるように設置している。

同図（１）のように、ステレオカメラユニット１２の撮像領域は、画角と基線長から算出される測拒精度の限界から撮像装置の遠方が区切られ、測距可能な撮像領域として有効な範囲として、近距離の撮像領域となる。図中４０はステレオカメラユニット１２Ａ，１２Ｂの基線長ｅ（近距離時基線長）による近距離時使用画像の撮像領域を示す。

一方、同図（２）のように、ステレオカメラユニット対の１２ＡＬ−１２ＢＬあるいは１２ＡＲ−１２ＢＲの組み合わせによる撮像領域は遠距離の撮像領域となる。図中４２はステレオカメラユニット間の基線長ｆ（遠距離時基線長）による遠距離時使用画像の撮像領域を示す。ステレオカメラユニット間の基線長ｆは、ステレオカメラユニット１２の基線長ｅよりも長く、ステレオカメラユニット１２の基線長ｅでは困難であった遠距離の測距に有効な領域の撮像を基にした測距が可能となる。

各ステレオカメラユニット１２により撮影された画像データは画像選択装置３０にパケット送信するようになっている。各ステレオカメラユニット１２から取得すべき画像データは、設定される仮想視点によって決定するので、設定された仮想視点に対応する画像データを取得すべく画像選択装置３０を設けている。この画像選択装置３０によって任意のステレオカメラユニット１２に付帯したバッファ装置から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段の画像合成処理に利用される。

また、撮像手段は画像選択装置３０によって、複数のステレオカメラユニット１２の切り替えを行う。制御手段となる画像選択装置３０はステレオカメラユニットによる短基線長での撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラによる長基線長での撮像とを切り替える。画像選択装置３０は後述の視点選択装置３６の仮想視点に基づいて短・長基線を切替制御している。また、撮像手段からの実写画像データは実写画像データ記憶装置３２に一時保管される。

測距手段となる測距装置１３は、本実施形態ではレーザレーダやミリ波レーダなどのレーザ１６による測距と、ステレオ撮像による測距とを併用している。レーザ１６ａ、１６ｂは自車両のフロント及びリアにそれぞれ配置している。

ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像が生成される。

また、測距装置１３は障害物の概略距離を測定するとともに、概略距離に基づいて、遠近切替更新手段となり空間モデル更新に用いる画像情報の遠近切り替えを行っている。

図４にステレオカメラユニットによるステレオ測距領域を示す。同図（１）は短基線長のステレオカメラユニットによるステレオ測距領域を示す。三角測距の原理から基線長が短くなると、距離分解能が減少するため、遠方の物体に関しては距離を計測することが困難となり、実用上の短基線長の測距限界距離が規定される。図中５０は短基線長のステレオカメラユニット１２による測距限界距離を示す。また、測距限界距離内のカメラ単体の撮像領域の重なり合う５２は短基線長のステレオカメラユニット１２によるステレオ測距領域を示す。また、同図（２）はステレオカメラユニット１２Ａ，１２Ｂ間による長基線長のステレオ測距領域を示す。基線長が長くなると近距離の物体は２視点共通の撮像範囲に入らなくなり、視差を計測することができなくなる。よって、近距離の領域を測距することは不可能となる。図示のように、ステレオカメラユニット対１２ＡＬ−１２ＢＬ間による長基線長の場合、５４は測距限界距離を示し、５６は長基線長のステレオカメラユニットによるステレオ測距領域を示す。

同図（３）はステレオカメラユニット１２Ａ，１２Ｂ間のステレオ測距領域を示す。図中５８ａ，５８ｂは短基線長のステレオカメラユニット１２Ａ，１２Ｂによるステレオ撮像領域を示す。また、図中６０ａ，６０ｂは長基線長のステレオカメラユニット対１２ＡＬ−１２ＢＬ，１２ＡＲ−１２ＢＲによるステレオ撮像領域を示す。さらに、レーダ１６を用いた測距領域６２を重ねると、空間モデル生成のための距離計測領域が規定されることになる。

なお、上記例では長基線長の画像としてステレオカメラユニットの同じ側の片側画像を用いてステレオ画像とし、ステレオ測距するように構成しているが、それぞれ、異なる側の片側画像（例えば、ステレオカメラユニット対１２ＡＲ−１２ＢＬ）を用いてステレオ測距する構成としてもよい。

キャリブレーション装置１８は３次元の実世界に配置された撮像手段についての、その３次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとしてキャリブレーションデータ記憶装置１７に一時格納される。

空間モデル更新手段となる空間モデル生成装置１５では長基線長の距離画像データと、短基線長の距離画像データ、測距装置１３による距離画像データが距離画像データ記憶装置２８から入力手段によって入力される。

ここで、遠距離の空間モデルは長基線長のステレオ測距領域のデータを優先的に用いて空間モデルを生成し、空間モデル記憶装置２２に一時保管している。また、近距離の空間モデルは、短基線長のステレオ測距領域のデータを用いて空間モデルを生成し、空間モデル記憶装置２２に一時保管している。これらを所望の距離で選択的に用いることにより、それぞれ良好な距離分解能を持ち、障害物などの被写体の形状まで取れた距離データを備えているので空間モデルの距離分解能および被写体形状の再現性が向上する。

空間再構成装置１４は、撮像手段から得られた画像を構成する各々の画素と、３次元座標系の点との対応関係を計算し、空間データを生成し空間データ記憶装置２４に一時保管している。前記計算は各々の撮像手段から得られた画像のすべての画素に対して実施する。

視点変換手段となる視点変換装置１９は、３次元空間の画像を任意の視点位置から見込んだ画像に変換可能とし、任意に設定した視点を指定できる。すなわち、前記三次元座標系の、どの位置から、どの角度で、どれだけの倍率で、画像を見たいかを指定する。また、前記視点からの画像を、前記空間データから再現し、表示装置２０に表示する。

なお、視点変換画像生成／表示装置１０には、自車モデルを記憶格納している撮像装置配置物体モデル記憶装置３４が設けられ、空間再構成する場合に自車モデルを同時に表示できるようにしている。また、視点選択装置３６が設けられており、予め規定されている設定仮想視点に対応する画像データを仮想視点データ記憶装置３８に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置１９に送信し、選択された仮想視点に対応する変換画像を表示させるようにしている。

上記構成による視点変換合成画像の生成／表示装置１０を用いた画像の生成方法を、図５を用いて説明する。図５は本発明に係る画像生成方法の処理手順を示すフローチャートである。以下、視点変換画像の画像生成方法について説明する。

（Ｓ１０２）自車両１の前方あるいは後方など任意の仮想視点を視点選択装置３６で選択する。
（Ｓ１０４）選択した仮想視点に対応する自車両１に設置した撮像装置を画像選択装置３０で選択する。ステレオカメラユニット１２による短基線長、あるいはステレオカメラユニット１２の対の組み合わせで構成されるステレオカメラによる長基線長を切り替える制御手段となる画像選択装置３０によって基線長を任意に選択する。
（Ｓ１１０）レーダ１６による測距装置１３で撮像画像の概略の距離情報を取得して、簡易距離画像データを生成する。
（Ｓ１１２）簡易距離画像データ中の障害物を認識する。さらに、この障害物を測距装置１３によって測距する。
（Ｓ１１４）検出された障害物の概略距離に基づいて、障害物部分の空間モデルの生成を長基線長、短基線長、あるいはステレオ測距領域外のいずれかの距離画像データを用いるかを選択し判定する。また、測距装置１３は障害物の概略距離に基づいて、遠近切替更新手段となり空間モデル更新に用いる画像情報の遠近切り替えを行う。
（Ｓ１２０）長基線長画像ぺアとなるステレオカメラユニット１２間による長基線長撮像を行う。
（Ｓ１２２）キャリブレーションデータ。あらかじめキャリブレーション装置１８によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ１２４）キャリブレーションデータを基に選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを元に距離を算出し、得られた距離データを長基線長距離画像データとする。
（Ｓ１２６）得られた長基線長距離画像データ。
（Ｓ１２８）測定した距離画像データを前述の障害物距離判定に応じて空間モデル生成装置１５に距離画像データを出力する。
（Ｓ１３０）短基線長画像ぺアとなるステレオカメラユニット１２による短基線長撮像を行う。
（Ｓ１３２）キャリブレーションデータ。あらかじめキャリブレーション装置１８によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１２に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ１３４）キャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、ステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを元に距離を算出し、得られた距離データを短基線長距離画像データとする。
（Ｓ１３６）得られた短基線長距離画像データ。
（Ｓ１３８）測定した距離画像データを前述の障害物距離判定に応じて空間モデル生成装置１５に距離画像データを出力する。
（Ｓ１４０）ステレオ測距領域外において、測距装置１３、すなわちレーザレーダやミリ波レーダの測距結果から、空間モデルに対して、障害物をついたて状の平面で表現するなどした簡易空間モデルを生成し、測距装置距離画像データを生成する。
（Ｓ１４２）得られた測距装置距離画像データ。
（Ｓ１４４）空間モデル更新手段となる空間モデル生成装置１５には、長基線長の距離画像データと、短基線長の距離画像データ、測距装置１３による距離画像データが入力手段によって入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される。
（Ｓ１４６）この空間モデルに対応する実写画像データをキャリブレーションデータに従って、撮像手段からの入力画像を３次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される。
（Ｓ１４８）空間再構成装置１４によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置１９で生成する。生成した視点変換画像データは視点変換画像データ記憶装置２６に一時保管される。
（Ｓ１５０）生成した視点変換画像データを表示装置２０で表示する。このような処理を自車両もしくは障害物の距離の変化あるいは形状の変化に応じて逐次繰り返し行う。これにより空間モデルが更新されて仮想視点画像を順次表示することが可能となる。

図６は実施形態に係るステレオカメラユニットによる距離画像の生成を示す。図７は実施形態に係る生成した距離画像を示す。図８は実施形態に係る視点変換画像を示す図である。図６に示すように、自車両１前方を先行車両２が走行している。自車両（撮像装置配置物体）１を撮像装置配置物体座標系の中心としてステレオカメラユニット１２によって自車両１前方をステレオ撮像して、図７に示すような距離画像７０を生成する。

この距離画像７０は近距離ほど白く表示し、遠距離になると黒くなるように表示する場合を示している。路面領域７２は近距離が白く、遠距離が黒く、また、移動物体（先行車両）７４もその形状に応じた距離が算出されている。また、前述の基線長の測距範囲により、遠方は視差が極小の領域として遠方の背景領域７６として認識されている場合を示している。

障害物となる移動物体７４部分に対して、ステレオ撮像による距離情報を用い、車両の形状まで考慮した空間モデルをその部分の距離画像から三次元形状を再構成する。車両座標系に対して配置することにより生成すると図８（１）に示すような空間モデルが生成される。

自車両１を空間モデル座標系８０を中心として円筒状の空間モデル（背景）８２と、平面状の空間モデル（路面）８４を生成する。次に、自車両１の前方に位置する先行車両２の距離画像から生成された空間モデル８６と生成した空間モデル（背景）８２、空間モデル（路面）８４上に、空間モデル生成時点のステレオカメラユニットで得られた実写画像データをマッピングする。

このように、三次元の形状情報を持った空間モデルに対して、短基線長撮像あるいは長基線長撮像の実写画像をマッピングすることで、３次元形状上にテクスチャマッピングが施された空間データが生成される。そしてこの空間データを任意視点からの画像として、視点変換装置１９で再変換することで視点変換画像を生成する。同図（２）は画像がマッピングされた視点変換画像を示す。図示のように、背景の空間モデルから生成される視点変換画像範囲９０と路面の空間モデルから生成される視点変換画像範囲９２上に先行車両２の空間モデルから生成される視点変換画像９４が生成できる。このように移動物体などの障害物の形状まで配慮した視点変換画像を生成することが可能となる。このため仮想視点からの変換画像でも実際の被写体をあたかも視点から見たような歪みの少ない視点変換画像を表示することができる。

以上説明したように画像生成装置によれば、車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、複数の撮像手段を複数のステレオカメラユニットで構成し、前記ステレオカメラユニットは空間モデルが近距離のときはステレオカメラユニット単体による短基線長画像情報により空間モデルを更新すると共に遠距離のときはステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報により空間モデルの更新をなす遠近切替更新手段を設けた構成としているため、近距離および遠距離における撮像画像上の被写体の距離測定を行うことができる。このため、距離画像データを用いて空間モデルを生成して、これを任意の距離で選択的に用いることによって詳細な空間モデルを生成することができる。したがって視点変換画像の精度を上げることができる。

また、近距離の空間モデルの生成と遠距離の空間モデルの生成に際し、ステレオカメラユニットのどの画像を用いるかを切り替えることにより基線長を切り替える制御手段を設けたことにより、短基線長の空間モデルと長基線長の空間モデルを生成することができる。よって、視点変換画像の精度を向上させることができる。

また、生成した仮想視点画像を車両のモニタ画面に表示すれば車両周辺状況を詳細に認識することが可能となり、安全性を大幅に向上させることができる。
上述した各例において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能３次元視覚システム」等）。特に複数カメラを２方向の基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ測距が可能となる。

なお、カメラなど撮像手段を所定の形態で設置する対象物は、車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。

本実施形態に係る画像生成装置の構成を示したシステムブロック図である。 ステレオカメラユニットの構成概略を示す図である。 ステレオカメラユニットを車両に搭載した構成を示す図である。 ステレオカメラユニットによるステレオ測距領域を示す図である。 本発明に係る画像生成方法の処理手順を示すフローチャートである。 実施形態に係るステレオカメラユニットによる距離画像の生成を示す図である。 実施形態に係る生成した距離画像を示す図である。 実施形態に係る視点変換画像を示す図である。 従来の距離計測による仮想視点画像の生成を示す図である。 従来の距離計測による空間モデルの生成を示す図である。

符号の説明

１………自車両、２………先行車両、３………リフレクタ、４………空間モデル（背景）、５………空間モデル（路面）、６………空間モデル、１０………視点変換合成画像の生成／表示装置、１２………ステレオカメラユニット、１３………測距装置、１４………空間再構成装置、１５………空間モデル生成装置、１６………レーダ、１７………キャリブレーションデータ記憶装置、１８………キャリブレーション装置、１９………視点変換装置、２０………表示装置、２２………空間モデル記憶装置、２４………空間データ記憶装置、２６………視点変換画像データ記憶装置、２８………距離画像データ記憶装置、３０………画像選択装置、３２………実写画像データ記憶装置、３４………撮像装置配置物体モデル記憶装置、３６………視点選択装置、３８………仮想視点データ記憶装置、４０………ケーシング、４２………受光部、４４………被写体、４６………撮像素子、４８………赤外カットフィルタ・ローパスフィルタ、５０………偏向プリズム、５２………導光用光学系。

Claims (14)

1. 車両に配置された１又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新可能としたことを特徴とする画像生成方法。
2. 前記空間モデルの遠近情報はステレオカメラユニットの距離情報により取得して空間モデルの更新をなすことを特徴とする請求項１に記載の画像生成方法。
3. 前記近距離空間モデルをステレオカメラ単体の画像情報により更新し、前記遠距離空間モデルをステレオカメラユニット対の組合せステレオカメラの画像情報により更新することを特徴とする請求項１に記載の画像生成方法。
4. １又は複数の撮像手段による画像情報と、空間モデルに基づいて視点変換画像を生成する方法であって、前記空間モデルをその遠近情報より近距離空間モデルであるか遠距離空間モデルであるかに応じて短基線長撮像手段による画像情報と長基線長撮像手段による画像情報により更新可能としたことを特徴とする画像生成方法。
5. 前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項４に記載の画像生成方法。
6. 前記空間モデルの遠近情報はステレオカメラユニットの距離情報により取得して空間モデルの更新をなすことを特徴とする請求項４に記載の画像生成方法。
7. 前記近距離空間モデルをステレオカメラ単体の画像情報により更新し、前記遠距離空間モデルをステレオカメラユニット対の組合せステレオカメラの画像情報により更新することを特徴とする請求項４に記載の画像生成方法。
8. 車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、複数の撮像手段を複数のステレオカメラユニットで構成し、前記ステレオカメラユニットは空間モデルが近距離のときはステレオカメラユニット単体による短基線長画像情報により空間モデルを更新すると共に遠距離のときはステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報により空間モデルの更新をなす遠近切替更新手段を設けたことを特徴とする画像生成装置。
9. 車両に配置された１又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体によって取得した短基線長画像情報とステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報の入力手段を設けるとともに、当該入力手段に供給される基線長の異なる画像情報に基づいて前記生成画像における近距離空間モデルと遠距離空間モデルとをそれらの遠近情報に応じて更新する空間モデル更新手段を設けてなることを特徴とする画像生成装置。
10. 近距離の空間モデルの生成と遠距離の空間モデルの生成に際し、ステレオカメラユニットのどの画像を用いるかを切り替えることにより基線長を切り替える制御手段を備えてなることを特徴とする請求項８または９に記載の画像生成装置。
11. １又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、複数の撮像手段を複数のステレオカメラユニットで構成し、前記ステレオカメラユニットは空間モデルが近距離のときはステレオカメラユニット単体によって短基線長画像情報により空間モデルを更新すると共に遠距離のときはステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報により空間モデルの更新をなす遠近切替更新手段を設けたことを特徴とする画像生成装置。
12. １又は複数の撮像手段から供給される画像情報と、空間モデルに基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段は間隔を空けて配置された複数のステレオカメラユニットにより構成し、ステレオカメラユニット単体によって取得した短基線長画像情報とステレオカメラユニット対の組合せステレオカメラによって取得した長基線長画像情報の入力手段を設けるとともに、当該入力手段に供給される基線長の異なる画像情報に基づいて前記生成画像における近距離空間モデルと遠距離空間モデルとをそれらの遠近情報に応じて更新する空間モデル更新手段を設けてなることを特徴とする画像生成装置。
13. 前記撮像手段は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項１１または１２に記載の画像生成装置。
14. 近距離の空間モデルの生成と遠距離の空間モデルの生成に際し、ステレオカメラユニットのどの画像を用いるかを切り替えることにより基線長を切り替える制御手段を備えてなることを特徴とする請求項１１または１２に記載の画像生成装置。
    
    

Images