JP2006060425A - 画像生成方法および装置 - Google Patents

Abstract

【課題】 明暗差の大きい対象領域の撮影に際しても、明暗差に影響されることなく、認識度の高い視点変換画像を生成する。
【解決手段】 撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成するに際して、１視点の撮像画像を複数の撮像手段、又は分割光学手段により異なる特性で撮像する異種画像取得手段を持ち、異種画像取得手段により取得された異種画像撮影領域に関して、異種画像で相互補間しつつ前記仮想視点画像を生成することにより、明暗差の大きい場合であっても明瞭に合成画像を表示できる。
【選択図】 図１

Description

本発明は画像生成方法および装置に係り、特に複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示させるための技術に関する。

一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。

しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラ画像を一つのモニタに分割表示するものや、特許文献２に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものがある。また、特許文献３に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成して、任意の視点による合成画像を表示するようにしたものである。

また、特許文献３に開示されている方法では、複数のカメラによる画像のデータを、一元的に取り込み、あらかじめレーザレーダや、ミリ波レーダ、ステレオカメラによる三角測量などにより生成した三次元の空間モデルを生成し、ここに、この取得した画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素の情報を対応付けてマッピングを行い、空間データを作成する。このようにして、独立したすべてのカメラからの画像を一つの三次元空間内の点として対応付けた後に、現実のカメラの視点では無く任意の仮想の視点からみた視点変換画像を生成して表示する。このような視点変換画像表示方法によれば、画像精度を低下させることなく監視領域の全体が一つの任意の視点で表示され、監視したい領域を任意の視点で確認できる利点がある。
特開平０５−３１００７８号公報 特開平１０−１６４５６６号公報 特許３２８６３０６号公報

しかしながら、上記従来技術では、視点変換画像は標準カメラにより撮像した画像データを座標変換して視点変換画像にそのまま利用している。そのため、従来の視点変換画像では、明暗差の大きい影と日向の撮影画像や、夜間と昼間の撮影画像を認識し易い状態で表示させることが困難となっていた。すなわち、影部分は黒く写ってしまい、例えばトンネルなどの暗所部分に存在する移動体を認識することができないという問題があった。

本発明は、上記従来の問題点に着目し、明暗差の大きい対象領域の撮影に際しても、明暗差に影響されることなく、認識度の高い視点変換画像を生成することができる画像生成方法および装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像生成方法は、撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成する画像生成方法において、１視点の撮像画像を複数の撮像手段、又は分割光学手段により異なる特性で撮像する異種画像取得手段を持ち、異種画像取得手段により取得された異種画像撮影領域に関して、異種画像で相互補間しつつ前記仮想視点画像を生成する構成とした。

この場合において、前記異種画像は異なる種類の撮像手段を用いて撮像した画像情報を視点補正して仮想視点画像を生成するようにすればよい。また、前記１視点の撮像画像を分割し分割経路中にて撮像条件を変更することにより異種画像を取得するようにすればよい。前記異種画像は可視画像と赤外線画像から構成できる。また、前記異種画像は露出の異なる画像とすることも可能である。

本発明に係る画像生成装置は、撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成する画像生成装置において、少なくとも１つの撮像手段を異種画像として取得可能に構成し、前記視点変換画像生成手段により、異種画像撮影領域に関して異種画像で相互補間しつつ前記仮想視点画像を生成可能としたものである。

前記異種画像取得可能な撮像手段は、赤外線撮影と可視光撮影を切替え若しくは双方の画像が１視点から撮影できるように複数のカメラが同一視点をカバーするように配置すればよく、また、前記異種画像取得可能な撮像手段は、ステレオアダプタにより分割しつつ片側のみ赤外カットフィルタを設け、同一視野に対して赤外線画像と可視光画像を撮像するように構成することができる。

さらに、前記異種画像取得可能な撮像手段は、同軸光学系でダイクロイックプリズムにより、可視光画像と赤外線画像を別々の撮像素子に結像し、赤外線画像と、可視光画像を撮像するようにできる。
また、前記異種画像取得可能な撮像手段は、可視光カメラと赤外線カメラを並列配置して構成できる。

前記異種画像取得可能な撮像手段の画像切替による視点ずれの補正手段を有し、仮想視点の生成時にこれらの画像のずれを補正した上で仮想視点画像を生成するようにしてもよい。
前記撮像手段配置物体は、車両、建築物、人物の少なくともいずれか１つに設定すればよい。

上記構成によれば、１視点の撮像画像を複数の撮像手段又は分割光学手段により異なる特性で撮像する異種画像取得手段を持ち、異種画像取得手段により取得された異種画像撮影領域に関して、異種画像で相互補間するようにして画像合成することができる。このため、明暗差の大きい対象領域の撮影に際しても、露出を変えた異種画像同士で、あるいは可視光と赤外線光とにより、暗所部分を補間するようにして画像合成することができ、この結果、明暗差に影響されることなく、認識度の高い視点変換画像を生成することができる。

以下に、本発明に係る画像生成方法および装置の具体的実施形態を、図面を参照して、詳細に説明する。
図１は実施形態に係る画像生成装置のシステム構成ブロック図である。このシステムの基本的な構成は、撮像手段としての複数のカメラ１０と、このカメラ１０によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための視点変換合成画像の生成／表示装置１２から構成されている。

視点変換合成画像の生成／表示装置１２における基本的な処理は、各カメラ１０の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。

このシステムはＬＡＮ回線を介して各カメラ１０により撮影された画像データをパケット送信するようになっており、このため、図２に示しているように、撮像手段としてのカメラ１０にバッファ装置１４を付帯させておき、これに装備されているバッファメモリ１６に一時的に撮像画像を取り込むようにしている。また、バッファ装置１４には、バッファメモリ１６に取り込んだ画像にＩＤを付加するＩＤ付加手段１８と、生成したＩＤ付き画像をパケット化するパケット生成手段２０、並びに、パケットの連続送信制御手段２２が備えられている。

特に、ＩＤ付加手段１８によって撮影画像データ単位に付加されるＩＤには、タイムスタンプ１８１、撮像手段位置姿勢情報１８２、撮像手段内部パラメータ１８３、露出情報１８４の少なくとも１つを含ませるようにしている。これによって、各カメラ１０から送られる画像データにはＩＤが付され、かつタイムスタンプ１８１、その他の撮影情報が含まれた状態でバッファ装置１４から視点変換合成画像生成／表示装置１２に連続的にパケット送信されるようになっている。

一方、カメラ１０からの画像データを受ける視点変換合成画像生成／表示装置１２には、図１に示しているように、各カメラ１０から送信されてくる画像データの入力制御をなす通信制御装置２４が設けられている。各カメラ１０から取得すべき画像データは、設定される仮想視点によって一義的に決定するので、任意に設定される仮想視点と、プリセットされている仮想視点とのそれぞれに迅速に対応できるようにさせている。

前者は、画像選択装置２６によって任意のカメラ１０のバッファ装置１４から入力してくる画像データパケットをオペレータが直接仮想視点を設定し、この設定された仮想視点に対応する画像データパケットを選択できる。後者の場合は、プリセットされている仮想視点に対応する合成画像に必要な画像データパケットは特定されるので、規定仮想視点単位に視点バッファ装置に仮想視点データとして一旦格納し、これから規定された仮想視点に対応する画像データをまとめて視点選択装置３０によって優先取得できるようにしている。

撮像画像はＩＤ付き画像データ単位でパケット通信によってバッファ装置１４に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１２は、複数のカメラ１０からの撮像画像をＩＤ情報に基づいて時系列に整理する画像整列装置３２と、それを時系列に記憶する実写画像データ記憶装置３４を備えている。

また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ１８１、撮像手段位置姿勢情報１８２、撮像手段内部パラメータ１８３、露出情報１８４の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにすればよい。

また、視点変換合成画像生成／表示装置１２には、移動障害物までの距離を測定する測距装置４６を設けている。この測距装置４６は、レーザレーダやミリ波レーダなどにより測距する構成としている。レーダによる計測は送信信号と反射信号との時間差により計測する通常システムを用いれば良い。測距装置４６により生成された距離画像データは、記憶装置４７に格納される。

さらに、視点変換合成画像生成／表示装置１２には、空間モデル生成装置４８が設けられている。空間モデル生成装置４８は、画像データ、測距装置４６による距離画像データ、キャリブレーションデータを用いて空間モデルを生成するようにしている。

キャリブレーション装置５０は三次元の実世界に配置された撮像手段についての、その三次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとして記憶装置５１に格納される。

したがって、前記空間モデル生成装置４８は、画像データ、距離画像データ、並びにキャリブレーションデータを用いて空間モデルを生成する。生成した空間モデルはその記憶装置４９に格納される。

このようにして選択的に取り込まれた画像データの各画素は、空間再構成装置３６にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置３８に一旦記憶するようにしている。

視点変換装置４０は、空間再構成装置３６によって作成された空間データを記憶装置３８から読み出し、指定された仮想視点から見た画像を再構成するのである。これは前記空間再構成装置３６にて行った処理の逆変換処理となる。これによって、新たな変換視点から見た画像が空間データ記憶装置３８から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置４２に格納した後、表示装置４４にて視点変換画像として表示されることになる。

この実施形態では、前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットが視点バッファ装置若しくはバッファ装置１４から優先取得されるので、余分なデータ処理がなくなり、本実施形態では画像合成処理速度が速くなり、即時性が要求される車両のような移動体への適用に高い効果がある。

なお、視点変換画像生成／表示装置１２には、撮像装置配置物体モデルを記憶格納している撮像装置配置物体モデル記憶装置５２が設けられ、空間再構成する場合に撮像装置配置物体モデルを同時に表示できるようにしている。また、視点変換画像生成／表示装置１２には、物体認識装置７２を設けておき、視点変換画像において認識された障害物を表示可能な撮像手段としてのカメラ１０を特定し、当該カメラの画像データを優先的に読み出して、表示装置４４への出力をなすようにしている。

さらに、視点選択装置３０が設けられており、予め規定されている設定仮想視点に対応する画像データを仮想視点データ記憶装置２８に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて物体認識装置７２に送信し、選択された仮想視点に対応する障害物を変換画像に表示させるようにしている。

ところで、本発明では、上述した視点変換画像生成／表示装置１２に送る画像データを取得する手段であるカメラ１０は、１視点の撮像画像を複数の撮像手段、又は分割光学手段により異なる特性で撮像する異種画像取得手段として構成され、これら異種画像取得手段により取得された異種画像撮影領域に関して、異種画像で相互補間しつつ前記仮想視点画像を生成するように構成させている。

図３に実施形態に係る単体カメラ組み合わせ方式の異種画像取得カメラの構成概略図を示す。図示のように、ケーシング６０内に可視光画像と赤外画像を撮像する２つのカメラ６２ａ、６２ｂを設置する。可視光側のカメラ６２ａは、通常のビデオカメラのように、赤外カットフィルタ６４を用いることで、赤外波長成分を除去した可視光画像を撮像する。これから所定の基線長Ｌ１（数ミリから数センチメートル程度）離れた位置に、光軸をほぼ平行にして、赤外カメラ６２ｂを設ける。これは、可視光をカットし、赤外光を透過する赤外フィルタ６６を光学系の光路中に設け、撮像素子は赤外線波長域に感度を持ったものを用いる。

このようにして、異なる特性を持つ異種画像を撮影する撮像装置を用いて異種画像を撮像する。三角測距の原理から、たとえばＶＧＡ（６４０×４８０）の撮像素子を用いて、画角１２０度のカメラを数センチの間隔で設置した場合には、１メートル以遠の被写体については、ほとんど視差が一ピクセル以下となり、視差量を考慮する必要がない。このような場合は、ほぼ、赤外画像と、可視光画像が共通となるため、後述の領域の分割で、一対一の対応で可視光画像と赤外画像を置換すればよいことになる。

一方、視差量が無視できない場合については、異種画像間の対応関係を算出して、異種画像の視点間の補正が必要となる。図３で取り込んだ、赤外画像と可視光画像を用い、それぞれを選択的に用いて、視点変換画像を生成する際の動作フローを図４に示す。なおこれは、空間再構成装置内における処理である。

まず、画像処理の前段として、図１に示す各撮像手段の後段にある画像切り出し装置・バッファ・ＩＤ付加・パケット（バッファ装置１４）において、画像の切り出し処理を実施する。これは、単一の撮像素子に結像した像から、所定の領域に分割して、画像を切り出し、それぞれに、赤外画像か、可視光画像かのＩＤを付加し、バッファに蓄積する。画像選択装置２６は、これら２枚の画像のいずれを撮像装置から読み出すか、もしくはペアとして読み出すかを選択し、画像整列装置３２を介して、実写画像データ記憶装置３４に送信する。

このように、赤外画像データ（Ｓ２０２）と、可視光画像データ（Ｓ２０４）が与えられると、可視光画像からの画像は画像認識による領域分割が行なわれる（Ｓ２０６）。これは、物体認識装置７２からの物体認識データや、可視光画像のセグメンテーションを行い、赤外画像と、可視光画像のどちらの画像を用いるかの選択ステップを行う。

次に、可視光画像のピクセルを順次読み出し（Ｓ２０８）、赤外画像にする領域に含まれるか、可視光画像のままの領域かを判定し（Ｓ２１０）、赤外画像に変更するピクセルは、赤外画像の対応ピクセルの算出ステップを実行する（Ｓ２１２）。

赤外画像上の対応ピクセルの算出処理は、空間モデルとキャリブレーションデータを用い、可視光画像のピクセルを空間モデルにマッピングし（Ｓ２１４）、可視光画像ピクセルをマッピングした空間データを赤外カメラ視点に変換し（Ｓ２１６）、赤外画像データの対応ピクセル位置を算出し（Ｓ２１８）、対応ピクセルの座標を算出する。対応ピクセルの座標から、赤外画像データ上のピクセルを読み出す（Ｓ２２０）。

次に、可視光画像のままのピクセルと、可視光画像上で赤外画像に置換するピクセルを可視光画像に埋め込み（Ｓ２２２）、赤外・可視光混合画像データを生成する。得られた赤外・可視光混合画像データ（Ｓ２２４）。

空間モデルと、キャリブレーションデータを用いて、赤外・可視光混合画像データを三次元空間の空間モデルにマッピングする（Ｓ２２６）。テクスチャマッピングがなされた空間データが生成される。得られた空間データ（Ｓ２２８）。空間再構成装置３６によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置４０で生成する（Ｓ２３０）。得られた視点変換画像（Ｓ２３２）を表示装置４４で表示する。

ところで本実施形態では、逐次可視光画像と、赤外画像の対応するピクセル座標を算出しているが、あらかじめこの演算を実施して、テーブルとして記憶するようにしてもよい。図５にテーブル記憶装置を付加したシステムブロック図を示す。なお、図１と同一の構成は、同一の符号を付しその説明を省略する。

まず図３で示したように、可視光画像と赤外画像の視差量が、一ピクセル以下である場合は対応するピクセル座標を読み出して置換するだけでよい。この場合は、図４の赤外画像上の対応ピクセルの算出処理は、あらかじめ実行されており、その値が図５の赤外・可視ピクセル対応点テーブル記憶装置４１に記憶され、可視光画像の対応ピクセルの赤外画像ピクセルの読み出しと埋め込みに用いられることになる。こうすることにより、所定の赤外、可視光画像の判別アルゴリズムにより、適切な部分に適切な情報を用いた視点変換画像を生成することが可能となる。また、赤外画像ピクセルに置換する領域の選択については、輝度が所定値以下の領域、たとえば陰になっていて判別できない領域、夜間で視認しにくい領域などを選択するようにする。

このように、図１に示す１視点を撮像するカメラ１０を可視光線カメラ１０Ｖと赤外線カメラ１０Ｉによって構成し、同時に撮影条件の異なる画像データを取り込むようにしている。異種特性画像を同時に撮影し、別個にバッファ装置１４に一旦格納しておき、タイムスタンプを同一にするがＩＤの異なる画像データパケットとして視点変換合成画像生成／表示装置１２に送信され、空間再構成装置３６にて、取得された異種画像撮影領域に関して、異種特性画像で相互補間しつつ前記仮想視点画像を生成する。

このように構成することにより、視点変換画像には例えば昼間時の陰影差が大きい個所の撮像や、夜間撮影などの場合に、同一視点を撮影条件が異なる二つのカメラで撮影して入手した画像データを用いることができるので、一つの撮影条件では視認できない画像も表示させることができるようになる。したがって、トンネルなどの暗部と、陽光を浴びている明度が大きい風景が混在しているような場合、トンネル内部の走行車両、人などを表示させることができるようになる。

前述の実施例では１視点カメラ１０を二つの独立したカメラ、すなわち可視光線カメラ１０Ｖと赤外線カメラ１０Ｉとによって組み合わせた異種画像取得カメラを示したが、これは、画像の同期についてゲンロックなどの電気的な同期を実施する必要がある。そのような電気的な同期を回避し、一つの撮像素子に対して、異種画像を結像する、ステレオアダプタ方式の異種画像取得カメラの実施の形態を示す。

図６に異種画像として赤外画像を用いた場合のステレオアダプタ方式カメラの構成概略図を示す。図示のように、ケーシング８３の正面部左右に距離Ｌ２だけ離して各々受光レンズ群を配設した左右一対の広角コンバータレンズ８０Ｌ，８０Ｒを形成し、被写体をステレオ撮影できるようにしている。広角コンバータレンズ８０Ｌ，８０Ｒを通じて入力した撮像光を撮像信号として受信する撮像素子８２がケーシング８３背面の中央部に配置されており、撮像素子８２の左右領域にて、それぞれ前記左右広角コンバータレンズ８０Ｌ、８０Ｒからの被写体映像を結像させるようになっている。このため、撮像素子８２と左右広角コンバータレンズ８０Ｌ，８０Ｒの間には、結像レンズ系８４を含む導光用光学系が配設され、左側広角コンバータレンズ８０Ｌで捉えた被写体映像が、撮像素子８２の左側領域に、右側広角コンバータレンズ８０Ｒで捉えた被写体映像は撮像素子８２の右側領域に導かれて、それぞれ一つの撮像素子８２の受光面に左右分離された状態で同時に結像されるようになっている。結像レンズ系８４の前に、赤外カットフィルタ６４、赤外フィルタ６６を設置する。この構成により、一つの撮像素子に対して赤外画像及び可視光画像からなる異種画像を結像することが可能となる。

なお、図６に示す光学系（広角コンバータレンズ８０、結像レンズ系８４）は各種の変更が可能である。たとえば、前側レンズ群で一時結像した像を、リレーレンズ系でリレーし、後側レンズ群で最結像するような光学系や、リレーレンズ系を光ファイバーアレイで構成したものなどを用いてもよい。また、赤外カットフィルタなどの異種画像を取得するための光学素子の設置位置も、当然前側レンズ群の前、その中、後、後側レンズ群の前、中、後、さらには、撮像素子の直近、ローパスフィルタの部分に設置するフィルタでも同様の効果を得ることができる。

次に、左右で光量の異なる画像を取得するためのステレオアダプタ方式の異種画像取得カメラの実施例を図７に示す。このカメラの基本構成は図６に示すステレオアダプタ方式カメラと同一であるが、赤外画像を取得する赤外フィルタ６６の代わりにＮＤフィルタ６７を用いたものである。ＮＤフィルタ６７を装着した画像がハイライト優先画像となり、ＮＤフィルタを装着せず透過フィルタ６９を装着した画像がシャドウ優先画像となる。これにより、ＮＤフィルタ６７側の光量を減らすことができ、左右で光量の異なる画像を取得することができる。

また、結像レンズ系８４の絞り位置に光量絞り７４を設けることにより、光量を変化させたものを図８に示す。このカメラの基本構成は図６に示すステレオアダプタ方式カメラと同一であるが、結像レンズ系８４の光路中に光量絞り７４を形成してある。この光量絞り７４ａは絞りを開放した場合を示し、光量絞り７４ｂは絞りを小さくした場合を示す。

これにより、ＮＤフィルタ６７の場合と同様に、左右の画像光量の違いで異種画像として取得することができるほか、被写界深度の違いで、ピントの合っている範囲を変える効果も有する。すなわち、日中屋外など十分な光量がある場合、明るい領域は全面にピントの合った画像をハイライト優先画像として取り込むことができ、日陰などのシャドウ優先画像の部分はピントが合う範囲は狭いが、影の領域などの撮像をすることが可能となる。これらを組み合わせ、より良好で視認性の高い、視点変換画像を生成する。

また、赤外と可視光の場合は夜間の照明が当たっている明るい領域には可視光の画像が、暗い領域には赤外による暗視画像がピクセル単位で埋め込まれ、全体として双方の領域において被写体を認識しうる視点変換画像を生成することが可能となる。

さらに、光量の異なる異種画像を取得する場合は、日中日向の映像で、日の当たっている車両などの情報とともに、車の影、建物の陰などに隠れている物体についても同時に撮像が可能となり、影による障害物の見落としといった問題を回避することが可能となる。

図９は実施形態に係る画像生成装置を車両に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。図示のように、撮像手段配置物体としての車両６８の前後部には、撮像手段としてのカメラ１０が複数装備されている。各カメラ１０は、図示してはいないが、前述した可視光線カメラ１０Ｖと赤外線カメラ１０Ｉによって構成されている。この図示の例では、車両６８の前部に前方カメラ群１０Ｆ（１０ＦＲ、１０ＦＣ、１０ＦＬ）が装備され、各カメラは車両前方の右側４５度の向き、中央、左側４５度の向きを撮像するようにしている。また、車両の後部にも、撮像手段としての後方カメラ群１０Ｒ（１０ＲＲ、１０ＲＣ、１０ＲＬ）が装備され、同様に各カメラは車両後方における右側４５度の向き、中央、左側４５度の向きを撮像するようにしている。

車両６８には、前記カメラ１０による撮影画像を、当該カメラ１０による視点とは別の任意の視点から撮影したように画像を合成する視点変換合成画像の生成／表示装置１２が装備されている。この画像生成／表示装置１２と各カメラ１０とはＨＵＢを介してＬＡＮ回線７０により接続され、画像データをバッファを経由してパケット送信させるようにしている。これにより、設定される仮想視点ごとに一義的に決まる必要画像データをバッファ装置１４から取捨選択してパケット送信により迅速に取り込み、画像合成して表示するようにしているため、画像表示速度が速くなり、合成画像の迅速な表示ができるようになっている。

なお、本実施形態では、車両６８のような移動体では、移動障害物がある場合、これを運転席の表示装置４４に迅速に表示させて回避動作をさせるよう促す必要が生じてしまうことが多い。車両６８に付帯させた測距装置４６あるいはカメラに搭載した距離センサ機能を利用して障害物が認識された場合、本実施形態では、視点変換合成画像生成／表示装置１２に、物体確認装置７２を設けておき、視点変換画像において認識された障害物を表示可能な撮像手段としてのカメラ１０を特定し、当該カメラの画像データを優先的に読み出して、表示装置４４への出力をなすようにしている。

上述したように、本実施形態に係る画像生成方法及び装置によれば、同一視点領域を可視光画像と赤外線画像ととして同時取得することができるので、明暗差の大きい屋外画像や夜間時における撮影で通常は表示できない部分領域を明瞭に画像表示させることができる。

なお、カメラなど撮像手段を所定の形態で設置する対象物は、車両に装着した例を示しているが、撮像装置配置物体として例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適応が可能となる。

本発明に係る画像生成方法および装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための建物や室内外の監視装置として利用することができる。

実施形態に係る画像生成装置のシステムブロック図である。 撮像手段としてのカメラ構成のブロック図である。 単体カメラ組み合わせ方式の異種画像取得カメラの構成概略を示す図である。 実施形態に係る異種画像を選択的に用いて視点変換画像を生成するフローチャートである。 実施形態に係るテーブル記憶装置を付加した画像生成装置のシステムブロック図である。 ステレオアダプタ方式カメラによる異種画像取得カメラの構成概略を示す図である。 ステレオアダプタ方式カメラによる他の異種画像取得カメラの構成概略を示す図である。 左右で光量の異なる画像を取得する他の異種画像取得カメラの構成概略を示す図である。 実施形態に係る画像生成装置を車両に装備した場合の構成ブロック図である。

符号の説明

１０………カメラ、１２………視点変換合成画像生成／表示装置、１４………バッファ装置、１６………バッファメモリ、１８………ＩＤ付加手段、２０………パケット生成手段、２２………連続送信制御手段、２４………通信制御装置、２６………画像選択装置、３０………視点選択装置、３２………画像整列手段、３４………実写画像データ記憶装置、３６………空間再構成装置、３８………空間データ記憶装置、４０………視点変換装置、４１………赤外・可視ピクセル対応点テーブル記憶装置、４２………視点変換画像データ記憶装置、４４………表示装置、４６………測拒装置、４７………距離画像データ記憶装置、４８………空間モデル生成装置、４９………空間モデル記憶装置、５０………キャリブレーション装置、５１………キャリブレーション記憶装置、５２………撮像装置配置物体モデル記憶装置、６０………ケーシング、６２………カメラ、６４………赤外カットフィルタ、６６………赤外フィルタ、６７………ＮＤフィルタ、６８………車両、６９………透過フィルタ、７０………ＬＡＮ回線、７２………物体認識装置、７４………光量絞り。

Claims (12)

1. 撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成する画像生成方法において、
   １視点の撮像画像を複数の撮像手段、又は分割光学手段により異なる特性で撮像する異種画像取得手段を持ち、異種画像取得手段により取得された異種画像撮影領域に関して、異種画像で相互補間しつつ前記仮想視点画像を生成することを特徴とする画像生成方法。
2. 前記異種画像は異なる種類の撮像手段を用いて撮像した画像情報を視点補正して仮想視点画像を生成することを特徴とする請求項１に記載の画像生成方法。
3. 前記１視点の撮像画像を分割し分割経路中にて撮像条件を変更することにより異種画像を取得するようにしてなることを特徴とする請求項１に記載の画像生成方法。
4. 前記異種画像は可視画像と赤外線画像からなることを特徴とする請求項１に記載の画像生成方法。
5. 前記異種画像は露出の異なる画像であることを特徴とする請求項１に記載の画像生成方法。
6. 撮像手段配置物体に配置された１又は複数の撮像手段によって得られた画像情報を用いて仮想視点からの視点変換画像を生成する画像生成装置において、
   少なくとも１つの撮像手段を異種画像として取得可能に構成し、前記視点変換画像生成手段により、異種画像撮影領域に関して異種画像で相互補間しつつ前記仮想視点画像を生成可能としたことを特徴とする画像生成装置。
7. 前記異種画像取得可能な撮像手段は、赤外線撮影と可視光撮影を切替え若しくは双方の画像が１視点から撮影できるように複数のカメラが同一視点をカバーするように配置されたことを特徴とする請求項６に記載の画像生成装置。
8. 前記異種画像取得可能な撮像手段は、ステレオアダプタにより分割しつつ片側のみ赤外カットフィルタを設け、同一視野に対して赤外線画像と可視光画像を撮像するように構成したことを特徴とする請求項６に記載の画像生成装置。
9. 前記異種画像取得可能な撮像手段は、同軸光学系でダイクロイックプリズムにより、可視光画像と赤外線画像を別々の撮像素子に結像し、赤外線画像と、可視光画像を撮像することを特徴とする請求項６記載の画像生成装置。
10. 前記異種画像取得可能な撮像手段は、可視光カメラと赤外線カメラを並列配置して成ることを特徴とする請求項６に記載の画像生成装置。
11. 前記異種画像取得可能な撮像手段の画像切替による視点ずれの補正手段を有し、仮想視点の生成時にこれらの画像のずれを補正した上で仮想視点画像を生成することを特徴とする請求項６又は１０記載の画像生成装置。
12. 前記撮像手段配置物体は、車両、建築物、人物の少なくともいずれか１つであることを特徴とする請求項６から１１のいずれか１つに記載の画像生成装置。

Images