JP2006323693A - 処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】撮像視野内の物体の輪郭を示す輪郭データを正確に生成すること。
【解決手段】本発明にかかる処理装置１は、撮像部１０から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する距離演算部２０と、検出範囲内に位置する物体までの距離を検出するレーダ６０と、レーダ６０における検出値と距離演算部２０における演算値とに基づいて撮像視野内の物体の輪郭を示す輪郭データを生成する輪郭生成部７０とを備える。また、輪郭生成部７０は、検出された輪郭データが、撮像部１０が生成した画像信号群に基づいて求めた輪郭を示す他の輪郭データと適合するか否かを判定する判定部７２を備える。
【選択図】 図１

Description

この発明は、所定の撮像視野に対応する画像を処理する処理装置、画像処理方法および画像処理プログラムに関する。

近年、車両の大衆化にともない、車両に搭載される各種装置が実用化されている。このような車両搭載用装置として、自車両と先行車両との車間距離などの距離情報を計測し、計測した距離情報に基づいて各種処理を行なう処理装置がある。

従来から、このような処理装置として、レーダを備えた処理装置が提案されている（特許文献１参照）。このような処理装置は、たとえば前方向に対してレーザ光等の発信波を発して、先行車両等の障害物からの反射波を検知することによって障害物の有無および障害物までの距離を検出している。処理装置は、この距離情報をもとに、先行車両等の物体の輪郭を示す輪郭データを求め、自車両が通行中の道路において車両の通り抜けが可能であるか否かの判断などを行なっている。

実公昭６３−４３１７２号公報

しかしながら、従来のレーダを備えた処理装置では、検出範囲が狭く、さらに各検出点間の間隔が広く、距離情報を疎らにしか取得することができなかった。このため、このような距離情報を用いて作成した輪郭データは、必ずしも正確であるとは言えず、処理装置は、車両の通り抜け判断などの各種処理を適切に行なうことができないという問題があった。

この発明は、上記した従来技術の欠点に鑑みてなされたものであり、レーダを備えた処理装置において、物体の輪郭を示す輪郭データを正確に生成することができる処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、この発明にかかる処理装置は、所定の検出範囲内に位置する物体までの距離を検出する検出手段と、所定の撮像視野を撮像して画像信号群を生成する撮像手段と、前記画像信号群に基づいて前記撮像視野内の距離を演算する演算手段と、前記検出手段における検出値と前記演算手段における演算値とに基づいて前記撮像視野内の物体の輪郭を示す輪郭データを生成する輪郭生成手段と、を備えたことを特徴とする。

また、この発明にかかる処理装置は、前記輪郭生成手段が生成した前記輪郭データが、前記画像信号群に基づいて求めた輪郭を示す他の輪郭データと適合するか否かを判定する判定手段を備え、前記輪郭生成手段は、前記判定手段が適合すると判定した前記輪郭データを出力することを特徴とする。

また、この発明にかかる処理装置は、前記輪郭生成手段は、前記検出値間に前記演算値を補間した補間データを用いて前記輪郭データを生成することを特徴とする。

また、この発明にかかる処理装置は、前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする。

また、この発明にかかる処理装置は、前記撮像手段は、一対の光学系と、一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、を備えたことを特徴とする。

また、この発明にかかる処理装置は、前記撮像手段は、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えたことを特徴とする。

また、この発明にかかる処理装置は、当該処理装置は、車両に搭載されることを特徴とする。

また、この発明にかかる画像処理方法は、所定の撮像視野に対応する画像を処理する画像処理方法において、所定の検出範囲内に位置する物体までの距離を検出する距離検出ステップと、前記所定の撮像視野を撮像して画像信号群を生成する撮像ステップと、前記画像信号群に基づいて前記所定の撮像視野内の距離を演算する演算ステップと、前記距離検出ステップにおける検出値と前記演算ステップにおける演算値とに基づいて、前記撮像視野内の物体の輪郭を示す輪郭データを生成する輪郭生成ステップと、を含むことを特徴とする。

また、この発明にかかる画像処理プログラムは、所定の撮像視野に対応する画像を処理する画像処理プログラムにおいて、所定の検出範囲内に位置する物体までの距離を検出する距離検出手順と、前記所定の撮像視野を撮像して画像信号群を生成する撮像手順と、前記画像信号群に基づいて前記所定の撮像視野内の距離を演算する演算手順と、前記距離検出手順における検出値と前記演算手順における演算値とに基づいて、前記撮像視野内の物体の輪郭を示す輪郭データを生成する輪郭生成手順と、を含むことを特徴とする。

本発明にかかる処理装置によれば、検出手段における検出値と演算手段における演算値とに基づいて撮像視野内に位置する物体の輪郭を示す輪郭データを生成する輪郭生成手段を備えたことによって、撮像視野内に位置する物体の輪郭データを正確に生成することができ、この輪郭データを用いた車両通り抜け判断処理などを適切に行なうことが可能となる。また、本発明にかかる画像処理方法および画像処理プログラムを用いることによって、正確な輪郭データを取得することができる。

以下、図面を参照して、この発明の実施の形態である処理装置について、車両に搭載される処理装置を例として説明する。この処理装置が生成する輪郭データに基づいて、車両の通り抜け判断などの各種処理が行なわれる。なお、この実施の形態により、この発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。

まず、実施の形態にかかる処理装置について説明する。本実施の形態にかかる処理装置は、レーダにおける検出値と距離演算部における演算値とに基づいて撮像視野内の物体の輪郭を示す輪郭データを生成する。図１は、本実施の形態にかかる処理装置の概略構成を示すブロック図である。

図１に示すように、本実施の形態にかかる処理装置１は、所定の撮像視野を撮像して画像信号群を生成する撮像部１０と、撮像部１０が生成した画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する距離演算部２０と、処理装置を構成する各構成部の各処理および各動作を制御する制御部３０と、距離情報を含む各種情報を出力する出力部４０と、距離情報を含む各種情報を記憶する記憶部５０と、所定の検出範囲内に位置する物体までの距離を検出するレーダ６０と、撮像視野内に位置する物体の輪郭を示す輪郭データを生成する輪郭生成部７０とを備える。撮像部１０と、距離演算部２０と、出力部４０と、記憶部５０と、レーダ６０と、輪郭生成部７０とは、制御部３０に電気的に接続される。距離演算部２０は、演算部２１とメモリ２２とを備える。制御部３０は、補間部３１を備える。輪郭生成部７０は、輪郭検出部７１と判定部７２とを備える。

撮像部１０は、右カメラ１１ａと左カメラ１１ｂとを備える。右カメラ１１ａおよび左カメラ１１ｂは、それぞれの撮像視野に対応した画像信号群を出力する。右カメラ１１ａおよび左カメラ１１ｂは、それぞれ、レンズ１２ａ，１２ｂと、撮像素子１３ａ，１３ｂと、アナログ／デジタル（Ａ／Ｄ）変換部１４ａ，１４ｂと、フレームメモリ１５ａ，１５ｂとを備える。レンズ１２ａ，１２ｂは、所定の視野角から入射する光を集光する。レンズ１２ａ，１２ｂにそれぞれ対応して配置される撮像素子１３ａ，１３ｂは、ＣＣＤまたはＣＭＯＳなどによって実現され、レンズ１２ａ，１２ｂを透過した光を検知してアナログ画像信号に変換する。Ａ／Ｄ変換部１４ａ，１４ｂは、撮像素子１３ａ，１３ｂから出力されたアナログ画像信号をデジタル画像信号に変換する。フレームメモリ１５ａ，１５ｂは、Ａ／Ｄ変換部１４ａ，１４ｂから出力されたデジタル画像信号を記憶し、１枚の撮像画像に対応するデジタル画像信号群を、撮像視野に対応する画像信号群として随時出力する。

距離演算部２０は、撮像部１０から出力された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算する演算部２１と、撮像部１０から出力された画像信号群、演算部２１が演算した演算値などを記憶するメモリ２２とを備える。

演算部２１は、ステレオ法を用いて、撮像部１０から出力された画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する。演算部２１は、右カメラ１１ａから出力された右画像信号群の中から、左カメラ１１ｂから出力された左画像信号群中における任意の画像信号と整合する画像信号を検出し、検出した画像信号における任意の画像信号からの移動量Ｉをもとに、三角測量の原理によって距離を演算する。ここで述べた移動量は、一般的に言われる視差量を示す。演算部２１は、以下の（１）式を用いて、撮像部１０から対象物体である車両Ｃまでの距離Ｒを求める。（１）式において、ｆはレンズ１２ａ，１２ｂの焦点距離であり、Ｌはレンズ１２ａ，１２ｂの光軸間の幅である。また、移動量Ｉは、移動した画素の数と画素ピッチとをもとに求めてもよい。
Ｒ＝ｆ・Ｌ／Ｉ・・・（１）
演算部２１は、各画像信号に対応した距離Ｒを演算し、距離演算部２０は、演算値と撮像視野内における位置情報とをそれぞれ対応させた演算データ５２を制御部３０に出力する。なお、ここでは簡単のため、平行ステレオで説明したが、光軸が角度を持って交差したり、焦点距離がおのおの違う、撮像素子とレンズの位置関係が異なる等をキャリブレーションし、レクティフィケーションにより補正し、演算処理による平行ステレオを実現しても良い。

制御部３０は、記憶部５０に記憶された処理プログラムを実行するＣＰＵなどによって実現され、撮像部１０と距離演算部２０と出力部４０と記憶部５０とレーダ６０との各処理または動作を制御する。制御部３０は、これらの各構成部位に入出力される情報について所定の入出力制御を行うとともに、これらの情報に対して所定の情報処理を行う。

補間部３１は、距離演算部２０から出力された演算データ５２と、レーダ６０から出力された検出データ５１とを用いて、レーダ６０の検出範囲内における検出値間を距離演算部２０の演算値で補間した距離データ５３を生成する。この距離データ５３は、距離値と、この距離値に対応する位置情報とがそれぞれ対応づけられている。

出力部４０は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイなどによって実現され、距離情報に加え撮像部１０が撮像した画像などの各種表示情報を表示出力する。また、出力部４０は、スピーカをさらに備え、距離情報のほか、先行する車両Ｃと接近した旨を報知させる警告音声などの各種音声情報を出力する。

記憶部５０は、処理プログラム等の各種情報が予め記憶されたＲＯＭと、各処理の演算パラメータ、各種構成部位から出力された各種情報、書込情報、あるいは音声情報等を記憶するＲＡＭとを備える。記憶部５０は、レーダ６０から出力された検出データ５１、距離演算部２０から出力された演算データ５２、補間部３１から出力された距離データ５３、撮像部１０から出力された画像データ５４、輪郭生成部７０から出力された輪郭データ５５などの各種情報を記憶する。

レーダ６０は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信して、発信状態および受信状態をもとに、レーダ６０から発信波を反射した物体までの距離と、この物体が位置する方向とを検出する。レーダ６０は、発信波の送信角度、反射波の入射角度、反射波の受信強度、発信波を送信してから反射波を受信するまでの時間、反射波の周波数変化などをもとに、処理装置１から発信波を反射した物体までの距離を検出する。レーダ６０は、検出範囲内に位置する物体までの検出距離値と、検出範囲内における位置情報とを対応させた検出データ５１を制御部３０に出力する。レーダ６０は、発信波として、レーザ光、赤外線またはミリ波を送信する。

輪郭生成部７０は、撮像視野内の物体の輪郭を示す輪郭データ５５を生成し、制御部３０に対して出力する。輪郭検出部７１は、距離データ５３を用いて、撮像視野の物体の輪郭を示す輪郭データの候補を生成する。この距離データ５３は、レーダ６０によって検出された検出値間に距離演算部２０によって演算された演算値が補間されている。たとえば、輪郭検出部７１は、距離データ５３の各距離値の２次の変化点を取り出す２次微分法を用いて、物体のエッジ部分を求めた輪郭データを生成する。２次微分法では、所定の微分フィルタを用いて距離値の変化点、すなわち、距離値が急激に変化するエッジ部分をそれぞれ検出する方法である。なお、輪郭検出部７１は、物体の輪郭の検出法として、近傍に位置する距離値のうち最も大きな値を有する距離値に対応する部分をエッジ部分として求める方法を用いて輪郭データを生成してもよい。この方法では、距離値を順次比較し、最も大きい距離値を示す箇所をエッジ部分として検出している。また、輪郭検出部７１は、各種の距離値変化パターンを用いて、距離値の変化点を求め、この変化点をエッジ部分として検出し、検出したエッジ部分などをもとに輪郭データを求めてもよい。

判定部７２は、輪郭検出部７１が生成した輪郭データの候補が、撮像部１０から出力された画像信号群をもとに求めた輪郭を示す他の輪郭データと適合するか否かを判定する。たとえば、判定部７２は、他の輪郭データとして、画像信号群のおける各画像信号の色情報を用いる。判定部７２は、画像信号群のうち、輪郭検出部７１が生成した輪郭データのエッジ部分に相当する各画像信号の色情報を抽出し、輪郭データのエッジ部分が色情報の変化部分の十分近くの近傍にあるか否かを適合条件として判定する。そして、判定部７２は、色情報の変化部分が輪郭データのエッジ部分と適合すると判定した場合には、輪郭データにおけるエッジ部の位置は正確であると考えられるため、この輪郭データは適性であると判定する。一方、判定部７２は、色情報の変化部分が輪郭データのエッジ部分と適合しないと判断した場合には、輪郭データにおけるエッジ部の位置が必ずしも正確であるとは限らないため、この輪郭データは適性でないと判定する。輪郭生成部７０は、輪郭データの候補のうち、判定部７２において、画像信号群をもとに求めた輪郭を示す他の輪郭データと適合すると判定された輪郭データ、すなわち、判定部７２が適性であると判定した候補を、輪郭データ５５として出力する。

つぎに、処理装置１が行なう処理動作のうち、輪郭生成部７０が輪郭データ５５を出力するまでの処理動作について説明する。図２は、処理装置１において、輪郭生成部７０が輪郭データ５５の出力を完了するまでの処理手順を示すフローチャートである。

図２に示すように、制御部３０は、レーダ６０に対して検出範囲内に位置する物体までの距離を検出する検出処理を指示し（ステップＳ１０２）、レーダ６０は、検出処理を行ない、検出データ５１を制御部３０に出力する。制御部３０は、レーダ６０から出力された検出データ５１を受信する（ステップＳ１０４）。制御部３０は、撮像部１０に対して撮像処理を指示し（ステップＳ１０６）、撮像部１０は、制御部３０の制御のもと、所定の撮像視野を撮像する撮像処理を行ない、右カメラ１１ａおよび左カメラ１１ｂはそれぞれ画像信号群を出力する。その後、制御部３０は、距離演算部２０に対して、撮像部１０から出力された画像信号群を処理して、撮像視野内に位置する物体までの距離を演算する距離演算処理の指示を行なう（ステップＳ１０８）。距離演算部２０は、制御部３０の指示にしたがって距離演算処理を行ない、各演算値と撮像視野内における位置情報とを対応させた演算データ５２を制御部３０に対して出力する。この結果、制御部３０は、距離演算部２０から出力された演算データ５２を受信する（ステップＳ１１０）。

補間部３１では、検出データ５１の各検出値間に演算データ５２の演算値を補間した距離データ５３を作成する補間処理を行なう（ステップＳ１１２）。一般に、レーダ６０から出力された検出データ５１は、たとえば図３に示す検出データ５１ａのように、各レーダ検出点間の間隔が広く、検出値が疎らに配置するものである。補間部３１は、このような検出データ５１ａの各レーダ検出点間に、演算データ５２の演算点をそれぞれ補間することによって、図４に示すように、各距離値が密に配置される詳細な距離データ５３ａを作成している。補間部３１は、補間処理を行なった後、生成した距離データ５３を出力する（ステップＳ１１４）。

その後、輪郭生成部７０は、補間部３１から出力された距離データ５３を用いて、撮像視野内の物体の輪郭を示す輪郭データを生成する輪郭生成処理を行ない（ステップＳ１１６）、輪郭データ５５を出力する（ステップＳ１１８）。

つぎに、図２に示す輪郭生成処理について説明する。図５は、図２に示す輪郭生成処理の処理手順を示すフローチャートである。まず、輪郭検出部７１は、補間部３１から出力された距離データ５３を参照する（ステップＳ１２２）。輪郭検出部７１は、この距離データ５３をもとに、撮像視野内に位置する物体の輪郭を示す輪郭データの候補を検出する（ステップＳ１２４）。

その後、輪郭生成部７０は、撮像視野内に位置する物体に対する全ての輪郭データの生成は終了したか否かを判断する（ステップＳ１２６）。そして、判定部７２は、輪郭生成部７０によって、撮像視野内に位置する物体に対する全ての輪郭データの生成は終了していないと判断された場合には（ステップＳ１２６：Ｎｏ）、輪郭検出部７１が検出した輪郭データの候補が、画像信号群に基づいて求めた輪郭を示す他の輪郭データと適合するか否かを判定し、この輪郭データの候補が適性であるか否かを判定する判定処理を行なう（ステップＳ１２８）。

輪郭生成部７０は、判定部７２によって、この輪郭データの候補が適性であると判定されたか否かを判断し（ステップＳ１３０）、この輪郭データの候補が適性でないと判定されたと判断した場合には（ステップＳ１３０：Ｎｏ）、ステップＳ１２４に進み、輪郭検出部７１に対して新たな輪郭データの候補を検出させる。

一方、輪郭生成部７０は、判定部７２によって、この輪郭データの候補は適性であると判定されたと判断した場合には（ステップＳ１３０：Ｙｅｓ）、判定部７２が適性であると判断した輪郭データの候補を登録し（ステップＳ１３２）、ステップＳ１２４に進み、輪郭検出部７１に対して、新たな輪郭データの候補を検出させる。

また、輪郭生成部７０は、撮像視野内に位置する物体に対する全ての輪郭データの生成が終了したと判断した場合には（ステップＳ１２６：Ｙｅｓ）、判定部７２が適性であると判断した各輪郭データの候補を有する輪郭データ５５を作成する。

つぎに、図５に示す輪郭候補検出処理について具体的に説明する。図６は、輪郭生成部７０が参照する距離データの一例を示す図である。輪郭生成部７０は、図６に示す距離データ５３ｂにおける各行ごとに輪郭データの候補を検出し、全ての行に対応する輪郭データをそれぞれ備えたデータ群を一つの輪郭データ５５として出力する。

たとえば、輪郭検出部７１が図６に示すｘ６方向の輪郭データを検出する場合について説明する。輪郭検出部７１は、図６に示すｘ６方向の距離値をもとに、ｘ６方向に対応する距離値変化を求める。そして、輪郭検出部７１は、この距離値変化から、図７に示すような曲線ｌ１を輪郭データの候補として検出する。また、輪郭検出部７１は、ｘ６方向の距離値に対して２次微分法を用いて距離値の変化点をもとめ、図７に示すエッジ候補Ｅａ１，Ｅｂ１，Ｅｃ１を求める。輪郭検出部７１は、図７に示す曲線ｌ１を輪郭データの候補として出力するとともに、２次微分法を用いて求めたエッジ候補Ｅａ１，Ｅｂ１，Ｅｃ１を出力する。後述するように、判定部７２は、この曲線ｌ１で示される輪郭データが適正であるか否かを、エッジ候補Ｅａ１，Ｅｂ１，Ｅｃ１と画像信号の色情報とを比較することによって判定している。

つぎに、図５に示す判定処理について説明する。図８は、図５に示す判定処理の処理手順を示すフローチャートである。図８に示すように、まず、判定部７２は、輪郭検出部７１が生成した輪郭データの候補を参照する（ステップＳ１４２）。判定部７２は、撮像部１０から出力された画像信号群を含む画像データ５４を参照する（ステップＳ１４４）。この画像データ５４は、撮像部１０の撮像視野に対応する。

その後、判定部７２は、輪郭データの候補におけるエッジ部分と、画像データ５４におけるエッジ部分に対応する近傍領域の色情報差が大きい部分とを比較して、画像データ５４の色情報差と輪郭データの候補におけるエッジ部分とが適合するか否かを判断する（ステップＳ１４６）。

一般に、画像上に表示された物体の輪郭を境界として、色の濃淡が急激に変化する。したがって、画像データ５４における色情報間の差、たとえば、色の濃度値の差分が大きい部分は、画像上に表示される物体のエッジ部分であるといえる。このため、判定部７２は、画像データ５４の色情報差と輪郭データの候補におけるエッジ部分とが適合すると判断した場合には（ステップＳ１４６：Ｙｅｓ）、このエッジ部分は、物体の輪郭に正確に対応していると考えられる。一方、判定部７２は、画像データ５４の色情報差と輪郭データの候補におけるエッジ部分とが適合しないと判断した場合には（ステップＳ１４６：Ｎｏ）、このエッジ部分は、物体の輪郭に正確に対応していないと考えられる。

したがって、判定部７２は、画像データ５４の色情報差と輪郭データの候補におけるエッジ部分とが適合すると判断した場合には（ステップＳ１４６：Ｙｅｓ）、このようなエッジ部分を含む輪郭データの候補は適性であると判定する（ステップＳ１４８）。また、画像データ５４の色情報差と輪郭データの候補におけるエッジ部分とが適合しないと判断した場合には（ステップＳ１４６：Ｎｏ）、このようなエッジ部分を含む輪郭データの候補は適性でないと判定する（ステップＳ１５０）。その後、判定部７２は、この輪郭データの候補に対する判定結果を出力し（ステップＳ１５２）、判定処理を終了する。

たとえば、図７に示すエッジ候補Ｅｂ１について判定処理を行なう場合について説明する。まず、判定部７２は、エッジ候補Ｅｂ１が検出された距離値の位置情報をもとに、この位置情報が示す近傍領域が、参照した画像データのいずれの領域に該当するかを求める。この場合、判定部７２は、図９に示す領域Ａ１内に位置する画像信号の色情報を用いる。領域Ａ１は、エッジ候補Ｅｂ１の位置と同位置である画像信号の近傍に位置する領域である。判定部７２は、この領域Ａ１内に位置する各画像信号間の色情報における濃度値の差分を求め、濃度値の差分が最も大きい一対の画像信号の位置とエッジ候補Ｅｂ１の位置とが適合するか否かを判断する。濃度値の差分が最も大きい一対の画像信号の位置とエッジ候補Ｅｂ１の位置とがほぼ適合する場合には、判定部７２は、画像データ５４の色情報差と輪郭データの候補におけるエッジ部分とが適合すると判断する（ステップＳ１４６：Ｙｅｓ）。一方、濃度値の差分が最も大きい一対の画像信号の位置とエッジ候補Ｅｂ１の位置とがほとんど適合しない場合には、判定部７２は、画像データ５４の色情報差と輪郭データの候補におけるエッジ部分とが適合しないと判断する（ステップＳ１４６：Ｎｏ）。

また、判定部７２は、エッジ候補Ｅｃ１に対しては、このエッジ候補Ｅｃ１の位置と同位置である画像信号の近傍に位置する領域Ａ２内に位置する画像信号の色情報を用いて判定処理を行なう。このように、エッジ候補ごとに、画像信号群のうち、エッジ候補の位置に対応する領域の画像信号間の色情報差が最も大きい位置とエッジ候補の位置とが適合するか否かを判断する。

そして、輪郭生成部７０は、判定処理を行なった結果、図１０に示す曲線ｌ２で示すように、物体の輪郭に正確に対応するエッジＥｂ，Ｅｃを有する輪郭データを生成することとなる。曲線ｌ２に対応する輪郭データによれば、エッジＥｂ，Ｅｃに対応する物体の境界間の幅Ｙ１を正確に求めることができ、たとえば、自車両の通り抜けが可能であるか否かの判断を適切に行なうことが可能となる。

たとえば、図１０の場合には、得られた輪郭成分であるエッジＥｂ，Ｅｃを端点とした区間を考える。すなわち、エッジＥｂの左側部分では、ｘ６軸上の点群１，２，３，４，５の距離データ点を内捜する曲線により補間曲線を構成する。一方、エッジＥｃの右側部分では、ｘ６軸上の点群１０，１１等の点を内捜する曲線により補間曲線を構成する。一方、エッジＥｂとエッジＥｃに挟まれる区間では、ｘ６軸上の点群６，７，８，９で外捜される曲線で、物体空間を構成し、それらにより物体の境界を定義することとなる。ここでは、輪郭生成の方法として、曲線で内捜、外捜する方法を提示したが、その方法には、別の方法もあり得る。たとえば、対象物の概略形状などがあらかじめわかっている場合には、その形状を近似するパラメータを直接推定することにより、物体幅Ｙ１などを決定することも可能である。

このように、本実施の形態では、レーダ６０の検出値間に距離演算部２０の演算値を補間した距離データ５３を求めることによって、詳細な輪郭データを生成することができる。また、本実施の形態では、輪郭データの候補における各エッジ候補を、画像信号群における色情報差などの他の輪郭データと適合するか否かを判断することによって、輪郭データの候補が適正であるか否かを判断し、適正であると判断した輪郭データを出力している。このため、処理装置１から出力された輪郭データ５５を用いることによって、車両の通り抜け判断などの各種判断処理を正確に行なうことが可能となる。

なお、本実施の形態における輪郭生成処理では、図６に示すｘ６方向の輪郭データを生成した場合について説明したが、もちろん、横方向の他行に対応する方向の輪郭データを生成する場合もあり、また、縦方向の各列に対応する方向の輪郭データを生成する場合もある。また、本実施の形態における輪郭形成処理では、斜め方向の輪郭データを生成する場合もある。

たとえば、輪郭生成部７０が、図６に示すｙ９方向に対応する輪郭データを生成する場合について、説明する。この場合、輪郭検出部７１は、図６に示すｙ９方向の距離値をもとに、ｙ９方向に対応する距離値変化を求め、図１１に示す曲線ｌ３を輪郭データの候補として検出する。また、輪郭検出部７１は、距離値の変化点からエッジ候補Ｅｄ１を求め、輪郭データの候補とともに出力する。つぎに、判定部７２は、図９に示すように、エッジ候補Ｅｂ１の位置と同位置である画像信号近傍の領域Ａ３に含まれる画像信号の色情報をもとに判定処理を行なう。この場合、判定部７２は、上述した判定処理と同様に、図９に示す領域Ａ３に含まれる画像信号の色情報における濃度値の差分を求める。その後、判定部７２は、この濃度値の差分が大きい一対の画像信号の位置とエッジ候補Ｅｄ１の位置とがほぼ適合するか否かを判断することによって、輪郭候補が適正であるか否かを判定する。

また、本実施の形態では、補間部３１は、さらに、一方の画像信号群における演算対象である画像信号と整合する画像信号を他方の画像信号群から探索する際の探索範囲を、レーダ６０の検出結果をもとに設定してもよい。演算部２１は、左画像信号群の演算対象である画像信号を通過する任意の直線と同一直線上に位置する右画像信号群の各画像信号と、演算対象である画像信号とを順次比較することによって、右画像信号群の中から演算対象である画像信号と最も整合する画像信号を検出している。補間部３１は、左画像信号群の演算対象である画像信号を通過する任意の直線と同一直線上の右画像信号群における領域のうち、レーダ６０の検出データをもととした所定領域を探索範囲として演算対象である画像信号ごとに設定する。距離演算部２０は、演算対象である画像信号を通過する任意の直線と同一直線上に位置する右画像信号群の各画像信号のうち、補間部３１が設定した探索範囲に対応する画像信号の中から、演算対象である画像信号と最も整合する画像信号を検出する。

以下、図１２および図１３を参照して、補間部３１が探索範囲を設定する場合について説明する。図１２は、横軸に演算対象である画像信号が位置する画素行における画素列数を示し、縦軸にレーダ６０において検出されたレーダ検出点の検出距離を示す。図１３は、撮像部１０から出力される右画像信号群および左画像信号群の画像信号の配列を例示する図である。以下、図１２における画素列「２」に位置する画像信号について説明する。なお、図１２に示す画素列「２」に位置する画像信号は、図１３における左画像信号群１６ｂの画像信号１６２ｂであるとして説明する。

まず、補間部３１は、画像信号１６２ｂの近傍に位置するレーダ検出点１６１とレーダ検出点１６５とを通る一次関数を求める。この場合、図１２に示すように、レーダ検出点１６１とレーダ検出点１６５とを通る一次関数は、直線ｌａに対応した関数となる。補間部３１は、この直線ｌａを中心として所定値ｅを直線ｌａの上下に加えて形成された領域Ｓｃを求める。つぎに、補間部３１は、直線ｌａが通る領域Ｓｃを距離演算部２０における各画像信号に対する探索範囲として設定する。

たとえば、補間部３１は、画素列「２」に位置する画像信号１６２ｂについては、画素列「２」上における領域Ｓｃ上の距離幅Ｙ２を求め、補間部３１は、この距離幅Ｙ２に対応する領域を画像信号１６２ｂに対応する探索領域とする。たとえば、この場合、図１３に示す右画像信号群１６ａうち、画像信号１６２ｂと同一直線上の領域Ｓ１１が、画像信号１６２ｂに対応する探索範囲となる。距離演算部２０は、画像信号１６２ｂと整合する画像信号を領域Ｓ１１内に位置する画像信号の中から検出し、画像信号１６２ｂに対応する右画像信号群１６ａの画像信号と、検出した画像信号との移動量Ｉをもとに、距離値を演算する。この結果、図１４に示すような、演算点１６２が得られることとなる。また、レーダ検出点１６５およびレーダ検出点１６９間に位置する画像信号に関しては、図１２に示すように、レーダ検出点１６５，１６９を通る直線ｌｂを求め、この直線ｌｂを通る領域Ｓｄをもとに、各画像信号に対応する探索範囲を設定すればよい。

このように、演算対象である画像信号ごとに、近接するレーダ検出点をもとに探索範囲を設定することによって、整合が検討される画像信号数が低減され、整合する画像信号を検出するために要する処理時間を短縮することが可能となる。

また、図１２では、補間部３１は、直線ｌａに所定値ｅを加えた領域Ｓｃをもとに探索範囲を設定した場合について設定したが、図１５に示す所定の確率分布に基づいて形成された領域Ｓｅをもとに探索範囲を設定してもよい。

また、補間部３１は、演算対象となる画像信号の近傍に位置するレーダ検出点または演算点をもとに、この演算対象となる画像信号に対応する探索範囲を設定してもよい。たとえば、補間部３１は、図１６に示すように、画素列「２」に位置する画像信号に対して探索範囲を設定する場合、隣接するレーダ検出点１６１をもとに領域Ｓ２を設定し、この領域Ｓ２における距離幅Ｙ３２に対応する領域を探索範囲として設定する。また、補間部３１は、画素列「３」に位置する画像信号に対しては、隣接する演算点である演算点１６２ｃをもとに領域Ｓ３を設定し、この領域Ｓ３の距離幅Ｙ３３に対応する領域を探索範囲として設定する。

また、本実施の形態では、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、処理装置１は、形状が既知の物体に対して、撮像部１０における撮像処理およびレーダ６０における検出処理を行い、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置を求める。その後、処理装置１では、最小２乗法などを用いて、撮像部１０における既知の物体の位置およびレーダ６０における既知の物体の位置の関係を求め、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係とを整合する。

また、処理装置１では、撮像部１０の撮像原点とレーダ６０の検出原点とがずれている場合があっても、撮像点および検出点から処理装置１までの距離が十分に離れていた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部１０において撮像された画像情報群における位置関係とレーダ６０における検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。

また、実施の形態にかかる処理装置１では、各画像信号が位置する画素行に各レーダ検出点が所定間隔で位置する場合について説明したが、必ずしも、撮像部１０から出力された各画像信号が位置する画素行に各レーダ検出点が存在するとは限らない。この場合、補間部３１は、各画像信号の近傍に位置する複数のレーザ検出点をもとに、一次補間法などを用いて判定対象および修正対象となる各画像信号と同一画素行のレーザ補間値を求め、この補間値を用いればよい。

また、本実施の形態における撮像部として、一対のレンズ１２ａ，１２ｂのそれぞれに対応する一対の撮像素子１３ａ，１３ｂを備えた撮像部１０について説明したが、これに限らず、図１７に示すように、一対の導光光学系と、各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子を備えた撮像部１１０としてもよい（たとえば、本出願人による特開平８−１７１１５１参照）。図１７に示すように、撮像部１１０は、一対のミラー１１１ａ，１１１ｂと、ミラー１１１ａ，１１１ｂのそれぞれに対応するミラー１１２ａ，１１２ｂと、レンズ１１２ｃと、レンズ１１２ｃによって集光された光をアナログ画像信号に変換する撮像素子１１３と、撮像素子１１３から出力されたアナログ画像信号をデジタル画像信号に変更するＡ／Ｄ変換部１１４と、デジタル信号を記憶するフレームメモリ１１５とを備える。ミラー１１１ａ，１１１ｂは、車両Ｃなどの被写体からの光を受光し、ミラー１１２ａ，１１２ｂは、ミラー１１１ａ，１１１ｂが受光した光をレンズ１１２ｃに反射する。このため、撮像素子１１３上には、各光学系に対応する画像がそれぞれ結像される。したがって、撮像部１１０は、図１８に示すように、画像１１６ａと画像１１６ｂとを含む画像１１６を出力する。このような画像１１６ａ，１１６ｂをもとに、距離演算部２０において、各画像信号に対応する距離値を演算することが可能である。

また、本実施の形態では、複数のカメラを備えた処理装置１について説明したが、これに限らず、単数のカメラを備えた処理装置に適用してもよい。この場合、距離演算部２０は、撮像部から出力された画像信号群をもとに、たとえば、シェイプフロムフォーカス法、シェイプフロムデフォーカス法、シェイプフロムモーション法またはシェイプフロムシェーディング法を用いて撮像視野内の距離を演算する。なお、シェイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シェイプフロムデフォーカス法とは、合焦距離の異なる複数の画像から相対的なぼけ量を求め、ぼけ量と距離との相関関係をもとに距離を求める方法である。また、シェイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シェイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。

また、撮像部１０は、いわゆる３眼ステレオカメラ構造を構成してもよく、また、いわゆる４眼ステレオカメラ構造を構成してもよい。３眼ステレオカメラ構造または４眼ステレオカメラ構造である撮像部とした場合、３次元再構成処理などを行なうことによって、信頼性が高く、安定した距離演算結果を得ることができる処理装置を実現することが可能となる。特に、複数のカメラを２方向の基線長を持つように配置した場合、複数の物体が複雑な構成で配置する場合であっても、３次元再構成処理が可能となり、安定して距離演算結果を得ることができる。また、この場合、一方向の基線長方向にカメラを複数配置するマルチベースライン方式を採用することが可能となり、高精度の距離計測を実現することができる。

また、本実施の形態では、レーダ６０を備えた処理装置１について説明したが、レーダ６０に代えて、赤外光または可視光を送信する半導体レーザ素子、発光ダイオードまたはレーザダイオード等の光源と、物体からの反射光を受信するフォトセンサ等の受光素子などによって実現された検出器を備えた処理装置であってもよいし、光波、マイクロ波、ミリ波、超音波を利用して反射波の遅れから距離を計測するレーダ型検出器を備えた距離計測装置であってもよい。

また、本実施の形態として、車両に搭載される処理装置１を例に説明したが、これに限らず、他の移動体に搭載される処理装置に対して適用してもよい。また、移動体に搭載される処理装置に限らず、たとえば、所定位置に固定した状態で検出範囲内の距離計測を行なう処理装置に適用してもよい。

実施の形態にかかる処理装置の概略構成を示すブロック図である。 図１に示す処理装置において輪郭データの出力を完了するまでの処理手順を示すフローチャートである。 図１に示すレーダから出力される検出データの一例を示す図である。 図１に示す距離データの一例を示す図である。 図２に示す輪郭生成処理の処理手順を示すフローチャートである。 図１に示す距離データの一例を示す図である。 図２に示す輪郭生成処理を説明する図である。 図５に示す判定処理の処理手順を示すフローチャートである。 図５に示す判定処理を説明する図である。 図１に示す輪郭データを説明する図である。 図２に示す輪郭生成処理を説明する図である。 図１に示す補間部が距離演算部に対して演算指示を行なう際の探索範囲を説明する図である。 図１に示す距離演算部における演算処理を説明する図である。 図１に示す距離演算部における演算処理を説明する図である。 図１に示す補間部が距離演算部に対して演算指示を行なう際の探索範囲の他の例を説明する図である。 図１に示す補間部が距離演算部に対して演算指示を行なう際の探索範囲の他の例を説明する図である。 図１に示す撮像部の概略構成の他の例を示すブロック図である。 図１７に示す撮像部から出力される画像の一例を示す図である。

符号の説明

１ 処理装置
１０、１１０ 撮像部
１１ａ 右カメラ
１１ｂ 左カメラ
１２ａ、１２ｂ、１１２ｃ レンズ
１３ａ、１３ｂ、１１３ 撮像素子
１４ａ、１４ｂ、１１４ Ａ／Ｄ変換部
１５ａ、１５ｂ、１１５ フレームメモリ
１６ａ 右画像信号群
１６ｂ 左画像信号群
２０ 距離演算部
２１ 演算部
２２ メモリ
３０ 制御部
３１ 補間部
４０ 出力部
５０ 記憶部
５１、５１ａ 検出データ
５２ 演算データ
５３、５３ａ、５３ｂ 距離データ
５４ 画像データ
５４ａ 画像
５５ 輪郭データ
６０ レーダ
７０ 輪郭生成部
７１ 輪郭検出部
７２ 判定部
１１１ａ、１１１ｂ ミラー
１１６、１１６ａ、１１６ｂ 画像
１６２ｂ 画像信号
Ｃ 車両

Claims (9)

1. 所定の検出範囲内に位置する物体までの距離を検出する検出手段と、
   所定の撮像視野を撮像して画像信号群を生成する撮像手段と、
   前記画像信号群に基づいて前記撮像視野内の距離を演算する演算手段と、
   前記検出手段における検出値と前記演算手段における演算値とに基づいて前記撮像視野内の物体の輪郭を示す輪郭データを生成する輪郭生成手段と、
   を備えたことを特徴とする処理装置。
2. 前記輪郭生成手段が生成した前記輪郭データが、前記画像信号群に基づいて求めた輪郭を示す他の輪郭データと適合するか否かを判定する判定手段を備え、
   前記輪郭生成手段は、前記判定手段が適合すると判定した前記輪郭データを出力することを特徴とする請求項１に記載の処理装置。
3. 前記輪郭生成手段は、前記検出値間に前記演算値を補間した補間データを用いて前記輪郭データを生成することを特徴とする請求項１または２に記載の処理装置。
4. 前記撮像手段は、第１の光路を介して撮像した第１の前記画像信号群と、第２の光路を介して撮像した第２の前記画像信号群とを生成し、
   前記演算手段は、前記第２の画像信号群の中から前記第１の画像信号群の任意の画像信号と整合する画像信号を検出し、検出した画像信号における前記任意の画像信号からの移動量に基づいて前記撮像視野内に位置する物体までの距離を演算することを特徴とする請求項１〜３のいずれか一つに記載の処理装置。
5. 前記撮像手段は、
   一対の光学系と、
   一対の光学系が出力する光信号を電気信号に変換する一対の撮像素子と、
   を備えたことを特徴とする請求項１〜４のいずれか一つに記載の処理装置。
6. 前記撮像手段は、
   一対の導光光学系と、
   各導光光学系に対応する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、
   を備えたことを特徴とする請求項１〜４のいずれか一つに記載の処理装置。
7. 当該処理装置は、車両に搭載されることを特徴とする請求項１〜６のいずれか一つに記載の処理装置。
8. 所定の撮像視野に対応する画像を処理する画像処理方法において、
   所定の検出範囲内に位置する物体までの距離を検出する距離検出ステップと、
   前記所定の撮像視野を撮像して画像信号群を生成する撮像ステップと、
   前記画像信号群に基づいて前記所定の撮像視野内の距離を演算する演算ステップと、
   前記距離検出ステップにおける検出値と前記演算ステップにおける演算値とに基づいて、前記撮像視野内の物体の輪郭を示す輪郭データを生成する輪郭生成ステップと、
   を含むことを特徴とする画像処理方法。
9. 所定の撮像視野に対応する画像を処理する画像処理プログラムにおいて、
   所定の検出範囲内に位置する物体までの距離を検出する距離検出手順と、
   前記所定の撮像視野を撮像して画像信号群を生成する撮像手順と、
   前記画像信号群に基づいて前記所定の撮像視野内の距離を演算する演算手順と、
   前記距離検出手順における検出値と前記演算手順における演算値とに基づいて、前記撮像視野内の物体の輪郭を示す輪郭データを生成する輪郭生成手順と、
   を含むことを特徴とする画像処理プログラム。
   

Images