JP2007257304A - 障害物認識装置 - Google Patents

Abstract

【課題】赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を生成する。
【解決手段】画像加工部２３は、外界センサ１１の１対の赤外線カメラ１１Ｌａ，１１Ｒａの撮影により得られた赤外線画像による画像データと、外界センサ１１の可視カメラ１１Ｖａの撮影により得られた可視画像による画像データとを重畳して、重畳画像を生成する。画像加工部２３は、歩行者検出部２１により検出された歩行者を含む周辺領域に対する赤外線画像データと可視画像データとの重畳画像上での位置のずれが所定値以上となる状態において、重畳画像から可視画像データを削除し、赤外線画像データを可視画像データが存在していた位置へと移動させる。
【選択図】図１

Description

この発明は、障害物認識装置に関する。

従来、例えば互いに同一位置を撮影する赤外線カメラと可視カメラとを備え、赤外線カメラの撮影により得られた赤外線画像から、可視カメラの撮影により得られた可視画像を差し引いて得た画像を表示する装置が知られている（例えば、特許文献１参照）。
また、従来、例えば可視カメラと、可視光以外のカメラ（例えば、赤外線カメラ）とを備え、赤外線カメラの撮影により得られた赤外線画像から所定領域を抽出し、可視カメラの撮影により得られた可視画像上の対応する領域に合成して得た合成画像を表示する表示処理装置が知られている（例えば、特許文献２参照）。
特開２０００−１９２５９号公報 特開平１１−３０８６０９号公報

ところで、上記従来技術に係る装置においては、例えば撮影対象物が各カメラに近接することに伴って、２つのカメラの配置位置のずれに起因する視差が増大し、各画像上における撮影対象物の位置のずれが増大する。このため、単に、２つの異なるカメラの撮影により得られた画像同士を合成、あるいは一方から他方を差し引くだけでは、適切な画像を得ることができないという問題が生じる。
本発明は上記事情に鑑みてなされたもので、赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を生成することが可能な障害物認識装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の障害物認識装置は、自車両の外界に存在する物体を撮像する赤外線カメラ（例えば、実施の形態での赤外線カメラ１１Ｌａ，１１Ｒａ）および可視カメラ（例えば、実施の形態での可視カメラ１１Ｖａ）と、前記各カメラの撮像により得られた画像を処理する画像処理手段（例えば、実施の形態での画像加工部２３）とを備え、前記画像処理手段は、前記各カメラの撮像により得られた画像同士を重畳して重畳画像を生成する重畳手段（例えば、実施の形態でのステップＳ０５、ステップＳ０７）と、所定状態において、前記重畳画像上の自車両に対する障害物に相当する領域において、前記可視カメラの撮像により得られた可視画像を削除して得られる画像を表示手段（例えば、実施の形態での表示装置１４）に表示させる画像出力手段（例えば、実施の形態でのステップＳ０８）とを備えることを特徴としている。

上記の障害物認識装置によれば、赤外線カメラおよび可視カメラの撮像により得られた画像同士を重畳して得た重畳画像上において、自車両に対する障害物が存在する領域では、可視カメラの撮影により得られた可視画像を削除して、赤外線カメラの撮影により得られた赤外線画像のみを表示させることにより、重畳画像上で撮影対象物の位置のずれによって視認性が悪化してしまうことを防止することができ、適切な画像を生成することができる。

さらに、請求項２に記載の本発明の障害物認識装置は、前記赤外線カメラの撮像により得られた赤外線画像のうち、前記画像出力手段により削除された前記可視画像に対応する前記障害物の前記赤外線画像を前記重畳画像から抽出し、抽出した前記赤外線画像を、前記画像出力手段により削除された前記可視画像の位置に配置する処理手段（例えば、実施の形態でのステップＳ０９）を備えることを特徴としている。

上記の障害物認識装置によれば、重畳画像上の自車両に対する障害物に相当する領域において削除された可視画像と同等の撮像領域の赤外線画像を、重畳画像上で削除された可視画像が存在していた位置へと移動させることにより、自車両の乗員が外界を実際に視認して得る視覚情報と比較して相対的に違和感の無い情報により構成される可視画像上での各撮像対象物の位置を保持しつつ、相対的に精細な情報により構成される赤外線画像によって各撮像対象物の形状を表示させることができ、乗員による視認性を向上させることが可能な適切な画像を生成することができる。

以上説明したように、請求項１に記載の本発明の障害物認識装置によれば、重畳画像上で撮影対象物の位置のずれによって視認性が悪化してしまうことを防止することができ、適切な画像を生成することができる。
さらに、請求項２に記載の本発明の障害物認識装置によれば、自車両の乗員が外界を実際に視認して得る視覚情報と比較して相対的に違和感の無い情報により構成される可視画像上での各撮像対象物の位置を保持しつつ、相対的に精細な情報により構成される赤外線画像によって各撮像対象物の形状を表示させることができ、乗員による視認性を向上させることが可能な適切な画像を生成することができる。

以下、本発明の一実施形態に係る障害物認識装置について添付図面を参照しながら説明する。
本実施の形態による障害物認識装置１０は、例えば図１に示すように、外界センサ１１と、自車両状態センサ１２と、処理装置１３と、表示装置１４とを備えて構成されている。
さらに、処理装置１３は、例えば歩行者検出部２１と、歩行者距離算出部２２と、画像加工部２３とを備えて構成されている。

外界センサ１１は、例えば赤外線領域にて撮像可能なカメラからなる各１対の赤外線カメラ１１Ｌａ，１１Ｒａおよび画像処理部１１Ｌｂ，１１Ｒｂと、例えば可視光領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる可視カメラ１１Ｖａおよび画像処理部１１Ｖｂとを備えて構成されている。
そして、各画像処理部１１Ｌｂ，１１Ｒｂ，１１Ｖｂは、各カメラ１１Ｌａ，１１Ｒａ，１１Ｖａにより撮影して得た自車両の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる各画像データを生成して処理装置１３へ出力する。

自車両状態センサ１２は、自車両の車両情報として、例えば自車両の速度（車速）を検出する車速センサや、ヨー角（車両重心の上下方向軸回りの回転角度）やヨーレート（車両重心の上下方向軸回りの回転角速度）を検出するヨーレートセンサや、操舵角（運転者が入力した操舵角度の方向と大きさ）や操舵角に応じた実舵角（転舵角）を検出する舵角センサや、操舵トルクを検出する操舵トルクセンサや、例えば人工衛星を利用して車両の位置を測定するためのＧＰＳ（Global Positioning System）信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置および進行方向を検出する位置センサや、方向指示器やブレーキのオン／オフ状態を検知する各センサ等を備えて構成されている。

処理装置１３の歩行者検出部２１は、外界センサ１１から入力される画像データに基づき、例えば人体を対象とする所定の認識処理により、自車両の進行方向での１対の赤外線カメラ１１Ｌａ，１１Ｒａの各検知エリア内に存在する物体のうち歩行者を検出する。
歩行者距離算出部２２は、例えば外界センサ１１の各画像処理部１１Ｌｂ，１１Ｒｂから入力される１対の画像データに対して、車室内に所定間隔を隔てて設置された１対の赤外線カメラ１１Ｌａ，１１Ｒａ同士間の距離と、１対の画像データ上において歩行者検出部２１により検出された歩行者の視差とに基づく三角測量法等により、歩行者までの距離を算出する。

画像加工部２３は、外界センサ１１の１対の赤外線カメラ１１Ｌａ，１１Ｒａの撮影により得られた赤外線画像による画像データと、外界センサ１１の可視カメラ１１Ｖａの撮影により得られた可視画像による画像データとを重畳して、例えば図２（ａ）に示すように、重畳画像を生成する。

また、画像加工部２３は、例えば図２（ｂ）に示すように、歩行者検出部２１により検出された歩行者を含む周辺領域に対する赤外線画像データ（例えば、図２（ｂ）に示す赤外線画像データＰＩ）と可視画像データ（例えば、図２（ｂ）に示す可視画像データＰＶ）との重畳画像上での位置のずれが所定値以上となる状態、例えば歩行者距離算出部２２により算出された外界センサ１１と歩行者との間の距離が所定距離（例えば、自車両のヘッドライトの照射距離や、車両の乗員が歩行者を視認可能な最大距離や、予め試験等に基づいて設定された所定の距離等）以下となる状態において、重畳画像から可視画像データ（例えば、図２（ｂ）に示す可視画像データＰＶ）を削除する。
そして、例えば図２（ｃ）に示すように、重畳画像上で削除された可視画像データ（例えば、図２（ｂ）に示す可視画像データＰＶ）と同等の撮像領域である赤外線画像データ（例えば、図２（ｂ）に示す赤外線画像データＰＩ）を、重畳画像上で削除された可視画像データ（例えば、図２（ｂ）に示す可視画像データＰＶ）が存在していた位置へと移動させる。
そして、画像加工部２３は、生成した画像を表示装置１４に出力する。

本実施の形態による障害物認識装置１０は上記構成を備えており、次に、この障害物認識装置１０の動作について説明する。
先ず、図３に示すステップＳ０１においては、外界センサ１１から赤外線画像の画像データを取得する。

次に、ステップＳ０２においては、取得した赤外線画像の画像データに基づき、車両外部に存在する歩行者の位置を検出する。
次に、ステップＳ０３においては、外界センサ１１から可視画像の画像データを取得する。

次に、ステップＳ０４においては、外界センサ１１から歩行者までの距離が所定距離（例えば、自車両のヘッドライトの照射距離等）よりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。
そして、ステップＳ０５においては、赤外線画像による画像データと、可視画像による画像データとを重畳して、重畳画像を生成する。
そして、重畳画像上で歩行者を強調表示して、一連の処理を終了する。

また、ステップＳ０７においては、赤外線画像による画像データと、可視画像による画像データとを重畳して、重畳画像を生成する。
そして、ステップＳ０８においては、歩行者を含む周辺領域に対する可視画像データを重畳画像から削除する。
そして、ステップＳ０９においては、重畳画像上で削除された可視画像データと同等の撮像領域である赤外線画像データを、重畳画像上で削除された可視画像データが存在していた位置へと移動させ、一連の処理を終了する。

上述したように、本実施の形態による障害物認識装置１０によれば、赤外線カメラ１１Ｌａ，１１Ｒａおよび可視カメラ１１Ｖａの撮像により得られた画像同士を重畳して得た重畳画像上において、自車両に対する障害物である歩行者が存在する領域では、可視画像データを削除して、赤外線画像データのみを表示させることにより、重畳画像上で撮影対象物の位置のずれによって視認性が悪化してしまうことを防止することができ、適切な画像を生成することができる。
さらに、重畳画像上で削除された可視画像データと同等の撮像領域である赤外線画像データを、重畳画像上で削除された可視画像データが存在していた位置へと移動させることにより、自車両の乗員が外界を実際に視認して得る視覚情報と比較して相対的に違和感の無い情報により構成される可視画像の画像データ上での歩行者の位置を保持しつつ、相対的に精細な情報により構成される赤外線画像データによって歩行者の形状を表示させることができ、乗員による視認性を向上させることが可能な適切な画像を生成することができる。

なお、上述した実施の形態においては、自車両の走行に対して支障となる障害物を歩行者としたが、これに限定されず、例えば他車両等の各種の移動体や静止物等であってもよい。

本発明の実施の形態に係る障害物認識装置の構成図である。 図２（ａ）は赤外線画像による画像データと可視画像による画像データとを重畳して得た重畳画像であり、図２（ｂ）は歩行者を含む周辺領域に対する赤外線画像データと可視画像データとの位置のずれが所定値以上となる状態の重畳画像であり、図２（ｃ）は重畳画像上で削除された可視画像データと同等の撮像領域である赤外線画像データを、重畳画像上で削除された可視画像データが存在していた位置へと移動させて得た画像である。 本発明の実施の形態に係る障害物認識装置の動作を示すフローチャートである。

符号の説明

１０ 障害物認識装置
１１Ｌａ，１１Ｒａ 赤外線カメラ
１１Ｖａ 可視カメラ
１４ 表示装置（表示手段）
２３ 画像加工部（画像処理手段）
ステップＳ０５、ステップＳ０７ 重畳手段
ステップＳ０８ 画像出力手段
ステップＳ０９ 処理手段

Claims (2)

1. 自車両の外界に存在する物体を撮像する赤外線カメラおよび可視カメラと、
   前記各カメラの撮像により得られた画像を処理する画像処理手段とを備え、
   前記画像処理手段は、前記各カメラの撮像により得られた画像同士を重畳して重畳画像を生成する重畳手段と、
   所定状態において、前記重畳画像上の自車両に対する障害物に相当する領域において、前記可視カメラの撮像により得られた可視画像を削除して得られる画像を表示手段に表示させる画像出力手段と
   を備えることを特徴とする障害物認識装置。
2. 前記赤外線カメラの撮像により得られた赤外線画像のうち、前記画像出力手段により削除された前記可視画像に対応する前記障害物の前記赤外線画像を前記重畳画像から抽出し、抽出した前記赤外線画像を、前記画像出力手段により削除された前記可視画像の位置に配置する処理手段を備えることを特徴とする請求項１に記載の障害物認識装置。
   
   

Images