JP2007045336A - 障害物検出システム及び障害物検出方法 - Google Patents

Abstract

【課題】 運転者が目視確認することができない領域で赤外光画像により歩行者、自転車等の障害物を検出された場合にのみ、運転者に対して何らかの警告情報を出力することができる障害物検出システム及び障害物検出方法を提供する。
【解決手段】 撮像装置は、可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置で構成する。画像処理装置は、可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否か判断し、存在すると判断した場合、赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断する。同一でないと判断した場合、物体検出領域が存在する旨を示す情報を出力装置へ送出し、物体検出領域が存在する旨を出力する。
【選択図】 図６

Description

本発明は、車両の外部を撮像する撮像装置が撮像した画像データに基づいて、運転者が目視確認することができない歩行者等の存在を認識した場合にのみ、物体検出領域である歩行者等の存在を運転中のドライバに対して出力することができる障害物検出システム及び障害物検出方法に関する。

自動車等の車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用の撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の存在を認識して運転者に注意を促す周囲監視システムが多々開発されている。

すなわち、遠赤外用の撮像装置で人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有する。従来の周囲監視システムは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外用の撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間が存在する領域を特定することが可能となっている（非特許文献１参照）。

また、非特許文献２では、可視光用のビデオカメラと赤外光用のビデオカメラを併置し、夫々のビデオカメラにより取得した画像データを合成した合成画像を表示する方法が開示されており、表示された合成画像により、運転者が容易に歩行者等の障害物を識別することができる。
「ホンダ アールアンドディー テクニカル レビュー (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月 トーマス ワイドナー他１名、「自動車アプリケーション分野での遠赤外画像と夜間可視画像との融合アルゴリズム」、ベーエムベー カンパニー、２００３年（Thomas Weidner, etc."Algorithm for Fusion of Far Infrared and Visual Night-Time Images with Scope to Automotive Application",BMW, 2003）

しかし、上述した従来の方法では、赤外光による画像（赤外光画像）で歩行者等の存在が確認された場合、可視光による画像（可視光画像）で歩行者等の存在を確認しているときであっても、何らかの警告情報が運転者に対して出力される。運転者にとっては、目視により歩行者等の存在を確認しているにもかかわらず警告情報が出力されるという煩わしさが生じるという問題点があった。

本発明は、斯かる事情に鑑みてなされたものであり、運転者が目視確認することができない領域で赤外光画像により歩行者、自転車等の障害物を検出された場合にのみ、運転者に対して何らかの警告情報を出力することができる障害物検出システム及び障害物検出方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物検出システムは、車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを備える障害物検出システムにおいて、前記撮像装置は、可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取
得する赤外光撮像装置であり、前記画像処理装置は、前記可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断する手段と、該手段で物体検出領域が存在すると判断した場合、前記赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断する手段と、該手段で物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断する手段と、該手段で同一でないと判断した場合、障害物が存在する旨を示す情報を送出する手段とを備え、前記出力装置は、障害物が存在する旨を示す情報を受けた場合、障害物が存在する旨を出力する手段を備えることを特徴とする。

また、第２発明に係る障害物検出システムは、第１発明において、双方の物体検出領域が同一対象物であるか否かを判断する手段は、前記可視光撮像装置で撮像した画像の座標系と、前記赤外光撮像装置で撮像した画像の座標系との座標変換テーブルを有し、前記赤外光撮像装置で撮像した画像の座標系を前記可視光撮像装置で撮像した画像の座標系に変換する手段と、物体検出領域が存在する領域の合致度を算出する手段と、算出した合致度が所定値より大きいか否かを判断する手段とを備え、該手段で、合致度が所定値より大きいと判断した場合、双方の物体検出領域が同一であると判断するようにしてあることを特徴とする。

また、第３発明に係る障害物検出システムは、第１発明において、前記撮像装置は、一の光学系で可視光画像と赤外光画像とを取得することが可能にしてあり、双方の物体検出領域が同一であるか否かを判断する手段は、前記可視光画像及び前記赤外光画像での物体検出領域が存在する領域の合致度を算出する手段と、算出した合致度が所定値より大きいか否かを判断する手段とを備え、該手段で、合致度が所定値より大きいと判断した場合、双方の物体検出領域が同一であると判断するようにしてあることを特徴とする。

また、第４発明に係る障害物検出方法は、車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを用いる障害物検出方法において、前記撮像装置は、可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置であり、前記画像処理装置は、前記可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、物体検出領域が存在すると判断した場合、前記赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断し、同一でないと判断した場合、物体検出領域が存在する旨を示す情報を送出し、前記出力装置は、物体検出領域が存在する旨を示す情報を受けた場合、物体検出領域が存在する旨を出力することを特徴とする。

第１及び第４発明では、可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置を有する撮像装置を用い、画像処理装置は、可視光撮像装置から取得した画像データ中に物体検出領域が存在すると判断した場合、赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断する。同一でないと判断した場合、障害物が存在する旨を示す情報を送出し、出力装置は障害物が存在する旨を出力する。これにより、歩行者、自転車等の障害物を赤外光撮像装置から取得した画像データ中から検出した場合であっても、可視光撮像装置から取得した画像データ中で同一の障害物を検出したときには、運転者に対して障害物を検出した旨を出力しない。したがって、運転者が障害物の存在を目視で確認できる場合にはあえて障害物を検出した旨を出力することがなく、目視で確認することができない場合にのみ出力することで、運転者が警告情報の確認に煩わしさを感ずることなく、安全に障害物を回避する動作へ
と移行することが可能となる。

第２発明では、可視光撮像装置で撮像した画像の座標系と、赤外光撮像装置で撮像した画像の座標系との座標変換テーブルを有しており、赤外光撮像装置で撮像した画像の座標系を可視光撮像装置で撮像した画像の座標系に変換し、物体検出領域が存在する領域の合致度を算出する。算出した合致度が所定値より大きい場合、双方の物体検出領域が同一であると判断する。これにより、取付位置が異なる可視光撮像装置で撮像した画像と赤外光撮像装置で撮像した画像との間で、座標変換を容易に行うことができ、物体検出領域として検出された領域が同一の領域であるか否かを容易に判断することが可能となる。

第３発明では、撮像装置は、一の光学系で可視光画像と赤外光画像とを取得することができ、可視光画像及び赤外光画像での物体検出領域が存在する領域の合致度を座標変換することなく算出する。光学系が同一であることから座標変換処理を行う必要がなく、演算処理負荷を軽減しつつ、物体検出領域として検出された領域が同一の領域であるか否かを判断することが可能となる。

第１及び第４発明によれば、歩行者、自転車等の障害物を赤外光撮像装置から取得した画像データ中から検出した場合であっても、可視光撮像装置から取得した画像データ中で同一の障害物を検出したときには、運転者に対して障害物を検出した旨を出力しない。したがって、運転者が障害物の存在を目視で確認できる場合にはあえて障害物を検出した旨を出力することがなく、目視で確認することができない場合にのみ出力することで、運転者が警告情報の確認に煩わしさを感ずることなく、安全に障害物を回避する動作へと移行することが可能となる。

第２発明によれば、取付位置が異なる可視光撮像装置で撮像した画像と赤外光撮像装置で撮像した画像との間で、座標変換を容易に行うことができ、物体検出領域として検出された領域が同一の領域であるか否かを容易に判断することが可能となる。

第３発明によれば、光学系が同一であることから座標変換処理を行う必要がなく、演算処理負荷を軽減しつつ、物体検出領域として検出された領域が同一の領域であるか否かを判断することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。本実施の形態１では、車両に搭載した画像認識システムにより、車両の前方に物体検出領域、すなわち歩行者、自転車等の障害物が存在するか否かを判断する場合を例として説明する。

１、２は、夜間の歩行者、自転車に乗った人間等を撮像する赤外光用のビデオカメラ（赤外光撮像装置）である。赤外光ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル７を介して接続してある画像処理装置４に送信される。

３は、日中の歩行者、自転車に乗った人間等を撮像する可視光用のビデオカメラ（可視光撮像装置）である。可視光ビデオカメラ３は、車両のフロントグリル内の略中央近傍に配置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル
７を介して接続してある画像処理装置４に送信される。

画像処理装置４は、赤外光ビデオカメラ１、２、可視光ビデオカメラ３の他、操作部を備えた表示装置５、音声、効果音等により聴覚的な警告を発する警報装置６等の出力装置とも、車載ＬＡＮケーブル７を介して接続されている。

図２は、本発明の実施の形態１に係る障害物検出システムの赤外光ビデオカメラ１（２）の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１５を介して信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信したアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１３へ記憶する。

通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル７を介して画像処理装置４とデータの送受信を行う。通信インタフェース部１４は、画像処理装置４から送出される指令に従って、画像メモリ１３に記憶された画像データの画像処理装置４への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

図３は、本発明の実施の形態１に係る障害物検出システムの可視光ビデオカメラ３の構成を示すブロック図である。画像撮像部３１は、光学信号を電気信号に変換する撮像素子であるＣＣＤを備えている。画像撮像部３１は、車両の周囲の可視光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス３５を介して信号処理部３２へ送信する。

なお、撮像素子はＣＣＤに限定されるものではなく、ダイナミックレンジが改善されてきているＣＭＯＳであっても良い。本実施の形態では、ＣＣＤ、ＣＭＯＳ等のダイナミックレンジ、感度等を可能な限り人間の目に近づけることにより、人間が目視確認することができる障害物と、可視光ビデオカメラ３で撮像することが可能な障害物との乖離を少なくするようにしてある。

信号処理部３２は、画像撮像部３１から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ３３へ一時記憶する。

通信インタフェース部３４は、車載ＬＡＮケーブル７を介して画像処理装置４と通信を行い、画像処理装置４から受信した指示信号に応じて、画像メモリ３３に一時記憶してある画像データを画像処理装置４へ送信する。

図４は、本発明の実施の形態１に係る障害物検出システムの画像処理装置４の構成を示すブロック図である。通信インタフェース部４１は、赤外光ビデオカメラ１、２、及び可視光ビデオカメラ３に対する指令の送信、赤外光ビデオカメラ１、２、及び可視光ビデオカメラ３からの画像データの受信を行う。通信インタフェース部４１は、赤外光ビデオカ
メラ１、２、及び可視光ビデオカメラ３から受信した画像データを、１フレーム単位に同期させて画像メモリ４２に記憶する。

また、通信インタフェース部４１は、車載ＬＡＮケーブル７を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ４２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部４１を介して赤外光ビデオカメラ１、２、及び可視光ビデオカメラ３から受信した画像データを記憶する。

画像処理を行う基板であるＬＳＩ４３は、画像メモリ４２に記憶された画像データをフレーム単位で内蔵するＲＡＭへ読出し、読出した画像データ中に歩行者、自転車等の障害物と認識される領域が存在するか否かをパターンマッチング処理により判断する。ＬＳＩ４３は、画像メモリ４２に記憶してある可視光ビデオカメラ３で撮像した画像について、パターンマッチング処理を行い、障害物が存在するか否かを判断する。ＬＳＩ４３が、障害物が存在すると判断した場合、ＬＳＩ４３は、画像メモリ４２に記憶してある赤外光ビデオカメラ１、２で撮像した画像について、パターンマッチング処理を行い、障害物が存在するか否かを判断する。ＬＳＩ４３が、障害物が存在すると判断した場合、ＬＳＩ４３は、可視光ビデオカメラ３で撮像した画像に基づいて存在すると判断した障害物と、赤外光ビデオカメラ１、２で撮像した画像に基づいて存在すると判断した障害物とが同一の障害物であるか否かを判断し、ＬＳＩ４３が同一の障害物ではないと判断した場合には、障害物が存在する旨を示す警告情報を表示装置５へ出力する、又は聴覚的な警告情報を警報装置６へ出力する。

ＬＳＩ４３は、可視光ビデオカメラ３で撮像した画像に基づいて存在すると判断した障害物と、赤外光ビデオカメラ１、２で撮像した画像に基づいて存在すると判断した障害物とが同一の障害物であるか否かを判断するために、例えば赤外光ビデオカメラ１、２で撮像した画像の座標系を、可視光ビデオカメラ３で撮像した画像の座標系に変換する。座標系の変換は、固定した所定のテスト画像を赤外光ビデオカメラ１、２及び可視光ビデオカメラ３で撮像した両画像をマッピングすることにより、座標変換テーブルを生成する。生成した座標変換テーブルは、ＬＳＩ４３のＲＡＭに記憶しておく。

ＬＳＩ４３での詳細な処理について以下に説明する。図５及び図６は、本発明の実施の形態１に係る画像認識システムの画像処理装置４のＬＳＩ４３の歩行者等の検出処理の手順を示すフローチャートである。

ＬＳＩ４３は、画像メモリ４２に記憶してある可視光ビデオカメラ３で撮像した可視光画像データを読出し（ステップＳ５０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ５０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。

ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定値より大きい場合に‘１’を出力し、所定値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。

（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。

ＬＳＩ４３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ５０３）、相関値が所定値より大きい領域が存在するか否かを判断する（ステップＳ５０４）。ＬＳＩ４３が、相関値が所定値より大きい領域が存在しないと判断した場合（ステップＳ５０４：ＮＯ）、ＬＳＩ４３は、ステップＳ５０１へ戻り、次の画像データを読み出す。ＬＳＩ４３が、相関値が所定値より大きい領域が存在すると判断した場合（ステップＳ５０４：ＹＥＳ）、ＬＳＩ４３は、該領域が歩行者を示す領域であると判断して、該領域の表示画像内での位置をＲＡＭに記憶する（ステップＳ５０５）。

なお、ＬＳＩ４３が、歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒを用いる場合、相関値Ｒは（数２）に基づいて算出される。

（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ４３は、画像メモリ４２に記憶してある赤外光ビデオカメラ１、２で撮像した赤外光画像データを読出し（ステップＳ５０６）、画素値に基づいてエッジ部分を抽出する（ステップＳ５０７）。エッジ部分の抽出方法は特に限定されるものではなく、可視光ビデオカメラ３で撮像した可視光画像データに対する処理と同様である。

ＬＳＩ４３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ５０８）、相関値が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ５０９）。ＬＳＩ４３が、相関値が所定値より大きい領域が存在しないと判断した場合（ステップＳ５０９：ＮＯ）、ＬＳＩ４３は、ステップＳ５０６へ戻り、次の画像データを読出す。ＬＳＩ４３が、相関値が所定値より大きい領域が存在すると判断した場合（ステップＳ５０９：ＹＥＳ）、ＬＳＩ４３は、該領域が歩行者を示す領域であると判断して、該領域の表示画像内での位置をＲＡＭに記憶する（ステップＳ５１０）。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ４３は、ＲＡＭに記憶してある座標変換テーブルを照会して、ＲＡＭに記憶してある赤外光画像データに基づいて検出した歩行者を示す領域の表示画像内での位置を、可視光画像データの座標系に変換する(ステップＳ６０１)。ＬＳＩ４３は、可視光画像データに基づいて検出した歩行者を示す領域と、変換した赤外光画像データに基づいて検出した歩行者を示す領域との重複している度合である合致度を算出する(ステップＳ６０２)。

ＬＳＩ４３は算出した合致度が所定値より大きいか否かを判断し(ステップＳ６０３)、ＬＳＩ４３が、合致度が所定値より大きいと判断した場合(ステップＳ６０３：ＹＥＳ)、ＬＳＩ４３は、同一の障害物を検出したものと判断して、処理を終了する。

ＬＳＩ４３が、合致度が所定値以下であると判断した場合(ステップＳ６０３：ＮＯ)、ＬＳＩ４３は、可視光画像で検出していない障害物を赤外光画像で検出したものと判断して、表示装置５、警報装置６等の出力装置へ警告情報を出力する(ステップＳ６０４)。

以上のように本実施の形態１によれば、歩行者、自転車等の障害物を赤外光撮像装置から取得した赤外光画像データ中から検出した場合であっても、可視光撮像装置から取得した可視光画像データ中で同一の障害物を検出したときには、運転者に対して障害物を検出した旨を出力しない。したがって、運転者が障害物の存在を目視で確認できる場合にはあえて障害物を検出した旨を出力することがなく、目視で確認することができない場合にのみ表示装置５に警告情報が表示され、警報装置６が鳴動する等により、運転者が警告情報の確認に煩わしさを感ずることなく、安全に障害物を回避する動作へと移行することが可能となる。

（実施の形態２）
図７は、本発明の実施の形態２に係る障害物検出システムの構成を示す模式図である。本実施の形態２では、車両に搭載した画像認識システムにより、車両の前方に物体検出領域、すなわち歩行者、自転車等の障害物が存在するか否かを判断する場合を例として説明する。

８、９は、夜間の歩行者、自転車に乗った人間等を撮像する赤外光用の撮像素子、及び日中の歩行者、自転車に乗った人間等を撮像する可視光用の撮像素子を、１つの光学系に対して配置してあるビデオカメラである。ビデオカメラ８、９は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル７を介して接続してある画像処理装置４に送信される。

画像処理装置４は、ビデオカメラ８、９の他、操作部を備えた表示装置５、音声、効果音等により聴覚的な警告を発する警報装置６等の出力装置とも、車載ＬＡＮケーブル７を介して接続されている。

図８は、本発明の実施の形態２に係る画像表示システムのビデオカメラ８（９）の構成を示すブロック図である。画像撮像部８１は、外部から入射する光を受光する対物レンズ８１０を備え、対物レンズ８１０の光軸上に、入射光を屈折させることが可能なプリズム８１１を設けている。

プリズム８１１は、表面にＦＩＲパスフィルタを貼付してあり、赤外光は屈折せずに透過する。透過した赤外光が結像する位置に、遠赤外光用撮像素子である焦電型撮像素子８１２を配設し、例えば略９０度屈折した可視光が結像する位置に、可視光用撮像素子であるＣＣＤ８１３を配置している。なお、遠赤外光用撮像素子は焦電型撮像素子８１２に限定されるものではなく、例えばボロメータであっても良い。また、可視光用撮像素子はＣＣＤ８１３に限定されるものではなく、例えばＣＭＯＳであっても良い。さらに、ＦＩＲパスフィルタは、例えばメタクリル樹脂、ポリエチレン樹脂等からなる遠赤外域の周波数成分を有する光を選択的に通過させることができるフィルタである。

同一の撮像領域を焦電型撮像素子８１２及びＣＣＤ８１３の対応する撮像面に合致させるべく、焦電型撮像素子８１２及びＣＣＤ８１３の撮像面の大きさ並びに撮像レンズ８１４及び撮像レンズ８１５の焦点距離を一致させている。これにより、プリズム８１１の配置に応じて、撮像領域に対する赤外光及び可視光の光軸及び画角を一致させることができ、対物レンズ８１０を介した同一の撮像領域が、焦電型撮像素子８１２及びＣＣＤ８１３のそれぞれの撮像面に配設してある画素に結像される。

赤外光は、ＦＩＲパスフィルタの貼付してある撮像レンズ８１４を介した焦電型撮像素子８１２に入力される。焦電型撮像素子８１２は、入力された赤外光をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号に変換し、信号処理部８２へ出力する。

同様に、プリズム８１１により、入射光の光軸方向と略９０度の角度へ屈折した可視光は、撮像レンズ８１５を介してＣＣＤ８１３に入力される。ＣＣＤ８１３は、入力された可視光をＲＧＢのアナログ信号に変換し、信号処理部８３へ出力する。

信号処理部８２、８３は、それぞれ焦電型撮像素子８１２及びＣＣＤ８１３から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ８４へ一時記憶する。

通信インタフェース部８５は、車載ＬＡＮケーブル７を介して画像処理装置４と通信を行い、画像処理装置４から受信した指示信号に応じて、画像メモリ８４に一時記憶してある画像データを画像処理装置４へ送信する。例えば、夜間走行時には、画像メモリ８４に
一時記憶してある可視光データ及び赤外光データを画像処理装置４へ送信し、昼間走行時には、画像メモリ８４に一時記憶してある可視光データのみを画像処理装置４へ送信する。

画像処理装置４の構成は、ビデオカメラ８、９に接続してあること以外は、実施の形態１と同様である。画像処理装置４の画像メモリ４２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部４１を介して、焦電型撮像素子８１２及びＣＣＤ８１３で結像し、通信インタフェース部８５を介して受信した画像データを記憶する。

画像処理を行う基板であるＬＳＩ４３は、画像メモリ４２に記憶された画像データをフレーム単位で内蔵するＲＡＭへ読出し、読出した画像データ中に歩行者、自転車等の障害物と認識される領域が存在するか否かをパターンマッチング処理により判断する。ＬＳＩ４３は、画像メモリ４２に記憶してあるＣＣＤ８１３で結像した可視光画像データについて、パターンマッチング処理を行い、障害物が存在するか否かを判断する。ＬＳＩ４３が、障害物が存在すると判断した場合、ＬＳＩ４３は、画像メモリ４２に記憶してある焦電型撮像素子８１２で結像した赤外光画像データについて、パターンマッチング処理を行い、障害物が存在するか否かを判断する。ＬＳＩ４３が、障害物が存在すると判断した場合、ＬＳＩ４３は、可視光画像データに基づいて存在すると判断した障害物と、赤外光画像データに基づいて存在すると判断した障害物とが同一の障害物であるか否かを判断し、ＬＳＩ４３が同一の障害物ではないと判断した場合には、障害物が存在する旨を示す警告情報を表示装置５へ出力する、又は聴覚的な警告情報を警報装置６へ出力する。

図９及び図１０は、本発明の実施の形態２に係る画像認識システムの画像処理装置４のＬＳＩ４３の歩行者等の検出処理の手順を示すフローチャートである。

ＬＳＩ４３は、画像メモリ４２に記憶してあるＣＣＤ８１３で結像した可視光画像データを読出し（ステップＳ９０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ９０２）。エッジ部分の抽出方法は特に限定されるものではなく、例えば実施の形態１と同様に、ラプラシアンフィルタを用いてエッジ部分を抽出する。

ＬＳＩ４３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ９０３）、相関値が所定値より大きい領域が存在するか否かを判断する（ステップＳ９０４）。ＬＳＩ４３が、相関値が所定値より大きい領域が存在しないと判断した場合（ステップＳ９０４：ＮＯ）、ＬＳＩ４３は、ステップＳ９０１へ戻り、次の画像データを読出す。ＬＳＩ４３が、相関値が所定値より大きい領域が存在すると判断した場合（ステップＳ９０４：ＹＥＳ）、ＬＳＩ４３は、該領域が歩行者を示す領域であると判断して、該領域の表示画像内での位置をＲＡＭに記憶する（ステップＳ９０５）。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ４３は、画像メモリ４２に記憶してある焦電型撮像素子８１２で結像した赤外光画像データを読出し（ステップＳ９０６）、画素値に基づいてエッジ部分を抽出する（ステップＳ９０７）。エッジ部分の抽出方法は特に限定されるものではなく、ＣＣＤ８１３
で結像した可視光画像データに対する処理と同様である。

ＬＳＩ４３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ９０８）、相関値が所定値より大きい領域が存在するか否かを判断する（ステップＳ９０９）。ＬＳＩ４３が、相関値が所定値より大きい領域が存在しないと判断した場合（ステップＳ９０９：ＮＯ）、ＬＳＩ４３は、ステップＳ９０６へ戻り、次の画像データを読出す。ＬＳＩ４３が、相関値が所定値より大きい領域が存在すると判断した場合（ステップＳ９０９：ＹＥＳ）、ＬＳＩ４３は、該領域が歩行者を示す領域であると判断して、該領域の表示画像内での位置をＲＡＭに記憶する（ステップＳ９１０）。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ４３は、可視光画像データに基づいて検出した歩行者を示す領域と、変換した赤外光画像データに基づいて検出した歩行者を示す領域との重複している度合である合致度を算出する(ステップＳ１００１)。すなわち、同一の光学系を介して同一の領域を撮像した画像データを対比すれば足り、実施の形態１のような座標変換処理を行う必要がない。したがって、ＬＳＩ４３の演算処理負荷を軽減することが可能となる。

ＬＳＩ４３は算出した合致度が所定値より大きいか否かを判断し(ステップＳ１００２)、ＬＳＩ４３が、合致度が所定値より大きいと判断した場合(ステップＳ１００２：ＹＥＳ)、ＬＳＩ４３は、同一の障害物を検出したものと判断して、処理を終了する。

ＬＳＩ４３が、合致度が所定値以下であると判断した場合(ステップＳ１００２：ＮＯ)、ＬＳＩ４３は、可視光画像で検出していない障害物を赤外光画像で検出したものと判断して、表示装置５、警報装置６等の出力装置へ警告情報を出力する(ステップＳ１００３)。

以上のように本実施の形態２によれば、歩行者、自転車等の障害物を赤外光画像データ中から検出した場合であっても、可視光画像データ中で同一の障害物を検出したときには、運転者に対して障害物を検出した旨を出力しない。したがって、運転者が障害物の存在を目視で確認できる場合にはあえて障害物を検出した旨を出力することがなく、目視で確認することができない場合にのみ表示装置５に警告情報が表示され、警報装置６が鳴動する等により、運転者が警告情報の確認に煩わしさを感ずることなく、安全に障害物を回避する動作へと移行することが可能となる。

なお、上述した赤外光画像及び可視光画像を同一の光学系を介して取得する一体型ビデオカメラの構成は、本実施の形態２に示す構成に限定されるものではなく、プリズムによる屈折角度も略９０度に限定されるものでもなく、光学機構としてプリズムを用いる構成に限定されるものでもない。

また、上述した実施の形態１及び２では、画像処理装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態１に係る障害物検出システムの構成を示す模式図である。 本発明の実施の形態１に係る障害物検出システムの赤外光ビデオカメラの構成を示すブロック図である。 本発明の実施の形態１に係る障害物検出システムの可視光ビデオカメラの構成を示すブロック図である。 本発明の実施の形態１に係る障害物検出システムの画像処理装置の構成を示すブロック図である。 本発明の実施の形態１に係る画像認識システムの画像処理装置のＬＳＩの歩行者等の検出処理の手順を示すフローチャートである。 本発明の実施の形態１に係る画像認識システムの画像処理装置のＬＳＩの歩行者等の検出処理の手順を示すフローチャートである。 本発明の実施の形態２に係る障害物検出システムの構成を示す模式図である。 本発明の実施の形態２に係る画像表示システムのビデオカメラの構成を示すブロック図である。 本発明の実施の形態２に係る画像認識システムの画像処理装置のＬＳＩの歩行者等の検出処理の手順を示すフローチャートである。 本発明の実施の形態２に係る画像認識システムの画像処理装置のＬＳＩの歩行者等の検出処理の手順を示すフローチャートである。

符号の説明

１、２ 赤外光ビデオカメラ
３ 可視光ビデオカメラ
４ 画像処理装置
５ 表示装置
６ 警報装置
４１ 通信インタフェース部
４２ 画像メモリ
４３ ＬＳＩ

Claims (4)

1. 車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを備える障害物検出システムにおいて、
   前記撮像装置は、
   可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置であり、
   前記画像処理装置は、
   前記可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断する手段と、
   該手段で物体検出領域が存在すると判断した場合、前記赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断する手段と、
   該手段で物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断する手段と、
   該手段で同一でないと判断した場合、障害物が存在する旨を示す情報を送出する手段とを備え、
   前記出力装置は、
   障害物が存在する旨を示す情報を受けた場合、障害物が存在する旨を出力する手段を備えることを特徴とする障害物検出システム。
2. 双方の物体検出領域が同一対象物であるか否かを判断する手段は、
   前記可視光撮像装置で撮像した画像の座標系と、前記赤外光撮像装置で撮像した画像の座標系との座標変換テーブルを有し、
   前記赤外光撮像装置で撮像した画像の座標系を前記可視光撮像装置で撮像した画像の座標系に変換する手段と、
   物体検出領域が存在する領域の合致度を算出する手段と、
   算出した合致度が所定値より大きいか否かを判断する手段と
   を備え、
   該手段で、合致度が所定値より大きいと判断した場合、双方の物体検出領域が同一であると判断するようにしてあることを特徴とする請求項１記載の障害物検出システム。
3. 前記撮像装置は、一の光学系で可視光画像と赤外光画像とを取得することが可能にしてあり、
   双方の物体検出領域が同一であるか否かを判断する手段は、
   前記可視光画像及び前記赤外光画像での物体検出領域が存在する領域の合致度を算出する手段と、
   算出した合致度が所定値より大きいか否かを判断する手段と
   を備え、
   該手段で、合致度が所定値より大きいと判断した場合、双方の物体検出領域が同一であると判断するようにしてあることを特徴とする請求項１記載の障害物検出システム。
4. 車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき障害物の有無を検出する画像処理装置と、該画像処理装置で検出した障害物の有無に関する情報を出力する出力装置とを用いる障害物検出方法において、
   前記撮像装置は、
   可視光に基づいて画像を取得する可視光撮像装置及び赤外光に基づいて画像を取得する赤外光撮像装置であり、
   前記画像処理装置は、
   前記可視光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、
   物体検出領域が存在すると判断した場合、前記赤外光撮像装置から取得した画像データ中に物体検出領域が存在するか否かを判断し、
   物体検出領域が存在すると判断した場合、双方の物体検出領域が同一であるか否かを判断し、
   同一でないと判断した場合、物体検出領域が存在する旨を示す情報を送出し、
   前記出力装置は、
   物体検出領域が存在する旨を示す情報を受けた場合、物体検出領域が存在する旨を出力することを特徴とする障害物検出方法。

Images