JP2009025910A - 障害物検出装置、障害物検出システム及び障害物検出方法 - Google Patents

Abstract

【課題】低コントラストの障害物を検出でき、且つノイズとなる不要なエッジ点の検出を防止することができる障害物検出装置を提供する。
【解決手段】遠赤外線撮像装置１Ｒ，１Ｌが撮像して得た画像に基づいて障害物を検出する障害物検出装置３に、撮像して得た画像を構成する各画素の画素値に基づいて各画素のエッジ強度を算出する手段と、複数の所定画像部分毎にエッジ強度の度数分布を算出する手段と、障害物の輪郭に相当する所定数のエッジ点を検出するための閾値を、前記度数分布に基づいて前記所定画像部分毎に選択する閾値選択手段と、前記所定画像部分を構成する画素の画素値及び該所定画像部分で選択された閾値を比較することにより、該閾値以上の画素値を有するエッジ点を検出するエッジ点検出手段とを備え、前記エッジ点検出手段が検出したエッジ点に基づいて障害物を検出する処理を実行する制御部を備える。
【選択図】図１

Description

本発明は、撮像して得た画像に基づいて障害物を検出する障害物検出装置、該障害物検出装置を備えた障害物検出システム及び障害物検出方法に関する。

自動車に搭載された遠赤外線撮像装置及び障害物検出装置からなる障害物検出システム、例えば夜間運転支援システムが実用化されている。遠赤外線撮像装置は車両周辺を撮像し、衝突のおそれがある障害物、例えば歩行者、動物等を検出した場合、障害物検出装置が警報を発して運転車に注意を促す。

特許文献１には、遠赤外線撮像装置が撮像して得た画像を二値化処理することによって、高温の障害物を検出することができる車両周辺監視装置が提案されている。
但し、特許文献１においては障害物周辺が障害物より高温である場合、障害物の検出が困難になる。例えば、夏場の夜、昼間における歩行者検出は困難である。
特開２００４−１３５０３４号公報

一方、自動車に搭載された遠赤外線撮像装置が撮像して得た画像から所定閾値以上のエッジ強度を有するエッジ点を抽出して障害物を検出する障害物検出装置が考案されている。エッジ点は、障害物及び障害物周辺に温度差があれば検出されるため、夏場の夜又は昼間であっても歩行者のような障害物を精度良く検出することができる。

しかしながら、前記障害物検出装置は、画像全体に対して同一閾値を用いて単純にエッジ点を抽出する構成であるため、低コントラストの障害物、例えば夏場の日陰に存在する歩行者と高コントラストの障害物とが混在しているような場合、障害物のエッジ点を適切に検出できず、障害物検出が困難になる場合があった。
具体的には、低コントラストの障害物のエッジ点を検出できるように閾値を低く設定すると画像全体のエッジ点が膨大になり、障害物の検出が困難になる。逆に画像全体のエッジ点のバランスを重視して閾値を高く設定すると、低コントラストの障害物のエッジ点が十分に検出されず、一部の障害物の検出が困難になる。

本発明は斯かる事情に鑑みてなされたものであり、低コントラストの障害物を検出でき、且つノイズとなる不要なエッジ点の検出を防止することができ、夏場の夜及び昼間であっても障害物を精度良く検出することができる障害物検出装置、障害物検出システム及び障害物検出方法を提供することを目的とする。

第１発明に係る障害物検出装置は、撮像装置が撮像して得た画像に基づいて障害物を検出する障害物検出装置において、撮像して得た画像を構成する各画素の画素値に基づいて各画素のエッジ強度を算出する手段と、複数の所定画像部分毎にエッジ強度の度数分布を算出する手段と、障害物の輪郭に相当する所定数のエッジ点を検出するための閾値を、前記度数分布に基づいて前記所定画像部分毎に選択する閾値選択手段と、前記所定画像部分を構成する画素の画素値及び該所定画像部分で選択された閾値を比較することにより、該閾値以上の画素値を有するエッジ点を検出するエッジ点検出手段とを備え、前記エッジ点検出手段が検出したエッジ点に基づいて障害物を検出するようにしてあることを特徴とする。

第２発明に係る障害物検出装置は、選択された閾値が所定の下限閾値以上であるか否かを判定する下限判定手段を備え、前記エッジ点検出手段は、前記下限判定手段が否と判定した場合、画素値及び前記下限閾値を比較することにより、該下限閾値以上の画素値を有するエッジ点を検出するようにしてあることを特徴とする。

第３発明に係る障害物検出装置は、前記エッジ点検出手段は、第１の撮像装置が撮像して得た画像からエッジ点を検出するようにしてあり、隣接したエッジ点を含むエッジグループを特定するエッジグループ特定手段と、特定されたエッジグループを含む画像領域を複数の小領域に分割する分割手段と、エッジ点を含む小領域毎に、第１の撮像装置及び第２の撮像装置が夫々撮像して得た画像の相関値を算出する手段と、算出された相関値に基づいて、前記小領域に対応する対応領域を、第２の撮像装置が撮像して得た画像から特定する手段と、前記小領域及び対応領域の視差に基づいて、前記撮像装置及び撮像対象間の距離が略等しい小領域からなるエッジグループを再特定する手段と、再特定されたエッジグループの特徴量に基づいて、障害物を検出する手段とを備えることを特徴とする。

第４発明に係る障害物検出システムは、車両周辺を撮像する撮像装置と、第１発明乃至第３発明のいずれか一つの障害物検出装置とを備え、前記障害物検出装置は、前記撮像装置が撮像して得た画像に基づいて車両周辺の障害物を検出するようにしてあることを特徴とする。

第５発明に係る障害物検出方法は、撮像装置が撮像して得た画像に基づいて障害物を検出する障害物検出方法において、撮像して得た画像を構成する各画素の画素値に基づいて各画素のエッジ強度を算出し、複数の所定画像部分毎にエッジ強度の度数分布を算出し、障害物の輪郭に相当する所定数のエッジ点を検出するための閾値を、前記度数分布に基づいて前記所定画像部分毎に選択し、前記所定画像部分を構成する画素の画素値及び該所定画像部分で選択された閾値を比較することにより、該閾値以上の画素値を有するエッジ点を検出し、検出したエッジ点に基づいて障害物を検出することを特徴とする。

第１、第４及び第５発明にあっては、撮像装置が撮像して得た画像を構成する画素の画素値に基づいて、各画素のエッジ強度を算出する。エッジ強度は、障害物の輪郭部分で値が大きくなる。
次いで、複数の所定画像部分毎にエッジ強度の度数分布を算出する。一般にエッジ強度の分布は画像全体で非一様であり、所定画像部分毎にエッジ強度の度数分布を算出することによって、所定画像部分毎のエッジ強度に関する特徴を示す情報を得ることができる。例えば、日向にいる歩行者の画像と、日陰にいる歩行者の画像とを比較するとエッジ強度の分布が異なる。日向にいる歩行者の画像では、歩行者が低温、背景が高温であるため、エッジ強度が大きい傾向にあるが、日陰にいる歩行者の画像では歩行者及び背景が略同一温度になることがあり、エッジ強度が低い傾向にある。
そして、所定画像部分から所定数のエッジ点を検出するための閾値を、エッジ強度の度数分布に基づいて所定画像部分毎に選択し、選択された閾値と、該所定画像部分における画素値とを比較してエッジ点を検出する。このように、所定画像部分毎に異なる閾値を用いて、エッジ点を検出するため、低コントラストの障害物を検出でき、且つノイズとなる不要なエッジ点の検出を防止することができる。

第２及び第４発明にあっては、エッジ強度の度数分布に基づいて選択された閾値が下限閾値以上であるか否かを判定し、下限閾値以上の場合、選択された閾値を用いてエッジ点を検出し、下限閾値未満の場合、下限閾値を用いてエッジ点を検出する。閾値に下限をもうけることによって、ノイズ状のエッジ点が検出されることを防止することができ、障害物の検出精度を向上させることができる。

第３及び第４発明にあっては、第１の撮像装置が撮像して得た画像を構成する各画素の画素値に基づいて、エッジ点を検出し、検出されたエッジ点のうち隣接するエッジ点を含むエッジグループを特定する。単純にエッジグループを特定するのみでは、異なる距離に存在する物体が同一のエッジグループとして特定され、障害物の検出が困難になるおそれがある。
そこで、特定されたエッジグループを囲む画像領域を小領域に分割し、距離が略等しい小領域からなるエッジグループを再特定する。具体的には、分割された小領域のうち、エッジ点を含む小領域と、第２の撮像装置が撮像して得た画像との相関値を算出する。そして、該画像中で相関値が最も大きい領域を、エッジ点を含む小領域に対応する対応領域として特定する。次いで、該小領域と対応領域との視差を算出し、算出された視差に基づいて、撮像装置及び撮像対象間の距離が略等しい小領域からなるエッジグループを再特定する。次いでまた、再特定されたエッジグループの特徴量に基づいて障害物を検出する。

本発明によれば、複数の所定画像部分毎にエッジ強度の度数分布を算出し、各所定画像部分の特徴に応じた閾値を選択するように構成することにより、低コントラストの障害物を検出でき、且つノイズとなる不要なエッジ点の検出を防止することができ、夏場の夜及び昼間であっても障害物を精度良く検出することができる。

以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本発明の実施の形態に係る障害物検出システムは、ステレオ視遠赤外線撮像装置１、及び本実施の形態に係る障害物検出方法を実施する障害物検出装置３を備えている。

ステレオ視遠赤外線撮像装置１は、フロントグリル内部に並置された２基の遠赤外線撮像装置１Ｒ，１Ｌを備えている。遠赤外線撮像装置１Ｒは、運転席側からみて車幅方向右側に配されている。遠赤外線撮像装置１Ｌは、車幅方向左側であって、路面からの高さが遠赤外線撮像装置１Ｒと等しくなる箇所に配されている。また、遠赤外線撮像装置１Ｒ，１Ｌは、光軸方向が略並行になるような姿勢で固定されている。２基の遠赤外線撮像装置１Ｒ，１Ｌにて共通の撮像対象を撮像することによって、両画像における撮像対象の視差を算出し、三角測量の原理により撮像対象までの距離を求めることができる。なお、遠赤外線撮像装置１Ｒ，１Ｌの設置位置、姿勢はこれに限定されない。例えば、遠赤外線撮像装置１Ｒ，１Ｌは、バンパ内、フロントグリル内部等に設置することができる。

遠赤外線撮像装置１Ｒ，１Ｌの構成は同様であるため、以下、遠赤外線撮像装置１Ｒの構成を説明する。
図２は、遠赤外線撮像装置１Ｒの構成を示すブロック図である。遠赤外線撮像装置１Ｒは撮像部１１、信号処理部１２、一時記憶用の画像メモリ１３及び映像出力部１４を備えており、各構成部は配線１５にて接続されている。

撮像部１１は、車両前方を臨む遠赤外線透過性のレンズを備えており、該レンズの背面側には波長が７〜１４μｍの遠赤外線にて車両前方を撮像、つまりレンズにて結像した像を輝度信号に光電変換する遠赤外線撮像素子、例えばサーモパイル、焦電素子、ボロメータがマトリクス状に配されている。また、レンズの正面側には、該レンズを保護する遠赤外線透過性の保護窓、保護網等が設けられている。撮像部１１は、連続的又は断続的に撮像処理を行い、例えば１秒当たり３０枚の画像データ（画像フレーム）を生成して信号処理部１２へ出力する。

信号処理部１２は、輝度信号をデジタルの画像データにＡＤ変換する。より詳細には、画像を構成する各画素を２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタルの画像データに変換する。そして、信号処理部１２は、ＡＤ変換された画像データに対して各種補正処理を実行し、映像出力部１４に接続されたケーブル７を介して該画像データを障害物検出装置３へ送信する。

なお、画像を構成する各画素は、二次元に配列されており、画像データは、平面直角座標系にて示される各画素の位置、及び画素値として示される各画素の輝度を示すデータを含んでいる。

図３は、障害物検出装置３の構成を示すブロック図である。障害物検出装置３は、制御部３１、画像メモリ３２、ＲＡＭ３３、映像入力部３４、映像出力部３５、及び通信インタフェース部３６を備えている。

映像入力部３４には、ケーブル７を介して遠赤外線撮像装置１Ｒ，１Ｌが接続されており、遠赤外線撮像装置１Ｒ，１Ｌから送信された画像データの入力を行う。映像入力部３４に入力された画像データは、１フレーム単位で順に画像メモリ３２に記憶される。

映像出力部３５にはケーブル８を介して表示装置４、例えばメータ内ディスプレイ、ナビディスプレイ、ヘッドアップディスプレイ等が接続されている。映像出力部３５は、入力された画像データを適宜表示装置４に送信し、表示装置４に遠赤外線撮像装置１Ｒ，１Ｌが撮像して得た画像を表示させる。例えば、遠赤外線撮像装置１Ｒ，１Ｌが撮像して得た各画像を横方向に並列して表示させる。

通信インタフェース部３６には、ＣＡＮに準拠した車載ＬＡＮケーブル６を介して警報装置５が接続されており、制御部３１の制御に応じた警報信号が通信インタフェース部３６を介して警報装置５に送信されるように構成されている。

警報装置５は、ブザー、スピーカ、表示部等を備えており、接触又は衝突する虞がある歩行者を検出した場合、その旨の音声、警告音等によって出力する。例えば、「ＤＡＮＧＥＲ」等の文字を表示するとともに警告音を発するようにすることができる。また、検出された歩行者の画像を表示装置４で表示させることもできる。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３４を介して遠赤外線撮像装置１Ｒ，１Ｌから入力された画像データを一時記憶する。

制御部３１は、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、読み出した画像データに基づいて閾値選択、エッジ点検出、歩行者検出等の各種処理を行う。

次に本発明の障害物検出装置３の動作について説明する。
図４は、障害物検出装置３の歩行者検出に係る制御部３１の処理手順を示すフローチャートである。

制御部３１は、画像メモリ３２が一時記憶した画像データをフレーム単位で読み出し（ステップＳ１１）、遠赤外線撮像装置１Ｒで撮像して得られた一方の画像からエッジ点を検出する（ステップＳ１２）。

図５は、エッジ点の検出に係る制御部３１の処理手順の詳細を示すフローチャートである。まず、制御部３１は、前記一方の画像を構成する各画素の画素値に基づいてエッジ強度を算出する（ステップＳ３１）。以下、画素値としてエッジ強度を有する画像をエッジ強度画像という。

図６は、エッジ点検出に用いられるオペレータの一例を概念的に示す説明図である。図６（ａ）、（ｂ）、（ｃ）、（ｄ）は、プルューウィット・オペレータの係数を示している。図６（ａ）及び（ｂ）に示したプルューウィット・オペレータはいずれも横方向の１次微分によって縦のエッジを検出する３×３マトリクスのオペレータである。特に、図６（ａ）のプルューウィット・オペレータは、水平方向左側から右側へ輝度が明るい画像領域から暗い画像領域に変化するエッジを抽出するフィルタであり、図６（ｂ）のプルューウィット・オペレータは、水平方向右側から左側へ輝度が明るい画像領域から暗い画像領域に変化するエッジを抽出するフィルタである。
また、図６（ｃ）及び（ｄ）に示したプルューウィット・オペレータはいずれも縦方向の１次微分によって横のエッジを検出する３×３マトリクスのオペレータである。
図６に示した係数は、垂直方向及び水平方向に並ぶ３×３＝９の画素の輝度値に対して乗ずる数値であり、制御部３１は、中心の一の画素（注目画素）と、その外側に隣接する８近傍の画素の輝度値に対し、夫々対応する一の係数を乗じて、その結果を加算した値の絶対値を注目画素のエッジ強度として算出する。制御部３１は、同様の演算を、画像を構成する各画素に対して実行し、画素毎にエッジ強度のデータを有するエッジ強度画像を取得する。なお、エッジを抽出するオペレータとして、プルューウィット・オペレータを例示したが、これに限定されるものではなく、他のオペレータを用いても良い。

図７は、エッジ強度画像を概念的に示す説明図である。図７は、ステップＳ３１で算出されたエッジ強度画像を模式的に示しており、例えば、障害物の歩行者Ｗ１，Ｗ２と道路Ｒとは通常、温度が異なるため、障害物の輪郭がエッジとして算出される。同様にして、電柱、樹木、道路Ｒ、空の境界部分においてエッジが抽出される。なお、図７においては、エッジ強度がある程度大きい部分を線図で表しており、エッジ強度の大小は図示していない。但し、特にエッジ強度が低い部分は破線で表されている。例えば、日陰にいる歩行者Ｗ１の輪郭に相当する部分は破線で表されている。夏場の日陰になった道路の温度は、歩行者Ｗ１の体温に近似する場合があり、エッジ強度が小さくなる場合がある。

ところで、エッジ強度画像中にエッジ強度が大きい歩行者Ｗ２と、エッジ強度が低い歩行者Ｗ１とが混在しているような場合、エッジ強度画像全体に対して同一閾値を用いた閾値処理によって、エッジ点を抽出すると、歩行者Ｗ１，Ｗ２を適切に検出できないという問題が生ずる。

図８は、同一閾値を用いてエッジ点を抽出する場合の問題点を概念的に示す説明図である。図８（ａ）は、低コントラストの歩行者Ｗ２のエッジ点を検出できるように閾値を低く設定し、閾値処理を行った場合のエッジ画像である。エッジ画像は２値画像であり、エッジ点に相当する画素の画素値が１、他の画素の画素値が０である。この場合、図８（ａ）に示すように、エッジ画像中に膨大なノイズ状のエッジ点が検出され、障害物の検出が困難になる。
図８（ｂ）は、画像全体のエッジ点のバランスを重視して閾値を高く設定し、閾値処理を行った場合のエッジ画像である。この場合、低コントラストの歩行者Ｗ１のエッジ点が抽出されず、一部の歩行者Ｗ２のみが抽出されることになる。

そこで、制御部３１は、ステップＳ３１の処理を終えた場合、エッジ強度画像の部分毎に適切な閾値を選択すべく、エッジ強度画像を所定サイズの複数の所定画像部分Ｉｍ（ｘ）に分割する（ステップＳ３２）。但し、ｘは、分割された各所定画像部分を示す自然数である。

図９は、エッジ強度画像を分割して得た所定画像部分Ｉｍ（ｘ）を模式的に示している。なお、３２０×２４０サイズのエッジ強度画像であれば、所定画像部分Ｉｍ（ｘ）のサイズは４０×４０程度、つまり全体の画像を８×６個の所定画像部分Ｉｍ（ｘ）に分割することが望ましい。

ステップＳ３２の処理を終えた場合、制御部３１は、分割された各所定画像部分Ｉｍ（ｘ）を示す変数ｉに１を設定し（ステップＳ３３）、所定画像部分Ｉｍ（ｉ）におけるエッジ強度の度数分布を算出する（ステップＳ３４）。

図１０は、所定画像部分毎に算出されたエッジ強度の度数分布の一例を模式的に示すグラフである。横軸はエッジ強度を示しており、縦軸は各エッジ強度の度数を示している。
図１０（ａ）は、例えば日向にいる歩行者Ｗ２を含む所定画像部分Ｉｍ（ｉ＝４６）の度数分布であり、図１０（ｂ）は、日陰にいる歩行者Ｗ１を含む所定画像部分Ｉｍ（ｉ＝３５）の度数分布である。日向にいる歩行者Ｗ２及び道路Ｒの温度差は大きく異なるため、エッジ強度が全体的に高い傾向にある。一方、日陰にいる歩行者Ｗ１及び道路Ｒの温度差は、日向の歩行者Ｗ２に比べて小さいため、エッジ強度が全体的に小さい傾向にある。

次いで、制御部３１は、ステップＳ３４で算出した度数分布に基づいて所定画像部分Ｉｍ（ｉ）における閾値Ｐｉを選択する（ステップＳ３５）。なお、添字の「ｉ」は、所定画像部分Ｉｍ（ｉ）の度数分布から選択された閾値を示している。例えば、制御部３１は、Ｐタイル法にて閾値Ｐｉを選択する。つまり、制御部３１は、エッジ強度が大きい画素から順番に数えていき、Ｍ番目（整数）に値が大きいエッジ強度を閾値Ｐｉとして選択する。例えば、所定画像部分Ｉｍ（ｉ）が４０×４０＝１６００の画素から構成されていて、エッジ強度が大きい画素から数えてＰ（％）に当たる画素、即ちＭ＝１６００×Ｐ／１００番目に値が大きい画素のエッジ強度を閾値Ｐｉとして選択する。より具体的には、Ｐ＝２５（％）の場合、エッジ強度が大きい画素から数えて、Ｍ＝４００番目に値が大きいエッジ強度を閾値Ｐｉとして選択する。

次いで、制御部３１は、選択された閾値Ｐｉが下限閾値Ｐｍｉｎ以上であるか否かを判定する（ステップＳ３６）。閾値Ｐｉが下限閾値Ｐｍｉｎ以上であると判定した場合（ステップＳ３６：ＹＥＳ）、制御部３１は、ステップＳ３５で選択された閾値Ｐｉに基づいて所定画像部分Ｉｍ（ｉ）からエッジ点を検出する（ステップＳ３７）。具体的には、制御部３１は、所定画像部分Ｉｍ（ｉ）を構成する各画素のエッジ強度と、閾値Ｐｉとを比較し、閾値Ｐｉ以上のエッジ強度を有する画素をエッジ点として検出し、該画素に「１」の値を付与し、閾値Ｐｉ未満のエッジ強度を有する画素に「０」の値を付与する。

閾値Ｐｉが下限閾値Ｐｍｉｎ未満であると判定した場合（ステップＳ３６：ＮＯ）、制御部３１は、下限閾値Ｐｍｉｎに基づいて所定画像部分Ｉｍ（ｉ）からエッジ点を検出する（ステップＳ３８）。具体的には、制御部３１は、所定画像部分Ｉｍ（ｉ）を構成する各画素のエッジ強度と、下限閾値Ｐｍｉｎとを比較し、下限閾値Ｐｍｉｎ以上のエッジ強度を有する画素をエッジ点として検出する。
一様輝度の領域、例えば建物の壁等においてはエッジ強度が全体的に低いため、単純に所定割合に存在するエッジ強度を利用するのみではノイズ状のエッジ点も検出してしまうため、閾値Ｐｉの下限閾値Ｐｍｉｎを用意しておき、選択された閾値Ｐｉが下限閾値Ｐｍｉｎを下回った場合には、閾値として下限閾値Ｐｍｉｎを採用する。なお、下限閾値Ｐｍｉｎは、画像全体で同一値である。

ステップＳ３７又はステップＳ３８の処理を終えた場合、制御部３１は、すべての所定画像部分Ｉｍ（１）〜Ｉｍ（４８）からエッジ点を検出したか否かを判定する（ステップＳ３９）。エッジ点を検出していない所定画像部分Ｉｍ（ｉ）があると判定した場合（ステップＳ３９：ＮＯ）、制御部３１は、変数ｉに１を加算し（ステップＳ４０）、処理をステップＳ３４に戻す。すべての所定画像部分Ｉｍ（１）〜Ｉｍ（４８）からエッジ点を検出したと判定した場合（ステップＳ３９：ＹＥＳ）、制御部３１は、各所定画像部分Ｉｍ（１）〜Ｉｍ（４８）のエッジ点検出処理結果を統合してエッジ画像を取得し（ステップＳ４１）、エッジ点検出に係る処理を終える。

図１１は、エッジ点検出処理結果を統合して得たエッジ画像を概念的に示す模式図である。所定画像部分Ｉｍ（ｉ）毎に、異なる閾値Ｐｉを選択し、閾値処理を実行することによって、図１１に示すようにノイズ状のエッジ点の検出を抑制しつつ、低コントラストの歩行者Ｗ１と、高コントラストの歩行者Ｗ２のエッジ点を適切に検出することができる。

エッジ点の検出に係る処理を終えた場合、制御部３１は、エッジ画像において、隣接したエッジ点を含むエッジグループを特定する（ステップＳ１３）。

図１２は、エッジグループの一例を概念的に示す説明図である。図１２に示すように、エッジグループは隣接したエッジ点、例えば４連結又は８連結したエッジ点で構成され、連続する直線又は曲線で表される。図１２は、エッジグループＡ１、Ａ２、Ａ３、Ａ４、Ａ５が特定されている。

制御部３１は、各エッジグループに外接する矩形領域を設定し、設定した矩形領域を所定の大きさ（例えば、４×４画素）のブロック（小領域）に分割する（ステップＳ１４）。そして、制御部３１は、分割されたブロック中、エッジ点を含むブロック（エッジ領域）を特定する。なお、ブロックの大きさは、上述の例に限定されない。

図１３は、分割されたブロックの一例を示す説明図である。図１３に示すように、エッジグループＡ１は、３×５の１５個のブロックに分割され、分割されたブロック中、エッジ点を含む７個のブロックがエッジ領域として特定されている。エッジ領域は、図１３中ハッチングが付された矩形部分である。なお、図１３ではエッジグループＡ１を分割した例を示したが、他のエッジグループについても同様である。

次いで、制御部３１は、三角測量にて各エッジ領域までの距離を算出すべく、他の遠赤外線撮像装置１Ｌにて撮像された画像内において、エッジ領域に対応する対応領域を特定する（ステップＳ１５）。以下、遠赤外線撮像装置１Ｌにて撮像された画像を参照画像という。具体的には、エッジ領域と同じサイズの領域（基準領域）を参照画像内に設定して相関計算を行い、参照領域と基準領域との相関値を算出する。また、制御部３１は、同様の処理を他の各点についても実行し、相関値が最大となった点を対応領域の位置として特定する。相関値の算出は、例えば式１に基づいて行う。

ここで、Ｎはエッジ領域及び参照領域における総画素数、ｋは０からＮ−１までの整数、Ｆ_k はエッジ領域内におけるｋ番目の画素の輝度値、Ｇ_k は参照領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。なお、相関値の算出方法は、これに限定されるものではなく、絶対差分総和法、正規化相互相関法等、どのような方法であっても良い。

次いで、制御部３１は、エッジ領域と、該エッジ領域に対応した対応領域との視差を算出する（ステップＳ１６）。視差は、夫々の画像におけるエッジ領域及び対応領域の座標に基づいて算出することができる。

図１４はエッジ領域毎の視差の算出例を示す説明図である。図１４に示すように、エッジ領域と、該エッジ領域に対応する対応領域との視差が算出され、算出された数値が括弧内に記されている。右上から左下に向かうエッジ領域毎に視差は、「５」、「９」、「１１」、「１０」、「９」、「１０」、「１１」である。

次いで、制御部３１は、各エッジ領域の視差の差を第１閾値、例えば、「３」と比較し、視差の差が第１閾値よりも小さいエッジ領域同士をグループ化し、エッジグループを再特定する（ステップＳ１７）。これにより、視差が「９」、「１１」、「１０」、「９」、「１０」、「１１」の各エッジ領域は、他のエッジ領域との視差の差が第１閾値より小さいのでグループ化されるが、視差が「５」のエッジ領域は、他のエッジ領域との視差の差が第１閾値より大きいため除外される。ここで、視差の差が第１閾値より小さいということは、２つの遠赤外線撮像装置１Ｒ，１Ｌで撮像された同じ撮像対象までの距離、より具体的には、２つの遠赤外線撮像装置１Ｒ，１Ｌの光軸の中間位置（遠赤外線撮像装置１Ｒのレンズ中心と、遠赤外線撮像装置１Ｌのレンズ中心との中間位置）から撮像対象までの距離が略等しいということである。
また、制御部３１は、他のエッジグループＡ２、Ａ３、…についても、上述の処理を行うことで、エッジグループＳ２、Ｓ３、…を再特定する。

図１５は視差に基づいて再特定されたエッジグループの一例を示す説明図である。図１５に示すように、エッジグループＡ１のうち、視差が「５」のエッジ領域（図中破線で示されたブロック）は、異なる距離に存在するため除外され、新たにエッジグループＳ１が特定されている。なお、この場合、エッジ点を含まないブロックを除外して、新たにエッジグループＳ１を特定する構成とすることもできる。これより、複数のブロックの中から、視差（即ち、撮像対象までの距離）が略同じものだけを抽出することができ、距離が異なる撮像対象の一部が重なって撮像されたような場合であっても、距離の異なる撮像対象を除外して、略等距離のエッジグループだけを精度良く特定することができる。

制御部３１は、新たに再特定したエッジグループＳ１の視差を算出する（ステップＳ１８）。エッジグループＳ１の視差は、各エッジ領域の視差の平均値である。なお、平均値に代えて最頻値、中間値等の他の統計値を算出するようにしても良い。

前述の図１４でグループ化されたエッジ領域の視差が、夫々「９」、「１１」、「１０」、「９」、「１０」、「１１」であるから、図１５に示すように、エッジグループＳ１の視差は、各視差の平均値である「１０」となる。

図１６は、再特定されたすべてのエッジグループの一例を示す説明図である。図１６では、エッジグループＳ１、Ｓ２、…、Ｓ１０が特定されており、各エッジグループの視差は括弧内の数値で示されている。

制御部３１は、再特定されたエッジグループ同士の視差を比較し、視差の差が第２閾値（例えば、「４」）以下のエッジグループ同士をグループ化し、歩行者候補領域として抽出する（ステップＳ１９）。この際、画像中の歩行者の大きさと視差（歩行者までの距離）との間には相関関係があるため、グループ化してしまうと歩行者の大きさとして不適切になるエッジグループ同士はグループ化せず、夫々別個の歩行者候補領域として抽出する。

図１７は歩行者候補領域の抽出例を示す説明図である。図１６において抽出されたエッジグループのうち、エッジグループＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５の視差が、夫々「１０」、「１１」、「１１」、「１０」、「９」であり、これらのエッジグループ同士がグループ化されて歩行者候補領域Ｖ１が抽出されている。また、エッジグループＳ６、Ｓ７、Ｓ８、Ｓ９の視差が、夫々「１０」、「１０」、「１１」、「１２」であり、これらのエッジグループ同士がグループ化されて歩行者候補領域Ｖ２が抽出されている。

エッジグループＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５の視差と、エッジグループＳ６、Ｓ７、Ｓ８、Ｓ９の視差とは、視差の差が小さいが、両者をグループ化した場合の歩行者候補領域は歩行者のサイズとして不適切であるため、別個の歩行者候補領域として抽出されている。また、エッジグループＳ１０の視差は「１６」であり、他のエッジグループの視差との差が大きいため、距離が異なる撮像対象であるとして別個の歩行者候補領域として抽出されている。なお、歩行者候補領域を抽出する場合、エッジグループを包含する領域を歩行者候補領域として抽出しても良く、また、エッジグループをすべて包含することなく、エッジグループ全体の形状に応じて、所定の輪郭で構成される領域を歩行者候補領域として抽出することもできる。

次いで、制御部３１は、抽出された歩行者候補領域の特徴量（例えば、形状、大きさ等）を抽出し、抽出した特徴量に基づいて歩行者判定を行い（ステップＳ２０）、歩行者として適した特徴量を持つ歩行者候補領域を歩行者として検出する。なお、歩行者判定の処理には、例えば、サポートベクタマシン（ＳＶＭ）、ブースティング（Ｂｏｏｓｔｉｎｇ）等、学習アルゴリズムを用いることができる。制御部３１は、歩行者を検出した場合には、表示装置４に検出した歩行者を、例えば、矩形状の枠で囲んで強調表示することができる。あるいは、警報装置５で警告文字の表示及び警告音を発するように制御する。なお、抽出されるエッジグループ、特定されるエッジ領域、抽出される歩行者候補領域は、複数に限らず１個の場合もある。

このように構成された本実施の形態に係る障害物検出装置、障害物検出システム、及び障害物検出方法にあっては、歩行者の輪郭に相当するエッジ点を検出する際、エッジ強度の度数分布に基づいて、複数の所定画像部分Ｉｍ（ｘ）毎に閾値Ｐｉを選択する。
具体的には、図７及び図１１に示すように、エッジ強度が全体的に小さい所定画像部分Ｉｍ（３５）においては、小さい閾値Ｐｉを用いてエッジ点を検出することができ、低コントラストの歩行者Ｗ１のエッジ点を検出することができる。また、エッジ強度が全体的に高い所定画像部分Ｉｍ（４６）においては、大きな閾値Ｐｉを用いてエッジ点を検出することができ、歩行者Ｗ２のエッジ点を検出することができる。このため、図８（ａ）に示すように、同一閾値を用いてエッジ点を検出した際にノイズ状のエッジ点が膨大に検出され、歩行者Ｗ１，Ｗ２検出に支障をきたすことも、図８（ｂ）に示すように、高コントラストの歩行者Ｗ２のみが検出されることもない。
従って、低コントラストの障害物と、高コントラストの障害物とが混在しているような場合、例えば夏場の夜及び昼間であっても障害物を精度良く検出することができる。

また、エッジ点を検出する閾値に下限を設けることによって、ノイズ状のエッジ点が検出されることを防止し、障害物の検出精度を向上させることができる。

更に、エッジ点を含まないブロックについては検索処理を行わず、エッジ点が存在するブロックだけを用いて検索処理を行うため、処理量を削減することができる。
更にまた、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。
更にまた、歩行者又は動物等の障害物と背景との間に輝度差があればエッジ点を検出することができ、輝度差は夏場又は昼間でも生じるため、歩行者又は動物等の障害物の輝度が周辺の輝度より大きいという条件も不要であり、夏場又は昼間であっても、精度良く障害物を検出することができる。
更にまた、距離が異なる撮像対象の一部が重なって撮像されたような場合であっても、距離の異なる撮像対象を分離して、略等距離のブロックだけを精度良く特定することができるとともに、複数のブロックをグループ化したエッジグループのうち、距離の異なるエッジグループを分離して、略等距離のエッジグループで構成される障害物候補領域（歩行者候補領域）を精度良く特定することができる。

上述の実施の形態では、歩行者を検出する場合の例について説明したが、検出する障害物は歩行者に限定されるものではなく、動物、他の車両、道路上の異物等の障害物であっても、本発明を適用することができる。

また、遠赤外線撮像装置を用いる構成であったが、撮像装置はこれに限定されるものではなく、可視光（波長が０．４〜０．８μｍの光）、近赤外線（波長が０．８〜３μｍの光）で障害物を撮像する撮像装置を用いる構成でも良い。

更に、エッジ強度の度数分布からＰタイル法によって閾値を選択する実施の形態を説明したが、閾値の選択方法はこれに限定されず、他の統計的方法にて閾値を選択するように構成しても良い。

更にまた、視差が略等しいエッジ領域を特定して障害物を検出するように構成してあるが、視差を算出せず、エッジ点の有無のみに基づいて障害物を検出するように構成しても良い。但し、視差が略等しいエッジグループを特定した方が障害物の検出精度が高い。

なお、今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。 遠赤外線撮像装置の構成を示すブロック図である。 障害物検出装置の構成を示すブロック図である。 障害物検出装置３の歩行者検出に係る制御部の処理手順を示すフローチャートである。 エッジ点の検出に係る制御部の処理手順の詳細を示すフローチャートである。 エッジ点検出に用いられるオペレータの一例を概念的に示す説明図である。 エッジ強度画像を概念的に示す説明図である。 同一閾値を用いてエッジ点を抽出する場合の問題点を概念的に示す説明図である。 エッジ強度画像を分割して得た所定画像部分Ｉｍ（ｘ）を概念的に示す説明図である。 所定画像部分毎に算出されたエッジ強度の度数分布の一例を模式的に示すグラフである。 エッジ点検出処理結果を統合して得たエッジ画像を概念的に示す模式図である。 エッジグループの一例を概念的に示す説明図である。 分割されたブロックの一例を示す説明図である。 エッジ領域毎の視差の算出例を示す説明図である。 視差に基づいて再特定されたエッジグループの一例を示す説明図である。 再特定されたすべてのエッジグループの一例を示す説明図である。 歩行者候補領域の抽出例を示す説明図である。

符号の説明

１ 撮像装置
３ 障害物検出装置
４ 表示装置
５ 警報装置
３１ 制御部
３２ 画像メモリ
３３ ＲＡＭ
３４ 映像入力部
３５ 映像出力部
３６ 通信インタフェース部

Claims (5)

1. 撮像装置が撮像して得た画像に基づいて障害物を検出する障害物検出装置において、
   撮像して得た画像を構成する各画素の画素値に基づいて各画素のエッジ強度を算出する手段と、
   複数の所定画像部分毎にエッジ強度の度数分布を算出する手段と、
   障害物の輪郭に相当する所定数のエッジ点を検出するための閾値を、前記度数分布に基づいて前記所定画像部分毎に選択する閾値選択手段と、
   前記所定画像部分を構成する画素の画素値及び該所定画像部分で選択された閾値を比較することにより、該閾値以上の画素値を有するエッジ点を検出するエッジ点検出手段と
   を備え、
   前記エッジ点検出手段が検出したエッジ点に基づいて障害物を検出するようにしてある
   ことを特徴とする障害物検出装置。
2. 選択された閾値が所定の下限閾値以上であるか否かを判定する下限判定手段を備え、
   前記エッジ点検出手段は、
   前記下限判定手段が否と判定した場合、画素値及び前記下限閾値を比較することにより、該下限閾値以上の画素値を有するエッジ点を検出するようにしてある
   ことを特徴とする請求項１に記載の障害物検出装置。
3. 前記エッジ点検出手段は、
   第１の撮像装置が撮像して得た画像からエッジ点を検出するようにしてあり、
   隣接したエッジ点を含むエッジグループを特定するエッジグループ特定手段と、
   特定されたエッジグループを含む画像領域を複数の小領域に分割する分割手段と、
   エッジ点を含む小領域毎に、第１の撮像装置及び第２の撮像装置が夫々撮像して得た画像の相関値を算出する手段と、
   算出された相関値に基づいて、前記小領域に対応する対応領域を、第２の撮像装置が撮像して得た画像から特定する手段と、
   前記小領域及び対応領域の視差に基づいて、前記撮像装置及び撮像対象間の距離が略等しい小領域からなるエッジグループを再特定する手段と、
   再特定されたエッジグループの特徴量に基づいて、障害物を検出する手段と
   を備えることを特徴とする請求項１又は請求項２に記載の障害物検出装置。
4. 車両周辺を撮像する撮像装置と、
   請求項１乃至請求項３のいずれか一つに記載の障害物検出装置と
   を備え、
   前記障害物検出装置は、
   前記撮像装置が撮像して得た画像に基づいて車両周辺の障害物を検出するようにしてある
   ことを特徴とする障害物検出システム。
5. 撮像装置が撮像して得た画像に基づいて障害物を検出する障害物検出方法において、
   撮像して得た画像を構成する各画素の画素値に基づいて各画素のエッジ強度を算出し、
   複数の所定画像部分毎にエッジ強度の度数分布を算出し、
   障害物の輪郭に相当する所定数のエッジ点を検出するための閾値を、前記度数分布に基づいて前記所定画像部分毎に選択し、
   前記所定画像部分を構成する画素の画素値及び該所定画像部分で選択された閾値を比較することにより、該閾値以上の画素値を有するエッジ点を検出し、
   検出したエッジ点に基づいて障害物を検出する
   ことを特徴とする障害物検出方法。

Images