JP2006031162A

JP2006031162A - 移動障害物検出装置

Info

Publication number: JP2006031162A
Application number: JP2004205989A
Authority: JP
Inventors: Yasuhito Sano; 泰仁佐野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2004-07-13
Filing date: 2004-07-13
Publication date: 2006-02-02
Anticipated expiration: 2024-07-13
Also published as: US7346191B2; EP1617376A2; JP3846494B2; EP1617376A3; US20060013480A1

Abstract

【課題】ノイズの影響を受けず且つ高精度に移動障害物の存在を検出することのできる移動障害物検出装置を提供する。
【解決手段】自車両前方の映像を撮像するカメラ１と、カメラ１で撮像された画像上に存在するエッジ部分のオプティカルフローを求めるオプティカルフロー算出手段２と、オプティカルフロー算出手段２で求められたオプティカルフローの交点を求めるオプティカルフロー交点算出手段３と、オプティカルフロー交点算出手段３にて求められた、オプティカルフローの交点の分布をヒストグラム化するヒストグラム作成手段４と、ヒストグラム作成手段４で作成されたヒストグラムに基づき、オプティカルフローの交点のピーク位置が存在する場合に、このピーク位置が同一物体によるものか、或いは異なる物体によるものかをｔ検定を用いて検定するピーク検定手段５とを備える。
【選択図】図１

Description

本発明は、車両等の移動体に搭載され、該移動体周辺で移動する移動障害物の存在を検出する移動障害物検出装置に関する。

自車両前方を横切る他車両、或いは歩行者の存在を検出して、これを自車両の運転者に報知する装置として、例えば、特開平９−２５９２８２号公報（特許文献１）に記載されたものが知られている。該特許文献１では、車両周辺を撮像した画像を移動障害物が存在する領域と存在しない領域の２つの領域に区分し、２つの領域より得られる出力から障害物位置と移動方向を算出する。

この処理の中で、移動している障害物を求める際に用いる方法として、画像を小領域に分割し、各領域の総合推定残差値を算出している。そして、総合推定残差値を用いることにより、オプティカルフローの消失点を算出する場合に、各領域に含まれるオプティカルフローの消失点が一点に集中しないことがわかり、そこから、移動物が存在する領域を判断している。
特開平９−２５９２８２号公報

しかしながら、上述した特許文献１に開示された従来例は、画像全体に対する処理ではなく、小領域単位の処理となることから、この小領域をこえる大きさの移動物体については判断することができない。

この発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、より高精度に移動障害物の存在を検出することのできる移動障害物検出装置を提供することにある。

上記目的を達成するため、本発明は、移動体に搭載され、該移動体周辺にて動作する移動障害物を検出する移動障害物検出装置において、前記移動体周辺の映像を撮像する撮像手段と、前記撮像手段にて撮像された画像上の特徴点のオプティカルフローを求めるオプティカルフロー算出手段と、前記オプティカルフロー算出手段にて求められたオプティカルフローの交点を求めるオプティカルフロー交点算出手段と、前記オプティカルフロー交点算出手段にて求められた、前記オプティカルフローの交点の分布をヒストグラム化するヒストグラム作成手段と、前記ヒストグラム作成手段で作成されたヒストグラムに基づき、前記オプティカルフローの交点のピーク位置が存在する場合に、このピーク位置が同一物体によるものか、或いは異なる物体によるものかを検定するピーク検定手段と、を有することを特徴とする。

本発明に係る移動障害物検出装置では、撮像手段で撮像した画像中からオプティカルフローを求め、更に、このオプティカルフローの交点の分布に基づいてヒストグラムを作成し、該ヒストグラムに含まれるピーク位置を求めている。そして、ピークが複数個存在する場合には、検定の手法を用いてこのピークが同一の集合による分布であるのか、或いは異なる集合による分布であるのかを判断する。そして、異なる集合による分布であると判断された場合には、このオプティカルフローの発生源が移動障害物によるものであると判断する。従って、移動体に対する移動障害物の存在を高精度に検出することができようになる。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明の一実施形態に係る移動障害物検出装置の構成を示すブロック図である。なお、本実施形態では、移動体として車両を例に挙げ、また、移動障害物として、車両周辺に存在する他車両、或いは歩行者等を検出する場合を例に挙げて説明する。

図１に示すように、この移動障害物検出装置は、車両の周辺の映像を撮像するカメラ（撮像手段）１と、該カメラ１で撮像された画像からオプティカルフローを求めるオプティカルフロー算出手段２と、求められたオプティカルフローから、その交点を求めるオプティカルフロー交点算出手段３と、所定の軸を設定し、この軸上におけるオプティカルフローの交点のヒストグラムを作成するヒストグラム作成手段４と、作成されたヒストグラムからピーク位置を求め、このピークが同一物体によるよるものか、或いは異なる物体によるものかを検定するピーク検定手段５と、を備えている。

次に、上述の如く構成された本実施形態に係る移動障害物検出装置の動作を、図２に示すフローチャートを参照しながら説明する。

処理が開始されると、まず車両に搭載されたカメラ１で車両前方の映像を撮像し、初期画像を取得する（ステップＳ１）。次いで、予め設定した撮像間隔時間Δｔ待ち（ステップＳ２）、この時点で終了条件を満たしていなければ（ステップＳ３でＹＥＳ）、新規画像を取得する（ステップＳ４）。

その後、オプティカルフロー算出手段２は、初期画像と新規画像とを比較することにより、走行中の自車両に搭載されたカメラ１にて撮像される画像からオプティカルフローを求める。これにより、例えば、図３に示す如くのオプティカルフローを得ることができる。

ここで、オプティカルフロー算出手段２によるオプティカルフローを算出する時間間隔は、車両のハンドル切り角、ヨーレートセンサー、左右の車輪の回転の差、ターンシグナル、道路地図、ＧＰＳによるカーナビゲーションシステムの各情報のうちの１つ、或いは複数を取得することにより、変更するようにしても良い。例えば、車両が交差点を曲がる場合（ハンドル切り角が大きい場合）には、車両前方の映像のオプティカルフローは大きく変化するので、オプティカルフローを算出する時間間隔を短く設定することにより、画像処理においてオプティカルフローの変化を追従させることができる。

次いで、オプティカルフロー交点算出手段３は、求められたオプティカルフローに基づき、各オプティカルフローを延長する線が交わる交点を求める（ステップＳ６）。その結果、例えば、図４に示すように、オプティカルフローの交点が求められる。仮に、自車両以外の移動物体が存在しない場合には、全てのオプティカルフローは一点で交わるはずである。しかし、実際にはそれぞれのオプティカルフローはノイズ成分を含んでいるので、求められる交点の集合は分布として現れる。

なお、オプティカルフローの交点の算出についても、上述のオプティカルフローの算出と同様に、車両のハンドル切り角、ヨーレートセンサー、左右の車輪の回転の差、ターンシグナル、道路地図、ＧＰＳによるカーナビゲーションシステムの各情報のうちの１つ、或いは複数を取得することにより、変更するようにしても良い。

その後、ヒストグラム作成手段４は、複数個求められた交点の分布に基づいて、ｘ軸上（車両前方画像の平面の横軸上）で、交点の分布を示すヒストグラムを作成する（ステップＳ７）。その結果、例えば、図５に示す如くのヒストグラムを得ることができる。

ヒストグラムの区切りの大きさ（図５中のｘ軸方向の１目盛り）は、得られるオプティカルフローの数により調節する。ここで、ｘ軸上でのヒストグラムを作成する意味は、検出する必要のある移動方向はｘ軸方向であることが多いからであり、必要に応じて、ヒストグラムを作成する軸を変更することも可能である。

その後、得られたヒストグラムからピークの検出を行う（ステップＳ８）。そして、ヒストグラム中に、１個のみピークが存在した場合は（ステップＳ８でＮＯ）、自車両に対して横方向からの飛び出し物体が存在しないものと判断し、ステップＳ２以降の処理に戻る。

他方、図５に示したように、２個以上のピークが存在する場合は、最も高いピークと他のピークが同一の分布であるか、或いは異なる分布であるかを検定により検討する。

以下に、検定の方法を示す。まず、最大値を有するピークに含まれる交点を持つオプティカルフローの集合と、比較対照となるピークに交点を持つオプティカルフローの集合とに分類する。その結果、図６に示すように、２つの集合からなる特性曲線を得ることができ、この２つの集合内のオプティカルフロー同士の交点を求め直すことにより、２つの交点の分布を作成する。

この２つの分布を検定により同一の母集団から発生した可能性を検討する。ここでは、周知のｔ検定を用いて２つの集合の差を検定する（ステップＳ９）。そして、検定統計量となるｔ値が危険率αよりも下回っていれば２つの集合は同一の分布であると判断し（ステップＳ１０でＮＯ）、上回っていれば異なる分布であるものと判断する（ステップＳ１０でＹＥＳ）。

危険率は、例えばα＝０．０５という値を用いる。但し、道路状況や歩行者の数などのパラメータにより変更することも考えられる。パラメータが反映される具体例としては、例えば、市街地走行中である場合や、飛び出しが予想されるような場面で危険率αを小さくとり、逆に高速道路など飛び出しが予想されにくい場面においては、危険率αを大きくとることなどが考えられる。

また、車両が走行する走行路の道幅、歩道の有無、車線数、及び車両が走行する時間帯、車両走行時の天候、道路地図とＧＰＳによるカーナビゲーションシステムより取得される各種の情報等に応じて、危険率αを変更するようにしても良い。

以下、ｔ検定について詳しく述べる。まず、検定統計量ｔを、以下に示す（１）式にて求める。

ここで、（１）式において、「Ｘ（−）」、「Ｙ（−）」はヒストグラムのピーク点のｘ座標を示し、「ｓ」は分散を正規化した数値を示し、「ｍ」はＸ（−）の集合の標本数を示し、「ｎ」はＹ（−）の集合の標本数を示す。

いま、対象としている問題は、２つの分布の差を検定するので、両側検定が有効である。そして、｜ｔ｜＞ｔα／２（ｍ＋ｎ−２）となった場合には、帰無仮説（２つの分布は等しいという仮説）を棄却し、それ以外は棄却しない。

即ち、｜ｔ｜＞ｔα／２（ｍ＋ｎ−２）の時は、２つのピークは異なる分布であるものと判断する。

そして、検定終了後、検定の結果により別々の分布であると判断された場合は、飛び出し物体が存在するものと判断し（ステップＳ１１）、警報を発する等により、車両の乗員に注意を促す。以後、この処理を繰り返す。こうして、カメラ１で撮像した車両前方の映像に基づいて、飛び出し物体の存在を検出することができるのである。

このようにして、本実施形態に係る移動障害物検出装置では、カメラ１で撮像した画像中からオプティカルフローを求め、更に、このオプティカルフローの交点の分布に基づいてヒストグラムを作成し、該ヒストグラムに含まれるピーク位置を求めている。そして、ピークが複数個存在する場合には、ｔ検定を用いてこのピークが同一の集合による分布であるのか、或いは異なる集合による分布であるのかを判断するので、ノイズの影響を受けることなく、自車両走行中に、自車両に対して横方向から進入する飛び出し物体の存在を高精度に検出することができる。

その結果、車両走行中における飛び出し物体への注意力をより向上させることができるようになる。

また、ヒストグラムを作成する際の軸方向を、車両前方を映す画像の横軸方向（ｘ軸方向）に設定しているので、自車両に対して横方向に移動する障害物の存在をより高精度に検出することができる。

また、カメラ１で撮像する方向に応じて、ヒストグラムを作成する際の軸方向を適宜変更することもできる。例えば、カメラ１にて自車両の後方側を撮像し、オプティカルフローに基づいて、自車両を追い越そうとする他車両の存在を検出する場合には、この他車両は、自車両に対して斜め方向に移動するので、ヒストグラムを作成する際の軸方向を横方向でなく、斜め方向に設定することにより、追い越そうとする他車両の存在を高精度に検出することが可能となる。

更に、オプティカルフローを算出する時間間隔を、車両のハンドル切り角、ヨーレートセンサー、左右の車輪の回転の差、ターンシグナル、道路地図、ＧＰＳによるカーナビゲーションシステムの各情報のうちの１つ或いは複数の情報を取得することにより変更すれば、例えば、車両が交差点を曲がっている場合など、オプティカルフローの変化が大きい場合には、オプティカルフローの変化に対して画像処理を追従させることができるので、移動障害物の誤検出の発生を著しく低減することができる。

同様に、オプティカルフローの交点を求める時間間隔を、車両のハンドル切り角、ヨーレートセンサー、左右の車輪の回転の差、ターンシグナル、道路地図、ＧＰＳによるカーナビゲーションシステムの各情報のうちの１つ或いは複数の情報を取得することにより変更すれば、例えば、車両が交差点を曲がっている場合など、オプティカルフローの変化が大きい場合には、オプティカルフローの変化に対して画像処理を追従させることができるので、移動障害物の誤検出の発生を著しく低減することができる。

更に、ｔ検定を行う際の危険率を、車両が走行する走行路の道幅、歩道の有無、車線数、及び車両が走行する時間帯、車両走行時の天候、道路地図とＧＰＳによるカーナビゲーションシステムより取得される各種の情報のうちの１つ或いは複数を用いて変更することにより、走行状況に応じた高精度な移動障害物の検出が可能となる。

以上、本発明の移動障害物の検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。

例えば、上述した実施形態では、移動体が車両である場合を例に挙げて説明したが、本発明はこれに限定されるものではなく、電車やその他の移動体においても適用することができる。

また、上述した実施形態では、ヒストグラムのピークが２個である場合を例に挙げて説明したが、３以上存在する場合には、最もピーク値が大きい集合を自車両の走行によるオプティカルフローであると仮定し、このオプティカルフローとその他のオプティカルフロートの間で、上述した処理を複数回行うことにより、２以上ある移動障害物の存在を検出することができる。

更に、上述した実施形態では、ピーク検定手段５での検定手法としてｔ検定を用いる例を挙げて説明したが、本発明はｔ検定に限られるものではなく、その他の検定手法を用いることも可能である。

自車両の前方を横切る歩行者或いは他車両の存在をいち早く検出し、乗員に通知する点で極めて有用である。

本発明の一実施形態に係る移動障害物の検出装置の構成を示すブロック図である。本発明の一実施形態に係る移動障害物の検出装置の処理動作を示すフローチャートである。カメラにて撮像される画像中から抽出されるオプティカルフローを示す説明図である。オプティカルフローの交点を示す説明図である。オプティカルフローの交点のヒストグラムを示す説明図である。オプティカルフローの交点のヒストグラムをピーク毎にグラフ化した特性図である。

符号の説明

１カメラ（撮像手段）
２オプティカルフロー算出手段
３オプティカルフロー交点算出手段
４ヒストグラム作成手段
５ピーク検出手段

Claims

移動体に搭載され、該移動体周辺にて動作する移動障害物を検出する移動障害物検出装置において、
前記移動体周辺の映像を撮像する撮像手段と、
前記撮像手段にて撮像された画像上の特徴点のオプティカルフローを求めるオプティカルフロー算出手段と、
前記オプティカルフロー算出手段にて求められたオプティカルフローの交点を求めるオプティカルフロー交点算出手段と、
前記オプティカルフロー交点算出手段にて求められた、前記オプティカルフローの交点の分布をヒストグラム化するヒストグラム作成手段と、
前記ヒストグラム作成手段で作成されたヒストグラムに基づき、前記オプティカルフローの交点のピーク位置が存在する場合に、このピーク位置が同一物体によるものか、或いは異なる物体によるものかを検定するピーク検定手段と、
を有することを特徴とする移動障害物検出装置。
前記ヒストグラム作成手段は、予め設定した軸方向に沿って前記オプティカルフローの交点の分布をヒストグラム化することを特徴とする請求項１に記載の移動障害物検出装置。
移動体における前記撮像手段の設置場所に応じて、前記ヒストグラムを作成する際の軸方向を変更することを特徴とする請求項２に記載の移動障害物検出装置。
前記移動体は、車両であることを特徴とする請求項１〜請求項３のいずれか１項に記載の移動障害物検出装置。
前記オプティカルフロー算出手段は、車両のハンドル切り角、ヨーレートセンサー、左右の車輪の回転の差、ターンシグナル、道路地図、ＧＰＳによるカーナビゲーションシステムの各情報のうちの少なくとも１つの情報を取得することにより、前記オプティカルフローを算出する時間間隔を変更することを特徴とする請求項４に記載の移動障害物検出装置。
前記オプティカルフロー交点算出手段は、車両のハンドル切り角、ヨーレートセンサー、左右の車輪の回転の差、ターンシグナル、道路地図、ＧＰＳによるカーナビゲーションシステムの各情報のうちの少なくとも１つの情報を取得することにより、前記オプティカルフローの交点を求める時間間隔を変更することを特徴とする請求項４または請求項５のいずれかに記載の移動障害物検出装置。
前記ピーク検定手段は、所定の危険率を用いて複数のピーク位置が存在する際に、このピーク位置が同一物体によるものか、或いは異なる物体によるものかを検定し、
車両が走行する走行路の道幅、歩道の有無、車線数、及び車両が走行する時間帯、車両走行時の天候、道路地図とＧＰＳによるカーナビゲーションシステムより取得される各種の情報、のうちの少なくとも１つの情報を用いて、検定で用いる前記危険率を変更することを特徴とする請求項４〜請求項６のいずれか１項に記載の移動障害物検出装置。