JP2012038031A - 移動体の前方への飛出し物体の検出方法及びその装置 - Google Patents

Abstract

【課題】移動体のカメラで撮影した前方映像に画像相関法を適用して、移動体の前方に飛び出す物体の飛出し速度ベクトルを瞬時に捉えてリアルタイムで飛出し物体を検出することが可能な移動体の前方への飛出し物体の検出方法及びその装置を提供する。
【解決手段】移動体のカメラ１１で移動体の前方映像を撮影し、前方映像を構成する連続画像の先画像内に順次設定する相関領域と相関性の高い領域を後画像内で探索して各相関領域の移動場所とする画像相関法を適用して相関領域の速度ベクトルをそれぞれ求め、速度ベクトルの中から前方映像の左右端部のいずれか一方より前方映像の左右方向の中心に向かう飛出し速度ベクトルを抽出して飛出し物体と認識する移動体の前方への飛出し物体の抽出方法であって、相関領域を先画像の左側一部領域及び右側一部領域に設定し、相関領域と相関性の高い領域を後画像の左側一部領域及び右側一部領域でそれぞれ探索する。
【選択図】図１

Description

本発明は、移動体に搭載したカメラで撮影した前方映像に対して画像相関法を適用して、移動体の前方に横から飛び出す物体の飛出し速度ベクトルを瞬時に捉えることにより、リアルタイムで飛出し物体を検出する移動体の前方への飛出し物体の検出方法及びその装置に関する。

現在、交通死亡事故は減少する傾向にあるのに対して、交通事故発生件数及び交通事故負傷者数は増加する傾向にある。その中でも、自動車走行中の事故件数は、交通事故発生件数の８割近くを占めており、特に追突や出会い頭での事故及び飛び出しによる事故が多発している。更に、飛び出しによる事故は、人物のみならず動物によるものも多発しており、動物の飛び出しによる事故は、２００９年までに３万件近く発生している。これらの事故の原因として、運転手による人物又は動物の発見の遅れや自動車を急停止させる判断の遅れが挙げられ、事故の発生状況としては、低速度での走行中に多発している。そのため、自動車事故を未然に防止するための自動車運転支援システムの開発が現在盛んに行なわれている。

自動車運転支援システムとは、ドライバーが自動車を安全に運転できるように、ドライバーの運転操作を支援するもので、ドライバーの運転中における判断負荷の軽減、ドライバーの安全運転の意識向上等が見込まれている。ここで、自動車運転支援システムの開発では、従来は事故が発生した後に運転を支援するエアバッグやアクティブヘッドレス等の衝突安全が注目されていたが、現在は、交通事故が発生する前に運転を支援するアンチロックブレーキや、衝突防止等の予防安全の研究、例えば、前方先行車の認識による追突の未然防止、道路上の白線の認識による自動車のふらつき防止制御、道路標識の認識による速度制御等の研究開発が行われている。そして、非特許文献１には、自動車に搭載したビデオカメラで撮影した画像を複数の小領域に分割して、一定時間後の画像の中から各小領域と最も相関性が高い（最も類似している）小領域を探索することにより画像上での移動量を算出するオプティカルフロー法を適用して、走行中の自動車に対して前方から接近する移動体を認識する自動車用移動体認識装置が提案されている。

トヨタ・テクニカル・レビュー、１９９３年 第４３巻

ここで、走行中の自動車から撮影した前方映像の中から、自動車に対して横から飛び出してくる物体を精度よく認識しようとすると、本来静止している背景が自動車に対して相対速度を有するため、背景が移動して見える映像の中で横から急に飛び出してくる物体を抽出する必要がある。しかしながら、背景が移動する映像の中で横から急に飛び出してくる物体を瞬時に正確に抽出する手法は未だ確立されていない。

一方、自動車用移動体認識装置では、オプティカルフロー法により自動車に接近する移動物体を認識するので、走行中の自動車に対して横から飛び出す物体を認識することは可能となる。しかし、オプティカルフロー法では、演算処理に多くの時間を要するため、自動車の運転中にリアルタイムで横から飛び出す物体を認識することはできない。また、演算処理の高速化を図ろうとすると、回路構成や演算処理方法等が更に複雑になるため、コストアップを招くという問題がある。更に、オプティカルフロー法は、小領域を追跡することから移動体の速度を求めるため、得られる移動体の速度の精度が低く、しかも、画像の明るさに強く影響を受けるという問題がある。

本発明はかかる事情に鑑みてなされたもので、移動体に搭載したカメラで撮影した前方映像に対して画像相関法を適用して、移動体の前方に横から飛び出す物体の飛出し速度ベクトルを瞬時に捉えることにより、リアルタイムで飛出し物体を検出することが可能な移動体の前方への飛出し物体の検出方法及びその装置を提供することを目的とする。

前記目的に沿う第１の発明に係る移動体の前方への飛出し物体の検出方法は、移動体に搭載したカメラで該移動体の前方映像を撮影し、該前方映像を構成する連続画像の先画像内に順次設定する相関領域と相関性の高い領域を後画像内でそれぞれ探索して該各相関領域の移動場所とする画像相関法を適用して、前記先画像が前記後画像に変化する際の前記相関領域の移動の速度ベクトルをそれぞれ求め、該速度ベクトルの中から前記前方映像の左端部及び右端部のいずれか一方より該前方映像の左右方向の中心に向かう飛出し速度ベクトルを抽出して飛出し物体と認識する移動体の前方への飛出し物体の抽出方法であって、
前記相関領域を前記先画像の左側一部領域及び右側一部領域に設定すると共に、該相関領域と相関性の高い領域を前記後画像の左側一部領域及び右側一部領域でそれぞれ探索する。
ここで、相関領域と相関性の高い領域とは、相関領域の有する画像情報と最も類似した画像情報を有する領域を指す。例えば、画像情報を相関領域内の各画素の有する輝度値とすると、相関領域内の輝度値分布状況（輝度値分布パターン）と最も類似する輝度値分布状況が得られる領域が、相関領域と相関性の高い領域となる。また、カメラとは、撮像する装置の全てを含む。

第１の発明に係る移動体の前方への飛出し物体の検出方法において、前記飛出し速度ベクトルの抽出は、前記速度ベクトルから、前記前方映像内の静止物体が前記移動体に対して有する背景速度ベクトルを除去した後に行うことが好ましい。

第１の発明に係る移動体の前方への飛出し物体の検出方法において、前記移動体が直進移動する場合、前記背景速度ベクトルは、前記左側一部領域では、前記前方映像の上下方向及び左方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとし、前記右側一部領域では、前記前方映像の上下方向及び右方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとすることができる。

第１の発明に係る移動体の前方への飛出し物体の検出方法において、前記後画像内における前記相関領域の移動場所は、前記相関領域と同一サイズの探索領域を前記後画像の左側一部領域及び右側一部領域で順次移動させながら、前記相関領域の各画素と前記探索領域の各画素の間の輝度値差の総和である輝度値差累積値を求め、該輝度値差累積値が最小となるときの前記探索領域の場所とすることができる。

第１の発明に係る移動体の前方への飛出し物体の検出方法において、前記輝度値差の部分和が予め設定した閾値を超えた際に、該部分和の算出を停止し、前記探索領域を次の場所に移動することが好ましい。

第１の発明に係る移動体の前方への飛出し物体の検出方法において、前記飛出し物体を人物とする場合、前記相関領域の形状を、上下方向の辺の長さが左右方向の辺の長さより長い縦長の長方形とすることが好ましい。

第１の発明に係る移動体の前方への飛出し物体の検出方法において、前記飛出し物体を非人物とする場合、前記相関領域の形状を、正方形又は左右方向の辺の長さが上下方向の辺の長さより長い横長の長方形とすることが好ましい。

前記目的に沿う第２の発明に係る移動体の前方への飛出し物体の検出装置は、移動体に搭載して該移動体の前方映像を撮影するカメラと、
前記前方映像を構成する連続画像の先画像内に順次設定する相関領域と相関性の高い領域を後画像内でそれぞれ探索して該各相関領域の移動場所とする画像相関法を適用して、前記先画像が前記後画像に変化する際の前記相関領域の移動の速度ベクトルをそれぞれ求める速度ベクトル測定手段と、
前記速度ベクトルの中から前記前方映像の左端部及び右端部のいずれか一方より該前方映像の左右方向の中心に向かう飛出し速度ベクトルを抽出して飛出し物体と認識する飛出し物体抽出手段とを有し、
前記速度ベクトル測定手段では、前記相関領域を前記先画像の左側一部領域及び右側一部領域に設定すると共に、該相関領域と相関性の高い領域を前記後画像の左側一部領域及び右側一部領域でそれぞれ探索する。

第２の発明に係る移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段には、前記速度ベクトルから、前記前方映像内の静止物体が前記移動体に対して有する背景速度ベクトルを予め除去する背景除去処理部が設けられていることが好ましい。

第２の発明に係る移動体の前方への飛出し物体の検出装置において、前記背景除去処理部では、前記移動体が直進移動する場合、前記背景速度ベクトルを、前記左側一部領域では、前記前方映像の上下方向及び左方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとし、前記右側一部領域では、前記前方映像の上下方向及び右方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとすることができる。

第２の発明に係る移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段では、前記相関領域と同一サイズの探索領域を前記後画像の左側一部領域及び右側一部領域で順次移動させながら、前記相関領域の各画素と前記探索領域の各画素の間の輝度値差の総和である輝度値差累積値を求め、該輝度値差累積値が最小となるときの前記探索領域の場所を前記相関領域の移動場所とすることが好ましい。

第２の発明に係る移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段では、更に、前記輝度値差の部分和が予め設定した閾値を超えた際に、該部分和の算出を停止し、前記探索領域を次の場所に移動することが好ましい。

第２の発明に係る移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段では、前記前記飛出し物体を人物とする場合、前記相関領域の形状を、上下方向の辺の長さが左右方向の辺の長さより長い縦長の長方形とすることが好ましい。

第２の発明に係る移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段では、前記前記飛出し物体を非人物とする場合、前記相関領域の形状を、正方形又は左右方向の辺の長さが上下方向の辺の長さより長い横長の長方形とすることが好ましい。

第１の発明に係る移動体の前方への飛出し物体の検出方法及び第２の発明に係る移動体の前方への飛出し物体の検出装置においては、先画像内に設定した相関領域と相関性の高い領域を後画像内で探索して相関領域の移動場所とする画像相関法を適用して速度ベクトルを求めるので、例えば、画像の特徴点を見出して追跡することにより速度ベクトルを求めるオプティカルフロー法と比べて、画像処理負荷が少なく、しかも画像の明るさの影響を強く受けることがないため、速度ベクトルを短時間で精度よく求めることができる。そして、先画像に設定する相関領域を左側一部領域及び右側一部領域に限定すると共に、相関領域と相関性の高い領域の探索も後画像の左側一部領域及び右側一部領域に限定するので、速度ベクトルの算出を更に短時間で行うことができる。その結果、飛出し速度ベクトルの抽出を短時間で行うことが可能になり、前方映像から飛出し物体をリアルタイムで認識することが可能になる。

第１の発明に係る移動体の前方への飛出し物体の検出方法及び第２の発明に係る移動体の前方への飛出し物体の検出装置において、飛出し速度ベクトルの抽出を、速度ベクトルから静止物体の背景速度ベクトルを除去した後に行う場合、背景を除去した状態の前方映像内の速度ベクトルを求めることができ、飛出し速度ベクトルを精度よく抽出することができる。その結果、前方映像中で飛出し物体を正確に把握することができる。

第１の発明に係る移動体の前方への飛出し物体の検出方法及び第２の発明に係る移動体の前方への飛出し物体の検出装置において、移動体が直進移動する際に、左側一部領域では、前方映像の上下方向及び左方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するものを背景速度ベクトルとし、右側一部領域では、前方映像の上下方向及び右方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するものを背景速度ベクトルとする場合、速度ベクトルの中から背景速度ベクトルを容易に決定することができる。その結果、速度ベクトルから背景速度ベクトルの除去を容易に行うことができる。

第１の発明に係る移動体の前方への飛出し物体の検出方法及び第２の発明に係る移動体の前方への飛出し物体の検出装置において、後画像内における相関領域の移動場所を、相関領域と同一サイズの探索領域を後画像内で順次移動させながら、相関領域の各画素と探索領域の各画素の間の輝度値差の総和である輝度値差累積値を求め、輝度値差累積値が最小となるときの探索領域の場所とする場合、後画像内における相関領域の移動場所を短時間で決定することができる。また、先画像と後画像の間の輝度値差を求めるので、相関領域の移動場所の決定は、先画像及び後画像の画像の明るさの影響を受けない。

第１の発明に係る移動体の前方への飛出し物体の検出方法及び第２の発明に係る移動体の前方への飛出し物体の検出装置において、輝度値差の部分和が予め設定した閾値を超えた際に、部分和の算出を停止し、探索領域を次の場所に移動する場合、後画像内における相関領域の移動場所を決定する際の精度を低下させることなく、後画像内における相関領域の移動場所の決定に要する時間を更に短縮することができる。

第１の発明に係る移動体の前方への飛出し物体の検出方法及び第２の発明に係る移動体の前方への飛出し物体の検出装置において、飛出し物体を人物とする際に、相関領域の形状を、上下方向の辺の長さが左右方向の辺の長さより長い縦長の長方形とする場合、前方映像中における人物の飛び出しを精度よく検出することができる。

第１の発明に係る移動体の前方への飛出し物体の検出方法及び第２の発明に係る移動体の前方への飛出し物体の検出装置において、飛出し物体を非人物とする際に、相関領域の形状を、正方形又は左右方向の辺の長さが上下方向の辺の長さより長い横長の長方形とする場合、前方映像中における物体又は動物の飛び出しを精度よく検出することができる。

本発明の一実施の形態に係る移動体の前方への飛出し物体の検出装置の説明図である。 （Ａ）は自動車が直進移動する際の連続画像の説明図、（Ｂ）は左側下部領域内の背景速度ベクトルの方向の範囲を示す説明図、（Ｃ）は右側下部領域内の背景速度ベクトルの方向の範囲を示す説明図である。 実施例で求めた飛出し速度ベクトルを示す説明図である。 比較例１で求めた飛出し速度ベクトルを示す説明図である。 比較例２で求めた飛出し速度ベクトルを示す説明図である。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１に示すように、本発明の一実施の形態に係る移動体の前方への飛出し物体の検出装置１０（以下、単に検出装置１０という）は、移動体の一例である自動車の前方へ飛び出す人物、すなわち、飛出し物体を検出するもので、自動車に搭載して自動車の前方映像を撮影するビデオカメラ１１（カメラの一例）と、前方映像を構成する連続画像の先画像内に順次設定する相関領域と相関性の高い領域を後画像内でそれぞれ探索して各相関領域の移動場所とする画像相関法を適用して、先画像が後画像に変化するのに伴って相関領域が移動する際の速度ベクトルをそれぞれ求める速度ベクトル測定手段１２と、速度ベクトルの中から前方映像の左端部及び右端部のいずれか一方より前方映像の左右方向の中心に向かう飛出し速度ベクトルを抽出して飛出し物体と認識して認識信号を出力する飛出し物体抽出手段１３とを有している。ここで、図２（Ａ）に示すように、速度ベクトル測定手段１２では、相関領域を、連続画像の左側一部領域の一例である左側下部領域及び右側一部領域の一例である右側下部領域にそれぞれ設定している。以下、詳細に説明する。

ビデオカメラ１１は、自動車の車内に自動車の進行方向に向けて設置される。これにより、自動車の走行中の前方映像（道路を中央にして、自動車前方の道路及び道路両側の映像）が撮影される。ビデオカメラ１１のＦ値及び焦点距離はそれぞれ、例えば、１．８〜３．２及び２．５〜６２．５ｍであり、前方映像を構成する連続画像はそれぞれ、例えば、左右方向が７２０個の画素で、上下方向が４６０個の画素で構成され、フレームレイトは３０ｆｐｓである。

速度ベクトル測定手段１２には、前方映像としてビデオカメラ１１から順次入力される画像（連続画像）の中で先に入力された先画像が、先画像に続いて入力された後画像に変化するのに伴って、先画像内に設定した各相関領域の場所と各相間領域の後画像内の移動場所との間の関係から速度ベクトルを求める速度ベクトル算出部１４と、速度ベクトル算出部１４で得られた速度ベクトルから、前方映像内の背景を構成する静止物体が自動車に対して有する背景速度ベクトルを除去する背景除去処理部１５が設けられている。

速度ベクトル算出部１４は、先画像の左側下部領域及び右側下部領域に移し出される映像のみを計測対象に設定すると共に、左側下部領域及び右側下部領域内にそれそれ複数の相関領域を設定する第１の機能と、後画像の左側下部領域及び右側下部領域に移し出される映像のみを計測対象に設定して、先画像内の各相関領域と相関性の高い領域を後画像の左側下部領域及び右側下部領域内でそれぞれ探索し、相関性の高い領域を相関領域の移動場所とする第２の機能と、先画像内の各相関領域の場所と各相間領域の後画像内の移動場所との間の関係から、各相関領域の移動の速度ベクトルをそれぞれ求める第３の機能とが設けられている。なお、速度ベクトル算出部１４は、第１〜第３の機能を発現させるプログラムをコンピュータに搭載することにより構成することができる。

ここで、先画像及び後画像（連続画像）においてそれぞれ設定する左側下部領域及び右側下部領域のサイズは、左右方向の幅が連続画像の左右方向幅の０．３〜０．３３（例えば、０．３２）、上下方向の幅が連続画像の上下方向幅の０．２〜０．２５（例えば、０．２２）である。このように、相関領域を設定する範囲を左側下部領域及び右側下部領域に限定することにより、速度ベクトルの算出に必要な画像処理に要する時間を大幅に短縮することができると共に、横から飛び出す物体が有する速度ベクトル、すなわち、飛出し速度ベクトルを確実に捉えることができる。

相関領域の形状は、飛出し物体を人物とする場合、上下方向の辺の長さが左右方向の辺の長さより長い縦長の長方形（左右方向の辺の長さに対する上下方向の辺の長さの比であるアスペクト比が１．５５〜１．９、例えば１．８８）とする。なお、アスペクト比の範囲は、人物の身長と歩幅の関係を実測して決定した値である。これにより、相関領域内に飛び出す人物の画像情報を多く含むことができ、人物の飛び出しを確実に追跡することができる。
一方、飛び出す物体を動物や物（例えば、ボール）等の非人物とする場合、相関領域の形状は、正方形又は左右方向の辺の長さが上下方向の辺の長さより長い横長の長方形（アスペクト比が、例えば０．２〜０．５）とする。特に、四足歩行する動物の場合は、横長の長方形とするのが好ましい。

また、先画像が後画像に変化する際の変化状況を捉える場合、相関領域のサイズを大きくすると、短時間で変化状況を把握することができるが、変化状況の正確な把握は困難となり、相関領域のサイズを小さくすると、変化状況の把握に要する時間は長くなるが、変化状況の正確な把握が可能になる。このため、飛出し物体として人物が一定の飛出し速度で飛び出す際の前方映像（連続画像）を求めて、先画像（１枚目画像）と後画像（２枚目画像）を用いて、後画像の次に画像（３枚目画像）が入力されるまでの時間で、飛び出す人物の飛出し速度ベクトルが精度よく求めることができるように、相関領域のサイズの範囲を決定した。その結果、相関領域のサイズを、左右方向の幅が連続画像の左右方向幅の０．０３〜０．０４（例えば、０．０３５）、上下方向の幅が連続画像の上下方向幅の０．０９〜０．１１（例えば、０．１）とすると、相関領域の移動場所を求める際に必要な計算時間の短縮化を図ると共に、先画像が後画像に変化する際の状況を精度よく求めることができる。

左側下部領域及び右側下部領域において、相関領域の位置を順次設定する場合、先に設定した相関領域に対して後に設定する相関領域が、一定割合でオーバーラップするようにする。ここで、先画像に設定した相関領域の後画像における移動場所を決定する場合、オーバーラップする割合を高くすると、移動場所の決定精度は高くなるが決定に要する時間が長くなり、オーバーラップする割合を低くすると、移動場所の決定精度は低くなるが決定に要する時間は短くなる。このため、飛出し物体として人物が一定の飛出し速度で飛び出す際の前方映像（連続画像）を求めて、先画像（１枚目画像）と後画像（２枚目画像）を用いて、後画像の次に画像（３枚目画像）が入力されるまでの時間で、飛び出す人物の飛出し速度ベクトルが精度よく求めることができるように、オーバーラップする割合の範囲を決定した。これにより、オーバーラップの割合を、０．３５〜０．４５、例えば、０．４にした。

また、速度ベクトル算出部１４では、先画像内の各相関領域と相関性の高い領域を後画像の左側下部領域及び右側下部領域内で特定する際に、相関領域と同一サイズの探索領域を後画像内で順次移動させながら、相関領域の各画素と探索領域の各画素の間の輝度値差の総和である輝度値差累積値を求め、輝度値差累積値が最小となるときの探索領域の場所を相関領域の移動場所とする。ここで、輝度値差累積値を求める際に、輝度値差の部分和が予め設定した閾値を超えた際に、部分和の算出を停止し、探索領域を次の場所に移動する。これによって、探索領域を移動させながら、輝度値差累積値を最小とする探索領域の場所、すなわち、相関領域の移動場所を短時間で探索することができる。

閾値は、例えば、相関領域内の輝度値の平均値の定数α倍の値に設定することができる。定数αの値を小さくすることで閾値が下がるため、計算時間が短縮する。定数αの値を変化させながら輝度値差累積値を最小とする探索領域の場所を求めた場合、定数αの値が０．１までであれば、輝度値差累積値を最小とする探索領域の場所の決定に違いがないことが確認できた。したがって、定数αを０．１に設定すると、計算時間を最も短縮できる。
なお、閾値は、相関領域内の輝度値の平均値に比例するので、画像が明るい場合は閾値が高く、画像が暗い場合は閾値も低くなり、相関領域の移動場所の決定は、先画像及び後画像の画像の明るさの影響を受けない

一般に、自動車の走行は基本的に直進移動であり、旋回する際も進行方向が徐々に変化する微小な直進移動の連続と考えられる。このため、背景除去処理部１５には、自動車が直進移動することを前提として、前方映像内の背景の有する背景速度ベクトルを、左側下部領域では、前方映像の上下方向及び左方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトル、すなわち、図２（Ｂ）に示すように、９０度から２７０度（第２象限及び第３象限）の向きを持つベクトルとし、右側下部領域では、前方映像の上下方向及び右方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトル、すなわち、図２（Ｃ）に示すように、２７０度から９０度（第４象限及び第１象限）の向きを持つベクトルとする第４の機能と、速度ベクトル算出部１４で得られた速度ベクトルの中から背景速度ベクトルを除去して、非背景速度ベクトルを求める第５の機能が設けられている。これによって、連続画像の左側下部領域及び右側下部領域内の速度ベクトルを、背景移動に起因しない非背景速度ベクトルのみとすることができる。なお、背景除去処理部１５は、第４、第５の機能を発現させるプログラムをコンピュータに搭載することにより構成することができる。

飛出し物体抽出手段１３は、連続画像の左側下部領域及び右側下部領域内の非背景速度ベクトルの中から、先画像の左端部及び右端部のいずれか一方より先画像の左右方向の中心に向かう飛出し速度ベクトルの有無を判定する第６の機能と、飛出し速度ベクトルが存在する場合、飛出し速度ベクトルを抽出して後画像において飛出し物体と認識し、飛出し速度ベクトル信号及び飛出し物体認識信号をそれぞれ出力する第７の機能を備えている。なお、飛出し物体抽出手段１３は、第６、第７の機能を発現させるプログラムをコンピュータに搭載することにより構成することができる。
ここで、飛出し速度ベクトル及び飛出し物体がそれぞれ抽出されると、連続画像中では、左側下部領域及び右側下部領域内において飛出し物体の追跡が可能になる。そして、飛出し物体の追跡の経過を、例えば、自動車の運転制御機器に（図示せず）に入力することで、自動車の走行中に、横から飛び出してくる人物との接触事故を未然に防止するシステムを構築することが可能になる。

続いて、本発明の一実施の形態に係る移動体の前方への飛出し物体の検出装置１０を用いた移動体の前方への飛出し物体の検出方法について説明する。
自動車に搭載したビデオカメラ１１で自動車の前方映像を撮影し、速度ベクトル測定手段１２を用いて、前方映像を構成する連続画像の先画像の左側一部領域の一例である左側下部領域及び右側一部領域の一例である右側下部領域に順次設定する相関領域と相関性の高い領域を、後画像の左側一部領域の一例である左側下部領域及び右側一部領域の一例である右側下部領域でそれぞれ探索して、探索した領域を各相関領域の移動場所とする画像相関法を適用して、先画像が後画像に変化する際の相関領域の移動の速度ベクトルをそれぞれ求める。

速度ベクトルを求める範囲を、先画像及び後画像の左側下部領域及び右側下部領域とするので、自動車の進行方向に対して横（左端又は右端）から飛び出す物体を効率よく検出することができる。また、飛出し物体を人物とする場合は、相関領域の形状を、人物の外形形状に近い形状、例えば、上下方向の辺の長さが左右方向の辺の長さより長い縦長の長方形とする。これによって、人物以外の画像情報を相関領域内に含まないようにでき、人物の飛出し速度ベクトルを捉えることができる。一方、飛出し物体を非人物とする場合は、相関領域の形状を、非人物の外形形状に近い形状、例えば、正方形又は左右方向の辺の長さが上下方向の辺の長さより長い横長の長方形のいずれかとする。これによって、非人物の画像情報を相関領域内に取り込んで、非人物の飛出し速度ベクトルを捉えることができる。

ここで、先画像の左側下部領域内及び右側下部領域内でそれぞれ順次設定する相関領域と相関性の高い領域を、後画像の左側下部領域内及び右側下部領域内でそれぞれ探索する場合、相関領域と同一サイズの探索領域を後画像内で順次移動させながら、相関領域の各画素と探索領域の各画素の間の輝度値差の総和である輝度値差累積値を求め、輝度値差累積値が最小となるときの探索領域の場所を後画像における相関領域の移動場所とする。そして、輝度値差累積値を求める際に、輝度値差の部分和が予め設定した閾値を超えた際に、部分和の算出を停止し、探索領域を次の場所に移動する。輝度値差の部分和が閾値を越えた時点で、輝度値差の部分和を計算している探査領域は、輝度値差累積値が最小となる探査領域とはなりえないので、部分和の算出を停止して探索領域を次の場所に移動することにより、短時間で精度を維持して、輝度値差累積値が最小となるときの探索領域の場所を特定できる。

速度ベクトル測定手段１２により、相関領域が先画像から後画像に移動する際の速度ベクトルを求めた場合、得られた速度ベクトルには、前方映像内の静止物体が自動車に対して有する背景速度ベクトルが含まれている。ここで、自動車が直進移動する場合、背景速度ベクトルは、左側下部領域では、前方映像の上下方向及び左方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルであり、右側下部領域では、前方映像の上下方向及び右方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとなる。このため、背景除去処理部１５により、速度ベクトルから背景速度ベクトルを除去して、連続画像の左側下部領域及び右側下部領域内の速度ベクトルを、背景移動に起因しない非背景速度ベクトルのみとする。

連続画像の左側下部領域及び右側下部領域内の速度ベクトルを非背景速度ベクトルのみとした後、飛出し物体抽出手段１３を用いて、連続画像の左側下部領域及び右側下部領域内の非背景速度ベクトルの中から、先画像の左端部及び右端部のいずれか一方より先画像の左右方向の中心に向かう飛出し速度ベクトルの有無を判定する。そして、飛出し速度ベクトルが存在すると、飛出し速度ベクトルを抽出して後画像において飛出し物体と認識する。これによって、連続画像中では、飛出し速度ベクトルと飛出し物体が順次把握される。その結果、左側下部領域及び右側下部領域内において飛出し物体の追跡が可能となる。

Ｆ値が１．８〜３．２、焦点距離が２．５〜６２．５ｍ、フレームレイトが３０ｆｐｓで、左右方向が７２０個、上下方向が４６０個の画素で構成される画像が得られるビデオカメラで前方映像を撮影し、画像の中心から左下隅に左右方向が２３０画素、上下方向が１００画素で構成される左側下部領域を、画像の中心から右下隅に左右方向が２３０画素、上下方向が１００画素で構成される右側下部領域を設定した。また、相関領域を、左右方向に２５画素、上下方向に４７画素とした。そして、人物が左側から一定の飛出し速度で飛び出す際の前方映像から、飛び出す人物の飛出し速度ベクトルを求めた。その結果を図３に示す。

また、比較例１として、実施例で使用した前方映像を用いて、相関領域を左右方向が３５画素、上下方向が３５画素で構成される正方形として、飛び出す人物の飛出し速度ベクトルを求めた。その結果を図４に示す。更に、比較例２として、実施例で使用した前方映像を用いて、オプティカルフロー法により飛び出す人物の飛出し速度ベクトルを求めた。その結果を図５に示す。
なお、図３〜図５には、抽出した飛出し速度ベクトルに、人物の外形の一部を重ねて記載している。

図３に示すように、相関領域の形状が長方形の場合、飛び出す人物を、飛び出し速度ベクトルとして正確に捉えることが確認できた。特に、人物の脚の動きを正確に捉えていることが分かる。なお、人物の飛出し速度の実測値に対する本発明で求めた飛び出し速度ベクトルの誤差は７．６３％であった。

一方、図４に示すように、相関領域の形状を正方形とした場合、人物の移動に対応していない速度ベクトルも飛出し速度ベクトルとして抽出されている。これは、抽出したい人物は、長方形に近い形状であるため、正方形の相関領域とすると、相関領域内に人物以外の画像情報が多く含まれるようになり、正確な人物の移動を追跡することが困難になったと解される。

図５に示すように、オプティカルフロー法によっても、飛び出す人物と、飛出し速度ベクトルを正確に捉えることが確認できる。しかしながら、人物の飛出し速度の実測値に対するオプティカルフローで求めた飛び出し速度ベクトルの誤差は１０．３２％であった。オプティカルフローは、画像中の特徴点を算出し、その特徴点を追跡することによって速度ベクトルの導出を行っている。そのため、人物の飛び出しのように、時間的変化が激しく、輝度値が急激に変化する映像では、その精度が低下すると解される。

以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。

１０：移動体の前方への飛出し物体の検出装置、１１：ビデオカメラ、１２：速度ベクトル測定手段、１３：飛出し物体抽出手段、１４：速度ベクトル算出部、１５：背景除去処理部

Claims (14)

1. 移動体に搭載したカメラで該移動体の前方映像を撮影し、該前方映像を構成する連続画像の先画像内に順次設定する相関領域と相関性の高い領域を後画像内でそれぞれ探索して該各相関領域の移動場所とする画像相関法を適用して、前記先画像が前記後画像に変化する際の前記相関領域の移動の速度ベクトルをそれぞれ求め、該速度ベクトルの中から前記前方映像の左端部及び右端部のいずれか一方より該前方映像の左右方向の中心に向かう飛出し速度ベクトルを抽出して飛出し物体と認識する移動体の前方への飛出し物体の抽出方法であって、
   前記相関領域を前記先画像の左側一部領域及び右側一部領域に設定すると共に、該相関領域と相関性の高い領域を前記後画像の左側一部領域及び右側一部領域でそれぞれ探索することを特徴とする移動体の前方への飛出し物体の検出方法。
2. 請求項１記載の移動体の前方への飛出し物体の検出方法において、前記飛出し速度ベクトルの抽出は、前記速度ベクトルから、前記前方映像内の静止物体が前記移動体に対して有する背景速度ベクトルを除去した後に行うことを特徴とする移動体の前方への飛出し物体の検出方法。
3. 請求項２記載の移動体の前方への飛出し物体の検出方法において、前記移動体が直進移動する場合、前記背景速度ベクトルは、前記左側一部領域では、前記前方映像の上下方向及び左方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとし、前記右側一部領域では、前記前方映像の上下方向及び右方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとすることを特徴とする移動体の前方への飛出し物体の検出方法。
4. 請求項１〜３のいずれか１項に記載の移動体の前方への飛出し物体の検出方法において、前記後画像内における前記相関領域の移動場所は、前記相関領域と同一サイズの探索領域を前記後画像の左側一部領域及び右側一部領域で順次移動させながら、前記相関領域の各画素と前記探索領域の各画素の間の輝度値差の総和である輝度値差累積値を求め、該輝度値差累積値が最小となるときの前記探索領域の場所とすることを特徴とする移動体の前方への飛出し物体の検出方法。
5. 請求項４記載の移動体の前方への飛出し物体の検出方法において、前記輝度値差の部分和が予め設定した閾値を超えた際に、該部分和の算出を停止し、前記探索領域を次の場所に移動することを特徴とする移動体の前方への飛出し物体の検出方法。
6. 請求項４又は５記載の移動体の前方への飛出し物体の検出方法において、前記飛出し物体を人物とする場合、前記相関領域の形状を、上下方向の辺の長さが左右方向の辺の長さより長い縦長の長方形とすることを特徴とする移動体の前方への飛出し物体の検出方法。
7. 請求項４又は５記載の移動体の前方への飛出し物体の検出方法において、前記飛出し物体を非人物とする場合、前記相関領域の形状を、正方形又は左右方向の辺の長さが上下方向の辺の長さより長い横長の長方形とすることを特徴とする移動体の前方への飛出し物体の検出方法。
8. 移動体に搭載して該移動体の前方映像を撮影するカメラと、
   前記前方映像を構成する連続画像の先画像内に順次設定する相関領域と相関性の高い領域を後画像内でそれぞれ探索して該各相関領域の移動場所とする画像相関法を適用して、前記先画像が前記後画像に変化する際の前記相関領域の移動の速度ベクトルをそれぞれ求める速度ベクトル測定手段と、
   前記速度ベクトルの中から前記前方映像の左端部及び右端部のいずれか一方より該前方映像の左右方向の中心に向かう飛出し速度ベクトルを抽出して飛出し物体と認識する飛出し物体抽出手段とを有し、
   前記速度ベクトル測定手段では、前記相関領域を前記先画像の左側一部領域及び右側一部領域に設定すると共に、該相関領域と相関性の高い領域を前記後画像の左側一部領域及び右側一部領域でそれぞれ探索することを特徴とする移動体の前方への飛出し物体の検出装置。
9. 請求項８記載の移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段には、前記速度ベクトルから、前記前方映像内の静止物体が前記移動体に対して有する背景速度ベクトルを予め除去する背景除去処理部が設けられていることを特徴とする移動体の前方への飛出し物体の検出装置。
10. 請求項９記載の移動体の前方への飛出し物体の検出装置において、前記背景除去処理部では、前記移動体が直進移動する場合、前記背景速度ベクトルを、前記左側一部領域では、前記前方映像の上下方向及び左方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとし、前記右側一部領域では、前記前方映像の上下方向及び右方向のいずれか一方に沿った方向又は双方から合成される方向に沿った方向を有するベクトルとすることを特徴とする移動体の前方への飛出し物体の検出装置。
11. 請求項８〜１０のいずれか１項に記載の移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段では、前記相関領域と同一サイズの探索領域を前記後画像の左側一部領域及び右側一部領域で順次移動させながら、前記相関領域の各画素と前記探索領域の各画素の間の輝度値差の総和である輝度値差累積値を求め、該輝度値差累積値が最小となるときの前記探索領域の場所を前記相関領域の移動場所とすることを特徴とする移動体の前方への飛出し物体の検出装置。
12. 請求項１１記載の移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段では、更に、前記輝度値差の部分和が予め設定した閾値を超えた際に、該部分和の算出を停止し、前記探索領域を次の場所に移動することを特徴とする移動体の前方への飛出し物体の検出装置。
13. 請求項１１又は１２記載の移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段では、前記前記飛出し物体を人物とする場合、前記相関領域の形状を、上下方向の辺の長さが左右方向の辺の長さより長い縦長の長方形とすることを特徴とする移動体の前方への飛出し物体の検出装置。
14. 請求項１１又は１２記載の移動体の前方への飛出し物体の検出装置において、前記速度ベクトル測定手段では、前記前記飛出し物体を非人物とする場合、前記相関領域の形状を、正方形又は左右方向の辺の長さが上下方向の辺の長さより長い横長の長方形とすることを特徴とする移動体の前方への飛出し物体の検出装置。
    

Images