JP2010244301A - 移動方向検出装置、移動方向検出方法及びプログラム - Google Patents

Abstract

【課題】移動体の移動方向を迅速に検出する。
【解決手段】比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線を規定する。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線を規定する。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を抽出する。次に、抽出された直線に沿った方向が移動体の移動方向と判定する。これにより、処理に長時間を要するテンプレートマッチング処理等を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。
【選択図】図１

Description

本発明は、移動方向検出装置、移動方向検出方法及びプログラムに関し、更に詳しくは、移動体の移動方向を検出する移動方向検出装置、移動体の移動方向を検出するための移動方向検出方法及びプログラムに関する。

自動車などの移動体を撮影した画像に含まれる移動体を特定し、追跡するシステムなどでは、異なる時刻に撮影された複数の画像に対してテンプレートマッチング処理が行われ、画像に含まれる移動体の移動方向及び速度などが検出される。このようなシステムでは、移動体の移動方向及び速度などを検出することで、移動体の追跡精度や検出精度などを向上させることが可能となる。

上述のテンプレートマッチング処理は、例えば特許文献１に開示されているように、まず現在の画像と過去の画像とに差分処理を施すことにより、両画像間の変化点を抽出する。次に、変化点からなる画像を移動体のテンプレートとして用いて、現在の画像及び過去の画像に含まれる移動体の位置を検出する。そして、それぞれの画像から検出した移動体の位置の相違に基づいて、移動体の移動方向及び移動速度などを検出する。

特開平１０−２０８０５９号公報

上述したテンプレートマッチング処理は、移動体の移動方向及び移動速度などを精度よく検出することができるが、画像処理を行う際に取り扱うデータ量が多くなってしまう。このため、移動体の移動方向等の検出に長時間を要するという問題がある。

本発明は、上述の事情の下になされたもので、移動体の移動方向に関する情報を迅速に検出することを目的とする。

上記目的を達成するため、本発明の移動方向検出装置は、移動体を第１の露光時間と、前記第１の露光時間よりも長い第２の露光時間で撮像する撮像手段と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する第１規定手段と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する第２規定手段と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する判定手段と、を備える。

また、前記撮像手段は、第１のシャッター速度と、前記第１のシャッター速度よりも遅い第２のシャッター速度とによって、それぞれ前記第１の画像及び前記第２の画像を撮像することとしてもよい。

また、前記撮像手段は、多重露光によって前記第２の画像を撮像することとしてもよい。

本発明の移動方向検出方法は、移動体を第１の露光時間で撮像する工程と、前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する工程と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する工程と、を含む。

本発明のプログラムは、移動方向検出装置の制御装置に、移動体を第１の露光時間で撮像する手順と、前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する手順と、前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する手順と、を実行させる。

本発明によれば、移動体の移動方向を迅速に検出することができる。

第１の実施形態に係る移動方向検出装置のブロック図である。 第１のシャッター速度で撮像したデジタル画像を示す図である。 第２のシャッター速度で撮像したデジタル画像を示す図である。 第１規定部の動作を説明するための図である。 第２規定部の動作を説明するための図である。 撮像装置の視野内に移動体が進入する前に撮像されたデジタル画像を示す図である。 第２の実施形態に係る移動方向検出装置のブロック図である。 移動方向検出装置の動作を説明するためのフローチャートである。

《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図６を参照しつつ説明する。図１は本実施形態にかかる移動方向検出装置１０の概略的な構成を示すブロック図である。移動方向検出装置１０は、異なる露光時間で撮像することにより得られた２枚の画像に写った移動体の移動方向を検出し、その検出結果を外部装置などに出力する装置である。この移動方向検出装置１０は、図１に示されるように、撮像装置２０、第１規定部３１，第２規定部３２，特定部３３、及び判定部３４を有している。

前記撮像装置２０は、被写体を撮像することにより取得した画像を電気信号に変換して出力するＣＣＤカメラを含んで構成されている。この撮像装置２０は、移動体４０を検知すると、比較的高速な第１のシャッター速度で移動体４０を撮像するとともに、比較的低速な第２のシャッター速度で移動体４０を撮像する。

図２は、Ｘ軸方向に沿って移動する移動体４０を撮像して得られたデジタル画像Ｐ１を示す図である。また、図３は、Ｘ軸方向に沿って移動する移動体４０を撮像して得られたデジタル画像Ｐ２を示す図である。第１のシャッター速度は移動体４０の移動速度に対して比較的高速であるため、移動体４０は、図２に示されるようにほぼぶれることなくデジタル画像Ｐ１に写りこむ。

一方、第２のシャッター速度は、移動体４０の移動速度に対して比較的低速であるため、移動体４０の画像は、図３に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態でデジタル画像Ｐ２に写りこむ。移動体４０がＸ軸方向へ移動する場合には、移動体４０の画像のＸ軸方向の両端では、ボディ４０ａのエッジがいわゆる被写体ぶれによって消失する一方で、移動方向に直交するＺ軸方方向の両端では、移動体４０のエッジが保存される。また、タイヤ４０ｂの画像の上端と下端などでは、移動体の移動にともない移動方向に平行なエッジが発生する。

撮像装置２０は、移動体４０を撮像して得られたデジタル画像Ｐ１とデジタル画像Ｐ２とを、画像処理装置３０へ出力する。

前記画像処理装置３０は、第１規定部３１、第２規定部３２、特定部３３、及び判定部３４を有している。

前記第１規定部３１は、撮像装置２０から出力されたデジタル画像Ｐ１に写り込んだ移動体４０のエッジを抽出し、抽出したエッジにほぼ一致する直線を規定する。以下、図４を参照しつつ、第１規定部３１の動作について説明する。

第１規定部３１は、デジタル画像Ｐ１に例えばラベリング処理などを施すことにより、デジタル画像Ｐ１に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。

次に、第１規定部３１は、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。変化領域の検出は、例えばソーベルフィルタなどを用いる方法が考えられる。

具体的には、第１規定部３１は、デジタル画像Ｐ１に含まれる移動体４０の画像に関しては、図４に示されるように、ボディ４０ａの輪郭をエッジＥ１_Ｐ１として抽出し、タイヤ４０ｂの輪郭をエッジＥ２_Ｐ１として抽出する。また、地面Ｆの画像に関しては、エッジＥＦ_Ｐ１を抽出する。

次に、第１規定部３１は、抽出したエッジＥ１_Ｐ１、Ｅ２_Ｐ１、及びエッジＥＦ_Ｐ１に一致する直線を規定する。例えば移動体４０を構成するボディ４０ａのエッジＥ１_Ｐ１は、ほぼ直線状のエッジＥ１ａ、Ｅ１ｂ、Ｅ１ｃ、Ｅ１ｄと、上記エッジを結ぶ曲線状のエッジとによって構成されている。第１規定部３１は、図４に示されるように、ほぼ直線状のエッジＥ１ａ〜Ｅ１ｄに一致する直線Ｌ１_１、Ｌ１_２、Ｌ１_３、Ｌ１_５をデジタル画像Ｐ１上に規定する。同様に、第１規定部３１は、地面Ｆのほぼ直線状のエッジＥＦ_Ｐ１に一致する直線Ｌ１_４を、デジタル画像Ｐ１上に規定する。一方、移動体４０を構成するタイヤ４０ｂのエッジＥ２_Ｐ１は半径が比較的小さい円状である。このため、ここではエッジＥ２_Ｐ１に一致する直線が規定されることはない。

第１規定部３１は、デジタル画像Ｐ１上に直線Ｌ１_１〜Ｌ１_５を規定すると、これらの直線Ｌ１_１〜Ｌ１_５に関する情報を出力する。

前記第２規定部３２は、撮像装置２０から出力されたデジタル画像Ｐ２に写り込んだ移動体４０のエッジを抽出し、抽出したエッジにほぼ一致する直線を規定する。以下、図５を参照しつつ、第２規定部３２の動作について説明する。

第２規定部３２は、デジタル画像Ｐ２に例えばラベリング処理などを施すことにより、デジタル画像Ｐ２に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。

次に、第２規定部３２は、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ２を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。変化領域の検出は、第１規定部３１での処理と同様にソーベルフィルタなどを用いる方法が考えられる。

上述したように、デジタル画像Ｐ２は、移動体４０の移動速度に対して比較的低速な第２のシャッター速度で撮像された画像である。このため、移動体４０の画像は、図５に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態で写り込んでいる。これにより、移動体４０の画像の移動方向に直交する方向の境界では、隣接する輝度相互間の輝度値の差が小さくなり、ピクセルの輝度が隣接するピクセル間で急峻に変化することがない。このため、第２規定手段３２によって、デジタル画像Ｐ２の変化領域が、移動体４０の画像の＋Ｘ側及びーＸ側で検出されることはない

また、シャッター速度との関係で移動体４０は、デジタル画像Ｐ２の中に、実際よりも移動方向（Ｘ軸方向）に伸びた状態で写り込む。このため、移動体４０を構成するボディ４０ａ及びタイヤ４０ｂの＋Ｚ側及びーＺ側の端部の輪郭は、移動方向に平行となる。

したがって、第２規定部３２は、図５に示されるように、移動体４０を構成するボディ４０ａのエッジＥ１_Ｐ２として、ボディ４０ａの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ１ｂ及びエッジＥ１ｄを抽出する。そして、移動体４０を構成するタイヤ４０ｂのエッジＥ２_Ｐ２として、タイヤ４０ｂの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ２ａ及びエッジＥ２ｂを抽出する。また、地面Ｆの画像に関しては、エッジＥＦ_Ｐ２を抽出する。

次に、第２規定部３２は、抽出したエッジＥ１_Ｐ２を構成するエッジＥ１ｂ，Ｅ１ｄ、エッジＥ２_Ｐ２を構成するエッジＥ２ａ，Ｅ２ｂ、及びエッジＥＦ_Ｐ２に一致する直線Ｌ２_１〜Ｌ２_５を、デジタル画像Ｐ２上に規定する。そして、第２規定部３２は、これらの直線Ｌ２_１〜Ｌ２_５に関する情報を出力する。

前記特定部３３は、図４及び図５を参照するとわかるように、デジタル画像Ｐ１に規定された直線Ｌ１_１〜Ｌ１_５と、デジタル画像Ｐ２に規定されたＬ２_１〜Ｌ２_５とを比較して、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を特定する。

例えば、デジタル画像Ｐ２上の直線Ｌ２_１は、デジタル画像Ｐ１上の直線Ｌ１_３と位置的に相関がある。一方、デジタル画像上の直線Ｌ２_３は、デジタル画像Ｐ１上に位置的に相関がある直線をもたない。特定部３３は、ここでは、デジタル画像Ｐ２上の直線のうち、デジタル画像Ｐ１上の直線と相関のない直線として直線Ｌ２_３及び直線Ｌ２_５を特定する。そして、特定した直線Ｌ２_３及び直線Ｌ２_５に関する情報を出力する。

前記判定部３４は、特定部３３から出力された直線Ｌ２_３及び直線Ｌ２_５に関する情報に基づいて、移動体４０の移動方向を判定する。

例えば、まず判定部３４は、直線Ｌ２_３及び直線Ｌ２_５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうちのいずれかが移動体４０の移動方向であると推定する。

次に、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とデジタル画像Ｐ１とについて公知の差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ１に含まれる移動体４０の位置座標（Ｘ_Ｐ１、Ｚ_Ｐ１）を算出する。同様に、デジタル画像Ｐ０とデジタル画像Ｐ２とについても差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ２に含まれる移動体４０の位置座標（Ｘ_Ｐ２、Ｚ_Ｐ２）を算出する。なお、ここでの位置座標は、移動体４０の中心の位置座標をいう。

次に、判定部３４は、位置座標（Ｘ_Ｐ１、Ｚ_Ｐ１）を始点とし、位置座標（Ｘ_Ｐ２、Ｚ_Ｐ２）を終点とする方向ベクトルを算出する。そして、直線Ｌ２_３及び直線Ｌ２_５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうち、方向ベクトルとほぼ向きが等しい方向（＋Ｘ方向）を移動体４０の移動方向と判定する。そして、この判定結果を例えば外部装置などへ出力する。

以上説明したように、本第１の実施形態では、比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線が抽出される。次に、抽出された直線に沿った方向が移動体の移動方向と判定される。これにより、本実施形態では、処理に長時間を要するテンプレートマッチング処理を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。

特に、移動体の検知・追跡を行うシステムにおいては、デジタルカメラなどの撮像装置で撮像したデジタル画像をＤＳＰなどで処理する場合、複雑な処理が必要となる。例えば、上述の移動方向検出装置を駐車場の管理に応用する場合には、駐車場の入場口で検出した車両を追跡するために、あるフレームで検出した車両が、次のフレームではどの位置まで移動しているかを検知する必要がある。この場合に、テンプレートマッチング処理などによって車両の位置を検出すると、マッチング回数によっては検出までに長時間を要してしまうことがある。本実施形態にかかる移動方向検出装置１０では、短時間に移動体のおおよその移動方向を検出することができるので、車両管理の迅速化、及び複数車両の同時検出・追跡などを精度よく行うことができる。

また、本実施形態にかかる移動方向検出装置１０では、移動体４０の移動方向を検出する際に取り扱うデータ量が、テンプレートマッチング処理を行う際に取り扱うデータ量よりも少なくなる。このため、画像処理装置３０の処理能力やメモリに制限があるシステムにおいても、迅速に移動体４０の移動方向を検出することが可能となる。

《第２の実施形態》
次に、本発明の第２の実施形態を、図７及び図８を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。

本実施形態にかかる移動方向検出装置１０は、画像処理装置３０が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第１の実施形態にかかる移動方向検出装置１０と相違している。

図７は、移動方向検出装置１０の物理的な構成を示すブロック図である。図７に示されるように、移動方向検出装置１０は、撮像装置２０、コンピュータからなる画像処理装置３０から構成されている。

前記画像処理装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。

ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、撮像装置２０によって撮像された画像に対して、後述する画像処理を実行する。

主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。

補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、ＣＰＵ３０ａによる処理結果などを含む情報を記憶する。

表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。本実施形態では、デジタル画像Ｐ１，Ｐ２に対する処理が実行されるごとに、その処理結果としての画像などが表示される。

入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。

インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮像装置２０は、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。

図８のフローチャートは、画像処理装置３０のＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図８を参照しつつ、画像処理装置３０における画像処理について説明する。なお、この画像処理は、ＣＰＵ３０ａが、補助記憶部３０ｃから読み出したプログラムに従って、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、インターフェイス部３０ｆを統括的に制御することにより実現される。

まず、最初のステップＳ１０１では、ＣＰＵ３０ａは、撮像装置２０の視野内に移動体４０が進入したか否かを判断する。具体的にＣＰＵ３０ａは、例えば撮像装置２０の視野内の画像を所定の時間間隔でサンプリングする。次に、サンプリングした画像と、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とについて差分処理を施す。そして、対応するピクセル間の輝度の差の絶対値を積算して得られる値が所定の閾値以上である場合に、移動体が撮像装置４０の視野内に存在すると判断する。ＣＰＵ３０ａは、ここでの判断が肯定されると次のステップＳ１０２へ移行する。

次のステップＳ１０２では、ＣＰＵ３０ａは、比較的高速な第１のシャッター速度で移動体４０を撮像する。第１のシャッター速度は移動体の移動速度に対して比較的高速であるため、移動体４０は、図２に示されるようにほぼぶれることなくデジタル画像Ｐ１に写りこむ。

次のステップＳ１０３では、ＣＰＵ３０ａは、比較的低速な第２のシャッター速度で移動体４０を撮像する。第２のシャッター速度は、移動体４０の移動速度に対して比較的低速であるため、移動体４０の画像は、図３に示されるように移動方向（Ｘ軸方向）に直交する境界がぶれた状態でデジタル画像Ｐ２に写りこむ。

次のステップＳ１０４では、ＣＰＵ３０ａは、デジタル画像Ｐ１に例えばラベリング処理などを施すことにより、デジタル画像Ｐ１に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。

次のステップＳ１０５では、ＣＰＵ３０ａは、デジタル画像Ｐ１に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。

具体的にはＣＰＵ３０ａは、デジタル画像Ｐ１に含まれる移動体４０の画像に関しては、図４に示されるように、ボディ４０ａの輪郭をエッジＥ１_Ｐ１として抽出し、タイヤ４０ｂの輪郭をエッジＥ２_Ｐ１として抽出する。また、地面Ｆの画像に関しては、エッジＥＦ_Ｐ１を抽出する。

次のステップＳ１０６では、ＣＰＵ３０ａは、抽出したエッジＥ１_Ｐ１、Ｅ２_Ｐ１、及びエッジＥＦ_Ｐ１に一致する直線を規定する。例えば移動体４０を構成するボディ４０ａのエッジＥ１_Ｐ１は、ほぼ直線状のエッジＥ１ａ、Ｅ１ｂ、Ｅ１ｃ、Ｅ１ｄと、上記エッジを結ぶ曲線状のエッジとによって構成されている。ＣＰＵ３０ａは、図４に示されるように、ほぼ直線状のエッジＥ１ａ〜Ｅ１ｄに一致する直線Ｌ１_１、Ｌ１_２、Ｌ１_３、Ｌ１_５をデジタル画像Ｐ１上に規定する。同様に、ＣＰＵ３０ａは、地面Ｆのほぼ直線状のエッジＥＦ_Ｐ１に一致する直線Ｌ１_４を、デジタル画像Ｐ１上に規定する。一方、移動体４０を構成するタイヤ４０ｂのエッジＥ２は半径が比較的小さい円状である。このため、ここではエッジＥ２に一致する直線が規定されることはない。

次のステップＳ１０７では、ＣＰＵ３０ａは、デジタル画像Ｐ２に例えばラベリング処理などを施すことにより、デジタル画像Ｐ２に写り込んだオブジェクトを抽出する。これにより例えば、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像とが抽出される。

次のステップＳ１０８では、ＣＰＵ３０ａは、デジタル画像Ｐ２に写り込んだ移動体４０の画像と、地面Ｆの画像の輪郭を検出する。移動体４０等の輪郭の検出は、例えば、デジタル画像Ｐ１を構成するピクセルの輝度値が、隣接するピクセル間で急峻に変化する変化領域を検出する。そして、ラベリング処理によって検出した移動体４０等の画像の境界と一致する変化領域を移動体４０のエッジとして抽出する。

具体的には、ＣＰＵ３０ａは、図５に示されるように、移動体４０を構成するボディ４０ａのエッジＥ１_Ｐ２として、ボディ４０ａの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ１ｂ及びエッジＥ１ｄを抽出する。そして、移動体４０を構成するタイヤ４０ｂのエッジＥ２_Ｐ２として、タイヤ４０ｂの＋Ｚ側及び−Ｚ側の輪郭それぞれに対応するエッジＥ２ａ及びエッジＥ２ｂ抽出する。また、地面Ｆの画像に関しては、エッジＥＦ_Ｐ２として抽出する。

次のステップＳ１０９では、ＣＰＵ３０ａは、抽出したエッジＥ１_Ｐ２を構成するエッジＥ１ｂ，Ｅ１ｄ、エッジＥ２_Ｐ２を構成するエッジＥ２ａ，Ｅ２ｂ、及びエッジＥＦ_Ｐ２に一致する直線Ｌ２_１〜Ｌ２_５を、デジタル画像Ｐ２上に規定する。

次のステップＳ１１０では、ＣＰＵ３０ａは、図４及び図５を参照するとわかるように、デジタル画像Ｐ１に規定された直線Ｌ１_１〜Ｌ１_５と、デジタル画像Ｐ２に規定されたＬ２_１〜Ｌ２_５とを比較して、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線を特定する。

例えば、デジタル画像Ｐ２上の直線Ｌ２_１は、デジタル画像Ｐ１上の直線Ｌ１_３と位置的に相関がある。一方、デジタル画像上の直線Ｌ２_３は、デジタル画像Ｐ１上に位置的に相関がある直線をもたない。ＣＰＵ３０ａは、ここでは、デジタル画像Ｐ２上の直線のうち、デジタル画像Ｐ１上の直線と相関のない直線として直線Ｌ２_３及び直線Ｌ２_５を特定する。

次にステップＳ１１１では、ＣＰＵ３０ａは、直線Ｌ２_３及び直線Ｌ２_５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうちのいずれかが移動体４０の移動方向であると推定する。

次のステップＳ１１２では、ＣＰＵ３０ａは、一例として図６に示されるように、撮像装置２０の視野内に移動体４０が進入する前に撮像されたデジタル画像Ｐ０とデジタル画像Ｐ１とについて差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ１に含まれる移動体４０の位置座標（以下、位置座標（Ｘ_Ｐ１、Ｚ_Ｐ１）と表示する）を算出する。同様に、デジタル画像Ｐ０とデジタル画像Ｐ２とについても差分処理を施し、撮像装置２０の視野内におけるデジタル画像Ｐ２に含まれる移動体４０の位置座標（以下、位置座標（Ｘ_Ｐ２、Ｚ_Ｐ２）と表示する）を算出する。そして、ＣＰＵ３０ａは、位置座標（Ｘ_Ｐ１、Ｚ_Ｐ１）を始点とし、位置座標（Ｘ_Ｐ２、Ｚ_Ｐ２）を終点とする方向ベクトルを規定する。

次のステップＳ１１３では、ＣＰＵ３０ａは、直線Ｌ２_３及び直線Ｌ２_５に平行な方向（−Ｘ方向及び＋Ｘ方向）のうち、方向ベクトルとほぼ向きが等しい方向（＋Ｘ方向）を移動体４０の移動方向と判定する。

次のステップＳ１１４では、ＣＰＵ３０ａは、ステップＳ１１３での判定結果を例えば外部装置などへ出力する。

以上説明したように、本第２の実施形態では、比較的高速なシャッター速度で撮像したデジタル画像Ｐ１に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、比較的低速なシャッター速度で撮像したデジタル画像Ｐ２に含まれる移動体４０の画像のエッジにほぼ一致する直線が規定される。次に、デジタル画像Ｐ２上に規定された直線のうち、デジタル画像Ｐ１上の直線と相関のない直線が抽出される。次に、抽出された直線に沿った方向が移動体の移動方向と判定される。これにより、本実施形態では、処理に長時間を要するテンプレートマッチング処理を行う必要がなくなり、迅速に移動体の移動方向を検出することができる。

また、本実施形態にかかる移動方向検出装置１０では、移動体４０の移動方向を検出する際に取り扱うデータ量が、テンプレートマッチング処理を行う際に取り扱うデータ量よりも少なくなる。このため、画像処理装置３０の処理能力やメモリに制限があるシステムにおいても、迅速に移動体４０の移動方向を検出することが可能となる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。

例えば、上記各実施形態では、移動体４０がＸ軸方向へ移動する場合について説明したが、本発明は、移動体４０がＸ軸方向以外へ移動する場合にも迅速に移動方向を検出することができる。

また、上記各実施形態では、異なるシャッター速度で移動体４０を撮像したが、これに限らず例えば多重露光を行って移動体４０を撮像してもよい。この場合にも、図３に示されるように、移動体４０の画像は、進行方向に平行の軸方向のエッジが消失する。したがって、上述した方法で同様に移動体４０の移動方向を検出することができる。

なお、上記各実施形態に係る画像処理装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。

また、第２の実施形態において画像処理装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしても良い。

また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。

また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等しても良い。

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。

本発明の移動方向検出装置、移動方向検出方法及びプログラムは、移動体の移動方向を検出するのに適している。

１０ 移動方向検出装置
２０ 撮像装置
３０ 画像処理装置
３０ａ ＣＰＵ
３０ｂ 主記憶部
３０ｃ 補助記憶部
３０ｄ 表示部
３０ｅ 入力部
３０ｆ インターフェイス部
３０ｇ システムバス
３１ 第１規定部
３２ 第２規定部
３３ 特定部
３４ 判定部
４０ 移動体
４０ａ ボディ
４０ｂ タイヤ
Ｆ 地面
Ｐ０、Ｐ１、Ｐ２ デジタル画像

Claims (5)

1. 移動体を第１の露光時間と、前記第１の露光時間よりも長い第２の露光時間で撮像する撮像手段と、
   前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する第１規定手段と、
   前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する第２規定手段と、
   前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する判定手段と、
   を備える移動方向検出装置。
2. 前記撮像手段は、第１のシャッター速度と、前記第１のシャッター速度よりも遅い第２のシャッター速度とによって、それぞれ前記第１の画像及び前記第２の画像を撮像する請求項１に記載の移動方向検出装置。
3. 前記撮像手段は、多重露光によって前記第２の画像を撮像する請求項１に記載の移動方向検出装置。
4. 移動体を第１の露光時間で撮像する工程と、
   前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する工程と、
   前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、
   前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する工程と、
   前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する工程と、
   を含む移動体の移動方向検出方法。
5. 移動方向検出装置の制御装置に、
   移動体を第１の露光時間で撮像する手順と、
   前記移動体を前記第１の露光時間よりも長い第２の露光時間で撮像する手順と、
   前記第１の露光時間で撮像して得た第１の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、
   前記第２の露光時間で撮像して得た第２の画像に対して、前記移動体のエッジに一致する直線を規定する手順と、
   前記第１の画像に規定された直線に対応する前記第２の画像に規定された直線以外の、前記第２の画像に規定された直線に平行な方向の一方を、前記移動体の移動方向と判定する手順と、
   を実行させるためのプログラム。

Images