JP2004362399A

JP2004362399A - 物体追跡装置

Info

Publication number: JP2004362399A
Application number: JP2003161975A
Authority: JP
Inventors: Shogo Watanabe; 省吾渡辺
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-06-06
Filing date: 2003-06-06
Publication date: 2004-12-24

Abstract

【課題】追跡対象の物体を安定的に追跡するための計算量を削減し、また、追跡対象の物体の形状が変化した場合であっても、適切に追跡対象の物体を追跡できるようにする。
【解決手段】連続するフレーム画像のうちの前のフレーム画像で画素１０２が物体の輪郭を示す画素として注目されているとき、この画素１０２から物体の最大移動可能量に応じた範囲の領域を次のフレーム画像での探索領域として設定し、画素１０２から物体の最大移動可能量に応じた範囲の領域に含まれる画素の最小濃度値を下限、最大濃度値を上限とする濃度域を、次のフレーム画像での許容濃度域として設定する。そして、次のフレーム画像で、探索領域に含まれる画素であって許容濃度域内の画素値を持つ画素１０３を、物体の輪郭を示す画素として抽出する。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像手段で連続的に撮像された画像間で移動する物体を追跡する物体追跡装置に関する。
【０００２】
【従来の技術】
従来、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）カメラ等の撮像手段により連続的に撮像された画像を処理して、各画像間で移動する物体を追跡する技術が提案されており、例えば自動車の車両前方の物体を追跡して車両の安全な走行を支援するといった用途での実用化が期待されている。
【０００３】
この種の技術では、従来、テンプレートを用いたブロックマッチング処理によって物体の追跡を行うようにしたものが多い。但し、テンプレートを用いたブロックマッチング処理では、特に輪郭領域において十分な正確さが得られないといった問題や、物体の向きが変化した場合に対応が難しいといった問題があり、これらの問題に対する解決策が種々検討されている（例えば、特許文献１、特許文献２等参照）。
【０００４】
特許文献１に記載の技術は、前の画像における追跡対象の輪郭が特定されたときに、この輪郭上の特徴点についてブロックマッチングを行って次の画像での推定輪郭を求めて、この推定輪郭の周囲の領域を輪郭候補領域とし、更に推定輪郭上の特徴点位置に従って輪郭候補領域を小領域に分割し、各小領域毎に輪郭の勾配を検出するグラディエントの検出を行うことで、次の画像における追跡対象の輪郭を特定するようにしている。これにより、ブロックマッチングの処理だけでは不完全であった追従性能を向上させることが可能となっている。
【０００５】
また、特許文献２に記載の技術は、テンプレートを用いたブロックマッチング処理で検出した領域及びその近傍領域に対してエッジ検出を行って、それに応じてテンプレートの位置補正を行い、補正した位置の画像を新たなテンプレートとして更新して、次の画像でのブロックマッチングに用いるようにしている。これにより、追跡対象の向きが変化した場合でも、この追跡対象を安定的に追跡することが可能となっている。
【０００６】
【特許文献１】
特開平８−３３５２６８号公報
【０００７】
【特許文献２】
特開２００１−６０２６３号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術では、何れも、ブロックマッチング処理によって追跡対象となる物体の位置を推定することを前提としているため、追跡対象となる物体の位置の推定を正確に行うにはかなりの計算量が必要とされ、リアルタイムで物体の追跡を正確に行うには、演算処理手段に極めて高い処理能力が要求されることになる。
【０００９】
例えば、前記特許文献１に記載の技術では、次の画像での推定輪郭を求める際にブロックマッチングを行うようにしており、一致度が最大となるマッチング位置又は誤差が最小となるマッチング位置を探索的に検出するために、多くの計算量が必要とされる。更に、この計算量はブロックマッチングを行う特徴点数にも比例し、詳細な対象輪郭を検出するためには特徴点数を多く取る必要があることからも、必然的に計算量が多くなってしまう。
【００１０】
また、前記特許文献２に記載の技術においても、追跡対象の位置を検出する際に、基本的にはテンプレートを用いたブロックマッチングを行うようにしているので、追跡対称の位置を詳細且つ正確に推定するには、相応の計算量が求められることになる。
【００１１】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、少ない計算量で追跡対象の物体を安定的に追跡することができ、また、追跡対象の物体の形状が変化した場合であっても、適切に追跡対象の物体を追跡することが可能な物体追跡装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
本発明に係る物体追跡装置は、撮像手段により所定のフレームレートで連続的に撮像された画像から追跡対象となる物体を特定し、この物体を画像間で追跡するものであり、探索領域設定部と、許容濃度域設定部と、物体輪郭抽出部とを備えることを特徴とするものである。
【００１３】
探索領域設定部は、撮像手段のフレームレートに基づき、連続する画像間で追跡対象となる物体が移動し得る最大移動可能量を推定し、前の画像における物体の輪郭の位置と、推定した物体の最大移動可能量とから、次の画像における探索領域を設定する。
【００１４】
また、許容濃度規定部は、前の画像における物体の輪郭を示す画素の濃度値に基づいて、次の画像で物体の輪郭位置を特定するための許容濃度域を設定する。具体的には、例えば、前の画像における物体の輪郭を示す画素を基準として探索領域設定部により推定された物体の最大移動可能量に応じた範囲内の画素の濃度値を参照し、その中で最小の濃度値を下限、最大の濃度値を上限とする濃度域を、次の画像で物体の輪郭位置を特定するための許容濃度域として設定する。
【００１５】
そして、物体輪郭抽出部は、次の画像の中で、探索領域設定部により設定された探索領域内に含まれる画素であって、許容濃度域設定部により設定された許容濃度域内の濃度値を持つ画素を、次の画像における物体の輪郭を示す画素として抽出する。
【００１６】
【発明の効果】
本発明に係る物体追跡装置によれば、前の画像を元に設定された探索領域や許容濃度域に基づいて、次の画像の中で、探索領域内に含まれる画素であって許容濃度域内の濃度値を持つ画素を、追跡対象となる物体の輪郭を示す画素として抽出するようにしているので、例えばブロックマッチング等の手法によって物体の輪郭を抽出するようにした場合と比較して、格段に少ない計算量で安定的に物体を追跡することができる。また、物体の形状に依存することなく物体の輪郭を抽出できるので、物体の形状が変化した場合であっても、適切に物体の追跡を行うことができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明を適用した物体追跡装置の一構成例を示すブロック図である。この物体追跡装置は、所定のフレームレートで連続的に画像を撮像する撮像手段１と、この撮像手段１によって撮像された画像から追跡対象となる物体を特定する追跡対象特定部２と、本発明に特徴的な処理を行う探索領域設定部３、許容濃度域設定部４、物体輪郭抽出部５とを備える。
【００１９】
撮像手段１は、例えばＣＭＯＳやＣＣＤ等のイメージセンサを備え、このイメージセンサの各画素毎に、入射する光の強度に応じた電圧値を画像信号として出力する。この画像信号は、ゲインコントローラによって制御されるアンプで増幅された後、Ａ／Ｄ変換器でデジタルデータに変換されて、各フレーム画像の画像データとして出力される。また、特に本発明を適用した物体追跡装置で用いられる撮像手段１は、通常の表示画像を撮像する撮像手段のフレームレート（例えば３０ｆｐｓ）に比べて高いフレームレートでの画像撮像及び出力が可能とされており、この撮像手段１から連続的に出力されるフレーム画像間では、画像にさほど大きな変化が現れないようになっている。
【００２０】
追跡対象特定部２は、フレームメモリやＣＰＵ等を備え、撮像手段１から出力される各フレーム画像の画像データをフレーム単位でフレームメモリに記憶すると共に、このフレームメモリに記憶されたフレーム画像の画像データを逐次読み出してＣＰＵで処理し、追跡対象となる物体を特定する。この追跡対象特定部２において追跡対象となる物体を特定する処理については、従来一般的に用いられている手法を用いればよく、例えばエッジ検出やスネイクス処理等、種々の手法が適用可能である。なお、この追跡対象特定部２で追跡対象となる物体を特定する処理は、少なくとも追跡開始時等のように物体が特定されていない場合に行われるようにしておけば、その後は、後述する本発明に特徴的な処理によってフレーム画像間での物体の追跡が行われることになるので、全てのフレーム画像に対して追跡対象特定部２での処理を行う必要はない。
【００２１】
また、追跡対象特定部２は、撮像手段１から出力されてフレームメモリに記憶されたフレーム画像の画像データを逐次読み出して、後述する探索領域設定部３や許容濃度域設定部４、物体輪郭抽出部５に送出する処理を行う。
【００２２】
探索領域設定部３は、撮像手段１のフレームレートに基づき、この撮像手段１から出力される連続するフレーム画像間で追跡対象となる物体が移動し得る最大移動可能量を推定し、撮像手段１から出力される連続するフレーム画像のうち、前のフレーム画像における物体の輪郭の位置と、推定した最大移動可能量とから、次のフレーム画像における探索領域を設定するものである。
【００２３】
すなわち、上述したように、撮像手段１として高いフレームレートでの画像撮像及び出力が可能なものを用いた場合、この撮像手段１から出力される連続するフレーム画像間では、追跡対象となる物体の移動量はある程度限定されたものとなる。この移動量の最大値は、撮像手段１が停止している場合には追跡対象となる物体の移動速度、撮像手段１が車両等の移動体に搭載されている場合には、追跡対象となる物体の撮像手段１に対する相対速度がある程度把握できていれば、撮像手段１のフレームレートとの関係から推定することが可能である。そして、連続するフレーム画像間での物体の最大移動可能量が予め分かっていれば、連続するフレーム画像のうちの前のフレーム画像における物体の輪郭位置が、次のフレーム画像で最大移動可能量を超える位置にまで移動することはないので、次のフレーム画像の中で物体の輪郭位置を探索する範囲を絞り込むことができる。
【００２４】
そこで、本発明を適用した物体追跡装置においては、探索領域設定部３が、連続するフレーム画像間での物体の最大移動可能量を推定して、前のフレーム画像における物体の輪郭位置を中心にして、その周囲に物体の最大移動可能量分だけ離れた位置までの範囲を、次のフレーム画像で物体の輪郭位置を探索するための探索範囲として設定するようにしている。
【００２５】
許容濃度域設定部４は、撮像手段１から出力される連続するフレーム画像のうちの前の画像における物体の輪郭を示す画素の濃度値に基づいて、次の画像で物体の輪郭位置を特定するための許容濃度域を設定するものである。また、物体輪郭抽出部５は、次のフレーム画像の中で、探索領域設定部３により設定された探索領域内に含まれる画素であって、許容濃度規定部４により設定された許容濃度域内の濃度値を持つ画素を、次のフレーム画像における物体の輪郭を示す画素として抽出するものである。
【００２６】
撮像手段１から出力される連続するフレーム画像間で追跡対象となる物体の輪郭位置が変化した場合、前のフレーム画像における物体の輪郭を示す画素の濃度値と、次のフレーム画像における物体の輪郭を示す画素の濃度値とを比較すると、これらは必ずしも同じ濃度値となるとは限らず、ある程度変化した値を示すことになる。これは、撮像手段１の分解能に限界があるために、物体の輪郭を示す画素であるとして特定した画素の濃度値は、その周囲の画素との関係にある程度依存しており、連続するフレーム画像間で物体の輪郭位置が変化すると、物体の輪郭を示す画素とその周囲の画素との関係も変化するためと考えられる。また、撮像手段１の各画素毎の精度に多少のばらつきもあるため、各画素間でのＳ／Ｎの違い、或いはフレーム画像間でのＳ／Ｎの違いによっても、連続するフレーム画像間で物体の輪郭を示す画素の濃度値が変化するものと考えられる。
【００２７】
本発明を適用した物体追跡装置においては、上述したように、撮像手段１として高いフレームレートでの画像撮像及び出力が可能なものを用いているので、この撮像手段１から出力される連続するフレーム画像間での追跡対象となる物体の輪郭を示す画素の濃度値変化は、追跡対象となる物体の移動量と同様に、ある程度限定されたものとなる。
【００２８】
そこで、本発明を適用した物体追跡装置においては、許容濃度域設定部４が、連続するフレーム画像のうちの前のフレーム画像における物体の輪郭を示す画素の濃度値に基づいて、次のフレーム画像で物体の輪郭位置を特定するための許容濃度域を規定しするようにしている。そして、物体輪郭抽出部５が、次のフレーム画像の中から追跡対象の物体の輪郭位置を特定する際に、探索領域設定部３により設定された探索領域内に含まれる画素であって、許容濃度域設定部４により設定された許容濃度域内の濃度値を持つ画素を、次のフレーム画像における物体の輪郭を示す画素として抽出するようにしている。
【００２９】
具体的には、許容濃度域設定部４は、例えば、前のフレーム画像における物体の輪郭を示す画素を基準として探索領域設定部３により推定された物体の最大移動可能量に応じた範囲内にある複数の画素の濃度値を参照し、その中で最小の濃度値を下限、最大の濃度値を上限とする濃度域を、次の画像で物体の輪郭を特定するための許容濃度域として設定する。すなわち、連続フレーム画像間での物体の輪郭を示す画素の濃度値変化は、物体の移動量と相関関係にあり、次のフレーム画像における物体の輪郭を示す画素の濃度値は、前のフレーム画像における物体の輪郭位置とその周囲の画素、具体的には次のフレーム画像で物体の輪郭位置となり得る範囲内の画素の濃度値以上、或いはそれ以下にまで変化しないことが分かってきた。
【００３０】
このような観点から、本発明を適用した物体追跡装置においては、許容濃度域設定部４が、前のフレーム画像における物体の輪郭を示す画素を基準として探索領域設定部３により推定された物体の最大移動可能量に応じた範囲内（次のフレーム画像の探索領域に相当する範囲内）の複数の画素の濃度値、望ましくは、前のフレーム画像における物体の輪郭の方向と略直交する方向に並ぶ画素であって、物体の輪郭を示す画素を基準として探索領域設定部３により推定された物体の最大移動可能量に応じた範囲内の複数の画素の濃度値を参照して、その中で最小の濃度値を下限、最大の濃度値を上限とする濃度域を、次のフレーム画像で物体の輪郭を特定するための許容濃度域として設定する。そして、物体輪郭抽出部５が、次のフレーム画像の中で、探索領域内に含まれる画素であって、前のフレーム画像における探索領域に相当する範囲内の画素の最小濃度値から最大濃度値の間（許容濃度域）の濃度値を持つ画素を、次のフレーム画像における物体の輪郭を示す画素として抽出するようにしている。
【００３１】
ここで、以上のような探索領域設定部３、許容濃度域設定部４及び物体輪郭抽出部５による処理の概要について、図２及び図３を参照して説明する。
【００３２】
例えば図２に示すように、時刻ｔにおけるフレーム画像中で、追跡対象となる物体１００の輪郭１０１の方向に直交する方向に並ぶ複数の画素についてその濃度値を見ると、例えば図３中のＡ１のような濃度分布が得られる。そして、次のフレーム画像（時刻ｔ＋１におけるフレーム画像）中で同じ位置の複数の画素を抜き出してその濃度値を見ると、追跡対象となる物体１００が移動したことにより、濃度分布が図３中のＢ１のように変化する。
【００３３】
ここで、時刻ｔにおけるフレーム画像において、画素１０２が物体１００の輪郭１０１を示す画素として注目されているとき、この画素１０２から所定の範囲の領域、具体的には、時刻ｔから時刻ｔ＋１までの間の物体１００の移動によって、物体１００の輪郭１０１の位置が時刻ｔ＋１におけるフレーム画像で変化し得る範囲（最大移動可能量に応じた範囲）の領域を、探索領域として定義する。また、時刻ｔにおけるフレーム画像で、画素１０２の濃度値を含む所定の範囲の濃度域、具体的には、時刻ｔにおけるフレーム画像で探索領域に相当する範囲（最大移動可能量に応じた範囲）に含まれる画素の最小濃度値を下限、最大濃度値を上限とする濃度域を、許容濃度域として定義する。
【００３４】
そして、時刻ｔ＋１におけるフレーム画像において、探索領域内に含まれる画素であって、許容濃度域に含まれる濃度値を持つ画素１０３を抽出する。この画素１０３が、時刻ｔ＋１におけるフレーム画像での物体１００の輪郭１０１を示す画素として特定されることになる。
【００３５】
簡単のために、連続するフレーム画像間で物体１００が１画素以上移動しない（最大移動可能量が１画素）ものと仮定して、後のフレーム画像での物体１００の輪郭１０１を示す画素を特定する処理について、図４を参照してより具体的に説明する。
【００３６】
図４において、追跡対象となる物体１００の輪郭１０１の方向に直交する方向に並ぶ複数の画素を抜き出してその濃度値を見たときの、時刻ｔにおけるフレーム画像での濃度分布をＡ２とし、時刻ｔ＋１におけるフレーム画像での濃度分布をＢ２とする。また、時刻ｔにおけるフレーム画像において、画素１０５が、追跡対象となる物体１００の輪郭１０１を示す画素であるとする。
【００３７】
このとき、時刻ｔから時刻ｔ＋１までの間で物体１００の最大移動可能量が１画素であるとすると、探索領域は、時刻ｔにおけるフレーム画像での画素１０５を中心にそれに隣接する画素１０６，１０７の範囲内に設定される。また、許容濃度域は、隣接画素１０６の濃度値を下限とし、隣接画素１０７の濃度値を上限とする濃度域に設定される。そして、時刻ｔ＋１におけるフレーム画像において、探索領域内に含まれる画素であって許容濃度域に含まれる濃度値を持つ画素１０８が、時刻ｔ＋１における物体１００の輪郭１０１を示す画素として特定されることになる。なお、時刻ｔ＋１におけるフレーム画像において、以上の条件を満足する画素が複数個存在する場合には、それらのうちで平均的な濃度値を持つ画素を選択する、或いは最も高い濃度値を持つ画素を選択する、或いは最も低い濃度値を持つ画素を選択するといったように、選択条件を予め決めておけばよい。
【００３８】
ところで、以上は、撮像手段１が十分な分解能を有し、イメージセンサから出力される画像信号は十分に高いＳ／Ｎが得られることを前提にして説明したが、撮像手段１の分解能が多少劣っている場合や、画像信号のＳ／Ｎが低下している場合には、図３や図４に示したような濃度分布の傾きが小さくなって、探索領域に相当する領域に含まれる画素の最小濃度値と最大濃度値との差が少なくなり、許容濃度域が極端に狭められることも想定される。このような場合には、時刻ｔ＋１におけるフレーム画像で物体１００の輪郭１０１を示す画素を適切に抽出することが困難となって、物体１００の安定的な追跡に支障を来す虞もある。
【００３９】
そこで、探索領域に相当する領域に含まれる画素（物体の最大移動可能量に応じた範囲内にある画素）の最小濃度値と最大濃度値との差が所定値以下の場合には、その後の処理において、撮像手段１のイメージセンサから出力される画像信号を増幅するアンプのゲインを高めることで、許容濃度域を拡大させることが望ましい。すなわち、アンプのゲインを高めることにより、例えば図４における濃度分布Ａ２の画素１０５，１０６，１０７の濃度値が、それぞれゲインの上昇率に応じて、図５に示すように、等倍に上昇することになる。これは、各画素１０５，１０６，１０７の濃度値を示す階調がそれぞれ多階調に変換されたことを意味し、各画素１０５，１０６，１０７間における濃度値（階調）の差が拡げられたことになる。このように、各画素１０５，１０６，１０７間における濃度値（階調）の差を拡げるようにして、その後の処理では、変換後の画素１０６の濃度値を下限とし、変換後の画素１０７の濃度値を上限とする濃度域を許容濃度域として設定することにより、撮像手段１の分解能が多少劣っている場合や、画像信号のＳ／Ｎが多少低下している場合であっても、時刻ｔ＋１におけるフレーム画像で物体１００の輪郭１０１を示す画素を適切に抽出することができ、物体１００の追跡を安定的に行うことが可能となる。
【００４０】
また、以上は、物体１００の輪郭１０１を示す画素が濃度分布のピーク又はボトムにない場合について説明したが、物体１００の輪郭１０１を示す画素が濃度分布のピークにあるときは、許容濃度域としてはその下限のみを定めておけばよく、物体１００の輪郭１０１を示す画素が濃度分布のボトムにあるときは、許容濃度域としてはその上限のみを定めておけばよい。
【００４１】
すなわち、連続するフレーム画像間で物体１００が１画素以上移動しない（最大移動可能量が１画素）ものと仮定して、物体１００の輪郭１０１を示す画素が濃度分布のピークにあるときを考えると、例えば、時刻ｔにおけるフレーム画像から取り出した複数の画素の濃度分布は図６中のＡ３のようになる。この図６中のＡで示す濃度分布の中でピークにある画素が、時刻ｔにおけるフレーム画像で物体１００の輪郭１０１を示す画素１０５である。また、時刻ｔ＋１におけるフレーム画像の同じ位置から取り出した複数の画素の濃度分布は、物体１００の移動に伴って、図６中のＢ３のように変化する。
【００４２】
このとき、時刻ｔから時刻ｔ＋１までの間での物体１００の最大移動可能量は１画素であるので、探索領域は、図４に示した例と同様に、時刻ｔにおけるフレーム画像での画素１０５を中心にそれに隣接する画素１０６，１０７の範囲内に設定される。そして、許容濃度域は、隣接画素１０６の濃度値と隣接画素１０７の濃度値のうちで何れか低い方の濃度値を下限として、それ以上の濃度域に設定される。そして、時刻ｔ＋１におけるフレーム画像において、探索領域内に含まれる画素であって許容濃度域に含まれる濃度値を持つ画素１０８が、時刻ｔ＋１における物体１００の輪郭１０１を示す画素として特定されることになる。
【００４３】
また、連続するフレーム画像間で物体１００が１画素以上移動しない（最大移動可能量が１画素）ものと仮定して、物体１００の輪郭１０１を示す画素が濃度分布のボトムにあるときを考えると、例えば、時刻ｔにおけるフレーム画像から取り出した複数の画素の濃度分布は図７中のＡ４のようになる。この図７中のＡ４で示す濃度分布の中でボトムにある画素が、時刻ｔにおけるフレーム画像で物体１００の輪郭１０１を示す画素１０５である。また、時刻ｔ＋１におけるフレーム画像の同じ位置から取り出した複数の画素の濃度分布は、物体１００の移動に伴って、図７中のＢ４のように変化する。
【００４４】
このとき、時刻ｔから時刻ｔ＋１までの間での物体１００の最大移動可能量は１画素であるので、探索領域は、図４に示した例と同様に、時刻ｔにおけるフレーム画像での画素１０５を中心にそれに隣接する画素１０６，１０７の範囲内に設定される。そして、許容濃度域は、隣接画素１０６の濃度値と隣接画素１０７の濃度値のうちで何れか高い方の濃度値を上限として、それ以下の濃度域に設定される。そして、時刻ｔ＋１におけるフレーム画像において、探索領域内に含まれる画素であって許容濃度域に含まれる濃度値を持つ画素１０８が、時刻ｔ＋１における物体１００の輪郭１０１を示す画素として特定されることになる。
【００４５】
本発明を適用した物体追跡装置においては、以上のような探索領域設定部３、許容濃度域設定部４及び物体輪郭抽出部５による処理が、追跡対象となる物体１００の追跡部位として予め設定された部位毎に行われるようにしている。ここで、ある追跡部位について以上のような濃度分布を得るために、フレーム画像から複数の画素をサンプリングする場合に、そのサンプリングの方向（サンプリングする複数の画素が並ぶ方向）については特に限定されないが、図２に示したように、その追跡部位における物体１００の輪郭１０１の方向に対してできるだけ直交した方向に並ぶ画素をサンプリングした方が、物体１００の輪郭１０１を示す画素を挟んだ両側の画素の濃度値の差、すなわち、物体１００を示す画素と背景を示す画素との濃度値の差が濃度分布において急峻に現れることになるので、輪郭１０１の位置を明確に抽出する上で有利である。
【００４６】
また、物体１００の判定を正確に行うためには、できるだけ多くの追跡部位について以上のような処理を行うことが望ましいが、物体１００の移動方向と一致した方向、或いはそれに近い方向の輪郭１０１を含む部位については、連続するフレーム画像間で以上のような濃度分布を見たときに、濃度分布に殆ど変化が現れないので、物体１００の移動方向と一致した方向やそれに近い方向の輪郭１０１を含む部位については、以上のような処理を省略するようにしてもよい。
【００４７】
ここで、以上のような探索領域設定部３、許容濃度域設定部４及び物体輪郭抽出部５による処理の流れの概要について、図８のフローチャートを参照して説明する。なお、図８のフローチャートは、時刻ｔ−１におけるフレーム画像において探索領域設定部３により各追跡部位毎に探索領域が設定され、許容濃度域設定部４により各追跡部位毎の許容濃度域が設定されている状態からの処理の流れを示しており、本発明を適用した物体追跡装置においては、この図８のフローチャートで示す処理が各フレーム画像毎に繰り返し行われることで、連続するフレーム画像間での物体の追跡が行われるようになっている。
【００４８】
先ず、ステップＳ１において、撮像手段１により撮像された時刻ｔにおけるフレーム画像の画像データが、追跡対象特定部２のフレームメモリから読み出される。そして、ステップＳ２において、物体輪郭抽出部５により、時刻ｔにおけるフレーム画像の中で、時刻ｔ−１におけるフレーム画像での処理で探索領域設定部３により設定された探索領域内に含まれる画素であって、許容濃度域設定部４により設定された許容濃度域内の濃度値を持つ画素が、追跡対象となる物体の輪郭を示す画素として抽出される。このステップＳ２の処理は各追跡部位毎にそれぞれ行われ、ステップＳ３で全ての追跡部位に対してステップＳ２の処理が終了したと判断されると、次のステップＳ４において、抽出した画素によって囲まれる領域が、時刻ｔにおけるフレーム画像中で追跡対象となる物体を示す領域であると特定される。
【００４９】
次に、ステップＳ５において、探索領域設定部４により、時刻ｔにおけるフレーム画像中での物体の輪郭位置と物体の最大移動可能量とから、時刻ｔ＋１におけるフレーム画像での探索領域が設定される。なお、物体の最大移動可能量は、撮像手段１のフレームレートと物体の移動速度との関係から予め求められているものとする。
【００５０】
次に、ステップＳ６において、許容濃度域設定部５により、時刻ｔにおけるフレーム画像中で物体の輪郭位置を跨いで連続する複数の画素がサンプリングされ、これらの画素の濃度値が参照される。そして、時刻ｔにおけるフレーム画像での探索領域内に含まれる画素の最小濃度値を下限、最大濃度値を上限とする濃度域が、時刻ｔ＋１におけるフレーム画像での許容濃度域として設定される。
【００５１】
次に、ステップＳ７において、許容濃度域を規定する最小濃度値と最大濃度値との差が所定の閾値を超えているかどうかが判断され、超えている場合にはそのままリターンしてステップＳ１以降の処理が繰り返し行われる。一方、許容濃度域を規定する最小濃度値と最大濃度値との差が所定の閾値以下の場合には、ステップＳ８において画像信号を増幅するアンプのゲインが高められた上でリターンし、ステップＳ１以降の処理が繰り返し行われることになる。
【００５２】
以上説明したように、本発明を適用した物体追跡装置では、撮像手段１によって連続的に撮像されたフレーム画像のうち、前のフレーム画像で追跡対象となる物体の輪郭位置が特定されたときに、この物体の各追跡部位毎に、探索領域設定部３が次のフレーム画像における探索領域を設定し、許容濃度域設定部４が次のフレーム画像で物体の輪郭位置を特定するための許容濃度域を設定するようにしている。そして、物体輪郭抽出部５が、次のフレーム画像での各追跡部位毎に、探索領域設定部３により設定された探索領域内に含まれる画素であって、許容濃度域設定部４により設定された許容濃度域内の濃度値を持つ画素を、追跡対象となる物体の輪郭を示す画素として抽出するようにし、以上の処理を撮像手段１によって撮像された各フレーム画像毎に繰り返し行うことで、連続するフレーム画像間での物体の追跡を行うようにしている。
【００５３】
したがって、本発明を適用した物体追跡装置では、テンプレートを用いたブロックマッチング処理を行うことなく、追跡対象となる物体を連続するフレーム画像間で安定的に追跡することができるので、ブロックマッチングで必要とされる相関係数や誤差評価関数による評価、物体の大きさや形状の変化に対応させるためのテンプレートの変換等が不要となり、ブロックマッチング処理を行う場合と比較して物体追跡のための計算量を大幅に削減することができる。更に、物体の形状に依存することなく物体の輪郭を抽出できるので、物体の形状が変化した場合であっても、適切に物体の追跡を行うことができる。
【００５４】
ところで、以上は、撮像手段１により撮像され出力されるフレーム画像が、色情報を持たない単色の濃淡画像である場合を想定して説明したが、撮像手段１により撮像され出力されるフレーム画像が色情報を有する場合には、追跡対象となる物体に特徴的な色成分に着目して、その色成分の濃度値について以上のような処理を行うことが望ましい。具体的には、例えば、追跡対象の物体が屋外を走行する赤色の車両である場合、許容濃度規定部４が、前のフレーム画像での物体の輪郭を示す画素の赤色の濃度値に基づいて、次のフレーム画像で物体の輪郭位置を特定するための許容濃度域を設定し、物体輪郭抽出部５が、次のフレーム画像の中で、探索領域設定部３により特定された探索領域内に含まれる画素であって、赤色の濃度値が許容濃度域設定部４により規定された許容濃度域内である画素を、次のフレーム画像における物体の輪郭を示す画素として抽出する。
【００５５】
このように、撮像手段１により撮像され出力されるフレーム画像が色情報を有する場合に、追跡対象となる物体に特徴的な色成分に着目して、その色成分の濃度値を対象とした処理を行うようにすれば、追跡対象となる物体と背景との境界（物体の輪郭位置）をより明確に識別することができ、画像信号のＳ／Ｎが多少低い場合であっても物体を安定的に追跡することが可能となる。
【００５６】
また、以上は、連続するフレーム画像間での物体の輪郭を示す画素の濃度値変化が物体の移動量と相関関係にあることに着目して、許容濃度域設定部４が、前のフレーム画像における物体の輪郭を示す画素を基準として、その物体の最大移動可能量に応じた範囲内にある画素の最小濃度値を下限、最大濃度値を上限とする濃度域を、次のフレーム画像で物体の輪郭位置を特定するための許容濃度域として設定するようにした例について説明したが、許容濃度域の設定は、以上の例に限らず、多の方法で行うようにしてもよい。
【００５７】
例えば、連続するフレーム画像間での物体の輪郭を示す画素の濃度値が、撮像手段１における各画素間でのＳ／Ｎの違い、或いはフレーム画像間でのＳ／Ｎの違いによって変化している場合であって、そのＳ／Ｎの違いがある程度分かっている場合には、許容濃度域設定部４が、前のフレーム画像における物体の輪郭位置を示す画素の濃度値と、撮像手段１により撮像されたフレーム画像が出力される際のＳ／Ｎとに基づいて、次のフレーム画像で物体の輪郭位置を特定するための許容濃度域を設定するようにしてもよい。このように許容濃度域を設定するようにした場合には、撮像手段１の精度に応じてより効果的に物体の追跡を行うことが可能となる。
【００５８】
また、連続するフレーム画像間での物体の移動量を考慮する方法と、以上のようなＳ／Ｎを考慮する方法とを組み合わせて許容濃度域を設定するようにしてもよい。この場合には、各フレーム画像で物体の輪郭位置をより正確に特定することが可能となり、連続するフレーム画像間での物体追跡をより安定的に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した物体追跡装置の概略構成を示すブロック図である。
【図２】撮像手段により撮像されたフレーム画像から濃度値を参照する複数の画素をサンプリングする様子を示す図である。
【図３】フレーム画像からサンプリングされた複数の画素の濃度値から得られる濃度分布を示す図である。
【図４】連続するフレーム画像間での物体の移動が１画素以内である場合の探索領域及び許容濃度域の設定方法を説明する図である。
【図５】許容濃度域を拡大させた様子を示す図である。
【図６】物体の輪郭を示す画素が濃度分布のトップにある場合の許容濃度域の設定方法を説明する図である。
【図７】物体の輪郭を示す画素が濃度分布のボトムにある場合の許容濃度域の設定方法を説明する図である。
【図８】本発明を適用した物体追跡装置における探索領域設定部、許容濃度域設定部及び物体輪郭抽出部による処理の流れの概要を示すフローチャートである。
【符号の説明】
１撮像手段
２追跡対象特定部
３探索領域設定部
４許容濃度域設定部
５物体輪郭抽出部
１００物体
１０１輪郭

Claims

撮像手段により所定のフレームレートで連続的に撮像された画像から追跡対象となる物体を特定し、この物体を画像間で追跡する物体追跡装置において、
前記撮像手段のフレームレートに基づき、連続する画像間での前記物体の最大移動可能量を推定し、前の画像における前記物体の輪郭の位置と前記物体の最大移動可能量とから、次の画像における探索領域を設定する探索領域設定部と、
前の画像における前記物体の輪郭を示す画素の濃度値に基づいて、次の画像で前記物体の輪郭位置を特定するための許容濃度域を設定する許容濃度域設定部と、
次の画像の中で、前記探索領域設定部により設定された探索領域内に含まれる画素であって、前記許容濃度域設定部により設定された許容濃度域内の濃度値を持つ画素を、次の画像における前記物体の輪郭を示す画素として抽出する物体輪郭抽出部とを備えること
を特徴とする物体追跡装置。
前記許容濃度域設定部は、前の画像における前記物体の輪郭を示す画素を基準として前記物体の最大移動可能量に応じた範囲内にある画素の最小濃度値を下限、最大濃度値を上限とする濃度域を前記許容濃度域として設定すること
を特徴とする請求項１に記載の物体追跡装置。
前記許容濃度域設定部は、前の画像における前記物体の輪郭の方向と略直交する方向に並ぶ画素であって、前記物体の輪郭を示す画素を基準として前記物体の最大移動可能量に応じた範囲内にある画素の最小濃度値を下限、最大濃度値を上限とする濃度域を前記許容濃度域として設定すること
を特徴とする請求項２に記載の物体追跡装置。
前記許容濃度域設定部は、前記物体の輪郭を示す画素を基準として前記物体の最大移動可能量に応じた範囲内にある画素の最小濃度値と最大濃度値との差が所定値以下の場合には、前記撮像手段により撮像された画像が出力される際のゲインを高めて、前記許容濃度域を拡大させること
を特徴とする請求項２又は３に記載の物体追跡装置。
前記許容濃度域設定部は、前の画像における前記物体の輪郭を示す画素の濃度値と、前記撮像手段により撮像された画像が出力される際のＳ／Ｎとに基づいて、前記許容濃度域を設定すること
を特徴とする請求項１に記載の物体追跡装置。
前記撮像手段により撮像された画像が色情報を有する場合には、
前記許容濃度域設定部は、前記物体に特徴的な色成分に着目して、前の画像における前記物体の輪郭を示す画素の着目する色成分の濃度値に基づいて、前記許容濃度域を設定し、
前記物体輪郭抽出部は、次の画像の中で、前記探索領域設定部により設定された探索領域内に含まれる画素であって、前記色成分の濃度値が前記許容濃度域設定部により設定された許容濃度域内である画素を、次の画像における前記物体の輪郭を示す画素として抽出すること
を特徴とする請求項１乃至５の何れかに記載の物体追跡装置。