JP2012093286A - 目標検出装置および目標検出方法 - Google Patents

目標検出装置および目標検出方法 Download PDF

Info

Publication number
JP2012093286A
JP2012093286A JP2010242084A JP2010242084A JP2012093286A JP 2012093286 A JP2012093286 A JP 2012093286A JP 2010242084 A JP2010242084 A JP 2010242084A JP 2010242084 A JP2010242084 A JP 2010242084A JP 2012093286 A JP2012093286 A JP 2012093286A
Authority
JP
Japan
Prior art keywords
pixel
track score
frame image
current frame
vsm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010242084A
Other languages
English (en)
Other versions
JP5675273B2 (ja
Inventor
Isao Aoyama
功 青山
Hiroshi Kameda
洋志 亀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010242084A priority Critical patent/JP5675273B2/ja
Publication of JP2012093286A publication Critical patent/JP2012093286A/ja
Application granted granted Critical
Publication of JP5675273B2 publication Critical patent/JP5675273B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】目標の広がりを抑制し、近接目標の検出を可能とする目標検出装置を得る。
【解決手段】センサ部101による観測画像の各画素の尤度比算出部103と、当該尤度比と1フレーム前の各画素のトラック・スコアとVSM値と追尾予測値を用いて現フレーム画像のトラック・スコアを算出するトラック・スコア算出部と、次フレーム画像での予測位置を算出する追尾処理部105と、現フレーム画像の各画素のVSM算出部106と、競合が発生した場合に、競合関係にある画素のうち初探知化条件を満たす画素の初探知化処理を行う初探知化処理部107と、現フレーム画像の各画素のVSM値の大きさに基づくトラック・スコアの補正処理を行うトラック・スコア補正部108と、補正処理された現フレーム画像の各画素のトラック・スコアに対して閾値処理を行って目標画素を検出する検出処理部110とを備えている。
【選択図】図2

Description

本発明は目標検出装置および目標検出方法に関し、特に、連続観測された画像中に存在する低SNR(Signal to Noise Ratio)微小目標を検出する目標検出装置および目標検出方法に関する。
赤外線等のセンサにより取得された画像中の低SNR目標を検出するには、目標の運動を推定しながら、連続観測された画像に対して加算処理を繰り返す方式が提案されている。例えば非特許文献1では、最新の入力画像の各画素に対して、動的計画法を用いて、トラック・スコア(track score)を最大にする1フレーム前の画素の選択を行い、最新画像各画素のトラック・スコアを算出する。ここで、トラック・スコアとは目標検出に用いる指標であり、複数フレームにわたり算出を繰り返すと目標画素のトラック・スコアが高く積み上がる。非特許文献1におけるトラック・スコアの定義を式(1)に示す。また、図1にトラック・スコアの算出概念図を示す。
Figure 2012093286
非特許文献1に示されている方式の動作について、第kフレームの画素(i,j)のトラック・スコアを算出する場合を例に挙げて説明する。
非特許文献1では、予め目標の運動を想定するので、第kフレームの画素(i,j)に推移可能な第k−1フレームの画素を限定することができる。図1の例では、左側のハッチングされた9個の画素が第kフレームの画素(i,j)に推移可能な第k−1フレームの画素を表している。これらの画素を推移元候補画素と呼ぶこととする。
各推移元候補画素は、1フレーム前の処理においてトラック・スコアを算出済みであり、さらに想定する目標の運動モデルに基づいて各推移元候補画素から第kフレームの画素(i,j)への推移確率が算出される。式(1)において、TSk−1(m,n)が各推移元候補画素のトラック・スコアであり、P(θ i,j|θk−1 m,n)が第k−1フレームの推移元候補画素(m,n)から第kフレームの画素(i,j)への推移確率である。
第kフレームの画素(i,j)のトラック・スコアは、式(1)に示すように、推移元候補画素のトラック・スコアと推移確率の合計の最大値と、第kフレームの画素(i,j)の尤度比の和より求まる。ここで、尤度比とは各画素が目標である確からしさを示す値であり、値が高いほど目標である確率が高い。
このトラック・スコアの算出を毎フレーム繰り返すことにより、目標が存在する画素のトラック・スコアが高く積み上がり、目標検出が可能となる。
また、特許文献1には、後述する非特許文献1の問題点を解決するための発明が開示されている。
特開2008−292179号公報
J. Arnold, S. Shaw and H. Pasternack, "Efficient Target Tracking Using Dynamic Programming", IEEE Transactions on Aerospace and Electronic Systems, Vol. 29, No. 1, pp. 44-56, January 1993
非特許文献1に示されている方式は、加算処理が進むに従い、目標位置だけでなく、その周辺の画素のトラック・スコアも積み上がり、見かけ上目標が広がった様になる。このため、複数の目標が存在する場合、特に目標同士が近接している場合に各目標から発生するトラック・スコアの広がりが重なり合い、目標の検出が困難になるという問題点がある。
このようなトラック・スコアの広がりが発生する原因は、第kフレームの複数の画素が選択した自身のトラック・スコアを最大とする第k−1フレームの推移元画素が同一であることによる。各画素のトラック・スコアは独立に算出されるため、この様な状況が発生する。この様に第kフレームの複数の画素が第k−1フレームの同一画素を選択する状況を『重複選択』と呼ぶ。
特許文献1は、この非特許文献1の問題である重複選択の発生によるトラック・スコアの広がりを抑制するための発明が開示されており、重複選択における重複数が閾値を超えた場合に、最大トラック・スコアの画素を除き、重複選択を起こしている画素のトラック・スコアを強制的に低減させている。
しかしながら、特許文献1の方式では、単にトラック・スコアの大小関係だけを判断基準として用いているため、時間的な移動方向の安定性が考慮されず、目標画素のトラック・スコアが誤って低減され、目標の検出に失敗するという問題点がある。
本発明は、かかる問題点を解決するためになされたものであり、目標の広がりを抑制し、近接目標の検出を可能とする目標検出装置および目標検出方法を得ることを目的としている。
本発明は、一定空間内をセンサにより観測し、連続するフレーム画像から構成される観測画像を生成するセンサ部と、前記観測画像における現フレーム画像の各画素の尤度比を算出する尤度比算出部と、前記尤度比算出部で算出した前記尤度比と、1フレーム前の前フレーム画像で算出した各画素のトラック・スコアと、前フレーム画像で算出した各画素軌跡の速度ベクトルの安定性を示すVSM(Velocity Stability Measure)値と、前フレーム画像で算出した追尾予測値とを用いて、現フレーム画像の各画素のトラック・スコアを算出するトラック・スコア算出部と、前記トラック・スコア算出時に得られる前フレーム画像から現フレーム画像への各画素の推移方向に基づいて、現フレーム画像の各画素の次フレーム画像における予測位置を算出する追尾処理部と、前記トラック・スコア算出時に得られる前フレーム画像から現フレーム画像への各画素の推移方向に基づいて、現フレーム画像の各画素のVSM値を算出するVSM算出部と、前記トラック・スコア算出処理の結果、現フレーム画像における複数の画素が前フレーム画像における同一画素を選択する競合の状況が発生した場合に、競合関係にある画素の中で予め設定された初探知化条件を満たす画素に対して、トラック・スコア、VSM値、および、追尾状態量を初期状態に戻す初探知化処理を行うとともに、前記初探知化条件を満たさない画像については、そのままトラック・スコア、VSM値、および、追尾状態量を出力する初探知化処理部と、前記初探知化処理部から出力される前記現フレーム画像の各画素のVSM値の大きさに基づき、トラック・スコアの補正処理を行うトラック・スコア補正部と、前記補正処理された現フレーム画像の各画素のトラック・スコアに対して閾値処理を行って目標画素を検出する検出処理部とを備えた目標検出装置である。
本発明は、一定空間内をセンサにより観測し、連続するフレーム画像から構成される観測画像を生成するセンサ部と、前記観測画像における現フレーム画像の各画素の尤度比を算出する尤度比算出部と、前記尤度比算出部で算出した前記尤度比と、1フレーム前の前フレーム画像で算出した各画素のトラック・スコアと、前フレーム画像で算出した各画素軌跡の速度ベクトルの安定性を示すVSM値と、前フレーム画像で算出した追尾予測値とを用いて、現フレーム画像の各画素のトラック・スコアを算出するトラック・スコア算出部と、前記トラック・スコア算出時に得られる前フレーム画像から現フレーム画像への各画素の推移方向に基づいて、現フレーム画像の各画素の次フレーム画像における予測位置を算出する追尾処理部と、前記トラック・スコア算出時に得られる前フレーム画像から現フレーム画像への各画素の推移方向に基づいて、現フレーム画像の各画素のVSM値を算出するVSM算出部と、前記トラック・スコア算出処理の結果、現フレーム画像における複数の画素が前フレーム画像における同一画素を選択する競合の状況が発生した場合に、競合関係にある画素の中で予め設定された初探知化条件を満たす画素に対して、トラック・スコア、VSM値、および、追尾状態量を初期状態に戻す初探知化処理を行うとともに、前記初探知化条件を満たさない画像については、そのままトラック・スコア、VSM値、および、追尾状態量を出力する初探知化処理部と、前記初探知化処理部から出力される前記現フレーム画像の各画素のVSM値の大きさに基づき、トラック・スコアの補正処理を行うトラック・スコア補正部と、前記補正処理された現フレーム画像の各画素のトラック・スコアに対して閾値処理を行って目標画素を検出する検出処理部とを備えた目標検出装置であるので、各画素に対する速度ベクトルの安定性を示す指標であるVSMを定義し、VSMの値が高い画素は速度ベクトルが安定していると判断して、トラック・スコアの積み上がりを促進させると共に、重複選択の許容判定と、各画素が持つ状態量を初期状態に戻す初探知化と、VSM値の大きさに基づくトラック・スコアの補正により、目標の広がりを抑制し、近接目標の検出を可能とする。
従来のトラック・スコアの算出概念を示した説明図である。 本発明の実施の形態1に係る目標検出装置の構成を示したブロック図である。 本発明の実施の形態1に係る目標検出装置における第k−1フレームの画素から第kフレームの画素への速度ベクトルと第k−1フレームの画素の予測速度ベクトルとの関係を示した説明図である。 本発明の実施の形態1に係る目標検出装置における推移元画素選択時の重複選択発生例を示した説明図である。 本発明の実施の形態1に係る目標検出装置における検出処理部のラベリング処理による目標画素抽出の例を示した説明図である。 本発明の実施の形態2に係る目標検出装置の構成を示したブロック図である。 本発明の実施の形態3に係る目標検出装置の構成を示したブロック図である。 本発明の実施の形態4に係る目標検出装置の構成を示したブロック図である。 本発明の実施の形態5に係る目標検出装置の構成を示したブロック図である。
以下、本発明を実施するための最良の実施形態について、図面を参照して説明する。
実施の形態1.
図2は、本発明の実施の形態1による目標検出装置の構成を示したブロック図である。図2に示す目標検出装置100は、センサ部101、観測画像取得部102、尤度比算出部103、トラック・スコア算出部104、追尾処理部105、VSM算出部106、初探知化処理部107、トラック・スコア補正部108、遅延処理部109、検出処理部110を有しており、連続撮像された観測画像の各画素に対して想定する運動モデルに基づく追尾処理と、追尾予測およびVSM値に基づくトラック・スコア算出処理とを繰り返すことで、速度ベクトルが安定している画素に対するトラック・スコアの積み上がりを促進し、目標画素周辺へのトラック・スコアの広がりを抑制することにより複数目標(特に近接目標)の検出を可能とする。
なお、ここで、VSM値とは、各画素に対する速度ベクトルの安定性を示す指標として定義されるものである。VSM値の定義については後述する(式(2)〜式(5)参照)。VSM値が高いほど、フレーム間の移動方向が一定で速度ベクトルが安定している画素となる。
センサ部101は、赤外線センサ等のセンサを用いて、一定範囲内の空間を継続的に観測し、定期的に観測画像を生成する。従って、生成された観測画像は、連続する複数のフレーム画像から構成されている。
観測画像取得部102は、センサ部101が生成した観測画像を取得する。
尤度比算出部103は、観測画像取得部102にて取得した観測画像に対して各画素の尤度比を算出する。なお、尤度比の算出方法については、後述する(式(6)〜式(8)参照)。
トラック・スコア算出部104は、尤度比算出部103にて算出された現フレームの各画素の尤度比と、1フレーム前の処理で算出した前フレームの各画素のトラック・スコアと、当該前フレームの各画素のVSM値と、当該前フレームで算出した追尾予測値とを用いて、現フレーム各画素のトラック・スコアを算出すると共に、現フレーム各画素の推移元となる画素を1フレーム前の画像の画素の中から推移元画素として選択する。
追尾処理部105は、トラック・スコア算出部104における推移元画素の選択結果に基づいて、現フレームの各画素の座標と推移元画素の座標とから、現フレームの各画素の次フレームにおける予測位置を算出する。
VSM算出部106は、追尾処理部105における1フレーム前の前フレームに対する追尾予測結果に基づく推移元画素の予測速度ベクトルと、推移元画素から現フレーム画素への移動量から求まる実速度ベクトルとの一致度から、現フレーム各画素のVSM値を算出する。
初探知化処理部107は、現フレームの複数の画素が同じ1つの推移元画素を選択している場合に(この状況を競合と呼ぶ)、現フレームの当該競合関係にある画素の中で、初探知化条件を満たす画素のトラック・スコアとVSM値と追尾処理の状態量とを初期化する。なお、初探知化条件の例については後述する。なお、初探知化処理部107は、初探知化条件を満たさない画素については、初探知化処理は行わずに、トラック・スコアとVSM値と追尾処理の状態量とをそのまま出力する。
トラック・スコア補正部108は、現フレーム各画素に対して、VSM値に比例したトラック・スコアの補正処理を行い、トラック・スコアとVSM値の両方が大きい画素のトラック・スコアを強調させる。
遅延処理部109は、現フレームのトラック・スコアと追尾予測値とVSM値を1フレーム遅延させ、次フレームにおけるトラック・スコア算出部104のトラック・スコア算出処理の入力とする。
検出処理部110は、トラック・スコア補正部108による補正処理後の、現フレームの各画素トラック・スコアに対して、トラック・スコアの分布状況から決定される閾値を用いた閾値処理を施し、目標画素の検出を行う。
上記構成において、トラック・スコア算出部104は、推移元画素から現フレーム画素への実速度ベクトルと推移元画素の予測速度ベクトルとの一致度と、1フレーム前の前フレームの各画素のVSM値の大きさとから、推移元画素から現フレーム画素への推移確率係数を算出し、推移確率係数を用いることにより、VSM値が高く速度ベクトルが安定していると判断できる画素のトラック・スコアの積み上がりを促進する。
また、初探知化処理部107は、推移元画素の競合が発生する場合に、競合関係にある画素の中で特定の条件を満たす画素に対して推移元画素の選択をキャンセルし、当該画素の初期化を行うことによりトラック・スコアの広がりを抑制する。
また、トラック・スコア補正部108は、トラック・スコアとVSM値の両方が大きい画素のトラック・スコアを強調補正することにより、トラック・スコアの広がりを抑制する。
このようにして、本発明の実施の形態1による目標検出装置は、各画素に対して速度ベクトルの安定性を示す指標としてVSMを定義し、速度ベクトルが安定している画素のトラック・スコアの積み上がりを促進すること、および、VSMの値に基づきトラック・スコアの広がりを抑制することを特徴としている。
そこで、まず第k−1フレームの画素(m,n)から第kフレームの画素(i,j)へ推移する場合を例にVSMの定義を式(2)〜式(5)に示す。
Figure 2012093286
Figure 2012093286
Figure 2012093286
Figure 2012093286
式(2)に示す通り、第kフレームの画素(i,j)のVSM値VSM(i,j)は、推移元である第k−1フレームの画素(m,n)のVSM値VSMk−1(m,n)に第k−1フレーム画素(m,n)から第kフレーム画素(i,j)に推移した場合の更新量ΔVSM (i,j),(m,n)を加算した値として定義する。
さらに、式(3)に示す通り、更新量ΔVSM (i,j),(m,n)は、第k−1フレームの画素(m,n)から第kフレームの画素(i,j)への速度ベクトルv (i,j),(m,n)と第k−1フレームの画素(m,n)の予測速度ベクトルpvk−1 m,nの、長さの一致度を示すlr (i,j),(m,n)および方向の一致度を示すar (i,j),(m,n)を掛け合わせた値として定義する。lr (i,j),(m,n)およびar (i,j),(m,n)はどちらも最大値が1、最小値が0であり、式(4)および式(5)で定義する。また、図3に速度ベクトルv (i,j),(m,n)と予測速度ベクトルpvk−1 m,nの関係を示す。
このようにVSMを定義することで、フレーム間の移動方向が一定で速度ベクトルが安定している画素ほどVSM値が積み上がるので、VSMを速度ベクトルの安定性を示す指標として用いることができる。
次に、実施の形態1による目標検出装置の一連の動作について説明する。
まず、センサ部101は一定範囲の空間を周期的に観測し観測画像を生成し、観測画像取得部102はセンサ部101が観測画像を生成する都度、当該観測画像を取得する。
次に、尤度比算出部103は、観測画像取得部102が取得した画像の各画素に対して、式(6)〜式(8)より尤度比L(i,j)を算出する。なお、L(i,j)は第kフレームの画素(i,j)の尤度比を表している。尤度比はその画素が目標である確からしさを表す値であり、値が高い画素ほど目標である可能性が高いことを示す。
Figure 2012093286
Figure 2012093286
次に、トラック・スコア算出部104は、観測画像の各画素を尤度比算出部103より求めた尤度の降順にソートを行う。トラック・スコア算出部104から初探知化処理部107までの各部は、このソート順に従い各画素に対する処理を実行する。
トラック・スコア算出部104のトラック・スコア算出動作について、第kフレームの画素(i,j)を例に挙げて説明する。
トラック・スコア算出部104は、式(9)〜式(13)を用いて第kフレーム画素(i,j)のトラック・スコアを算出する。
Figure 2012093286
Figure 2012093286
Figure 2012093286
Figure 2012093286
Figure 2012093286
なお、式(9)に示すトラック・スコアの算出式は、従来技術である非特許文献1や特許文献1に示された方式と基本的な動作原理は同じであり、事前に想定する目標の運動モデルに基づいた第k−1フレームの推移元候補画素の中から、第kフレームの画素(i,j)のトラック・スコアを最大にする画素を選択し、これを推移元画素とする。そして、前記推移元画素のトラック・スコアと前記推移元画素から第kフレームの画素(i,j)への推移確率と第kフレームの画素(i,j)の尤度比から第kフレームの画素(i,j)のトラック・スコアを求める。
但し、本発明の実施の形態1による目標検出装置では、トラック・スコアを最大にする推移元画素の選択に制約条件を設けている点が従来技術と異なっている。この推移元画素選択時の制約を、図4を用いて説明する。
第kフレームの画素(i,j)のトラック・スコアを最大にする推移元候補画素が第k−1フレームの画素(m,n)であるとする。通常は、第kフレームの画素(i,j)は推移元画素として第k−1フレームの画素(m,n)を選択するが、第k−1フレームの画素(m,n)のVSM値が、事前に設定した所定の下限閾値を超えている場合は、第k−1フレームの画素(m,n)は速度ベクトルが安定していると判断し推移元画素の選択に制約を設ける。一方、第k−1フレームの画素(m,n)のVSM値が下限閾値以下の場合は、無条件に第kフレームの画素(i,j)は第k−1フレームの画素(m,n)を選択する。以下に、第k−1フレームの画素(m,n)のVSM値が下限閾値を超えている場合の処理を示す。
なお、下限閾値は任意の値に設定可能であり、実際の運用に合わせて適切な値に適宜変更可能である。
第kフレームの画素(i,j)のトラック・スコアを最大にする推移元候補画素が第k−1フレームの画素(m,n)であり、且つ、第k−1フレームの画素(m,n)のVSM値が下限閾値を超えており、第kフレームの画素(f,g)と画素(u,v)が既に第k−1フレームの画素(m,n)を選択しているとする。この画素(f,g)と画素(u,v)は、画素(i,j)にとっては同じ推移元画素を選択する競合画素となる。また、同じ推移元画素を複数の画素が選択している状況を重複選択と呼ぶ。図4は重複選択の発生例を示している。
図4に示した重複選択の発生状況において、第kフレームの画素(f,g)及び画素(u,v)は、画素(i,j)よりも前にトラック・スコアの算出処理が終わっている。トラック・スコアの算出は尤度比の高い順に行うので、画素(f,g)と画素(u,v)は画素(i,j)よりも尤度比が高い。この様な状況において、第k−1フレームの画素(m,n)から第kフレームの画素(i,j)への推移確率が、第k−1フレームの画素(m,n)から第kフレームの画素(i,j)の競合画素への推移確率の最大値(図4の例では、画素(m,n)から画素(f,g)への推移確率と画素(m,n)から画素(u,v)への推移確率の大きい方)よりも大きければ、第kフレームの画素(i,j)は第k−1フレームの画素(m,n)を推移元画素として選択することを許容され、第k−1フレームの画素(m,n)を選択した場合のトラック・スコアを第kフレームの画素(i,j)のトラック・スコアとする。
また、第kフレームの画素(i,j)の競合画素が存在しない場合も第kフレームの画素(i,j)は第k−1フレームの画素(m,n)を推移元画素として選択することを許容され、第k−1フレームの画素(m,n)を選択した場合のトラック・スコアを第kフレームの画素(i,j)のトラック・スコアとする。
一方、第kフレームの画素(i,j)が第k−1フレームの画素(m,n)を推移元画素として選択することを許容されない場合は、第kフレームの画素(i,j)は残りの推移元候補画素の中から、競合画素が存在しないか、あるいは、重複選択が許容されるトラック・スコアが最大になる画素を選択し、その時のトラック・スコアを第kフレームの画素(i,j)のトラック・スコアとする。
もし、全ての推移元候補画素が選択できない場合は、第kフレームの画素(i,j)の尤度比をトラック・スコアとする。
さらに、本発明の実施の形態1による目標検出装置は、推移確率の算出方法が非特許文献1や特許文献1に示された方式と異なっている(式(10)〜式(13))。
本発明の実施の形態1による目標検出装置は、VSM値の積み上がり、すなわち速度ベクトルの安定度に比例する係数Ck−1 m,nと、予測速度ベクトルと実際の速度ベクトルとの一致度に比例する係数F (i,j),(m,n)を従来技術で用いる推移確率に掛けることで、速度ベクトルが安定している画素のトラック・スコアの積み上がりを促進する効果がある。
さらに、VSMの値が下限閾値を超えない場合は速度ベクトルが安定していないと見なし、上記係数Ck−1 m,nおよびF (i,j),(m,n)を用いた推移確率の強調処理を行わずに従来技術と同様の推移確率を用いることで、誤った方向に速度ベクトルが安定してしまうことを防ぐ効果がある。
さらに、本発明の実施の形態1による目標検出装置は、速度ベクトルが安定していると判断される推移元画素を選択する際、競合画素が存在する場合に推移元画素の選択に制約を新たに設けることで、トラック・スコアの広がりを抑制すると共に、推移元画素の速度ベクトルに近い移動方向となる画素のトラック・スコアの積み上がりを促進する効果がある。
また、速度ベクトルが安定していない推移元画素の選択に制約を設けないことで、誤った方向に速度ベクトルが安定してしまうことを防ぐ効果がある。
次に、追尾処理部105は、トラック・スコア算出部104における推移元画素の選択結果に基づき、追尾フィルタを用いて現フレーム画素の次フレームにおける位置と速度を推定する。追尾フィルタは、例えばα-βフィルタやカルマンフィルタ等、既存の技術を適用することとし、追尾フィルタの動作の具体的な説明はここでは省略する。追尾処理部105の処理の概要を、第kフレームの画素(i,j)が、トラック・スコア算出部104の処理において第k−1フレームの画素(m,n)を選択した場合を例に挙げて説明する。
第k−1フレームの画素(m,n)は、1フレーム前の追尾処理により第kフレームにおける予測位置と予測速度を予測状態ベクトルとして保持している。第kフレームの画素(i,j)における追尾処理は、まず、第k−1フレームの画素(m,n)が保持する予測状態ベクトルと画素(m,n)から画素(i,j)への推移ベクトルより平滑処理を行い、第kフレームの画素(i,j)の平滑状態ベクトルを算出する。次に、想定する運動モデルに基づく状態遷移行列と第kフレームの画素(i,j)の平滑状態ベクトルより予測処理を行い、第kフレームの画素(i,j)の第k+1フレームにおける移動先を推定し、予測状態ベクトルを算出する。
この追尾処理部105の処理で得られる予測状態ベクトルは、トラック・スコア算出部104の処理やVSM算出部106の処理において使用される。
次に、VSM算出部106は、トラック・スコア算出部104における推移元画素の選択結果に基づき、現フレーム画素のVSM値を算出する。トラック・スコア算出部104の処理において第kフレームの画素(i,j)が第k−1フレームの画素(m,n)を推移元画素として選択したとすると、VSM算出部106は式(2)〜式(5)より、第kフレームの画素(i,j)のVSM値を算出する。
VSM値は、式(2)から分かるように、フレームが進むに従い累積されていく。推移元画素が持つ予測速度ベクトルと、推移元から推移先への移動における速度ベクトルの一致度が高いほど、すなわち速度ベクトルが安定しているほどVSM値は高く積み上がる特徴を持つ。
次に、初探知化処理部107は、競合関係にある画素間でのトラック・スコアおよび尤度比の大小関係に基づき初探知化処理を実行する。以下に例を用いて初探知化処理の詳細を示す。
第kフレームの画素(i,j)が第k−1フレームの画素(m,n)を推移元画素として選択したとする。この時、第kフレームの画素(i,j)の競合画素の集合をG(i,j)とする。
初探知化処理は、推移元画素である第k−1フレームの画素(m,n)のVSM値が下限閾値を超えた場合(VSM値が下限閾値より大きい場合)、すなわち、第k−1フレームの画素(m,n)の速度ベクトルが安定していると判断できる場合に実行する。式(14)がその判定式である。
Figure 2012093286
第k−1フレームの画素(m,n)のVSM値が式(14)の関係を満たす場合、第kフレームの画素(i,j)の競合画素の中で、第kフレームの画素(i,j)よりも尤度比が高く、且つ、トラック・スコアが小さい画素である画素(u,v)を初探知化処理対象とする。式(15)がその判定式である。
Figure 2012093286
推移元画素が同じであり、尤度比が画素(i,j)よりも大きいにもかかわらず、トラック・スコアが小さい画素は、トラック・スコアの定義式である式(9)より、推移確率が画素(i,j)に比べて非常に小さいと見なせる。初探知化処理は、この様な速度ベクトルが安定している推移元からの推移確率が小さい画素を式(15)より判断し、式(15)を満たす第kフレームの画素(u,v)のトラック・スコアに第kフレームの画素(u,v)の尤度比を設定し(式(16)参照)、VSM値をゼロクリアする(式(17)参照)。また、第kフレームの画素(u,v)の推移元画素からの推移を取り消し、追尾処理用の状態量を初期化する。
Figure 2012093286
Figure 2012093286
この様な初探知化処理は、速度ベクトルが安定している画素に対して重複選択が発生した場合に、推移確率が低い画素の選択を取り消し初期状態に戻すことで、トラック・スコアの広がりを抑制する効果がある。
次に、トラック・スコア補正部108は、各画素のVSMの値に基づき、式(18)を用いてトラック・スコアの補正を行う。ただし、トラック・スコアの補正は、VSM値が下限閾値を超え、速度ベクトルが安定していると判断できる画素のみを対象とする。
Figure 2012093286
目標画素はトラック・スコアとVSM値の両方が積み上がる。トラック・スコアの広がりにより、目標画素以外でトラック・スコアが高い画素はVSM値が小さい傾向にある。トラック・スコアの補正処理は、この特徴を利用し、VSM値が大きな画素のトラック・スコアを強調し、さらにトラック・スコアの広がりを抑制する効果がある。
また、式(18)において、補正処理を行うためのVSM最大値(VSMmax(i,j))の抽出範囲をフレーム間で目標が移動可能な最大範囲に限定している。これは、複数の目標が存在し、且つ、その出現タイミングが異なる場合はそれぞれの目標のトラック・スコアやVSM値の大きさに差があるため、画像全体からVSMの最大値を求めてしまうと、出現タイミングが遅くトラック・スコアやVSM値が十分積み上がっていない目標画素は、補正処理により、トラック・スコアが小さくなってしまう場合がある。この様な状況を避けるためにVSMの最大値を求める範囲を限定している。
次に、遅延処理部109は、追尾処理部105の処理により得られる追尾予測値と、VSM算出部106の処理により得られるVSM値と、トラック・スコア補正部108の処理により得られるトラック・スコア補正値とを、次フレームでのトラック・スコア算出部104の処理で利用できるよう1フレーム遅延させトラック・スコア算出部104に入力する。
次に、検出処理部110は、トラック・スコア補正部108において補正されたトラック・スコアを用いて目標の検出を行う。
まず、検出処理部110は、第kフレームのトラック・スコアの平均をμ TS、第kフレームのトラック・スコアの標準偏差をσ TS、標準偏差σ TSの係数をMとすると(係数Mは事前に与えられるパラメータとする)、第kフレームの検出閾値TH を式(19)で定義し、トラック・スコアが検出閾値TH を超える画素を目標画素候補として検出する。
Figure 2012093286
目標画素候補の検出後、検出処理部110はラベリング処理を行い、同じラベルの目標画素候補の中でトラック・スコアが最大の画素のみを目標画素とする。図5はラベリング処理による目標画素抽出の例である。図中左上が検出閾値による目標画素候補検出結果を示しており、ハッチングされた画素が目標画素候補である。図中右上はラベリング処理結果を示しており、8方向の連結性を見て、連結関係にある画素に同じラベルを付与している。図の例では、目標画素候補は2つのグループに分けられ、それぞれ1と2のラベルが付与されている。図中下は、同じラベルを持つ画素の中からトラック・スコアが最大の画素のみを目標画素として検出した結果である。
以上のように、本発明の実施の形態1による目標検出装置によれば、速度ベクトルの安定性を示す指標であるVSMを定義し、VSM値に基づき推移確率係数を算出し、さらに重複選択の制限と初探知化とトラック・スコア補正を行うことにより、速度ベクトルが安定している画素のトラック・スコアの積み上がりを促進すると共に、トラック・スコアの広がりを抑制することができる。これにより、複数目標(特に近接目標)が存在する状況においても、各目標の検出が可能となり、検出性能が向上する効果がある。また、低SNR画像においても、少ない計算量で、精度よく目標検出を行うことができる。
実施の形態2.
図6は本発明の実施の形態2による目標検出装置の機能ブロック図である。図6において、目標検出装置200の構成は、トラック・スコア算出部204とVSM算出部206が、トラック・スコア算出部104とVSM算出部106の代わりに設けられている点が、実施の形態1による目標検出装置100と異なっている。他の構成については、実施の形態1による目標検出装置100と同じである。従って、実施の形態2による目標検出装置200の説明はトラック・スコア算出部204とVSM算出部206の動作のみとし、他の機能ブロックの説明は省略する。
トラック・スコア算出部204は、推移確率の係数F (i,j),(m,n)の算出式が、上記の実施の形態1で示したトラック・スコア算出部104の動作と異なる。
図3を参照して、第k−1フレームの画素(m,n)から第kフレームの画素(i,j)に推移する場合を例に挙げて、トラック・スコア算出部204における第kフレームの画素(i,j)のトラック・スコアの算出処理を説明する。
実施の形態1におけるトラック・スコア算出部104で係数F (i,j),(m,n)の算出に使用する、第k−1フレームの画素(m,n)から第kフレームの画素(i,j)への速度ベクトルv (i,j),(m,n)および第k−1フレームの画素(m,n)の予測速度ベクトルpvk−1 m,nは、画像上の移動を示す2次元のベクトルである。これに対して、実施の形態2におけるトラック・スコア算出部204は、時間軸、すなわち、フレーム間の推移を加えた3次元のベクトルを用いて推移確率の係数F (i,j),(m,n)を算出する。以下にトラック・スコア算出部204における係数F (i,j),(m,n)の算出手順を説明する。
まず、実施の形態1におけるトラック・スコア算出部104で用いる速度ベクトルv (i,j),(m,n)および予測速度ベクトルpvk−1 m,nにフレーム間の推移を加えた3次元速度ベクトルv’ (i,j),(m,n)およびpv’k−1 m,nを生成する。速度ベクトルv’ (i,j),(m,n)を式(20)に、pv’k−1 m,nを式(21)に示す。
Figure 2012093286
Figure 2012093286
次に、v’ (i,j),(m,n)とpv’k−1 m,nの正規化相互相関係数を求め、これを係数F (i,j),(m,n)とする。トラック・スコア算出部204における係数F (i,j),(m,n)の定義式を式(22)に示す。
Figure 2012093286
また、VSM算出部206は、トラック・スコア算出部204と同様に、第k−1フレームの画素(m,n)から第kフレームの画素(i,j)への速度ベクトルv (i,j),(m,n)および第k−1フレームの画素(m,n)の予測速度ベクトルpvk−1 m,nにフレーム間の推移を表す次元を加えた3次元ベクトルを用いてVSMを算出する。式(23)、式(24)に算出式を示す。
Figure 2012093286
Figure 2012093286
以上のように、本発明の実施の形態2による目標検出装置によれば、上記の実施の形態1で得られた効果と同様の効果が得られるとともに、さらに、トラック・スコア算出処理およびVSM算出処理に用いる速度ベクトルを、フレーム間の推移を表す次元を加えた3次元ベクトルとすることで、同じ位置に留まりフレーム間で移動が無い場合にも速度ベクトルが大きさを持つため、場合分けを行うことなく全て同じ相関処理により速度ベクトルの安定性を示すVSM値や推移確率係数を算出することができる。
また、実施の形態2による目標検出装置は、実施の形態1による目標検出装置と同様に、速度ベクトルが安定している画素のトラック・スコアの積み上がりを促進すると共にトラック・スコアの広がりを抑制し、複数目標(特に近接目標)が存在する状況においても、各目標の検出が可能となり、検出性能が向上する効果がある。
実施の形態3.
図7は本発明の実施の形態3による目標検出装置の機能ブロック図である。図7において、目標検出装置300は、トラック・スコア算出部304と初探知化処理部307とトラック・スコア補正部308が実施の形態1および実施の形態2による目標検出装置と異なっている。他の構成は、実施の形態1および実施の形態2と同じである。従って、実施の形態3による目標検出装置300の説明は、トラック・スコア算出部304と初探知化処理部307とトラック・スコア補正部308の動作のみとし、他の機能ブロックの説明は省略する。
トラック・スコア算出部304は、実施の形態1による目標検出装置100のトラック・スコア算出部104と同様に、式(9)〜式(13)を用いてトラック・スコアを算出する。ただし、トラック・スコアを最大にする推移元画素選択時の制約を適用する際の、速度ベクトル安定化の判断基準が実施の形態1とは異なっている。
第kフレームの画素(i,j)のトラック・スコアを最大にする推移元候補画素が第k−1フレームの画素(m,n)である場合に、トラック・スコア算出部104では、第k−1フレームの画素(m,n)のVSM値が、事前に設定した所定の下限閾値を超えている場合に第k−1フレームの画素(m,n)は速度ベクトルが安定していると判断し推移元候補画素の選択に制約を設けるのに対して、トラック・スコア算出部304では、第k−1フレームの画素(m,n)のVSM値が、事前に設定した所定の下限閾値を超え、且つ、第k−1フレームの画素(m,n)を含む軌跡が第k−1フレームの画素(m,n)に至るまでの直近のT回、VSM値の更新量が連続して、事前に設定した所定の閾値(安定化閾値と呼ぶ)を超えている場合に速度ベクトルが安定していると判断し、推移元画素の選択に制約を設ける点が異なっている。
なお、安定化閾値は任意の値に設定可能であり、実際の運用に合わせて適切な値に適宜変更可能である。
例えば、T=3とし、第k−1フレームの画素(m,n)に至るまでの選択の軌跡が、第k−4フレーム画素(a,b)→第k−3フレーム画素(c,d)→第k−2フレーム画素(e,f)→第k−1フレーム画素(m,n)であったとする。この時、第k−3フレーム画素(c,d)のVSM値算出時のVSM値の更新量と、第k−2フレーム画素(e,f)のVSM値算出時のVSM値の更新量と、第k−1フレーム画素(m,n)のVSM値算出時のVSM値の更新量の、直近T回(すなわち直近3回)のVSM値更新量が全て安定化閾値を超え、且つ、第k−1フレームの画素(m,n)のVSM値が下限閾値を超えている場合に、第k−1フレームの画素(m,n)の速度ベクトルは安定していると判断する。
トラック・スコア算出部304の他の処理は、トラック・スコア算出部104と同じであるので説明を省略する。
初探知化処理部307も、トラック・スコア算出部304と同様に、速度ベクトル安定化の判断基準が実施の形態1による目標検出装置100の初探知化処理部107と異なる。初探知化処理部107では、第kフレームの画素(i,j)が第k−1フレームの画素(m,n)を推移元画素として選択した場合、第k−1フレームの画素(m,n)のVSM値が下限閾値を超えていれば速度ベクトルが安定していると判断するのに対して、初探知化処理部307は、第k−1フレームの画素(m,n)のVSM値が下限閾値を超え、且つ、第k−1フレームの画素(m,n)を含む軌跡が第k−1フレームの画素(m,n)に至るまでの直近のT回においてVSM値の更新量が連続して安定化閾値を超えている場合に速度ベクトルが安定していると判断する点が異なっている。
初探知化処理部307のその他の処理に関しては、初探知化処理部107と同じであるので説明を省略する。
トラック・スコア補正部308も、トラック・スコア算出部304と同様に、速度ベクトル安定化の判断基準が実施の形態1による目標検出装置100のトラック・スコア補正部108と異なる。トラック・スコア補正部108では、各画素のVSM値が下限閾値を超えていれば速度ベクトルが安定していると判断し補正処理対象とするのに対して、トラック・スコア補正部308は、各画素のVSM値が下限閾値を超え、且つ、各画素を含む軌跡が当該画素に至るまでの直近のT回においてVSM値の更新量が連続して安定化閾値を超えている場合に、速度ベクトルが安定していると判断する点が異なっている。
トラック・スコア補正部308のその他の処理に関しては、トラック・スコア補正部108と同じであるので説明を省略する。
以上のように、本発明の実施の形態3による目標検出装置によれば、上記の実施の形態1と同様の効果が得られるとともに、さらに、速度ベクトル安定化の判断基準にVSM値の更新量が連続して閾値を超えた回数(T回)を加えることで、直近の数フレームにおける速度ベクトルの安定性を測ることができ、速度ベクトルが安定している画素のトラック・スコアの積み上がりを促進すると共にトラック・スコアの広がりを抑制し、複数目標(特に近接目標)が存在する状況においても、各目標の検出が可能となり、検出性能が向上する効果がある。
なお、上記説明では、実施の形態3による目標検出装置300は、実施の形態1による目標検出装置100におけるトラック・スコア算出部104と初探知化処理部107とトラック・スコア補正部108を、それぞれトラック・スコア算出部304と初探知化処理部307とトラック・スコア補正部308に置き換えているが、実施の形態2による目標検出装置200におけるトラック・スコア算出部204と初探知化処理部107とトラック・スコア補正部108を、それぞれトラック・スコア算出部304と初探知化処理部307とトラック・スコア補正部308に置き換えてもよく、その場合においても同様の効果が得られる。ただし、トラック・スコア算出部204と置き換える場合のトラック・スコア算出部304の処理は、速度ベクトル安定化の判断基準以外はトラック・スコア算出部204の処理と同じとする。
実施の形態4.
図8は本発明の実施の形態4による目標検出装置の機能ブロック図である。図8において、目標検出装置400は、初探知化処理部407のみが実施の形態1〜3による目標検出装置と異なっている。他の構成は、実施の形態1〜3と同じである。従って、実施の形態4による目標検出装置400の説明は、初探知化処理部407の動作のみとし、他の機能ブロックの説明は省略する。
実施の形態1による目標検出装置100の初探知化処理部107は競合画素に対する初探知化処理を実行するのに対して、実施の形態4の初探知化処理部407は、まず自画素に対して初探知化処理を実行し、自画素の初探知化を行わない場合に競合画素に対する初探知化処理を実行する点が異なっている。第kフレームの画素(i,j)が第k−1フレームの画素(m,n)を推移元画素として選択した場合を例に、初探知化処理部407の動作について説明する。
初探知化処理部407は、まず、第k−1フレームの画素(m,n)のVSM値が、事前に設定した所定の下限閾値を超え(すなわち式(14)を満たし)、且つ、第kフレームの画素(i,j)を含む軌跡が第kフレームの画素(i,j)に至るまでの直近のS回においてVSM値の更新量が連続して、事前に設定した所定の閾値(初探知化閾値と呼ぶ)未満の場合に、速度ベクトルの安定性が失われていると判断し、第kフレームの画素(i,j)に対して式(16)により尤度比をトラック・スコアとし、式(17)によりVSM値をゼロクリアする。また、第kフレームの画素(i,j)が保持する追尾処理用の状態量を初期化する。
なお、初探知化閾値は任意の値に設定可能であり、実際の運用に合わせて適切な値に適宜変更可能である。
次に、第kフレームの画素(i,j)が初探知化の条件を満たさない場合は、実施の形態1による目標検出装置100の初探知化処理部107と同様の処理により第kフレームの画素(i,j)の競合画素に対する初探知化処理を実行する。競合画素に対する初探知化処理は、実施の形態1において、初探知化処理部107の動作説明に記載しているのでここでは省略する。
以上のように、本発明の実施の形態4による目標検出装置によれば、上記の実施の形態1と同様の効果が得られるとともに、VSM値が下限閾値を超え、速度ベクトルが安定していると判断できる場合であっても、直近のS回のVSM値の更新量が初探知化閾値未満の場合は、速度ベクトルの安定性が失われていると判断することにより、VSM値が一時的に高く積み上がった背景画素に対して初探知化処理が適用でき、背景画素のトラック・スコアが高く積み上がることを防ぐことができる。これにより誤検出を低減し、検出性能が向上する効果がある。
なお、上記説明では、実施の形態4による目標検出装置400は、実施の形態1による目標検出装置100の初探知化処理部107を初探知化処理部407と置き換えているが、実施の形態2および実施の形態3における初探知化処理部107,307の代わりに初探知化処理部407を用いてもよく、その場合においても、同様の効果が得られる。ただし、実施の形態3による目標検出装置300における初探知化処理部307と初探知化処理部407を置き換える場合、初探知化処理部407は初探知化処理部307の機能に加えて、自画素の初探知化処理を備えるものとする。
実施の形態5.
図9は本発明の実施の形態5による目標検出装置の機能ブロック図である。図9において、目標検出装置500は検出処理部510のみが実施の形態1〜4による目標検出装置と異なっている。他の構成は、実施の形態1〜4と同じである。従って、実施の形態5による目標検出装置500の説明は検出処理部510の動作のみとして、他の機能ブロックの説明は省略する。
検出処理を複数フレームにわたり繰り返し実行する場合、フレームが進む(すなわち加算処理が進む)と共に目標画素のトラック・スコアは増加するが、トラック・スコア全体の分布状況によっては式(19)より求める検出閾値が低下する場合がある。そこで、検出処理部510では検出閾値が低下しないように式(25)により検出閾値を算出する。式(25)では、現フレーム(第kフレーム)の検出閾値TH が1フレーム前の第k−1フレームにおける検出閾値THk−1 以下であれば、TH の値をTHk−1 と置き換える。
Figure 2012093286
検出閾値の算出後は、検出閾値を用いた目標画素候補の検出とラベリング処理を実施するが、これらの処理は実施の形態1による目標検出装置100の検出処理部110と同じであるので、ここでは説明を省略する。
上記のような本発明の実施の形態5による目標検出装置によれば、上記の実施の形態1と同様の効果があるとともに、さらに、検出処理閾値を前フレームよりも低下させないことにより誤検出の増大を防ぎ、検出性能が向上する効果がある。
なお、上記説明では実施の形態1による目標検出装置100の検出処理部110を検出処理部510に置き換えた場合を示しているが、実施の形態2〜4による目標検出装置の検出処理部110を検出処理部510に置き換えても同様の効果が得られる。
100,200,300,400,500 目標検出装置、101 センサ部、102 観測画像取得部、103 尤度比算出部、104,204,304 トラック・スコア算出部、105 追尾処理部、106,206 VSM算出部、107,307,407 初探知化処理部、108,308 トラック・スコア補正部、109 遅延処理部、110,510 検出処理部。

Claims (7)

  1. 一定空間内をセンサにより観測し、連続するフレーム画像から構成される観測画像を生成するセンサ部と、
    前記観測画像における現フレーム画像の各画素の尤度比を算出する尤度比算出部と、
    前記尤度比算出部で算出した前記尤度比と、1フレーム前の前フレーム画像で算出した各画素のトラック・スコアと、前フレーム画像で算出した各画素軌跡の速度ベクトルの安定性を示すVSM値と、前フレーム画像で算出した追尾予測値とを用いて、現フレーム画像の各画素のトラック・スコアを算出するトラック・スコア算出部と、
    前記トラック・スコア算出時に得られる前フレーム画像から現フレーム画像への各画素の推移方向に基づいて、現フレーム画像の各画素の次フレーム画像における予測位置を算出する追尾処理部と、
    前記トラック・スコア算出時に得られる前フレーム画像から現フレーム画像への各画素の推移方向に基づいて、現フレーム画像の各画素のVSM値を算出するVSM算出部と、
    前記トラック・スコア算出処理の結果、現フレーム画像における複数の画素が前フレーム画像における同一画素を選択する競合の状況が発生した場合に、競合関係にある画素の中で予め設定された初探知化条件を満たす画素に対して、トラック・スコア、VSM値、および、追尾状態量を初期状態に戻す初探知化処理を行うとともに、前記初探知化条件を満たさない画像については、そのままトラック・スコア、VSM値、および、追尾状態量を出力する初探知化処理部と、
    前記初探知化処理部から出力される前記現フレーム画像の各画素のVSM値の大きさに基づき、トラック・スコアの補正処理を行うトラック・スコア補正部と、
    前記補正処理された現フレーム画像の各画素のトラック・スコアに対して閾値処理を行って目標画素を検出する検出処理部と
    を備えたことを特徴とする目標検出装置。
  2. 一定空間内を継続的に観測し、連続するフレーム画像からなる観測画像を生成するセンサ部と、
    前記センサ部が生成した観測画像を取得する観測画像取得部と、
    前記観測画像取得部が取得した観測画像の各画素の尤度比を算出する尤度比算出部と、
    前記尤度比算出部が算出した現フレーム画像の各画素の尤度比と、1フレーム前の前フレーム画像の各画素のトラック・スコアと、前フレーム画像の各画素の追尾予測結果と、前フレーム画像の各画素のVSM値とを用いて、現フレーム画像の各画素のトラック・スコアを算出し、現フレーム画像の各画素に対して推移元となる前フレーム画像の画素を推移元画素として選択するトラック・スコア算出部と、
    現フレーム画像の各画素の座標と前記推移元画素の座標とから、現フレーム画像の各画素の次フレーム画像における推移先を予測する追尾処理部と、
    現フレーム画像の各画素に対して、前記推移元画素の予測速度ベクトルと、前記推移元画素から現フレーム画像の画素への移動量から求まる実速度ベクトルとに基づいて、現フレーム画像の各画素の速度ベクトルの安定性を示すVSM値を算出するVSM算出部と、
    現フレーム画像の複数の画素が前記推移元画素として同じ画素を選択する競合状況が発生した場合に、競合関係にある画素の中で予め設定された初探知化条件を満たす画素に対して、前記トラック・スコアと、前記VSM値と、追尾処理状態量とを初期化する初探知化処理部と、
    前記VSM値に比例したトラック・スコアの補正処理を行って、前記トラック・スコアと前記VSM値の両方の値が大きい現フレーム画像の画素のトラック・スコアを強調させるトラック・スコア補正部と、
    現フレーム画像に対する前記トラック・スコアと追尾処理結果とVSM値とを1フレーム遅延させ、次フレーム画像のトラック・スコア算出時に前記トラック・スコア算出部に入力する遅延処理部と、
    前記トラック・スコア補正部による補正処理後のトラック・スコアに対して、前記トラック・スコアの分布状況から目標画素に対する検出閾値を算出し、当該検出閾値を用いて閾値処理を行って目標画素の検出を行う検出処理部と
    を備え、
    前記トラック・スコア算出部は、前記推移元画素から現フレーム画素への実速度ベクトルに対する前記推移元画素の予測速度ベクトルの一致度と、VSM値の大きさとから、前記推移元画素から前記現フレーム画素への推移確率係数を算出し、前記推移確率係数を用いることによりVSM値が高く速度ベクトルが安定していると判断できる画素のトラック・スコアの積み上がりを促進し、
    前記初探知化処理部は、前記推移元画素の競合が発生する場合に、競合関係にある画素の中で特定の条件を満たす画素に対して推移元画素の選択をキャンセルし、当該画素の初期化を行うことによりトラック・スコアの広がりを抑制し、
    前記トラック・スコア補正部は、トラック・スコアとVSM値の両方が大きい画素のトラック・スコアを強調補正することによりトラック・スコアの広がりを抑制する
    ことを特徴とする目標検出装置。
  3. 前記速度ベクトル、前記予測速度ベクトル、および、前記実速度ベクトルとして、フレーム間の移動を示す要素を加えた3次元ベクトルを用い、
    前記トラック・スコア算出部における前記推移元画素から現フレーム画像の画素への推移確率係数の算出に用いる前記速度ベクトルの類似度の算出に正規化相互相関係数を適用する
    ことを特徴とする請求項2に記載の目標検出装置。
  4. 前記トラック・スコア算出部、前記初探知化処理部、および、前記トラック・スコア補正部は、
    VSM値が所定の下限閾値を超えた画素に対して、当該画素を含む軌跡の直近のVSM値の更新量が一定回数連続して所定の安定化閾値を超えることを速度ベクトル安定化の判断基準として備える
    ことを特徴とする請求項2または3に記載の目標検出装置。
  5. 初探知化処理部は、VSM値が所定の下限閾値を超えた画素に対して、当該画素を含む軌跡の直近のVSM値の更新量が一定回数連続して所定の初探知化閾値未満であれば、速度ベクトルが安定していないと判断し、当該画素に対して初探知化を行う
    ことを特徴とする請求項2ないし4のいずれか1項に記載の目標検出装置。
  6. 前記検出処理部は、トラック・スコアの分布状況から目標画素に対する検出閾値を算出する際、今回の検出閾値が前回の検出閾値よりも小さくなる場合は、今回の検出閾値を前回の検出閾値で置き換え、検出閾値を低下させない
    ことを特徴とする請求項2ないし5のいずれか1項に記載の目標検出装置。
  7. 一定空間内をセンサにより観測し、連続する観測画像を定期的に生成する観測画像生成ステップと、
    前記観測画像における現フレーム画像の各画素の尤度比を算出する尤度比算出ステップと、
    前記尤度比算出ステップで算出した前記尤度比と、1フレーム前の前フレーム画像で算出した各画素のトラック・スコアと、前フレーム画像で算出した各画素軌跡の速度ベクトルの安定性を示すVSM値と、前フレーム画像で算出した追尾予測値とを用いて、現フレーム画像の各画素のトラック・スコアを算出するトラック・スコア算出ステップと、
    前記トラック・スコア算出時に得られる前フレーム画像から現フレーム画像への各画素の推移方向に基づいて、現フレーム画像の各画素の、1フレーム後の次フレーム画像における予測位置を算出する追尾処理ステップと、
    前記トラック・スコア算出時に得られる前フレーム画像から現フレーム画像への各画素の推移方向に基づいて、現フレーム画像の各画素のVSM値を算出するVSM算出ステップと、
    前記トラック・スコア算出処理の結果、現フレーム画像における複数の画素が前フレーム画像における同一画素を選択する競合の状況が発生した場合に、競合関係にある画素の中で予め設定された初探知化条件を満たす画素に対して、トラック・スコア、VSM値、および、追尾状態量を初期状態に戻す初探知化処理を行うとともに、前記初探知化条件を満たさない画像については、そのままトラック・スコア、VSM値、および、追尾状態量を出力する初探知化処理ステップと、
    前記初探知化処理ステップ後の前記現フレーム画像の各画素のVSM値の大きさに基づき、トラック・スコアの補正処理を行うトラック・スコア補正部と、
    前記補正処理された現フレーム画像の各画素のトラック・スコアに対して閾値処理を行って目標画素を検出する検出処理ステップと
    を備えたことを特徴とする目標検出方法。
JP2010242084A 2010-10-28 2010-10-28 目標検出装置および目標検出方法 Expired - Fee Related JP5675273B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010242084A JP5675273B2 (ja) 2010-10-28 2010-10-28 目標検出装置および目標検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010242084A JP5675273B2 (ja) 2010-10-28 2010-10-28 目標検出装置および目標検出方法

Publications (2)

Publication Number Publication Date
JP2012093286A true JP2012093286A (ja) 2012-05-17
JP5675273B2 JP5675273B2 (ja) 2015-02-25

Family

ID=46386767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010242084A Expired - Fee Related JP5675273B2 (ja) 2010-10-28 2010-10-28 目標検出装置および目標検出方法

Country Status (1)

Country Link
JP (1) JP5675273B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667508A (zh) * 2020-06-10 2020-09-15 北京爱笔科技有限公司 一种检测方法和相关装置
CN112016440A (zh) * 2020-08-26 2020-12-01 杭州云栖智慧视通科技有限公司 一种基于多目标跟踪的目标推送方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306263A (ja) * 1993-12-23 1995-11-21 Hughes Aircraft Co 効果的な多ターゲット追跡方法
JPH10206523A (ja) * 1997-01-24 1998-08-07 Hitachi Ltd 目標検出装置
JP2002221569A (ja) * 2001-01-25 2002-08-09 Mitsubishi Electric Corp 目標追尾装置
JP2004535564A (ja) * 2001-05-04 2004-11-25 ロッキード・マーティン・コーポレイション パッシブコヒーレント探索アプリケーションにおいて、集中方式で関連付けし追尾するシステムおよび方法
JP2007333515A (ja) * 2006-06-14 2007-12-27 Mitsubishi Electric Corp 目標検出装置
JP2008089504A (ja) * 2006-10-04 2008-04-17 Mitsubishi Electric Corp レーダ装置
JP2008275339A (ja) * 2007-04-25 2008-11-13 Mitsubishi Electric Corp 目標検出装置
JP2008292179A (ja) * 2007-05-22 2008-12-04 Mitsubishi Electric Corp 信号検出装置
JP2009204434A (ja) * 2008-02-27 2009-09-10 Mitsubishi Electric Corp 目標検出装置、目標検出方法及び目標検出プログラム
JP2010186433A (ja) * 2009-02-13 2010-08-26 Mitsubishi Electric Corp 目標検出装置
JP2010261734A (ja) * 2009-04-30 2010-11-18 Mitsubishi Electric Corp 目標検出装置
JP2011013111A (ja) * 2009-07-02 2011-01-20 Mitsubishi Electric Corp 目標検出装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07306263A (ja) * 1993-12-23 1995-11-21 Hughes Aircraft Co 効果的な多ターゲット追跡方法
JPH10206523A (ja) * 1997-01-24 1998-08-07 Hitachi Ltd 目標検出装置
JP2002221569A (ja) * 2001-01-25 2002-08-09 Mitsubishi Electric Corp 目標追尾装置
JP2004535564A (ja) * 2001-05-04 2004-11-25 ロッキード・マーティン・コーポレイション パッシブコヒーレント探索アプリケーションにおいて、集中方式で関連付けし追尾するシステムおよび方法
JP2007333515A (ja) * 2006-06-14 2007-12-27 Mitsubishi Electric Corp 目標検出装置
JP2008089504A (ja) * 2006-10-04 2008-04-17 Mitsubishi Electric Corp レーダ装置
JP2008275339A (ja) * 2007-04-25 2008-11-13 Mitsubishi Electric Corp 目標検出装置
JP2008292179A (ja) * 2007-05-22 2008-12-04 Mitsubishi Electric Corp 信号検出装置
JP2009204434A (ja) * 2008-02-27 2009-09-10 Mitsubishi Electric Corp 目標検出装置、目標検出方法及び目標検出プログラム
JP2010186433A (ja) * 2009-02-13 2010-08-26 Mitsubishi Electric Corp 目標検出装置
JP2010261734A (ja) * 2009-04-30 2010-11-18 Mitsubishi Electric Corp 目標検出装置
JP2011013111A (ja) * 2009-07-02 2011-01-20 Mitsubishi Electric Corp 目標検出装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6012038787; James Arnold, et al.: '"Efficient Target Tracking Using Dynamic Programming"' IEEE Transactions on Aerospace and Electronic Systems Vol.29,No.1, 199301, p.44-56 *
JPN6012043084; 亀田洋志、外3名: '"TBD法を用いた画像中の小目標探知"' 電子情報通信学会技術研究報告 Vol.107,No.67, 20070518, p.19-24 *
JPN6013018889; 丸山晃左、松崎貴史、亀田洋志: '状態推定を用いたスキャン間積分による低SNR移動目標の探知技術' 電子情報通信学会技術研究報告 SANE, 宇宙・航行エレクトロニクス 109(69), 20090522, 13-18 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667508A (zh) * 2020-06-10 2020-09-15 北京爱笔科技有限公司 一种检测方法和相关装置
CN111667508B (zh) * 2020-06-10 2023-10-24 北京爱笔科技有限公司 一种检测方法和相关装置
CN112016440A (zh) * 2020-08-26 2020-12-01 杭州云栖智慧视通科技有限公司 一种基于多目标跟踪的目标推送方法
CN112016440B (zh) * 2020-08-26 2024-02-20 杭州云栖智慧视通科技有限公司 一种基于多目标跟踪的目标推送方法

Also Published As

Publication number Publication date
JP5675273B2 (ja) 2015-02-25

Similar Documents

Publication Publication Date Title
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
Fourie et al. Harmony filter: a robust visual tracking system using the improved harmony search algorithm
JP6186834B2 (ja) 目標追尾装置及び目標追尾プログラム
JP6455113B2 (ja) 物体追跡方法と装置
CN107133970B (zh) 基于运动信息的在线多目标跟踪方法及装置
CN109946671B (zh) 一种基于双门限判决的水下机动弱目标检测跟踪方法
JP5498454B2 (ja) 追跡装置、追跡方法およびプログラム
EP2131329A2 (en) Tracking point detecting device and method, program, and recording medium
CN110751674A (zh) 多目标跟踪方法及相应视频分析系统
CN111914878B (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
KR101033243B1 (ko) 객체 추적 방법 및 장치
JP5675273B2 (ja) 目標検出装置および目標検出方法
JP2012181710A (ja) オブジェクト追跡装置、方法、及びプログラム
Weng et al. Weather-adaptive flying target detection and tracking from infrared video sequences
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
JP5452307B2 (ja) 追尾装置
JP2010190869A (ja) センサ制御装置
JP5078669B2 (ja) 目標検出装置、目標検出方法及び目標検出プログラム
CN106470342A (zh) 全局运动估计方法及装置
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
JP3750855B2 (ja) 目標追尾装置
JP5618566B2 (ja) 追尾装置
JP2005083867A (ja) 目標追尾装置
JP2012112807A (ja) 多目標追尾装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141224

R150 Certificate of patent or registration of utility model

Ref document number: 5675273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees