JP2009069019A - 目標検出装置および目標検出方法 - Google Patents

Abstract

【課題】移動する目標の検出性能をさらに高めた目標検出装置および目標検出方法を提供すること。
【解決手段】目標の周囲の輝度分布がガウス分布状に分布すると仮定する。そして、ガウス分布から作成したテンプレートと画像フレーム内の輝度分布とのマッチングの度合いを示す類似値を算出することにより、目標の候補領域を抽出する。さらに、候補領域から目標位置を特定する際にもガウス分布とのマッチングを取り、ガウス曲線の頂点の座標を目標位置と定義することで、サブピクセルでの位置標定を行う。
【選択図】 図１

Description

本発明は、例えば誘導弾の発射装置に搭載され、要撃対象の目標を追尾するために用いられる目標検出装置および目標検出方法に関する。特にこの発明は、移動する目標を検出する技術の改良に関する。

飛来する飛行体を要撃するために、地上側から誘導弾を発射することが想定される。誘導弾を飛行体に向け的確に誘導するために、赤外線カメラ等の撮像機器で目標の画像フレームを取得し、画像処理により標的である目標を検出する技術が知られている（例えば特許文献１を参照）。従来の画像処理技術では、画像中の高輝度領域を目標候補として抽出し、抽出された各領域の輝度最大値、最小値、平均輝度、大きさなどの画像特徴量をもとに、飛行体の影像パターンに最も近い領域を飛行体と認識するようにしている。

例えば、地上や雲のように紛らわしい物体が画像内に入り込んでいると、これらは飛行体の背景に飛行体と同じような輝度を示すので、画像特微量では飛行体を背景と区別して的確に認識することが困難である。このような状態においても的確に飛行体を認識するために、連続的に得られる各画像フレームの抽出領域を関連させ、各領域の動きを反映する特微量を抽出し、これをもとに移動目標を背景と区別する技術もある。
特開２００３−１９６６６６号公報

既存の技術では、抽出された領域の重心の座標をその領域の位置として定義し、各領域の動きを、この位置（重心座標）の移動により検出するようにしている。しかしながら、コントラストの変化やノイズの影響により領域の形状は変化するので重心の座標も容易に変化してしまう。

すなわち、領域が静止している状態でもコントラストの変化やノイズの影響により重心位置が変化し、誤って領域の動きが検出されることがある。このような誤検出は、目標が近くその見かけ上の動きが大きければあまり影響しないが、目標が遠方に在り見かけ上の大きさも動きも微少であればあるほど深刻な影響を及ぼす。このように既存の目標検出技術は、特に微細な動きを検出するには不向きであり、何らかの対処が待たれている。

この発明は上記事情によりなされたもので、その目的は、移動する目標の検出の精度をさらに高めた目標検出装置および目標検出方法を提供することにある。

上記目的を達成するためにこの発明の一態様によれば、移動する目標を検出する目標検出装置において、撮影視野を撮影して画像フレームを規定レートで順次出力する撮像部と、前記目標の候補となる候補領域を前記画像フレームごとに抽出する目標候補抽出部と、前記抽出された候補領域ごとにその特徴量を前記画像フレームごとに検出する特徴検出部と、前記抽出された候補領域ごとにその位置を前記画像フレームごとに検出する位置検出部と、複数の画像フレームにわたって前記特徴量の類似する候補領域の位置の変化に基づいて前記目標を識別する識別部とを具備し、前記位置検出部は、前記候補領域を形成する画素ごとに、当該画素の輝度値と当該画素を囲む画素の輝度値との差から輝度差方向を算出し、この輝度差方向の分布から算出される輝度値の極大点を当該候補領域の位置として検出することを特徴とする目標検出装置が提供される。

特に、前記位置検出部は、前記輝度差方向の分布が規定の分布関数に一致する度合いが規定のしきい値を超える領域における前記分布関数の頂点に対応する座標を、候補領域の位置とすることを特徴とする。

このような手段を講じることにより、候補領域の重心ではなく、輝度差の極大点の座標が目標の位置として算出される。特に、輝度差方向の変化を例えばガウス関数などにマッチングさせることで、ガウス関数の頂点、すなわち輝度差の極大点の座標を画素よりもさらに細かな単位（サブピクセル領域）で算出することができる。従って位置検出の精度をさらに高めることが可能になる。

この発明によれば、移動する目標の検出性能をさらに高めた目標検出装置および目標検出方法を提供することができる。

図１は、この発明に係わる目標検出装置の実施の形態を示す機能ブロック図である。図１の目標検出装置は、撮像部１０１と、旋回装置１０６と、目標候補抽出部１０２と、目標特徴検出部１０３と、目標位置検出部１０４と、背景位置検出部１０７と、目標識別部１０５とを備える。

このうち撮像部１０１は例えば赤外線カメラであり、撮影視野を繰り返し撮影して一定のレートで画像フレームを出力する。旋回装置１０６は、一定の回転軸に対し撮像部１０１を旋回させて撮影視野を拡大する。目標候補抽出部１０２は、撮像部１０１で得られた画像フレームから目標の候補となる候補領域を抽出する。

目標特徴検出部１０３は、目標候補抽出部１０２で抽出された各候補領域ごとに画像特徴量を検出する。目標位置検出部１０４は、目標候補抽出部１０２で抽出された候補領域の位置を検出する。その際目標位置検出部１０４は、画像フレームを処理して得られる微分画像を生成する。

背景位置検出部１０７は、撮像部１０１を旋回装置１０６で旋回させることによる画像間の背景のずれを補正するために、画像フレーム間の背景の相対位置を検出する。目標識別部１０５は、画像フレーム間の各候補領域の画像特徴量を対応付けて比較し、同じまたは類似の特徴量を示す候補領域間の相対位置を、背景の相対位置で補正して移動目標を識別する。

図１において撮像部１０１は空間の全域をスキャンし、いずれかの時点において撮影された画像フレームに、飛行移動する飛行体が含まれることがある。撮像部１０１の撮影により得られた画像フレームは、デジタル映像信号のかたちで目標候補抽出部１０２と背景位置検出部１０７とに出力される。

目標候補抽出部１０２は、画像フレームに含まれる高輝度領域を、２値化処理によるしきい値識別により目標候補として抽出する。具体的には目標候補抽出部１０２は、例えば平均輝度と輝度分散とを画像フレームごとに求め、輝度分散に一定の係数を乗じた値に平均輝度を加算した値をしきい値とし、しきい値よりも高輝度な領域を抽出する。目標特徴検出部１０３は、目標候補抽出部１０２で抽出された領域ごとに、その画像特徴量を検出する。画像特徴量とは、例えば輝度最大値、輝度最小値、平均輝度、領域の大きさなどである。

図２は、図１の目標位置検出部１０４による微分画像の算出につき説明するための図である。目標位置検出部１０４は、まず、画像フレームにおける各画素とその近傍画素との、輝度差と輝度差の方向とを示す微分画像を求める。微分画像の算出にあたっては次式（１）が用いられる。式（１）において大文字のＩは画素ごとの輝度値であり、ｉ，ｊは画素を区別するためのインデックスである。

図２（ａ）は、画像フレームのうちその一部の３×３画素を取り出して示す。各マス目が画素を示し、その中の数字は画素の輝度値を示す。図２（ａ）から微分画像を求めた結果は図２（ｂ）に示される。つまり中央の画素における微分画像の値は、（１８，１５）となる。この、方向を持つ量を輝度差方向の情報と称し、より一般的に（Ｒｘ，Ｒｙ）で示す。

つまり図２（ａ）の中央の画素（輝度値＝１００）について、Ｒｘは”１０３−８５＝１８”、Ｒｙは”１０５−９０＝１５”である。すなわち微分画像の値（輝度差方向の情報）は（１８，１５）であり、Ｒｘ、Ｒｙ共に正数であるのでこの画素の輝度差方向は右下の方向となる。また、微分画像の値が（正数，負数）であれば右上方向、（負数，正数）であれば左下方向、（負数，負数）であれば右上方向の輝度差方向となる。

次に、目標位置検出部１０４は目標候補抽出部１０２で抽出された各領域の位置を、その重心座標によってではなく以下のようにして算出する。
図３は、抽出された領域の位置を算出する処理に用いられるテンプレートの一例を示す模式図である。すなわち目標位置検出部１０４は、目標候補抽出部１０２で抽出された領域の各画素ごとに、その輝度を、例えばガウス分布などの２次元輝度分布を仮定して類似値に換算する。そして、この類似値の集合として得られる類似値画像を生成し、この類似値画像をもとに各候補領域の位置を検出する。

ガウス分布は中央に頂点を持ち、中央から周辺に向かって傾斜していくような値を持つ。これを図示すると図３のように、輝度差方向は周辺から頂点に向かって指向するように分布する。図３に示す矢印は、二次元の画像中において、「画素の輝度値は、目標を頂点としてその周囲にガウス分布で分布する」と仮定した場合の輝度差方向を示す。図３では５×５の画素領域において中央の画素が最大の画素値を持つとする。目標位置検出部１０４は、図３に示すガウス分布の輝度差方向をテンプレートとして、目標候補抽出部１０２で抽出された画素に対応する微分画像の画素を順次走査し、各走査ごとに次式（２）を用いて類似値を算出する。この類似値を配列することで類似値画像が得られる。

式（２）においてＫが類似値であり、θは輝度値方向とテンプレートとのなす角である。式（２）の最下段の式では、図４に示す微分画像の輝度差方向（Ｒθ）とテンプレートの輝度差方向（Ｔθ）との差、すなわちＤθ（＝|Ｒθ−Ｔθ|）を１８０度で正規化した値を１から減算している。これにより輝度差方向が一致すると類似値は１になり、正反対であれば類似値は０になる。その値に寄与率（α）を考慮する。つまり、輝度差方向の一致率に応じた係数を作成し、その係数に基づいた輝度差を累積加算することで、類似値Ｋを算出する。この類似値Ｋを評価することで画像フレームにおける輝度差方向の分布をガウス分布にマッチングさせることができ、候補領域の抽出および目標位置の算出を行うことができる。

なお、加算すべきデータに判断条件を設けても良い。具体的には、ガウス分布の各画素の輝度差方向は点対称であることを利用する。図３から分かるようにＡＦの画素（左上）の輝度差方向とＥＪの画素の輝度差方向とは正反対である。また、ＥＦとＡＪの画素の輝度差方向は、それぞれＡＦとＥＪの画素の輝度差方向に直交する。このことを利用して、例えばＡＦ、ＥＦ、ＡＪ、ＥＪの４画素の輝度差方向の一致率がそれぞれ９０度以内であれば、輝度差を加算する判断条件とする。

式（２）では画素ごとに値の加算を決定しているので、一致率が部分的に高い場合にも類似値が高くなる可能性があるが、上記の判断条件を設けることにより、周方向を加味して周方向の一致率が共に高い場合に類似値を高い値として算出することが可能になる。つまり、周囲から頂点に向かって盛り上がるような輝度分布に高い得点を与えることができ、より的確に目標を捕らえられるようになる。

次に目標位置検出部１０４は、目標候補抽出部１０２により抽出された領域ごとに類似値の値を探索し、最も値の高い座標（ｗ，ｓ）を各領域の位置と定義する。これにより、標的である目標の輝度分布をガウス分布と仮定した場合に、目標位置である可能性が最も高い目標位置を画素レベルで定義することができる。

さらに、１画素以下の精度すなわちサブピクセルでの位置検出を行うことも可能である。すなわち、類似値画像における類似値は２次曲面に沿って変化すると仮定する。そこで、例えば画素レベルで求めた（Ｗ，Ｓ）を中心とする（ｗ−１，ｓ）、（ｗ，ｓ）、（ｗ＋１，ｓ）の３点と、（ｗ，ｓ−１）、（ｗ，ｓ）、（ｗ，ｓ＋１）の３点によりそれぞれ２次多項式を解くことで、１画素以下の精度で２次曲面の頂点位置を求めることができる。従って位置検出の精度をさらに高くすることができる。以上のような処理により、仮定した２次元輝度分布への類似性と、画像フレームにおける各領域のコントラスト（輝度差）性とを統合して目標位置を検出することが可能となる。すなわち１画素以下の微小な動き検出が可能となる。

なお、以上の処理では主に目標位置検出部１０４における位置検出につき説明したが、同様の処理を目標候補抽出部１０２においても行える。すなわち２次元輝度分布を仮定して類似値画像を算出することにより画像フレームを強調処理した画像を得て、その画像からしきい値判定によるマッチング処理により候補領域を抽出してもよい。これにより、仮定した２次元輝度分布への類似性と画像フレームにおけるコントラスト（輝度差）性を統合した情報から目標候補を抽出することができる。また、強調処理であることから、コントラストの低い目標を的確に抽出することもできる。

次に、撮像部１０１の旋回に伴う背景の移動への対処につき説明する。図１の目標検出装置では、捜索領域の拡大のため旋回装置１０６により撮像部１０１を旋回させている。このため撮影位置が時々刻々と変化し、図５に示すように撮像部１０１から出力される画像フレーム間で背景の位置が異なってくる。

図５は撮像部１０１の旋回に伴い背景および目標が移動することを示す図である。図５において、５００ａと５００ｂは撮影時点の異なる２枚の画像フレームを示し、５０１ａと５０１ｂは標的の飛行体を示す。５０１ａと５０１ｂのように背景位置が異なると、画像内で背景が移動することから、その中で移動する標的を検出することが困難になる。そこでこの実施形態では、背景の動きとは異なる動きをする標的を検出するために、背景位置検出部１０７により画像フレーム間での背景の相対位置を検出する。

また目標候補抽出部１０２は、背景位置検出部１０７で検出された画像間の背景の相対位置を用いて背景位置が同じになるように画像位置を補正し、そのうえで画像間の差分を求める。この画像間差分における各抽出領域の最大値、最小値、平均値などにより移動している可能性がある領域を、目標候補としてさらに絞り込むようにする。

図６は、背景位置検出部１０７により実施される処理を説明するための図である。背景位置検出部１０７は画像フレーム５００ｂに、画像フレーム５００ａと比較するための比較領域６００を設定する。この比較領域６００を画像フレーム５００ａに対して１画素ずつずらしながら比較走査６０１を行い、各位置で輝度の相関値を計算するマッチング処理を実施して図７の評価画像６０２を作成する。

次に背景位置検出部１０７は、評価画像６０２の中で最も相関値の高い位置を検索し、最大評価位置６０３を求め、その位置に基づいて画像フレーム間の相対位置を算出する。これにより、２枚の画像フレーム間における画素レベルの相対位置が検出できる。さらに、２次曲面を用いたマッチングによりサブピクセルオーダでの位置検出もできるので、１画素以下の微小な飛行体の動き検出が可能となる。

評価画像６０２における相関値は２次曲面に沿って変化すると仮定すると、画素レベルで求めた最大評価位置６０３を中心とする左右１画素の座標配列３点と、上下１画素の座標配列３点を用いてそれぞれ２次多項式を解くことで、２次曲面の頂点位置を求めることができる。その精度は１画素以下の精度になる。目標位置検出部１０４と同様に、背景位置検出部１０７においてもこのような処理を行う。さらに、目標の誤検出の防止のため、画像フレーム間の相対位置の検出結果を検証することもできる。

図８は、画像フレーム間の相対位置を検証する処理を説明するための図である。図８（ａ）における７００ａ、７００ｂ、７００ｃは、撮像部１０１から順次出力される画像フレームを示す。背景位置検出部１０７は、このうち７００ａと７００ｃの画像フレーム間の相対位置を検出するとする。

背景位置検出部１０７は、７００ａと７００ｃ間の相対位置を検出すると共に、７００ａと７００ｂ間、および、７００ｂと７００ｃ間を合わせた３フレーム間の相対位置を検出する。この３フレームには、７００ａと７００ｂ間および７００ｂと７００ｃ間の累積相対位置が、７００ａと７００ｃの相対位置に等しいという関係がある。

背景位置検出部１０７では、７００ａと７００ｂ間、７００ｂと７００ｃ間の累積相対位置と、７００ａと７００ｃ間の相対位置を比較することで、検出した相対位置が正しいか否かを評価する。図８（ｂ）は、検出した相対位置が正しい場合の３画像間の相対位置を示し、図８（ｃ）は、正しくない場合の相対位置を示す。

背景位置検出部１０７は図８（ｃ）のような状態が検出されると、画像フレーム間の相対位置を正しく検出できなかったとして、この画像フレームにおいては目標識別部１０５による目標識別を実施しない。このようにすると目標の誤検出を低減することができる。

目標識別部１０５は、撮像部１０１により順次出力される画像フレームから目標候補抽出部１０２で抽出した目標候補領域の画像特徴量をフレーム間で対応させて比較し、近い画像特徴量を示す候補領域の組み合わせを判定する。つまり目標識別部１０５は、画像フレーム間での同じ候補領域を判断する。

次に目標識別部１０５は、背景位置検出部１０７で検出した画像間の相対位置と、目標位置検出部１０４で検出した目標の位置とから各候補領域の移動距離を求め、移動している領域を標的の飛行体と識別する。なお目標識別部１０５は、２枚の画像フレーム間の移動距離から飛行体を識別してもよいし、複数フレーム間の累積移動距離が一定以上の場合に飛行体として識別してもよい。後者の判断方法を用いると、時系列的な輝度の揺らぎにより微小な検出誤差が発生した場合でも、誤識別を抑えることが可能である。

以上説明したようにこの実施形態では、目標の周囲の輝度分布がガウス分布状に分布すると仮定する。そして、ガウス分布から作成したテンプレートと画像フレーム内の輝度分布とのマッチングの度合いを示す類似値を算出することにより、目標の候補領域を抽出する。さらに、候補領域から目標位置を特定する際にもガウス分布とのマッチングを取り、ガウス曲線の頂点の座標を目標位置と定義することで、サブピクセルでの位置標定を行うようにしている。

このように、頂点から単調に減少する分布モデルを用いて目標を抽出することで円形状の形状が強調され、特に遠方にある目標を検出する際に有利になる。これは、画像フレームにおける輝度方向を示す情報を算出することで可能になる。さらに、数学的なモデルを輝度分布にあてはめることで多値情報を利用した補間処理を行うことができ、サブピクセル単位での位置検出が可能になるほか、２値情報よりも安定した位置計測を行うことができる。さらには、背景の移動量も検出し、背景と目標の相対的な動きによる目標判定を行うことにより、より安定した目標検出と目標追随を行うことも可能になる。

従って、標的である飛行体が遠隔に存在する場合など、目標の大きさが小さく微少な動きしか得られない状態においても、目標の微小な動きを検出でき飛行体を的確に識別することが可能になる。また、目標と背景の輝度差が小さい場合でも、輝度方向を示す情報を特徴として目標を検出することで、小型目標の検出性能を向上できる。これらのことから、移動する目標の検出性能をさらに高めた目標検出装置および目標検出方法を提供することが可能となる。

なお、この発明は上記実施の形態に限定されるものではない。例えば類似値画像の生成にあたり使用する分布関数はガウス分布に限らず、他の分布関数を用いることもできる。ようするに中央近傍に頂点を持ち周囲に行くほどに傾斜する分布をもつ関数を使用することができる。

さらに、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

本発明に係わる目標検出装置の実施の形態を示す機能ブロック図。 図１の目標位置検出部１０４による微分画像の算出につき説明するための図。 抽出された領域の位置を算出する処理に用いられるテンプレートの一例を示す模式図。 類似値の算出にあたり輝度差方向を比較する方法を説明するための模式図。 撮像部１０１の旋回に伴い背景および目標が移動することを示す図。 背景位置検出部１０７により実施される処理を説明するための図。 背景位置検出部１０７により作成される評価画像６０２を示す図。 画像フレーム間の相対位置を検証する処理を説明するための図。

符号の説明

１０１…撮像部、１０２…目標候補抽出部、１０３…目標特徴検出部、１０４…目標位置検出部、１０５…目標識別部、１０６…旋回装置、１０７…背景位置検出部

Claims (10)

1. 移動する目標を検出する目標検出装置において、
   撮影視野を撮影して画像フレームを規定レートで順次出力する撮像部と、
   前記目標の候補となる候補領域を前記画像フレームごとに抽出する目標候補抽出部と、
   前記抽出された候補領域ごとにその特徴量を前記画像フレームごとに検出する特徴検出部と、
   前記抽出された候補領域ごとにその位置を前記画像フレームごとに検出する位置検出部と、
   複数の画像フレームにわたって前記特徴量の類似する候補領域の位置の変化に基づいて前記目標を識別する識別部とを具備し、
   前記位置検出部は、
   前記候補領域を形成する画素ごとに、当該画素の輝度値と当該画素を囲む画素の輝度値との差から輝度差方向を算出し、この輝度差方向の分布から算出される輝度値の極大点を当該候補領域の位置として検出することを特徴とする目標検出装置。
2. 前記位置検出部は、
   前記輝度差方向の分布が規定の分布関数に一致する度合いが規定のしきい値を超える領域における前記分布関数の頂点に対応する座標を、候補領域の位置とすることを特徴とする請求項１に記載の目標検出装置。
3. 前記目標候補抽出部は、
   前記画像フレームを形成する画素ごとに、当該画素の輝度値と当該画素を囲む画素の輝度値との差から輝度差方向を算出し、この輝度差方向の分布を規定の分布関数にマッチングさせて得られる画像から前記候補領域を抽出することを特徴とする請求項１に記載の目標検出装置。
4. 前記分布関数はガウス分布であることを特徴とする請求項２および３のいずれか１項に記載の目標検出装置。
5. さらに、前記撮像部を旋回させる旋回部と、
   複数の画像フレームに含まれる背景の相対位置を検出する背景位置検出部とを具備し、
   前記識別部は、
   前記撮像部の旋回に伴う画像フレーム間の前記背景のずれを前記検出された相対位置に基づいて補正した画像から、前記目標を識別することを特徴とする請求項１に記載の移動目標検出装置。
6. 移動する目標を検出する目標検出方法であって、
   撮影視野を規定レートで撮影して画像フレームを得て、
   前記目標の候補となる候補領域を前記画像フレームごとに抽出し、
   前記抽出された候補領域ごとにその特徴量を前記画像フレームごとに検出し、
   前記抽出された候補領域を形成する画素ごとに、当該画素の輝度値と当該画素を囲む画素の輝度値との差から輝度差方向を算出し、
   この輝度差方向の分布から算出される輝度値の極大点を当該候補領域の位置として検出し、
   複数の画像フレームにわたって前記特徴量の類似する候補領域の位置の変化に基づいて前記目標を識別することを特徴とする目標検出方法。
7. 前記輝度差方向の分布が規定の分布関数に一致する度合いが規定のしきい値を超える領域における前記分布関数の頂点に対応する座標を、候補領域の位置とすることを特徴とする請求項６に記載の目標検出方法。
8. 前記画像フレームを形成する画素ごとに、当該画素の輝度値と当該画素を囲む画素の輝度値との差から輝度差方向を算出し、この輝度差方向の分布を規定の分布関数にマッチングさせて得られる画像から前記候補領域を抽出することを特徴とする請求項６に記載の目標検出方法。
9. 前記分布関数はガウス分布であることを特徴とする請求項７および８のいずれか１項に記載の目標検出方法。
10. さらに、前記撮像部を旋回させ、
    複数の画像フレームに含まれる背景の相対位置を検出し、
    前記撮像部の旋回に伴う画像フレーム間の前記背景のずれを前記検出された相対位置に基づいて補正した画像から、前記目標を識別することを特徴とする請求項６に記載の移動目標検出方法。

Images