JP2011158409A - 目標追尾装置及びコンピュータプログラム及び目標追尾方法 - Google Patents
目標追尾装置及びコンピュータプログラム及び目標追尾方法 Download PDFInfo
- Publication number
- JP2011158409A JP2011158409A JP2010021750A JP2010021750A JP2011158409A JP 2011158409 A JP2011158409 A JP 2011158409A JP 2010021750 A JP2010021750 A JP 2010021750A JP 2010021750 A JP2010021750 A JP 2010021750A JP 2011158409 A JP2011158409 A JP 2011158409A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- feature
- target
- peak
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【解決手段】ピーク画素抽出部132は、目標画素のなかから、隣接する画素よりも画素値が大きい画素(ピーク画素)を抽出する。特徴位置算出部133は、目標の特徴を表わす特徴点の位置(特徴位置)を算出する。特徴距離算出部134は、ピーク画素の位置と特徴位置との間の距離(特徴距離)を算出する。特徴方位算出部135は、ピーク画素の位置から見た上記特徴位置の方位(特徴方位)を算出する。相関処理部140は、特徴距離と特徴方位とを含む相関パラメータに基づいて、相関処理をする。
【選択図】図3
Description
また、目標が複数の画素にわたって観測される場合において、目標が観測された領域を判定し、判定した領域の重心点を追尾する目標追尾方式がある。
また、状況に応じて、画素値が最大である画素の追尾と、重心点の追尾とを切り替えて実施する目標追尾方式がある。
また、目標が複数の画素にわたって観測される場合、目標の特定の部分を追尾したい場合がある。そのため、画素値が極大(その画素の近傍において最大)である画素(ピーク画素)を追尾しようとすると、1つの目標領域内に複数のピーク画素が現れるので、精度よく追尾することが難しい。
この発明は、例えば上記のような課題を解決するためになされたものであり、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることを目的とする。
目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾装置において、
データを記憶する記憶装置と、データを処理する処理装置と、画像記憶部と、目標画素抽出部と、ピーク画素抽出部と、特徴位置算出部と、特徴距離算出部と、特徴方位算出部と、相関処理部とを有し、
上記画像記憶部は、上記記憶装置を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記目標画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記ピーク画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記目標画素抽出部が抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記目標画素抽出部が抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記特徴距離算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記特徴方位算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記相関処理部は、上記処理装置を用いて、上記特徴距離算出部が算出した特徴距離と、上記特徴方位算出部が算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする。
実施の形態1について、図1〜図9を用いて説明する。
目標追尾システム800は、目標850を観測した画像に基づいて、目標850を追尾する。目標追尾システム800は、観測装置810、目標追尾装置100、表示装置820を有する。
観測装置810が生成する画像は、複数の画素(レンジビン)により構成される。各画素は、目標850を観測した観測強度を表わす画素値を有する。例えば、センサが赤外線センサである場合、画素値は、目標から放射され、センサが観測した赤外線の強度である。また、センサがレーダである場合、画素値は、目標に反射し、センサが観測した電波の強度である。
複数の画素は、2次元または3次元に配置されている。例えば、センサがレーダなど距離情報を取得できるセンサである場合、観測方向を1次元に走査することにより、2次元に配置された画素の画素値を得ることができる。また、観測方向を2次元に走査することにより、3次元に配置された画素の画素値を得ることができる。また、センサが赤外線センサなど距離情報を取得できないセンサである場合、観測方向を2次元に走査することにより、2次元に配置された画素の画素値を得ることができる。
観測装置810は、生成した画像を表わす信号を出力する。
観測装置810は、例えば一定の間隔で画像を繰り返し生成する。観測装置810は、画像を生成するたびに、生成した画像を表わす信号を出力する。
目標追尾装置100は、各画像のなかで、目標850が観測された画素を判定する。観測装置810から目標850までの距離が比較的近いなど、観測装置810の分解能と比較して目標850が大きい場合、1つの目標850が複数の画素にわたって観測される。その場合、目標追尾装置100は、1つの目標850が観測された画素の範囲を判定する。
また、目標追尾装置100は、観測時刻の異なる複数の画像の間で、同じ目標850が観測された画素を判定する。これにより、目標850の動きを知ることができる。
目標追尾装置100は、目標850の位置、移動方向、速度など、追尾の結果として得られた情報を表わすデータを出力する。
なお、目標追尾装置100が取得した情報は、表示装置820に表示するのではなく、例えば、目標追尾システム800が搭載された移動体の自動操舵装置が利用する構成であってもよい。自動操舵装置は、目標追尾装置100が取得した情報に基づいて、例えば、目標850に近づくよう、もしくは、逆に目標850を回避するよう、移動体を操舵する。
目標追尾装置100は、例えば、処理装置911、記憶装置914、入力装置902、出力装置901を有する。
処理装置911は、プログラムを実行することにより、データを処理し、目標追尾装置100全体を制御する。
記憶装置914は、処理装置911が実行するプログラムや、処理装置911が処理するデータを記憶する。記憶装置914は、例えば、不揮発性メモリ(以下「ROM」と呼ぶ。)、揮発性メモリ(以下「RAM」と呼ぶ。)、磁気ディスク装置(以下「HDD」と呼ぶ。)、光学ディスク装置などである。
入力装置902は、観測装置810など目標追尾装置100の外部からの信号や情報を入力し、処理装置911が処理できる形式のデータに変換する。入力装置902が変換したデータは、処理装置911が直接処理してもよいし、記憶装置914が一時的に記憶してもよい。
出力装置901は、処理装置911が処理したデータや記憶装置914が記憶したデータを外部に出力できる形式に変換して、表示装置820など目標追尾装置100の外部に対して出力する。
目標追尾装置100は、画像入力部111、画像記憶部112、ゲート処理部120、特徴量抽出部130、相関処理部140、平滑処理部150、予測処理部160、結果出力部170を有する。
ゲート処理部120は、処理装置911を用いて、抽出した画素値データを出力する。
1つの目標850が観測される画素の数がもっと多い場合、目標850の細部が観測されるため、ピーク画素が複数現れる場合がある。この場合、ピーク画素の位置は目標850の細部の位置であり、目標850全体の動きとは異なる動きをする場合がある。また、複数のピーク画素は近接しているため、ピーク画素として観測された目標850の細部を同定することが難しい。特徴量抽出部130は、目標850の細部を追尾するため、特徴量として、ピーク画素の位置の以外の情報を抽出する。
相関処理部140は、処理装置911を用いて、相関処理の結果を表わすデータを出力する。
平滑処理部150は、処理装置911を用いて、平滑化した目標850の軌跡(位置・速度・移動方向など)を表わすデータを出力する。
予測処理部160は、処理装置911を用いて、予測した結果を表わすデータを出力する。予測処理部160が出力したデータは、ゲート処理部120が入力する。ゲート処理部120は、入力したデータに基づいて、処理装置911を用いて、画像データのなかから、目標850が観測されると予測される範囲内の画素の画素値データを抽出する。
例えば、目標画素抽出部131は、処理装置911を用いて、各画素についての画素値データが表わす画素値を閾値と比較して、画素値が閾値より大きい画素を抽出する。閾値は、あらかじめ定められた定数であってもよい。また、画像の信号雑音比や画素値の平均値に基づいて閾値を算出する構成であってもよい。抽出した画素が複数あり不連続である場合、目標画素抽出部131は、複数の目標850が観測されたものとして、連続した1つの塊をなす画素を、1つの目標850についての目標画素であると判定する。抽出した画素が複数あり連続している場合、目標画素抽出部131は、1つの目標850が観測されたものとして、抽出した画素すべてを、1つの目標850についての目標画素であると判定する。
目標画素抽出部131は、処理装置911を用いて、抽出した目標画素についての画素値データを出力する。
例えば、ピーク画素抽出部132は、処理装置911を用いて、各目標画素について、隣接した4つまたは8つの画素と画素値を比較することにより、その目標画素がピーク画素であるか否かを判定する。
ピーク画素抽出部132は、処理装置911を用いて、抽出したピーク画素の位置を表わすデータ(以下「ピーク位置データ」と呼ぶ。)を出力する。ピーク画素抽出部132が出力するピーク位置データは、特徴量データの一つである。
特徴位置算出部133は、処理装置911を用いて、算出した特徴位置を表わすデータ(以下「特徴位置データ」と呼ぶ。)を出力する。
特徴距離算出部134は、処理装置911を用いて、算出した特徴距離を表わすデータ(以下「特徴距離データ」と呼ぶ。)を出力する。特徴距離算出部134が出力する特徴距離データは、特徴量データの一つである。
特徴方位算出部135は、処理装置911を用いて、算出した特徴方位を表わすデータ(以下「特徴方位データ」と呼ぶ。)を出力する。特徴方位算出部135が出力した特徴方位データは、特徴量データの一つである。
特徴量抽出処理S500において、特徴量抽出部130は、特徴量を抽出する。
特徴量抽出処理S500は、目標画素抽出工程S510、ピーク画素抽出工程S520、特徴位置算出工程S530、特徴距離方位算出工程S540を有する。
ピーク画素抽出工程S520において、ピーク画素抽出部132は、処理装置911を用いて、目標画素抽出工程S510でゲート処理部120が抽出した目標画素のなかから、ピーク画素を抽出する。
特徴位置算出工程S530において、特徴位置算出部133は、処理装置911を用いて、目標画素抽出工程S510で目標画素抽出部131が抽出した目標画素に基づいて、特徴位置を算出する。
特徴距離方位算出工程S540において、特徴距離算出部134は、処理装置911を用いて、ピーク画素抽出工程S520でピーク画素抽出部132が抽出したピーク画素の位置と、特徴位置算出工程S530で特徴位置算出部133が算出した特徴位置との間の距離を算出する。特徴方位算出部135は、処理装置911を用いて、ピーク画素抽出工程S520でピーク画素抽出部132が抽出したピーク画素の位置から見た、特徴位置算出工程S530で特徴位置算出部133が算出した特徴位置の方位を算出する。
目標画素抽出工程S510は、画素選択工程S511、閾値比較工程S512、目標画素記憶工程S513、連続画素選択工程S514、閾値比較工程S515を有する。
すべての画素が選択済であり、まだ選択していない画素がない場合、すべての画素についての処理が終わったことになる。目標画素抽出部131は、処理装置911を用いて、目標画素抽出工程S510を終了する。
未選択の画素があり、画素を選択した場合、その画素が目標画素であるかを判定するため、目標画素抽出部131は、処理装置911を用いて、閾値比較工程S512へ進む。
画素値が閾値より大きい場合、その画素は、目標画素である。目標画素抽出部131は、処理装置911を用いて、目標画素記憶工程S513へ進む。
画素値が閾値より小さい場合、その画素は、目標画素ではない。目標画素抽出部131は、処理装置911を用いて、画素選択工程S511に戻り、次の画素を選択する。
まだ選択していない画素のなかに目標画素に隣接した画素がない場合、閾値比較工程S512で見つけた目標画素に連続した目標画素は、これ以上存在しない。目標画素抽出部131は、記憶装置914を用いて、ここまでに判定した目標画素を、1つの目標850についての目標画素として記憶する。目標画素抽出部131は、処理装置911を用いて、画素選択工程S511に戻り、目標画素に隣接していない次の画素を選択する。その後、別の目標画素が見つかった場合、それは、別の目標850についての目標画素である。
未選択の画素のなかに目標画素に隣接した画素があり、画素を選択した場合、その画素が目標画素であるかを判定するため、目標画素抽出部131は、処理装置911を用いて、閾値比較工程S515へ進む。
画素値が閾値より大きい場合、その画素は、目標画素である。新たに見つかった目標画素は、それまでに判定した目標画素と連続しているので、同じ目標850についての目標画素である。目標画素抽出部131は、処理装置911を用いて、目標画素記憶工程S513に戻り、連続画素選択工程S514で選択した画素を、同じ目標850についての目標画素として記憶する。
画素値が閾値より小さい場合、その画素は、目標画素ではない。他に同じ目標850についての目標画素がないか判定するため、目標画素抽出部131は、処理装置911を用いて、連続画素選択工程S514に戻り、目標画素に隣接した次の画素を選択する。
ピーク画素抽出工程S520は、目標画素選択工程S521、隣接画素選択工程S522、画素値比較工程S523、ピーク画素記憶工程S524を有する。
すべての目標画素が選択済であり、まだ選択していない目標画素がない場合、すべての目標画素についての処理が終わったことになる。ピーク画素抽出部132は、処理装置911を用いて、ピーク画素抽出工程S520を終了する。
未選択の目標画素があり、目標画素を選択した場合、その目標画素がピーク画素であるかを判定するため、ピーク画素抽出部132は、処理装置911を用いて、隣接画素選択工程S522へ進む。
隣接する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、目標画素選択工程S521で選択した目標画素に隣接するすべての目標画素との間で画素値の比較が終わったことになる。また、目標画素の画素値は閾値より大きく、目標画素でない画素の画素値は閾値より小さいから、目標画素でない画素の画素値は目標画素の画素値よりも小さい。したがって、目標画素選択工程S521で選択した目標画素の画素値は、隣接するすべての画素の画素値よりも大きい。すなわち、その目標画素はピーク画素である。ピーク画素抽出部132は、処理装置911を用いて、ピーク画素記憶工程S524へ進む。
未選択の目標画素があり、隣接する目標画素を選択した場合、ピーク画素抽出部132は、処理装置911を用いて、画素値比較工程S523へ進む。
目標画素の画素値が、隣接する目標画素の画素値より大きい場合、目標画素選択工程S521で選択した目標画素がピーク画素である可能性がある。ピーク画素抽出部132は、処理装置911を用いて、隣接画素選択工程S522に戻り、隣接する次の目標画素を選択する。
目標画素の画素値が、隣接する目標画素の画素値より小さい場合、目標画素選択工程S521で選択した目標画素がピーク画素である可能性はない。ピーク画素抽出部132は、処理装置911を用いて、目標画素選択工程S521に戻り、次の目標画素を選択する。
別のピーク画素を探すため、ピーク画素抽出部132は、処理装置911を用いて、目標画素選択工程S521に戻り、次の目標画素を選択する。
特徴距離方位算出工程S540は、ピーク画素選択工程S541、特徴位置選択工程S542、特徴距離算出工程S543、特徴方位算出工程S544を有する。
ピーク画素がすべて選択済であり、まだ選択していないピーク画素がない場合、すべてのピーク画素について処理が終わったことになる。特徴距離算出部134は、処理装置911を用いて、特徴距離方位算出工程S540を終了する。
未選択のピーク画素があり、ピーク画素を選択した場合、そのピーク画素についての特徴距離及び特徴方位を求めるため、特徴距離算出部134は、処理装置911を用いて、特徴位置選択工程S542へ進む。
特徴位置がすべて選択済であり、まだ選択していない特徴位置がない場合、ピーク画素選択工程S541で選択したピーク画素について、すべての特徴位置との間の特徴距離及び特徴方位を算出したことになる。特徴距離算出部134は、処理装置911を用いて、ピーク画素選択工程S541に戻り、次のピーク画素を選択する。
未選択の特徴位置があり、特徴位置を選択した場合、その特徴位置と、ピーク画素選択工程S541で選択したピーク画素との間の特徴距離及び特徴方位を算出するため、特徴距離算出部134は、処理装置911を用いて、特徴距離算出工程S543へ進む。
特徴距離算出部134は、処理装置911を用いて、特徴位置選択工程S542に戻り、次の特徴位置を選択する。
目標画素抽出部131は、連続している目標画素421を1つのグループとし、抽出した目標画素421をいくつかのグループに分類する。この例において、目標画素抽出部131は、抽出した47個の目標画素421を、44個の目標画素421からなる目標領域420aに属するグループと、3個の目標画素421からなる目標領域420bに属するグループとに分類する。目標画素抽出部131が分類した各グループは、それぞれが1個の目標850に対応する。この例において、目標画素抽出部131が目標画素421を2つのグループに分類したので、目標追尾装置100は、画像データ410において2個の目標850が観測されたと判定したことになる。
ピーク画素抽出部132は、抽出したピーク画素それぞれについて、そのピーク画素の位置を算出する。ピーク画素の位置は、例えば、画像データ410の左下隅の画素を原点とし、画素の1辺の長さを単位とする直交座標系におけるx座標431とy座標432との組で表わされる。この例において、ピーク画素抽出部132は、ピーク画素422aの位置として(2,2)を算出し、ピーク画素422bの位置として(6,7)を算出する。
相関処理部140における判定が従来と異なる点は、ピーク画素の相関パラメータが、ピーク画素の位置だけでなく、特徴位置との間の距離や方位などを含む点である。
したがって、ピーク画素の位置だけで考えると、ピーク画素422c及びピーク画素422dは、どちらもピーク画素422bと同じ目標850(または細部)であり、ピーク画素422aと同じ目標850(または細部)は観測されなかったと判定することになる。あるいは、ピーク画素422c及びピーク画素422dは、ピーク画素422a及びピーク画素422bと同じ目標850(または細部)であるが、どちらがどちらに対応するかはわからないと判定することになる。
目標追尾装置100は、データを記憶する記憶装置914と、データを処理する処理装置911と、画像記憶部112と、目標画素抽出部131と、ピーク画素抽出部132と、特徴位置算出部133と、特徴距離算出部134と、特徴方位算出部135と、相関処理部140とを有する。
上記画像記憶部112は、上記記憶装置914を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値(画素値データ)を記憶する。
上記目標画素抽出部131は、上記処理装置911を用いて、上記複数の画像それぞれについて、上記画像記憶部112が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素421とする。
上記ピーク画素抽出部132は、上記処理装置911を用いて、上記複数の画像それぞれについて、上記画像記憶部112が記憶した複数の画素値に基づいて、上記目標画素抽出部131が抽出した目標画素421のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素422とする。
上記特徴位置算出部133は、上記処理装置911を用いて、上記複数の画像それぞれについて、上記目標画素抽出部131が抽出した目標画素421に基づいて、上記目標850の特徴を表わす特徴点の位置を算出して、特徴位置423とする。
上記特徴距離算出部134は、上記処理装置911を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部132が抽出したピーク画素422と、上記特徴位置算出部133が算出した特徴位置423とに基づいて、上記ピーク画素422の位置と特徴位置423との間の距離を算出して、特徴距離433とする。
上記特徴方位算出部135は、上記処理装置911を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部132が抽出したピーク画素422と、上記特徴位置算出部133が算出した特徴位置423とに基づいて、上記ピーク画素422の位置から見た上記特徴位置423の方位を算出して、特徴方位434とする。
上記相関処理部140は、上記処理装置911を用いて、上記特徴距離算出部134が算出した特徴距離433と、上記特徴方位算出部135が算出した特徴方位434とを含む相関パラメータに基づいて、上記複数の画像の相関処理をする。
実施の形態2について、図10〜図11を用いて説明する。
なお、実施の形態1と共通する部分については、同一の符号を付し、説明を省略する。
特徴位置算出工程S530は、目標選択工程S531、初期化工程S532、目標画素選択工程S533、目標画素計数工程S534、x座標累計工程S535、y座標累計工程S536、x座標算出工程S537、y座標算出工程S538を有する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部133は、処理装置911を用いて、特徴位置算出工程S530を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部133は、処理装置911を用いて、初期化工程S532へ進む。
目標選択工程S531で選択したグループに属する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部133は、処理装置911を用いて、x座標算出工程S537へ進む。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部133は、処理装置911を用いて、目標画素計数工程S534へ進む。
特徴位置算出部133は、処理装置911を用いて、目標画素選択工程S533に戻り、次の目標画素を選択する。
特徴位置算出部133は、処理装置911を用いて、目標選択工程S531に戻り、次のグループを選択する。
また、特徴位置算出部133は、特徴位置として、重心位置だけでなく、他の実施の形態で説明する他の特徴点の位置を算出し、1つの目標領域について、複数の特徴位置を算出する構成であってもよい。
この実施の形態における目標追尾装置100によれば、特徴位置算出部133が算出した重心位置に基づいて、特徴距離算出部134が特徴距離を算出し、特徴方位算出部135が特徴方位を算出し、算出した特徴距離や特徴方位を含む相関パラメータに基づいて相関処理部140が相関処理をするので、比較的狭い範囲内に複数のピーク画素がある場合でも、少ない計算量で精度の高い相関処理をすることができる。
目標追尾装置100は、例えば、信号処理部(画像入力部111)、ゲート内判定処理部(ゲート処理部120)、特徴量抽出処理部(特徴量抽出部130)、相関処理部140、平滑処理部150、予測処理部160を有する。
特徴量抽出処理部は、例えば、目標領域判定処理部(目標画素抽出部131)、ピーク画素判定処理部(ピーク画素抽出部132)、ピーク画素位置抽出処理部(ピーク画素抽出部132)、目標領域重心点位置抽出処理部(特徴位置算出部133)、目標重心点・ピーク画素間距離(重心距離)算出処理部(特徴距離算出部134)、目標重心点・ピーク画素間方位(重心方位)算出処理部(特徴方位算出部135)を有する。
次に、ピーク画素判定処理部が、目標領域判定処理部が目標領域と判定した領域中でピーク画素となる画素を抽出する。ピーク画素とは、例えば、3×3画素領域内で、中央の画素が最大値となる(周辺の8個の画素よりも画素値が大きい)場合における中央の画素のことである。
次に、ピーク画素位置抽出処理部が、ピーク画素判定処理部が抽出したピーク画素の画像内での位置情報を抽出する。
次に、目標領域重心点位置抽出処理部が、目標領域判定処理部が目標領域と判定した領域の重心点の位置情報を抽出する。重心点の座標は、例えば、閾値処理によって抽出された目標領域内全画素のx座標値とy座標値を合算し、目標領域内全画素数で割った値である。
次に、目標重心点・ピーク画素間距離(重心距離)算出処理部が、目標領域重心点位置抽出処理部が抽出した目標領域の重心点の位置から、ピーク画素位置抽出処理部が抽出したピーク画素の画像内での位置までの距離を算出し、特徴量とする。
次に、目標重心点・ピーク画素間方位(重心方位)算出処理部が、目標領域重心点位置抽出処理部が抽出した目標領域の重心点の位置から、ピーク画素位置抽出処理部が抽出したピーク画素の画像内での位置までの方位を算出し、特徴量とする。
相関処理部140は、例えば、ピーク画素数算出処理部、ピーク画素位置相関処理部、ピーク画素位置・重心距離・重心方位相関処理部、追尾対象点確定処理部を有する。
ピーク画素数判定処理部が算出したピーク画素数が単数である場合、ピーク画素位置相関処理部が、ピーク画素の位置情報のみによる相関処理を実施する。
ピーク画素数判定処理部が算出したピーク画素数が複数である場合、ピーク画素位置・重心距離・重心方位相関処理部が、ピーク画素の位置情報と、重心距離と、重心方位を使った相関処理を実施する。
次に、追尾対象点確定処理部が、相関されたピーク画素を追尾対象点として抽出する。
例えば、フレーム番号T1の画像において、ある目標領域内に2つのピーク画素が抽出され、左側のピーク画素のほうが画素値が大きい。
次のフレームであるフレーム番号T2の画像において、同じように、2つのピーク画素が抽出される。しかし、ピーク画素の間の画素値の大小関係が逆転し、右側のピーク画素のほうが画素値が大きい。
その次のフレームであるフレーム番号T3の画像においても同様に、2つのピーク画素が抽出され、ピーク画素の画素値の大小関係は、フレーム番号T1の画像の状態に戻っている。
これにより、フレーム間で画素値最大ピーク画素の出現位置が変動するような画像による相関を実施する場合や、また、観測点が移動することにより、目標と観測点が接近や離反をする環境下において、取得画像の目標領域がフレーム間で変形することにより、目標領域の重心位置がフレーム間で変動するような画像による相関を実施する場合であっても、追尾の維持が可能となる。
実施の形態3について、図12〜図13を用いて説明する。
なお、実施の形態1と共通する部分については、同一の符号を付し、説明を省略する。
特徴位置算出工程S530は、目標選択工程S551、初期化工程S552、左側目標画素選択工程S553、右側目標画素選択工程S554、距離算出工程S555、距離比較工程S556、距離記憶工程S557、左側目標画素記憶工程S558、右側目標画素記憶工程S559を有する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部133は、処理装置911を用いて、特徴位置算出工程S530を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部133は、処理装置911を用いて、初期化工程S552へ進む。
目標選択工程S551で選択したグループに属する目標画素のうち左隣が目標画素でない画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部133は、処理装置911を用いて、目標選択工程S551に戻り、次のグループを選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部133は、処理装置911を用いて、右側目標画素選択工程S554へ進む。
目標選択工程S551で選択したグループに属する目標画素のうち右隣が目標画素でない画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部133は、処理装置911を用いて、左側目標画素選択工程S553に戻り、左側の次の目標画素を選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部133は、処理装置911を用いて、距離算出工程S555へ進む。
距離算出工程S555で算出した距離が長軸距離よりも大きい場合、特徴位置算出部133は、処理装置911を用いて、距離記憶工程S557へ進む。
距離算出工程S555で算出した距離が長軸距離よりも小さい場合、特徴位置算出部133は、処理装置911を用いて、右側目標画素選択工程S554に戻り、右側の次の目標画素を選択する。
特徴位置算出部133は、処理装置911を用いて、右側目標画素選択工程S554に戻り、右側の次の目標画素を選択する。
目標領域内の長軸とは、目標領域を構成する画素群において、目標領域内と目標領域外の境界に位置する画素を境界画素と設定し、2つの境界画素間の離隔距離が最長となる距離を目標領域長軸として設定したものである。
まず、目標画素抽出部131は、目標領域を抽出する。
次に、特徴位置算出部133は、目標領域長軸を構成する2つの境界画素を長軸構成画素[A][B](特徴点)とする。特徴位置算出部133は、目標領域内の境界画素間で最長となる距離を目標領域長軸とし、ペアとなる境界画素を長軸端部画素[A]、長軸端部画素[B]とする。
次に、ピーク画素抽出部132は、目標領域内で追尾対象候補となるピーク画素[a]、ピーク画素[b]を抽出する。
次に、特徴距離算出部134及び特徴方位算出部135は、この長軸構成画素から、追尾対象とするピーク画素[a]までの距離と方位を算出する。長軸構成画素は2つ存在しているため、長軸構成画素[A]からピーク画素[a]までの距離を「長軸端部距離[A][a]」、長軸構成画素[B]からピーク画素[a]までの距離を「長軸端部距離[B][a]」とする。また、長軸構成画素[A]からピーク画素[a]までの方位を「長軸端部方位[A][a]」、長軸構成画素[B]からピーク画素[a]までの方位を「長軸端部方位[B][a]」とする。特徴距離算出部134及び特徴方位算出部135は、目標領域内のピーク画素[a]と長軸端部画素[A]との距離(長軸端部距離[A][a])と方位(長軸端部方位[A][a])とを抽出する。特徴距離算出部134及び特徴方位算出部135は、目標領域内のピーク画素[a]と長軸端部画素[B]との距離(長軸端部距離[B][a])と方位(長軸端部方位[B][a])とを抽出する。特徴距離算出部134及び特徴方位算出部135は、その他のピーク画素[b]にも同等の処理を行い、値を保持する。
相関処理部140は、抽出された長軸端部距離と長軸端部方位とを新たな相関パラメータとして使用する。
実施の形態4について、図14〜図15を用いて説明する。
なお、実施の形態1と共通する部分については、同一の符号を付し、説明を省略する。
特徴位置算出工程S530は、目標選択工程S561、目標画素選択工程S562、初期化工程S563、周辺画素選択工程S564、目標画素判定工程S565、周辺目標画素計数工程S566、閾値判定工程S567、突出画素記憶工程S568を有する。
すべてのグループが選択済であり、まだ選択していないグループがない場合、特徴位置算出部133は、処理装置911を用いて、特徴位置算出工程S530を終了する。
未選択のグループがあり、グループを選択した場合、特徴位置算出部133は、処理装置911を用いて、目標画素選択工程S562へ進む。
目標選択工程S561で選択したグループに属する目標画素がすべて選択済であり、まだ選択していない目標画素がない場合、特徴位置算出部133は、処理装置911を用いて、目標選択工程S561に戻り、次のグループを選択する。
未選択の目標画素があり、目標画素を選択した場合、特徴位置算出部133は、処理装置911を用いて、初期化工程S563へ進む。
目標画素選択工程S562で選択した目標画素の周辺に位置する画素がすべて選択済であり、まだ選択していない画素がない場合、その目標画素は突出画素である。特徴位置算出部133は、処理装置911を用いて、突出画素記憶工程S568へ進む。
未選択の画素があり、画素を選択した場合、特徴位置算出部133は、処理装置911を用いて、目標画素判定工程S565へ進む。
周辺画素選択工程S564で選択した画素が目標画素である場合、特徴位置算出部133は、処理装置911を用いて、周辺目標画素計数工程S566へ進む。
周辺画素選択工程S564で選択した画素が目標画素でない場合、特徴位置算出部133は、処理装置911を用いて、周辺画素選択工程S564に戻り、次の周辺画素を選択する。
周辺目標画素の数が閾値以上である場合、その目標画素は突出画素ではない。特徴位置算出部133は、処理装置911を用いて、目標画素選択工程S562に戻り、次の目標画素を選択する。
周辺目標画素の数が閾値未満である場合、その目標画素が突出画素であるか否かはまだわからない。特徴位置算出部133は、処理装置911を用いて、周辺画素選択工程S564に戻り、次の周辺画素を選択する。
特徴位置算出部133は、処理装置911を用いて、目標画素選択工程S562に戻り、次の目標画素を選択する。
目標領域内の特徴的な形状とは、目標領域を構成する画素群において、目標領域内と目標領域外の境界に位置する画素において、1画素のみ目標領域外へ突き出した形状をしているような画素(突出画素)を指しており、任意に指定可能とする。特徴的な形状の画素のことを、特徴的形状画素と呼ぶ。
まず、目標画素抽出部131は、目標領域を抽出する。
次に、特徴位置算出部133は、目標領域内の特徴的な形状を示す画素を特徴的形状画素[A]とする。
次に、ピーク画素抽出部132は、目標領域内で追尾対象候補となるピーク画素[a]、ピーク画素[b]を抽出する。
次に、特徴距離算出部134及び特徴方位算出部135は、この特徴的形状画素[A]から、追尾対象とするピーク画素[a]までの距離と方位を算出する。特徴的形状画素[A]からピーク画素[a]までの距離を「特徴的形状画素距離[A][a]」とする。また、特徴的形状画素[A]からピーク画素[a]までの方位を「特徴的形状画素方位[A][a]」とする。特徴距離算出部134及び特徴方位算出部135は、目標領域内のピーク画素[a」と、特徴的形状画素[A]との距離(特徴形状画素距離[A][a])と方位(特徴形状画素方位[A][a])とを抽出する。特徴距離算出部134及び特徴方位算出部135は、その他のピーク画素[b]にも同等の処理を行い、値を保持する。
相関処理部140は、抽出された特徴形状画素距離と特徴形状画素方位とを新たな相関パラメータとして使用する。
実施の形態5について、図16〜図17を用いて説明する。
なお、実施の形態1と共通する部分については、同一の符号を付し、説明を省略する。
なお、第一次相関処理において、相関処理部140は、特徴距離や特徴方位を使わず、ピーク画素の位置に基づいて、目標領域の相関処理をする構成であってもよい。あるいは、1つの目標領域を代表するピーク画素として、画素値が最も大きい1個のピーク画素を用い、相関処理部140は、目標領域内で画素値が最も大きいピーク画素の位置に基づいて、目標領域の相関処理をする構成であってもよい。
特徴量抽出処理S500は、実施の形態1で説明した工程に加えて、更に、第一次相関工程S550、平均特徴位置算出工程S560、前回特徴距離方位算出工程S570、今回特徴距離方位算出工程S580を有する。
入力画像において抽出される重心点の位置が、連続する2フレーム間における変動が大きい場合において、特徴位置算出部133は、連続する2フレーム間での重心点の位置の平均値を算出(これを「フレーム間平均重心点」とする)する。特徴位置算出部133は、隣接するフレーム間で重心点の出現位置を抽出する。特徴位置算出部133は、重心点T1と重心点T2との平均値を算出し、フレーム間平均重心点とする。
平均位置を算出するのに使用した連続する2フレームでは、特徴距離算出部134及び特徴方位算出部135は、この「フレーム間平均重心点」からピーク画素までの距離と方位を、「重心距離」と「重心方位」として算出する。
相関処理部140は、フレーム間平均重心点を使った重心方位・重心距離を相関パラメータとして使用する。これにより、フレーム間で位置の変動の大きな重心点を相関パラメータとして使用することができる。
Claims (7)
- 目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾装置において、
データを記憶する記憶装置と、データを処理する処理装置と、画像記憶部と、目標画素抽出部と、ピーク画素抽出部と、特徴位置算出部と、特徴距離算出部と、特徴方位算出部と、相関処理部とを有し、
上記画像記憶部は、上記記憶装置を用いて、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記目標画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記ピーク画素抽出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記画像記憶部が記憶した複数の画素値に基づいて、上記目標画素抽出部が抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記目標画素抽出部が抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記特徴距離算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記特徴方位算出部は、上記処理装置を用いて、上記複数の画像それぞれについて、上記ピーク画素抽出部が抽出したピーク画素と、上記特徴位置算出部が算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記相関処理部は、上記処理装置を用いて、上記特徴距離算出部が算出した特徴距離と、上記特徴方位算出部が算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする目標追尾装置。 - 上記特徴位置算出部は、上記処理装置を用いて、上記目標画素の位置を平均して、重心位置を算出し、算出した重心位置を特徴位置とすることを特徴とする請求項1に記載の目標追尾装置。
- 上記特徴位置算出部は、上記処理装置を用いて、上記目標画素のなかから、互いの距離が最も離れた2つの画素を判定し、判定した2つの画素それぞれの位置を特徴位置とすることを特徴とする請求項1または請求項2に記載の目標追尾装置。
- 上記特徴位置算出部は、上記処理装置を用いて、上記目標画素のなかから、突出した先端の画素を抽出して、突出画素とし、抽出した突出画素の位置を特徴位置とすることを特徴とする請求項1乃至請求項3のいずれかに記載の目標追尾装置。
- 上記特徴位置算出部は、上記処理装置を用いて、上記複数の画像それぞれについて算出した特徴位置を平均して、平均特徴位置を算出し、算出した平均特徴位置を上記複数の画像についての特徴位置とすることを特徴とする請求項1乃至請求項4のいずれかに記載の目標追尾装置。
- データを記憶する記憶装置と、データを処理する処理装置とを有するコンピュータが実行することにより、上記コンピュータが請求項1乃至請求項5のいずれかに記載の目標追尾装置として機能することを特徴とするコンピュータプログラム。
- データを記憶する記憶装置と、データを処理する処理装置とを有する目標追尾装置が、目標を観測した量を表わす画素値を有する少なくとも二次元に配置された複数の画素により構成された画像に基づいて、上記目標を追尾する目標追尾方法において、
上記記憶装置が、観測時刻が異なる複数の画像について、上記複数の画素それぞれの画素値を記憶し、
上記処理装置が、上記複数の画像それぞれについて、上記記憶装置が記憶した複数の画素値に基づいて、上記画像に含まれる複数の画素のなかから、上記画素の画素値が所定の閾値より大きく、かつ、不連続でない画素を抽出して、目標画素とし、
上記処理装置が、上記複数の画像それぞれについて、上記記憶装置が記憶した複数の画素値に基づいて、抽出した目標画素のなかから、隣接する画素よりも画素値が大きい画素を抽出して、ピーク画素とし、
上記処理装置が、上記複数の画像それぞれについて、抽出した目標画素に基づいて、上記目標の特徴を表わす特徴点の位置を算出して、特徴位置とし、
上記処理装置が、上記複数の画像それぞれについて、抽出したピーク画素と、算出した特徴位置とに基づいて、上記ピーク画素の位置と特徴位置との間の距離を算出して、特徴距離とし、
上記処理装置が、上記複数の画像それぞれについて、抽出したピーク画素と、算出した特徴位置とに基づいて、上記ピーク画素の位置から見た上記特徴位置の方位を算出して、特徴方位とし、
上記処理装置が、算出した特徴距離と、算出した特徴方位とを含む相関パラメータに基づいて、上記複数の画像の相関処理をすることを特徴とする目標追尾方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021750A JP2011158409A (ja) | 2010-02-03 | 2010-02-03 | 目標追尾装置及びコンピュータプログラム及び目標追尾方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021750A JP2011158409A (ja) | 2010-02-03 | 2010-02-03 | 目標追尾装置及びコンピュータプログラム及び目標追尾方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011158409A true JP2011158409A (ja) | 2011-08-18 |
Family
ID=44590473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010021750A Pending JP2011158409A (ja) | 2010-02-03 | 2010-02-03 | 目標追尾装置及びコンピュータプログラム及び目標追尾方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011158409A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013190421A (ja) * | 2012-03-14 | 2013-09-26 | Honda Motor Co Ltd | 車両において通行物体位置検出を向上する方法 |
JP2017049203A (ja) * | 2015-09-04 | 2017-03-09 | 株式会社東芝 | 代表静止画を決定するための代表静止画決定装置、プログラム、レーダ装置、およびレーダ装置を搭載する航空機 |
JPWO2016174929A1 (ja) * | 2015-04-28 | 2018-02-08 | 古野電気株式会社 | 信号処理装置、及びレーダ装置 |
JP2018096838A (ja) * | 2016-12-13 | 2018-06-21 | 株式会社東芝 | レーダ装置、信号処理装置および信号処理方法 |
WO2023032600A1 (ja) * | 2021-08-30 | 2023-03-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0943348A (ja) * | 1995-08-03 | 1997-02-14 | Toshiba Corp | レーダイメージ信号処理装置 |
JPH11109013A (ja) * | 1997-10-06 | 1999-04-23 | Mitsubishi Electric Corp | 目標探知装置 |
JP2000275338A (ja) * | 1999-03-25 | 2000-10-06 | Mitsubishi Electric Corp | 目標識別装置および目標識別方法 |
JP2002267748A (ja) * | 2001-03-13 | 2002-09-18 | Mitsubishi Electric Corp | 目標識別装置 |
JP2005260633A (ja) * | 2004-03-12 | 2005-09-22 | Fujitsu Ltd | マルチモード追尾方式 |
JP2005337854A (ja) * | 2004-05-26 | 2005-12-08 | Nec Corp | 目標類別方法および装置 |
JP2007164288A (ja) * | 2005-12-09 | 2007-06-28 | Toshiba Corp | 目標物体識別装置 |
JP2008042808A (ja) * | 2006-08-10 | 2008-02-21 | Toshiba Corp | 目標検出追随装置 |
-
2010
- 2010-02-03 JP JP2010021750A patent/JP2011158409A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0943348A (ja) * | 1995-08-03 | 1997-02-14 | Toshiba Corp | レーダイメージ信号処理装置 |
JPH11109013A (ja) * | 1997-10-06 | 1999-04-23 | Mitsubishi Electric Corp | 目標探知装置 |
JP2000275338A (ja) * | 1999-03-25 | 2000-10-06 | Mitsubishi Electric Corp | 目標識別装置および目標識別方法 |
JP2002267748A (ja) * | 2001-03-13 | 2002-09-18 | Mitsubishi Electric Corp | 目標識別装置 |
JP2005260633A (ja) * | 2004-03-12 | 2005-09-22 | Fujitsu Ltd | マルチモード追尾方式 |
JP2005337854A (ja) * | 2004-05-26 | 2005-12-08 | Nec Corp | 目標類別方法および装置 |
JP2007164288A (ja) * | 2005-12-09 | 2007-06-28 | Toshiba Corp | 目標物体識別装置 |
JP2008042808A (ja) * | 2006-08-10 | 2008-02-21 | Toshiba Corp | 目標検出追随装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013190421A (ja) * | 2012-03-14 | 2013-09-26 | Honda Motor Co Ltd | 車両において通行物体位置検出を向上する方法 |
JPWO2016174929A1 (ja) * | 2015-04-28 | 2018-02-08 | 古野電気株式会社 | 信号処理装置、及びレーダ装置 |
US10948570B2 (en) | 2015-04-28 | 2021-03-16 | Furuno Electric Company Limited | Signal processor and radar apparatus |
JP2017049203A (ja) * | 2015-09-04 | 2017-03-09 | 株式会社東芝 | 代表静止画を決定するための代表静止画決定装置、プログラム、レーダ装置、およびレーダ装置を搭載する航空機 |
JP2018096838A (ja) * | 2016-12-13 | 2018-06-21 | 株式会社東芝 | レーダ装置、信号処理装置および信号処理方法 |
WO2023032600A1 (ja) * | 2021-08-30 | 2023-03-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11392146B2 (en) | Method for detecting target object, detection apparatus and robot | |
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP5654223B2 (ja) | 画像処理装置、これを搭載したレーダ装置、画像処理方法及び画像処理プログラム | |
US7436982B2 (en) | Vehicle surroundings monitoring apparatus | |
JP2011158409A (ja) | 目標追尾装置及びコンピュータプログラム及び目標追尾方法 | |
US20210365711A1 (en) | Character Recognition in Air-Writing Based on Network of Radars | |
EP2541465A2 (en) | Vehicle periphery monitoring system | |
JP6356266B2 (ja) | 群集監視システム | |
US20120243733A1 (en) | Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program | |
US20130343604A1 (en) | Video processing apparatus and video processing method | |
CN109829933B (zh) | 影像目标追踪方法及装置 | |
JP5065449B2 (ja) | 消失点推定装置およびプログラム | |
US10909688B2 (en) | Moving body tracking device, moving body tracking method, and moving body tracking program | |
JP2009026223A (ja) | 物体検出装置及びプログラム | |
US20200033949A1 (en) | Method and device for recognizing pointing location by using radar | |
JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
KR102254331B1 (ko) | 공중 제스쳐 인식 장치 및 방법 | |
JP7196999B2 (ja) | オブジェクト検出・追跡装置、方法、およびプログラム | |
JP2010251849A (ja) | 目標追尾装置、目標追尾方法 | |
US7773771B2 (en) | Video data tracker | |
EP3098682B1 (en) | Moving object controller, program, and integrated circuit | |
CN116184386A (zh) | 一种目标跟踪方法、设备和存储介质 | |
JP5829155B2 (ja) | 歩行者検出装置及びプログラム | |
JP7375806B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP5464073B2 (ja) | 車外環境認識装置、車外環境認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120808 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20121207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140212 |