JP2004310281A - 物体追跡装置 - Google Patents
物体追跡装置 Download PDFInfo
- Publication number
- JP2004310281A JP2004310281A JP2003100430A JP2003100430A JP2004310281A JP 2004310281 A JP2004310281 A JP 2004310281A JP 2003100430 A JP2003100430 A JP 2003100430A JP 2003100430 A JP2003100430 A JP 2003100430A JP 2004310281 A JP2004310281 A JP 2004310281A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tracking
- target
- frequency
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】処理負荷を多大にすることなく、対象の位置検出の精度を向上させることが可能な物体追跡装置を提供する。
【解決手段】追跡領域設定部１２は、画像入力部１０により取得した撮像画像内に追跡対象を含む追跡領域を設定する。そして、対象画像処理部１５は、追跡領域を周波数解析し、照合領域設定部１６は、周波数解析の結果から所望する周波数成分が最も強く検出される領域を、照合領域として設定する。画像照合部１４は、この照合領域と撮像画像とによりマッチング処理を行うと共に、位置誤差特性に基づいて、追跡対象の位置を補正し詳細に特定する。
【選択図】 図１
【解決手段】追跡領域設定部１２は、画像入力部１０により取得した撮像画像内に追跡対象を含む追跡領域を設定する。そして、対象画像処理部１５は、追跡領域を周波数解析し、照合領域設定部１６は、周波数解析の結果から所望する周波数成分が最も強く検出される領域を、照合領域として設定する。画像照合部１４は、この照合領域と撮像画像とによりマッチング処理を行うと共に、位置誤差特性に基づいて、追跡対象の位置を補正し詳細に特定する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、物体追跡装置に関する。
【０００２】
【従来の技術】
従来、入力した画像情報に基づいて特定の物体を追跡する物体追跡装置が提案されている。この装置では、画像情報から対象物の位置を正確に検出することが重要であり、対象物の位置の検出方法としては、主にテンプレートマッチング処理が用いられている。
【０００３】
また近年、物体追跡装置において対象物の位置の検出精度向上が望まれており、サブピクセル処理等が行われるようになってきている。サブピクセル処理とは、相関係数の分布を２次曲線近似してその近似曲線のピーク位置を求め、１画素以下のオーダで対象物を検出する処理である。
【０００４】
また、相関係数等の複数の特徴量を求め、それら複数の特徴量に基づき、正確に対象物の位置を検出する移動体追跡装置が提案されている。この装置では、色分解原画像と色テンプレートとの相関演算により、第１の相関値の分布を求めて二次元マップを形成すると共に、微分画像と微分テンプレートとの相関演算により、第２の相関値の分布を求めて二次元マップを形成している。さらに、上記移動体追跡装置では、ターゲットの過去の動きに基づいてターゲットの動きを予測し、その動きの予測を動き予測値の分布として求めている。そして、これらの二次元マップ、これら３つの手法による結果を一つのマップに統合し、その統合されたマップに基づき、ターゲット位置を検出するようにしている。（特許文献１参照）
【０００５】
【特許文献１】
特開平１１−８６００４号公報
【０００６】
【発明が解決しようとする課題】
サブピクセルオーダでの位置決めを行う場合、上述のような相関係数の分布に対して多項式で近似し、多項式のピークとなる位置から対象の位置を特定している。しかしながら、求められる相関係数のピーク位置は、対象が持つテクスチャや模様に大きく依存するため、必ずしも正確に対象の位置を表しているとは限らない。
【０００７】
また、特許文献１の装置では、色分解原画像および空間微分処理を施した微分画像についての相関係数の分布を求め、さらに対象の過去の動きに基づき、対象の動き予測値の分布を求めた上で、これら２次元マップで表される分布を統合し、対象の位置を計測している。このため、多大な相関演算および予測演算が必要となり、処理負荷も同様に多大なものとなってしまう。
【０００８】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、処理負荷を多大にすることなく、対象の位置検出の精度を向上させることが可能な物体追跡装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、物体を含む撮像画像を取得する画像入力手段と、画像入力手段により取得された撮像画像に対し、追跡対象を含む追跡領域を設定する追跡領域設定手段と、追跡領域設定手段により設定された追跡領域を周波数解析する対象画像処理手段と、空間周波数に対する位置決め精度を表し且つ予め測定された精度特性に基づいて、対象画像処理手段により周波数解析された追跡領域内に特定周波数成分を有する領域を照合領域として設定する照合領域設定手段と、画像入力手段により取得された撮像画像、照合領域設定手段により設定された照合領域、及び予め測定された特定周波数成分についての位置誤差特性に基づいて、追跡対象の位置を特定する照合処理手段とを備える。
【００１０】
【発明の効果】
本発明によれば、空間周波数に対する位置決め精度を表す精度特性に基づいて照合領域を設定する。このため、位置決め精度の高い照合領域を設定することが可能となり、精度良く追跡対象を検出することができる。また、撮像画像、照合領域及び位置誤差特性に基づき追跡対象の位置を特定している。すなわち、精度よく検出された追跡対象の位置を、位置誤差特性に基づいて補正し、さらなる精度向上を図っている。故に、追跡対象の検出精度を向上させることができる。
【００１１】
また、追跡領域内における特定周波数成分を有する領域を照合領域として設定している。すなわち、照合領域を設定することで周波数を特定することを行っており、補正を行うためにあらゆる周波数に対応した位置誤差特性を必要せず、どの周波数に対応した位置誤差特性を使用すべきかを判断等する必要がない。このため、演算負荷の多大な増加を招くことがない。
【００１２】
従って、処理負荷を多大にすることなく、対象の位置検出の精度を向上させることができる。
【００１３】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の説明においては、車両に搭載され追跡対象として他車両を追跡する物体追跡装置を例に説明する。
【００１４】
図１は、本発明の第１実施形態に係る物体追跡装置の構成図である。同図に示す物体追跡装置１は、画像入力部（画像入力手段）１０と、入力画像記憶部（画像入力手段）１１と、追跡領域設定部（追跡領域設定手段）１２と、画像解析部１３と、画像照合部（照合処理手段）１４とを備えている。
【００１５】
画像入力部１０は、自車両前方等に存在する物体を撮像して、自車両前方の物体を含んだ撮像画像を時系列的に取得するものであり、具体的には、ＣＣＤやＣＭＯＳ等の光電変換を行う撮像装置である。また、画像入力部１０は、フレームレートが可変にされており、追跡対象の動き等に応じて好適に撮像することが可能とされている。この画像入力部１０は、取得した撮像画像のデータを入力画像記憶部１１に送出する。
【００１６】
入力画像記憶部１１は、画像入力部１０が取得した撮像画像を記憶保持するフレームメモリであり、撮像画像を所定画像数記憶することが可能である。また、入力画像記憶部１１は、所定画像数だけフレーム加算して記憶する構成とされていてもよい。
【００１７】
追跡領域設定部１２は、入力画像記憶部１１に記憶された撮像画像に対し、追跡対象を含む追跡領域を設定するものである。詳しくは、追跡領域設定部１２は、画像入力部１０が撮像画像を所定画像数取得する毎に、そのうちの１画像に対して追跡領域を設定するものである。また、入力画像記憶部１１が所定画像数だけフレーム加算して記憶する構成とされている場合、追跡領域設定部１２は、フレーム加算により得られた合成画像に対し追跡領域を設定することとなる。
【００１８】
図２は、追跡領域の説明図である。同図に示すように、追跡領域設定部１２は、画像入力部１０により取得された撮像画像２０に追跡対象２１を含む追跡領域２２を設定する。この追跡領域２２は、例えば撮像して得られる画像内の特徴点と本装置１が記憶する追跡対象２１の特徴点とを比較し一致するか否か等を判断することによって特定される。そして、追跡領域２２が特定されると、その情報は、撮像画像のデータと共に画像解析部１３に送出される。
【００１９】
画像解析部１３は、対象画像処理部（対象画像処理手段）１５、及び照合領域設定部（照合領域設定手段）１６とを有している。
【００２０】
対象画像処理部１５は、追跡領域設定部１２により設定された追跡領域２２の周波数解析を行うものである。ここで周波数解析は例えば以下のようにして行われる。
【００２１】
図３は、本実施形態に係る物体追跡装置１の周波数解析方法の説明図である。
【００２２】
まず、対象画像処理部１５は、追跡領域２２を複数の解析領域２２ａに分割する。例えば、図３に示すように、追跡領域２２を４×５の正方形状に分割する。そして、対象画像処理部１５は、分割して得られた複数の解析領域２２ａそれぞれについて、周波数解析を行う。
【００２３】
図４は、周波数解析の具体的内容を示す説明図であり、（ａ）は画像データ例を示し、（ｂ）は画像データ例の濃度分布を示し、（ｃ）は画像データ例におけるパワースペクトルを示している。
【００２４】
図４（ａ）に示す画像は、Ｘ軸方向に順次濃度が変化しており、Ｙ軸方向に濃度が一定となっている。この画像においてＸ軸方向の各濃度値は、Ｘ軸を横軸としたグラフに示すと、図４（ｂ）に示すように、濃度値「１２７」を振幅の中心とする正弦波を描くようになる。
【００２５】
そして、このような変化を示す画像を、例えばフーリエ変換すると、図４（ｃ）に示すようなパワースペクトルが得られる。ここで、図４（ａ）に示す画像では単一周期の濃度変化しかしないため、パワースペクトルは、図４（ａ）が有する濃度変化の周期と周波数ゼロの成分とが強く観測される。なお、周波数ゼロの成分は、画像中における変動しない直流成分であり、図４（ｂ）で言えば濃度値「１２７」が反映されているものである。
【００２６】
このようにして対象画像処理部１５は、周波数解析を行って、各解析領域２２ａのパワースペクトルを得る。そして、各解析領域２２ａのパワースペクトルデータを照合領域設定部１６に送出する。
【００２７】
照合領域設定部１６は、対象画像処理部１５の周波数解析の結果に基づき、追跡領域２２の一部に照合領域を設定するものである。ここで、照合領域の設定方法について説明する。図５は、照合領域の設定方法の説明図である。
【００２８】
各解析領域２２ａのパワースペクトルを得た後、照合領域設定部１６は、各解析領域２２ａのパワースペクトルに基づいて、１の解析領域２２ａを選択し、選択したものを照合領域２３とする。具体的には、図５に示すように、複数の解析領域２２ａのうち特定の周波数成分が最も強く得られるパワースペクトルを有する１の解析領域２２ａを選択する。ここで、特定の周波数成分とは、予め定められているものであり、具体的には以下のようなものである。
【００２９】
図６は、特定の周波数成分の説明図である。物体を撮影して位置を特定する装置において、物体位置の検出精度は、追跡対象２１となる物体の模様やテクスチャに大きく依存する。すなわち、図６に示すように、追跡対象２１となる物体の模様やテクスチャを反映する追跡対象２１の空間周波数により、物体位置の検出精度が異なってくる。具体的には、追跡対象２１の空間周波数が低い場合、物体位置の検出精度がよく、追跡対象２１の空間周波数が多少高くなると、物体位置の検出精度が悪くなる。そして、さらに追跡対象２１の空間周波数が高くなると、物体位置の検出精度は最も良好となり、その後空間周波数が高くなるにつれて物体位置の検出精度は悪くなっていく。
【００３０】
照合領域２３を設定する際には、図６に示すように、物体位置の検出精度が最も良好となる特定の周波数帯域内の周波数成分を基準に解析領域２２ａを選択する。すなわち、照合領域設定部１６は、物体位置の検出精度が最も良好となるように、照合領域２３を設定している。なお、以下において、図６に示すような空間周波数に対する位置決め精度を表す特性を精度特性という。
【００３１】
このように、周波数解析及び照合領域２３の設定がなされると、画像解析部１３は、撮像画像２０と照合領域２３とのデータとを画像照合部１４に送出する。
【００３２】
画像照合部１４は、撮像画像２０と、照合領域設定部１６により設定された照合領域２３とをマッチング処理するものであり、マッチング処理に際してサブピクセル処理を実行するものである。
【００３３】
図７は、サブピクセル処理の説明図である。なお、画像照合部１４が行うマッチング処理において、テンプレート画像は照合領域２３であるが、図７においては、テンプレートとして一般的な車両画像を用いて説明するものとする。また、図７において、画像横方向をＸ軸方向とし、画像縦方向をＹ軸方向とする。
【００３４】
サブピクセル処理においては、例えば、撮像画像２０内の所定領域とテンプレートとをマッチングさせ、その類似度を相関係数として取得する。取得後、順次マッチングさせる領域を所定画素ずつ移動させていき、複数領域における相関係数を取得する。
【００３５】
このようにして、複数領域における相関係数を取得すると、その相関係数のうち最も類似度の高いもの（Ｒ０）を特定し、この位置を追跡対象が存在すると判定する。
【００３６】
次に、最も類似度の高い位置から、例えばＸ軸の負方向に１画素だけテンプレートをずらして相関係数（Ｒ１）を得る。また、同様に、Ｘ軸の正方向に１画素だけテンプレートをずらし相関係数（Ｒ２）を得ると共に、Ｙ軸の正及び負の方向に１画素だけテンプレートをずらして相関係数（Ｒ３，Ｒ４）を得る。そして、これら相関係数を所定の多項式にてフィッティングする。その様子を図８に示す。
【００３７】
図８は、複数の相関係数を多項式にてフィッティングしたときの様子を示す説明図である。同図に示すように、相関係数を所定の多項式にてフィッティングすると、画素間において相関係数の最大値が得られる場合がある。図８では、例えば相関係数Ｒ０が得られる画素位置から（ΔＸ，ΔＹ）だけずれた位置に相関係数の最大値が得られている。
【００３８】
サブピクセル処理においては、このように所定の多項式にてフィッティングすることにより、相関係数の最大値を得て、詳細に追跡対象２１の位置を検出するようにしている。
【００３９】
ところが、サブピクセル処理は追跡対象が持つテクスチャや模様に大きく依存するため、位置検出の精度は必ずしも正確とは限らない。そこで、本実施形態における画像照合部１４は、サブピクセル処理後に、予め測定された特定周波数成分についての位置誤差特性に基づいて、追跡対象２１の位置を補正する。
【００４０】
図９は、特定周波数成分についての位置誤差特性を示す説明図である。なお、図９において、横軸は、サブピクセル処理により得られた相関係数がどの画素間位置にて最大となったかを示している。すなわち、横軸は、図８を参照して説明したΔＸの位置を示している。また、縦軸は画素間位置における誤差Ｅを示している。
【００４１】
本実施形態における画像照合部１４は、同図に示すような位置誤差特性を予め記憶している。元々位置誤差特性は、追跡対象２１の或る空間周波数におけるサブピクセル処理の誤差を示すものであり、追跡対象２１の空間周波数によって異なってくるものである。図９に示す位置誤差特性は、上記の特定周波数におけるサブピクセル処理の誤差を示すものであり、Ｅ＝ｈ（ｘ）なる式で表されている。
【００４２】
画像照合部１４は、このＥ＝ｈ（ｘ）なる式により、上記サブピクセル処理にて検出された追跡対象の位置を補正する。例えば、ΔＸが「０．４」であった場合、Ｅ＝ｈ（０．４）を補正量として、ΔＸに加算（減算）することで、補正された正確な車両位置を特定することとなる。
【００４３】
なお、位置誤差特性は空間周波数によって異なってくるため、従来の物体追跡装置では、複数の位置誤差特性を記憶しておく必要があるが、本実施形態における物体追跡装置１では、特定周波数成分を基準に照合領域２３を設定しているため、１又は数個の位置誤差特性を記憶しておくだけでよい。また、上記では、主としてＸ軸方向における周波数及び誤差の補正等を説明したが、Ｙ軸方向についてもＸ軸方向と同様である。
【００４４】
次に、第１実施形態に係る物体追跡装置１の動作について、フローチャートを参照し説明する。図１０は、第１実施形態に係る物体追跡装置１の動作の概略を示すフローチャートである。入力画像記憶部１１において画像データが記憶された後、追跡領域設定部１２は、撮像画像２０内に追跡対象２１を含む追跡領域２２を設定する（ＳＴ１）。ここでは、上記したように特徴点を用いた処理などにより追跡領域を設定する。その後、対象画像処理部１５は、解析領域２２ａを設定する（ＳＴ２）。この設定は、図３を参照して説明したように、追跡領域２２を分割することによりなされる。
【００４５】
設定後、対象画像処理部１５は、解析領域２２ａそれぞれを周波数解析して、空間周波数に対するパワースペクトルを得る（ＳＴ３）。そして、照合領域設定部１６は、精度特性に基づく特定周波数成分を有する解析領域２２ａを照合領域２３として設定する（ＳＴ４）。
【００４６】
その後、画像解析部１３は、すべての所定方向での解析が終了したか否かを判断する（ＳＴ５）。本実施形態における物体追跡装置１は、追跡対象２１を他車両としているため、画像上においてＸ及びＹ軸方向にそれぞれ誤差を求めることにより、追跡対象の位置を特定することとなる。このため、ステップＳＴ５の処理では、画像上のＸ及びＹ軸方向にそれぞれについて解析が終了したか否かを判断することとなる。また、追跡対象２１が主として１方向にのみ動く物体である場合には、その方向ついて解析が終了したか否かを判断することとなる。このように、ここでの所定方向は、追跡対象２１の動きを検出したい方向に設定されるものである。
【００４７】
図１１は、追跡対象が車両である場合の所定方向での解析を示す説明図であり、（ａ）は画像横方向に周波数解析を行う場合の例を示しており、（ｂ）は画像縦方向に周波数解析を行う場合の例を示している。
【００４８】
本来、画像上における物体の動きを検出するためには、所定の２方向の動きを検出することで、あらゆる方向の動きが検出されることとなる。例えば、追跡対象が車両である場合、画像横方向（図１１（ａ））及び画像縦方向（図１１（ｂ））といったように、所定の２方向について周波数解析を行うこととなる。
【００４９】
このように、画像上における物体の動きを検出するためには、２次元画像データについて直交変換を行う必要は無く、所定方向についてのみ解析を行うことにより処理負荷を軽減させることができる。
【００５０】
なお、図５に示した照合領域２３は正方形状であったが、図１１（ａ）及び（ｂ）に示すように、周波数解析をする方向について照合領域２３を長めに設定するようにしてもよい。
【００５１】
再度、図１０を参照して説明する。すべての所定方向での解析が終了していないと判断した場合（ＳＴ５：ＮＯ）、処理はステップＳＴ３に戻り、解析が終了していない方向について順次ステップＳＴ３及びステップＳＴ４の処理を行うこととなる。
【００５２】
一方、すべての所定方向での解析が終了したと判断した場合（ＳＴ５：ＹＥＳ）、画像照合部１４は、照合領域２３をテンプレートとして、マッチング処理を行い、撮像画像２０内から追跡対象２１となる車両位置を検出する。さらに、画像照合部１４は、予め記憶されている特定周波数成分についての位置誤差特性に基づいて、検出された車両位置を補正し、詳細に車両位置を特定する（ＳＴ６）。そして、処理は終了する。
【００５３】
このようにして、第１本実施形態に係る物体追跡装置１によれば、空間周波数に対する位置決め精度を表す精度特性に基づいて照合領域２３を設定する。このため、位置決め精度の高い照合領域２３を設定することが可能となり、精度良く追跡対象２１を検出することができる。また、撮像画像２０、照合領域２３及び位置誤差特性に基づき追跡対象２１の位置を特定している。すなわち、精度よく検出された追跡対象２１の位置を、位置誤差特性に基づいて補正し、さらなる精度向上を図っている。故に、追跡対象２１の検出精度を向上させることができる。
【００５４】
また、追跡領域２２内における特定周波数成分を有する領域を照合領域２３として設定している。すなわち、照合領域２３を設定することで周波数を特定することを行っており、補正を行うためにあらゆる周波数に対応した位置誤差特性を必要せず、どの周波数に対応した位置誤差特性を使用すべきかを判断等する必要がない。このため、演算負荷の多大な増加を招くことがない。
【００５５】
従って、処理負荷を多大にすることなく、対象の位置検出の精度を向上させることができる。
【００５６】
また、フレームレートが可変とされているので、例えば追跡対象２１の移動速度が速い場合には、フレームレートを大きくして追跡対象２１の移動量を所定範囲内に収めることが可能となる。このため、例えば相関演算によるマッチングを行う際のマッチング範囲を対象の周囲１画素近傍等に限定でき、演算量が少なくすることができる。一方、追跡対象２１の移動速度が遅い場合には、フレームレートを小さくすることにより、追跡対象２１が殆ど移動していないにもかかわらず何度も追跡対象２１の位置を検出してしまうという事態を防止し、不要な演算を省略することができる。
【００５７】
さらに、フレームレートを小さくした場合には、露光時間を長くすることとなり、追跡対象の陰影を明確にし、ノイズを低減させることができる。
【００５８】
また、所定画像数を取得する毎に、そのうちの１画像に対して追跡対象を含む追跡領域２２を設定するので、追跡対象２１が殆ど移動していないにもかかわらず何度も追跡対象２１の位置を検出してしまうという事態を防止し、不要な演算を省略することができる。また、所定画像数だけフレーム加算して追跡対象を含む追跡領域を設定する場合も同様である。
【００５９】
また、追跡対象の移動を検出したい方向に周波数解析を行うので、少ない処理で一層正確に追跡対象の移動を検出することができる。
【００６０】
次に、本発明の第２実施形態を説明する。第２実施形態に係る物体追跡装置１は、第１実施形態のものと比べ、画像解析部１３及び画像照合部１４の処理内容が一部異なっている。以下、第２実施形態に係る物体追跡装置２について、第１実施形態との相違点のみ説明する。
【００６１】
図１２は、第２実施形態に係る画像解析部１３の処理内容を示す説明図である。本実施形態の対象画像処理部１５は、画像入力部１０により取得された撮像画像２０について周波数解析を行う。すなわち、撮像画像ｆａ（ｘ、ｙ）を直交変換し、Ｆａ（ｕ、ｖ）に変換する。
【００６２】
また、対象画像処理部１５は、追跡領域設定部１２により設定された追跡領域２２について周波数解析を行う。すなわち、追跡領域ｆｂ（ｘ、ｙ）を直交変換し、Ｆｂ（ｕ、ｖ）に変換する。
【００６３】
その後、照合領域設定部１６は、Ｆａ（ｕ、ｖ）に対してフィルタ処理によってＧａ（ｕ、ｖ）を得る。このとき、図６の精度特性により物体位置の検出精度が最も良好となる特定周波数帯域の成分のみが残され、他は削除されることとなる。また、照合領域設定部１６は、Ｆｂ（ｕ、ｖ）に対してフィルタ処理によってＧｂ（ｕ、ｖ）を得る。このフィルタ処理についても特定周波数帯域の成分のみが残されることとなる。
【００６４】
その後、照合領域設定部１６は、Ｇａ（ｕ、ｖ）に対して直交逆変換を行って第１周波数画像ｇａ（ｘ、ｙ）を得る。また、Ｇｂ（ｕ、ｖ）に対して直交逆変換を行って第２周波数画像ｇｂ（ｘ、ｙ）を得る。
【００６５】
そして、照合領域設定部１６は、第２周波数画像ｇｂ（ｘ、ｙ）を照合領域２３とする。図１３は、第１及び第２実施形態の照合領域２３を比較する説明図であり、（ａ）は追跡領域２２を示し、（ｂ）は第１実施形態における照合領域２３を示し、（ｃ）は第１実施形態における照合領域２３を示している。
【００６６】
図１３（ａ）に示す追跡領域２２に対し、第１実施形態では図６に示す特定周波数成分が最も強い領域を照合領域２３としていた（図１３（ｂ））。第２実施形態の場合、フィルタ処理が行われ、特定周波数帯域のみの成分が残され、他の成分は除去されることとなる。このため、得られる第２周波数画像は、例えば図１３（ｃ）に示すようになる。そして、第２実施形態では、図１３（ｃ）に示すような第２周波数画像を照合領域２３としている。
【００６７】
また、第２実施形態に係る画像照合部１４は、第１実施形態のように撮像画像２０と照合領域２３とのマッチング処理を行わず、対象画像処理部１５により生成された第１周波数画像と、照合領域２３とのマッチング処理を行う。
【００６８】
以上が第１実施形態との相違点であり、他の構成等は第１実施形態のものと同様である。従って、第２実施形態に係る物体追跡装置２は、画像入力部１０が撮像画像２０を取得すると、その画像データが入力画像記憶部１１に記憶される。そして、追跡領域設定部１２は、予め記憶される車両の特徴点等に基づいて、追跡領域２２を設定する。
【００６９】
追跡領域設定後、追跡領域設定部１２は、撮像画像２０のデータと共に追跡領域２２のデータを画像解析部１３の対象画像処理部１５に送出する。対象画像処理部１５は、撮像画像２０及び追跡領域２２内の画像部分を周波数解析する。
【００７０】
そして、対象画像処理部１５は、撮像画像２０及び追跡領域２２の解析結果の情報を照合領域設定部１６に送出する。照合領域設定部１６は、これらの周波数解析結果及び、精度特性に基づいて、第１及び第２周波数画像を生成すると共に、第２周波数画像を照合領域２３として設定する。
【００７１】
設定後、照合領域設定部１６は、その情報を画像照合部１４に送出する。画像照合部１４は、例えば照合領域２３をテンプレートとして、テンプレートマッチング処理を行い、照合領域設定部１６にて生成された第１周波数画像内から追跡対象２１となる車両位置を検出する。さらに、画像照合部１４は、予め記憶されている特定周波数帯域の成分についての位置誤差特性に基づいて、検出された車両位置を補正し、詳細に車両位置を特定する。
【００７２】
このようにして、第１本実施形態に係る物体追跡装置２によれば、第１実施形態と同様に、処理負荷を多大にすることなく、対象の位置検出の精度を向上させることができる。
【００７３】
また、第１実施形態と同様に、演算量が少なくすることができ、不要な演算を省略することができ、ノイズを低減させ、少ない処理でより正確に追跡対象の移動を検出することができる。
【００７４】
なお、第１実施形態においては、各解析領域２２ａのパワースペクトルを求め、このパワースペクトルに基づいて照合領域２３を設定しているが、これに限らず、追跡領域２２をエッジ処理し、特定の周波数成分を有すると予測される追跡領域２２内の箇所を、照合領域２３として設定するようにしてもよい。
【００７５】
また、第２実施形態においては、撮像画像２０及び追跡領域２２内の画像部分の双方を周波数解析し、さらに画像処理して第１及び第２周波数画像を生成するようにしているが、撮像画像２０を周波数解析及び画像処理して第１周波数画像を生成し、この第１周波数画像から追跡領域２２の該当部分を抽出して第２周波数画像を得るようにしてもよい。
【００７６】
また、第２実施形態においては、照合領域２３を第２周波数画像全体としているが、これに限らず、第２周波数画像の一部を照合領域としてもよい。
【００７７】
また、第１及び第２実施形態においては、サブピクセル処理の際に、テンプレート画像を１画素づつずらすようにしているが、特に１画素でなくともよく、数画素ずらすようにしてもよい。
【００７８】
また、第１及び第２実施形態に係る物体追跡装置１，２をそれぞれ組み合わせるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る物体追跡装置の構成図である。
【図２】追跡領域の説明図である。
【図３】第１実施形態に係る物体追跡装置の周波数解析方法の説明図である。
【図４】周波数解析の具体的内容を示す説明図であり、（ａ）は画像データ例を示し、（ｂ）は画像データ例の濃度分布を示し、（ｃ）は画像データ例におけるパワースペクトルを示している。
【図５】照合領域の設定方法の説明図である。
【図６】特定の周波数成分の説明図である。
【図７】サブピクセル処理の説明図である。
【図８】複数の相関係数を多項式にてフィッティングしたときの様子を示す説明図である。
【図９】特定周波数成分についての位置誤差特性を示す説明図である。
【図１０】第１実施形態に係る物体追跡装置の動作の概略を示すフローチャートである。
【図１１】追跡対象が車両である場合の所定方向での解析を示す説明図であり、（ａ）は画像横方向に周波数解析を行う場合の例を示しており、（ｂ）は画像縦方向に周波数解析を行う場合の例を示している。
【図１２】第２実施形態に係る画像解析部の処理内容を示す説明図である。
【図１３】第１及び第２実施形態の照合領域を比較する説明図であり、（ａ）は追跡領域を示し、（ｂ）は第１実施形態における照合領域を示し、（ｃ）は第１実施形態における照合領域を示している。
【符号の説明】
１，２…物体追跡装置
１０…画像入力部（画像入力手段）
１１…入力画像記憶部
１２…追跡領域設定部（追跡領域設定手段）
１３…画像解析部
１４…画像照合部（照合処理手段）
１５…対象画像処理部（対象画像処理手段）
１６…照合領域設定部（照合領域設定手段）
２０…撮像画像
２１…追跡対象
２２…追跡領域
２３…照合領域
ｇａ…第１周波数画像
ｇｂ…第２周波数画像
【発明の属する技術分野】
本発明は、物体追跡装置に関する。
【０００２】
【従来の技術】
従来、入力した画像情報に基づいて特定の物体を追跡する物体追跡装置が提案されている。この装置では、画像情報から対象物の位置を正確に検出することが重要であり、対象物の位置の検出方法としては、主にテンプレートマッチング処理が用いられている。
【０００３】
また近年、物体追跡装置において対象物の位置の検出精度向上が望まれており、サブピクセル処理等が行われるようになってきている。サブピクセル処理とは、相関係数の分布を２次曲線近似してその近似曲線のピーク位置を求め、１画素以下のオーダで対象物を検出する処理である。
【０００４】
また、相関係数等の複数の特徴量を求め、それら複数の特徴量に基づき、正確に対象物の位置を検出する移動体追跡装置が提案されている。この装置では、色分解原画像と色テンプレートとの相関演算により、第１の相関値の分布を求めて二次元マップを形成すると共に、微分画像と微分テンプレートとの相関演算により、第２の相関値の分布を求めて二次元マップを形成している。さらに、上記移動体追跡装置では、ターゲットの過去の動きに基づいてターゲットの動きを予測し、その動きの予測を動き予測値の分布として求めている。そして、これらの二次元マップ、これら３つの手法による結果を一つのマップに統合し、その統合されたマップに基づき、ターゲット位置を検出するようにしている。（特許文献１参照）
【０００５】
【特許文献１】
特開平１１−８６００４号公報
【０００６】
【発明が解決しようとする課題】
サブピクセルオーダでの位置決めを行う場合、上述のような相関係数の分布に対して多項式で近似し、多項式のピークとなる位置から対象の位置を特定している。しかしながら、求められる相関係数のピーク位置は、対象が持つテクスチャや模様に大きく依存するため、必ずしも正確に対象の位置を表しているとは限らない。
【０００７】
また、特許文献１の装置では、色分解原画像および空間微分処理を施した微分画像についての相関係数の分布を求め、さらに対象の過去の動きに基づき、対象の動き予測値の分布を求めた上で、これら２次元マップで表される分布を統合し、対象の位置を計測している。このため、多大な相関演算および予測演算が必要となり、処理負荷も同様に多大なものとなってしまう。
【０００８】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、処理負荷を多大にすることなく、対象の位置検出の精度を向上させることが可能な物体追跡装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、物体を含む撮像画像を取得する画像入力手段と、画像入力手段により取得された撮像画像に対し、追跡対象を含む追跡領域を設定する追跡領域設定手段と、追跡領域設定手段により設定された追跡領域を周波数解析する対象画像処理手段と、空間周波数に対する位置決め精度を表し且つ予め測定された精度特性に基づいて、対象画像処理手段により周波数解析された追跡領域内に特定周波数成分を有する領域を照合領域として設定する照合領域設定手段と、画像入力手段により取得された撮像画像、照合領域設定手段により設定された照合領域、及び予め測定された特定周波数成分についての位置誤差特性に基づいて、追跡対象の位置を特定する照合処理手段とを備える。
【００１０】
【発明の効果】
本発明によれば、空間周波数に対する位置決め精度を表す精度特性に基づいて照合領域を設定する。このため、位置決め精度の高い照合領域を設定することが可能となり、精度良く追跡対象を検出することができる。また、撮像画像、照合領域及び位置誤差特性に基づき追跡対象の位置を特定している。すなわち、精度よく検出された追跡対象の位置を、位置誤差特性に基づいて補正し、さらなる精度向上を図っている。故に、追跡対象の検出精度を向上させることができる。
【００１１】
また、追跡領域内における特定周波数成分を有する領域を照合領域として設定している。すなわち、照合領域を設定することで周波数を特定することを行っており、補正を行うためにあらゆる周波数に対応した位置誤差特性を必要せず、どの周波数に対応した位置誤差特性を使用すべきかを判断等する必要がない。このため、演算負荷の多大な増加を招くことがない。
【００１２】
従って、処理負荷を多大にすることなく、対象の位置検出の精度を向上させることができる。
【００１３】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、以下の説明においては、車両に搭載され追跡対象として他車両を追跡する物体追跡装置を例に説明する。
【００１４】
図１は、本発明の第１実施形態に係る物体追跡装置の構成図である。同図に示す物体追跡装置１は、画像入力部（画像入力手段）１０と、入力画像記憶部（画像入力手段）１１と、追跡領域設定部（追跡領域設定手段）１２と、画像解析部１３と、画像照合部（照合処理手段）１４とを備えている。
【００１５】
画像入力部１０は、自車両前方等に存在する物体を撮像して、自車両前方の物体を含んだ撮像画像を時系列的に取得するものであり、具体的には、ＣＣＤやＣＭＯＳ等の光電変換を行う撮像装置である。また、画像入力部１０は、フレームレートが可変にされており、追跡対象の動き等に応じて好適に撮像することが可能とされている。この画像入力部１０は、取得した撮像画像のデータを入力画像記憶部１１に送出する。
【００１６】
入力画像記憶部１１は、画像入力部１０が取得した撮像画像を記憶保持するフレームメモリであり、撮像画像を所定画像数記憶することが可能である。また、入力画像記憶部１１は、所定画像数だけフレーム加算して記憶する構成とされていてもよい。
【００１７】
追跡領域設定部１２は、入力画像記憶部１１に記憶された撮像画像に対し、追跡対象を含む追跡領域を設定するものである。詳しくは、追跡領域設定部１２は、画像入力部１０が撮像画像を所定画像数取得する毎に、そのうちの１画像に対して追跡領域を設定するものである。また、入力画像記憶部１１が所定画像数だけフレーム加算して記憶する構成とされている場合、追跡領域設定部１２は、フレーム加算により得られた合成画像に対し追跡領域を設定することとなる。
【００１８】
図２は、追跡領域の説明図である。同図に示すように、追跡領域設定部１２は、画像入力部１０により取得された撮像画像２０に追跡対象２１を含む追跡領域２２を設定する。この追跡領域２２は、例えば撮像して得られる画像内の特徴点と本装置１が記憶する追跡対象２１の特徴点とを比較し一致するか否か等を判断することによって特定される。そして、追跡領域２２が特定されると、その情報は、撮像画像のデータと共に画像解析部１３に送出される。
【００１９】
画像解析部１３は、対象画像処理部（対象画像処理手段）１５、及び照合領域設定部（照合領域設定手段）１６とを有している。
【００２０】
対象画像処理部１５は、追跡領域設定部１２により設定された追跡領域２２の周波数解析を行うものである。ここで周波数解析は例えば以下のようにして行われる。
【００２１】
図３は、本実施形態に係る物体追跡装置１の周波数解析方法の説明図である。
【００２２】
まず、対象画像処理部１５は、追跡領域２２を複数の解析領域２２ａに分割する。例えば、図３に示すように、追跡領域２２を４×５の正方形状に分割する。そして、対象画像処理部１５は、分割して得られた複数の解析領域２２ａそれぞれについて、周波数解析を行う。
【００２３】
図４は、周波数解析の具体的内容を示す説明図であり、（ａ）は画像データ例を示し、（ｂ）は画像データ例の濃度分布を示し、（ｃ）は画像データ例におけるパワースペクトルを示している。
【００２４】
図４（ａ）に示す画像は、Ｘ軸方向に順次濃度が変化しており、Ｙ軸方向に濃度が一定となっている。この画像においてＸ軸方向の各濃度値は、Ｘ軸を横軸としたグラフに示すと、図４（ｂ）に示すように、濃度値「１２７」を振幅の中心とする正弦波を描くようになる。
【００２５】
そして、このような変化を示す画像を、例えばフーリエ変換すると、図４（ｃ）に示すようなパワースペクトルが得られる。ここで、図４（ａ）に示す画像では単一周期の濃度変化しかしないため、パワースペクトルは、図４（ａ）が有する濃度変化の周期と周波数ゼロの成分とが強く観測される。なお、周波数ゼロの成分は、画像中における変動しない直流成分であり、図４（ｂ）で言えば濃度値「１２７」が反映されているものである。
【００２６】
このようにして対象画像処理部１５は、周波数解析を行って、各解析領域２２ａのパワースペクトルを得る。そして、各解析領域２２ａのパワースペクトルデータを照合領域設定部１６に送出する。
【００２７】
照合領域設定部１６は、対象画像処理部１５の周波数解析の結果に基づき、追跡領域２２の一部に照合領域を設定するものである。ここで、照合領域の設定方法について説明する。図５は、照合領域の設定方法の説明図である。
【００２８】
各解析領域２２ａのパワースペクトルを得た後、照合領域設定部１６は、各解析領域２２ａのパワースペクトルに基づいて、１の解析領域２２ａを選択し、選択したものを照合領域２３とする。具体的には、図５に示すように、複数の解析領域２２ａのうち特定の周波数成分が最も強く得られるパワースペクトルを有する１の解析領域２２ａを選択する。ここで、特定の周波数成分とは、予め定められているものであり、具体的には以下のようなものである。
【００２９】
図６は、特定の周波数成分の説明図である。物体を撮影して位置を特定する装置において、物体位置の検出精度は、追跡対象２１となる物体の模様やテクスチャに大きく依存する。すなわち、図６に示すように、追跡対象２１となる物体の模様やテクスチャを反映する追跡対象２１の空間周波数により、物体位置の検出精度が異なってくる。具体的には、追跡対象２１の空間周波数が低い場合、物体位置の検出精度がよく、追跡対象２１の空間周波数が多少高くなると、物体位置の検出精度が悪くなる。そして、さらに追跡対象２１の空間周波数が高くなると、物体位置の検出精度は最も良好となり、その後空間周波数が高くなるにつれて物体位置の検出精度は悪くなっていく。
【００３０】
照合領域２３を設定する際には、図６に示すように、物体位置の検出精度が最も良好となる特定の周波数帯域内の周波数成分を基準に解析領域２２ａを選択する。すなわち、照合領域設定部１６は、物体位置の検出精度が最も良好となるように、照合領域２３を設定している。なお、以下において、図６に示すような空間周波数に対する位置決め精度を表す特性を精度特性という。
【００３１】
このように、周波数解析及び照合領域２３の設定がなされると、画像解析部１３は、撮像画像２０と照合領域２３とのデータとを画像照合部１４に送出する。
【００３２】
画像照合部１４は、撮像画像２０と、照合領域設定部１６により設定された照合領域２３とをマッチング処理するものであり、マッチング処理に際してサブピクセル処理を実行するものである。
【００３３】
図７は、サブピクセル処理の説明図である。なお、画像照合部１４が行うマッチング処理において、テンプレート画像は照合領域２３であるが、図７においては、テンプレートとして一般的な車両画像を用いて説明するものとする。また、図７において、画像横方向をＸ軸方向とし、画像縦方向をＹ軸方向とする。
【００３４】
サブピクセル処理においては、例えば、撮像画像２０内の所定領域とテンプレートとをマッチングさせ、その類似度を相関係数として取得する。取得後、順次マッチングさせる領域を所定画素ずつ移動させていき、複数領域における相関係数を取得する。
【００３５】
このようにして、複数領域における相関係数を取得すると、その相関係数のうち最も類似度の高いもの（Ｒ０）を特定し、この位置を追跡対象が存在すると判定する。
【００３６】
次に、最も類似度の高い位置から、例えばＸ軸の負方向に１画素だけテンプレートをずらして相関係数（Ｒ１）を得る。また、同様に、Ｘ軸の正方向に１画素だけテンプレートをずらし相関係数（Ｒ２）を得ると共に、Ｙ軸の正及び負の方向に１画素だけテンプレートをずらして相関係数（Ｒ３，Ｒ４）を得る。そして、これら相関係数を所定の多項式にてフィッティングする。その様子を図８に示す。
【００３７】
図８は、複数の相関係数を多項式にてフィッティングしたときの様子を示す説明図である。同図に示すように、相関係数を所定の多項式にてフィッティングすると、画素間において相関係数の最大値が得られる場合がある。図８では、例えば相関係数Ｒ０が得られる画素位置から（ΔＸ，ΔＹ）だけずれた位置に相関係数の最大値が得られている。
【００３８】
サブピクセル処理においては、このように所定の多項式にてフィッティングすることにより、相関係数の最大値を得て、詳細に追跡対象２１の位置を検出するようにしている。
【００３９】
ところが、サブピクセル処理は追跡対象が持つテクスチャや模様に大きく依存するため、位置検出の精度は必ずしも正確とは限らない。そこで、本実施形態における画像照合部１４は、サブピクセル処理後に、予め測定された特定周波数成分についての位置誤差特性に基づいて、追跡対象２１の位置を補正する。
【００４０】
図９は、特定周波数成分についての位置誤差特性を示す説明図である。なお、図９において、横軸は、サブピクセル処理により得られた相関係数がどの画素間位置にて最大となったかを示している。すなわち、横軸は、図８を参照して説明したΔＸの位置を示している。また、縦軸は画素間位置における誤差Ｅを示している。
【００４１】
本実施形態における画像照合部１４は、同図に示すような位置誤差特性を予め記憶している。元々位置誤差特性は、追跡対象２１の或る空間周波数におけるサブピクセル処理の誤差を示すものであり、追跡対象２１の空間周波数によって異なってくるものである。図９に示す位置誤差特性は、上記の特定周波数におけるサブピクセル処理の誤差を示すものであり、Ｅ＝ｈ（ｘ）なる式で表されている。
【００４２】
画像照合部１４は、このＥ＝ｈ（ｘ）なる式により、上記サブピクセル処理にて検出された追跡対象の位置を補正する。例えば、ΔＸが「０．４」であった場合、Ｅ＝ｈ（０．４）を補正量として、ΔＸに加算（減算）することで、補正された正確な車両位置を特定することとなる。
【００４３】
なお、位置誤差特性は空間周波数によって異なってくるため、従来の物体追跡装置では、複数の位置誤差特性を記憶しておく必要があるが、本実施形態における物体追跡装置１では、特定周波数成分を基準に照合領域２３を設定しているため、１又は数個の位置誤差特性を記憶しておくだけでよい。また、上記では、主としてＸ軸方向における周波数及び誤差の補正等を説明したが、Ｙ軸方向についてもＸ軸方向と同様である。
【００４４】
次に、第１実施形態に係る物体追跡装置１の動作について、フローチャートを参照し説明する。図１０は、第１実施形態に係る物体追跡装置１の動作の概略を示すフローチャートである。入力画像記憶部１１において画像データが記憶された後、追跡領域設定部１２は、撮像画像２０内に追跡対象２１を含む追跡領域２２を設定する（ＳＴ１）。ここでは、上記したように特徴点を用いた処理などにより追跡領域を設定する。その後、対象画像処理部１５は、解析領域２２ａを設定する（ＳＴ２）。この設定は、図３を参照して説明したように、追跡領域２２を分割することによりなされる。
【００４５】
設定後、対象画像処理部１５は、解析領域２２ａそれぞれを周波数解析して、空間周波数に対するパワースペクトルを得る（ＳＴ３）。そして、照合領域設定部１６は、精度特性に基づく特定周波数成分を有する解析領域２２ａを照合領域２３として設定する（ＳＴ４）。
【００４６】
その後、画像解析部１３は、すべての所定方向での解析が終了したか否かを判断する（ＳＴ５）。本実施形態における物体追跡装置１は、追跡対象２１を他車両としているため、画像上においてＸ及びＹ軸方向にそれぞれ誤差を求めることにより、追跡対象の位置を特定することとなる。このため、ステップＳＴ５の処理では、画像上のＸ及びＹ軸方向にそれぞれについて解析が終了したか否かを判断することとなる。また、追跡対象２１が主として１方向にのみ動く物体である場合には、その方向ついて解析が終了したか否かを判断することとなる。このように、ここでの所定方向は、追跡対象２１の動きを検出したい方向に設定されるものである。
【００４７】
図１１は、追跡対象が車両である場合の所定方向での解析を示す説明図であり、（ａ）は画像横方向に周波数解析を行う場合の例を示しており、（ｂ）は画像縦方向に周波数解析を行う場合の例を示している。
【００４８】
本来、画像上における物体の動きを検出するためには、所定の２方向の動きを検出することで、あらゆる方向の動きが検出されることとなる。例えば、追跡対象が車両である場合、画像横方向（図１１（ａ））及び画像縦方向（図１１（ｂ））といったように、所定の２方向について周波数解析を行うこととなる。
【００４９】
このように、画像上における物体の動きを検出するためには、２次元画像データについて直交変換を行う必要は無く、所定方向についてのみ解析を行うことにより処理負荷を軽減させることができる。
【００５０】
なお、図５に示した照合領域２３は正方形状であったが、図１１（ａ）及び（ｂ）に示すように、周波数解析をする方向について照合領域２３を長めに設定するようにしてもよい。
【００５１】
再度、図１０を参照して説明する。すべての所定方向での解析が終了していないと判断した場合（ＳＴ５：ＮＯ）、処理はステップＳＴ３に戻り、解析が終了していない方向について順次ステップＳＴ３及びステップＳＴ４の処理を行うこととなる。
【００５２】
一方、すべての所定方向での解析が終了したと判断した場合（ＳＴ５：ＹＥＳ）、画像照合部１４は、照合領域２３をテンプレートとして、マッチング処理を行い、撮像画像２０内から追跡対象２１となる車両位置を検出する。さらに、画像照合部１４は、予め記憶されている特定周波数成分についての位置誤差特性に基づいて、検出された車両位置を補正し、詳細に車両位置を特定する（ＳＴ６）。そして、処理は終了する。
【００５３】
このようにして、第１本実施形態に係る物体追跡装置１によれば、空間周波数に対する位置決め精度を表す精度特性に基づいて照合領域２３を設定する。このため、位置決め精度の高い照合領域２３を設定することが可能となり、精度良く追跡対象２１を検出することができる。また、撮像画像２０、照合領域２３及び位置誤差特性に基づき追跡対象２１の位置を特定している。すなわち、精度よく検出された追跡対象２１の位置を、位置誤差特性に基づいて補正し、さらなる精度向上を図っている。故に、追跡対象２１の検出精度を向上させることができる。
【００５４】
また、追跡領域２２内における特定周波数成分を有する領域を照合領域２３として設定している。すなわち、照合領域２３を設定することで周波数を特定することを行っており、補正を行うためにあらゆる周波数に対応した位置誤差特性を必要せず、どの周波数に対応した位置誤差特性を使用すべきかを判断等する必要がない。このため、演算負荷の多大な増加を招くことがない。
【００５５】
従って、処理負荷を多大にすることなく、対象の位置検出の精度を向上させることができる。
【００５６】
また、フレームレートが可変とされているので、例えば追跡対象２１の移動速度が速い場合には、フレームレートを大きくして追跡対象２１の移動量を所定範囲内に収めることが可能となる。このため、例えば相関演算によるマッチングを行う際のマッチング範囲を対象の周囲１画素近傍等に限定でき、演算量が少なくすることができる。一方、追跡対象２１の移動速度が遅い場合には、フレームレートを小さくすることにより、追跡対象２１が殆ど移動していないにもかかわらず何度も追跡対象２１の位置を検出してしまうという事態を防止し、不要な演算を省略することができる。
【００５７】
さらに、フレームレートを小さくした場合には、露光時間を長くすることとなり、追跡対象の陰影を明確にし、ノイズを低減させることができる。
【００５８】
また、所定画像数を取得する毎に、そのうちの１画像に対して追跡対象を含む追跡領域２２を設定するので、追跡対象２１が殆ど移動していないにもかかわらず何度も追跡対象２１の位置を検出してしまうという事態を防止し、不要な演算を省略することができる。また、所定画像数だけフレーム加算して追跡対象を含む追跡領域を設定する場合も同様である。
【００５９】
また、追跡対象の移動を検出したい方向に周波数解析を行うので、少ない処理で一層正確に追跡対象の移動を検出することができる。
【００６０】
次に、本発明の第２実施形態を説明する。第２実施形態に係る物体追跡装置１は、第１実施形態のものと比べ、画像解析部１３及び画像照合部１４の処理内容が一部異なっている。以下、第２実施形態に係る物体追跡装置２について、第１実施形態との相違点のみ説明する。
【００６１】
図１２は、第２実施形態に係る画像解析部１３の処理内容を示す説明図である。本実施形態の対象画像処理部１５は、画像入力部１０により取得された撮像画像２０について周波数解析を行う。すなわち、撮像画像ｆａ（ｘ、ｙ）を直交変換し、Ｆａ（ｕ、ｖ）に変換する。
【００６２】
また、対象画像処理部１５は、追跡領域設定部１２により設定された追跡領域２２について周波数解析を行う。すなわち、追跡領域ｆｂ（ｘ、ｙ）を直交変換し、Ｆｂ（ｕ、ｖ）に変換する。
【００６３】
その後、照合領域設定部１６は、Ｆａ（ｕ、ｖ）に対してフィルタ処理によってＧａ（ｕ、ｖ）を得る。このとき、図６の精度特性により物体位置の検出精度が最も良好となる特定周波数帯域の成分のみが残され、他は削除されることとなる。また、照合領域設定部１６は、Ｆｂ（ｕ、ｖ）に対してフィルタ処理によってＧｂ（ｕ、ｖ）を得る。このフィルタ処理についても特定周波数帯域の成分のみが残されることとなる。
【００６４】
その後、照合領域設定部１６は、Ｇａ（ｕ、ｖ）に対して直交逆変換を行って第１周波数画像ｇａ（ｘ、ｙ）を得る。また、Ｇｂ（ｕ、ｖ）に対して直交逆変換を行って第２周波数画像ｇｂ（ｘ、ｙ）を得る。
【００６５】
そして、照合領域設定部１６は、第２周波数画像ｇｂ（ｘ、ｙ）を照合領域２３とする。図１３は、第１及び第２実施形態の照合領域２３を比較する説明図であり、（ａ）は追跡領域２２を示し、（ｂ）は第１実施形態における照合領域２３を示し、（ｃ）は第１実施形態における照合領域２３を示している。
【００６６】
図１３（ａ）に示す追跡領域２２に対し、第１実施形態では図６に示す特定周波数成分が最も強い領域を照合領域２３としていた（図１３（ｂ））。第２実施形態の場合、フィルタ処理が行われ、特定周波数帯域のみの成分が残され、他の成分は除去されることとなる。このため、得られる第２周波数画像は、例えば図１３（ｃ）に示すようになる。そして、第２実施形態では、図１３（ｃ）に示すような第２周波数画像を照合領域２３としている。
【００６７】
また、第２実施形態に係る画像照合部１４は、第１実施形態のように撮像画像２０と照合領域２３とのマッチング処理を行わず、対象画像処理部１５により生成された第１周波数画像と、照合領域２３とのマッチング処理を行う。
【００６８】
以上が第１実施形態との相違点であり、他の構成等は第１実施形態のものと同様である。従って、第２実施形態に係る物体追跡装置２は、画像入力部１０が撮像画像２０を取得すると、その画像データが入力画像記憶部１１に記憶される。そして、追跡領域設定部１２は、予め記憶される車両の特徴点等に基づいて、追跡領域２２を設定する。
【００６９】
追跡領域設定後、追跡領域設定部１２は、撮像画像２０のデータと共に追跡領域２２のデータを画像解析部１３の対象画像処理部１５に送出する。対象画像処理部１５は、撮像画像２０及び追跡領域２２内の画像部分を周波数解析する。
【００７０】
そして、対象画像処理部１５は、撮像画像２０及び追跡領域２２の解析結果の情報を照合領域設定部１６に送出する。照合領域設定部１６は、これらの周波数解析結果及び、精度特性に基づいて、第１及び第２周波数画像を生成すると共に、第２周波数画像を照合領域２３として設定する。
【００７１】
設定後、照合領域設定部１６は、その情報を画像照合部１４に送出する。画像照合部１４は、例えば照合領域２３をテンプレートとして、テンプレートマッチング処理を行い、照合領域設定部１６にて生成された第１周波数画像内から追跡対象２１となる車両位置を検出する。さらに、画像照合部１４は、予め記憶されている特定周波数帯域の成分についての位置誤差特性に基づいて、検出された車両位置を補正し、詳細に車両位置を特定する。
【００７２】
このようにして、第１本実施形態に係る物体追跡装置２によれば、第１実施形態と同様に、処理負荷を多大にすることなく、対象の位置検出の精度を向上させることができる。
【００７３】
また、第１実施形態と同様に、演算量が少なくすることができ、不要な演算を省略することができ、ノイズを低減させ、少ない処理でより正確に追跡対象の移動を検出することができる。
【００７４】
なお、第１実施形態においては、各解析領域２２ａのパワースペクトルを求め、このパワースペクトルに基づいて照合領域２３を設定しているが、これに限らず、追跡領域２２をエッジ処理し、特定の周波数成分を有すると予測される追跡領域２２内の箇所を、照合領域２３として設定するようにしてもよい。
【００７５】
また、第２実施形態においては、撮像画像２０及び追跡領域２２内の画像部分の双方を周波数解析し、さらに画像処理して第１及び第２周波数画像を生成するようにしているが、撮像画像２０を周波数解析及び画像処理して第１周波数画像を生成し、この第１周波数画像から追跡領域２２の該当部分を抽出して第２周波数画像を得るようにしてもよい。
【００７６】
また、第２実施形態においては、照合領域２３を第２周波数画像全体としているが、これに限らず、第２周波数画像の一部を照合領域としてもよい。
【００７７】
また、第１及び第２実施形態においては、サブピクセル処理の際に、テンプレート画像を１画素づつずらすようにしているが、特に１画素でなくともよく、数画素ずらすようにしてもよい。
【００７８】
また、第１及び第２実施形態に係る物体追跡装置１，２をそれぞれ組み合わせるようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る物体追跡装置の構成図である。
【図２】追跡領域の説明図である。
【図３】第１実施形態に係る物体追跡装置の周波数解析方法の説明図である。
【図４】周波数解析の具体的内容を示す説明図であり、（ａ）は画像データ例を示し、（ｂ）は画像データ例の濃度分布を示し、（ｃ）は画像データ例におけるパワースペクトルを示している。
【図５】照合領域の設定方法の説明図である。
【図６】特定の周波数成分の説明図である。
【図７】サブピクセル処理の説明図である。
【図８】複数の相関係数を多項式にてフィッティングしたときの様子を示す説明図である。
【図９】特定周波数成分についての位置誤差特性を示す説明図である。
【図１０】第１実施形態に係る物体追跡装置の動作の概略を示すフローチャートである。
【図１１】追跡対象が車両である場合の所定方向での解析を示す説明図であり、（ａ）は画像横方向に周波数解析を行う場合の例を示しており、（ｂ）は画像縦方向に周波数解析を行う場合の例を示している。
【図１２】第２実施形態に係る画像解析部の処理内容を示す説明図である。
【図１３】第１及び第２実施形態の照合領域を比較する説明図であり、（ａ）は追跡領域を示し、（ｂ）は第１実施形態における照合領域を示し、（ｃ）は第１実施形態における照合領域を示している。
【符号の説明】
１，２…物体追跡装置
１０…画像入力部（画像入力手段）
１１…入力画像記憶部
１２…追跡領域設定部（追跡領域設定手段）
１３…画像解析部
１４…画像照合部（照合処理手段）
１５…対象画像処理部（対象画像処理手段）
１６…照合領域設定部（照合領域設定手段）
２０…撮像画像
２１…追跡対象
２２…追跡領域
２３…照合領域
ｇａ…第１周波数画像
ｇｂ…第２周波数画像
Claims (6)
- 物体を含む撮像画像を取得する画像入力手段と、
前記画像入力手段により取得された撮像画像に対し、追跡対象を含む追跡領域を設定する追跡領域設定手段と、
前記追跡領域設定手段により設定された追跡領域を周波数解析する対象画像処理手段と、
空間周波数に対する位置決め精度を表し且つ予め測定された精度特性に基づいて、前記対象画像処理手段により周波数解析された追跡領域内に特定周波数成分を有する領域を照合領域として設定する照合領域設定手段と、
前記画像入力手段により取得された撮像画像、前記照合領域設定手段により設定された照合領域、及び予め測定された特定周波数成分についての位置誤差特性に基づいて、追跡対象の位置を特定する照合処理手段と、
を備えることを特徴とする物体追跡装置。 - 物体を含む撮像画像を取得する画像入力手段と、
前記画像入力手段により取得された撮像画像に対し、追跡対象を含む追跡領域を設定する追跡領域設定手段と、
前記画像入力手段により取得された撮像画像、及び前記追跡領域設定手段により設定された追跡領域を周波数解析する対象画像処理手段と、
空間周波数に対する位置決め精度を表し且つ予め測定された精度特性に基づいて、前記対象画像処理手段により周波数解析された撮像画像を画像処理し特定周波数帯域の成分のみからなる第１周波数画像を生成すると共に、前記対象画像処理手段により周波数解析された追跡領域を画像処理し特定周波数帯域の成分のみからなる第２周波数画像を生成し、当該第２周波数画像の全部又は一部を照合領域として設定する照合領域設定手段と、
前記対象画像処理手段により生成された第１周波数画像、前記照合領域設定手段により設定された照合領域、及び予め測定された特定周波数成分についての位置誤差特性に基づいて、追跡対象の位置を特定する照合処理手段と、
を備えることを特徴とする物体追跡装置。 - 画像入力手段は、フレームレートが可変とされていることを特徴とする請求項１又は請求項２のいずれかに記載の物体追跡装置。
- 前記追跡領域設定手段は、前記画像入力手段が所定画像数を取得する毎に、当該所定画像のうちの１画像に対して追跡対象を含む追跡領域を設定することを特徴とする請求項１又は請求項２のいずれかに記載の物体追跡装置。
- 前記画像入力手段が取得した撮像画像を所定画像数だけフレーム加算して記憶する画像記憶手段を更に備え、
前記追跡領域設定手段は、前記画像記憶手段のフレーム加算により得られた合成画像に対して追跡対象を含む追跡領域を設定することを特徴とする請求項１又は請求項２のいずれかに記載の物体追跡装置。 - 前記対象画像処理手段は、追跡対象の移動を検出したい方向に周波数解析を行うことを特徴とする請求項１〜請求項５のいずれか１項に記載の物体追跡装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003100430A JP2004310281A (ja) | 2003-04-03 | 2003-04-03 | 物体追跡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003100430A JP2004310281A (ja) | 2003-04-03 | 2003-04-03 | 物体追跡装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004310281A true JP2004310281A (ja) | 2004-11-04 |
Family
ID=33464570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003100430A Pending JP2004310281A (ja) | 2003-04-03 | 2003-04-03 | 物体追跡装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004310281A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006259847A (ja) * | 2005-03-15 | 2006-09-28 | Matsushita Electric Ind Co Ltd | 自動追尾装置及び自動追尾方法 |
| DE102013213153A1 (de) | 2012-07-19 | 2014-02-20 | Panasonic Corp. | Bildübermittlungsvorrichtung, Bildübermittlungsverfahren, Bildübermittlungsprogramm, Bilderkennungs- und authentifizierungssystem und Bildempfangsvorrichtung |
| WO2014076920A1 (en) | 2012-11-14 | 2014-05-22 | Panasonic Corporation | Video monitoring system |
| JP2018063143A (ja) * | 2016-10-12 | 2018-04-19 | 日産自動車株式会社 | 走路境界検出方法及び走路境界検出装置 |
-
2003
- 2003-04-03 JP JP2003100430A patent/JP2004310281A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006259847A (ja) * | 2005-03-15 | 2006-09-28 | Matsushita Electric Ind Co Ltd | 自動追尾装置及び自動追尾方法 |
| JP4699056B2 (ja) * | 2005-03-15 | 2011-06-08 | パナソニック株式会社 | 自動追尾装置及び自動追尾方法 |
| DE102013213153A1 (de) | 2012-07-19 | 2014-02-20 | Panasonic Corp. | Bildübermittlungsvorrichtung, Bildübermittlungsverfahren, Bildübermittlungsprogramm, Bilderkennungs- und authentifizierungssystem und Bildempfangsvorrichtung |
| US9842409B2 (en) | 2012-07-19 | 2017-12-12 | Panasonic Intellectual Property Management Co., Ltd. | Image transmission device, image transmission method, image transmission program, image recognition and authentication system, and image reception device |
| WO2014076920A1 (en) | 2012-11-14 | 2014-05-22 | Panasonic Corporation | Video monitoring system |
| JP2018063143A (ja) * | 2016-10-12 | 2018-04-19 | 日産自動車株式会社 | 走路境界検出方法及び走路境界検出装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8649593B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6395506B2 (ja) | 画像処理装置および方法、プログラム、並びに撮像装置 | |
| US8406474B2 (en) | Method and apparatus for identifying obstacle in image | |
| US8289402B2 (en) | Image processing apparatus, image pickup apparatus and image processing method including image stabilization | |
| JP4744276B2 (ja) | ２次元画像の表現方法、２次元画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、画像の位置を求める方法、制御デバイス、装置、及びコンピュータ読み取り可能な記憶媒体 | |
| US8055060B2 (en) | Image processing apparatus capable of operating correspondence between base image and reference image, method of controlling that image processing apparatus, and computer-readable medium recording program for controlling that image processing apparatus | |
| JP2012208553A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CA3206206A1 (en) | Device and method for correspondence analysis in images | |
| US9940700B2 (en) | Information processing apparatus, information processing method, information processing system, and non-transitory computer readable medium | |
| WO2017094140A1 (ja) | 物体検出装置及び物体検出方法 | |
| JP5173549B2 (ja) | 画像処理装置及び撮像装置 | |
| JP2019106173A (ja) | 画像処理方法、画像処理装置およびプログラム | |
| CN113744307A (zh) | 一种基于阈值动态调整的图像特征点跟踪方法和系统 | |
| JP4708740B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004310281A (ja) | 物体追跡装置 | |
| JP2016164709A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| KR20120094102A (ko) | 유사도 산출 디바이스, 유사도 산출 방법 및 프로그램 | |
| CN108076341A (zh) | 一种视频卫星成像在轨实时稳像方法及系统 | |
| US20170068852A1 (en) | Object detection apparatus | |
| CN111126508A (zh) | 一种基于hopc改进的异源图像匹配方法 | |
| JP4622141B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP4631199B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP4622140B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びにプログラム | |
| JP2010113562A (ja) | 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム | |
| JP3364394B2 (ja) | 距離測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080509 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080909 |