JP2018032078A - 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 - Google Patents
他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP2018032078A JP2018032078A JP2016161968A JP2016161968A JP2018032078A JP 2018032078 A JP2018032078 A JP 2018032078A JP 2016161968 A JP2016161968 A JP 2016161968A JP 2016161968 A JP2016161968 A JP 2016161968A JP 2018032078 A JP2018032078 A JP 2018032078A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tracking
- time point
- image area
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】追跡対象の物体が複数存在する状況でも、より正確に各物体を識別し、より確実にその位置を追うことができる物体追跡装置を提供する。【解決手段】複数の追跡対象の物体が含まれ得る時系列の画像群の各画像において、物体に係る画像領域又は物体のロストを決定していくことによって物体を追跡可能な本装置は、１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、この１つの時点での画像における複数の画像領域を、この１つの物体に係る複数の候補画像領域として抽出する候補領域抽出手段と、複数の候補画像領域の中から、当該候補画像領域と前の時点で決定された他の物体に係る画像領域又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、この１つの時点で正解とされるこの１つの物体に係る画像領域を決定する追跡決定手段とを有する。【選択図】図３
Description
本発明は、追跡対象の物体が含まれ得る時系列の画像群を解析して当該物体を追跡する物体追跡技術に関する。
監視やマーケティング等の目的で、カメラで撮影された時系列の画像群を解析し、複数の（人物等の）物体の位置を追跡する技術が開発されている。この技術では、物体毎に固有の識別子（ＩＤ）を割り当てた場合に、割り当てられたＩＤが不要に変更されて追跡に支障をきたすことのないように、様々な手法が考案されてきた。
例えば、特許文献１には、時系列画像群において複数のフレームに含まれる複数の移動物体を検出し、同一の移動物体同士をフレーム間で対応付けることによって、移動物体の追跡を行う技術が開示されている。この技術では、現在の時刻の検出結果と次の時刻の検出結果とをつなげるパスを推定していくことで物体を追跡する。具体的には、両検出結果の対応がつく確率、対応がつかない確率、消滅する確率、検出できなかった物体が再び出現する確率を算出し、全時刻における組み合わせのパスとその確率とから、最適となるパスを決定して追跡を行っている。
また、特許文献２には、複数の移動対象の存在する動画像に関する観測データが入力として与えられる場合に、複数の隠れ変数及び各隠れ変数の重みの推定、隠れ状態量の推定、パーティクルの重みの分布に基づいたリサンプリング、ダイナミクスのハイパーパラメータの更新といった処理を繰り返し実行することで、複数の移動対象に対する追跡を行う技術が開示されている。この技術では、確率的な生成モデルを用いて、複数の移動対象に関する真値の推定量を示す隠れ状態量の時間発展関数と、観測データを計算するための観測関数とを示すダイナミクスのパターン数及び各特徴をベイズ推定することによって、複数の移動対象の隠れ状態量を推定している。
さらに、非特許文献１には、強化学習を用いて複数の人物を追跡する技術が開示されている。この技術では、各人物の状態（Tracked，Active，Inactive，Lost）の切り替えを、強化学習（reinforcement learning）アルゴリズムを用いて学習し、この学習によって得られた方策に基づいて複数人物の追跡を実施している。ここで、強化学習とは、「環境」中に置かれた「エージェント」が、「環境」との相互作用を通して最適な方策（行動を決定する決まり）を得るための機械学習の一手法である。
この非特許文献1に記載された技術では、強化学習の中でもＱ学習（Q-Learning）と呼ばれる手法を用いてステータスの学習のみを行っており、ＬＫ法をベースとしたＴＬＤ（Tracking-Learning-Detection）と呼ばれるアルゴリズムを追跡処理のために利用し、１人ずつ個別に人物を追跡している。
また、非特許文献２では、時系列画像群の各画像中に映る人物に係る画像領域を検出し、その検出結果を時系列方向につなげることで複数人物の追跡を行う技術が開示されている。この技術では、前後の時刻で検出された領域のペアにおける類似度を、学習済みの多層ニューラルネットワークを用いて求めている。また、この類似度をコストとして、線形計画法により時系列方向における最適な組合せを決定し、各検出結果に人物ＩＤを割り当てることで追跡を行っている。さらに、前時刻におけるどの検出結果とも対応しない検出結果を、新規のＩＤとして割り当てている。
Yu Xiang，Alexandre Alahi，and Silvio Savarese，"Learning to Track: Online Multi-Object Tracking by Decision Making"，International Conference on Computer Vision (ICCV)，２０１５年，４７０５〜４７１３頁
Laura Leal-Taixe', Cristian Canton-Ferrer and Konrad Schindler，"Learning by tracking: Siamese CNN for robust target association"，Cornell University Library arXiv:1604.07866，２０１６年
しかしながら、以上に述べたような従来の物体追跡技術では、依然、複数の物体を正確に追跡することに失敗してしまう事態の生じることが問題となっている。
例えば、特許文献１、特許文献２及び非特許文献２に記載されたような従来技術は、「Data Association」と呼ばれるアプローチを採用している。この「Data Association」では、フレーム毎に物体の検出を行い、この検出結果をつなげていくことで追跡を行うが、物体が検出されなかった場合にその対処として、一旦追跡を中断し、後に検出された際に復活させるという手法しかとることができない。
また、フレーム毎に行われる物体検出では、検出結果を誤ることも少なくなく、存在する物体を検出できなかったり、物体の大きさや位置が実際からずれた検出結果となったりすることが頻繁に生じる。「Data Association」は、このようなノイズの乗った検出結果をつなげることで物体追跡を行うのであるから、物体を追跡できない時刻帯が生じやすいだけでなく、物体領域の大きさや物体の位置を誤って決定する可能性も低くないのである。
ここで、物体領域の足元位置を実空間へ射影することで、実空間での物体位置を推定することを考える。この通常に用いられる手法においては、例えば物体領域の大きさを誤ると、画像内で推定誤差が生じた場合に、画像内での移動が僅かであっても、実空間での移動量が巨大な値となり、結果として、現実にはあり得ない急激な物体位置の変化を決定してしまう問題が生じてしまう。
さらに、非特許文献１に記載された技術では、学習されるのは、各追跡対象人物の状態（Tracked，Active，Inactive，Lost）と、追跡を継続するかロストさせるかといったような状態間での切り替えの有無についての関係のみである。実際、物体追跡そのものは、他の人物の位置を考慮せず、従来のシングルトラッキング（１つの物体を追跡する手法の総称）を用いて行われているにすぎない。
すなわち、非特許文献１に記載の技術は、追跡を継続（Tracked）するか中断（Lost）するかといった判断を行う基準として、シングルトラッキングを実行した際の信頼度のみを用いており、周囲に他の物体が存在するか否かを考慮していない。その結果、追跡対象人物を識別するＩＤのスイッチングが起こりやすいという問題が生じてしまう。これは、他の物体との間でオクルージョンが発生した際、特に人物同士のように見かけの近い物体同士が交差した場合に、本来追跡すべき対象ではない物体を追跡対象として信頼する誤りをおかしてしまうことによる。
そこで、本発明は、追跡対象の物体が複数存在する状況でも、より正確に各物体を識別し、より確実にその位置を追うことができる装置、プログラム及び方法を提供することを目的とする。
本発明によれば、複数の追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域又は当該物体のロストを決定していくことによって当該物体を追跡可能な装置であって、
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出する候補領域抽出手段と、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定する追跡決定手段と
を有する物体追跡装置が提供される。
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出する候補領域抽出手段と、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定する追跡決定手段と
を有する物体追跡装置が提供される。
この本発明による物体追跡装置の一実施形態として、追跡決定手段は、
（Ｅ１）当該前の時点で１つ若しくは複数の他の物体について決定された１つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数の類似度、又は当該類似度のうちで最大の類似度、
（Ｅ２）当該前の時点で１つ若しくは複数の他の物体について決定された１つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数のオーバーラップ率、又は当該オーバーラップ率のうちで最大のオーバーラップ率、及び
（Ｅ３）当該前の時点でロストとされた１つ若しくは複数の他の物体に係る１つ若しくは複数の過去の画像領域と、当該候補画像領域との間の１つ若しくは複数の類似度、又は当該類似度のうちで最大の類似度
のうちの少なくとも１つを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定することも好ましい。
（Ｅ１）当該前の時点で１つ若しくは複数の他の物体について決定された１つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数の類似度、又は当該類似度のうちで最大の類似度、
（Ｅ２）当該前の時点で１つ若しくは複数の他の物体について決定された１つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数のオーバーラップ率、又は当該オーバーラップ率のうちで最大のオーバーラップ率、及び
（Ｅ３）当該前の時点でロストとされた１つ若しくは複数の他の物体に係る１つ若しくは複数の過去の画像領域と、当該候補画像領域との間の１つ若しくは複数の類似度、又は当該類似度のうちで最大の類似度
のうちの少なくとも１つを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定することも好ましい。
また、追跡決定手段は、さらに、
（Ｅ４）当該１つの時点から見て１つ若しくは複数の前の時点で正解とされた当該１つの物体に係る1つ若しくは複数の画像領域と、当該候補画像領域との間の1つ若しくは複数の類似度、又は当該類似度の平均値、
（Ｅ５）当該前の時点で正解とされた当該１つの物体に係る画像領域と、当該候補画像領域とのオーバーラップ率、
（Ｅ６）当該物体を検出可能なように学習した所定の物体識別器によって当該１つの時点の画像から検出された１つ若しくは複数の物体に係る1つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数のオーバーラップ率、又は当該オーバーラップ率のうちで最大のオーバーラップ率、
（Ｅ７）当該１つの物体を識別可能なように学習した所定のターゲット識別器によって、当該候補画像領域について算出された、当該１つの物体に係る画像領域として識別される度合いである信頼度、及び
（Ｅ８）当該物体らしさを判別可能なように学習した所定の物体らしさ識別器によって、当該候補画像領域について算出された物体らしさを示すスコア
のうちの少なくとも１つをも含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定することも好ましい。
（Ｅ４）当該１つの時点から見て１つ若しくは複数の前の時点で正解とされた当該１つの物体に係る1つ若しくは複数の画像領域と、当該候補画像領域との間の1つ若しくは複数の類似度、又は当該類似度の平均値、
（Ｅ５）当該前の時点で正解とされた当該１つの物体に係る画像領域と、当該候補画像領域とのオーバーラップ率、
（Ｅ６）当該物体を検出可能なように学習した所定の物体識別器によって当該１つの時点の画像から検出された１つ若しくは複数の物体に係る1つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数のオーバーラップ率、又は当該オーバーラップ率のうちで最大のオーバーラップ率、
（Ｅ７）当該１つの物体を識別可能なように学習した所定のターゲット識別器によって、当該候補画像領域について算出された、当該１つの物体に係る画像領域として識別される度合いである信頼度、及び
（Ｅ８）当該物体らしさを判別可能なように学習した所定の物体らしさ識別器によって、当該候補画像領域について算出された物体らしさを示すスコア
のうちの少なくとも１つをも含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定することも好ましい。
また、本発明による物体追跡装置の他の実施形態として、本物体追跡装置は、抽出された当該１つの物体に係る候補画像領域の中から、当該候補画像領域における当該１つの物体に係る画像領域として識別される度合いである信頼度に基づいて、二次の複数の候補画像領域を選択する候補領域選択手段を更に有し、
追跡決定手段は、二次の当該複数の候補画像領域の中から、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定することも好ましい。
追跡決定手段は、二次の当該複数の候補画像領域の中から、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定することも好ましい。
さらに、本発明による物体追跡装置の追跡決定手段は、一実施形態として、当該エビデンスから特徴量を決定し、正解領域と非正解領域とを識別可能なように学習した追跡ハンドリング用識別器に当該特徴量を入力して、当該特徴量に係る候補画像領域が正解とされる画像領域か否かを判定することも好ましい。また、追跡決定手段は、当該複数の候補画像領域のうちで、正解とされる画像領域であると判定された候補画像領域が存在しない場合、当該１つの物体はロストしたと決定することも好ましい。
さらに、本発明による物体追跡装置の更なる他の実施形態として、本物体追跡装置は、当該物体を検出可能なように学習した所定の物体識別器によって検出された当該１つの時点での当該１つの物体に係る画像領域について、当該画像領域と、検出された他の物体に係る画像領域又はロストしている他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含む検出エビデンスに基づき、追跡対象の画像領域であるか否かを判定する検出決定手段を更に有することも好ましい。
また、本発明による物体追跡装置においては、追跡決定手段と検出決定手段とを含み、物体識別器によって検出された画像領域について、新規登録、追跡、ロスト及び復帰に係る処理をハンドリングするハンドリング手段を有することも好ましい。
さらに、本発明による物体追跡装置において、当該類似の度合いは、類似度であって、類似度算出対象の画像領域を、畳み込み層（convolution layer）を含むニューラルネットワークに入力し、該ニューラルネットワークから抽出された当該画像領域に係る特徴量を比較することによって決定される値であることも好ましい。
本発明によれば、また、複数の追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域又は当該物体のロストを決定していくことによって当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出する候補領域抽出手段と、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定する追跡決定手段と
としてコンピュータを機能させる物体追跡プログラムが提供される。
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出する候補領域抽出手段と、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定する追跡決定手段と
としてコンピュータを機能させる物体追跡プログラムが提供される。
本発明によれば、さらに、複数の追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域又は当該物体のロストを決定していくことによって当該物体を追跡可能な装置における当該物体を追跡する方法であって、
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出するステップと、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定するステップと
を有する物体追跡方法が提供される。
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出するステップと、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定するステップと
を有する物体追跡方法が提供される。
本発明の物体追跡装置、プログラム及び方法によれば、追跡対象の物体が複数存在する状況でも、より正確に各物体を識別し、より確実にその位置を追うことが可能となる。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
［物体追跡システム］
図１は、本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。
図１は、本発明による物体追跡装置を含む物体追跡システムの一実施形態を示す模式図である。
図１に示した、本実施形態の物体追跡システムは、
（ａ）追跡対象の物体を撮影可能であり、撮影した画像の情報を、通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ２と、
（ｂ）カメラ２から通信ネットワークを介して取得される時系列の画像群を用い、当該物体の位置情報を予測して当該物体を追跡可能な物体追跡装置１と
を備えている。
（ａ）追跡対象の物体を撮影可能であり、撮影した画像の情報を、通信ネットワークを介して時系列で送信可能な１つ又は複数のカメラ２と、
（ｂ）カメラ２から通信ネットワークを介して取得される時系列の画像群を用い、当該物体の位置情報を予測して当該物体を追跡可能な物体追跡装置１と
を備えている。
ここで、追跡対象となる物体には、人物、動物、乗り物や、その他移動可能な物理対象等、撮影可能であれば様々なものが該当する。また、撮影される場所も、特に限定されるものではなく、例えば、追跡対象となる人物として、観客、通勤者、買い物客、労働者、歩行者や、ランナー等が映り得る屋外、さらには会社、学校、家庭や、店舗の内部といった屋内とすることもできる。特に、追跡対象となる物体（人物）が複数又は多数であって、同行したり互いにすれ違ったり、さらには撮影範囲の内外に移動したりし得る環境であってもよい。
本実施形態の物体追跡装置１は、追跡対象となり得る物体が複数存在する状況でも、複数の物体が含まれ得る時系列画像群の各画像において、各物体に係る画像領域又は各物体のロストを決定していくことによって、複数の物体を、同時に並行して追跡することが可能となっている。
また、画像情報の伝送路である通信ネットワークは、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ(Local Area Network)とすることができる。または、ＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）等の無線系アクセスネットワークを介し、インターネットを経由してカメラ２と物体追跡装置１とを通信接続させるものであってもよい。
さらに、光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系アクセスネットワークを介しインターネットを経由して、又はプライベートネットワークを介してカメラ２と物体追跡装置１とが通信接続されてもよい。また、変更態様として、カメラ２と物体追跡装置１とは直接有線で接続されてもよい。さらに、複数のカメラ２から出力される画像情報を取りまとめて物体追跡装置１に送信可能な（図示していない）カメラ制御装置が設けられていてもよい。
同じく図１に示す物体追跡装置１は、具体的にその特徴として、
（Ａ）１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、この１つの時点での画像における複数の画像領域を、この１つの物体に係る複数の候補画像領域として抽出し、
（Ｂ）複数の候補画像領域の中から、当該候補画像領域と、前の時点で決定された「他の物体」に係る画像領域との間の類似（又は重畳）の度合いを含むエビデンスに基づいて、この１つの時点で正解とされるこの１つの物体に係る画像領域を決定する。
（Ａ）１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、この１つの時点での画像における複数の画像領域を、この１つの物体に係る複数の候補画像領域として抽出し、
（Ｂ）複数の候補画像領域の中から、当該候補画像領域と、前の時点で決定された「他の物体」に係る画像領域との間の類似（又は重畳）の度合いを含むエビデンスに基づいて、この１つの時点で正解とされるこの１つの物体に係る画像領域を決定する。
ここで、上記（Ｂ）の処理においては、当該候補画像領域と、ロストした「他の物体」に係る過去の画像領域との間の類似（又は重畳）の度合いを含むエビデンスに基づいて正解とされる画像領域を決定してもよい。また、当然に、前の時点で決定された「他の物体」に係る画像領域との類似（又は重畳）の度合いと、ロストした「他の物体」に係る過去の画像領域との間の類似（又は重畳）の度合いとの両方を含むエビデンスを採用することも好ましい。
このように、物体追跡装置１は、１つの物体の追跡（画像領域の決定）を、「他の物体」に係る画像領域をも勘案して実行している。従って、この１つの物体の画像領域に対する「他の物体」による影響の有無・大小を考慮することができ、より確実に各物体を追跡することが可能となるのである。その結果、例えば「他の物体」との間で画像領域の重畳する現象であるオクルージョン（occlusion）が発生した場合でも、追跡対象ＩＤに係る物体ではないこの「他の物体」を追跡対象として信頼してしまう誤りを格段に低減することができる。すなわち、追跡対象物体を識別するＩＤの不正なスイッチングの発生を大幅に抑制することが可能となるのである。
さらに、物体追跡装置１は、識別中の他の物体やロストした他の物体の画像領域に係る情報をエビデンスに採用して正解画像領域を決定する「エビデンスアグリゲーション」を実施することによって、追跡対象の物体が複数存在する状況でも、より正確に各物体を識別し、より確実にその位置を追うことを可能としているのである。
ちなみに、図１に示した物体追跡装置１は、追跡決定部１２２ａ、検出決定部１２２ｂ及び復帰決定部１２２ｃを備えたハンドリング部１２２を有しているが、本実施形態において、上記（Ｂ）の特徴的な正解画像決定処理は、追跡決定部１２２ａの追跡用ハンドリング識別器を用いて実施される。この追跡決定部１２２ａ（追跡用ハンドリング識別器）での処理については、後に図７を用いて詳細に説明する。
なお、物体追跡装置１で取り扱われる時系列画像群は、本実施形態のようなカメラ撮影によって生成された画像データに限定されるものではない。追跡対象の実際の位置や見かけに関係するデータであれば、様々なものが該当する。例えば、デプスカメラによって生成される（対象の各画素の）デプス値情報を、画像データとして利用することも可能である。
また、本実施形態の物体追跡装置１では、追跡対象物体は、床又は地面での接地位置である物体位置に存在する３次元の物体モデルとして捉えられる。この物体モデルは、その物体の概形を表現した所定の標準的な形状を有し、モデル表面に位置する３次元空間内の点の集合となっている。 例えば、追跡対象物体が人物の場合、サイズの異なる円柱を縦に重ねた形状の表面に位置する点の集合を３次元物体モデルとすることもできる。
また、物体追跡装置１は、刻々と取得される画像内に張られた画像座標系u-vでの位置座標(u, v)を、実空間に張られた世界座標系Gx-Gy-Gzでの位置座標(gx, gy, gz)へ変換する座標変換操作を用いて、追跡対象物体の映った画像情報から、実空間での位置やその変化分等の位置情報を算出する。例えば、追跡対象物体の画像内における前時刻T−1での位置(u, v)が、現時刻Tでの位置(u', v')へ変化した場合、この物体は、実空間（観測対象空間）において前時刻T−1での位置(gx, gy, gz)から現時刻Tでの位置(gx', gy', gz')へ移動したことが推定され、実空間での位置や当該位置の前時刻T−1からの変化分を取得することが可能となる。
ここで、使用する時刻は、単位時間を１としてこの単位時間経過毎に設定される時刻であり、時刻Tの1つ前となる時刻はT−1となる。また、上記のような画像座標系から世界座標系への座標変換は、予めキャリブレーションにより各カメラ２についての設置位置及び撮影向きに係る外部パラメータを設定しておくことによって決定することが可能である。なお、複数のカメラ２のそれぞれから画像が取得される場合でも、これらの画像を統合して１つの画像空間を構築し、この画像空間に画像座標系を適用することができる。
このように、物体追跡装置１は、刻々と取得される画像情報（画像座標系u-vでの位置情報）に基づき、追跡対象物体の実空間での位置情報（世界座標系Gx-Gy-Gzでの位置情報）を推定することができるのである。
さらに、物体追跡装置１は、追跡処理の機能構成部であるハンドリング部１２２において、カメラ２から取得した時系列の各画像を用いて即座に物体追跡処理を行うことができる。すなわち、追跡対象物体の位置を即座に把握して追跡を行うことが可能となるのである。さらに、他の物体の画像領域に係る情報を含んでおり刻々と変化するエビデンスを用いて追跡を行うので、まさにオクルージョンが発生している時間においても、１つの物体を同一の物体であると認識しつづけることができ、例えば当該物体に固有のＩＤを付与し続けながら、適切な追跡を続行することが容易になるのである。
［装置機能概要、物体追跡方法］
図２は、本発明による物体追跡装置の一実施形態における処理の流れを概略的に示すフローチャートである。
図２は、本発明による物体追跡装置の一実施形態における処理の流れを概略的に示すフローチャートである。
図２によれば、本実施形態の物体追跡装置１においては、ある時刻Tの画像が読み込まれると、その画像中で物体が写っている画像領域を検出する。なお当然に、１つの画像に写っている物体の数は１つに限定されず、１つも写っていなくてもよく、複数写っていてもよい。
次いで、読み込まれた画像において、既に登録されているＩＤに係る物体の位置を推定する。具体的には、検出された画像領域のうちで、登録ＩＤの物体に係る画像領域を決定する。ここで、１つのＩＤの物体に係る画像領域がこの画像中には存在しないと判断されると、このＩＤに係る物体はロストとみなされ、その追跡は一旦中断される。
その後、検出された画像領域の中に、新規の物体に係るものがないかどうかが判断され、新規とみなされた画像領域には、新たなＩＤが割り当てられ登録される。さらに、同じく検出された画像領域の中に、ロスト中のＩＤに係るものが存在しないかどうかも判断され、ロスト中のＩＤに係るものと判断された画像領域の物体は、復帰したものとみなされ、その追跡が再開される。
本実施形態においては、以上に説明した処理を、取得した画像毎に順次繰り返すことによって、複数物体の適切な追跡が実行されるのである。特に、取得される時系列画像群を用いて追跡・ロスト処理と同時に検出処理も行っているので、追跡対象となる複数の物体における様々の状況に合わせて、的確且つ統合的な追跡を実施することが可能となる。
［装置構成、物体追跡方法］
図３は、本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。
図３は、本発明による物体追跡装置の一実施形態における機能構成を示す機能ブロック図である。
図３によれば、物体追跡装置１は、１つ又は複数のカメラ２と通信接続可能な通信インタフェース１０１と、画像蓄積部１０２と、識別モデル記憶部１０３と、ＩＤ（識別子）蓄積部１０４と、画像領域蓄積部１０５と、追跡物体情報記憶部１０６と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、物体追跡装置１のコンピュータを機能させるプログラムを実行することによって、物体追跡機能を実現させる。
さらに、プロセッサ・メモリは、機能構成部として、物体検出部１１１と、候補領域抽出部１１２と、ＩＤ管理部１２と、通信制御部１３１とを有する。ここで、ＩＤ管理部１２は、個別モデル操作部１２１と、ハンドリング部１２２とを有することも好ましい。さらに、このハンドリング部１２２は、追跡決定部１２２ａと、検出決定部１２２ｂと、復帰決定部１２２ｃとを有することも好ましい。なお、図３における物体追跡装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による物体追跡方法の一実施形態としても理解される。
同じく図３において、カメラ２は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。なお、上述したように、カメラ２としてデプスカメラを用いることも可能である。また、カメラ２又は（図示していない）カメラ制御装置は、カメラ２で撮影された物体の画像を含む撮影画像データを生成し、当該データを時系列に又はバッチで物体追跡装置１に送信する機能を有する。また、カメラ２は、可動であって設置位置、撮影向きや高さを変更することができ、この変更のための制御信号を受信し処理する機能を有していることも好ましい。
通信インタフェース１０１は、カメラ２又はカメラ制御装置から時系列の画像群である撮影画像データを、通信ネットワークを介して受信する。通信インタフェース１０１を使用した送受信及び通信データ処理の制御は、通信制御部１３１によって行われ、取得された撮影画像データ（画像ファイル）は、画像蓄積部１０２に蓄積される。ここで、この撮影画像データは、カメラ２又はカメラ制御装置から時系列順に呼び出されて取得されたものであってもよく、予め撮影され保存された画像ファイルを時系列順に呼び出して取得してもよく、さらには、リアルタイムに一定時間間隔でキャプチャされた画像を順次取得したものであってもよい。
物体検出部１１１は、所定の特徴量を用いて学習を行った物体識別器によって、物体識別対象の画像における出現した又は追跡されていない物体を検出可能な機能部である。具体的には、画像蓄積部１０２に蓄積された画像において、追跡対象となる物体に対応する画像領域を検出する。ここで、人物を追跡対象とする場合、学習には人物検出に適した特徴量を用いる。
この人物検出のための特徴量としては、例えばＨＯＧ特徴量を使用することも好ましい。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。ＨＯＧ特徴量を用いた物体検出技術については、例えば、非特許文献であるDalal. N and Triggs. B，"Histograms of Oriented Gradients for Human Detection"，Proceedings of IEEE Computer Vision and Pattern Recognition (CVPR)，２００５年，８８６〜８９３頁に記載されている。
また、Faster-RCNN法を用いて人物に対応する画像領域を検出することも可能である。Faster-RCNN法による物体検出技術については、例えば、Shaoqing Ren, Kaiming He, Ross Girshick and Jian Sun，"Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks"，Advances in Neural Information Processing Systems (NIPS)，２０１５年に記載されている。
候補領域抽出部１１２は、１つの時点（時刻T）の前の時点（時刻T−1）において決定された１つの物体に係る画像領域に基づいて、１つの時点（時刻T）での画像における複数の画像領域を、当該１つの物体に係る複数の一次候補画像領域として抽出する。具体的な一次候補領域抽出処理については、後に図４を用いて詳細に説明する。
ＩＤ管理部１２は、個別モデル操作部１２１と、ハンドリング部１２２とを有する。このうち、個別モデル操作部１２１は、本発明に係る候補領域選択手段であって、抽出された１つの物体に係る一次候補画像領域の中から、一次候補画像領域における当該１つの物体に係る画像領域として識別される度合いである「信頼度」に基づいて、二次の複数の候補画像領域を選択する。
図４は、個別モデル操作部１２１における信頼度算出処理の一実施形態を示す模式図である。
図４（Ａ）に示すように、個別モデル操作部１２１は、候補領域抽出部１１２で抽出された一次候補画像領域群を入力し、ＮＮ（ニューラルネットワーク）部で各一次候補画像領域を特徴量化した後、ターゲット識別器１２１ｔで入力した特徴量（一次候補画像領域）の信頼度を算出し、出力する。
ここで最初に、一次候補画像領域の抽出処理を説明する。図４（Ｂ）に示すように、候補領域抽出部１１２（図３）は、時刻Tでの画像において、スライディングウィンドウ方式により、１つ前の時刻T−1での追跡対象物体の画像領域の位置周辺に、複数の一次候補画像領域を設定する。ここで、これら複数の候補領域は、時刻T−1での画像領域の中心に乱数を加えてランダムに位置を変化させるランダムサンプリングによって設定されてもよく、時刻T−1での画像領域を中心としたグリッド上に候補領域を求めるグリッドサンプリングによって設定されてもよい。
候補領域抽出部１１２はこのような手法を用い、時刻Tにおいて例えば１００個の一次候補画像領域を抽出する。なお、このような手法は、時刻T−1での追跡対象物体の（検出された）画像領域を正しい物体に係る画像領域とみなした上で、モデルの更新を行うための方法となっている。
次いで、個別モデル操作部１２１は、個々のＩＤ（追跡対象物体）に対し、抽出された一次候補画像領域の各々について特徴量を算出する。ここで、特徴量は、図４（Ａ）に示すように多層ＮＮで変換したベクトルで定義してもよく、または、例えば画像パッチ内の色ヒストグラムとして定義することも可能である。
このうち、色ヒストグラムを用いて特徴量を定義する場合、例えば、１つの画像領域の各画素の色を範囲[0, 255]のグレースケール値で表し、この１つの画像領域全体をｎ個のビンで表現した色ヒストグラムを生成する。次いで、この色ヒストグラムに基づき、各ビンに割り当てられた画素数を画像領域全体の画素数で割り算した値を要素とするｎ次元のベクトルを生成する。この生成したベクトルを、この１つの画像領域の特徴量（ベクトル）とすることができる。
一方、図４（Ａ）に示すように多層ＮＮを用いて特徴量を定義する場合、多層ＮＮにおけるモデルの学習と特徴量化は一体となっており、多層ＮＮの最終層のノード数をラベルの数にすることで、多層ＮＮの枠組みに従ったラベルの学習を実行することができる。
また、個別モデル操作部１２１のターゲット識別器１２１ｔは、入力した（一次候補画像領域の）特徴量に対し、その画像領域に映っているものが追跡対象物体か否かの２値判定を行う識別器である。具体的には、特徴空間において識別境界面（識別超平面）を生成・更新するようなサポートベクタマシン（ＳＶＭ）で構成されていてもよい。
ここでまず、このターゲット識別器１２１ｔの事前学習フェーズを説明する。例えば図４（Ａ）に示した実施形態では、ターゲット識別器１２１ｔは、事前に学習し構築されたＮＮ（特徴量抽出器）の反応を画像領域の特徴量として入力する。ここで、この特徴量相当の画像領域（画像パッチ）と正解画像領域との（共通画像部分に係る）オーバーラップ率OVRが、閾値θ_high以上（OVR≧θ_high）であれば正のラベル、閾値θ_low以下（OVR≦θ_low）であれば負のラベルをこの特徴量（画像領域）に付与し、図４（Ｂ）に示すような識別境界面（識別超平面）を学習（生成）する。なお、このような学習は、追跡対象物体の見かけモデルの構築に相当する。
次に、ターゲット識別器１２１ｔにおけるオンライン学習を含む実行フェーズでは、ターゲット識別器１２１ｔは、ＮＮから一次候補画像領域の特徴量を入力し、この一次候補画像領域の信頼度Ｒを、特徴空間における識別境界面との符号付き距離として算出する。
すなわち、信頼度Ｒは、次式
（１） Ｒ＝SIN×ｄ
で算出される。上式において、SINは、特徴空間において当該特徴量が負のラベル側に存在していれば−１、正のラベル側に存在していれば１となる。また、ｄは、特徴空間内における当該特徴量と識別境界面（識別超平面）との距離である。なお、このような識別器を用いた物体追跡については、例えば、S. Hare, A. Saffari and P. H. S. Torr，"Struck: Structured Output Tracking with Kernels"，Publications of International Conference on Computer Vision (ICCV), ２０１１年，２６３〜２７０頁に記載されている。ここで、多層ＮＮでモデルを構築している場合、一次候補画像領域を多層ＮＮに入力した後に出力される２次元ベクトルのうち、正のラベルに対応する要素の値を信頼度とすることも可能である。
（１） Ｒ＝SIN×ｄ
で算出される。上式において、SINは、特徴空間において当該特徴量が負のラベル側に存在していれば−１、正のラベル側に存在していれば１となる。また、ｄは、特徴空間内における当該特徴量と識別境界面（識別超平面）との距離である。なお、このような識別器を用いた物体追跡については、例えば、S. Hare, A. Saffari and P. H. S. Torr，"Struck: Structured Output Tracking with Kernels"，Publications of International Conference on Computer Vision (ICCV), ２０１１年，２６３〜２７０頁に記載されている。ここで、多層ＮＮでモデルを構築している場合、一次候補画像領域を多層ＮＮに入力した後に出力される２次元ベクトルのうち、正のラベルに対応する要素の値を信頼度とすることも可能である。
個別モデル操作部１２１は、以上に説明したように各一次候補画像領域の信頼度を算出した後、本発明に係る候補領域選択手段として、一次候補画像領域群から、信頼度の高いｍ個の画像領域を選択し、それらを二次候補画像領域に決定する。例えば、信頼度の高い順に並び替えた一次候補画像領域群から上位ｍ個の画像領域を選択して、二次候補画像領域としてもよい。
＜ハンドリング処理：追跡・ロスト決定＞
図３に戻って、ハンドリング部１２２は、追跡決定部１２２ａと、検出決定部１２２ｂと、復帰決定部１２２ｃと有し、物体識別器（物体検出部１１１）によって検出された画像領域であって、ターゲット識別器（個別モデル操作部１２１）によって選択された（二次の）候補画像領域について、新規ＩＤ登録、追跡（位置決定）、ロスト（追跡中断）及び（追跡中断中ＩＤの）復帰に係る処理をハンドリング（操作）する。
図３に戻って、ハンドリング部１２２は、追跡決定部１２２ａと、検出決定部１２２ｂと、復帰決定部１２２ｃと有し、物体識別器（物体検出部１１１）によって検出された画像領域であって、ターゲット識別器（個別モデル操作部１２１）によって選択された（二次の）候補画像領域について、新規ＩＤ登録、追跡（位置決定）、ロスト（追跡中断）及び（追跡中断中ＩＤの）復帰に係る処理をハンドリング（操作）する。
図５は、ハンドリング部１２２における追跡・ロスト決定処理の一実施形態を概略的に示す模式図である。
図５には、ＩＤがID001、ID002、ID003、・・・である登録された複数の追跡対象物体のそれぞれに対し、ハンドリング部１２２が、決定された二次候補画像領域を取り込んで処理を行い、正解画像領域を決定している様子が概略的に示されている。ここで、ハンドリング部１２２によって決定された正解画像領域によって、各追跡対象物体の位置が決定されるのである。
具体的には、時刻Tの画像を取り込んだ際、ＩＤがID001、ID002、ID003、・・・である追跡対象物体の各々について、
（ａ）候補領域抽出部１１２（図３）が、当該画像から一次候補画像領域を抽出し、
（ｂ）個別モデル操作部１２１（図３）が、見かけのモデル（ターゲット識別器）を用いて、各一次候補画像領域の信頼度を算出し、
（ｃ）同じく個別モデル操作部１２１（図３）が、一次候補画像領域を信頼度順にソートし、そのうちの上位ｎ個（例えば数個）を二次候補画像領域に決定する。
（ａ）候補領域抽出部１１２（図３）が、当該画像から一次候補画像領域を抽出し、
（ｂ）個別モデル操作部１２１（図３）が、見かけのモデル（ターゲット識別器）を用いて、各一次候補画像領域の信頼度を算出し、
（ｃ）同じく個別モデル操作部１２１（図３）が、一次候補画像領域を信頼度順にソートし、そのうちの上位ｎ個（例えば数個）を二次候補画像領域に決定する。
次いで、決定された二次候補画像領域を入力したハンドリング部１２２（の追跡決定部１２２ａ）は、
（ｄ）各二次候補画像領域に対し、他のＩＤ（追跡対象物体）に係る画像領域との間の類似度又はオーバーラップ率を含むエビデンス情報を算出し、これをベクトル化して特徴量を生成し、
（ｅ）各二次候補画像領域に対応する特徴量を、追跡識別モデル（追跡用ハンドリング識別器）に適用し、各二次候補画像領域が追跡対象（ターゲット）であるか否かを推定し、
（ｆ）追跡対象（ターゲット）であると推定された二次候補画像領域の中から最も信頼度の高い画像領域を選択し、選択された画像領域を、追跡対象（ターゲット）の正解画像領域に決定する。また、決定された正解画像領域の位置を、当該ＩＤに係る追跡対象（ターゲット）の位置に決定する。
（ｇ）一方、追跡対象（ターゲット）と推定された二次候補画像領域が存在しなかった場合、当該ＩＤに係る追跡対象（ターゲット）はロストしたとみなす。
（ｄ）各二次候補画像領域に対し、他のＩＤ（追跡対象物体）に係る画像領域との間の類似度又はオーバーラップ率を含むエビデンス情報を算出し、これをベクトル化して特徴量を生成し、
（ｅ）各二次候補画像領域に対応する特徴量を、追跡識別モデル（追跡用ハンドリング識別器）に適用し、各二次候補画像領域が追跡対象（ターゲット）であるか否かを推定し、
（ｆ）追跡対象（ターゲット）であると推定された二次候補画像領域の中から最も信頼度の高い画像領域を選択し、選択された画像領域を、追跡対象（ターゲット）の正解画像領域に決定する。また、決定された正解画像領域の位置を、当該ＩＤに係る追跡対象（ターゲット）の位置に決定する。
（ｇ）一方、追跡対象（ターゲット）と推定された二次候補画像領域が存在しなかった場合、当該ＩＤに係る追跡対象（ターゲット）はロストしたとみなす。
以上、処理の概略を説明したように、ハンドリング部１２２の追跡決定部１２２ａは、ＩＤ毎に、１つの時点の画像における複数の（二次）候補画像領域の中から、当該候補画像領域と、前の時点で決定された追跡中の「他の物体」に係る画像領域（又はロストした「他の物体」に係る過去の画像領域）との間の「類似度」又は「オーバーラップ率」を含む「エビデンス情報」に基づいて、当該１つの時点で正解とされる追跡対象（ターゲット）に係る画像領域を決定するという追跡ハンドリング処理を実施するのである。
言い換えれば、追跡のハンドリング処理とは、 各ＩＤに係る物体が存在し得る位置候補が与えられた際に、生成した「エビデンス情報」に基づいて、追跡対象のＩＤに係る物体がどの候補位置に存在するか、又はいずれの候補位置にも存在しないかを判断しながら、各ＩＤに係る物体について位置を求める若しくはロストさせるといった処理のことである。
このような追跡のハンドリング処理は、複数の追跡対象全体を統括するモジュールにおいて実行されることも好ましい。このモジュールにおいては、複数存在する（個々のＩＤの）ターゲット識別器（見かけモデル）によるシングルトラッキングの結果が統合され、さらに複数物体の情報に係る「エビデンスアグリゲーション」によって、複数物体の適切な追跡処理が実現可能となっている。
ちなみに、以上に述べた追跡決定部１２２ａによる追跡ハンドリング処理は、候補領域抽出部１１２で抽出された一次候補画像領域群に対して実施されることも可能である。しかしながら、（個別モデル操作部１２１で）十分に絞られた二次候補画像領域群に対して追跡ハンドリング処理を行う本実施形態においては、膨大となりがちな「他の物体」の画像領域をも勘案した判定処理の計算量を、大幅に且つ適切に抑制することができる。また、一次候補を見かけモデルによって二次候補にまで絞ることによって、学習当初のハンドリング識別器におけるモデルの不完全性をカバーすることも可能となるのである。
ここで、１つの時点（時刻T）での「エビデンス情報」としては、
（Ｅ１）前の時点（時刻T−1）で追跡中の１つ若しくは複数の「他の物体」について決定された１つ若しくは複数の画像領域と、（二次）候補画像領域との間の１つ若しくは複数の「類似度」、又は当該「類似度」のうちで最大の類似度、
（Ｅ２）前の時点（時刻T−1）で追跡中の１つ若しくは複数の「他の物体」について決定された１つ若しくは複数の画像領域と、（二次）候補画像領域との間の１つ若しくは複数の「オーバーラップ率」、又は当該「オーバーラップ率」のうちで最大のオーバーラップ率、及び
（Ｅ３）前の時点（時刻T−1）でロストとされた１つ若しくは複数の「他の物体」に係る１つ若しくは複数の過去の画像領域と、（二次）候補画像領域との間の１つ若しくは複数の「類似度」、又は当該「類似度」のうちで最大の類似度
のうちの少なくとも１つを含むものを採用することが好ましい。
（Ｅ１）前の時点（時刻T−1）で追跡中の１つ若しくは複数の「他の物体」について決定された１つ若しくは複数の画像領域と、（二次）候補画像領域との間の１つ若しくは複数の「類似度」、又は当該「類似度」のうちで最大の類似度、
（Ｅ２）前の時点（時刻T−1）で追跡中の１つ若しくは複数の「他の物体」について決定された１つ若しくは複数の画像領域と、（二次）候補画像領域との間の１つ若しくは複数の「オーバーラップ率」、又は当該「オーバーラップ率」のうちで最大のオーバーラップ率、及び
（Ｅ３）前の時点（時刻T−1）でロストとされた１つ若しくは複数の「他の物体」に係る１つ若しくは複数の過去の画像領域と、（二次）候補画像領域との間の１つ若しくは複数の「類似度」、又は当該「類似度」のうちで最大の類似度
のうちの少なくとも１つを含むものを採用することが好ましい。
このように、追跡中の「他の物体」やロストした「他の物体」の画像領域に係る情報をもエビデンス情報に採用して、正解画像領域を決定していく「エビデンスアグリゲーション」によれば、追跡対象の物体が複数存在する状況でも、より正確に各物体を識別し、より確実にその位置を追うことが可能となるのである。特に、オクルージョン（occlusion）が発生した場合でも、追跡対象ＩＤに係る物体ではないこの「他の物体」を追跡対象として信頼してしまう誤りを格段に低減することができる。すなわち、追跡対象物体を識別するＩＤの不正なスイッチングの発生を大幅に抑制することが可能となる。さらに、ロストした「他の物体」の画像領域をも勘案することによって、ロスト中の物体が出現する可能性にも配慮することができるのである。
また、「エビデンス情報」として、
（Ｅ４）１つの時点（時刻T）から見て１つ若しくは複数の前の時点で正解とされた１つの物体に係る1つ若しくは複数の画像領域（例えば過去数フレームの正解画像領域）と、（二次）候補画像領域との間の1つ若しくは複数の「類似度」、又は当該類似度の平均値、
（Ｅ５）前の時点（時刻T−1）で正解とされた１つの物体に係る画像領域と、（二次）候補画像領域との「オーバーラップ率」、
（Ｅ６）追跡対象の物体を検出可能なように学習した所定の物体識別器によって１つの時点（時刻T）の画像から検出された１つ若しくは複数の物体に係る1つ若しくは複数の画像領域と、（二次）候補画像領域との間の１つ若しくは複数の「オーバーラップ率」、又は当該「オーバーラップ率」のうちで最大のオーバーラップ率、
（Ｅ７）１つの物体を識別可能なように学習したターゲット識別器１２１ｔによって、（二次）候補画像領域について算出された、この１つの物体に係る画像領域として識別される度合いである信頼度、及び
（Ｅ８）物体らしさを判別可能なように学習した所定の物体らしさ識別器によって、（二次）候補画像領域について算出された物体らしさを示すスコア
のうちの少なくとも１つをも含むものを採用することが好ましい。
（Ｅ４）１つの時点（時刻T）から見て１つ若しくは複数の前の時点で正解とされた１つの物体に係る1つ若しくは複数の画像領域（例えば過去数フレームの正解画像領域）と、（二次）候補画像領域との間の1つ若しくは複数の「類似度」、又は当該類似度の平均値、
（Ｅ５）前の時点（時刻T−1）で正解とされた１つの物体に係る画像領域と、（二次）候補画像領域との「オーバーラップ率」、
（Ｅ６）追跡対象の物体を検出可能なように学習した所定の物体識別器によって１つの時点（時刻T）の画像から検出された１つ若しくは複数の物体に係る1つ若しくは複数の画像領域と、（二次）候補画像領域との間の１つ若しくは複数の「オーバーラップ率」、又は当該「オーバーラップ率」のうちで最大のオーバーラップ率、
（Ｅ７）１つの物体を識別可能なように学習したターゲット識別器１２１ｔによって、（二次）候補画像領域について算出された、この１つの物体に係る画像領域として識別される度合いである信頼度、及び
（Ｅ８）物体らしさを判別可能なように学習した所定の物体らしさ識別器によって、（二次）候補画像領域について算出された物体らしさを示すスコア
のうちの少なくとも１つをも含むものを採用することが好ましい。
ここで、上記（Ｅ８）においては、例えば追跡対象物体が人物である場合に、あらかじめ人物が正しく切り取られた画像領域か否かを判別する人物らしさ識別器を学習しておき、この識別器から人物らしさを示すスコアを出力させることができる。この人物らしさのスコア化については、例えば、人物周辺の領域を切り出した画像領域（画像パッチ）のうち、人物として正解である正解画像領域とのオーバーラップ率OVRが所定閾値以上である領域に正のラベル、そうでない領域に負のラベルを付与した上で、例えばＳＶＭで学習させてもよい。この場合、ＳＶＭの符号付き距離を人物らしさのスコアとすることができる。
ちなみに、この人物らしさ識別器は、人物が具体的に誰かを区別せず人物一般の見かけを学習して構築されるのに対し、ターゲット識別器１２１ｔ（図４）は、各ＩＤに係る個々の人物の見かけを学習して構築されるのであり、両者は異なる種別の識別器となっている。
次に、上記（Ｅ１）〜（Ｅ８）のエビデンス情報のいくつかで使用される「類似度」及び「オーバーラップ率」について説明する。例えば、２つの画像領域の間の類似度Ｓは、それぞれの画像領域についての色ヒストグラムから生成される特徴量をx1及びx2とすると、次式のように定義することができる。
（２） Ｓ(x1, x2)＝１−α＊d(x1, x2)
ここで、αは所与のパラメータであり、d(x1, x2)は、色ヒストグラム間距離である。
（２） Ｓ(x1, x2)＝１−α＊d(x1, x2)
ここで、αは所与のパラメータであり、d(x1, x2)は、色ヒストグラム間距離である。
また、２つの画像領域Ａ及びＢの間のオーバーラップ率OVRは、次式のように定義することができる。
（３） OVR＝|A∩B|／|A∪B|
ここで、|A∩B|は、画像領域Ａと画像領域Ｂの両方に含まれる画素の数であり、|A∪B|は、画像領域Ａと画像領域Ｂのうちの少なくとも一方に含まれる画素の数である。
（３） OVR＝|A∩B|／|A∪B|
ここで、|A∩B|は、画像領域Ａと画像領域Ｂの両方に含まれる画素の数であり、|A∪B|は、画像領域Ａと画像領域Ｂのうちの少なくとも一方に含まれる画素の数である。
次いで、エビデンス情報で使用される「類似度」におけるＮＮ（ニューラルネットワーク）を用いた他の算出方法を説明する。
図６は、ＮＮ（ニューラルネットワーク）を用いた類似度算出方法を説明するための模式図である。
図６によれば、追跡決定部１２２ａは、
（ａ）類似度算出対象である二次候補画像領域と、
（ｂ）追跡中の他の物体の前時刻（時刻T−1）での画像領域、ロスト中の他の物体の過去の画像領域、又は過去の正解画像領域と
を、それぞれ畳み込み層（convolution layer）を含むＮＮ-１及びＮＮ-２に入力し、これらのＮＮから抽出されたそれぞれの画像領域に係る特徴量を、コントラスティブ・ロス（contrastive loss）をもって比較することによって「類似度」を決定している。
（ａ）類似度算出対象である二次候補画像領域と、
（ｂ）追跡中の他の物体の前時刻（時刻T−1）での画像領域、ロスト中の他の物体の過去の画像領域、又は過去の正解画像領域と
を、それぞれ畳み込み層（convolution layer）を含むＮＮ-１及びＮＮ-２に入力し、これらのＮＮから抽出されたそれぞれの画像領域に係る特徴量を、コントラスティブ・ロス（contrastive loss）をもって比較することによって「類似度」を決定している。
ここで、ＮＮ-１及びＮＮ-２は、画像の特徴量を自動的に抽出する特徴量抽出器を構成する。具体的には、深層学習を用いて正解データを有する大規模データから自動的に特徴量を抽出する。これにより、オクルージョン（occlusion）等の様々な問題が複雑に絡みあう複数の追跡対象物体の映っている映像（時系列画像群）にも適用可能な特徴量を、適宜取得することが可能となる。
追跡決定部１２２ａは、このようにＮＮ-１及びＮＮ-２に対し、所定の大規模画像データセットを予め学習させた上で（事前学習を行わせた上で）、実行フェーズとして実際に入力した画像領域の特徴量を自動生成させる。
ちなみに、ＮＮ-１及びＮＮ-２に含まれる畳み込み層（convolution layer）は、動物の視覚野の単純細胞の働きを模しており、画像に対しカーネル（重み付け行列フィルタ）をスライドさせて特徴マップを生成する畳み込み処理を実行する層である。この畳み込み処理によって、画像の解像度を段階的に落としながら、エッジや勾配等の基本的特徴を抽出し、局所的な相関パターンの情報を得ることができる。
具体的に、ＮＮ-１及びＮＮ-２としては、例えば５層の畳み込み層を用いたAlexNetを用いることができる。このAlexNetでは、各畳み込み層はプーリング層と対になっており、畳み込み処理とプーリング処理とが繰り返される。ここで、プーリング処理とは、動物の視覚野の複雑細胞の働きを模した処理であり、畳み込み層から出力される特徴マップ（一定領域内の畳み込みフィルタの反応）を最大値や平均値等でまとめ、調整パラメータを減らしつつ、局所的な平行移動不変性を確保する処理である。AlexNetについては、例えば、Krizhevsky, A., Sutskever, I., and Hinton, G. E.，"Imagenet classification with deep convolutional neural networks"，Advances in Neural Information Processing Systems 25，２０１２年，１１０６〜１１１４頁に記載されている。
次いで、同じく図６によれば、追跡決定部１２２ａは、ＮＮ-１及びＮＮ-２のそれぞれの出力側に、追加ＮＮを配置し、さらに、ＮＮ-１及びＮＮ-２の両方からの出力を結合（比較）して類似度を出力するコントラスティブ・ロス（contrastive loss）を接続している。
このうち、コントラスティブ・ロスは、相対関係の学習に用いられる損失関数であり、ペアを入力として与えると、それらが同じものか別のものかを学習し、次いで判別するのに使用される。このコントラスティブ・ロスを利用することによって、特徴空間でのメトリック（metric）を学習し、比較する多次元ベクトルにおける類似度に効く要素部分をより確実に捉えることが可能となる。ちなみに、コントラスティブ・ロスを用いて２つの入力の類似性を求めるネットワークは、Siamese networkと呼ばれている。コントラスティブ・ロスについては、例えば、S. Chopra, R. Hadsell, and Y. LeCun，"Learning a Similarity Metric Discriminatively, with Application to Face Verification"，Proc. IEEE Conf. Computer Vision and Pattern Recognition，２００５年，に記載されている。
また、追加される追加ＮＮは、結合層を含む多層ＮＮとすることができる。畳み込み層を含んでいなくともよい。この追加ＮＮを設けることによって、比較する画像における様々な変化に的確に対応し、類似の度合いの判定精度を高めることが可能となる。
ここで、追跡決定部１２２ａでの類似度算出の実行フェーズについて説明する。この実行フェーズにおいて、ＮＮ-１には、個別モデル操作部１２１（図３）から出力される二次候補画像領域が入力され、一方、ＮＮ-２には、追跡中の他の物体の前時刻での画像領域、ロスト中の他の物体の過去の画像領域、又は過去の正解画像領域が入力される。次いで、学習済みの追加ネットワークを経て出力されるそれぞれの特徴量が、コントラスティブ・ロスに入力され、両特徴量（画像領域）の距離としての類似度が出力されるのである。
次に、追跡決定部１２２ａでの類似度算出の事前学習フェーズについて説明する。画像間の類似度（距離）の学習には、予め学習を行ったＮＮ-１及びＮＮ-２（特徴量抽出器）の反応を入力として用いる。具体的には、大量の画像のペアをそれぞれＮＮ-１及びＮＮ-２に入力し、両者を結合するcontrastive lossを用いて、これらのＮＮ-１及びＮＮ-２の上に追加された追加ネットワーク（さらにはＮＮ-１及びＮＮ-２における追加ネットワークとの結合部分）に当該反応を学習させ、画像間の類似度を算出できるようにする。
以上、コントラスティブ・ロスを用いた類似度算出について詳細に説明したが、エビデンス情報を生成するための類似度の決定は、当然、図６に示した実施形態に限定されるものではない。例えば、類似度算出対象の二次候補画像領域のＨＯＧ特徴量と、比較対象の画像領域のＨＯＧ特徴量とを算出した上で、両者の線形距離を求めて当該距離を類似度とすることも可能である。その他、画像間の類似度を決定可能な手法であるならば種々のものを採用することが可能である。
図７は、本発明に係るエビデンス情報に基づいた追跡・ロスト決定処理の一実施形態を説明するための模式図である。
図７に示すように、ハンドリング部１２２の追跡決定部１２２ａは、
（ａ）（二次）候補画像領域の各々について生成した「エビデンス情報」から特徴量を決定し、
（ｂ）正解領域と非正解領域とを識別可能なように学習した追跡ハンドリング用識別器１２２ａｔに対し、決定した特徴量を入力し、入力した特徴量に係る候補画像領域にスコアを付与し、当該画像領域が正解とされる画像領域か否かを判定する。
（ｃ）また、このようなスコア付与・判定の結果に基づいて、１つの時点（時刻T）で正解とされる追跡対象ＩＤの物体に係る画像領域を決定し、または追跡対象ＩＤに係る物体はロストしたとの判定を行う。
（ａ）（二次）候補画像領域の各々について生成した「エビデンス情報」から特徴量を決定し、
（ｂ）正解領域と非正解領域とを識別可能なように学習した追跡ハンドリング用識別器１２２ａｔに対し、決定した特徴量を入力し、入力した特徴量に係る候補画像領域にスコアを付与し、当該画像領域が正解とされる画像領域か否かを判定する。
（ｃ）また、このようなスコア付与・判定の結果に基づいて、１つの時点（時刻T）で正解とされる追跡対象ＩＤの物体に係る画像領域を決定し、または追跡対象ＩＤに係る物体はロストしたとの判定を行う。
ここで、上記（ａ）においては、エビデンス情報の各スコア、例えば上記（Ｅ１）〜（Ｅ８）を並べてベクトルとし、このベクトルを特徴量としてもよい。また、上記（ｂ）の追跡ハンドリング用識別器１２２ａｔは、このような特徴量を正解情報とともに用いて、事前に正解の画像領域とそうでない画像領域とを識別するように学習した識別器とすることができる。この追跡ハンドリング用識別器１２２ａｔとして、例えば、個別モデル操作部１２１のターゲット識別器１２１ｔと同様、ＳＶＭを用いることが可能である。
また、上記（ｂ）及び（ｃ）において、追跡対象ＩＤに係る物体と判定された（正解と判定された）候補画像領域が複数存在する場合には、その中で「信頼度」の最も高いものを選択し、これを追跡対象ＩＤに係る正解画像領域に決定してもよい。ここで、追跡ハンドリング用識別器１２２ａｔがターゲット識別器１２１ｔと同様にＳＶＭで構成されている場合は、この「信頼度」として、上式（１）で算出される識別境界面（識別超平面）からの符号付距離を採用することができる。また、決定した正解画像領域を用いて図４で説明したのと同様に識別器１２２ａｔの見かけモデルを更新することが可能となる。
一方、追跡対象ＩＤに係る物体と判定された（正解と判定された）候補画像領域が存在しない場合、このＩＤに係る物体はロストしたとみなし、追跡を中断するのである。
このように、本実施形態においては、追跡対象ＩＤに係る物体の正解画像領域を決定するために、個別モデル操作部１２１（ターゲット識別器１２１ｔ）で算出される、自身の見かけの近さを表す信頼度だけではなく、「他の物体」の画像領域についても勘案した「エビデンス情報」から生成した特徴量を用いて、正解／非正解の判定を行うのである。また、この判定結果に基づいて、追跡又はロストの決定も行っている。従って、複数の追跡対象物体が存在し、オクルージョン（occlusion）の発生しやすい状況であっても、ＩＤスイッチングの発生を抑制し、より正確な追跡を実行し、確実な追跡／ロストの判断を行うことが可能となるのである。
＜ハンドリング処理：新規ＩＤ登録・復帰決定＞
図３に戻って、ハンドリング部１２２の検出決定部１２２ｂは、追跡対象の物体を検出可能なように学習した所定の物体識別器によって検出された１つの時点（時刻T）での１つの物体に係る画像領域について、この画像領域と、検出された「他の物体」に係る画像領域又はロストしている「他の物体」に係る過去の画像領域との間の類似又は重畳の度合いを含む「検出エビデンス」に基づき、追跡対象の画像領域であるか否かを判定する。
図３に戻って、ハンドリング部１２２の検出決定部１２２ｂは、追跡対象の物体を検出可能なように学習した所定の物体識別器によって検出された１つの時点（時刻T）での１つの物体に係る画像領域について、この画像領域と、検出された「他の物体」に係る画像領域又はロストしている「他の物体」に係る過去の画像領域との間の類似又は重畳の度合いを含む「検出エビデンス」に基づき、追跡対象の画像領域であるか否かを判定する。
具体的に、「検出エビデンス」としては、物体識別器で検出された画像領域のそれぞれに対し、
（Ｄ１）全ての追跡対象ＩＤに係る画像領域とのオーバーラップ率のうちで、最も高い最大オーバーラップ率、
（Ｄ２）全ての追跡対象ＩＤに係る画像領域との類似度のうちで、最も高い最大類似度、及び
（Ｄ３）全てのロスト中であるＩＤに係る画像領域との類似度のうちで、最も高い最大類似度
のうちの少なくとも１つを採用することも好ましい。また、
（Ｄ４）追跡の際のエビデンス（Ｅ８）と同様に、所定の物体らしさ識別器によって算出された物体らしさを示すスコア
も「検出エビデンス」に含めることも好ましい。
（Ｄ１）全ての追跡対象ＩＤに係る画像領域とのオーバーラップ率のうちで、最も高い最大オーバーラップ率、
（Ｄ２）全ての追跡対象ＩＤに係る画像領域との類似度のうちで、最も高い最大類似度、及び
（Ｄ３）全てのロスト中であるＩＤに係る画像領域との類似度のうちで、最も高い最大類似度
のうちの少なくとも１つを採用することも好ましい。また、
（Ｄ４）追跡の際のエビデンス（Ｅ８）と同様に、所定の物体らしさ識別器によって算出された物体らしさを示すスコア
も「検出エビデンス」に含めることも好ましい。
次いで、検出決定部１２２ｂは、このような「検出エビデンス」を要素としたベクトルを特徴量とし、予め学習された検出用ハンドリング識別器を用いて、検出された（検出エビデンスに係る）画像領域に対し、
（ａ）新規のＩＤを割り当てる、（ｂ）ロストから復帰させる、及び（ｃ）何もしない
の３つのラベルのいずれかを付与する。
（ａ）新規のＩＤを割り当てる、（ｂ）ロストから復帰させる、及び（ｃ）何もしない
の３つのラベルのいずれかを付与する。
ここで、検出用ハンドリング識別器は、例えば、手動で正解の物体ＩＤと当該物体に係る画像領域とをアノテーションした時系列画像群を用い、検出エビデンスを算出して特徴量を生成し、例えばＳＶＭで上記３つのラベルに分類する識別境界面（識別超平面）を学習することで構築されてもよい。なお、この検出用ハンドリング識別器が新規ＩＤとして判断した検出画像領域によって、この新規ＩＤに個別に対応する新たな見かけモデル（ターゲット識別器）も構築される。
＜ハンドリング処理：復帰先ＩＤ決定＞
同じく図３において、ハンドリング部１２２の復帰決定部１２２ｃは、上記（ｂ）の「ロストから復帰させる」とのラベルを付与された検出画像領域について、ロスト中のＩＤのうちのいずれに復帰させるかを決定する。
同じく図３において、ハンドリング部１２２の復帰決定部１２２ｃは、上記（ｂ）の「ロストから復帰させる」とのラベルを付与された検出画像領域について、ロスト中のＩＤのうちのいずれに復帰させるかを決定する。
具体的に、復帰決定部１２２ｃは、「ロストから復帰させる」とのラベルを付与された検出画像領域と、ロスト中のＩＤとの組を求め、この組に対して「他の物体」の画像領域に係る情報を含む「復帰エビデンス」を算出して、この組で復帰させるか否かを判定する。
具体的に、「復帰エビデンス」としては、「ロストから復帰させる」とのラベルを付与された検出画像領域に対し、
（Ｒ１）当該組におけるロスト中のＩＤに係る画像領域との類似度、
（Ｒ２）追跡の際のエビデンス（Ｅ８）と同様に、所定の物体らしさ識別器によって算出された物体らしさを示すスコア、及び
（Ｒ３）当該組におけるロスト中のＩＤにおけるロストの継続時間、又はロストの継続しているフレームの数
を採用することも好ましい。
（Ｒ１）当該組におけるロスト中のＩＤに係る画像領域との類似度、
（Ｒ２）追跡の際のエビデンス（Ｅ８）と同様に、所定の物体らしさ識別器によって算出された物体らしさを示すスコア、及び
（Ｒ３）当該組におけるロスト中のＩＤにおけるロストの継続時間、又はロストの継続しているフレームの数
を採用することも好ましい。
次いで、復帰決定部１２２ｃは、このような「復帰エビデンス」を要素としたベクトルを特徴量とし、予め学習された復帰用ハンドリング識別器を用いて、当該組をもって復帰させるか否かを識別する。ここで、１つのロスト中のＩＤについて、複数の検出画像領域で復帰させるとの判定がなされた場合、そのうちで最も信頼度の高い検出画像領域を選択し、このロスト中のＩＤをこの選択された検出画像領域で復帰させてもよい。
以上、ハンドリング部１２２によれば、追跡決定部１２２ａによって追跡／ロスト決定処理を、検出決定部１２２ｂによって新規ＩＤ登録／復帰決定処理を、さらに復帰決定部１２２ｃによって復帰先ＩＤ決定処理を包括的に実施することができる。その結果、複数の物体の追跡を、「エビデンスアグリゲーション」によって、より正確に且つリアルタイムで実現することが可能となるのである。
同じく図３において、識別モデル記憶部１０３は、ハンドリング部１２２で使用される追跡用、検出用及び復帰用ハンドリング識別器（識別モデル）等、さらにはその識別モデルの判断材料となる物体らしさ識別器（識別モデル）や、ＨＯＧ等の物体識別器（識別モデル）等を蓄積している。
ＩＤ蓄積部１０４は、登録されたＩＤやロスト中のＩＤ毎に、当該ＩＤに係る情報を蓄積し、適宜更新する。また、画像領域蓄積部１０５は、例えば刻々と入力した正解画像領域を時系列に整理して保存する。また、要求に応じて、ハンドリング部１２２に対し過去の正解画像領域を出力する。
追跡物体情報記憶部１０６は、例えば刻々と入力した正解画像領域に基づき、追跡対象物体について、時刻毎に（実空間に張られた）世界座標系Gx-Gy-Gzにおける位置（又はロストした事実）を対応付けた追跡履歴を含む情報を、追跡物体情報として生成し、管理する。生成された追跡物体情報は、生成・更新される毎に、又は適宜、追跡物体情報記憶部１０６に記憶されることも好ましい。また、通信制御部１３１及び通信インタフェース１０１を介し、外部の情報処理装置に送信されてもよい。
以上詳細に説明したように、本発明においては、追跡対象となる物体が複数存在する場合に、１つの物体の追跡（画像領域の決定）を、他の物体に係る画像領域をも勘案して実行している。従って、この１つの物体の画像領域に対する他の物体による影響の有無・大小を考慮することができ、より確実に各物体を追跡することができる。その結果、例えば、オクルージョンが発生した場合でも、不要なＩＤスイッチングの発生を大幅に抑制することが可能となるのである。
ちなみに、本発明の構成及び方法は、例えば、多数の人物が移動・滞留したり出入りしたりする場を監視する監視システム、さらには、商店街や商業・サービス施設内における人物の入店、休憩、観戦・イベント参加や移動の状況を調査するためのマーケティング調査システム等、様々な系に適用可能である。
以上に述べた本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 物体追跡装置
１０１ 通信インタフェース
１０２ 画像蓄積部
１０３ 識別モデル記憶部
１０４ ＩＤ（識別子）蓄積部
１０５ 画像領域蓄積部
１０６ 追跡物体情報記憶部
１１１ 物体検出部
１１２ 候補領域抽出部
１２ ＩＤ管理部
１２１ 個別モデル操作部
１２２ ハンドリング部
１２２ａ 追跡決定部
１２２ｂ 検出決定部
１２２ｃ 復帰決定部
１３１ 通信制御部
２ カメラ
１０１ 通信インタフェース
１０２ 画像蓄積部
１０３ 識別モデル記憶部
１０４ ＩＤ（識別子）蓄積部
１０５ 画像領域蓄積部
１０６ 追跡物体情報記憶部
１１１ 物体検出部
１１２ 候補領域抽出部
１２ ＩＤ管理部
１２１ 個別モデル操作部
１２２ ハンドリング部
１２２ａ 追跡決定部
１２２ｂ 検出決定部
１２２ｃ 復帰決定部
１３１ 通信制御部
２ カメラ
Claims (11)
- 複数の追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域又は当該物体のロストを決定していくことによって当該物体を追跡可能な装置であって、
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出する候補領域抽出手段と、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定する追跡決定手段と
を有することを特徴とする物体追跡装置。 - 前記追跡決定手段は、
当該前の時点で１つ若しくは複数の他の物体について決定された１つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数の類似度、又は当該類似度のうちで最大の類似度、
当該前の時点で１つ若しくは複数の他の物体について決定された１つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数のオーバーラップ率、又は当該オーバーラップ率のうちで最大のオーバーラップ率、及び
当該前の時点でロストとされた１つ若しくは複数の他の物体に係る１つ若しくは複数の過去の画像領域と、当該候補画像領域との間の１つ若しくは複数の類似度、又は当該類似度のうちで最大の類似度
のうちの少なくとも１つを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定することを特徴とする請求項１に記載の物体追跡装置。 - 前記追跡決定手段は、さらに、
当該１つの時点から見て１つ若しくは複数の前の時点で正解とされた当該１つの物体に係る1つ若しくは複数の画像領域と、当該候補画像領域との間の1つ若しくは複数の類似度、又は当該類似度の平均値、
当該前の時点で正解とされた当該１つの物体に係る画像領域と、当該候補画像領域とのオーバーラップ率、
当該物体を検出可能なように学習した所定の物体識別器によって当該１つの時点の画像から検出された１つ若しくは複数の物体に係る1つ若しくは複数の画像領域と、当該候補画像領域との間の１つ若しくは複数のオーバーラップ率、又は当該オーバーラップ率のうちで最大のオーバーラップ率、
当該１つの物体を識別可能なように学習した所定のターゲット識別器によって、当該候補画像領域について算出された、当該１つの物体に係る画像領域として識別される度合いである信頼度、及び
当該物体らしさを判別可能なように学習した所定の物体らしさ識別器によって、当該候補画像領域について算出された物体らしさを示すスコア
のうちの少なくとも１つをも含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定することを特徴とする請求項１又は２に記載の物体追跡装置。 - 抽出された当該１つの物体に係る候補画像領域の中から、当該候補画像領域における当該１つの物体に係る画像領域として識別される度合いである信頼度に基づいて、二次の複数の候補画像領域を選択する候補領域選択手段を更に有し、
前記追跡決定手段は、二次の当該複数の候補画像領域の中から、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定する
ことを特徴とする請求項１から３のいずれか１項に記載の物体追跡装置。 - 前記追跡決定手段は、当該エビデンスから特徴量を決定し、正解領域と非正解領域とを識別可能なように学習した追跡ハンドリング用識別器に当該特徴量を入力して、当該特徴量に係る候補画像領域が正解とされる画像領域か否かを判定することを特徴とする請求項１から４のいずれか１項に記載の物体追跡装置。
- 前記追跡決定手段は、当該複数の候補画像領域のうちで、正解とされる画像領域であると判定された候補画像領域が存在しない場合、当該１つの物体はロストしたと決定することを特徴とする請求項５に記載の物体追跡装置。
- 当該物体を検出可能なように学習した所定の物体識別器によって検出された当該１つの時点での当該１つの物体に係る画像領域について、当該画像領域と、検出された他の物体に係る画像領域又はロストしている他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含む検出エビデンスに基づき、追跡対象の画像領域であるか否かを判定する検出決定手段を更に有することを特徴とする請求項１から６のいずれか１項に記載の物体追跡装置。
- 前記追跡決定手段と前記検出決定手段とを含み、前記物体識別器によって検出された画像領域について、新規登録、追跡、ロスト及び復帰に係る処理をハンドリングするハンドリング手段を有することを特徴とする請求項７に記載の物体追跡装置。
- 当該類似の度合いは、類似度であって、類似度算出対象の画像領域を、畳み込み層（convolution layer）を含むニューラルネットワークに入力し、該ニューラルネットワークから抽出された当該画像領域に係る特徴量を比較することによって決定される値であることを特徴とする請求項１から８のいずれか１項に記載の物体追跡装置。
- 複数の追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域又は当該物体のロストを決定していくことによって当該物体を追跡可能な装置に搭載されたコンピュータを機能させるプログラムであって、
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出する候補領域抽出手段と、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定する追跡決定手段と
としてコンピュータを機能させることを特徴とする物体追跡プログラム。 - 複数の追跡対象の物体が含まれ得る時系列の画像群の各画像において、当該物体に係る画像領域又は当該物体のロストを決定していくことによって当該物体を追跡可能な装置における当該物体を追跡する方法であって、
１つの時点の前の時点において決定された１つの物体に係る画像領域に基づいて、当該１つの時点での画像における複数の画像領域を、当該１つの物体に係る複数の候補画像領域として抽出するステップと、
当該複数の候補画像領域の中から、当該候補画像領域と、当該前の時点で決定された他の物体に係る画像領域、又はロストした他の物体に係る過去の画像領域との間の類似又は重畳の度合いを含むエビデンスに基づいて、当該１つの時点で正解とされる当該１つの物体に係る画像領域を決定するステップと
を有することを特徴とする物体追跡方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016161968A JP6598746B2 (ja) | 2016-08-22 | 2016-08-22 | 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016161968A JP6598746B2 (ja) | 2016-08-22 | 2016-08-22 | 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018032078A true JP2018032078A (ja) | 2018-03-01 |
| JP6598746B2 JP6598746B2 (ja) | 2019-10-30 |
Family
ID=61303484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016161968A Active JP6598746B2 (ja) | 2016-08-22 | 2016-08-22 | 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6598746B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6476531B1 (ja) * | 2018-03-06 | 2019-03-06 | 株式会社ツバサファクトリー | 処理装置、処理方法、コンピュータプログラム及び処理システム |
| JP2019185616A (ja) * | 2018-04-16 | 2019-10-24 | Kddi株式会社 | 画像抽出装置、画像抽出方法及び画像抽出プログラム |
| JP2019204518A (ja) * | 2018-07-02 | 2019-11-28 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 人物追跡方法、装置、機器及び記憶媒体 |
| JP2020030795A (ja) * | 2018-08-23 | 2020-02-27 | 富士ゼロックス株式会社 | 地図画像背景から位置を推定するためのシステム、方法、及びプログラム |
| JP2020061066A (ja) * | 2018-10-12 | 2020-04-16 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
| CN111476302A (zh) * | 2020-04-08 | 2020-07-31 | 北京工商大学 | 基于深度强化学习的Faster-RCNN目标物体检测方法 |
| JP2021012651A (ja) * | 2019-07-09 | 2021-02-04 | オムロン株式会社 | 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム |
| JP2021022235A (ja) * | 2019-07-29 | 2021-02-18 | 公益財団法人鉄道総合技術研究所 | 点滅検出装置および点滅検出方法 |
| KR102245501B1 (ko) * | 2020-11-25 | 2021-04-29 | 주식회사 아이지오 | 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템 |
| CN113556506A (zh) * | 2020-04-24 | 2021-10-26 | 英研智能移动股份有限公司 | 基于图像的物体追踪方法 |
| US11341361B2 (en) | 2019-11-05 | 2022-05-24 | Fujitsu Limited | Analysis apparatus, storage medium storing analysis program, and analysis method |
| US11436431B2 (en) | 2019-11-05 | 2022-09-06 | Fujitsu Limited | Analysis apparatus, non-transitory computer-readable storage medium for analysis program, and analysis method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011170711A (ja) * | 2010-02-19 | 2011-09-01 | Toshiba Corp | 移動物体追跡システムおよび移動物体追跡方法 |
| JP2014074977A (ja) * | 2012-10-03 | 2014-04-24 | National Institute Of Advanced Industrial & Technology | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2016099941A (ja) * | 2014-11-26 | 2016-05-30 | 日本放送協会 | オブジェクト位置推定システム、及びそのプログラム |
| JP2016099980A (ja) * | 2014-11-26 | 2016-05-30 | 日本電信電話株式会社 | 画像セグメンテーション方法、装置、及びプログラム |
| JP2016126624A (ja) * | 2015-01-06 | 2016-07-11 | Kddi株式会社 | オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法 |
-
2016
- 2016-08-22 JP JP2016161968A patent/JP6598746B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011170711A (ja) * | 2010-02-19 | 2011-09-01 | Toshiba Corp | 移動物体追跡システムおよび移動物体追跡方法 |
| JP2014074977A (ja) * | 2012-10-03 | 2014-04-24 | National Institute Of Advanced Industrial & Technology | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2016099941A (ja) * | 2014-11-26 | 2016-05-30 | 日本放送協会 | オブジェクト位置推定システム、及びそのプログラム |
| JP2016099980A (ja) * | 2014-11-26 | 2016-05-30 | 日本電信電話株式会社 | 画像セグメンテーション方法、装置、及びプログラム |
| JP2016126624A (ja) * | 2015-01-06 | 2016-07-11 | Kddi株式会社 | オクルージョン発生時に専用の識別器を用いて物体を追跡する装置、プログラム及び方法 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019172262A1 (ja) * | 2018-03-06 | 2019-09-12 | 株式会社ツバサファクトリー | 処理装置、処理方法、コンピュータプログラム及び処理システム |
| JP2019153229A (ja) * | 2018-03-06 | 2019-09-12 | 株式会社ツバサファクトリー | 処理装置、処理方法、コンピュータプログラム及び処理システム |
| JP6476531B1 (ja) * | 2018-03-06 | 2019-03-06 | 株式会社ツバサファクトリー | 処理装置、処理方法、コンピュータプログラム及び処理システム |
| JP2019185616A (ja) * | 2018-04-16 | 2019-10-24 | Kddi株式会社 | 画像抽出装置、画像抽出方法及び画像抽出プログラム |
| JP7073179B2 (ja) | 2018-04-16 | 2022-05-23 | Kddi株式会社 | 画像抽出装置、画像抽出方法及び画像抽出プログラム |
| JP2019204518A (ja) * | 2018-07-02 | 2019-11-28 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 人物追跡方法、装置、機器及び記憶媒体 |
| US11348354B2 (en) | 2018-07-02 | 2022-05-31 | Baidu Online Network Technology (Beijing) Co., Ltd. | Human body tracing method, apparatus and device, and storage medium |
| JP7318239B2 (ja) | 2018-08-23 | 2023-08-01 | 富士フイルムビジネスイノベーション株式会社 | 地図画像背景から位置を推定するためのシステム、方法、及びプログラム |
| JP2020030795A (ja) * | 2018-08-23 | 2020-02-27 | 富士ゼロックス株式会社 | 地図画像背景から位置を推定するためのシステム、方法、及びプログラム |
| JP2020061066A (ja) * | 2018-10-12 | 2020-04-16 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
| JP7208480B2 (ja) | 2018-10-12 | 2023-01-19 | 富士通株式会社 | 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法 |
| JP2021012651A (ja) * | 2019-07-09 | 2021-02-04 | オムロン株式会社 | 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム |
| JP7354626B2 (ja) | 2019-07-09 | 2023-10-03 | オムロン株式会社 | 予測装置、モデル生成装置、予測方法、モデル生成方法、予測プログラム、およびモデル生成プログラム |
| JP2021022235A (ja) * | 2019-07-29 | 2021-02-18 | 公益財団法人鉄道総合技術研究所 | 点滅検出装置および点滅検出方法 |
| US11436431B2 (en) | 2019-11-05 | 2022-09-06 | Fujitsu Limited | Analysis apparatus, non-transitory computer-readable storage medium for analysis program, and analysis method |
| US11341361B2 (en) | 2019-11-05 | 2022-05-24 | Fujitsu Limited | Analysis apparatus, storage medium storing analysis program, and analysis method |
| CN111476302B (zh) * | 2020-04-08 | 2023-03-24 | 北京工商大学 | 基于深度强化学习的Faster-RCNN目标物体检测方法 |
| CN111476302A (zh) * | 2020-04-08 | 2020-07-31 | 北京工商大学 | 基于深度强化学习的Faster-RCNN目标物体检测方法 |
| CN113556506A (zh) * | 2020-04-24 | 2021-10-26 | 英研智能移动股份有限公司 | 基于图像的物体追踪方法 |
| KR102245501B1 (ko) * | 2020-11-25 | 2021-04-29 | 주식회사 아이지오 | 딥러닝을 활용한 저화질 cctv 영상 기반의 객체 복원 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6598746B2 (ja) | 2019-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6598746B2 (ja) | 他の物体の画像領域も考慮して物体を追跡する装置、プログラム及び方法 | |
| JP6614611B2 (ja) | 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法 | |
| JP6018674B2 (ja) | 被写体再識別のためのシステム及び方法 | |
| US8744125B2 (en) | Clustering-based object classification | |
| JP6618395B2 (ja) | 行動価値によって調査対象の位置を予測する装置、プログラム及び方法 | |
| Luber et al. | People tracking in rgb-d data with on-line boosted target models | |
| US10009579B2 (en) | Method and system for counting people using depth sensor | |
| JP6628494B2 (ja) | 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法 | |
| JP6654789B2 (ja) | 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法 | |
| CN108986148B (zh) | 实现多智能小车协同搜索识别并跟踪特定目标群体的方法 | |
| JP6789876B2 (ja) | 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法 | |
| Acharya et al. | Real-time detection and tracking of pedestrians in CCTV images using a deep convolutional neural network | |
| AU2015203666A1 (en) | Methods and systems for controlling a camera to perform a task | |
| WO2020088763A1 (en) | Device and method for recognizing activity in videos | |
| CN112200020A (zh) | 一种行人重识别方法、装置、电子设备及可读存储介质 | |
| Kadim et al. | Deep-learning based single object tracker for night surveillance. | |
| US11151412B2 (en) | Systems and methods for determining actions performed by objects within images | |
| Patino et al. | Abnormal behaviour detection on queue analysis from stereo cameras | |
| US20230394686A1 (en) | Object Identification | |
| Kumar et al. | Elderly health monitoring system with fall detection using multi-feature based person tracking | |
| CN111798518A (zh) | 机械臂姿态检测方法、装置和设备及计算机存储介质 | |
| JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
| CN114972434A (zh) | 一种级联检测和匹配的端到端多目标跟踪系统 | |
| CN114943873A (zh) | 一种工地人员异常行为分类方法及装置 | |
| CN109670470B (zh) | 行人关系识别方法、装置、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190827 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190930 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6598746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |