JP2022552772A - 目標追跡方法及び装置、電子デバイスと記憶媒体 - Google Patents

目標追跡方法及び装置、電子デバイスと記憶媒体 Download PDF

Info

Publication number
JP2022552772A
JP2022552772A JP2022506434A JP2022506434A JP2022552772A JP 2022552772 A JP2022552772 A JP 2022552772A JP 2022506434 A JP2022506434 A JP 2022506434A JP 2022506434 A JP2022506434 A JP 2022506434A JP 2022552772 A JP2022552772 A JP 2022552772A
Authority
JP
Japan
Prior art keywords
target
target object
camera
current
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022506434A
Other languages
English (en)
Inventor
▲関▼英妲
周▲楊▼
▲劉▼文▲韜▼
▲錢▼晨
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2022552772A publication Critical patent/JP2022552772A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本開示は、目標追跡方法及び装置、電子デバイスと記憶媒体に関する。前記方法は、追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定することと、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出することと、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することであって、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴であることと、当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することと、を含む。

Description

（関連出願への相互参照）
本開示は、出願番号が２０２０１１２５６８０１．６であり、出願日が２０２０年１１月１１日である中国特許出願に基づいて提出され、当該中国特許出願に基づいて優先権を主張し、ここで当該中国特許の全内容が参照として本開示に組み込まれる。
本開示は、コンピュータ視覚技術分野に関し、特に目標追跡方法及び装置、電子デバイスと記憶媒体に関する。
目標追跡とは、連続するビデオフレームにおいて同一の目標対象（例えば歩行者、車両など）を追跡することである。コンピュータ視覚技術の発展に伴い、目標追跡アルゴリズムは、安全防護などの分野で広く適用され、スマートライフを創造する上で重要な価値がある。しかし、目標対象が密集している場合、目標追跡のプロセスにおいて、目標対象の識別子（ＩＤ：ｄｅｎｔｉｔｙ ｄｏｃｕｍｅｎｔ）の一致性が低い。
本開示は、目標追跡の技術的手段を提供する。
本開示の一態様は、目標追跡方法を提供し、当該方法は、
追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定することと、
前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなかったことに応答して、当該目標対象の現在の特徴を抽出することと、
前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することであって、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴であることと、
当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することと、を含む。
本開示の実施例では、追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定し、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出し、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定し、当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することにより、目標対象の識別子情報の一致性を保持することができ、即ち、衝突領域に出入りする時の同一の目標対象の識別子情報の一致性を保持することができ、それによってマルチ目標追跡の正確性を向上させることができる。
１つの可能な実施形態では、互いに衝突する複数の目標対象のうちのいずれかの目標対象と、前記複数の目標対象のうちの他の少なくとも１つの目標対象との間の距離は、距離閾値以下であり、
前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出することは、
前記複数の目標対象のうちのいずれかの目標対象に対して、当該目標対象と前記複数の目標対象のうちの他の目標対象との間の距離がいずれも前記距離閾値よりも大きいことに応答して、当該目標対象の現在の特徴を抽出することを含む。
この実施形態によれば、目標対象同士間の衝突関係を決定し、これを基にして目標追跡を行うことにより、目標追跡の正確性及び効率を向上させることに役立つ。
１つの可能な実施形態では、前記方法は、
いずれかの目標対象に対して、当該目標対象の複数のカメラに対応する第１座標を決定することであって、当該目標対象のいずれかのカメラに対応する第１座標は、当該カメラによって収集された画像に基づいて得られた当該目標対象の第１座標を表すために用いられることと、
当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定することであって、前記追跡領域には複数のサブ領域が含まれることと、
前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラに対応する第１座標を融合して、当該目標対象の融合座標を得ることと、をさらに含み、
追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定することの前に、
前記追跡領域における目標対象の融合座標に基づいて、前記追跡領域における目標対象同士間の距離を決定することをさらに含む。
この実施形態では、目標対象の前記複数のカメラに対応する第１座標を結合して、当該目標対象の融合座標を得て、当該目標対象の融合座標に基づいて目標追跡を行うことにより、より正確な座標に基づいた目標追跡を得ることができ、それによって目標追跡の正確性を向上させることに役立つ。
１つの可能な実施形態では、当該目標対象の現在の特徴を抽出することは、
前記追跡領域における当該目標対象が位置するサブ領域を決定することと、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することと、
当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することと、を含む。
この実施形態では、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定し、当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することにより、抽出された当該目標対象の現在の特徴は、より豊富な視覚情報を有することができ、したがって、この実施形態で抽出された当該目標対象の現在の特徴に基づいて目標マッチングを行うことにより、目標マッチングの正確性を向上させることができる。
１つの可能な実施形態では、前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することは、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することを含む。
この実施形態では、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定し、当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することにより、抽出された当該目標対象の現在の特徴は、より豊富な視覚情報を有することができ、したがって、この実施形態で抽出された当該目標対象の現在の特徴に基づいて目標マッチングを行うことにより、目標マッチングの正確性をさらに向上させることができる。
１つの可能な実施形態では、前記オーバーラップ情報は、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンを含み、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することは、
オーバーラップ条件を満たすカメラから、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを当該目標対象の現在の特徴を抽出するためのカメラとして決定することであって、前記オーバーラップ条件は、前記現在の収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満であることを示すことを含む。
この実施形態では、前記複数のカメラにおける現在の収集されているビデオフレームがオーバーラップ条件を満たすカメラのうち、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを、当該目標対象の現在の特徴を抽出するためのカメラとして決定し、当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することにより、抽出された当該目標対象の現在の特徴は、より豊富な視覚情報を有することができ、したがって、この実施形態で抽出された当該目標対象の現在の特徴に基づいて目標マッチングを行うことにより、目標マッチングの正確性をさらに向上させることができる。
１つの可能な実施形態では、前記方法は、
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定することをさらに含む。
この実施形態では、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定し、これにより決定された信頼度に基づいて座標融合を行い、及び／又は目標対象の現在の特徴を抽出するためのカメラを決定し、それによって目標追跡の正確性を向上させることに役立つ。
１つの可能な実施形態では、前記複数のカメラの前記複数のサブ領域に対する信頼度を決定することの後、前記方法は、
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を調整することをさらに含む。
この実施形態では、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を動的に調整し、これにより決定された信頼度に基づいて座標融合を行い、及び／又は目標対象の現在の特徴を抽出するためのカメラを決定することにより、目標追跡の正確性を向上させることに役立つ。
１つの可能な実施形態では、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することは、
前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することと、
当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度の最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定することと、を含む。
この実施形態では、前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定し、当該類似度の最も高い基準値と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度の最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定することにより、当該目標対象が複数の目標対象における他の目標対象と衝突しなくなった場合、まず前記複数の目標対象に対応する複数の基準特徴に基づいて当該目標対象の現在の特徴とマッチングする基準特徴を検索し、これにより、当該目標対象の現在の特徴とマッチングする基準特徴を検索する速度及び正確性を向上させることに役立つ。
１つの可能な実施形態では、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することの後、前記方法は、
当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することをさらに含む。
この実施形態では、当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することにより、当該目標対象の現在の特徴とマッチングする基準特徴の検索速度を向上する前提で、決定された、当該目標対象の現在の特徴とマッチングする基準特徴の正確性をさらに向上させることができる。
１つの可能な実施形態では、前記方法は、
いずれかの目標対象に対して、当該目標対象が現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しないことに応答して、前記直前の時刻に他の目標対象と衝突しなかった、且つ前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定し、又は、当該目標対象が現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突することに応答して、前記直前の時刻に当該目標対象の属した衝突領域における、前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定することと、
前記直前の時刻の残りの目標対象から、前記現在の時刻の当該目標対象に最も近い目標対象を、前記現在の時刻の当該目標対象とマッチングする目標対象として決定し、当該マッチングする目標対象の識別子情報を当該目標対象の識別子情報とすることと、をさらに含む。
この実施形態によれば、計算量を低減させ、時間のオーバーヘッドを削減させ、目標追跡のリアルタイム性要求を満たすことができる。
本開示の一態様は、目標追跡装置を提供し、当該目標追跡装置は、
追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定するように構成される第１決定部と、
前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出するように構成される抽出部と、
前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定するように構成され、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴である第２決定部と、
当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定するように構成される第３決定部とを備える。
本開示の一態様は、電子デバイスを提供し、当該電子デバイスは、１つ又は複数のプロセッサと、実行可能な命令を記憶するように構成されるメモリと、を備え、ここで、前記１つ又は複数のプロセッサは、前記メモリに記憶された実行可能な命令を呼び出して、上記方法を実行するように構成される。
本開示の一態様は、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサに実行される場合、上記方法を実現する。
本開示の一態様は、コンピュータプログラムを提供し、当該コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子デバイスで実行される場合、前記電子デバイスのプロセッサによって実行されると、上記の方法を実現する。
本開示の実施例では、追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定し、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出し、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定し、当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することにより、目標対象の識別子情報の一致性を保持することができ、即ち、衝突領域に出入りする時の同一の目標対象の識別子情報の一致性を保持することができ、それによって複数の目標の追跡の正確性を向上させることができる。
以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を限定するものではないことを理解すべきである。
本開示の他の特徴及び態様は、添付図面を参照した以下の例示的な実施形態に対する詳細な説明により明らかになる。
本開示の実施例による目標追跡方法を示すフローチャートである。 第ｔ時刻における互いに衝突する複数の目標対象を示す図である。 第ｔ＋１時刻における互いに衝突する複数の目標対象を示す図である。 本開示の実施例における複数の目標対象及び複数の目標対象に対応する複数の基準特徴を示す図である。 本開示の実施例における追跡領域にマーカーが置かれていることを示す図である。 本開示の実施例による目標追跡装置のブロック図である。 本開示の実施例による電子デバイス８００を示すブロック図である。 本開示の実施例による電子デバイス１９００を示すブロック図である。
ここでの添付図面は、本明細書に組み込まれて本明細書の一部を構成し、これらの図面は、本開示に一致する実施例を示しており、明細書と共に本開示の技術的手段を解釈するために用いられる。
以下に添付の図面を参照しながら本開示の各種の例示的な実施例、特徴及び態様を詳しく説明する。添付の図面における同じ符号は、機能が同じ又は類似する素子を表す。添付の図面に実施例の様々な態様が示されているが、特に断りのない限り、添付の図面は、必ずしも一定の縮尺で描かれていない。
ここで専門用語「例示的」は、「例にして、実施例又は説明的」の意味である。ここで「例示的」として説明されるいかなる実施例は、必ずしも他の実施形態に優れ又は他の実施形態よりも好ましいものとして解釈されるべきではない。。
本明細書では「及び／又は」という用語は、関連付けられた対象の関連関係を説明するためのものだけであり、３種の関係が存在できるこを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在すること、Ａ及びＢが同時に存在すること、Ｂが単独で存在することの３つの状況を示すことができる。また、本明細書では「少なくとも１種」という用語は、複数種のうちのいずれか１種又は複数種のうちの少なくとも２種の任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１種を含むことは、Ａ、ＢとＣかならる集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。
また、本開示をより良く説明するために、以下の具体的な実施形態において多くの詳細が示されている。当業者は、幾つかの詳細がなくても、本開示が同様に実施できることを理解すべきである。幾つかの実施例では、本開示の要旨を明らかにするように、当業者がよく知っている方法、手段、素子と回路を詳細に説明していない。
図１は本開示の実施例による目標追跡方法を示すフローチャートである。前記目標追跡方法の実行本体は、目標追跡装置であってもよい。例えば、前記目標追跡方法は、端末デバイス又はサーバー又は他の処理デバイスによって実行されてもよい。ここで、端末デバイスは、ユーザデバイス（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、移動デバイス、ユーザ端末、端末、セルラー電話、コードレス電話、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルドデバイス、コンピューティングデバイス、車載デバイス又はウェアラブルデバイスなどであってもよい。幾つかの可能な実施形態では、前記目標追跡方法は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出すことで実現されてもよい。図１に示すように、前記目標追跡方法は、ステップＳ１１からステップ１４を含む。
ステップＳ１１において、追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定する。
本開示の実施例は、インテリジェント監視、インテリジェントシーン分析、安全防護、目標検出、目標追跡などの適用シーンに適用されてもよい。本開示の実施例では、追跡領域は、目標追跡を行う必要がある領域を表す。本開示の実施例における追跡領域は、比較的閉じた領域であってもよいし、比較的開いた領域であってもよい。例えば、追跡領域は、球技場、ショッピングモール、教室などであってもよい。目標対象は、追跡する必要がある対象を表す。例えば、目標対象は、歩行者、車両、運動場での選手（例えばサッカー場での選手）などの追跡を必要とする任意の対象であってもよい。本開示の実施例では、互いに衝突する目標対象は、互いの距離が近い目標対象を表すことができる。
本開示の実施例では、カメラによって収集された各ビデオフレームに対して、追跡領域における目標対象同士間の距離をそれぞれ決定し、それによって当該ビデオフレームに対応する時刻に目標対象が互いに衝突することを決定することができる。当然、カメラによって収集されたビデオフレームをフレームごとに分析しなくてもよく、例えば、幾つかのビデオフレームごとに、追跡領域における目標対象同士間の距離を決定し、それによって当該ビデオフレームに対応する時刻に目標対象が互いに衝突することを決定することができる。
本開示の実施例では、いずれかの時刻に、１組又は複数組の互いに衝突する目標対象が存在する可能性があり、当然、互いに衝突する目標対象が存在しない可能性もある。図２は第ｔ時刻における互いに衝突する複数の目標対象を示す図である。図２に示すように、第ｔ時刻に、目標対象Ｏ１、目標対象Ｏ４と、目標対象Ｏ３が互いに衝突し、目標対象Ｏ２、目標対象Ｏ５が互いに衝突し、目標対象Ｏ６、目標対象Ｏ７が互いに衝突する。
１つの可能な実施形態では、互いに衝突する複数の目標対象を同一の衝突領域に加えることができ、即ち、互いに衝突する複数の目標対象は、同一の衝突領域に位置すると考えられてもよい。ここで、衝突領域は、仮想領域であってもよく、いずれかの衝突領域における目標対象は、互いに衝突する。例えば、図２では、第ｔ時刻に、衝突領域１には目標対象Ｏ１、目標対象Ｏ４及び目標対象Ｏ３が含まれ、衝突領域２には目標対象Ｏ２及び目標対象Ｏ５が含まれ、衝突領域３には目標対象Ｏ６及び目標対象Ｏ７が含まれる。
ステップＳ１２において、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出する。
図３は第ｔ＋１時刻における互いに衝突する複数の目標対象を示す図である。図３に示すように、第ｔ＋１時刻に、衝突領域１には目標対象Ｏ１及び目標対象Ｏ４が含まれ、衝突領域２には目標対象Ｏ２及び目標対象Ｏ５が含まれ、衝突領域３には目標対象Ｏ６及び目標対象Ｏ７が含まれる。即ち、第ｔ＋１時刻に、目標対象Ｏ１と目標対象Ｏ４は、互いに衝突し、目標対象Ｏ２と目標対象Ｏ５は、互いに衝突し、目標対象Ｏ６と目標対象Ｏ７は、互いに衝突する。第ｔ＋１時刻と第ｔ時刻とを比較すると、第ｔ＋１時刻に、目標対象Ｏ１、目標対象Ｏ４と目標対象Ｏ３が衝突しなくなったことが分かり、つまり、シーンにおける全ての目標対象は、任意の時刻に、複数の衝突領域に動的にラスタリングされる。
１つの可能な実施形態では、隣接する２つの時刻の間の時間間隔は、カメラがビデオフレームを収集するフレームレートの逆数に等しくてもよい。別の可能な実施形態では、隣接する２つの時刻の間の時間間隔は、カメラがビデオフレームを収集するフレームレートの逆数よりも大きくてもよく、例えば、カメラがビデオフレームを収集するフレームレートの逆数のＨ倍に等しくてもよく、ここで、Ｈは１よりも大きい整数である。
１つの可能な実施形態では、互いに衝突する複数の目標対象のうちのいずれかの目標対象と前記複数の目標対象のうちの他の少なくとも１つの目標対象との間の距離が距離閾値以下であり、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出することは、前記複数の目標対象のうちのいずれかの目標対象に対して、当該目標対象と前記複数の目標対象のうちの他の目標対象との間の距離がいずれも距離閾値よりも大きいことに応答して、当該目標対象の現在の特徴を抽出することを含む。
幾つかの実施例では、ノイズを伴う密度に基づくクラスタリング方法（ＤＢＳＣＡＮ：Ｄｅｎｓｉｔｙ－Ｂａｓｅｄ Ｓｐａｔｉａｌ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ｗｉｔｈ Ｎｏｉｓｅ）を用いて、他の目標対象との距離が距離閾値よりも小さい目標対象をクラスタリングし、衝突領域を形成することができる。
この実施形態では、いずれかのフレームにおいて、いずれか２つの目標対象同士間の距離を計算することができ、当該２つの目標対象同士間の距離が距離閾値以下である場合、当該２つの目標対象が互いに衝突すると決定することができる。別の目標対象と当該２つの目標対象のうちの少なくとも１つの目標対象との間の距離が距離閾値以下である場合、これらの３つの目標対象が互いに衝突すると決定することができる。例えば、第ｔ時刻において、目標対象Ｏ１と目標対象Ｏ４との間の距離が距離閾値以下である場合、目標対象Ｏ１が目標対象Ｏ４と衝突すると決定することができる。目標対象Ｏ３と目標対象Ｏ４との間の距離が距離閾値以下である場合、目標対象Ｏ１、目標対象Ｏ４、目標対象Ｏ３が互いに衝突と決定することができる。
この実施形態の１つの例として、目標対象が互いに衝突するか否かを判断する場合、目標対象の位置（例えば融合座標）間の距離が距離閾値以下であるか否かのみを考慮することができ、例えば、いずれか２つの目標対象の位置間の距離が距離閾値以下である場合、当該２つの目標対象が互いに衝突すると決定することができる。この実施形態の別の例として、目標対象の位置間の距離だけなく、目標対象の視覚特徴（例えば基準特徴及び／又は現在の特徴）間の距離も考慮することができ、例えば、いずれか２つの目標対象の位置間の距離が第１距離閾値以下であり、且つ当該２つの目標対象の視覚特徴間の距離が第２距離閾値以下である場合、当該２つの目標対象が互いに衝突すると決定することができる。ここで、目標対象の視覚特徴間の距離が目標対象の視覚特徴間の類似度を表すことができる。
この実施形態では、ある目標対象と別の目標対象との間の距離が距離閾値以下である場合、当該２つの目標対象が互いに衝突すると決定することができ、ある目標対象と他の目標対象との間の距離がいずれも前記距離閾値よりも大きい場合、当該目標対象がいずれの他の目標対象と衝突しないと決定することができる。この実施形態によれば、目標対象同士間の衝突関係を決定し、これを基にして目標追跡を行うことにより、目標追跡の正確性及び効率を向上させることに役立つ。
別の可能な実施形態では、互いに衝突する複数の目標対象のうちのいずれかの目標対象と前記複数の目標対象のうちの他の全ての目標対象との間の距離がいずれも距離閾値以下であり、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しないことに応答して、当該目標対象の現在の特徴を抽出することは、前記複数の目標対象のうちのいずれかの目標対象に対して、当該目標対象と前記複数の目標対象のうちの他の目標対象との間の距離が前記距離閾値より大きい場合、当該目標対象の現在の特徴を抽出することを含む。
１つの可能な実施形態では、当該目標対象の現在の特徴を抽出することは、前記追跡領域における当該目標対象が位置するサブ領域を決定することと、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することと、当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することと、を含む。
この実施形態では、前記追跡領域は、少なくとも１つのサブ領域を含むことができ、例えば、前記追跡領域は、複数のサブ領域に分けられてもよい。この実施形態では、複数のカメラを用いて目標追跡を行うことにより、複数のカメラに対応する複数の視角の視覚情報を取得することができ、複数の視角においてキャプチャされた視覚情報が互いに補充することができ、それによって目標の検出及び追跡の正確性を向上させることに役立つ。
この実施形態では、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定し、当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することにより、抽出された当該目標対象の現在の特徴は、より豊富な視覚情報を有することができ、したがって、この実施形態で抽出された当該目標対象の現在の特徴に基づいて目標マッチングを行うことにより、目標マッチングの正確性を向上させることができる。
この実施形態の一例として、前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することは、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することを含む。
この例では、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定し、当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することにより、抽出された当該目標対象の現在の特徴は、より豊富な視覚情報を有することができ、したがって、この例で抽出された当該目標対象の現在の特徴に基づいて目標マッチングを行うことにより、目標マッチングの正確性をさらに向上させることができる。
１つの例では、前記オーバーラップ情報は、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンを含み、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することは、オーバーラップ条件を満たすカメラから、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを当該目標対象の現在の特徴を抽出するためのカメラとして決定することであって、前記オーバーラップ条件は、前記現在の収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満であることを示すことを含む。
例えば、目標対象が位置するサブ領域は、サブ領域Ａ１であり、前記複数のカメラは、カメラＣ１、カメラＣ２、カメラＣ３及びカメラＣ４を含み、カメラＣ１のサブ領域Ａ１に対する信頼度がＺ１１であり、カメラＣ２のサブ領域Ａ１に対する信頼度がＺ２１であり、カメラＣ３のサブ領域Ａ１に対する信頼度がＺ３１であり、カメラＣ４のサブ領域Ａ１に対する信頼度がＺ４１であり、
Figure 2022552772000002
カメラＣ１によって現在収集されているビデオフレームにおいて、当該目標対象の検出ボックスとのインターセクションオーバーユニオンがプリセット閾値以上である他の検出ボックスが存在しなく、即ち、カメラＣ１によって現在収集されているビデオフレームにおいて、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満である場合、カメラＣ１によって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出する。カメラＣ１によって現在収集されているビデオフレームにおいて、当該目標対象の検出ボックスとのインターセクションオーバーユニオンがプリセット閾値以上である他の検出ボックスが存在する場合、カメラＣ２によって現在収集されているビデオフレームにおいて、当該目標対象の検出ボックスとのインターセクションオーバーユニオンがプリセット閾値以上である他の検出ボックスが存在するか否かを判断し、即ち、カメラＣ２によって現在収集されているビデオフレームにおいて、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満であるか否かを判断する。カメラＣ２によって現在収集されているビデオフレームに、当該目標対象の検出ボックスとのインターセクションオーバーユニオンがプリセット閾値以上である他の検出ボックスが存在しなく、即ち、カメラＣ２によって現在収集されているビデオフレームに、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満である場合、カメラＣ２によって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出し、このように類推し、つまり、カメラのサブ領域に対する信頼度に従って並べ替え、信頼度の高いカメラによって現在収集されたビデオフレームにおいて、当該目標対象が遮られる場合、信頼度の２番目の高いカメラに切り替えることができ、このように類推し、当該目標対象の現在の特徴を抽出するためのカメラは、遮られることなく、できるだけ信頼の高いカメラであり、検出漏れ率が低下し、目標マッチングの正確性が向上する。
この例では、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって現在収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンは、他の目標対象によって遮られた当該目標対象の割合を表すことができる。当該カメラによって現在収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンが大きいほど、他の目標対象によって遮られた当該目標対象の割合が大きくなることを表すことができ、当該カメラによって現在収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンが小さいほど、他の目標対象によって遮られた当該目標対象の割合が小さくなることを表すことができる。当該カメラによって現在キャプチャされているビデオフレームにおいて、他の目標対象によって遮られた当該目標対象の割合が小さいほど、当該カメラによって現在収集されているビデオフレームに基づいて抽出された当該目標対象の現在の特徴が有する当該目標対象の視覚情報は豊かになり、例えば、当該目標対象のより多くの特徴点の情報を有することができる。この例では、前記複数のカメラにおける現在の収集されているビデオフレームがオーバーラップ条件を満たすカメラのうち、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを、当該目標対象の現在の特徴を抽出するためのカメラとして決定し、当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することにより、抽出された当該目標対象の現在の特徴は、より豊富な視覚情報を有することができ、したがって、この例で抽出された当該目標対象の現在の特徴に基づいて目標マッチングを行うことにより、目標マッチングの正確性をさらに向上させることができる。
ステップＳ１３において、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定し、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴である。
図４は本開示の実施例における複数の目標対象及び複数の目標対象に対応する複数の基準特徴を示す図である。図４に示すように、前記複数の目標対象には、目標対象Ｏ１、目標対象Ｏ２、目標対象Ｏ３及び目標対象Ｏ４が含まれ、ここで、目標対象Ｏ１の基準特徴は、参照特徴Ｆ０１であり、目標対象Ｏ２の基準特徴は、基準特徴Ｆ０２であり、目標対象Ｏ３の基準特徴は、基準特徴Ｆ０３であり、目標対象Ｏ４の基準特徴は、基準特徴Ｆ０４である。
１つの可能な実施形態では、先頭フレームにおいて目標対象の基準特徴を抽出し、目標対象の基準特徴を記憶することができる。例えば、先頭フレームにおいて全ての目標対象の基準特徴を抽出し、全ての目標対象の基準特徴を記憶することができる。当然、先頭フレームにおける目標対象の一部がひどく遮られている場合、それの後ろにあるビデオフレームからこれらの目標対象の基準特徴を抽出して、品質のより高い、より豊かな目標対象の視覚情報を含む基準特徴を取得することができる。目標対象の基準特徴が抽出された後、目標対象の識別子情報と目標対象の基準特徴との間の対応関係を記憶することができる。本開示の実施例では、目標対象の基準特徴を抽出するためのカメラを決定する方式は、目標対象の現在の特徴を抽出するためのカメラを決定する上記方式と類似するため、ここで説明を省略する。
この実施形態の１つの例として、目標対象の基準特徴が抽出された後、後続の目標追跡プロセスにおいて当該目標対象の現在の特徴が抽出された場合、抽出された当該目標対象の現在の特徴に基づいて、当該目標対象の基準特徴を更新して、記憶された基準特徴に基づく目標マッチングの正確性を向上させることができる。例えば、記憶された目標対象の基準特徴と当該目標対象の現在の特徴を重み付けして、新しい基準特徴を得ることができる。当然、計算量を低減するために、目標対象の基準特徴を更新しなくてもよい。
１つの可能な実施形態では、目標対象が人間（例えば歩行者、球技場上の選手など）である場合、ＲｅＩＤ（ｐｅｒｓｏｎ Ｒｅ－ＩＤｅｎｔｉｆｉｃａｉｏｎ：歩行者の再識別）モジュールを介して目標対象の特徴を抽出することができる。例えば、ＲｅＩＤモジュールを介して目標対象の基準特徴及び／又は現在の特徴を抽出することができる。１つの例では、ＲｅＩＤモジュールは、畳み込みニューラルネットワークを用いて実現されてもよい。当然、抽出された目標対象の特徴が目標対象の視覚情報を反映できれば、他の特徴抽出方法を用いて目標対象の特徴を抽出することもできる。
１つの可能な実施形態では、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することは、前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することと、当該類似度が最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度が最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定することと、を含む。ここで、類似度は、余弦類似度などであってもよい。
例えば、第ｔ時刻に、衝突領域１には目標対象Ｏ１、目標対象Ｏ４及び目標対象Ｏ３が含まれ、衝突領域１に対応する基準特徴は、目標対象Ｏ１の基準特徴Ｆ０１、目標対象Ｏ４の基準特徴Ｆ０４及び目標対象Ｏ３の基準特徴Ｆ０３を含む。第ｔ＋１時刻に、１つの目標対象と残りの目標対象との間の距離が距離閾値よりも大きいことが検出された場合、これは、当該目標対象が衝突領域１から脱離することを示し、即ち、衝突領域１における１つの目標対象が他の２つの目標対象と衝突しなくなり、この場合、当該目標対象の現在の特徴Ｆ１ｎを抽出し、衝突領域１に対応する３つの基準特徴Ｆ０１、Ｆ０４及びＦ０３と当該目標対象の現在の特徴Ｆ１ｎとの類似度をそれぞれ計算する。これらの３つの基準特徴のうち、当該目標対象の現在の特徴Ｆ１ｎとの類似度が最も高いものは基準特徴Ｆ０３であり、且つ基準特徴Ｆ０３と当該目標対象の現在の特徴Ｆ１ｎとの類似度が類似度閾値以上である場合、基準特徴Ｆ０３を当該目標対象の現在の特徴とマッチングする基準特徴として決定することができる。
この実施形態では、前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定し、当該類似度が最も高い基準値と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度が最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定することにより、当該目標対象と複数の目標対象における他の目標対象と衝突しなくなった場合、まず前記複数の目標対象に対応する複数の基準特徴に基づいて当該目標対象の現在の特徴とマッチングする基準特徴を検索し、これにより、当該目標対象の現在の特徴とマッチングする基準特徴を検索する速度及び正確性を向上させることに役立つ。
この実施形態の１つの例として、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することの後、前記方法は、当該類似度が最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することをさらに含む。
この例では、前記複数の目標対象に対応する複数の基準特徴において、当該目標対象の現在の特徴とマッチングする基準特徴が検索されない場合、他の衝突領域に対応する基準特徴（即ち、当該目標対象と衝突しないが、他の目標対象と衝突する目標対象に対応する基準特徴）において当該目標対象の現在の特徴とマッチングする基準特徴を検索することができる。例えば、前記複数の目標対象に対応する複数の基準特徴と当該目標対象の現在の特徴との類似度がいずれも類似度閾値よりも小さい場合、前記複数の目標対象に対応する複数の基準特徴において当該目標対象の現在の特徴とマッチングする基準特徴が検索されないと決定することができる。この実施例では、当該類似度が最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することにより、当該目標対象の現在の特徴とマッチングする基準特徴の検索速度を向上する前提で、決定された、当該目標対象の現在の特徴とマッチングする基準特徴の正確性をさらに向上させることができる。
１つの例では、全ての衝突領域において当該目標対象の現在の特徴とマッチングする基準特徴が検索されない場合、非衝突領域において当該目標対象の現在の特徴とマッチングする基準特徴を検索することができる。
別の可能な実施形態では、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することは、前記複数の目標対象に対応する複数の基準特徴のうち、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することと、当該類似度が最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定することと、を含む。
ステップＳ１４において、当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定する。
本開示の実施例では、目標対象の識別子情報は、目標対象を一意に識別するために利用可能な情報であってもよく、例えばＩＤ、番号、名前などであってもよい。例えば、追跡領域がサッカー場であり、目標対象がサッカー場の選手を含む場合、目標対象の識別子情報は、選手の属するチーム及びジャージ番号であってもよい。
例えば、当該目標対象の現在の特徴Ｆ１ｎとマッチングする基準特徴がＦ０３であり、基準特徴Ｆ０３に対応する識別子情報がＯ３である場合、Ｏ３を当該目標対象の識別子情報として決定することができる。
１つの可能な実施形態では、いずれかの目標対象に対応する目標追跡結果は、当該目標対象の位置情報をさらに含むことができる。本開示の実施例で提供される目標追跡方法によって提供される目標追跡結果を利用して、追跡領域における目標対象の行為を分析することができる。例えば、追跡領域がサッカー場であり、目標対象がサッカー場での選手を含む場合、選手の識別子情報（例えば属するチーム及びジャージ番号）及び少なくとも１つのビデオフレームにおける選手の位置情報に基づいて、選手の行為を分析し、例えば選手がオフサイドであるか否か等を分析することができる。
本開示の実施例では、追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定し、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しないことに応答して、当該目標対象の現在の特徴を抽出し、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定し、当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することにより、目標対象の識別子情報の一致性を保持することができ、即ち、衝突領域に出入りする時の同一の目標対象の識別子情報の一致性を保持することができ、それによって複数の目標の追跡の正確性を向上させることができる。本開示の実施例は、複雑な目標追跡シーンに適用されてもよく、例えば、追跡領域における目標対象のサイズが異なるシーン、追跡領域に小さなサイズの検出しにくい目標対象が存在するシーン、追跡領域における目標対象が密集するシーン、目標対象の外観が似ているシーン、目標対象の運動複雑度が高いシーン、ひどく遮られるシーンなどの目標追跡シーンに適用されてもよい。
１つの可能な実施形態では、ステップＳ１１の前に、前記方法は、マーカーの第１座標を取得することと、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって取得された前記マーカーの第２座標、及び前記マーカーの第１座標に基づいて、当該カメラに対応する変換マトリックスを決定することと、をさらに含む。
この実施形態では、前記複数のカメラをキャリブレーションする場合、まず、追跡領域においてマーカーを一定の密度で置くことができる。図５は本開示の実施例における追跡領域にマーカーが置かれていることを示す図である。図５に示す例では、追跡領域は、サッカー場であり、マーカーは、白い金属シートである。当然、当業者は、実際の適用シーンのニーズ及び個人の好みに応じてマーカーを柔軟に選択することができるが、ここで、一定の密度で置かれるマーカーは、異なる高さ、異なる大きさ、異なる色等であってもよく、ここでは限定しない。マーカーを用いてキャリブレーションすることにより、コーナー点が豊富でない追跡領域においてキャリブレーションを行う正確性を向上させることができ、それによって目標追跡の正確性を向上させることに役立つ。
当該実施形態の１つの例として、第１座標は、ワールド座標系における座標であってもよく、第２座標は、画素座標系における座標であってもよく、変換マトリックスは、ホモグラフィマトリックスであってもよい。目標対象が同一の平面内に動くため、以下の式（１）を用いて変換マトリックス
Figure 2022552772000003
を決定することができる。
Figure 2022552772000004
ここで、
Figure 2022552772000005
は、マーカーの第１座標を表し、例えばワールド座標系におけるマーカーの座標であってもよく、
Figure 2022552772000006
カメラによって取得されたマーカーの第２座標を表し、例えば画素座標系におけるマーカーの座標であってもよい。
この例では、ホモグラフィマトリックス
Figure 2022552772000007
の自由度は８であり、理論的には、前記ホモグラフィマトリックスは、４つのマーカーに対応する特徴点を用いて求められることができる。内部パラメータ及び外部パラメータの精度を向上させるために、図５に示すように、より多くのマーカーを設定し、最小二乗法を用いて、孤立点をフィルタリングし、チェッカーボードキャリブレーション方法を利用してホモグラフィマトリックスを得ることができる。これによって得られたホモグラフィマトリックスは、カメラによって収集された画像の歪みを除去することができ、且つ決定された第１座標の正確性を向上させることができる。
ここで、直接線形変換（ＤＬＴ：Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）及び特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）によりカメラの外部カメラパラメータを取得し、チェッカーボードキャリブレーションによりカメラの内部カメラパラメータを取得し、さらに画像の歪みを除去することができる。
この実施形態では、前記複数のカメラのそれぞれに対応する変換マトリックスを決定することにより、前記複数のカメラによって取得された目標対象の第２座標を統一された座標系に変換し、例えばワールド座標系に変換して、目標対象の前記複数のカメラのそれぞれに対応する第１座標を得ることができ、これにより、後続の前記目標対象の追跡を容易にすることができる。
１つの可能な実施形態では、前記方法は、いずれかの目標対象に対して、当該目標対象の複数のカメラに対応する第１座標を決定することと、当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定することであって、前記追跡領域には複数のサブ領域が含まれることと、前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラに対応する第１座標を融合して、当該目標対象の融合座標を得ることと、をさらに含み、追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定することの前に、前記追跡領域における目標対象の融合座標に基づいて、前記追跡領域における目標対象同士間の距離を決定することをさらに含む。
この実施形態では、いずれかの目標対象のいずれかのカメラに対応する第１座標は、当該カメラによって取得された画像に基づいて得られた当該目標対象の第１座標を表すことできる。第１座標は、第１座標系における座標であってもよく、例えば、第１座標系は、ワールド座標系又は他の仮想座標系であってもよい。融合座標及び第１座標は、同じ座標系における座標であってもよく、例えば、融合座標及び第１座標の両方は、ワールド座標系における座標系であってもよい。
この実施形態の１つの例として、第１座標系における前記追跡領域の各サブ領域の座標範囲を予め決定する。例えば、サブ領域が矩形であり、第１座標系におけるいずれかのサブ領域の座標範囲は、第１座標系における当該サブ領域の４つの頂点の座標で表されてもよく、又は、第１座標系における当該サブ領域の座標範囲は、第１座標系における当該サブ領域の左上の頂点の座標及び当該サブ領域の幅及び高さで表されてもよい。当然、第１座標系におけるいずれかのサブ領域の座標範囲は、他の方式で表されてもよく、ここでは限定しない。また、いずれかのサブ領域の形状は、矩形でなくてもよく、例えば、三角形などであってもよい。追跡領域における異なるサブ領域の大きさは同じであってもよいし、異なってもよい。
この実施形態では、目標対象の前記複数のカメラに対応する第１座標、及び第１座標系におけるサブ領域の座標範囲に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定することができる。この実施形態では、目標対象の前記複数のカメラの全部又は一部に対応する第１座標、及び第１座標系におけるサブ領域の座標範囲に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定することができる。
この実施形態の１つの例として、当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定することは、当該目標対象の前記複数のカメラのいずれかに対応する第１座標、及び第１座標系におけるサブ領域の座標範囲に基づいて、前記追跡領域における当該目標対象が位置する候補サブ領域を決定することと、得票数の最も高い候補サブ領域を当該目標対象が位置するサブ領域として決定することと、を含む。例えば、前記複数のカメラは、カメラＣ１、カメラＣ２、カメラＣ３及びカメラＣ４を含み、当該目標対象のカメラＣ１に対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置する候補サブ領域がサブ領域Ａ１であると決定し、当該目標対象のカメラＣ２に対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置する候補サブ領域がサブ領域Ａ１であると決定し、当該目標対象のカメラＣ３に対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置する候補サブ領域がサブ領域Ａ２であると決定し、当該目標対象のカメラＣ４に対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置する候補サブ領域がサブ領域Ａ１であると決定し、それによって、候補サブ領域Ａ１の得票数が３であり、候補サブ領域Ａ２の得票数が１であり、したがって、候補サブ領域Ａ１を当該目標対象が位置するサブ領域として決定することができる。
この実施形態の別の例として、当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定することは、当該目標対象の前記複数のカメラに対応する第１座標に基づいて、当該目標対象の前記複数のカメラに対応する第１座標の平均値を決定することと、第１座標系におけるサブ領域の座標範囲に基づいて、前記第１座標の平均値が位置するサブ領域を決定し、且つ前記第１座標の平均値が位置するサブ領域を前記追跡領域における当該目標対象が位置するサブ領域として決定することと、を含む。
この実施形態では、前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラの全て又は一部に対応する第１座標を融合して、当該目標対象の融合座標を得ることができる。例えば、前記複数のカメラは、カメラＣ１、カメラＣ２、カメラＣ３及びカメラＣ４を含み、当該目標対象は、サブ領域Ａ１に位置し、カメラＣ１のサブ領域Ａ１に対する信頼度はＺ１１であり、カメラＣ２のサブ領域Ａ１に対する信頼度はＺ２１であり、サブ領域Ａ１に対するカメラＣ３の信頼度はＺ３１であり、カメラＣ４のサブ領域Ａ１に対する信頼度はＺ４１であり、当該目標対象のカメラＣ１に対応する第１座標はＰｗ１であり、当該目標対象のカメラＣ２に対応する第１座標はＰｗ２であり、当該目標対象のカメラＣ３に対応する第１座標はＰｗ３であり、当該目標対象のカメラＣ４に対応する第１座標はＰｗ４である場合、当該目標対象の融合座標は
Figure 2022552772000008
であってもよい。また、例えば、前記複数のカメラでは、当該目標対象が位置するサブ領域に対する信頼度の高いカメラの一部を選択し、当該目標対象の融合座標を決定することができる。例えば、
Figure 2022552772000009
この実施形態では、目標対象の前記複数のカメラに対応する第１座標を結合して、当該目標対象の融合座標を得て、当該目標対象の融合座標に基づいて目標追跡を行うことにより、より正確な座標に基づいた目標追跡を得ることができ、それによって目標追跡の正確性を向上させることに役立つ。
１つの可能な実施形態では、いずれかの目標対象及び前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって取得された当該目標対象の第２座標、及び当該カメラに対応する変換マトリックスに基づいて、当該目標対象の当該カメラに対応する第１座標を決定する。
この実施形態の１つの例として、当該カメラによって取得された当該目標対象の第２座標は、当該カメラに対応する画素座標系における当該目標対象の座標であってもよい。即ち、第２座標は、画素座標系における座標を表すことができる。この例では、当該目標対象の当該カメラに対応する第１座標は、当該カメラによって取得された当該目標対象の第２座標に基づいて決定された当該目標対象のワールド座標系における座標を表す。この例では、当該カメラに対応する変換マトリックスは、ホモグラフィマトリックスであってもよい。
他の例では、当該カメラによって取得された当該目標対象の第２座標は、当該カメラに対応する画像座標系における当該目標対象の座標であってもよい。即ち、第２座標は、画像座標系などの座標系における座標であってもよい。
この実施形態の１つの例として、当該カメラによって収集された画像に対して目標検出を行い、前記画像における目標対象の検出ボックスを決定し、検出ボックスの位置に基づいて、当該カメラによって取得された当該目標対象の第２座標を決定することができる。この例では、検出ボックスにおける任意の一点又は検出ボックスの内部の任意の一点を当該目標対象の第２座標とすることができる。例えば、検出ボックスの底辺の中点を当該目標対象の第２座標とすることができる。
例えば、前記複数のカメラのいずれかに対応する変換マトリックスが
Figure 2022552772000010
であり、当該カメラによって取得されたいずれかの目標対象の第２座標が
Figure 2022552772000011
である場合、当該目標対象の当該カメラに対応する第１座標は、以下の式（２）で決定されてもよい。
Figure 2022552772000012
１つの可能な実施形態では、前記方法は、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定することをさらに含む。
この実施形態では、前記複数のカメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、前記複数のカメラの前記複数のサブ領域に対する信頼度を決定することができる。この実施形態では、いずれかのカメラのいずれかのサブ領域に対する信頼度は、当該カメラと当該サブ領域との間の距離と負の相関にある。即ち、当該カメラと当該サブ領域との間の距離が大きいほど、当該カメラの当該サブ領域に対する信頼度は低くなり、当該カメラと当該サブ領域との間の距離が小さいほど、当該カメラの当該サブ領域に対する信頼度は高くなる。例えば、カメラＣ１とサブ領域Ａ１との間の距離がカメラＣ２とサブ領域Ａ１との間の距離よりも小さい場合、カメラＣ１のサブ領域Ａ１に対する信頼度Ｚ１１は、カメラＣ２のサブ領域Ａ１に対する信頼度Ｚ２１よりも高くてもよい。また、例えば、カメラＣ１とサブ領域Ａ１との間の距離がカメラＣ１とサブ領域Ａ２との間の距離よりも小さい場合、カメラＣ１のサブ領域Ａ１に対する信頼度Ｚ１１は、カメラＣ１サブ領域Ａ２に対するの信頼度Ｚ１２よりも高くてもよい。
この実施形態では、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラといずれかのサブ領域との間の距離が小さいほど、当該カメラによって撮影された当該サブ領域のビデオフレームがより鮮明になるため、ビデオフレームにおける情報を正確に識別することに役立つ。逆に、当該カメラといずれかのサブ領域との間の距離が大きいほど、当該カメラによって撮影された当該サブ領域のビデオフレームがぼやけるため、ビデオフレームにおける情報を正確に識別することに不利である。したがって、この実施形態では、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定し、これにより、カメラとサブ領域との間の距離をカメラのサブ領域に対する信頼度の考慮要因とする。これにより決定された信頼度に基づいて座標融合を行い、及び／又は目標対象の現在の特徴を抽出するためのカメラを決定し、これにより、目標追跡の正確性を向上させることに役立つ。
１つの可能な実施形態では、前記複数のカメラの前記複数のサブ領域に対する信頼度を決定することの後、前記方法は、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を調整することをさらに含む。
この実施形態の１つの例として、目標追跡プロセスにおいて、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を絶えず調整することができる。例えば、当該カメラの前記複数のサブ領域に対する信頼度をプリセット頻度で調整することができる。例えば、プリセット頻度は１秒であってもよい。
本開示の実施例では、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度を重み付けし、重み付けされた、複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の複数のカメラに対応する第１座標を融合することができる。
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける全ての目標対象におけるいずれか２つの目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を調整する。例えば、前記複数のカメラは、カメラＣ１、カメラＣ２、カメラＣ３及びカメラＣ４を含み、カメラＣ１によって収集されたビデオフレームにおける目標対象同士間の平均距離がＤ１であり、カメラＣ２によって収集されたビデオフレームにおける目標対象同士間の平均距離がＤ２であり、カメラＣ３によって収集されたビデオフレームにおける目標対象同士間の平均距離がＤ３であり、カメラＣ４によって収集されたビデオフレームにおける目標対象同士間の平均距離がＤ４であり、
Figure 2022552772000013
である場合、カメラＣ１の前記複数のサブ領域のそれぞれに対する信頼度をＢ１だけ増加させ、カメラＣ２の前記複数のサブ領域のそれぞれに対する信頼度をＢ２だけ増加させ、カメラＣ３の前記複数のサブ領域のそれぞれに対する信頼度をＢ３だけ増加させ、カメラＣ４の前記複数のサブ領域のそれぞれに対する信頼度をそのまま保持し、ここで、
Figure 2022552772000014
であり、例えば、
Figure 2022552772000015
である。
この実施形態では、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離が小さいほど、当該カメラによって収集されたビデオフレームにおける目標対象が互いに遮られる可能性が高くなり、それによって目標対象に対して特徴抽出を行うことに不利であり、さらに目標追跡を行うことに不利である。逆に、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離が大きいほど、当該カメラによって収集されたビデオフレームにおける目標対象が互いに遮られる可能性が低くなり、それによって目標対象に対して特徴抽出を行うことに有利であり、さらに目標追跡を行うことに有利である。この実施形態では、前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を動的に調整し、これにより決定された信頼度に基づいて座標融合を行い、及び／又は目標対象の現在の特徴を抽出するためのカメラを決定することにより、目標追跡の正確性を向上させることに役立つ。
１つの可能な実施形態では、前記方法は、いずれかの目標対象に対して、当該目標対象が現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しないことに応答して、前記直前の時刻に他の目標対象と衝突しなく、且つ前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定し、又は、当該目標対象が前記現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突することに応答して、前記直前の時刻に当該目標対象の属した衝突領域における、前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定することと、前記直前の時刻の残りの目標対象から、前記現在の時刻の当該目標対象に最も近い目標対象を、前記現在の時刻の当該目標対象とマッチングする目標対象として決定し、当該マッチングする目標対象の識別子情報を当該目標対象の識別従尾法とすることと、をさらに含む。
例えば、ある目標対象は、現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しなく、且つ、前記直前の時刻に他の目標対象と衝突しない目標対象は、１５個であり、それぞれが目標対象Ｏ１から目標対象Ｏ１５である。直前の時刻における目標対象Ｏ１及び目標対象Ｏ２が既に現在の時刻の他の目標対象とマッチングした場合、即ち、識別子情報Ｏ１及び識別子情報Ｏ２が既に現在の時刻の目標対象の識別子情報とされた場合、目標対象Ｏ３から目標対象Ｏ１５を直前の時刻の残りの目標対象として決定することができる。直前の時刻の残りの目標対象Ｏ３から目標対象Ｏ１５が決定された後、直前の時刻の残りの目標対象Ｏ３から目標対象Ｏ１５から、現在の時刻の当該目標対象に最も近い目標対象を、現在の時刻の当該目標対象とマッチングする目標対象として決定する。例えば、直前の時刻の残りの目標対象Ｏ３から目標対象Ｏ１５において、Ｏ６が現在の時刻の当該目標対象に最も近い場合、直前の時刻の目標対象Ｏ６を現在の時刻の当該目標対象とマッチングする目標対象として決定し、現在の時刻の当該目標対象の識別子情報をＯ６として決定する。
また、例えば、ある目標対象は、現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突し、例えば、前記直前の時刻に当該目標対象の属した衝突領域には、目標対象Ｏ１、目標対象Ｏ２、目標対象Ｏ３及び目標対象Ｏ４が含まれる。前記直前の時刻に当該目標対象の属した衝突領域において、目標対象Ｏ１と目標対象Ｏ２が既に現在の時刻における他の目標対象とマッチングした場合、即ち、識別子情報Ｏ１及び識別子情報Ｏ２が既に現在の時刻の目標対象の識別子情報とされた場合、目標対象Ｏ３と目標対象Ｏ４を直前の時刻の残りの目標対象として決定することができる。直前の時刻の残りの目標対象Ｏ３と目標対象Ｏ４が決定された後、直前の時刻の残りの目標対象Ｏ３と目標対象Ｏ４から、現在の時刻の当該目標対象に最も近い目標対象を、現在の時刻の当該目標対象とマッチングする目標対象として決定する。例えば、直前の時刻の残りの目標対象Ｏ３及び目標対象Ｏ４において、Ｏ４が現在の時刻の当該目標対象に最も近い場合、直前の時刻の目標対象Ｏ４を現在の時刻の当該目標対象とマッチングする目標対象として決定し、現在の時刻の当該目標対象の識別子情報をＯ４として決定する。
この実施形態では、いずれかの目標対象に対して、当該目標対象が現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しなく、又は当該目標対象が前記現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突する場合、前記直前の時刻の残りの目標対象から、前記現在の時刻の当該目標対象に最も近い目標対象を前記現在の時刻の当該目標対象とマッチングする目標対象として決定し、且つ当該マッチングする目標対象の識別子情報を当該目標対象の識別子情報とし、これにより、距離に基づく欲張りアルゴリズムを用いて当該目標対象の識別子情報を決定し、当該目標対象の視覚的特徴を考慮せず、それによって計算量を低減させ、時間のオーバーヘッドを削減させ、目標追跡のリアルタイム性要求を満たすことができる。
１つの可能な実施形態では、本開示の実施例によって提供される目標追跡方法は、目標追跡モデルを用いて実現されてもよい。例えば、前記目標追跡モデルについては、Ｆａｓｔｅｒ－ＲＣＮＮ（Ｆａｓｔｅｒ Ｒｅｃｕｒｒｅｎｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：より高速な再帰型畳み込みニューラルネットワーク）又はＦａｓｔ－ＲＣＮＮ（Ｆａｓｔｅｒ Ｒｅｃｕｒｒｅｎｔ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：高速な再帰型畳み込みニューラルネットワーク）などを用いることができる。前記目標追跡モデルのバックボーンネットワークは、ＲｅｓＮｅｔ－１８などの構造を用いることができる。目標追跡モデルの処理速度を向上させるために、チャネルプルーニング方法により前記目標追跡モデルを圧縮することができ、そして、多層特徴検出方法を用いてモデルの精度を向上させ、これにより、モデルの精度を低下させることなく、モデルの速度を向上させることができる。
１つの可能な実施形態では、前記方法は、目標対象の識別子情報と座標との間の対応関係を出力することをさらに含むことができる。１つの例では、識別子情報の順序に従って、識別子情報と座標との間の対応関係を出力することができる。例えば、識別子情報がジャージ番号１－１１を含む場合、ジャージ番号の昇順に従って、対応する目標対象の座標を出力することができる。
１つの可能な実施形態では、複数の時刻（例えば、複数の連続する時刻）における目標対象の座標に基づいて、目標対象の動きの軌跡を得ることができる。１つの例では、カルマンフィルターアルゴリズムを用いて目標対象の動きの軌跡を処理して、目標対象の動きの軌跡をより滑らかにすることもできる。
本開示で言及される上記の各方法の実施例が原理的論理に反することなく、いずれも互いに組合わせて、組み合わせた実施例を形成することができ、紙幅が限定されるため、本開示で説明を省略することを理解できる。
当業者は、具体的な実施形態の上記の方法において、各ステップの書き込み順序が厳密な実行順序を意味して実施プロセスに対する限定を構成せず、各ステップの具体的な実行順序がその機能及び可能な内部論理で決定されるべきである。
また、本開示の実施例は、本開示によって提供されるいずれかの目標追跡方法を実現するために利用可能な目標追跡装置、電子デバイス、コンピュータ可読記憶媒体、プログラムをさらに提供し、対応する技術的手段及び説明については、方法部分の対応する記載を参照し、説明を省略する。
図６は本開示の実施例による目標追跡装置のブロック図である。図６に示すように、前記目標追跡装置は、
追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定するように構成される第１決定部６１と、
前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出するように構成される抽出部６２と、
前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定するように構成され、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴である第２決定部６３と、
当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定するように構成される第３決定部６４とを備える。
１つの可能な実施形態では、互いに衝突する複数の目標対象のうちのいずれかの目標対象と、前記複数の目標対象のうちの他の少なくとも１つの目標対象との間の距離は、距離閾値以下であり、
前記抽出部６２は、
前記複数の目標対象のうちのいずれかの目標対象に対して、当該目標対象と前記複数の目標対象のうちの他の目標対象との間の距離がいずれも前記距離閾値よりも大きいことに応答して、当該目標対象の現在の特徴を抽出するように構成される。
１つの可能な実施形態では、前記装置は、
いずれかの目標対象に対して、当該目標対象の複数のカメラに対応する第１座標を決定するように構成され、当該目標対象のいずれかのカメラに対応する第１座標は、当該カメラによって収集された画像に基づいて得られた当該目標対象の第１座標を表すために用いられる第３決定部６４と、
当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定するように構成され、前記追跡領域には複数のサブ領域が含まれる第４決定部と、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラに対応する第１座標を融合して、当該目標対象の融合座標を得るように構成される融合部と、
前記追跡領域における目標対象の融合座標に基づいて、前記追跡領域における目標対象同士間の距離を決定するように構成される第５決定部と、をさらに備える。
１つの可能な実施形態では、前記抽出部６２は、
前記追跡領域における当該目標対象が位置するサブ領域を決定し、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定し、
当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出するように構成される。
１つの可能な実施形態では、前記抽出部６２は、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定するように構成される。
１つの可能な実施形態では、前記オーバーラップ情報は、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンを含み、
前記抽出部６２は、
オーバーラップ条件を満たすカメラから、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを当該目標対象の現在の特徴を抽出するためのカメラとして決定するように構成され、前記オーバーラップ条件は、前記現在の収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満であることを示す。
１つの可能な実施形態では、前記装置は、
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定するように構成される第６決定部をさらに備える。
１つの可能な実施形態では、前記装置は、
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を調整するように構成される調整部をさらに備える。
１つの可能な実施形態では、前記第２決定部６３は、
前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定し、
当該類似度が最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度が最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定するように構成される。
１つの可能な実施形態では、前記装置は、
当該類似度が最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定するように構成される第７決定部をさらに備える。
１つの可能な実施形態では、前記装置は、
いずれかの目標対象に対して、当該目標対象が現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しないことに応答して、前記直前の時刻に他の目標対象と衝突しなく、且つ前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定し、又は、当該目標対象が前記現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突することに応答して、前記直前の時刻に当該目標対象の属した衝突領域における、前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定するように構成される第８決定部と、
前記直前の時刻の残りの目標対象から、前記現在の時刻の当該目標対象に最も近い目標対象を、前記現在の時刻の当該目標対象とマッチングする目標対象として決定し、当該マッチングする目標対象の識別子情報を当該目標対象の識別子情報とするように構成される第９決定部と、をさらに備える。
本開示の実施例及び他の実施例では、「一部」は、一部の回路、一部のプロセッサ、部分のプログラム又はソフトウェアなどであってもよく、当然、ユニットであってもよく、また、モジュールであってもよいし、モジュール化されないものであってもよい。
本開示の実施例では、追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定し、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出し、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定し、当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することにより、目標対象の識別子情報の一致性を保持することができ、即ち、衝突領域に出入りする時の同一の目標対象の識別子情報の一致性を保持することができ、それによって複数の目標の追跡の正確性を向上させることができる。
幾つかの実施例では、本開示の実施例によって提供される装置が備える機能又はそれに含まれるモジュールは、上記の方法の実施例で説明される方法を実行するために用いられてもよく、その実現については上記の方法の実施例の説明を参照することができ、簡潔にするために、ここでは説明を省略する。
本開示の実施例は、コンピュータプログラム命令が記憶されており、前記コンピュータ命令がプロセッサによって実行される場合、上記方法を実現する、コンピュータ可読記憶媒体をさらに提供する。ここで、前記コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体、又は揮発性コンピュータ可読記憶媒体であってもよい。
本開示の実施例は、コンピュータ可読コードを含み、コンピュータ可読コードがデバイスで実行されると、デバイスのおけるプロセッサが上記のいずれかの実施例による目標対象追跡方法を実現するための命令を実行する、コンピュータプログラム製品をさらに提供する。
本開示の実施例は、コンピュータ可読命令を記憶することに用いられ、命令が実行されるとコンピュータに上記のいずれかの実施例による目標対象追跡方法の操作を実行させる、他のコンピュータプログラム製品をさらに提供する。
本開示の実施例は、１つ又は複数のプロセッサと、実行可能な命令を記憶するように構成されるメモリと、を備え、前記１つ又は複数のプロセッサが前記メモリに記憶された実行可能な命令を呼び出して、上記方法を実行するように構成される、電子デバイスをさらに提供する。
電子デバイスは、端末、サーバー又は他の形態のデバイスとして提供されてもよい。
図７は本開示の実施例による電子デバイス８００を示すブロック図である。例えば、電子デバイス８００は、移動電話、コンピュータ、デジタル放送端末、メッセージ送受信デバイス、ゲーム機、タブレットデバイス、医療デバイス、フィットネスデバイス、パーソナルデジタルアシスタント等なの端末であってもよい。
図７を参照すると、電子デバイス８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサーコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えることができる。
処理コンポーネント８０２は、通常、電子デバイス８００の全体操作、例えば、表示、電話コール、データ通信、カメラ操作及び記録動作と関連する操作などの操作を制御する。処理コンポーネント８０２は、上記の方法の全て又は一部のステップを完了するために、命令を実行するための１つ又は複数のプロセッサ８２０を含むことができる。また、処理コンポーネント８０２と他のコンポーネントとのインタラクションを容易にするために、処理コンポーネント８０２は、１つ又は複数のモジュールを含むことができる。例えば、マルチメディアコンポーネント８０８と処理コンポーネント８０２の間のインタラクションを容易にするために、処理コンポーネント８０２は、マルチメディアコンポーネントを含むことができる。
メモリ８０４は、様々なタイプのデータを記憶して電子デバイス８００での操作をサポートするように構成される。これらのデータの例は、電子デバイス８００で操作されるための任意のアプリケーションプログラム又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオなどを含む。メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクなどの任意のタイプの揮発性又は不揮発性記憶デバイス又はそれらの組み合わせで実現されてもよい。
電源コンポーネント８０６は、電子デバイス８００の様々なコンポーネントに電力を供給する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子デバイス８００に対する電力の生成、管理及び割り当てに関連する他のコンポーネントを含むことができる。
マルチメディアコンポーネント８０８は、前記電子デバイス８００とユーザの間にある１つの出力インターフェースを提供するスクリーンを含む。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）とタッチパネル（ＴＰ）を含むことができる。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するために、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライドとタッチパネルでのジェスチャをセンシングするために、１つ又は複数のタッチセンサーを含む。前記タッチセンサーは、タッチ又はスライド動作の境界をセンシングするだけでなく、前記タッチ又はスライド操作に関連する持続時間及び圧力を検出することができる。幾つかの実施例において、マルチメディアコンポーネント８０８は、１つのフロントカメラ及び／又はリアカメラを含む。電子デバイス８００が操作モード、例えば撮影モード又はビデオモードにある場合、フロントカメラ及び／又はリアカメラは外部のマルチメディアデータを受信することができる。各フロントカメラ及び／又はリアカメラは、１つの固定された光学レンズシステムであってもよく、又は焦点距離及び光学ズーム能力を持っている。
オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイクロホン（ＭＩＣ）を含み、電子デバイス８００が操作モード、例えばコールモード、記録モードと音声識別モードにある場合、マイクロホンは、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ８０４に記憶されてもよく、又は通信コンポーネント８１６を介して送信されてもよい。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するためのスピーカをさらに含む。
Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールの間に対してインタフェースを提供し、上記周辺インタフェースモジュールがキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、スタートボタンとロックボタンを含むことができるがこれらに限定されない。
センサーコンポーネント８１４は、電子デバイス８００に対して様々な態様の状態評価を提供するための１つ又は複数のセンサを含む。例えば、センサーコンポーネント８１４は、電子デバイス８００のオン／オフ状態、コンポーネントの相対的な位置決めを検出することができ、例えば、前記コンポーネントが電子デバイス８００のディスプレイ及びキーパッドであり、センサーコンポーネント８１４は、さらに電子デバイス８００又は電子デバイス８００の１つのコンポーネントの位置変化、ユーザと電子デバイス８００との接触の有無、電子デバイス８００の方位又は加速／減速と電子デバイス８００の温度変化を検出することができる。センサーコンポーネント８１４は、いかなる物理的な接触がないときに近くの物体の存在を検出するための近接センサーを含むことができる。センサコンポーネント８１４は、さらにイメージングアプリケーションに用いられる光センサ、例えばＣＭＯＳ又はＣＣＤイメージセンサを含むことができる。幾つかの実施例において、当該センサーコンポーネント８１４は、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー又は温度センサーをさらに含むことができる。
通信コンポーネント８１６は、電子デバイス８００と他のデバイスの間の有線又は無線方式の通信を容易にするように構成される。電子デバイス８００は、通信規格に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ、３Ｇ、４Ｇ／ＬＴＥ、５Ｇ又はそれらの組み合わせにアクセスすることができる。１つの例示的な実施例では、通信コンポーネント８１６は、放送チャネルを介して外部の放送管理システムからの放送信号又は放送関連情報を受信する。１つの例示的な実施例では、前記通信コンポーネント８１６は、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線通信協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現されてもよい。
例示的な実施例では、電子デバイス８００は、上記方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、ディジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現されてもよい。
例示的な実施例では、不揮発性コンピュータ可読記憶媒体、例えば、コンピュータプログラム命令を含むメモリ８０４をさらに提供し、コンピュータプログラム命令は、上記方法を完了するために、電子デバイス８００のプロセッサ８２０によって実行可能である。
図８は本開示の実施例による電子デバイス１９００を示すブロック図である。例えば、電子デバイス１９００は、サーバーとして提供されてもよい。図８を参照すると、電子デバイス１９００は、処理コンポーネント１９２２を含み、処理コンポーネント１９２２によって実行され得る命令、例えばアプリケーションプログラムを記憶するために、１つ又は複数のプロセッサと、メモリ１９３２によって表されるメモリリソースとをさらに含む。メモリ１９３２に記憶されたアプリケーションプログラムは、それぞれが１組の命令に対応する１つ又は複数のモジュールを含むことができる。また、処理コンポーネント１９２２は、上記方法を実行するために命令を実行するように構成される。
電子デバイス１９００は、電子デバイス１９００の電源管理を実行するように構成される電源コンポーネント１９２６と、電子デバイス１９００をネットワークに接続するように構成される有線や無線ネットワークインターフェース１９５０と、入力/出力（Ｉ／Ｏ）インターフェース１９５８とをさらに備えることができる。電子デバイス１９００は、メモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ(登録商標)、Ｍａｃ ＯＳ Ｘ(登録商標)、Ｕｎｉｘ(登録商標)、Ｌｉｎｕｘ(登録商標)、ＦｒｅｅＢＳＤ(登録商標)又は類似するものを操作することができる。
例示的な実施例では、不揮発性コンピュータ可読記憶媒体、例えば、コンピュータプログラム命令を含むメモリ１９３２をさらに提供し、前記コンピュータプログラム命令は、上記方法を完了するために、電子デバイス１９００の処理コンポーネント１９２２によって実行可能である。
本開示は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の様々な態様を実現させるためのコンピュータ可読プログラム命令が搭載されているコンピュータ可読記憶媒体を含むことができる。
コンピュータ可読記憶媒体は、命令実行デバイスによって利用される命令を保持及び記憶することができる有形デバイスであってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス又は上記の任意の適切な組み合わせであってもよいがこれらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブルランダムアクセスメモリ（ＥＰＲＯＭ）又はフラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多用途ディスク光ファイバーデバイス（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリースティック、フロッピー（登録商標）ディスク、機械的コーディングデバイス、例えば命令を記憶しているパンチカード又は溝内突出構造、及び上記の任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、一時的信号自体、例えば、無線電波又は他の自由に伝播する電磁波、導波路又は他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通る光パルス）、又は電線を介して伝送される電気信号などとして解釈されるべきではない。
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング／処理デバイスにダウンロードされてもよく、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク及び／又はワイヤレスネットワークを介して外部コンピュータ又は外部記憶デバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバ伝送、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバーを含むことができる。各コンピューティング／処理デバイスにおけるネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピューティング／プロセッシングデバイスのコンピュータ可読記憶媒体に保存するために当該コンピュータ可読プログラム命令を転送する。
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令集合アーキテクチャ（ＩＳＡ）命令、機械命令、器械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコードであってもよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などの対象向けのプログラミング言語、及び「Ｃ」言語などの従来の手続き型プログラミング言語又は類似するプログラミング言語を含む。コンピュータ可読プログラム命令は、ユーザのコンピュータで完全に実行されたり、ユーザのコンピュータで部分的に実行されたり、１つの独立したソフトウェアパッケージとして実行されたり、ユーザコンピュータで部分的に実行されたり、遠隔コンピュータで部分的に実行されたり、又は遠隔コンピュータ又はサーバーで完全に実行されたりすることができる。リモートコンピュータに係る場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザコンピュータ、又は、外部コンピュータに接続されてもよい（例えばインターネットサービスプロバイダーによってインターネットを介して接続される）。幾つかの実施例では、コンピュータ可読プログラム命令の状態情報により電子回路、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）をパーソナライズしてカスタマイズすることにより、当該電子回路は、コンピュータ可読プログラム命令を実行して、本開示の様々な態様を実現することができる。
ここで本開示の各態様は、本開示の実施例の方法、装置（システム）とコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明される。フローチャート及び／又はブロック図の各ブロック、ならびにフローチャート及び／又はブロック図の各ブロックの組み合わせが全てコンピュータ可読プログラム命令によって実現されてもよいことを理解すべきである。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供されてもよく、これにより、これらの命令がコンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行される場合、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現するデバイスを生じるように機械が製造される。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶することができ、これらの命令により、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスが特定の方式で動作し、それによって命令を記憶するコンピュータ可読媒体は、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作の各態様を実現するための命令を含む製品を含む。
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスにロードすることもでき、これにより、コンピュータ、他のプログラマブルデータ処理装置又は他のデバイスで一連の動作ステップを実行し、コンピュータで実現されるプロセスを生成し、それによってコンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスで実行される命令により、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作が実現される。
添付の図面におけるフローチャート及びブロック図には本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能と操作が示されている。この点において、フローチャート又はブロック図の各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができ、前記モジュール、プログラムセグメント又は命令の一部は、所定の論理機能を実現するための１つ又は複数の実行可能な命令を含む。幾つかの代替実現では、ブロックに記された機能は、図面で記されたものとは異なる順序で発生することもできる。例えば、２つの連続するブロックは、実際には基本的に並行して実行されてもよく、それらは、関連する機能によって逆の順序で実行されてもよい場合もある。なお、ブロック及び／又はフローチャートの各ブロック、及びブロック及び／又はフローチャートのブロックの組み合わせは、所定の機能又は動作を実行するための専用の、ハードウェアに基づくシステムで実現されてもよく、又は専用ハードウェアとコンピュータ命令の組み合わせで実現されてもよい。
当該コンピュータプログラム製品は、具体的にはハードウェア、ソフトウェア又はそれらの組み合わせによって実現されてもよい。１つの選択可能な実施例では、前記コンピュータプログラム製品は、具体的にはコンピュータ記憶媒体として具体化され、別の選択可能な実施例では、コンピュータプログラム製品は、ソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などのソフトウェア製品として具体的に具体化されている。
以上に本開示の各実施例について説明したが、上記の説明は、例示的であり、網羅的ではなく、かつ開示される各実施例に限定されない。上記の実施例の範囲及び精神から逸脱することなく、多くの修正及び変更は、当業者にとって明らかである。本明細書で使用されている用語の選択は、各実施例の原理、実際の用途又は市場の技術に対する改善を最もよく説明すること、又は当業者が本明細書で開示される各実施例を理解することを可能にすることを目的とする。
本開示の実施例では、追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定し、前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出し、前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定し、当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することにより、目標対象の識別子情報の一致性を保持することができ、即ち、衝突領域に出入りする時の同一の目標対象の識別子情報の一致性を保持することができ、それによって複数の目標の追跡の正確性を向上させることができる。
以上の一般的な説明及び以下の詳細な説明が例示的及び解釈的なものだけであり、本開示を限定するものではないことを理解すべきである。
例えば、本願は以下の項目を提供する。
（項目１）
目標追跡方法であって、
追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定することと、
前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出することと、
前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することであって、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴であることと、
当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することと、を含む、目標追跡方法。
（項目２）
互いに衝突する複数の目標対象のうちのいずれかの目標対象と、前記複数の目標対象のうちの他の少なくとも１つの目標対象との間の距離は、距離閾値以下であり、
前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出することは、
前記複数の目標対象のうちのいずれかの目標対象に対して、当該目標対象と前記複数の目標対象のうちの他の目標対象との間の距離がいずれも前記距離閾値よりも大きいことに応答して、当該目標対象の現在の特徴を抽出することを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記方法は、
いずれかの目標対象に対して、当該目標対象の複数のカメラに対応する第１座標を決定することであって、当該目標対象の、いずれかのカメラに対応する第１座標は、当該カメラによって収集された画像に基づいて得られた当該目標対象の第１座標を表すために用いられることと、
当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定することであって、前記追跡領域には複数のサブ領域が含まれることと、
前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラに対応する第１座標を融合して、当該目標対象の融合座標を得ることと、をさらに含み、
追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定することの前に、
前記追跡領域における目標対象の融合座標に基づいて、前記追跡領域における目標対象同士間の距離を決定することをさらに含むことを特徴とする
項目１又は２に記載の方法。
（項目４）
当該目標対象の現在の特徴を抽出することは、
前記追跡領域における当該目標対象が位置するサブ領域を決定することと、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することと、
当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することと、を含むことを特徴とする
項目１乃至３のいずれか一項に記載の方法。
（項目５）
前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することは、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することを含むことを特徴とする
項目４に記載の方法。
（項目６）
前記オーバーラップ情報は、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンを含み、
前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することは、
オーバーラップ条件を満たすカメラから、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを当該目標対象の現在の特徴を抽出するためのカメラとして決定することであって、前記オーバーラップ条件は、前記現在の収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満であることを示すことを含むことを特徴とする
項目５に記載の方法。
（項目７）
前記方法は、
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定することをさらに含むことを特徴とする
項目３乃至６のいずれか一項に記載の方法。
（項目８）
前記複数のカメラの前記複数のサブ領域に対する信頼度を決定することの後、前記方法は、
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を調整することをさらに含むことを特徴とする
項目７に記載の方法。
（項目９）
前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することは、
前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することと、
当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度の最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定することと、を含むことを特徴とする
項目１乃至８のいずれか一項に記載の方法。
（項目１０）
当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することの後、前記方法は、
当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することをさらに含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記方法は、
いずれかの目標対象に対して、当該目標対象が現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しないことに応答して、前記直前の時刻に他の目標対象と衝突しなかった、且つ前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定し、又は、当該目標対象が前記現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突することに応答して、前記直前の時刻に当該目標対象の属した衝突領域における、前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定することと、
前記直前の時刻の残りの目標対象から、前記現在の時刻の当該目標対象に最も近い目標対象を、前記現在の時刻の当該目標対象とマッチングする目標対象として決定し、当該マッチングする目標対象の識別子情報を当該目標対象の識別子情報とすることと、をさらに含むことを特徴とする
項目１乃至１０のいずれか一項に記載の方法。
（項目１２）
目標追跡装置であって、
追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定するように構成される第１決定部と、
前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出するように構成される抽出部と、
前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定するように構成され、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴である第２決定部と、
当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定するように構成される第３決定部とを備える、目標追跡装置。
（項目１３）
前記抽出部は、
前記複数の目標対象のうちのいずれかの目標対象に対して、当該目標対象と前記複数の目標対象のうちの他の目標対象との間の距離がいずれも前記距離閾値よりも大きいことに応答して、当該目標対象の現在の特徴を抽出するように構成されることを特徴とする
項目１２に記載の装置。
（項目１４）
前記装置は、
いずれかの目標対象に対して、当該目標対象の複数のカメラに対応する第１座標を決定するように構成され、当該目標対象の、いずれかのカメラに対応する第１座標は、当該カメラによって収集された画像に基づいて得られた当該目標対象の第１座標を表すために用いられる第３決定部と、
当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定するように構成され、前記追跡領域には複数のサブ領域が含まれる第４決定部と、
前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラに対応する第１座標を融合して、当該目標対象の融合座標を得るように構成される融合部と、
前記追跡領域における目標対象の融合座標に基づいて、前記追跡領域における目標対象同士間の距離を決定するように構成される第５決定部と、をさらに備えることを特徴とする
項目１２又は１３に記載の装置。
（項目１５）
前記抽出部は、
前記追跡領域における当該目標対象が位置するサブ領域を決定し、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定し、
当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出するように構成されることを特徴とする
項目１２乃至１４のいずれか一項に記載の装置。
（項目１６）
前記抽出部は、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定するように構成されることを特徴とする
項目１５に記載の装置。
（項目１７）
前記オーバーラップ情報は、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンを含み、
前記抽出部は、
オーバーラップ条件を満たすカメラから、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを当該目標対象の現在の特徴を抽出するためのカメラとして決定するように構成され、前記オーバーラップ条件は、前記現在の収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満であることを示すことを特徴とする
項目１６に記載の装置。
（項目１８）
前記装置は、
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定するように構成される第６決定部をさらに備えることを特徴とする
項目１４乃至１７のいずれか一項に記載の装置。
（項目１９）
前記装置は、
前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を調整するように構成される調整部をさらに備えることを特徴とする
項目１８に記載の装置。
（項目２０）
前記第２決定部は、
前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定し、
当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度の最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定するように構成されることを特徴とする
項目１２乃至１８のいずれか一項に記載の装置。
（項目２１）
前記装置は、
当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定するように構成される第７決定部をさらに備えることを特徴とする
項目２０に記載の装置。
（項目２２）
前記装置は、
いずれかの目標対象に対して、当該目標対象が現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しないことに応答して、前記直前の時刻に他の目標対象と衝突しなかった、且つ前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定し、又は、当該目標対象が前記現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突することに応答して、前記直前の時刻に当該目標対象の属した衝突領域における、前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定するように構成される第８決定部と、
前記直前の時刻の残りの目標対象から、前記現在の時刻の当該目標対象に最も近い目標対象を、前記現在の時刻の当該目標対象とマッチングする目標対象として決定し、当該マッチングする目標対象の識別子情報を当該目標対象の識別子情報とするように構成される第９決定部と、をさらに備えることを特徴とする
項目１２乃至２１のいずれか一項に記載の装置。
（項目２３）
電子デバイスであって、
１つ又は複数のプロセッサと、
実行可能な命令を記憶するように構成されるメモリとを備え、
ここで、前記１つ又は複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出して、項目１乃至１１のいずれか一項に記載の方法を実行するように構成される、電子デバイス。
（項目２４）
コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサに実行される場合、項目１乃至１１のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
（項目２５）
コンピュータ可読コードが含まれているコンピュータプログラムであって、
前記コンピュータ可読コードが電子デバイスで実行される場合、項目１乃至１１のいずれか一項に記載の方法を実現するように前記電子デバイスにおけるプロセッサによって実行される、コンピュータプログラム。
１つの可能な実施形態では、前記装置は、
いずれかの目標対象に対して、当該目標対象の複数のカメラに対応する第１座標を決定するように構成され、当該目標対象のいずれかのカメラに対応する第１座標は、当該カメラによって収集された画像に基づいて得られた当該目標対象の第１座標を表すために用いられる第１座標決定部と、
当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定するように構成され、前記追跡領域には複数のサブ領域が含まれる第４決定部と、
複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラに対応する第１座標を融合して、当該目標対象の融合座標を得るように構成される融合部と、
前記追跡領域における目標対象の融合座標に基づいて、前記追跡領域における目標対象同士間の距離を決定するように構成される第５決定部と、をさらに備える。

Claims (25)

  1. 目標追跡方法であって、
    追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定することと、
    前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出することと、
    前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することであって、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴であることと、
    当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定することと、を含む、目標追跡方法。
  2. 互いに衝突する複数の目標対象のうちのいずれかの目標対象と、前記複数の目標対象のうちの他の少なくとも１つの目標対象との間の距離は、距離閾値以下であり、
    前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出することは、
    前記複数の目標対象のうちのいずれかの目標対象に対して、当該目標対象と前記複数の目標対象のうちの他の目標対象との間の距離がいずれも前記距離閾値よりも大きいことに応答して、当該目標対象の現在の特徴を抽出することを含むことを特徴とする
    請求項１に記載の方法。
  3. 前記方法は、
    いずれかの目標対象に対して、当該目標対象の複数のカメラに対応する第１座標を決定することであって、当該目標対象の、いずれかのカメラに対応する第１座標は、当該カメラによって収集された画像に基づいて得られた当該目標対象の第１座標を表すために用いられることと、
    当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定することであって、前記追跡領域には複数のサブ領域が含まれることと、
    前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラに対応する第１座標を融合して、当該目標対象の融合座標を得ることと、をさらに含み、
    追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定することの前に、
    前記追跡領域における目標対象の融合座標に基づいて、前記追跡領域における目標対象同士間の距離を決定することをさらに含むことを特徴とする
    請求項１又は２に記載の方法。
  4. 当該目標対象の現在の特徴を抽出することは、
    前記追跡領域における当該目標対象が位置するサブ領域を決定することと、
    複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することと、
    当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出することと、を含むことを特徴とする
    請求項１乃至３のいずれか一項に記載の方法。
  5. 前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することは、
    複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することを含むことを特徴とする
    請求項４に記載の方法。
  6. 前記オーバーラップ情報は、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンを含み、
    前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定することは、
    オーバーラップ条件を満たすカメラから、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを当該目標対象の現在の特徴を抽出するためのカメラとして決定することであって、前記オーバーラップ条件は、前記現在の収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満であることを示すことを含むことを特徴とする
    請求項５に記載の方法。
  7. 前記方法は、
    前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定することをさらに含むことを特徴とする
    請求項３乃至６のいずれか一項に記載の方法。
  8. 前記複数のカメラの前記複数のサブ領域に対する信頼度を決定することの後、前記方法は、
    前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を調整することをさらに含むことを特徴とする
    請求項７に記載の方法。
  9. 前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することは、
    前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することと、
    当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度の最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定することと、を含むことを特徴とする
    請求項１乃至８のいずれか一項に記載の方法。
  10. 当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定することの後、前記方法は、
    当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定することをさらに含むことを特徴とする
    請求項９に記載の方法。
  11. 前記方法は、
    いずれかの目標対象に対して、当該目標対象が現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しないことに応答して、前記直前の時刻に他の目標対象と衝突しなかった、且つ前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定し、又は、当該目標対象が前記現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突することに応答して、前記直前の時刻に当該目標対象の属した衝突領域における、前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定することと、
    前記直前の時刻の残りの目標対象から、前記現在の時刻の当該目標対象に最も近い目標対象を、前記現在の時刻の当該目標対象とマッチングする目標対象として決定し、当該マッチングする目標対象の識別子情報を当該目標対象の識別子情報とすることと、をさらに含むことを特徴とする
    請求項１乃至１０のいずれか一項に記載の方法。
  12. 目標追跡装置であって、
    追跡領域における目標対象同士間の距離に基づいて、互いに衝突する複数の目標対象を決定するように構成される第１決定部と、
    前記複数の目標対象のうちのいずれかの目標対象が複数の目標対象のうちの他の目標対象と衝突しなくなったことに応答して、当該目標対象の現在の特徴を抽出するように構成される抽出部と、
    前記複数の目標対象に対応する複数の基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定するように構成され、前記複数の基準特徴は、前記複数の目標対象が互いに衝突する前に、前記複数の目標対象に対してそれぞれ抽出された特徴である第２決定部と、
    当該目標対象の現在の特徴とマッチングする基準特徴に対応する識別子情報を当該目標対象の識別子情報として決定するように構成される第３決定部とを備える、目標追跡装置。
  13. 前記抽出部は、
    前記複数の目標対象のうちのいずれかの目標対象に対して、当該目標対象と前記複数の目標対象のうちの他の目標対象との間の距離がいずれも前記距離閾値よりも大きいことに応答して、当該目標対象の現在の特徴を抽出するように構成されることを特徴とする
    請求項１２に記載の装置。
  14. 前記装置は、
    いずれかの目標対象に対して、当該目標対象の複数のカメラに対応する第１座標を決定するように構成され、当該目標対象の、いずれかのカメラに対応する第１座標は、当該カメラによって収集された画像に基づいて得られた当該目標対象の第１座標を表すために用いられる第３決定部と、
    当該目標対象の前記複数のカメラに対応する第１座標に基づいて、前記追跡領域における当該目標対象が位置するサブ領域を決定するように構成され、前記追跡領域には複数のサブ領域が含まれる第４決定部と、
    前記複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の前記複数のカメラに対応する第１座標を融合して、当該目標対象の融合座標を得るように構成される融合部と、
    前記追跡領域における目標対象の融合座標に基づいて、前記追跡領域における目標対象同士間の距離を決定するように構成される第５決定部と、をさらに備えることを特徴とする
    請求項１２又は１３に記載の装置。
  15. 前記抽出部は、
    前記追跡領域における当該目標対象が位置するサブ領域を決定し、
    複数のカメラの当該目標対象が位置するサブ領域に対する信頼度に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定し、
    当該目標対象の現在の特徴を抽出するためのカメラによって収集されたビデオフレームに基づいて、当該目標対象の現在の特徴を抽出するように構成されることを特徴とする
    請求項１２乃至１４のいずれか一項に記載の装置。
  16. 前記抽出部は、
    複数のカメラの当該目標対象が位置するサブ領域に対する信頼度、及び前記複数のカメラによって収集されたビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとの間のオーバーラップ情報に基づいて、当該目標対象の現在の特徴を抽出するためのカメラを決定するように構成されることを特徴とする
    請求項１５に記載の装置。
  17. 前記オーバーラップ情報は、当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンを含み、
    前記抽出部は、
    オーバーラップ条件を満たすカメラから、当該目標対象が位置するサブ領域に対する信頼度の最も高いカメラを当該目標対象の現在の特徴を抽出するためのカメラとして決定するように構成され、前記オーバーラップ条件は、前記現在の収集されているビデオフレームにおける当該目標対象の検出ボックスと他の目標対象の検出ボックスとのインターセクションオーバーユニオンがいずれもプリセット閾値未満であることを示すことを特徴とする
    請求項１６に記載の装置。
  18. 前記装置は、
    前記複数のカメラのうちのいずれかのカメラに対して、当該カメラと前記追跡領域の複数のサブ領域との間の距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を決定するように構成される第６決定部をさらに備えることを特徴とする
    請求項１４乃至１７のいずれか一項に記載の装置。
  19. 前記装置は、
    前記複数のカメラのうちのいずれかのカメラに対して、当該カメラによって収集されたビデオフレームにおける目標対象同士間の平均距離に基づいて、当該カメラの前記複数のサブ領域に対する信頼度を調整するように構成される調整部をさらに備えることを特徴とする
    請求項１８に記載の装置。
  20. 前記第２決定部は、
    前記複数の目標対象に対応する複数の基準特徴から、当該目標対象の現在の特徴との類似度が最も高い基準特徴を決定し、
    当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値以上であることに応答して、当該類似度の最も高い基準特徴を当該目標対象の現在の特徴とマッチングする基準特徴として決定するように構成されることを特徴とする
    請求項１２乃至１８のいずれか一項に記載の装置。
  21. 前記装置は、
    当該類似度の最も高い基準特徴と当該目標対象の現在の特徴との類似度が類似度閾値未満であることに応答して、当該目標対象と衝突しなく、且ついずれの他の目標対象と衝突する目標対象に対応する基準特徴に基づいて、当該目標対象の現在の特徴とマッチングする基準特徴を決定するように構成される第７決定部をさらに備えることを特徴とする
    請求項２０に記載の装置。
  22. 前記装置は、
    いずれかの目標対象に対して、当該目標対象が現在の時刻及び前記現在の時刻の直前の時刻に他の目標対象と衝突しないことに応答して、前記直前の時刻に他の目標対象と衝突しなかった、且つ前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定し、又は、当該目標対象が前記現在の時刻及び前記直前の時刻に同じ他の目標対象と衝突することに応答して、前記直前の時刻に当該目標対象の属した衝突領域における、前記現在の時刻の他の目標対象とマッチングしない目標対象を、前記直前の時刻の残りの目標対象として決定するように構成される第８決定部と、
    前記直前の時刻の残りの目標対象から、前記現在の時刻の当該目標対象に最も近い目標対象を、前記現在の時刻の当該目標対象とマッチングする目標対象として決定し、当該マッチングする目標対象の識別子情報を当該目標対象の識別子情報とするように構成される第９決定部と、をさらに備えることを特徴とする
    請求項１２乃至２１のいずれか一項に記載の装置。
  23. 電子デバイスであって、
    １つ又は複数のプロセッサと、
    実行可能な命令を記憶するように構成されるメモリとを備え、
    ここで、前記１つ又は複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出して、請求項１乃至１１のいずれか一項に記載の方法を実行するように構成される、電子デバイス。
  24. コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、
    前記コンピュータプログラム命令がプロセッサに実行される場合、請求項１乃至１１のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
  25. コンピュータ可読コードが含まれているコンピュータプログラムであって、
    前記コンピュータ可読コードが電子デバイスで実行される場合、請求項１乃至１１のいずれか一項に記載の方法を実現するように前記電子デバイスにおけるプロセッサによって実行される、コンピュータプログラム。
JP2022506434A 2020-11-11 2021-04-08 目標追跡方法及び装置、電子デバイスと記憶媒体 Pending JP2022552772A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011256801.6A CN112330717B (zh) 2020-11-11 2020-11-11 目标跟踪方法及装置、电子设备和存储介质
CN202011256801.6 2020-11-11
PCT/CN2021/086020 WO2022099988A1 (zh) 2020-11-11 2021-04-08 目标跟踪方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2022552772A true JP2022552772A (ja) 2022-12-20

Family

ID=74318993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022506434A Pending JP2022552772A (ja) 2020-11-11 2021-04-08 目標追跡方法及び装置、電子デバイスと記憶媒体

Country Status (4)

Country Link
JP (1) JP2022552772A (ja)
KR (1) KR102446688B1 (ja)
CN (1) CN112330717B (ja)
WO (1) WO2022099988A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330717B (zh) * 2020-11-11 2023-03-10 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质
CN113129339B (zh) * 2021-04-28 2023-03-10 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342762A (ja) * 2001-05-22 2002-11-29 Matsushita Electric Ind Co Ltd 物体追跡方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101355974B1 (ko) * 2010-08-24 2014-01-29 한국전자통신연구원 복수의 객체를 추적하는 객체 추적 방법 및 장치
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
KR101406334B1 (ko) * 2013-04-18 2014-06-19 전북대학교산학협력단 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
JP6439757B2 (ja) * 2016-07-08 2018-12-19 オムロン株式会社 画像処理装置および画像処理方法
KR101868103B1 (ko) * 2017-07-12 2018-06-18 군산대학교 산학협력단 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
CN107831490A (zh) * 2017-12-01 2018-03-23 南京理工大学 一种改进的多扩展目标跟踪方法
CN110827325B (zh) * 2019-11-13 2022-08-09 阿波罗智联(北京)科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN111275737B (zh) * 2020-01-14 2023-09-12 北京市商汤科技开发有限公司 一种目标跟踪方法、装置、设备及存储介质
CN111369590A (zh) * 2020-02-27 2020-07-03 北京三快在线科技有限公司 多目标跟踪方法、装置、存储介质及电子设备
CN111860373B (zh) * 2020-07-24 2022-05-20 浙江商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN112330717B (zh) * 2020-11-11 2023-03-10 北京市商汤科技开发有限公司 目标跟踪方法及装置、电子设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342762A (ja) * 2001-05-22 2002-11-29 Matsushita Electric Ind Co Ltd 物体追跡方法

Also Published As

Publication number Publication date
KR102446688B1 (ko) 2022-09-23
WO2022099988A1 (zh) 2022-05-19
KR20220066245A (ko) 2022-05-24
CN112330717A (zh) 2021-02-05
CN112330717B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
KR102593020B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN106651955B (zh) 图片中目标物的定位方法及装置
JP7171884B2 (ja) 歩行者認識方法及び装置
KR102421819B1 (ko) 이미지에서의 시퀀스를 인식하는 방법 및 장치, 전자 기기 및 기억 매체
KR20210047336A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
KR20210102180A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
JP7061191B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN105654039B (zh) 图像处理的方法和装置
CN111104920B (zh) 视频处理方法及装置、电子设备和存储介质
CN110969115B (zh) 行人事件的检测方法及装置、电子设备和存储介质
JP2022514726A (ja) 同行人を検出する方法および装置、システム、電子機器、記憶媒体及びコンピュータプログラム
JP2022522551A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN109145150B (zh) 目标匹配方法及装置、电子设备和存储介质
CN109344703B (zh) 对象检测方法及装置、电子设备和存储介质
CN112906484B (zh) 一种视频帧处理方法及装置、电子设备和存储介质
JP2022552772A (ja) 目標追跡方法及び装置、電子デバイスと記憶媒体
CN105335714B (zh) 照片处理方法、装置和设备
CN111259967A (zh) 图像分类及神经网络训练方法、装置、设备及存储介质
CN109034150A (zh) 图像处理方法及装置
KR20220123218A (ko) 타깃 포지셔닝 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP2023514762A (ja) 通行検出方法及びその装置、電子デバイス並びにコンピュータ可読記憶媒体
CN112101216A (zh) 人脸识别方法、装置、设备及存储介质
CN111680646A (zh) 动作检测方法及装置、电子设备和存储介质
CN110781975B (zh) 图像处理方法及装置、电子设备和存储介质
JP2022511151A (ja) 積み重ね物体を認識する方法及び装置、電子機器、記憶媒体及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220131

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230602