JP2022062675A - 類似画像検索による人流分析方法および装置 - Google Patents

Abstract

【課題】人物の移動時間を自動的に算出する。【解決手段】本明細書で説明する例示の実装形態では、対象の検出および追跡によって得られる人物画像は、画像データベース内に格納される。そして、システムは、過去の画像に対する画像検索のクエリとして、人物画像を自動的にサンプリングする。検索結果に対してフィルタリングを行い、あるしきい値より高い類似度を有する人物画像を抽出する。移動時間は、タイムライン上の人物画像に付された情報（カメラ識別子（ＩＤ）、時間）をソートすることによって算出され、システムが、その人物がフレーム内に登場している期間同士のずれを検出する。【選択図】図１０

Description

本開示は、概ね対象追跡システムに関するものであり、より具体的には、画像内の対象物追跡に基づく人流分析に関するものである。

対象物追跡技術は、「カメラ内の追跡」と「カメラ間の追跡」に大別される。

カメラ内の追跡とは、同一の固定カメラで撮影した複数のフレームから、移動する物体（人物など）の軌跡を推定する技術である。例えば、Ｌｕｃａｓ－Ｋａｎａｄｅ法では、フレーム間の小さな領域の動きベクトルを生成することができる。動きベクトルを観察し、類似したベクトルを小さな領域にまとめることで、このような関連技術の実装形態では同じカメラ内の人物を追跡することができる。カメラフレーム内に対象となる人物が存在していれば、その人物を追跡することができるので、同じ映像の中で別のフレームの人物画像を検索することができる。移動体のおおよその速度に基づいて画像処理の範囲を限定できるため、計算コストは比較的低く抑えられる。オクルージョンやフレームアウトが発生すると、追跡に失敗する場合がある。しかし、同じカメラソースからの画像であるため、画像認識の精度は比較的高くなる。図１は、カメラ内で追跡する例を示す。

図２は、複数のカメラを跨いで追跡する例を示す。図２に示すように、画像は独立した間隔を撮影している異なるカメラから得たものであるため、複数のカメラを跨いだ追跡に動きベクトルを使用できない（いわゆる再識別）。カメラが視野をシェアするとき、動きベクトルを使用できるが、正確なカメラのキャリブレーションが必要である。よって、複数のカメラを跨いだ追跡は、カメラ画像から人物領域を検出し、画像特徴を使用することによって人物画像を比較することで概ね実現される。関連技術の実装形態には、二つの顔画像が同じ人物であるか否かを判定するニューラルネットワークを学習する方法がある。画像一致技術は、人物の全身画像に適用することができる。

図３は、画像マッチングに対する例示のフローを示す。図３に示すように、技術は、テスト画像の中の人物が対象画像の中の人物と同じであるかどうかを判定することができる。輝度、色相、物体の大きさなどのような画像条件が、カメラソースによって異なるため、再識別は、比較的困難な作業となり得る。さらに、人物の検出、画像の特徴の抽出、およびマッチングには、高い計算能力（例えば、グラフィクス処理ユニット（ＧＰＵ）のような特殊用途のプロセッサ）が必要である。

本明細書で説明する例示的な実装形態は、２つの領域の間の移動時間を自動推定して統計を生成することに向けられている。この問題を解決するためには、システムは、複数のカメラに登場する人物を複数のカメラ内および複数のカメラを跨いで追跡する必要がある。図４は、例示の実装形態による、領域間の移動時間の測定の例を示す。図４に示すように、実装形態では、人物がカメラ１から離れる時間と、人がカメラ２に入る時間の差から移動時間を計算することができる。

関連技術の実装形態では、特定の人物の追跡は、ユーザによって手動で選択される。一方、手動操作をせずにカメラ間での移動時間の自動推定に対して、本システムを使用するのは困難である。

図５は、移動時間の測定を目的とした関連技術の使用シーンの例を示している。図５の関連技術の例において、ユーザは、システムに追跡対象を入力して、結果を使用して移動時間を計算できるかどうかをチェックする必要がある。さらに、新しく入力した画像内でのすべての人物画像に対して画像マッチングを行う方法は、計算コストが高くなる。

本明細書で説明する実装形態では、対象の検出および追跡によって得られる人物画像は、画像データベース内に格納される。そして、本システムは、過去の画像に対する画像検索のクエリとして、人物画像を自動的にサンプリングする。検索結果に対してフィルタリングを行い、あるしきい値より高い類似度を有する人物画像を抽出する。移動時間は、タイムライン上の人物画像に付された情報（カメラ識別子（ＩＤ）、時間）をソートし、その人物がフレーム内に登場している期間同士のずれを検出することによって算出される。

例示の実装形態では、ユーザの操作なしに人物の移動時間を自動的に算出することができる。さらに、１枚ずつの画像マッチング方法と比較して低い計算コストで移動時間を推定することが可能である。

本開示の態様は、第１のカメラで撮像した画像から人物を検出および追跡をすることと、第１のカメラで撮像した画像から検出および追跡した人物から画像特徴を抽出することと、画像特徴をカメラに関連付けられた情報と共にデータベースに格納することと、第２のカメラで撮像した画像から検出された別の人物をデータベースから検索するサンプルクエリを行うことと、を含む方法を含むことができる。第１のカメラで撮像した画像からの人物の類似度のしきい値内にある別の人物に対し、本方法は、第１のカメラで撮像した画像からのその人物と、第２のカメラで撮像した画像からの別の人物との間の時間のずれを判定することと、時間のずれからその人物の移動時間を算出することをさらに含むことができる。

本開示の態様は、第１のカメラで撮像した画像から人物を検出および追跡することを含む、処理を実行するための命令を格納することと、第１のカメラで撮像した画像から検出および追跡した人物から画像特徴を抽出することと、画像特徴をカメラに関連付けられた情報と共にデータベースに格納することと、第２のカメラで撮像した画像から検出された別の人物をデータベースから検索するサンプルクエリを行うことと、を含む非一時的コンピュータ可読媒体を含むことができる。第１のカメラで撮像した画像からの人物の類似度のしきい値内にある別の人物に対し、本命令は、第１のカメラで撮像した画像からのその人物と、第２のカメラで撮像した画像からの別の人物との間の時間のずれを判定することと、時間のずれからその人物の移動時間を算出することをさらに含むことができる。

本開示の態様は、第１のカメラで撮像した画像から人物を検出および追跡をする手段と、第１のカメラで撮像した画像から検出および追跡した人物から画像特徴を抽出する手段と、画像特徴をカメラに関連付けられた情報と共にデータベースに格納する手段と、第２のカメラで撮像した画像から検出された別の人物をデータベースから検索するサンプルクエリを行う手段と、を含む、システムを含むことができる。第１のカメラで撮像した画像からの人物の類似度のしきい値内にある別の人物に対し、本システムは、第１のカメラで撮像した画像からのその人物と、第２のカメラで撮像した画像からの別の人物との間の時間のずれを判定する手段と、時間のずれからその人物の移動時間を算出する手段をさらに含むことができる。

本開示の態様は、第１のカメラで撮像した画像から人物を検出および追跡し、第１のカメラで撮像した画像から検出および追跡した人物から画像特徴を抽出し、画像特徴をカメラに関連付けられた情報と共にデータベースに格納し、第２のカメラで撮像した画像から検出された別の人物をデータベースから検索するサンプルクエリを行うように構成されたプロセッサを含む装置を含むことができる。第１のカメラで撮像した画像からの人物の類似度のしきい値内にある別の人物に対し、本プロセッサは、第１のカメラで撮像した画像からのその人物と、第２のカメラで撮像した画像からの別の人物との間の時間のずれを判定し、時間のずれからその人物の移動時間を算出するようにさらに構成することができる。

カメラ内で追跡する例を示す。 複数のカメラを跨いで追跡する例を示す。 画像マッチングに対する例示のフローを示す。 例示の実装形態による、領域間の移動時間の測定の例を示す。 移動時間の測定を目的とした関連技術の使用シーンの例を示している。 本明細書で説明した例示の実装形態の全体的な処理手順を示す。 例示の実装形態が実装可能な例示のシステムを示す。 例示の実装形態が実装可能な例示のハードウェアシステムを示す。 例示の実装形態による、抽出された特徴が対応する画像を管理するためのデータベース構成例を示す。 例示の実装形態による、例示のフロー図を示す。 例示の実装形態による、抽出した結果を有する、送信されたクエリの例を示す。 例示の実装形態による、属性情報に基づく検索結果をフィルタリングする例を示す。 例示の実装形態による、カメラのトポロジーを利用した検索結果のフィルタリングの例を示す。 例示の実装形態による、クエリサンプリングに基づくフィルタリング結果の例を示す。 例示の実装形態による、特徴空間における人物画像の例示の分布と、特徴空間における人物画像の例示の分布と、を示す。 例示の実装形態による、グループ特徴を利用したサンプルクエリの生成例を示す。

以下の詳細な説明は、本出願の図面および例示の実装形態の詳細を提供する。図面間の冗長要素の参照番号および説明は、明確のため、省略する。本明細書全体を通して使用される用語は、実施例として提供されるものであり、限定することを意図するものではない。例えば、「自動」という用語の使用は、本出願の実装形態を実施する当業者の所望の実装形態の一つにより、実装形態のいくつかの態様では、ユーザまたは管理者の制御を含む、完全自動または半自動の実装を含んでいてもよい。選択は、ユーザインターフェースまたは他の入力手段を介してユーザによって、または所望のアルゴリズムを介して実装することができる。本明細書で説明する例示の実装形態は、単独で、または組み合わせて利用することができ、例示の実装形態の機能性は、所望の実装形態に従った任意の手段を介して実装することができる。

図６は、本明細書で説明した例示の実装形態の全体的な処理手順を示す。６０１で示すように、本システムは、入力カメラ画像内の人物を検出し、フレーム間の人物を追跡する。次に、６０２で示すように、本システムは、人物画像から画像特徴を抽出する。人物画像用の付加情報を得るために、（性別、年齢等を推定するための）人物属性のような画像分類を実行することができる。この処理は、本システムに接続されるすべてのカメラ入力に対して行われる。６０３で示すように、人物画像、画像特徴、付加情報がリンクされ、画像データベースに格納される。また、本システムは、特徴ベクトルのクラスタリングを行い、高速類似画像検索を処理する。

上記の登録処理に加え、本システムは、６０４に示すように、人物画像をクエリとして自動的にサンプリングすることができる。本システムは、６０５に示すようにサンプリングしたクエリを使用することによって、過去のシーンの類似画像を自動的に検索する。検索結果は、６０６に示すように類似度しきい値によってフィルタリングされ、人物画像に付された情報が得られる。情報を使用して、本システムが、クエリの人物が６０７および６０８に示すように登場する期間同士の間の時間のずれを検出する。６０８に示すように、人物の移動時間は、第１のカメラの最後の画像および第２のカメラの最初の画像のタイムスタンプ間のデルタとして算出することができる。

複数のクエリのためにこの処理を反復することにより、本システムは、最短移動時間、最長移動時間、平均移動時間などのような、移動時間の統計をエクスポートすることができる。

図７は、例示の実装形態が実装可能な例示のシステムを示す。本明細書で説明する例示的な実装では、カメラなどの画像ストレージ装置７００と、キーボード、タッチスクリーン、および他の入力装置のように、所望の実装形態によるクエリ入力を提供するように構成された入力装置７０１がある。画像ストレージ装置７００は、中央処理装置（ＣＰＵ）などの物理的プロセッサを介して本システムの他のユニットによる処理のための物理的なメモリバッファを含むことができる画像入力ユニット７１１に、画像（例えば、映像または画像のフィードバック）を提供する。

人物検出および追跡ユニット７１２は、人物を検出し、画像入力ユニット７１１内の画像からその移動経路を追跡するように構成されたソフトウェアを含む。特徴抽出ユニット７１３は、人物検出および追跡ユニット７１２で検出した人物から特徴を抽出し、画像内で検出した人物を分類するように構成されている。特徴および関連して検出された人物は、画像データベース７１４に格納される。

クエリ生成ユニット７２１は、入力装置７０１からクエリ入力を取り入れて画像データベース７１４にアクセスするためのクエリを形成するように構成されている。このようなクエリ入力は、所望の実装形態による、マウス、キーボード、スタイラスなどを介してディスプレイ装置７０２によって表示されると、表示された画像から人物を選択する形式でもよい。クエリ入力は、自動サンプリング処理で人物検出および追跡ユニット７１２によって提供されてもよい。クエリ生成ユニット７２１によるクエリの形成は、表示した画像上で選択した人物から、あるいは所望の実装形態に従って、抽出した特徴を含むことができる。

画像読み出しユニット７２２は、クエリ生成ユニット７２１からの形成されたクエリを送信して、形成されたクエリに対応する画像データベース７１４から候補の人物を読み出すように構成されている。

検索結果フィルタリングユニット７２３は、図１２～１５（ｂ）に示したようなフィルタリング技術で画像読み出しユニット７２２から読み出された候補の人物をフィルタリングするように構成されている。移動時間計算ユニット７２４は、追跡した人物の経路とかかった時間を判定するように構成されている。

図８は、例示の実装形態が実装可能な例示のハードウェアシステムを示す。図８に示す例示の実装形態では、ストレージ装置８１０を有する計算装置８００（例えば、コンピュータ、ラップトップ等）を含むシステムでもよい。計算装置８００は、ネットワークインターフェース（ＮＩＦ）８０１および１つ以上の物理的プロセッサ８０２を含むことができる。物理的プロセッサ８０２は、中央処理装置（ＣＰＵ）のようなハードウェアプロセッサの形式でもよい。ストレージ装置８１０は、所望の実装形態による、ストレージの任意の形式でよい。ストレージ装置は、本明細書に記載された例示の実装形態を容易にするために１つ以上の物理的プロセッサによってロードされ、実行される処理プログラム８０３、ならびに、対応する画像の抽出された特徴を管理するための画像データベース８０４を含むことができる。処理プログラム８０３は、図７に示すユニットの機能性を促進するように構成されている。

プロセッサ（複数可）８０２は、図６の６０１、図１０の１００１に示すように、第１のカメラで撮像した画像から人物を検出および追跡し、図６の６０２および６０３ならびに図１０の１００３に示すように第１のカメラで撮像した画像から検出および追跡した人物から画像特徴を抽出し、図７の７１４ならびに図８の８０４に示すように、カメラに関連付けられた情報と共に画像特徴をデータベースに格納し、図６の６０４および６０５ならびに図１０の１００５および１００６に示すように、サンプルクエリを行って、第２のカメラで撮像した画像から検出された別の人物に関するデータベースを検索するように構成することができる。図６の６０６に示すように、また、図１１に示すように、第１のカメラで撮像した画像から、人物の類似度のしきい値内にある別の人物に関し、プロセッサ（複数可）８０２は、図６の６０７および６０８に示す第１のカメラで撮像した画像からの人物と、第２のカメラで撮像した画像からの別の人物との間の時間のずれを判定し、図６の６０７および６０８ならびに図１０の１００９に示すように、時間のずれから人物の移動時間を算出するように構成することができる。

プロセッサ（複数可）８０２は、サンプルクエリを行って、サンプルクエリに関連付けられた画像特徴との特徴マッチングに基づいてデータベースから結果を取得し、第２のカメラに関連付けられた領域への直接の経路をもたないカメラに関連付けられた人物に関連付けられたデータベースからの結果をフィルタリングし、第１のカメラと第２のカメラとの間の画像検出の重なりを有するデータベースからの結果をフィルタリングし、図１３に示すようにしきい値を超えない移動時間を有する人物に関連付けられたデータベースからの結果をフィルタリングすることによって、第２のカメラで撮像した画像から検出された別の人物に関するデータベースを検索するように構成することができる。

プロセッサ（複数可）８０２は、サンプルクエリを行って、サンプルクエリに関連付けられた画像特徴との特徴マッチングに基づいてデータベースから結果を取得し、図１１および図１４に示すように、人物の属性に基づいて、データベースからの結果をフィルタリングすることによって、第２のカメラで撮像した画像から検出した別の人物に対するデータベースを検索するように構成することができる。

プロセッサ（複数可）８０２は、サンプルクエリを行って、サンプルクエリを評価することによって第２のカメラで撮像した画像から検出された別の人物に対するデータベースを検索するように構成され、プロセッサは、時間とともに軌跡に沿って第２のカメラからの別の人物の画像からテストセットを生成し、テストセットを第２のカメラに関連付けられたカメラ識別子と関連付け、サンプルクエリに関連付けられた画像特徴との特徴マッチングに基づいてサンプルクエリでテストセットを検索し、精度のしきい値を満たさないテストセットから結果を読み出すサンプルクエリの場合には、図１４に示すようにサンプルクエリを破棄することによって、サンプルクエリを評価するように構成されている。

プロセッサ（複数可）８０２は、人物に近接する１人以上の他の人物を検出および追跡することによって、第１のカメラで撮像した画像からの人物を検出および追跡するように構成することができ、第１のカメラで撮像した画像から検出および追跡された人物から画像特徴を抽出するように構成することができ、図１５（ａ）、図１５（ｂ）および図１６に示すように、その人物に近接する１人以上の他の人物から画像特徴を抽出してグループ特徴を導出することをさらに含む。

図９は、例示の実装形態による、抽出された特徴が対応する画像を管理するためのデータベース構成例を示す。図９の例示の実装形態において、画像データベースは、画像識別子（ＩＤ）、画像、映像内の画像のタイムスタンプ、画像を撮影したカメラのカメラＩＤ、画像がとる軌跡の軌跡ＩＤ、抽出した画像特徴、および画像の導出した属性などのようなパラメータで画像を管理することができる。

図１０は、例示の実装形態による、例示のフロー図を示す。１０００において、画像がカメラからロードされる。１００１において、フローは、人物検出処理を実行して、人物検出および追跡ユニット７１２を実行して画像から人物を検出する。１００２では、人物検出処理で検出された各人物に対して、反復ループを実行する。

１００３では、フローは、画像特徴を抽出し、特徴抽出ユニット７１３を実行して属性を分類する。１００４では、抽出した画像特徴および分類した属性は図９に示すように画像データベース７１４に格納される。

１００５では、クエリ生成ユニット７２１は、１つ以上のサンプルクエリを生成する。１００６では、図１４に示すように、クエリが精度の要件を満たしているかどうかの判定を行う。そうである場合（はい）、フローは、１００７に進んで、クエリを処理し、画像読み出しユニット７２２の実行を介して画像データベース７１４から類似した画像を検索する。１００８では、検索結果フィルタリングユニット７２３を使用して、検索結果をフィルタリングする。１００９では、フローは、移動時間計算ユニット７２４を実行して移動時間を算出する。１０１０では、画像データベース７１４の移動時間の統計を更新し、表示装置７０２で表示するためにエクスポートする。

本明細書に記載する例示の実装形態では、ユーザの操作なしにクエリを自動的にサンプリングすることができ、統計的情報は、ユーザの評価なしに自動的に算出することもできる。しかし、クエリが不適切だと、誤った類似画像検索結果となる可能性がある。これにより、出力統計の信頼度が下がる。よって、フィルタリング機構を結果およびクエリ自体に採用することで精度を上げることができる。

図１１は、例示の実装形態による、抽出した結果を有する、送信されたクエリの例を示す。例えば、図１１に示すように、第２のクエリを使用することにより、本システムは、最上位の類似度を有する同じ人物の結果を得ることができる。しかし、他のクエリでは、異なる人物は、最上位の類似度に位置し、これらの結果を使用することにより誤った移動時間が発生する。

このような、考えられる問題に取り組むため、１つの例示的な実装形態は、移動時間を算出するために信頼できる検索結果のみを抽出して使用することを含む。本明細書に記載するように、類似度しきい値に加え、本システムは、カメラのトポロジーおよび人物の属性のような付加情報を使用することができる。

図１２は、例示の実装形態による、属性情報に基づく検索結果をフィルタリングする例を示す。属性情報を使用する例示的な方法において、本システムは、クエリ属性とマッチしない属性を有する結果を取り除くことができる。図１２には、女／大人の画像を含むクエリ１２０１に応答して、検索結果１２０２の中の第１の検索結果は、異なる性別属性（男／大人対女／大人）を有しており、異なる年齢属性（女／子供対女／大人）を有する第３の結果は、検索結果フィルタリングユニット７２３によるフィルタリング処理によって取り除いて、フィルタリングされた結果１２０３を生成することができる。属性推定自体は不正確である可能性があるため、属性推定の信頼性が高い結果のみを使用する（例えば、予め設定したしきい値を上回る）。

図１３は、例示の実装形態による、カメラのトポロジーを利用した検索結果のフィルタリングの例を示す。図１３の例では、本システムは、利用可能な経路と、１３００に示すようなポイントツーポイントの移動に必要な最短時間を格納する。本システムは、この情報を使用して不適切な結果を取り除くことができる。例えば、クエリ１３０２に応答して生成された結果１３０１について、本システムは、（１）直接の経路が存在しない場合、（２）時間帯が重なっている場合、および／または、（３）移動時間が短すぎる場合には、不適切な結果を検出することができる。

上記は、検索後、不正確なデータのフィルタリングについての説明である。下記の別の例示の実装形態では、追跡のために適切なクエリをサンプリングすることによって、検索前に不正確なデータをフィルタリングする方法を示す。

図１４は、例示の実装形態による、クエリサンプリングに基づくフィルタリング結果の例を示す。図１４の例では、本システムは、画像が、追跡ＩＤがグラウンドトゥルースであるテストセットを自動的に作成する。これは、１４０１に示すように、同じ軌跡上の人物画像が同じ人物であり、異なる軌跡は、異なる人物を表すという仮定に基づいている。

本システムは、サンプルクエリを使ってテストセットデータベースを検索し、自動的にアノテーションされたグラウンドトゥルースを使用して画像検索の精度を算出する。テストセットに対して精度が高いと算出されたクエリを使うことによって、画像データベースの検索精度が向上し、本システムは、移動時間の信頼できる統計を生成することができる。図１４の例では、良好なクエリ１４０１は、予め設定されたしきい値を超える十分な精度を有し（例えば、５つの結果のうちの４つはテストセットから抽出された正確な結果であった）、一方、不良なクエリ１４０２は、予め設定されたしきい値を超える十分な精度を有していなかった（例えば、テストセットから抽出した５つの結果のうちの２つは、正確な結果であったが、大部分が正しくなかった）。

図１５（ａ）および図１５（ｂ）は、例示の実装形態による、特徴空間における人物画像の例示の分布の一例を示す。同じ軌跡の中の同じ人物画像は、特徴空間における部分空間を形成する。他人との区別がつきにくい人物は、部分空間が重なっている。画像検索は、特徴ベクトル間の距離が小さい順に、クエリの周囲の画像を取得する処理を含んでいてもよい。よって、テストセットの検索結果にエラーが少なければ、その人物は追跡に適切な候補となる。

図１５（ａ）に示す例では、特徴空間内での３つの異なる人物を表す３つの部分空間がある。図１５（ａ）に示すように、人物１の部分空間は、実質的に重なり合っている人物２および３の部分空間に比べると、より区別可能である。よって、クエリが図１５（ｂ）に示すように形成されると、部分空間１の人物は、他の人物と比較して重なりがほとんどないため、人物２および３よりも追跡の候補となる。一方、図１５（ｂ）に示すクエリ２は、図１５（ａ）に示す重なった部分空間の為、人物２および３の間で重なり、よって、候補としてフィルタリングすることができる。

適切なクエリを作成するための別の例示の実装形態は、図１６に示すようなグループ特徴を使用する方法を含むことができる。図１６は、例示の実装形態による、グループ特徴を利用したサンプルクエリの生成例を示す。多くの人物が行き交うシーンでは、１人の人物から抽出された画像特徴では、それを他の人物から区別するのに十分な情報とは言えない場合がある。これを解決するため、例示の実装形態では、本システムは、複数の人物を１つのグループとして仮定して、そのグループを複数のカメラを跨いで追跡する。例えば、家族や友人は一緒に行動するので、異なるカメラで撮影したグループ画像からは類似の画像特徴が抽出できる。例示の実装形態は、グループを判定するためにカメラ内に軌跡を含むことができる。軌跡は、所望の実装形態による位置、時間、速度、方向などのような値によって、クラスタリングされる。本システムは、軌跡のクラスタ内の人物画像から画像特徴を抽出する。これらの特徴は、１つの特徴ベクトルに蓄積され、類似のグループを検索するのに使用される。よって、人物は、その一貫した軌跡に基づいて、近接する１人以上の他の人物に基づいて追跡できる。

本明細書で説明する例示の実装形態を通じて、ユーザの操作なしに、領域間での移動体の移動時間を推定することが可能である。移動時間の統計を使用して設備のレイアウトを最適化することができる。さらに、長期の統計を格納することによって、ならびにそれら統計を新たに予測した移動時間と比較することによって、本システムは、異常を検知して、安全性の向上に役立てることができる。

詳細な説明のうちの一部は、コンピュータ内の操作のアルゴリズムおよび記号表現に関して提示される。これらのアルゴリズム記述および記号表現は、データ処理技術の当業者が使用することにより、当業者にそれらの技術革新の本質を伝える手段である。アルゴリズムは、所望の終了状態または結果をもたらす、定義された一連のステップである。例示の実装形態では、実行されるステップは、有形の結果を達成するための有形量の物理的操作を必要とする。

特に記載がない限り、議論から明らかなように、明細書の議論全体を通して「処理する」、「演算する」、「算出する」、「判定する」、「表示する」などの用語を使用する場合は、物理電子工学として表されるコンピュータシステムのレジスタおよびメモリ内のデータを演算システムのメモリ、レジスタ、もしくは他の情報ストレージ、伝送もしくは表示デバイス内の物理量として同様に表される他のデータに操作および変換するコンピュータシステム、または他の情報処理装置の動作および処理を含むことができることは理解できよう。

例示の実装形態は、本明細書での操作を実行するための装置に関連する場合もある。この装置は、必要な目的のために特別に構成することができ、あるいは１以上のコンピュータプログラムを選択的に起動または再構成する１以上の汎用コンピュータを含んでいてもよい。このようなコンピュータプログラムは、コンピュータ可読ストレージ媒体またはコンピュータ可読信号媒体などのコンピュータ可読媒体に格納されてもよい。コンピュータ可読ストレージ媒体は、限定されるものではないが、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイスおよびドライブなどの有形媒体、または電子情報を格納するのに適切な任意の他の種類の有形もしくは非一時的媒体を含んでいてもよい。コンピュータ読み取り可能な信号媒体は、搬送波のような媒体を含んでいてもよい。本明細書で提示されるアルゴリズムおよび表示は、いかなる特定のコンピュータまたは他の装置に本質的に関連するものではない。コンピュータプログラムは、所望の実装形態の操作を実行する命令を含む純粋なソフトウェア実装を含むことができる。

様々な汎用システムを、本明細書の実施例に従ってプログラムおよびモジュールと共に使用することができ、または所望の方法ステップを実行するためのより特化された装置を構築することが便利であると証明することができる。さらに、例示の実装形態の説明には、任意の特定のプログラミング言語を参照していない。本明細書に記載された例示の実装形態の教示を実施するために、様々なプログラミング言語を使用することができることは理解できよう。プログラミング言語の命令は、１以上の処理装置、例えば中央処理装置（ＣＰＵ）、プロセッサ、またはコントローラによって実行してもよい。

当該技術分野で知られているように、上述した操作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアのいくつかの組み合わせによって実行することができる。例示の実装形態の様々な態様は、回路および論理デバイス（ハードウェア）を使用して実装してもよく、他の態様は、プロセッサによって実行される場合、プロセッサに本出願の実装を実行する方法を実行させる、機械可読媒体（ソフトウェア）上に格納された命令を用いて実装してもよい。さらに、本出願のいくつかの例示の実装形態は、ハードウェアのみで実行してもよく、他の例示の実装形態は、ソフトウェアでのみ実行してもよい。さらに、記載された様々な機能は、単一のユニット内で実行することができ、またはいくつかの方法でいくつかの構成要素にわたって拡散することができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体上に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行してもよい。所望であれば、命令は、圧縮されたフォーマットおよび／または暗号化されたフォーマットで媒体上に格納することができる。

さらに、本出願のその他の実装形態は、本出願の明細書および教示内容を考慮することによって、当業者には明らかであろう。記載された例示の実装形態の様々な態様および／または構成要素は、単独で、または任意の組み合わせで使用してもよい。本明細書および例示の実装形態は、例示に過ぎず、本出願の真の範囲と精神は、下記の特許請求の範囲によって示されるものである。

７００ 画像ストレージ装置
７０１ 入力装置
７０２ ディスプレイ装置
７１１ 画像入力ユニット
７１２ 追跡ユニット
７１３ 特徴抽出ユニット
７１４ 画像データベース
７２１ クエリ生成ユニット
７２２ 画像読み出しユニット
７２３ 検索結果フィルタリングユニット
７２４ 移動時間計算ユニット
８００ 計算装置
８０１ ネットワークインターフェース（ＮＩＦ）
８０２ 物理的プロセッサ
８０３ 処理プログラム
８０４ 画像データベース
８１０ ストレージ装置

Claims (15)

1. 第１のカメラで撮像した画像から人物を検出および追跡をすることと、
   前記第１のカメラで撮像した前記画像から前記検出および追跡した人物から画像特徴を抽出することと、
   前記画像特徴を前記カメラに関連付けられた情報と共にデータベースに格納することと、
   第２のカメラで撮像した画像から検出された別の人物を前記データベースから検索するサンプルクエリを行うことと、
   前記第１のカメラで撮像した前記画像からの前記人物の類似度のしきい値内にある、別の人物に対しては、
   前記第１のカメラで撮像した前記画像からの前記人物と、前記第２のカメラで撮像した前記画像からの前記別の人物との間の時間のずれを判定することと、
   前記時間のずれから前記人物の移動時間を算出することと、を含む方法。
2. 前記サンプルクエリを行って、前記第２のカメラで撮像した前記画像から検出された、別の人物に対する前記データベースを検索することは、
   前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記データベースから結果を取得することと、
   前記第２のカメラに関連付けられた領域への直接の経路を有していないカメラに関連付けられた人物に関連付けられた前記データベースからの前記結果をフィルタリングすることと、
   前記第１のカメラと前記第２のカメラとの間で画像検出が重なっている前記データベースからの前記結果をフィルタリングすることと、
   しきい値を超えない移動時間を有する人物に関連付けられた前記データベースからの前記結果をフィルタリングすることと、を含む、請求項１に記載の方法。
3. 前記サンプルクエリを行って、前記第２のカメラで撮像した前記画像から検出された別の人物に対する前記データベースを検索することは、
   前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記データベースから結果を取得することと、
   人物の属性に基づいて前記データベースから前記結果をフィルタリングすることと、を含む、請求項１に記載の方法。
4. 前記サンプルクエリを行って、前記第２のカメラで撮像した前記画像から検出された別の人物に対する前記データベースを検索することは、前記サンプルクエリを評価することを含み、前記サンプルクエリを評価することは、
   時間とともに軌跡に沿って前記第２のカメラからの前記別の人物の前記画像からテストセットを生成することと、
   前記テストセットを前記第２のカメラに関連付けられたカメラ識別子と関連付けることと、
   前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記サンプルクエリで前記テストセットを検索することと、
   精度のしきい値を満たさない前記テストセットから結果を読み出す前記サンプルクエリの場合には、前記サンプルクエリを破棄することと、を含む、請求項１に記載の方法。
5. 前記第１のカメラで撮像した前記画像から前記人物を検出および追跡することは、前記人物に近接する１人以上の他の人物を検出および追跡することをさらに含み、
   前記第１のカメラで撮像した前記画像から前記検出および追跡した人物から前記画像特徴を抽出することは、前記人物に近接する前記１人以上の他の人物から前記画像特徴を抽出して、グループ特徴を導出することをさらに含む、請求項１に記載の方法。
6. 処理を実行するための命令を格納する、非一時的コンピュータ可読媒体であって、前記命令は、
   第１のカメラで撮像した画像から人物を検出および追跡をすることと、
   前記第１のカメラで撮像した前記画像から前記検出および追跡した人物から画像特徴を抽出することと、
   前記画像特徴を前記カメラに関連付けられた情報と共にデータベースに格納することと、
   第２のカメラで撮像した画像から検出された別の人物を前記データベースから検索するサンプルクエリを行うことと、
   前記第１のカメラで撮像した前記画像からの前記人物の類似度のしきい値内にある、別の人物に対しては、
   前記第１のカメラで撮像した前記画像からの前記人物と、前記第２のカメラで撮像した前記画像からの前記別の人物との間の時間のずれを判定することと、
   前記時間のずれから前記人物の移動時間を算出することと、を含む非一時的コンピュータ可読媒体。
7. 前記サンプルクエリを行って、前記第２のカメラで撮像した前記画像から検出された別の人物に対する前記データベースを検索することは、
   前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記データベースから結果を取得することと、
   前記第２のカメラに関連付けられた領域への直接の経路を有していないカメラに関連付けられた人物に関連付けられた前記データベースからの前記結果をフィルタリングすることと、
   前記第１のカメラと前記第２のカメラとの間で画像検出が重なっている前記データベースからの前記結果をフィルタリングすることと、
   しきい値を超えない移動時間を有する人物に関連付けられた前記データベースからの前記結果をフィルタリングすることと、を含む、請求項６に記載の非一時的コンピュータ可読媒体。
8. 前記サンプルクエリを行って、前記第２のカメラで撮像した前記画像から検出された別の人物に対する前記データベースを検索することは、
   前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記データベースから結果を取得することと、
   人物の属性に基づいて前記データベースから前記結果をフィルタリングすることと、を含む、請求項６に記載の非一時的コンピュータ可読媒体。
9. 前記サンプルクエリを行って、前記第２のカメラで撮像した前記画像から検出された別の人物に対する前記データベースを検索することは、前記サンプルクエリを評価することを含み、前記サンプルクエリを評価することは、
   時間とともに軌跡に沿って前記第２のカメラからの前記別の人物の前記画像からテストセットを生成することと、
   前記テストセットを前記第２のカメラに関連付けられたカメラ識別子と関連付けることと、
   前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記サンプルクエリで前記テストセットを検索することと、
   精度のしきい値を満たさない前記テストセットから結果を読み出す前記サンプルクエリの場合には、前記サンプルクエリを破棄することと、を含む、請求項６に記載の非一時的コンピュータ可読媒体。
10. 前記第１のカメラで撮像した前記画像からの前記人物を検出および追跡することは、前記人物に近接する１人以上の他の人物を検出および追跡することをさらに含み、
    前記第１のカメラで撮像した前記画像から前記検出および追跡した人物から前記画像特徴を抽出することは、前記人物に近接する前記１人以上の他の人物から前記画像特徴を抽出して、グループ特徴を導出することをさらに含む、請求項６に記載の非一時的コンピュータ可読媒体。
11. プロセッサが、
    第１のカメラで撮像した画像から人物を検出および追跡し、
    前記第１のカメラで撮像した前記画像から前記検出および追跡した人物から画像特徴を抽出し、
    前記画像特徴を前記カメラに関連付けられた情報と共にデータベースに格納し、
    第２のカメラで撮像した画像から検出された別の人物を前記データベースから検索するサンプルクエリを行い、
    前記第１のカメラで撮像した前記画像からの前記人物の類似度のしきい値内にある別の人物に対しては、
    前記第１のカメラの前記画像からの前記人物と、前記第２のカメラの前記画像からの前記別の人物との間の時間のずれを判定し、
    前記時間のずれから前記人物の移動時間を算出するように、さらに構成された、プロセッサを備える装置。
12. 前記プロセッサは、サンプルクエリを行って、
    前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記データベースから結果を取得することと、
    前記第２のカメラに関連付けられた領域への直接の経路を有していないカメラに関連付けられた人物に関連付けられた前記データベースからの前記結果をフィルタリングすることと、
    前記第１のカメラと前記第２のカメラとの間で画像検出が重なっている前記データベースからの前記結果をフィルタリングすることと、
    しきい値を超えない移動時間を有する人物に関連付けられた前記データベースからの前記結果をフィルタリングすることと、によって前記第２のカメラで撮像した前記画像から検出された別の人物に対する前記データベースを検索するように構成されている、を含む、請求項１１に記載の装置。
13. 前記プロセッサは、前記サンプルクエリを行って、
    前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記データベースから結果を取得し、
    人物の属性に基づいて前記データベースから前記結果をフィルタリングすることによって、前記第２のカメラで撮像した前記画像から検出された別の人物に対する前記データベースを検索するように構成されている、請求項１１に記載の装置。
14. 前記プロセッサは、前記サンプルクエリを行って、前記サンプルクエリを評価することによって前記第２のカメラで撮像した前記画像から検出された別の人物に対する前記データベースを検索するように構成され、前記プロセッサは、
    時間とともに軌跡に沿って前記第２のカメラで撮像した前記別の人物の前記画像からテストセットを生成し、
    前記テストセットを前記第２のカメラに関連付けられたカメラ識別子と関連付け、
    前記サンプルクエリに関連付けられた前記画像特徴との特徴マッチングに基づいて前記サンプルクエリで前記テストセットを検索し、
    精度のしきい値を満たさない前記テストセットから結果を読み出す前記サンプルクエリの場合には、前記サンプルクエリを破棄することによって、前記サンプルクエリを評価するように構成されている、請求項１１に記載の装置。
15. 前記プロセッサは、人物に近接する１人以上の他の人物を検出および追跡することによって、前記第１のカメラで撮像した前記画像からの前記人物を検出および追跡するように構成され、
    前記プロセッサは、前記第１のカメラで撮像した前記画像から前記検出および追跡した人物から前記画像特徴を抽出するように構成されており、前記人物に近接する前記１人以上の他の人物から前記画像特徴を抽出して、グループ特徴を導出することをさらに含む、請求項１１に記載の装置。

Images