JP2008040781A - 被写体照合装置および被写体照合方法 - Google Patents

Abstract

【課題】撮影する被写体の数が多い場合であっても、安価な装置で、被写体の照合を可能とする。
【解決手段】被写体照合装置１は、複数の被写体を撮影するカメラ１０と、撮影して得た複数の画像情報それぞれから複数の被写体それぞれの被写体画像を検出する被写体検出部２１と、複数の被写体それぞれに対応する被写体画像の動きに基づいて複数の被写体それぞれを追跡し、複数の被写体それぞれの追跡情報を作成する被写体追跡部２２と、複数の被写体それぞれの追跡情報を記憶する追跡情報記憶部２３と、追跡情報に基づいて複数の被写体の中から照合を行う被写体を選択する被写体選択部３０と、選択された被写体を照合する照合部４０と、照合された結果を報知する報知部６０とを備えている。
【選択図】図１

Description

本発明は、被写体照合装置および被写体照合方法に関し、特に、複数の被写体を撮影して照合するための被写体照合装置および被写体照合方法に関する。

従来、建物、敷地、施設などの構内や街頭において、監視カメラや赤外線センサなどを利用して、入退室者、入場者などの被写体を検出し、入退室者の管理、不審者の監視などを行う監視装置が開発されている。

一方、ＩＣカードなどによる本人確認に加えて、アクセス時の本人認証の方法として、人体の指紋、虹彩、眼底血管、顔の特徴、腕や手などの血管パターンなど、その被認証者固有のいわゆるバイオメトリクス情報を用いた様々な認証方法が実用化されている。

これらのうち、装置の構成の容易さ、認証時の手軽さなどの扱いやすさから、たとえば顔の特徴を利用して生体認証を行う認証方法（以下、「顔認証」という）が建物、建物、敷地、施設などの出入口、構内にある入室管理装置、監視装置などに用いられている。

顔認証とは、被認証者（以下、「被写体」という）の顔を含む領域を撮影して得た顔画像から生成した認証に用いる情報（認証情報）と予め登録された認証情報（登録認証情報）とを比較照合し、互いに一致すると判定された場合には、被写体が予め登録されたものであると認証する方法である。

監視装置では、監視区域内を移動する複数の人物を、監視区域内の背景画像と撮影時点での入力画像との差分から検出し、追跡していた（たとえば、特許文献１を参照）。

また、入退室する人物を監視する監視装置では、入退室する人物を追跡し、人物動線を調べることで、その人物が認証人物かどうかを判定していた（たとえば、特許文献２を参照）。
特開平８−２０５１３１号公報 特開２００４−１８５４８４号公報

しかしながら、従来の監視装置では、撮影範囲内に存在する人物を照合するときに、人物の数に伴って照合に必要な時間も増加していた。さらに、監視装置が設置された場所から、移動する人物を追跡して照合する場合には、撮影時点ごとの照明条件、顔の向き、撮影距離などの撮影環境の違いにより、照合結果を得るまでの時間は大幅にばらついていた。

このような中で、移動する被写体をリアルタイムに追跡しながら照合を行う場合には、監視装置では、監視漏れを防ぐために、被写体の追跡が可能な時間内で、確実に、撮影処理、照合処理を終了する必要があり、高い処理能力が要求される。このために、監視装置は、並列処理、高速処理を実行可能な、回路規模の大きい、高価な装置になってしまうといった課題があった。

本発明は、このような課題を解決するものであり、照合する被写体の数が多くなった場合であっても、安価な装置で、移動している被写体の照合を可能とする被写体照合装置および被写体照合方法を提供することを目的とする。

本発明の被写体照合装置は、複数の被写体を連続して撮影する撮影部と、撮影部により撮影して得た複数の画像情報それぞれから複数の被写体それぞれの被写体画像を検出する被写体検出部と、複数の被写体それぞれに対応する被写体画像の動きに基づいて複数の被写体それぞれを追跡し、複数の被写体それぞれの追跡情報を作成する被写体追跡部と、複数の被写体それぞれの追跡情報を記憶する追跡情報記憶部と、追跡情報記憶部に記憶された追跡情報に基づいて、複数の被写体の中から、照合を行う被写体を選択する被写体選択部と、被写体選択部で選択された被写体を照合する照合部とを備えたことを特徴とする。

この構成によれば、追跡情報に基づいて、複数の被写体の中から、被写体を選択してから照合を行うことができ、撮影する被写体の数が多くなっても、被写体の照合時間を抑えることができ、移動する被写体を追跡して照合することができる。

また、被写体追跡部は、追跡情報に、複数の被写体の情報を、時系列に記録するようにしてもよい。

これによれば、さらに、時間の情報に基づいて、被写体を選択することが可能となる。

また、照合部は、追跡情報に、複数の被写体それぞれの照合の有無を記録するようにしてもよい。

これによれば、さらに、照合回数が少ない被写体から優先的に照合することが可能となる。

また、被写体選択部は、複数の被写体の中で、照合回数の少ない被写体を優先して選択するようにしてもよい。

これによれば、さらに、照合回数が同じとき、先に撮影された被写体を優先的に照合することができる。

また、被写体選択部は、複数の被写体の中で、未照合の被写体を優先して選択するようにしてもよい。

これによれば、さらに、照合されていない被写体を優先して照合することができる。

また、被写体選択部は、複数の被写体の中で、未照合の被写体がないときに、最後に照合した時点から最も時間が経過している被写体を優先して選択するようにしてもよい。

これによれば、さらに、未照合の被写体がないときに、最後に照合した時点から最も時間が経過している被写体を優先して照合することができる。

また、被写体選択部は、同一の被写体に対して、被写体画像の領域の大きさが大きいものから順に選択するようにしてもよい。

これによれば、さらに、照合しやすい画像を用いて、被写体を照合することができる。

また、被写体は、人物の顔であり、被写体選択部は、同一の被写体に対して、顔の向きが正面方向に近いものから順に選択するようにしてもよい。

これによれば、さらに、照合しやすい画像を用いて、被写体を照合することができる。

また、被写体選択部における選択条件を切り換えるための入力を行う入力部をさらに備えてもよい。

これによれば、さらに、選択条件の入力に応じて、照合処理を切り換えることができる。これにより、即時性、照合精度などの優先度に応じて照合処理を切り換えることが可能となる。

本発明の被写体照合装置は、複数の被写体を連続して撮影し、撮影して得た複数の被写体それぞれの被写体画像の動きから複数の被写体それぞれの追跡履歴情報と被写体画像情報とを保持している撮影装置と接続される被写体照合装置であって、撮影装置から追跡履歴情報を受信する受信部と、追跡履歴情報を記憶する受信情報記憶部と、受信情報記憶部に記憶された追跡履歴情報に基づいて、複数の被写体の中から、照合する被写体を選択する被写体選択部と、選択された被写体に対応する被写体画像を撮影装置から取得する画像伝送制御部と、画像伝送制御部で取得された被写体画像を照合する照合部とを備えたことを特徴とする。

この構成によれば、撮影装置から取得した追跡履歴情報から、照合を行う被写体を選択し、選択された被写体に対応する被写体画像情報のみ撮影装置から取得すればよく、撮影された被写体の数が多くなっても、撮影装置から取得するデータ量を抑えることができる。これにより、ネットワークを利用して、被写体画像情報を取得して照合を行う場合であっても、より多くの被写体を追跡して照合することができる。

本発明の被写体照合方法は、被写体を撮影する撮影部と、被写体を追跡して得た追跡情報を記憶する追跡情報記憶部とを有した被写体照合装置を用いて被写体を照合する被写体照合方法であって、撮影部を用いて複数の被写体を連続して撮影する撮影ステップと、撮影部により撮影して得た複数の画像情報それぞれから複数の被写体それぞれの被写体画像を検出する被写体検出ステップと、複数の被写体それぞれに対応する被写体画像の動きに基づいて複数の被写体それぞれを追跡し、複数の被写体それぞれの追跡情報を作成する被写体追跡ステップと、複数の被写体それぞれの追跡情報を追跡情報記憶部に記憶する記憶ステップと、追跡情報記憶部に記憶された追跡情報に基づいて、複数の被写体の中から、照合を行う被写体を選択する被写体選択ステップと、被写体選択ステップで、選択された被写体を照合する照合ステップとを備えたことを特徴とする。

この方法によれば、追跡情報に基づいて、複数の被写体の中から、被写体を選択してから照合を行うため、撮影する被写体の数が多くなっても、被写体の照合時間を抑えることができ、移動する被写体を追跡して照合することができる。

また、被写体追跡ステップで、追跡情報に、複数の被写体の情報を、時系列に記録するようにしてもよい。

これによれば、さらに、時間の情報に基づいて、被写体を選択することが可能となる。

また、照合ステップで、追跡情報に、複数の被写体それぞれの照合の有無を記録するようにしてもよい。

これによれば、さらに、照合回数が少ない被写体から優先的に照合することが可能となる。

また、被写体選択ステップで、複数の被写体の中で、照合回数の少ない被写体を優先して選択するようにしてもよい。

これによれば、さらに、照合回数が同じとき、先に撮影された被写体を優先的に照合することができる。

また、被写体選択ステップで、複数の被写体の中で、未照合の被写体を優先して選択するようにしてもよい。

これによれば、さらに、照合されていない被写体を優先して照合することができる。

また、被写体選択ステップで、複数の被写体の中で、未照合の被写体がないときに、最後に照合した時点から最も時間が経過している被写体を優先して選択するようにしてもよい。

これによれば、さらに、未照合の被写体がないときに、最後に照合した時点から最も時間が経過している被写体を優先して照合することができる。

また、被写体選択ステップで、同一の被写体に対して、被写体画像の領域の大きさが大きいものから順に選択するようにしてもよい。

これによれば、さらに、照合しやすい画像を用いて、被写体を照合することができる。

また、被写体は、人物の顔であり、被写体選択ステップで、同一の被写体に対して、顔の向きが正面方向に近いものから順に選択するようにしてもよい。

これによれば、さらに、照合しやすい画像を用いて、被写体を照合することができる。

本発明によれば、照合する被写体の数が多くなった場合であっても、安価な装置で、移動している被写体の照合を可能とする被写体照合装置および被写体照合方法を提供することができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
本発明の実施の形態１である、被写体照合装置は、移動する複数の被写体を連続して撮影し、その撮影して得た画像情報から複数の被写体それぞれを追跡し、その追跡して得た追跡情報に基づいて、複数の被写体の中から照合を行うための被写体を選択し、選択された被写体の被写体画像を照合するものである。

被写体照合装置において、被写体を撮影して得た画像情報から複数の被写体それぞれを追跡し、その追跡して得た追跡情報を作成するところまでの処理（以下、この処理を「追跡処理」という）は、撮影環境に影響されず、処理時間の変動は小さい。一方、追跡情報に基づいて、複数の被写体の中から照合を行うための被写体を選択し、選択された被写体の被写体画像を照合する処理（以下、この処理を「照合処理」という）は、撮影環境により処理時間の変動が大きく、かつ、照合対象の数が多くなるほど、照合時間も増加する。

よって、被写体照合装置は、撮影範囲内に存在する複数の被写体の中から照合を行う被写体を選択するようにしたことで、被写体の数が多くなっても、照合時間を抑えることが可能となる。この、撮影環境により処理時間の変動が大きい照合処理の時間を抑えることで、撮影範囲内に存在する複数の被写体の追跡処理と照合処理とを、所定の時間内で、確実に行うことが可能となる。

ここで、被写体は、人物の顔、人物の目、人物の虹彩、人物、乗り物、動物などがある。本発明の実施の形態１では、被写体を人物の顔を実施例として説明する。

本発明の実施の形態１である被写体照合装置について、図１を用いて説明する。図１は、本発明の実施の形態１における被写体照合装置１の構成を示すブロック図である。

図１において、被写体照合装置１は、複数の被写体を撮影するカメラ１０と、撮影して得た複数の画像情報それぞれから複数の被写体それぞれの被写体画像を検出する被写体検出部２１と、複数の被写体それぞれに対応する被写体画像の動きに基づいて複数の被写体それぞれを追跡し、複数の被写体それぞれの追跡情報を作成する被写体追跡部２２と、複数の被写体それぞれの追跡情報を記憶する追跡情報記憶部２３と、追跡情報に基づいて複数の被写体の中から照合を行う被写体を選択する被写体選択部３０と、照合に必要な被写体の照合情報（以下、この照合情報を「登録照合情報」という）を記憶する登録者情報記憶部５０と、選択された被写体画像から照合情報を作成し、照合情報と登録照合情報とを比較照合し、照合結果を出力する照合部４０と、照合結果を報知する報知部６０とを備えている。

カメラ１０は、撮影範囲内に存在する複数の被写体を連続して撮影する。カメラ１０の一例としては、撮像素子としてＣＣＤまたはＣＭＯＳなどを用いた白黒カメラまたはカラーカメラを用いることができる。

被写体検出部２１は、連続的に撮影して得た複数の画像情報（以下、この画像情報を「フレーム画像」という）それぞれから各被写体に対応する被写体画像を検出する。

被写体追跡部２２は、各フレーム画像から検出した被写体画像の座標上の動きを検出し、追跡する。ここで、一致度合いの高い領域を同一被写体の領域とみなす。一致度合いを判断する一例として、濃淡パターンの比較を行い、相互相関法、複合類似度法など公知の比較方法により求める方法を利用することができる。

被写体追跡部２２は、複数のフレーム画像それぞれの差分を検出し、被写体画像の動きから、各被写体の動き方向、大きさである動きベクトルを検出し、検出された動きベクトルの軌跡（以下、「動線」という）を順次に記憶することで、各被写体を追跡する。この追跡した追跡履歴情報とそれぞれの被写体の被写体画像情報とを追跡情報として、後に述べる、追跡情報記憶部２３に記憶する。追跡情報の追加は、想定される被写体の移動速度によって予め設定され、所定の時間Ｔの間隔で行われる。なお、被写体が移動する速度に基づいて、時間Ｔを変更するようにしてもよい。また、後述するように、追跡情報は、照合時に更新される。

追跡情報記憶部２３は、公知のハードディスクドライブ（ＨＤＤ）、ランダムアクセスメモリ（ＲＡＭ）などの情報記録媒体に、追跡された被写体の追跡情報を記憶する。

被写体選択部３０は、追跡情報記憶部２３に記憶されている追跡情報に基づいて、照合を行う被写体を選択する。そして、選択された被写体の被写体画像を照合部４０に出力する。この被写体の選択方法の詳細については後述する。

登録者情報記憶部５０は、公知のハードディスクドライブ（ＨＤＤ）、ランダムアクセスメモリ（ＲＡＭ）などの情報記録媒体には、登録者の登録照合情報、たとえば、被写体の統計的な特徴量である濃淡成分情報、周波数成分情報、濃淡画像情報、色情報、形状情報などが予め登録されている。たとえば、公知の固有顔法（Ｍ．Ｔｕｒｋ ａｎｄ Ａ．Ｐｅｎｔｌａｎｄ，”Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ”，Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，Ｍａｒｃｈ １９９１．）などの一般に知られた技術を用いて、濃淡情報の主成分分析を行い、特徴量を抽出する。

照合部４０は、選択された被写体画像から照合情報を作成し、照合情報と登録照合情報とを比較照合することで、被写体を照合する。また、照合部４０は、その照合された被写体の被写体画像に対応する情報（箇所）に、照合済みの情報をさらに付与することで、追跡情報を更新する。

報知部６０は、装置の使用者に照合結果を知らせる。たとえば、報知部６０は、照合結果が装置に登録したもの（要注意者など）と一致した場合には、アラームなどの警報で使用者に知らせる。なお、表示装置に照合結果を表示して報知するようにしてもよい。これにより、装置の使用者は、照合対象となる被写体の数が多くなった場合であっても、特定の被写体を容易に発見することができる。

次に、被写体照合装置１の追跡処理の動作について、図２を用いて説明する。図２は、本発明の実施の形態１における被写体照合装置１の追跡処理の動作を説明するためのフローチャートである。

図２に示すように、被写体照合装置１は、カメラ１０で、移動する被写体を連続して撮影し、フレーム画像を順次に取得する（Ｓ１００）。

次に、被写体照合装置１は、被写体検出部２１で、連続的に撮影して得たフレーム画像それぞれから被写体画像を検出する（Ｓ１０２）。

被写体照合装置１は、フレーム画像に被写体画像が検出されない場合には、再度、ステップＳ１００に戻り、フレーム画像を取得する（Ｓ１０４）。

一方、フレーム画像に被写体画像が検出された場合には（Ｓ１０４）、被写体照合装置１は、被写体追跡部２２で、複数のフレーム画像それぞれの差分を検出し、被写体画像の動きを検出する。これにより、被写体照合装置１は、各被写体の動き方向、大きさである動きベクトルを検出でき、動きベクトルの履歴から各被写体の動線を検出する（Ｓ１０６）。

次に、被写体照合装置１は、検出した動きベクトルごとの被写体の位置情報、後述する照合情報などの追跡履歴情報と被写体画像情報とから、図３に示すように、追跡情報５００を作成し（Ｓ１０８）、追跡情報記憶部２３に記憶する（Ｓ１１０）。次に、追跡情報５００を追跡情報記憶部２３に記憶した後、新たなフレーム画像をカメラ１０から取得するため、ステップＳ１００に戻る。

追跡情報５００には、撮影した時間ごとに、撮影されたフレーム情報、各被写体の位置情報、照合情報などの追跡履歴情報と、各フレーム画像から検出された各被写体の被写体画像である被写体画像情報とを、時系列で順次に記録する。また、後述するように、追跡している被写体が、所定の時間以上、停止している場合に、一旦、追跡を完了したことを示す完了情報（図示せず）を追跡情報５００に記録する。

ここで、照合情報とは、後述するように、照合処理において、照合部４０が付与する、照合処理の有無、照合結果の有無、照合処理の完了時間などの照合処理に係る履歴を記録した情報である。位置情報とは、撮影範囲内における、被写体の被写体画像が検出された位置を示す座標情報である。被写体画像とは、被写体の画像情報であり、たとえば、顔画像である。

この追跡情報５００を用いることにより、各被写体の照合回数、各被写体の照合を行った時間などを検出することができ、所定の条件により、被写体を選択し、選択された被写体に対応する被写体画像を検索することができる。所定の条件とは、たとえば、照合回数、照合時間、検出された位置（座標）などである。

次に、被写体照合装置１の照合処理の動作について、図４を用いて説明する。図４は、本発明の実施の形態１における被写体照合装置１の照合処理の動作を説明するためのフローチャートである。

図４において、被写体照合装置１は、被写体選択部３０により、追跡情報記憶部２３に記憶されている追跡情報５００を取得し（Ｓ２００）、追跡情報５００の情報から、照合を行う被写体が複数であるか否かを判断する（Ｓ２０２）。

被写体照合装置１は、被写体選択部３０により、照合部４０で照合を行う被写体が１人であると判断された場合には、ステップＳ２０６に進む。一方、被写体照合装置１は、被写体選択部３０により、照合部４０で照合を行う被写体が複数であると判断された場合には、複数の被写体の中から、所定の条件に従って、照合を行う被写体の被写体画像を選択する（Ｓ２０４）。所定の条件とは、照合回数の少ない被写体を優先する、または、未照合な被写体を優先するなどである。追跡情報５００に記録されているフレーム情報、各被写体の位置情報（被写体が検出された位置の座標情報）、照合情報などの追跡履歴情報および被写体画像情報から、予め設定される所定の条件に応じて、被写体を選択することができる。この被写体の選択方法の詳細については後述する。

次に、被写体照合装置１は、照合部４０により、被写体選択部３０で選択された被写体画像から照合情報を作成し、登録者情報記憶部５０に登録されている登録照合情報と照合情報とを比較照合し、被写体が登録されているものか否かの照合を行う（Ｓ２０６）。被写体照合装置１は、照合部４０で照合した被写体の被写体画像に対応する情報（箇所）に、「照合あり」の情報、照合を行った完了時間などの履歴情報を付与することで、追跡情報５００を更新する（Ｓ２０８）。

次に、被写体照合装置１は、被写体選択部３０で追跡情報５００を検索し、まだ照合されていない被写体（未照合な被写体）があるか否かを判断する（Ｓ２１０）。被写体照合装置１は、未照合な被写体がある場合にはステップＳ２０４に戻り、ステップＳ２０４からステップＳ２０８を、再度、実行することで被写体を照合し、「照合あり」の情報、照合を行った完了時間などの履歴情報を付与することで、追跡情報５００を更新する。一方、被写体照合装置１は、まだ照合されていない被写体がない場合には、ステップＳ２００に戻る。

このように、被写体照合装置１は、被写体選択部３０で選択された被写体の被写体画像を照合部４０で照合することで、撮影範囲に存在する被写体の数が多くなっても、照合時間が被写体の数に比例して増加するのを抑えることができる。

また、図１に示すように追跡処理部２０で追跡処理した追跡結果を追跡情報５００として追跡情報記憶部２３に記憶し、この記憶された追跡情報５００に基づいて、被写体選択部３０および照合部４０で照合処理を行うようにしたため、追跡処理と照合処理とを別々の処理装置（図示せず）で処理できる。また、１つの装置に、配分制御部（図示せず）を設け、追跡処理と照合処理との負荷配分を行い、処理を行うこともできる。

次に、被写体の選択方法について図５を用いて詳細に説明する。図５は、本発明の実施の形態１における被写体照合装置１の被写体の選択方法を説明するための説明図である。ここで、所定の条件として、照合回数の少ない被写体を優先した場合について説明する。なお、照合回数が同じ場合には、過去において、照合を行った時間の古い被写体を優先するものとする。

追跡情報５００（図３）に基づき、カメラ１０で撮影された被写体が、所定の時間ごとに照合処理される様子を示した一例を図５に示す。

図５に示すように、カメラ１０の撮影範囲１００の中で、時間Ｔ０から時間Ｔ４の間で検出された被写体は、被写体２００、被写体２０１、被写体２０２である。被写体２００は動線４００のように移動し、同様に、被写体２０１は動線４０１、被写体２０２は動線４０２のように移動したものとする。以下、時系列ごとに、その照合処理の動作を説明する。

時間Ｔ０の時点では、カメラ１０の撮影範囲１００の中には、被写体２００が映っている。被写体追跡部２２は、被写体検出部２１で検出された領域３００から、被写体２００の被写体画像および位置情報を検出し、その検出した情報を追跡情報５００に記録する。

これにより、被写体選択部３０は、Ｔ０時点での追跡情報５００に基づいて、被写体２００の被写体画像を選択する。すなわち、領域３００から検出された被写体画像を選択する。

照合部４０は、領域３００から検出した被写体画像から照合情報を作成し、照合情報と登録照合情報とを比較照合し、照合結果を出力する。また、照合部４０は、追跡情報記憶部２３に記憶されている追跡情報５００の被写体２００の情報領域に、「照合あり」の照合情報を付与する。

次に、時間Ｔ１の時点では、カメラ１０の撮影範囲１００の中には、被写体２００、被写体２０１が映っている。被写体追跡部２２は、被写体検出部２１で検出された領域３０１から被写体２００の被写体画像および位置情報を、被写体検出部２１で検出された領域３０５から被写体２０１の被写体画像および位置情報を検出し、その検出したそれぞれの情報を追跡情報５００に記録する。

これにより、被写体選択部３０は、時間Ｔ１時点での追跡情報５００に基づいて、照合回数の少ない、被写体２０１の被写体画像を選択する。すなわち、領域３０５から検出された被写体画像を選択する。

照合部４０は、領域３０５から検出された被写体画像から照合情報を作成し、照合情報と登録照合情報とを比較照合し、照合結果を出力する。また、照合部４０は、追跡情報記憶部２３に記憶されている追跡情報５００の被写体２０１の情報領域に、「照合あり」の照合情報を付与する。

次に、時間Ｔ２の時点では、カメラ１０の撮影範囲１００の中には、被写体２００、被写体２０１が映っている。被写体追跡部２２は、被写体検出部２１で検出された領域３０２から被写体２００の被写体画像および位置情報を、被写体検出部２１で検出された領域３０６から被写体２０１の被写体画像および位置情報を検出し、その検出したそれぞれの情報を追跡情報５００に記録する。

これにより、被写体選択部３０は、時間Ｔ２の時点での追跡情報５００に基づいて、照合回数の少なく、かつ、過去にいて、照合を行った時間の古い被写体２００の被写体画像を選択する。すなわち、領域３０２から検出された被写体画像を選択する。

照合部４０は、領域３０２から検出された被写体画像から照合情報を作成し、照合情報と登録照合情報とを比較照合し、照合結果を出力する。また、照合部４０は、追跡情報記憶部２３に記憶されている追跡情報５００の被写体２００の情報領域に、「照合あり」の照合情報を付与する。

次に、時間Ｔ３の時点では、カメラ１０の撮影範囲１００の中には、被写体２００、被写体２０１、被写体２０２が映っている。被写体追跡部２２は、被写体検出部２１で検出された領域３０３から被写体２００の被写体画像および位置情報を検出し、被写体検出部２１で検出された領域３０７から被写体２０１の被写体画像および位置情報を検出し、被写体検出部２１で検出された領域３０９から被写体２０２の被写体画像および位置情報を検出し、その検出したそれぞれの情報を追跡情報５００に記録する。

これにより、被写体選択部３０は、時間Ｔ３の時点での追跡情報５００に基づいて、照合回数の少ない、被写体２０２の被写体画像を選択する。すなわち、領域３０９から検出された被写体画像を選択する。

照合部４０は、領域３０９から検出された被写体画像から照合情報を作成し、照合情報と登録照合情報とを比較照合し、照合結果を出力する。また、照合部４０は、追跡情報記憶部２３に記憶されている追跡情報５００の被写体２０２の情報領域に、「照合あり」の照合情報を付与する。

次に、時間Ｔ４の時点では、カメラ１０の撮影範囲１００の中には、被写体２００、被写体２０１、被写体２０２が映っている。被写体追跡部２２は、被写体検出部２１で検出された領域３０４から被写体２００の被写体画像および位置情報を検出し、被写体検出部２１で検出された領域３０８から被写体２０１の被写体画像および位置情報を検出し、被写体検出部２１で検出された領域３１０から被写体２０２の被写体画像および位置情報を検出し、その検出したそれぞれの情報を追跡情報５００に記録する。

これにより、被写体選択部３０は、時間Ｔ４の時点での追跡情報５００に基づいて、照合回数の少なく、かつ、過去において、照合を行った時間の古い被写体２０１の被写体画像を選択する。すなわち、領域３０８から検出された被写体画像を選択する。

照合部４０は、領域３０８から検出された被写体画像から照合情報を作成し、照合情報と登録照合情報とを比較照合し、照合結果を出力する。また、照合部４０は、追跡情報記憶部２３に記憶されている追跡情報５００の被写体２０１の情報領域に、「照合あり」の照合情報を付与する。

以上のように、被写体選択部３０は、所定の条件に従って、照合を行う被写体の被写体画像を選択することができる。

以上のように、本発明の実施の形態１によれば、被写体照合装置１は、撮影範囲１００内に存在する複数の被写体の中から照合を行う被写体を選択するようにしたことで、被写体の数が多くなっても、照合時間を抑えることが可能となる。この、撮影環境により処理時間の変動が大きい照合処理の時間を抑えることで、撮影範囲１００内に存在する複数の被写体の追跡処理と照合処理とを、所定の時間内で、確実に行うことが可能となる。

また、追跡処理部２０で追跡処理した追跡結果を追跡情報５００として追跡情報記憶部２３に記憶し、この追跡情報記憶部２３に記憶された追跡情報５００に基づいて、被写体選択部３０および照合部４０で照合処理を行うようにしたため、追跡処理と照合処理とを別々の処理装置で処理することも、１つの装置内で追跡処理と照合処理とで装置能力を配分させることもできる。また、１つの装置内で、追跡処理と照合処理とを処理するための装置能力を配分する場合には、照合部４０で照合を行う被写体の数に応じて、配分比を制御することができる。これにより、被写体の追跡漏れを防止し、かつ、照合を行うことができる。

さらに、この照合結果より被写体が予め登録されたものである場合に、報知部６０により、装置の使用者に警報や照合結果の表示を行うことができ、特定の被写体を容易に発見することができる。

（実施の形態２）
本発明の実施の形態２では、装置の使用者からの入力により、被写体を選択する選択条件を変更し、照合を行うことが可能な被写体照合装置について説明する。

使用者が入力する第１の入力として、即時性を優先する入力がある。即時性を優先するとは、たとえば、被写体照合装置において、主に、被写体を表示装置などに表示し、照合結果を即座に知ることを重視することである。

この第１の入力が行われた場合には、装置として、過去の検出結果を処理する重要性がほとんどなく、検出結果の中で、最新の画像を照合し、その結果を表示する。これにより、過去の被写体の検出結果を表示しないため、混乱を防ぐことができる。

また、別な第２の入力として、即時性と照合精度とを優先する入力がある。即時性と照合精度とを優先するとは、たとえば、照合結果の表示も重視するが、照合結果の蓄積、記録も重視することである。

この第２の入力が行われた場合には、装置として、最新の被写体の検出結果を優先的に照合しながら、最新の被写体の検出結果がない場合、過去の追跡結果に戻って、未照合の被写体に対して照合を行うようにする。

また、別な第３の入力として、照合精度を優先する入力がある。照合精度を優先するとは、たとえば、照合結果をリアルタイムに反映するよりも、蓄積内容を重視し、照合精度を重視することである。

この第３の入力が行われた場合には、装置として、人物の通過を待って照合処理を実行する。これによって、顔が大きく映っている順や、顔の向きが正面に近い順など、撮影条件のよい画像から順番に被写体画像を選択して照合を行うことができ、最もよい照合結果を得ることが可能となる。

以下、図６を用いて、本発明の実施の形態２における被写体照合装置について説明する。図６は、本発明の実施の形態２における被写体照合装置２の構成を示すブロック図である。なお、実施の形態１と同様の部分については、同一符号を付し、その詳細な説明は省略する。ここで、本発明の実施の形態２における被写体照合装置２の人物追跡処理は、本発明の実施の形態１における被写体照合装置１の人物追跡処理（図２）と同じ処理とする。

本発明の実施の形態２の被写体照合装置２において、本発明の実施の形態１の被写体照合装置１と異なる点は、照合時に被写体を選択する選択条件を変更するための入力部７０をさらに設けた点である。

装置の使用者は、入力部７０から、照合時の優先度に応じて入力を行う。入力部７０は、上述した、第１の入力を行うための第１のボタン（図示せず）、第２の入力を行うための第２のボタン（図示せず）、第３の入力を行うための第３のボタン（図示せず）を備えている。被写体照合装置２は、使用者によって押されたボタンに応じて、被写体を選択するための選択条件を決定し、被写体選択部３０、照合部４０に出力する。

被写体選択部３０、照合部４０は、後述するように、照合時に、選択条件に応じて、その照合処理の動作を変更する。

まず、図７を用いて、被写体照合装置２の照合処理の全体の動作を説明する。図７は、本発明の実施の形態２における被写体照合装置２の照合処理の全体の動作を説明するためのフローチャートである。

図７において、被写体照合装置２は、入力部７０からの入力に応じた、選択条件を決定し（Ｓ３００）、決定された選択条件に対応する照合処理を実行する。

まず、被写体照合装置２は、入力部７０で第１のボタンが押された場合には、照合結果の即時性を優先する入力と判断し（Ｓ３０２）、照合処理Ａを実施する（Ｓ３０４）。一方、第１のボタンが押されていない場合には、次のステップＳ３０８に進む。

照合処理Ａでは、後述するように、検出された被写体画像の中で、最新の被写体の被写体画像を優先的に選択し、照合を行う。

次に、被写体照合装置２は、入力部７０で第２のボタンが押された場合には、照合結果の即時性および照合精度を優先する入力と判断し（Ｓ３０８）、照合処理Ｂを実施する（Ｓ３１０）。一方、第２のボタンが押されていない場合には、次のステップＳ３１２に進む。

照合処理Ｂでは、後述するように、カメラ１０で撮影して得た最新の被写体の被写体画像を優先的に照合する。もし、最新の被写体の被写体画像がない場合には、過去の追跡結果に戻って、未照合の被写体の被写体画像を検索し、照合を行う。

次に、被写体照合装置２は、入力部７０で第３のボタンが押された場合には、照合精度を優先する入力と判断し（Ｓ３１２）、照合処理Ｃを実施する（Ｓ３１４）。一方、第３のボタンが押されていない場合には、次のステップＳ３１６に進む。

照合処理Ｃでは、後述するように、被写体の通過を待って照合処理を実行する。被写体が通過した後で、同一の被写体の画像情報の中で、被写体が大きく映っている順や、被写体の顔の向きが正面に近い順に、指定された数の被写体画像を順番に選択し、照合を行う。これにより、被写体照合装置２は、最も精度のよい照合結果を得ることができる。

次に、被写体照合装置２は、入力部７０で別なボタンが押され、優先度の入力変更がないかどうかを判断する（Ｓ３１６）。被写体照合装置２は、別なボタンが押された場合には、ステップＳ３００に戻り、入力部７０で押されているボタンを検出する。一方、被写体照合装置２は、別なボタンが押されていない場合には、ステップＳ３０２に戻り、引き続き、優先度を決定するための入力ボタンに応じた選択条件を決定し、選択条件に対応する照合処理を実行する。

以下、照合処理Ａ、照合処理Ｂおよび照合処理Ｃの動作について詳細に説明する。

図８を用いて、照合処理Ａの動作について説明する。図８は、本発明の実施の形態２の被写体照合装置２における照合処理Ａの動作を説明するためのフローチャートである。

照合処理Ａにおいて、図８に示すように、被写体照合装置２は、被写体選択部３０により、追跡情報記憶部２３から追跡情報５００を取得し（Ｓ４００）、新しい被写体画像の検出の有無を判断する（Ｓ４０２）。

新しい被写体画像の検出がない場合には、処理を終了する。一方、新しい被写体画像の検出がある場合には、被写体照合装置２は、被写体選択部３０により追跡情報５００を検索し、まだ、照合していない未照合の被写体があるか否かを判断する（Ｓ４０４）。

被写体照合装置２は、未照合の被写体がない場合には、被写体選択部３０により、追跡情報５００を検索し、最後に照合を行った時点から最も時間が経過している被写体の最新の被写体画像を選択する（Ｓ４０８）。一方、被写体照合装置２は、未照合の被写体がある場合には、被写体選択部３０により、追跡情報５００を検索し、未照合の被写体の最新の被写体画像を選択する（Ｓ４０６）。

次に、被写体照合装置２は、照合部４０により、被写体選択部３０で選択された被写体画像に対して照合処理を実行する（Ｓ４１０）。被写体照合装置２は、照合部４０により、照合処理が完了した時点で、追跡情報５００の中で、対応する被写体の情報領域に対して、「照合あり」の情報を付加し、追跡情報５００を更新する（Ｓ４１２）。

このように、照合処理Ａでは、最新の被写体画像の検出結果に対して照合を行うことで、即時性をもたせることができる。

次に、図９を用いて、照合処理Ｂの動作について説明する。図９は、本発明の実施の形態２の被写体照合装置２における照合処理Ｂの動作を説明するためのフローチャートである。

照合処理Ｂにおいて、図９に示すように、被写体照合装置２は、被写体選択部３０により、追跡情報記憶部２３から追跡情報５００を取得し（Ｓ５００）、新しい被写体画像の検出の有無を判断する（Ｓ５０２）。

被写体照合装置２は、ステップＳ５０２において、新しい被写体画像の検出がない場合には、ステップＳ５０６に進む。一方、被写体照合装置２は、ステップＳ５０２において、新しい被写体画像の検出がある場合には、被写体選択部３０により、追跡情報５００を検索し、まだ、未照合の被写体があるか否かを判断する（Ｓ５０４）。

被写体照合装置２は、ステップＳ５０４において、未照合の被写体がない場合には、被写体選択部３０により、追跡情報５００を検索し、最後に照合を行った時間が最も古い（時間が最も経過している）被写体の最新の被写体画像を選択し（Ｓ５１０）、ステップＳ５１４に進む。一方、被写体照合装置２は、ステップＳ５０４において、未照合の被写体がある場合には、被写体選択部３０により、追跡情報５００を検索し、未照合の被写体の最新の被写体画像を選択し（Ｓ５０８）、ステップ５１４に進む。

ステップＳ５０６において、被写体照合装置２は、被写体選択部３０により、追跡情報５００を検索し、まだ未照合の追跡情報があるか否かを判断する。被写体照合装置２は、未照合の追跡情報がある場合には、被写体選択部３０により追跡情報５００を検索し、最後に照合を行った時間が最も古い被写体の被写体画像を選択し（Ｓ５１２）、ステップＳ５１４に進む。一方、被写体照合装置２は、ステップＳ５０６において、未照合の追跡情報がない場合には、処理を終了する。

次に、被写体照合装置２は、照合部４０により、被写体選択部３０で選択された被写体画像に対して照合処理を実行し（Ｓ５１４）、照合処理が完了した時点で、追跡情報５００の中で、対応する被写体の情報領域に対して、「照合あり」の情報を付加し、追跡情報５００を更新する（Ｓ５１６）。

このように、照合処理Ｂでは、最新の被写体の被写体画像を優先的に照合するが、もし、最新の被写体の被写体画像がない場合には、過去の追跡結果に戻って、未照合の被写体の被写体画像を検索し、照合を行う。

これにより、照合処理Ｂでは、最新の被写体画像の検出が撮影情報から得られない場合に、過去のデータに遡って照合ができ、ある程度の即時性をもたせつつ、照合結果の精度を優先させることができる。

次に、図１０を用いて、照合処理Ｃの動作について説明する。図１０は、本発明の実施の形態２の被写体照合装置２における照合処理Ｃの動作を説明するためのフローチャートである。

照合処理Ｃにおいて、図１０に示すように、被写体照合装置２は、被写体選択部３０により、追跡情報記憶部２３から追跡情報５００を取得し（Ｓ６００）、追跡処理が完了した被写体の有無を判断する（Ｓ６０２）。被写体照合装置２は、撮影範囲１００の外に被写体が消えた時点で、追跡処理を完了し、完了情報を追跡情報５００に付与する。この完了情報を検出することで、被写体照合装置２は、追跡処理が完了しているか否かを判断できる。なお、被写体照合装置２は、撮影範囲１００内に存在し、所定の時間が経過した被写体に対しても、完了情報を付与し、照合を行うようにしてもよい。これにより、被写体が何かの都合により停止した場合であっても、照合を行うことができる。

次に、被写体照合装置２は、ステップ６０２において、追跡処理を完了した被写体がない場合は、処理を終了する。

一方、被写体照合装置２は、追跡処理を完了した被写体がある場合は、被写体選択部３０により、追跡情報５００を検索し、追跡中に検出された被写体画像の中から、所定の条件に従った順番に、被写体画像を指定の数だけ選択する（Ｓ６０４）。

ここで、所定の条件の順番とは、大きく映っている被写体（顔）の順や、被写体（顔）の向きが正面に近い順など、撮影条件がよい画像の順番である。

具体的には、図１１を用いて、撮影範囲１００内で追跡された被写体２００を実施例として説明する。図１１は、本発明の実施の形態２における被写体２００の追跡結果を説明するための説明図である。

図１１に示すように、被写体照合装置２は、被写体選択部３０により、追跡情報５００を検索することで、被写体２００の動線４００を検出する。ここで、被写体照合装置２は、領域３０４で被写体２００を検出した時点から所定の時間が経過しているため、追跡情報５００に対して完了情報を付与し、照合を行うものとする。

被写体照合装置２は、被写体選択部３０により、追跡情報５００を検索し、領域３００、領域３０２、領域３０４の位置（座標）で、それぞれ被写体画像の大きさを検出する。ここで、たとえば、指定の数が「２」であり、所定の条件が「被写体画像（顔）の大きい順番」となっている場合には、領域３００から検出される１番に大きい被写体画像を選択し、次に、領域３０２から検出された２番目に大きい被写体画像を選択する。

他の実施例として、指定の数が「１」であり、所定の条件が「被写体（顔）の向きが正面に近い順番」とした場合について説明する。

図１１に示すように、被写体照合装置２は、被写体選択部３０により、領域３００では、やや左を向いている被写体２００が検出される。同様に、領域３０２からは正面の向いている被写体２００が検出され、領域３０４からは右を向いた被写体２００が検出される。この検出結果から、被写体選択部３０は、領域３０２から検出される被写体２００、すなわち、正面を向いている被写体２００の被写体画像を選択する。

なお、他の所定の条件として、照合部４０が照合しやすい輝度分布をもつ順や、画像の鮮鋭度が高い順としてもよい。

次に、被写体照合装置２は、照合部４０により、被写体選択部３０で選択された被写体画像について、すべてを照合し（Ｓ６０６）、スコアの最も高い照合結果を採用する（Ｓ６０８）。

次に、被写体照合装置２は、照合部４０により、照合処理が完了した時点で、追跡情報５００の中で、対応する被写体の情報領域に対して、「照合あり」の情報を付加し、追跡情報５００を更新する（Ｓ６１０）。

これにより、照合処理Ｃでは、即時性はあまりないが、複数の照合結果をからスコアの高いものを選択することができるので、照合精度を高めることができる。

以上のように、本発明の実施の形態２によれば、被写体照合装置２は、入力部７０からの入力に応じて、選択条件を決定し、選択条件に対応する照合処理を実行することができる。これにより、被写体照合装置２は、即時性および照合精度の優先度に応じて、照合処理を変更することができる。なお、使用者による入力としたが、ソフトウェアからの指示によって照合処理を変更してもよい。

なお、本発明の実施の形態１の被写体照合装置１、本発明の実施の形態２の被写体照合装置２は、追跡結果に基づいて照合する被写体を選択可能であるため、ネットワークを用いて、被写体の追跡処理機能を有する撮影装置と接続し、撮影装置から追跡情報に基づいて、必要な被写体を選択し、選択した被写体の被写体画像を撮影装置より取得するようにしてもよい。これにより、撮影装置と被写体照合装置との間で、送受信するデータ量を少なくすることができ、ネットワーク上の、互いに異なる位置に設置した撮影装置と被写体照合装置とを接続しても、効率よく、多くの被写体の照合を行うことができる。

たとえば、図１２を用いて、ネットワーク６００に、互いに異なる位置に設置された複数の撮影装置４と、撮影装置４からの追跡情報により被写体を照合する被写体照合装置３とを接続した場合について説明する。図１２は、本発明の実施の形態における被写体照合装置の他の変形例の構成を示すブロック図である。ここで、実施の形態１と同様の部分については、同一符号を付し、その詳細な説明は省略する。

図１２に示すように、撮影装置４は、複数の被写体を連続して撮影するカメラ１０と、撮影して得た複数の被写体それぞれの被写体画像の動きから複数の被写体それぞれを追跡し、追跡履歴情報と被写体画像情報とを追跡情報５００として内部に記憶している追跡処理部２０と、ネットワーク６００上に接続された被写体照合装置３と情報を送受信するためのインターフェース部（ＩＦ部）２５とを備えている。

撮影装置４は、被写体照合装置３から、データの取得要求があった場合に、追跡情報５００の中から被写体画像情報を除いた追跡履歴情報を最初に送信する。次に、撮影装置４は、さらに、被写体画像の取得要求があった場合に、要求のあった被写体の被写体画像を追跡情報５００の中から選択し、被写体照合装置３に送信する。

被写体照合装置３は、ネットワーク６００を経由して接続される撮影装置４からの情報を送受信するための送受信部８０と、撮影装置４から送信された追跡履歴情報を記憶する受信情報記憶部８２と、受信情報記憶に記憶された追跡履歴情報に基づいて、複数の被写体の中から照合する被写体を選択する被写体選択部３０と、選択された被写体に対応する被写体画像情報を撮影装置４から取得するための画像伝送制御部８１と、登録者の登録照合情報を記憶している登録者情報記憶部５０と、画像伝送制御部８１で取得された被写体画像情報から照合情報を作成し、照合情報と登録者情報とを比較照合する照合部４０と、照合結果が一致したときに、装置の使用者に知らせる報知部６０とを備えている。

被写体照合装置３は、まず、撮影装置４に対して、追跡情報５００の中から被写体画像情報を除いた追跡履歴情報を先に取得し、次に、被写体選択部３０で選択された被写体に対応する被写体画像情報を取得する。

被写体照合装置３は、照合部４０で、取得した被写体画像から照合情報を作成し、照合情報と登録照合情報とを照合し、被写体が登録されているものか否かを照合する。被写体照合装置３は、照合結果が一致した場合には、報知部６０で、アラームによる警告、表示装置による照合結果の表示などにより、装置の使用者に報知する。

これにより、被写体照合装置３は、撮影装置４から取得した追跡履歴情報から、照合する被写体を選択し、選択された被写体に対応する被写体画像情報のみ撮影装置４から取得すればよく、対象となる被写体の数が多くなった場合であっても、撮影装置４から取得するデータ量を抑えることができる。このように、撮影装置４から取得するデータ量を抑えることで、建物、施設、敷地などの構内、街頭などに撮影装置４を設置し、ネットワーク６００を利用して、被写体情報を取得して照合を行う場合であっても、より多くの被写体を照合することができる。なお、ネットワーク６００は、ローカルな領域を接続するローカルエリアネットワーク（ＬＡＮ）でもよいし、電話網、通信網を利用する広域ネットワークでもよい。また、被写体照合装置３と撮影装置４が近接して設置された場合には、被写体照合装置３と撮影装置４とをケーブルにより直接に接続するようにしてもよい。

なお、本発明の実施の形態における被写体検出処理機能、被写体選択処理機能、追跡処理機能、照合処理機能などは、集積回路などを用いたハードウェアにより実施してもよいし、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）などを用いて実行させるソフトウェアにより実施してもよい。

本発明による被写体照合装置および被写体照合方法によれば、移動する複数の被写体を撮影して照合でき、特に、撮影する被写体の数が多い場合であっても、安価な装置で、被写体の照合ができる被写体照合装置および被写体照合方法などとして有用である。

本発明の実施の形態１における被写体照合装置の構成を示すブロック図 同被写体照合装置の追跡処理の動作を説明するためのフローチャート 同被写体照合装置における追跡情報を説明するための説明図 同被写体照合装置の照合処理の動作を説明するためのフローチャート 同被写体照合装置の被写体の選択方法を説明するための説明図 本発明の実施の形態２における被写体照合装置の構成を示すブロック図 同被写体照合装置の全体の動作を説明するためのフローチャート 同被写体照合装置における照合処理Ａの動作を説明するためのフローチャート 同被写体照合装置における照合処理Ｂの動作を説明するためのフローチャート 同被写体照合装置における照合処理Ｃの動作を説明するためのフローチャート 同被写体の追跡結果を説明するための説明図 本発明の実施の形態における被写体照合装置の他の変形例の構成を示すブロック図

符号の説明

１，２，３ 被写体照合装置
４ 撮影装置
１０ カメラ
２０ 追跡処理部
２１ 被写体検出部
２２ 被写体追跡部
２３ 追跡情報記憶部
２５ インターフェース部（ＩＦ部）
３０ 被写体選択部
４０ 照合部
５０ 登録者情報記憶部
６０ 報知部
７０ 入力部
８０ 送受信部
８１ 画像伝送制御部
８２ 受信情報記憶部
１００ 撮影範囲
２００，２０１，２０２ 被写体
４００ 動線
５００ 追跡情報
６００ ネットワーク

Claims (18)

1. 複数の被写体を連続して撮影する撮影部と、
   前記撮影部により撮影して得た複数の画像情報それぞれから前記複数の被写体それぞれの被写体画像を検出する被写体検出部と、
   前記複数の被写体それぞれに対応する前記被写体画像の動きに基づいて前記複数の被写体それぞれを追跡し、前記複数の被写体それぞれの追跡情報を作成する被写体追跡部と、
   前記複数の被写体それぞれの前記追跡情報を記憶する追跡情報記憶部と、
   前記追跡情報記憶部に記憶された前記追跡情報に基づいて、前記複数の被写体の中から、照合を行う被写体を選択する被写体選択部と、
   前記被写体選択部で選択された前記被写体を照合する照合部と、
   を備えたことを特徴とする被写体照合装置。
2. 前記被写体追跡部は、前記追跡情報に、前記複数の被写体の情報を、時系列に記録することを特徴とする請求項１に記載の被写体照合装置。
3. 前記照合部は、前記追跡情報に、前記複数の被写体それぞれの照合の有無を記録することを特徴とする請求項２に記載の被写体照合装置。
4. 前記被写体選択部は、前記複数の被写体の中で、照合回数の少ない被写体を優先して選択することを特徴とする請求項３に記載の被写体照合装置。
5. 前記被写体選択部は、前記複数の被写体の中で、未照合の被写体を優先して選択することを特徴とする請求項３に記載の被写体照合装置。
6. 前記被写体選択部は、前記複数の被写体の中で、未照合の被写体がないときに、最後に照合した時点から最も時間が経過している被写体を優先して選択することを特徴とする請求項３に記載の被写体照合装置。
7. 前記被写体選択部は、同一の被写体に対して、前記被写体画像の領域の大きさが大きいものから順に選択することを特徴とする請求項２に記載の被写体照合装置。
8. 前記被写体は、人物の顔であり、
   前記被写体選択部は、同一の被写体に対して、顔の向きが正面方向に近いものから順に選択することを特徴とする請求項２に記載の被写体照合装置。
9. 前記被写体選択部における選択条件を切り換えるための入力を行う入力部をさらに備えたことを特徴とする請求項１から請求項８までのいずれか１項に記載の被写体照合装置。
10. 複数の被写体を連続して撮影し、撮影して得た前記複数の被写体それぞれの被写体画像の動きから前記複数の被写体それぞれの追跡履歴情報と被写体画像情報とを保持している撮影装置と接続される被写体照合装置であって、
    前記撮影装置から前記追跡履歴情報を受信する受信部と、
    前記追跡履歴情報を記憶する受信情報記憶部と、
    前記受信情報記憶部に記憶された前記追跡履歴情報に基づいて、前記複数の被写体の中から、照合する被写体を選択する被写体選択部と、
    選択された前記被写体に対応する前記被写体画像を前記撮影装置から取得する画像伝送制御部と、
    前記画像伝送制御部で取得された前記被写体画像を照合する照合部と、
    を備えたことを特徴とする被写体照合装置。
11. 被写体を撮影する撮影部と、前記被写体を追跡して得た追跡情報を記憶する追跡情報記憶部とを有した被写体照合装置を用いて被写体を照合する被写体照合方法であって、
    前記撮影部を用いて複数の被写体を連続して撮影する撮影ステップと、
    前記撮影部により撮影して得た複数の画像情報それぞれから前記複数の被写体それぞれの被写体画像を検出する被写体検出ステップと、
    前記複数の被写体それぞれに対応する前記被写体画像の動きに基づいて前記複数の被写体それぞれを追跡し、前記複数の被写体それぞれの前記追跡情報を作成する被写体追跡ステップと、
    前記複数の被写体それぞれの前記追跡情報を前記追跡情報記憶部に記憶する記憶ステップと、
    前記追跡情報記憶部に記憶された前記追跡情報に基づいて、前記複数の被写体の中から、照合を行う被写体を選択する被写体選択ステップと、
    前記被写体選択ステップで、選択された前記被写体を照合する照合ステップと、
    を備えたことを特徴とする被写体照合方法。
12. 前記被写体追跡ステップで、前記追跡情報に、前記複数の被写体の情報を、時系列に記録することを特徴とする請求項１１に記載の被写体照合方法。
13. 前記照合ステップで、前記追跡情報に、前記複数の被写体それぞれの照合の有無を記録することを特徴とする請求項１２に記載の被写体照合方法。
14. 前記被写体選択ステップで、前記複数の被写体の中で、照合回数の少ない被写体を優先して選択することを特徴とする請求項１３に記載の被写体照合方法。
15. 前記被写体選択ステップで、前記複数の被写体の中で、未照合の被写体を優先して選択することを特徴とする請求項１３に記載の被写体照合方法。
16. 前記被写体選択ステップで、前記複数の被写体の中で、未照合の被写体がないときに、最後の照合が最も古い被写体を優先して選択することを特徴とする請求項１３に記載の被写体照合方法。
17. 前記被写体選択ステップで、同一の被写体に対して、前記被写体画像の領域の大きさが大きいものから順に選択することを特徴とする請求項１２に記載の被写体照合方法。
18. 前記被写体は、人物の顔であり、
    前記被写体選択ステップで、同一の被写体に対して、顔の向きが正面方向に近いものから順に選択することを特徴とする請求項１２に記載の被写体照合方法。

Images