JP2011242873A - 登録装置、登録方法及びコンピュータプログラム - Google Patents

Abstract

【課題】識別用画像として精度良く新たな画像を登録する。
【解決手段】ある時刻の画像から追跡対象物の画像を検出し、後続の時刻の画像から同一追跡対象物の画像を検出して追跡し、追跡中対象物の画像を同一物毎に対応付けて記憶する追跡データ記憶部と、既知の追跡対象物の識別用画像を記憶する識別用画像記憶部とを備え、追跡中対象物の画像と識別用画像との類似度を算出し、類似度が第一閾値以上である場合に同一追跡対象物と判定し、撮像された画像毎に所定の追跡対象物の検出結果に応じ、各追跡中対象物の画像に対し第一閾値より低い第二閾値を設定し、既知の追跡対象物と同一と判定された追跡中対象物に対応付け追跡データ記憶部に記憶されている各画像について、既知の追跡対象物の識別用画像との類似度が第二閾値以上か否か判定し、類似度が第二閾値以上である各画像を、当該追跡対象物の新たな識別用画像として登録する。
【選択図】図１

Description

本発明は、検出対象となる物体の画像の登録を行うための技術に関する。

従来から、顔画像データベースを用いることによって、任意の画像中に含まれる人物の顔を認識する技術が提案されている。一般的に、顔画像データベースには、人物毎に複数の顔画像が対応付けて登録されている。このような顔画像データベースを用いることによって、任意の画像において検出された顔の中から、顔画像データベースに登録された特定の人物の顔を識別することが可能となる。また、同一人物について複数の顔画像が顔画像データベースに登録されていることにより、顔の向きや照明などの変化に対するロバスト性を向上させることが実現されている。

このような顔画像データベースは、従来は人為的に登録すべき顔画像を抽出し、一つ一つ誰の顔であるか人間が判断して登録していくことによって作成されていた。しかしながら、このように人手によって顔画像データベースを作成しようとすると、沢山の人の顔画像を登録することは困難であった。そのため、人手を介することなく自動的に顔画像データベースを構築することが望まれている。

このような要望に対し、撮像された画像の中から人の顔を検出し、検出された顔の画像を顔画像データベースに追加していく技術が提案されている（特許文献１参照）。具体的には、顔分類器がビデオ入力中に検出されたある顔画像について、既知の顔に対応するかどうかの判定を行う。そして、未知の検出された顔が一つまたは複数の持続性基準または顕著性基準を満たすときには、その未知の検出された顔を顔分類器に追加する。上記のような技術では、画像の中から検出された顔（以下、「検出顔」という。）が既知の顔（顔画像データベースに登録されている顔。以下、「既知顔」という。）であるか否かを以下のように判定している。まず検出顔と既知顔との類似度を、所定の基準に基づいて算出する。そして、算出された類似度が所定の閾値を超えているか否かに基づいて、検出顔が既知顔であるか否かを判定していた。そして、検出顔と既知顔とが異なる人物の顔である場合には、検出顔を新たな既知顔として顔画像データベースに登録していた。また、検出顔と既知顔とが同一人物の顔である場合には、検出顔を既知顔の新たなバリエーションとして顔画像データベースに登録していた。

特開２００２−１５７５９６号公報

しかしながら、類似度の閾値の設定によっては、誤った登録がなされてしまうという問題があった。すなわち、閾値が低く設定されている場合には、実際には既知顔と異なる検出顔を誤って既知顔と同一人物の顔であると判定してしまい、異なる人物の顔が同一人物の顔として顔画像データベースに登録されてしまうという問題があった。一方で、閾値が高く設定されている場合には、実際には既知顔と同一人物の検出顔を誤って既知顔と異なる人物の顔であると判定してしまい、同一人物の顔が異なる人物の顔として顔データベースに登録されてしまうという問題があった。また、このような問題は、人物の顔に限られた問題ではなく、画像に基づいて特定の人や動物や物を識別する処理に用いられるデータベースに共通する問題である。

上記事情に鑑み、本発明は、識別に用いられる画像のデータベースに対して精度良く新たな画像を登録することを可能とする技術の提供を目的としている。

本発明の一態様は、登録装置（例えば、実施形態における登録装置２０）であって、ある時刻に撮像された画像の中から所定の追跡対象物の画像を検出し、後続の時刻に撮像された画像において同一の追跡対象物の画像を検出して追跡中対象物として追跡する追跡部（例えば、実施形態におけるトラッキング部２０１）と、前記追跡部によって追跡されている追跡中対象物の画像を、同一の追跡中対象物毎に対応付けて記憶する追跡データ記憶部（例えば、実施形態における追跡データ記憶部２０３）と、既知の追跡対象物を識別するための識別用画像を記憶している識別用画像記憶部（例えば、実施形態における登録データ記憶部２０４）と、前記追跡中対象物の画像と前記識別用画像との類似度を算出する類似度算出部（例えば、実施形態における類似度算出部２０５）と、前記類似度が第一閾値（例えば、実施形態における閾値β）を超えている場合に、前記追跡中対象物と、前記識別用画像に対応する既知の追跡対象物とが同一の追跡対象物であると判定する識別部（例えば、実施形態における人物識別部２０６）と、前記撮像された画像毎に、前記所定の追跡対象物の検出結果に応じて、各追跡中対象物の画像に対し、前記第一閾値よりも低い第二閾値を設定する閾値設定部（例えば、実施形態における信頼度判定部２０２）と、前記識別部によって前記既知の追跡対象物と同一であると判定された追跡中対象物に対応付けて前記追跡データ記憶部に記憶されている各画像について、当該既知の追跡対象物の前記識別用画像との類似度が前記第二閾値（例えば、実施形態における閾値δ）を超えているか否か判定し、前記類似度が前記第二閾値を超えている各画像を、当該既知の追跡対象物の新たな識別用画像として前記識別用画像記憶部に登録する登録部（例えば、実施形態における登録部２０７）と、を備える。

本発明の一態様は、上記登録装置であって、前記追跡データ記憶部は、前記追跡中対象物の画像と前記第二閾値とを対応付けて記憶し、前記登録部は、前記追跡データ記憶部に記憶されている各画像について、当該各画像に対応付けて前記追跡データ記憶部に記憶されている前記第二閾値を用いて前記判定を行うことを特徴とする。

本発明の一態様は、上記登録装置であって、前記登録部は、前記識別部によって前記既知の追跡対象物と同一の追跡対象物と判定された追跡中対象物について、当該判定がなされた画像よりも後続の時刻に撮像された画像においては、前記閾値設定部によって設定された前記第二閾値を用いて前記判定を行うことを特徴とする。

本発明の一態様は、上記登録装置であって、前記識別部は、前記識別用画像記憶部に記憶されている各識別用画像との前記類似度が前記第一閾値よりも低い第三閾値（例えば、実施形態における閾値γ）よりも低い場合に、前記追跡中対象物が、前記識別用画像記憶部に識別用画像が記憶されていない新規の追跡対象物であると判定することを特徴とする。

本発明の一態様は、上記登録装置であって、前記登録部は、前記識別部によって新規の追跡対象物であると判定された追跡中対象物の画像を、新規の追跡対象物の識別用画像として前記識別用画像記憶部に新たに登録することを特徴とする。

本発明の一態様は、登録方法であって、既知の追跡対象物を識別するための識別用画像を記憶している識別用画像記憶部と追跡データ記憶部とを備える登録装置が、ある時刻に撮像された画像の中から所定の追跡対象物の画像を検出し、後続の時刻に撮像された画像において同一の追跡対象物の画像を検出して追跡中対象物として追跡する追跡ステップと、前記登録装置が、前記追跡ステップによって追跡されている追跡中対象物の画像を、同一の追跡中対象物毎に対応付けて前記追跡データ記憶部に記憶する追跡データ記憶ステップと、前記登録装置が、前記追跡中対象物の画像と前記識別用画像との類似度を算出する類似度算出ステップと、前記登録装置が、前記類似度が第一閾値を超えている場合に、前記追跡中対象物と、前記識別用画像に対応する既知の追跡対象物とが同一の追跡対象物であると判定する識別ステップと、前記登録装置が、前記撮像された画像毎に、前記所定の追跡対象物の検出結果に応じて、各追跡中対象物の画像に対し、前記第一閾値よりも低い第二閾値を設定する閾値設定ステップと、前記登録装置が、前記識別ステップによって前記既知の追跡対象物と同一であると判定された追跡中対象物に対応付けて前記追跡データ記憶部に記憶されている各画像について、当該既知の追跡対象物の前記識別用画像との類似度が前記第二閾値を超えているか否か判定し、前記類似度が前記第二閾値を超えている各画像を、当該既知の追跡対象物の新たな識別用画像として前記識別用画像記憶部に登録する登録ステップと、を備える。

本発明の一態様は、既知の追跡対象物を識別するための識別用画像を記憶している識別用画像記憶部と追跡データ記憶部とを備えるコンピュータに対し、ある時刻に撮像された画像の中から所定の追跡対象物の画像を検出し、後続の時刻に撮像された画像において同一の追跡対象物の画像を検出して追跡中対象物として追跡する追跡ステップと、前記追跡ステップによって追跡されている追跡中対象物の画像を、同一の追跡中対象物毎に対応付けて前記追跡データ記憶部に記憶する追跡データ記憶ステップと、前記追跡中対象物の画像と前記識別用画像との類似度を算出する類似度算出ステップと、前記類似度が第一閾値を超えている場合に、前記追跡中対象物と、前記識別用画像に対応する既知の追跡対象物とが同一の追跡対象物であると判定する識別ステップと、前記撮像された画像毎に、前記所定の追跡対象物の検出結果に応じて、各追跡中対象物の画像に対し、前記第一閾値よりも低い第二閾値を設定する閾値設定ステップと、前記識別ステップによって前記既知の追跡対象物と同一であると判定された追跡中対象物に対応付けて前記追跡データ記憶部に記憶されている各画像について、当該既知の追跡対象物の前記識別用画像との類似度が前記第二閾値を超えているか否か判定し、前記類似度が前記第二閾値を超えている各画像を、当該既知の追跡対象物の新たな識別用画像として前記識別用画像記憶部に登録する登録ステップと、を実行させるためのコンピュータプログラムである。

本発明では、追跡中対象物が既知の追跡対象物と同一であると判定される前に識別部で用いられる第一閾値と、追跡中対象物が既知の追跡対象物と同一であると判定された後に登録部で用いられる第二閾値とでは、第一閾値の方が第二閾値よりも高い。そのため、異なる追跡対象物の画像を、誤って同一の追跡対象物の画像として識別用画像記憶部に登録してしまうことを抑止できる。また、第一閾値よりも低い類似度の追跡中対象物の画像であっても、第二閾値よりも高ければ識別用画像記憶部に登録される可能性が有る。そのため、より多くの画像を識別用画像として登録することが可能となる。すなわち、識別用画像記憶部に対して精度良く多くの新たな画像を登録することが可能となる。

また、閾値設定部をさらに備えた場合には、追跡対象物の検出結果に応じて動的に第二閾値を設定することにより、追跡データ記憶部に記憶されている各画像について適切な判定を行うことが可能となる。

また、第三閾値を用いた判定を行う構成では、同一の追跡対象物の画像を誤って異なる追跡対象物の画像として識別用画像記憶部に登録してしまうことを抑止できる。したがって、識別用画像記憶部に対して精度良く新たな画像を登録することが可能となる。

登録システムの機能構成を表す概略ブロック図である。 顔間距離とトラッキング信頼度Ｔ及び閾値δとの関係の具体例を表すグラフである。 登録装置の処理の流れを表すフローチャートである。 トラッキング信頼度判定処理の流れを表すフローチャートである。 登録判定処理の流れを表すフローチャートである。 登録処理の流れを表すフローチャートである。 登録装置において用いられる各閾値の概略を表す図である。 登録システムの変形例のシステム構成例を表す図である。

図１は、登録システム１の機能構成を表す概略ブロック図である。登録システム１は、撮像装置１０及び登録装置２０を備える。撮像装置１０は、画像を撮像し、撮像した画像（以下、「撮像画像」という。）のデータを登録装置２０に入力する。登録装置２０は、撮像画像から所定の追跡対象物の画像を検出し、登録すべきか否かを判定する。そして、登録装置２０は、登録すべきと判定した追跡対象物の画像を、自身が備えるデータベース（登録データ記憶部２０４）に登録する。登録データ記憶部２０４は、撮像装置１０又は他の撮像装置によって撮像された画像の中から既知の対象物を識別するために用いられる画像のデータベースである。以下、撮像装置１０及び登録装置２０について詳細に説明する。なお、以下の説明では、所定の追跡対象物を人の顔とした場合の例について説明する。しかしながら、所定の追跡対象物は人の顔に限定される必要はなく、人の胴体であっても良いし、自動車の車体などの移動体であっても良いし、ネコなどの所定の動物であっても良いし、その他どのようなものであっても良い。

撮像装置１０は、撮像素子に入射した光に応じて電気信号を発生し、継続的に撮像画像のデータを繰り返し生成する。撮像装置１０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device Image Sensor）等の半導体素子を用いて構成される撮像素子を備えたカメラである。撮像装置１０によって撮像された各撮像画像は、有線通信又は無線通信により登録装置２０に順に入力される。

登録装置２０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、登録用プログラムを実行する。登録装置２０は、上記の登録用プログラムを実行することによってトラッキング部２０１、信頼度判定部２０２、追跡データ記憶部２０３、登録データ記憶部２０４、類似度算出部２０５、人物識別部２０６、登録部２０７を備える装置として機能する。なお、登録装置２０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。

トラッキング部２０１は、撮像装置１０から入力された撮像画像の中から、所定の追跡対象物として人の顔の画像（以下、「顔画像」という。）を検出し、トラッキングを行う。すなわち、トラッキング部２０１は、ある時刻ｔに撮像された撮像画像（以下、「撮像画像ｔ」という。）の中から人の顔を検出すると、後続の時刻ｔ＋１、ｔ＋２、・・・、ｔ＋ｎに撮像された各撮像画像（以下、それぞれ「撮像画像ｔ＋１」、「撮像画像ｔ＋２」、・・・、「撮像画像ｔ＋ｎ」という。）において、撮像画像ｔにおいて検出された顔と同一人物の顔を追跡する。以下の説明において、トラッキング部２０１によって追跡の対象とされている顔を、「追跡中対象物」という。トラッキング部２０１は、一つの撮像画像の中から複数の顔が検出された場合には、各顔を一意に識別するための識別情報（以下「トラッキングＩＤ」という。）を付与し、トラッキングＩＤ毎に追跡を行う。

トラッキング部２０１が行うトラッキング処理には、既存のどのような技術が適用されても良い。例えば、トラッキング部２０１は、撮像画像ｔにおいて検出された各顔画像と撮像画像ｔ＋１において検出された各顔画像との画像平面上での移動量や大きさの変化が所定の閾値以内である場合に、両顔画像が同一人物の顔画像であると判定してトラッキングするように構成されても良い。また、トラッキング部２０１は、撮像画像ｔにおいて検出された各顔画像と撮像画像ｔ＋１において検出された各顔画像との特徴量の差が所定の閾値以内である場合に、両顔画像が同一人物の顔画像であると判定してトラッキングするように構成されても良い。また、撮像装置１０の視線方向や視点位置などが移動する場合には、以下のようにトラッキング部２０１が構成されても良い。すなわち、トラッキング部２０１は、時刻ｔと時刻ｔ＋１との間における撮像装置１０の視線方向や視点位置の変化と、撮像画像ｔにおいて検出された各顔画像と撮像画像ｔ＋１において検出された各顔画像との画像平面上での移動量や大きさの変化とに基づいて、実空間での各顔の移動量を推定する。そして、推定移動量が閾値以内である場合に、トラッキング部２０１は、両顔画像が同一人物の顔画像であると判定してトラッキングするように構成されても良い。

信頼度判定部２０２は、トラッキング部２０１によって追跡中対象物とされている各顔に対し、入力された撮像画像毎に信頼度判定処理を行う。信頼度判定処理において、信頼度判定部２０２は、トラッキング部２０１によるトラッキングが成功している可能性を表すトラッキング信頼度Ｔを算出し、トラッキング信頼度Ｔに応じた閾値δを算出する。トラッキング信頼度Ｔと閾値δとは、トラッキング信頼度Ｔが大きいほど閾値δは小さくなり、トラッキング信頼度Ｔが小さいほど閾値δは大きくなる関係にある。

トラッキング信頼度Ｔは、トラッキングが成功している可能性を表す値として算出されるのであれば、具体的にどのような処理によって算出されても良い。例えば、信頼度判定部２０２は、信頼度判定処理の対象となっている顔（追跡中対象物）と、この顔に最も近い他の顔との距離（以下、「顔間距離」という。）を算出し、顔間距離に基づいてトラッキング信頼度Ｔを算出しても良い。この場合、信頼度判定部２０２は、顔間距離が短いほど低いトラッキング信頼度Ｔを算出し、顔間距離が長いほど高いトラッキング信頼度Ｔを算出する。信頼度判定部２０２が具体的に顔間距離からトラッキング信頼度Ｔを算出する処理は、上記のような顔間距離とトラッキング信頼度Ｔとの関係が維持されれば、どのような処理であっても良い。なお、顔間距離は、画像平面上での二次元の距離であっても良いし、実空間での三次元の距離であっても良い。

図２は、顔間距離とトラッキング信頼度Ｔ及び閾値δとの関係の具体例を表すグラフである。図２Ａは顔間距離とトラッキング信頼度Ｔとの関係の具体例を表すグラフであり、図２Ｂは顔間距離と閾値δとの関係の具体例を表すグラフである。図２の場合、顔間距離とトラッキング信頼度Ｔとは右肩上がりの比例の関係にあり、顔間距離と閾値δとは右肩下がりの比例の関係にある。例えば、以下のような式１に基づいて信頼度判定部２０２がトラッキング信頼度Ｔを算出しても良い。
トラッキング信頼度Ｔ＝ａ×顔間距離＋ｂ・・・式１

また、信頼度判定部２０２は、処理の対象となっている顔を中心とした所定範囲内に存在する他の顔の数を計数し、顔の数に基づいてトラッキング信頼度Ｔを算出しても良い。この場合、信頼度判定部２０２は、所定範囲内に存在する顔の数が多いほど低いトラッキング信頼度Ｔを算出し、所定範囲内に存在する顔の数が少ないほど高いトラッキング信頼度Ｔを算出する。信頼度判定部２０２が具体的に顔の数からトラッキング信頼度Ｔを算出する処理は、上記のような顔の数とトラッキング信頼度Ｔとの関係が維持されれば、どのような処理であっても良い。例えば、以下のような式２に基づいて信頼度判定部２０２がトラッキング信頼度Ｔを算出しても良い。
トラッキング信頼度Ｔ＝−ｃ×所定範囲内に存在する顔の数＋ｄ・・・式２
信頼度判定部２０２は、以上のような処理によって算出したトラッキング信頼度Ｔに応じて、閾値δを決定する。

追跡データ記憶部２０３は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成され、追跡データを記憶する。追跡データとは、各撮像画像ｔ〜ｔ＋ｎにおいて検出された各顔（各追跡中対象物）の顔画像と、各顔に付与されたトラッキングＩＤと、各顔画像に対して算出された閾値δとを対応付けたデータである。なお、上記説明から明らかなように、同一のトラッキングＩＤに対応する顔の顔画像であっても、その顔画像が抽出された撮像画像が異なれば（例えば撮像画像ｔと撮像画像ｔ＋１との違い）閾値δは異なる。

登録データ記憶部２０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成され、登録データを記憶する。登録データとは、予め設計者や管理者などによって既知の人物の顔画像として登録された顔画像（以下、「識別用画像」という。）、又は、登録部２０７によって新規に登録された人物の顔画像のデータである。登録データ記憶部２０４には、複数の人物の顔画像のデータが、各人物に対して付与された人物ＩＤと対応付けて登録される。また、登録データ記憶部２０４には、同一人物の複数の顔画像が一つの人物ＩＤに応付けて記憶されても良い。なお、人物ＩＤとは、登録データ記憶部２０４に顔画像が登録されている人物を一意に識別するための識別情報である。

類似度算出部２０５は、トラッキング部２０１によって追跡中対象物とされている顔の画像（以下、「追跡中画像」という。）と、登録データ記憶部２０４に登録されている各識別用画像との類似度を算出する。類似度の算出には、既存のどのような技術が適用されても良い。例えば、固有顔（Eigenfaces）手法や、部分空間法や、ＬＦＡ（Local Feature Analysis）手法などが適用されても良い。固有顔手法では、類似度算出部２０５は、顔画像を主成分分析することで固有顔を作成する。そして、類似度算出部２０５は、顔画像を、固有顔の重み付き和で表現し、その重み係数を類似度として決定する。部分空間法では、類似度算出部２０５は、動画像を利用し、複数の顔画像から同一人物の顔毎に部分空間を作成する。そして、類似度算出部２０５は、部分空間同士の為す角度に基づいて類似度を算出する。ＬＦＡ手法では、類似度算出部２０５は、検出された各顔画像の局所領域（例えば、目の周囲や口の周囲など）に対して、固有顔手法と同様の重み付け係数を類似度として算出する。

人物識別部２０６は、追跡中画像及び識別用画像との各組み合わせについて、類似度算出部２０５によって算出された類似度に基づいて、同一人物の顔画像であるか否かを判定する。
登録部２０７は、人物識別部２０６による判定結果に応じて、追跡中画像を登録データ記憶部２０４に新たに登録するか否か判定する。そして、登録部２０７は、新たに登録すると判定した追跡中画像を登録データ記憶部２０４に登録する。

図３は、登録装置２０の処理の流れを表すフローチャートである。登録装置２０は、撮像装置１０から入力された撮像画像においてトラッキング部２０１によって検出された顔（追跡中対象物）毎に、Ｓ１０１以降の処理を行う。すなわち、登録装置２０は、一つの撮像画像において複数の顔が追跡の対象となっている場合には、顔毎にＳ１０１以降の処理を行う。そして、全ての顔についてＳ１０１以降の処理が終わった後に、新たに撮像装置１０から入力された撮像画像に対してＳ１０１以降の処理を行う。

撮像画像が登録装置２０に入力されると、入力された撮像画像に対してトラッキング部２０１がトラッキング処理を行う（ステップＳ１０１）。具体的には、トラッキング部２０１は、以前に入力された撮像画像において追跡中対象物となった顔の追跡を行う。トラッキング処理が成功しなかった場合（ステップＳ１０２−ＮＯ）、すなわち、以前に入力された撮像画像において追跡中対象物となっていた顔の追跡に失敗した場合には、この追跡中対象物に関する処理を終了し、他の追跡中対象物についてステップＳ１０１以降の処理を行う。

一方、トラッキング処理が成功した場合（ステップＳ１０２−ＹＥＳ）、すなわち、以前に入力された撮像画像において追跡中対象物となっていた顔の追跡に成功した場合には、信頼度判定部２０２が、追跡に成功した顔に対してトラッキング信頼度判定処理を実行する（ステップＳ１０３）。なお、トラッキング部２０１は、以前に入力された撮像画像において追跡中対象物となっていなかった新たな顔が検出された場合には、この顔を新たに追跡中対象物とし、トラッキングＩＤを付与してステップＳ１０３以降の処理を行う。

図４は、トラッキング信頼度判定処理の流れを表すフローチャートである。信頼度判定部２０２は、トラッキング信頼度判定処理を開始すると、処理の対象となっている撮像画像において検出された顔の数を計数する（ステップＳ２０１）。この数が一つである場合（ステップＳ２０２−ＮＯ）、信頼度判定部２０２は、トラッキング信頼度Ｔの値を最大値Ｔｍａｘと判定する（ステップＳ２０３）。

一方、処理の対象となっている撮像画像において検出された顔の数が複数である場合（ステップＳ２０２−ＹＥＳ）、信頼度判定部２０２は、トラッキング信頼度判定処理の対象としている顔について顔間距離を算出する（ステップＳ２０４）。次に、信頼度判定部２０２は、算出された顔間距離に基づいてトラッキング信頼度Ｔを算出する（ステップＳ２０５）。ステップＳ２０３又はステップＳ２０５の処理においてトラッキング信頼度Ｔが算出されると、信頼度判定部２０２は、算出されたトラッキング信頼度Ｔに基づいて閾値δを算出する（ステップＳ２０６）。

図３に戻って登録装置２０の処理の説明を続ける。閾値δの算出が終わると、信頼度判定部２０２は、現在処理の対象としている追跡中対象物のトラッキングＩＤについて、人物ＩＤが設定されているか否か判定する（ステップＳ１０４）。人物ＩＤが設定されていない場合（ステップＳ１０４−ＮＯ）、信頼度判定部２０２は、追跡データを追跡データ記憶部２０３に登録する（ステップＳ１０５）。すなわち、信頼度判定部２０２は、現在処理の対象としている追跡対象物の画像（追跡中画像）と、トラッキングＩＤと、閾値δとを対応付けて、追跡データ記憶部２０３に登録する。

次に、類似度算出部２０５が、処理の対象となっている追跡中画像と、登録データ記憶部２０４に登録されている各識別用画像との類似度をそれぞれ算出する（ステップＳ１０６）。次に、人物識別部２０６が登録判定処理を実行する（ステップＳ１０７）。

図５は、登録判定処理の流れを表すフローチャートである。人物識別部２０６は、登録判定処理を開始すると、処理の対象となっている追跡中画像の顔向きが第一範囲内であるか否か判定する（ステップＳ３０１）。第一範囲とは、顔の向きが正面を向いているか否かを判定するための角度を表す範囲であり、例えば上下方向に２０度以内且つ左右方向に３０度以内の範囲と設定される。人物識別部２０６は、顔の向きが第一範囲内でないと判定した場合（ステップＳ３０１−ＮＯ）、この追跡中画像については既知の人物であるか未知の人物であるかの判定を正確に行うことはできないと判定する（ステップＳ３０２）。そして、人物識別部２０６は、この追跡中画像は、現時点では登録データ記憶部２０４には登録しないと判定する（ステップＳ３０３）。

人物識別部２０６は、顔の向きが第一範囲内であると判定した場合（ステップＳ３０１−ＹＥＳ）、処理の対象となっている追跡中画像について算出された登録データ記憶部２０４内の全登録データとの類似度のうち、最も高い類似度の値（以下、「Ｓｃｏｒｅ」という。）が、所定の閾値β以上であるか否かについて判定する（ステップＳ３０４）。Ｓｃｏｒｅが閾値β以上である場合（ステップＳ３０４−ＹＥＳ）、人物識別部２０６は、処理の対象となっている追跡中画像は、Ｓｃｏｒｅが算出された識別用画像の人物（既知人物）の顔の画像であると判定する（ステップＳ３０５）。そして、人物識別部２０６は、Ｓｃｏｒｅが算出された識別用画像に対応する人物ＩＤを、処理の対象となっている追跡中画像のトラッキングＩＤに対応付けて設定する（ステップＳ３０６）。

次に、人物識別部２０６は、Ｓｃｏｒｅが、所定の閾値α以上であるか否かについて判定する（ステップＳ３０７）。Ｓｃｏｒｅが閾値α以上である場合（ステップＳ３０７−ＹＥＳ）、人物識別部２０６は、処理の対象となっている追跡中画像を登録データ記憶部２０４に追加登録しないと判定する（ステップＳ３０８）。一方、Ｓｃｏｒｅが閾値α未満である場合（ステップＳ３０７−ＮＯ）、人物識別部２０６は、処理の対象となっている追跡中画像を登録データ記憶部２０４に追加登録すると判定する（ステップＳ３０９）。この場合、登録部２０７が、処理の対象となっている追跡中画像を、その人物ＩＤと対応付けて登録データ記憶部２０４に登録する。

ステップＳ３０４の処理において、Ｓｃｏｒｅが閾値β未満である場合（ステップＳ３０４−ＮＯ）、人物識別部２０６は、処理の対象となっている追跡中画像は、Ｓｃｏｒｅが算出された識別用画像の人物の顔画像ではないと判定する。そして、人物識別部２０６は、Ｓｃｏｒｅが、所定の閾値γ以上であるか否かについてさらに判定する（ステップＳ３１０）。Ｓｃｏｒｅが閾値γ以上である場合（ステップＳ３１０−ＹＥＳ）、人物識別部２０６は、この追跡中画像については既知の人物であるか未知の人物であるかの判定を正確に行うことはできないと判定する（ステップＳ３１１）。そして、人物識別部２０６は、この追跡中画像は、現時点では登録データ記憶部２０４には登録しないと判定する（ステップＳ３１２）。

一方、Ｓｃｏｒｅが閾値γ未満である場合（ステップＳ３１０−ＮＯ）、人物識別部２０６は、処理の対象となっている追跡中画像の顔向きが第二範囲内であるか否か判定する（ステップＳ３１３）。第二範囲とは、顔の向きが正面を向いているか否かを判定するための角度を表す範囲であり、第一範囲よりも正面側に寄った狭い範囲である。そのため、第二範囲内であると判定された顔は、少なくとも第一範囲内であると判定された顔よりも正面を向いている顔となる。第二範囲は、例えば上下方向及び左右方向に５度以内の範囲として設定される。

人物識別部２０６は、顔の向きが第二範囲内であると判定した場合（ステップＳ３１３−ＹＥＳ）、処理の対象となっている追跡中画像が、登録データ記憶部２０４に登録されていない人物（未知人物）の顔の画像であると判定する（ステップＳ３１４）。この場合、人物識別部２０６は、この追跡中対象物の顔の人物に対して新たな人物ＩＤを付与する。人物識別部２０６は、この人物ＩＤを、処理の対象となっている追跡中画像のトラッキングＩＤに対応付けて設定する（ステップＳ３１５）。そして、人物識別部２０６は、処理の対象となっている追跡中画像を登録データ記憶部２０４に新規登録すると判定する（ステップＳ３１６）。この場合、登録部２０７が、処理の対象となっている追跡中画像を、新たに付与された人物ＩＤと対応付けて登録データ記憶部２０４に登録する。

一方、人物識別部２０６は、顔の向きが第二範囲内でないと判定した場合（ステップＳ３１３−ＮＯ）、この追跡中画像については既知の人物であるか未知の人物であるかの判定を正確に行うことはできないと判定する（ステップＳ３１７）。そして、人物識別部２０６は、この追跡中画像は、現時点では登録データ記憶部２０４には登録しないと判定する（ステップＳ３１８）。ステップＳ３０３、Ｓ３０８、Ｓ３０９、Ｓ３１２、Ｓ３１６、Ｓ３１８のいずれかの処理が終了すると、人物識別部２０６は、処理の対象となっている追跡中画像についての登録判定処理を終了する。

図３に戻って登録装置２０の処理の説明を続ける。登録判定処理Ｓ１０７が終了すると、登録部２０７が、処理の対象となっている追跡中画像に対し人物ＩＤが設定されているか否か判定する（ステップＳ１０８）。人物ＩＤが未設定の場合には（ステップＳ１０８−ＮＯ）、処理の対象となっている追跡中画像のトラッキングＩＤに対して登録処理を行うことなく、他の追跡中対象物又は次に入力される撮像画像に処理が移行する。一方、人物ＩＤが設定されている場合には（ステップＳ１０８−ＹＥＳ）、類似度算出部２０５及び登録部２０７は、この追跡中画像のトラッキングＩＤに対応付けて追跡データ記憶部２０３に登録されている各追跡データに対し登録処理を実行する（ステップＳ１０９）。

図６は、登録処理の流れを表すフローチャートである。類似度算出部２０５は、処理の対象となっているトラッキングＩＤに対応する追跡データを追跡データ記憶部２０３から読み出す（ステップＳ４０１）。次に、類似度算出部２０５は、読み出された追跡データの顔画像と、処理の対象となっているトラッキングＩＤの人物ＩＤに対応する識別用画像との類似度を算出する（ステップＳ４０２）。

次に、登録部２０７が、類似度算出部２０５によって算出された類似度と、閾値αと、読み出された追跡データの閾値δとを比較する（ステップＳ４０３）。類似度が閾値α未満であり且つ閾値δ以上である場合（ステップＳ４０３−ＹＥＳ）、登録部２０７は、この追跡データの顔画像を、登録データ記憶部２０４に追加登録する（ステップＳ４０４）。具体的には、登録部２０７は、この追跡データの顔画像を、現在設定されている人物ＩＤと対応付けて、登録データ記憶部２０４に登録する。このとき、登録データ記憶部２０４において、この人物ＩＤに対応付けて登録可能な顔画像の数が上限に達している場合には、例えば最も古い顔画像を破棄して新たな顔画像を登録しても良いし、最も類似度が低い顔画像を破棄して新たな顔画像を登録しても良い。

類似度が閾値α以上であり又は閾値δ未満である場合（ステップＳ４０３−ＮＯ）、登録部２０７は、この追跡データを破棄する（ステップＳ４０５）。類似度算出部２０５及び登録部２０７は、処理の対象となっているトラッキングＩＤに対応する全ての追跡データに対して、ステップＳ４０１〜Ｓ４０５の処理を行う（ステップＳ４０６）。全ての追跡データに対して処理が終わると、ステップＳ１０１の処理に戻り、他の追跡中対象物又は次に入力される撮像画像に処理が移行する。

図３のステップＳ１０４の分岐処理の説明に戻る。ステップＳ１０４の処理において、人物ＩＤが設定済みの場合（ステップＳ１０４−ＹＥＳ）、類似度算出部２０５は、処理の対象となっている追跡中画像と、設定されている人物ＩＤに対応する識別用画像との類似度を算出する（ステップＳ１１０）。次に、登録部２０７が、算出された類似度に基づいて追加登録判定を行う（ステップＳ１１１）。具体的には、登録部２０７は、算出された類似度と、閾値αと、ステップＳ１０３において算出された閾値δとを比較する。類似度が閾値α未満であり且つ閾値δ以上である場合、登録部２０７は追加登録すると判定する。この場合（ステップＳ１１２−ＹＥＳ）、登録部２０７は、処理対象の追跡中画像を登録データ記憶部２０４に追加登録する（ステップＳ１１３）。具体的には、登録部２０７は、この追跡中画像を、現在設定されている人物ＩＤと対応付けて、登録データ記憶部２０４に登録する。このとき、登録データ記憶部２０４において、この人物ＩＤに対応付けて登録可能な顔画像の数が上限に達している場合には、例えば最も古い顔画像を破棄して新たな顔画像を登録しても良いし、最も類似度が低い顔画像を破棄して新たな顔画像を登録しても良い。

一方、類似度が閾値α以上であり又は閾値δ未満である場合、登録部２０７は、この追跡中画像を追加登録しないと判定する。この場合（ステップＳ１１２−ＮＯ）、ステップＳ１０１の処理に戻り、他の追跡中対象物又は次に入力される撮像画像に処理が移行する。

図７は、登録装置２０において用いられる各閾値の概略を表す図である。図７Ａは、閾値α、β、γの概略を表す図である。図７Ａに表される各閾値は、人物ＩＤが未設定の場合に用いられる閾値である。図７Ｂは、閾値α、β、δの概略を表す図である。図７Ｂに表される各閾値は、人物ＩＤが設定済みの場合に用いられる閾値である。図７Ａから明らかなように、閾値α＞閾値β＞閾値γの関係が成り立っている。また、図７Ｂから明らかなように、閾値α＞閾値β＞閾値δの関係が成り立っている。

以上のように、登録装置２０は、追跡中対象物が誰の顔であるか未確定である場合（すなわち人物ＩＤが未設定の場合）には、閾値δよりも高い閾値βに基づいて、追跡中画像と識別用画像とが同一人物の顔であるか否か判定する。一方、追跡中対象物が誰の顔であるか確定した後（すなわち人物ＩＤが設定済みの場合）には、閾値βよりも低い閾値δに基づいて、追跡中画像と識別用画像とが同一人物の顔であるか否か判定する。このように構成されることにより、実際には識別用画像の顔と異なる追跡中画像を誤って識別用画像と同一人物の顔であると判定することを抑止し、異なる人物の顔が同一人物の顔として登録データ記憶部２０４に登録されてしまうことを抑止できる。同様に、実際には識別用画像の顔と同一人物の追跡中画像を誤って識別用画像と異なる人物の顔であると判定することを抑止し、同一人物の顔が異なる人物の顔として別々の人物ＩＤに対応付けて登録データ記憶部２０４に登録されてしまうことを抑止できる。

また、閾値δは、トラッキング信頼度Ｔに応じて設定される。そのため、トラッキングが成功している可能性の高低に応じて類似度に基づく適切な判定がなされる。すなわち、トラッキング信頼度が高い場合には、設定された人物ＩＤが正しい可能性が高いため、類似度が低い場合であっても同一人物の新たな識別用画像として正しく追加登録を行うことができる。そのため、様々なバリエーションの識別用画像の登録を実現させ、登録データ記憶部２０４を用いた顔認識においてロバスト性を向上させることが可能となる。

また、閾値αを超えた場合には、既に登録されている識別用画像と追跡中画像とがほとんど同じ顔画像であると推測できる。このような追跡中画像を登録すると、同じような顔画像ばかりが登録データ記憶部２０４に登録されてしまい、上記のロバスト性を低下させてしまうおそれがある。このような問題に対し、登録装置２０は類似度が閾値αを超えた場合には追跡中画像を追加登録しないため、ロバスト性の低下を抑止することが可能となる。

また、それまで登録データ記憶部２０４に登録されていなかった新たな人物の顔画像を登録する場合には、既に登録されていた人物の顔画像を追加登録する場合とは異なり、顔の向きが第二範囲内であることを要件とする。すなわち、未知の人物の顔画像を登録する場合には、より正面を向いた顔画像に限定される。一般的に、人物の顔画像を識別する場合には、識別用画像が正面を向いた顔であるほど精度が向上する。したがって、上記のように構成されることにより、その後の処理の精度を上げることができる。

＜変形例＞
登録部２０７は、登録処理を行う場合、撮像された時刻が新しいものから順に追跡データを読み出して処理を行う様に構成されても良い。このように構成されることにより、より類似度が高いと推定される追跡中画像から順に登録がなされ、様々なバリエーションの顔画像を登録データ記憶部２０４に登録することが可能となる。

また、登録データ記憶部２０４は、登録装置２０に備えられるのではなく、登録装置２０の外部の装置として構成されても良い。
また、撮像装置１０を自走式装置（例えばロボットなど）に装着し、自走式装置が自動で移動し撮像装置１０が撮像を行っても良い。このように構成されることにより、積極的に登録データ記憶部２０４に登録されるデータを取得しても良い。

また、トラッキング部２０１は、撮像装置１０とは異なる他の撮像装置によって撮像された画像を用いてトラッキングを行う様に構成されても良い。図８は、このように構成された登録システム１のシステム構成例を表す図である。この場合、登録装置２０には、複数の撮像装置１０ａ〜１０ｃが接続され、各撮像装置１０ａ〜１０ｃによって撮像された画像が登録装置２０に入力される。そして、登録装置２０は、撮像装置１０ａ〜１０ｃによって撮像された画像を用いてトラッキングを行い、一部の撮像画像（例えば撮像装置１０ｃによって撮像された画像）から追跡中画像を検出するように構成されても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…撮像装置， ２０…登録装置， ２０１…トラッキング部（追跡部）， ２０２…信頼度判定部（閾値設定部）， ２０３…追跡データ記憶部， ２０４…登録データ記憶部（識別用画像記憶部）， ２０５…類似度算出部， ２０６…人物識別部（識別部）， ２０７…登録部

Claims (7)

1. ある時刻に撮像された画像の中から所定の追跡対象物の画像を検出し、後続の時刻に撮像された画像において同一の追跡対象物の画像を検出して追跡中対象物として追跡する追跡部と、
   前記追跡部によって追跡されている追跡中対象物の画像を、同一の追跡中対象物毎に対応付けて記憶する追跡データ記憶部と、
   既知の追跡対象物を識別するための識別用画像を記憶している識別用画像記憶部と、
   前記追跡中対象物の画像と前記識別用画像との類似度を算出する類似度算出部と、
   前記類似度が第一閾値を超えている場合に、前記追跡中対象物と、前記識別用画像に対応する既知の追跡対象物とが同一の追跡対象物であると判定する識別部と、
   前記撮像された画像毎に、前記所定の追跡対象物の検出結果に応じて、各追跡中対象物の画像に対し、前記第一閾値よりも低い第二閾値を設定する閾値設定部と、
   前記識別部によって前記既知の追跡対象物と同一であると判定された追跡中対象物に対応付けて前記追跡データ記憶部に記憶されている各画像について、当該既知の追跡対象物の前記識別用画像との類似度が前記第二閾値を超えているか否か判定し、前記類似度が前記第二閾値を超えている各画像を、当該既知の追跡対象物の新たな識別用画像として前記識別用画像記憶部に登録する登録部と、
   を備える登録装置。
2. 前記追跡データ記憶部は、前記追跡中対象物の画像と前記第二閾値とを対応付けて記憶し、
   前記登録部は、前記追跡データ記憶部に記憶されている各画像について、当該各画像に対応付けて前記追跡データ記憶部に記憶されている前記第二閾値を用いて前記判定を行うことを特徴とする請求項１に記載の登録装置。
3. 前記登録部は、前記識別部によって前記既知の追跡対象物と同一の追跡対象物と判定された追跡中対象物について、当該判定がなされた画像よりも後続の時刻に撮像された画像においては、前記閾値設定部によって設定された前記第二閾値を用いて前記判定を行うことを特徴とする請求項２に記載の登録装置。
4. 前記識別部は、前記識別用画像記憶部に記憶されている各識別用画像との前記類似度が前記第一閾値よりも低い第三閾値よりもいずれも低い場合に、前記追跡中対象物が、前記識別用画像記憶部に識別用画像が記憶されていない新規の追跡対象物であると判定することを特徴とする請求項１〜３のいずれかに記載の登録装置。
5. 前記登録部は、前記識別部によって新規の追跡対象物であると判定された追跡中対象物の画像を、新規の追跡対象物の識別用画像として前記識別用画像記憶部に新たに登録することを特徴とする請求項４に記載の登録装置。
6. 既知の追跡対象物を識別するための識別用画像を記憶している識別用画像記憶部と追跡データ記憶部とを備える登録装置が、ある時刻に撮像された画像の中から所定の追跡対象物の画像を検出し、後続の時刻に撮像された画像において同一の追跡対象物の画像を検出して追跡中対象物として追跡する追跡ステップと、
   前記登録装置が、前記追跡ステップによって追跡されている追跡中対象物の画像を、同一の追跡中対象物毎に対応付けて前記追跡データ記憶部に記憶する追跡データ記憶ステップと、
   前記登録装置が、前記追跡中対象物の画像と前記識別用画像との類似度を算出する類似度算出ステップと、
   前記登録装置が、前記類似度が第一閾値を超えている場合に、前記追跡中対象物と、前記識別用画像に対応する既知の追跡対象物とが同一の追跡対象物であると判定する識別ステップと、
   前記登録装置が、前記撮像された画像毎に、前記所定の追跡対象物の検出結果に応じて、各追跡中対象物の画像に対し、前記第一閾値よりも低い第二閾値を設定する閾値設定ステップと、
   前記登録装置が、前記識別ステップによって前記既知の追跡対象物と同一であると判定された追跡中対象物に対応付けて前記追跡データ記憶部に記憶されている各画像について、当該既知の追跡対象物の前記識別用画像との類似度が前記第二閾値を超えているか否か判定し、前記類似度が前記第二閾値を超えている各画像を、当該既知の追跡対象物の新たな識別用画像として前記識別用画像記憶部に登録する登録ステップと、
   を備える登録方法。
7. 既知の追跡対象物を識別するための識別用画像を記憶している識別用画像記憶部と追跡データ記憶部とを備えるコンピュータに対し、
   ある時刻に撮像された画像の中から所定の追跡対象物の画像を検出し、後続の時刻に撮像された画像において同一の追跡対象物の画像を検出して追跡中対象物として追跡する追跡ステップと、
   前記追跡ステップによって追跡されている追跡中対象物の画像を、同一の追跡中対象物毎に対応付けて前記追跡データ記憶部に記憶する追跡データ記憶ステップと、
   前記追跡中対象物の画像と前記識別用画像との類似度を算出する類似度算出ステップと、
   前記類似度が第一閾値を超えている場合に、前記追跡中対象物と、前記識別用画像に対応する既知の追跡対象物とが同一の追跡対象物であると判定する識別ステップと、
   前記撮像された画像毎に、前記所定の追跡対象物の検出結果に応じて、各追跡中対象物の画像に対し、前記第一閾値よりも低い第二閾値を設定する閾値設定ステップと、
   前記識別ステップによって前記既知の追跡対象物と同一であると判定された追跡中対象物に対応付けて前記追跡データ記憶部に記憶されている各画像について、当該既知の追跡対象物の前記識別用画像との類似度が前記第二閾値を超えているか否か判定し、前記類似度が前記第二閾値を超えている各画像を、当該既知の追跡対象物の新たな識別用画像として前記識別用画像記憶部に登録する登録ステップと、
   を実行させるためのコンピュータプログラム。

Images