JP2011118782A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】画像処理結果を使用する目的に応じた処理を行う。
【解決手段】顔領域抽出部２２は、画像に写されている顔を検出し、その顔を含む顔領域を抽出し、顔認識部２５は、顔領域の顔を識別するための識別情報を取得する。そして、第１の統合処理部５１は、識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う。また、第２の統合処理部５２は、識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを、第１の統合処理部５１とは異なる手法により判定して統合処理を行う。本発明は、例えば、デジタルサイネージシステムに適用できる。
【選択図】図４

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、画像処理結果を使用する目的に応じた処理を行うことができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

従来、例えば、ディスプレイに映像広告を表示するデジタルサイネージシステムでは、ディスプレイを視聴している人物の顔を撮像する撮像装置が設けられており、撮像装置により撮像された画像に写されている人物の顔をトラッキングする画像処理が行われる。そして、デジタルサイネージシステムは、その画像処理の結果に基づき、視聴者の構成（男女比率や年齢層など）を測定して映像広告の内容に反映したり、一日の視聴者の人数をカウントして広告効果を測定したりすることができる。

ところで、デジタルサイネージシステムでは、トラッキング中の顔がディスプレイに対して横を向いたときには、その顔を認識することができず、トラッキングが終了（顔を消失）することになる。その後、同一人物がディスプレイを視聴すると、新たな顔として検出されてトラッキングが再度行われる。このとき、デジタルサイネージシステムでは、同一人物を２回カウントすることになり、広告効果の測定結果の信頼度が低下することになる。

例えば、特許文献１には、顔情報を比較して同一人物のものか否かを判定することで、映像広告の有効性を示す視聴度を高い信頼度で測定することができる分析装置が開示されている。また、特許文献２には、同一人物の顔であるか否かの判定を、高速かつ一定精度で行うことができる映像処理装置が開示されている。

従って、デジタルサイネージシステムにおいて、同一人物の顔であるか否かを判定することで、同一人物が複数回カウントされることを回避することができる。

特開２００６−２５４２７４号公報 特開２００９−４８４８９号公報

ところで、デジタルサイネージシステムでは、視聴者の構成を測定して映像広告の内容に反映させる場合には、同一人物の顔であるか否かの判定を高速に行う画像処理が求められ、広告効果を測定する場合には、判定の信頼性を高める画像処理が求められる。このように、デジタルサイネージシステムに求められる画像処理は、画像処理結果を使用する目的に応じて異なることがあり、それぞれの目的に応じて柔軟に対応することが求められている。

本発明は、このような状況に鑑みてなされたものであり、画像処理結果を使用する目的に応じた処理を行うことができるようにするものである。

本発明の第１の側面の画像処理装置は、画像に写されている顔を検出し、前記顔を含む顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段により抽出された顔領域の顔を識別するための識別情報を取得する識別情報取得手段と、前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う第１の統合処理手段と、前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを、前記第１の統合処理手段とは異なる手法により判定して統合処理を行う第２の統合処理手段とを備え、前記第１の統合処理手段は、画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する処理を行い、前記第２の統合処理手段は、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する処理を行う。

本発明の第１の側面の画像処理方法またはプログラムは、画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、前記抽出された顔領域の顔を識別するための識別情報を取得し、前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して第１の統合処理を行い、前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを、前記第１の統合処理とは異なる手法により判定して第２の統合処理を行うステップを含み、前記第１の統合処理では、画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する処理が行われ、前記第２の統合処理では、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する処理が行われる。

本発明の第１の側面においては、画像に写されている顔が検出されて顔を含む顔領域が抽出され、抽出された顔領域の顔を識別するための識別情報が取得される。そして、識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かが判定される第１の統合処理が行われる。また、識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かが、第１の統合処理とは異なる手法により判定される第２の統合処理が行われる。さらに、第１の統合処理では、画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値が決定され、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度が算出されて、算出された類似度と、類似度の算出に用いられた保存期間内の顔に対応する閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かが判定される。また、第２の統合処理では、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度が、複数の顔方向ごとに算出され、算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かが判定される。

本発明の第２の側面の画像処理装置は、画像に写されている顔を検出し、前記顔を含む顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段により抽出された顔領域の顔を識別するための識別情報を取得する識別情報取得手段と、前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う統合処理手段とを備え、前記統合処理手段は、画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する処理を行う。

本発明の第２の側面の画像処理方法またはプログラムは、画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、前記抽出された顔領域の顔を識別するための識別情報を取得し、前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行うステップを含み、前記統合処理では、画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する処理が行われる。

本発明の第２の側面においては、画像に写されている顔が検出されて顔を含む顔領域が抽出され、抽出された顔領域の顔を識別するための識別情報が取得される。そして、識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理が行われる。統合処理では、画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値が決定され、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度が算出されて、算出された類似度と、類似度の算出に用いられた保存期間内の顔に対応する閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かが判定される。

本発明の第３の側面の画像処理装置は、画像に写されている顔を検出し、前記顔を含む顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段により抽出された顔領域の顔を識別するための識別情報を取得する識別情報取得手段と、前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う統合処理手段とを備え、前記統合処理手段は、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する処理を行う。

本発明の第３の側面の画像処理方法またはプログラムは、画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、前記抽出された顔領域の顔を識別するための識別情報を取得し、前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行うステップを含み、前記統合処理では、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する処理が行われる。

本発明の第３の側面においては、画像に写されている顔が検出されて顔を含む顔領域が抽出され、抽出された顔領域の顔を識別するための識別情報が取得される。そして、識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理が行われる。統合処理では、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度が、複数の顔方向ごとに算出され、算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かが判定される。

本発明の第１乃至第３の側面によれば、画像処理結果を使用する目的に応じた処理を行うことができる。

本発明を適用したデジタルサイネージシステムの一実施の形態の構成例を示すブロック図である。 統合処理による結果を説明する図である。 顔角度ごとに類似度を算出する処理を説明する図である。 画像処理装置の構成例を示すブロック図である。 抽出される顔の特徴量の組み合わせを説明する図である。 顔領域に対する周囲の複数の領域のヒストグラムを算出する処理を説明する図である。 画像に写されている顔のトラッキング処理を説明するフローチャートである。 顔認識処理を説明するフローチャートである。 第１の統合処理を説明するフローチャートである。 第２の統合処理を説明するフローチャートである。 第２の統合処理を施すことによる効果を説明する図である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明を適用したデジタルサイネージシステムの一実施の形態の構成例を示すブロック図である。なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

図１において、デジタルサイネージシステム１１は、表示装置１２、撮像装置１３、画像処理装置１４、記憶装置１５、通信装置１６、および制御装置１７を備えて構成される。

表示装置１２は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）ディスプレイなどからなり、制御装置１７の制御に応じて、各種の画像や文字情報などからなる映像広告を表示する。

撮像装置１３は、レンズおよび絞りなどからなる光学系と、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）センサなどからなる撮像部とを備えて構成される。撮像装置１３は、撮像部の受光面に光学系を介して結像された光学的な被写体の動画像を所定のフレームレートで撮像し、その結果得られる画像のデータを画像処理装置１４に供給する。

画像処理装置１４は、複数の電子部品が設けられた基板として構成されるか、またはシステムIC（Integrated Circuit）などとして構成される。画像処理装置１４は、撮像装置１３により撮像された動画像を構成する各フレームの画像（静止画像）を、順次、処理の対象として画像に写されている顔を認識してトラッキングする。

例えば、画像処理装置１４は、目や、鼻、口などの顔の特徴に基づいて画像に写されている顔を認識し、同一人物の顔に対して同一のＩＤ（Identification）を付与して、顔のトラッキングを行う。また、例えば、撮像装置１３において撮像された画像において顔の一部が隠れてしまうと、顔を認識することができない場合がある。例えば、図１の下側に示されているように、トラッキング中の顔（ＩＤ＝１）が横を向くと、その顔が認識されなくなる（顔が消失する）。その後、同一の顔が正面を向いたとき、画像処理装置１４では、新たに検出された顔として新たなＩＤ（ＩＤ＝２）が付与される。

このように顔が一時的に消失したとき、同一人物の顔を、新たに検出した顔として処理が行われることを回避するため、画像処理装置１４では、後述するように、一時的に消失した顔を、消失の前後で統合する統合処理が行われる。なお、顔が一時的に認識されずに、顔が消失する例としては、顔が横を向く他、撮像装置１３と顔の間を物体が横切ったり、撮像装置１３に対して人物が木などの遮蔽物の奥側を移動したり、撮像装置１３による撮像範囲の外側に人物が移動したりすることがある。

記憶装置１５は、ハードディスクや不揮発性のメモリなどを有して構成されており、画像処理装置１４により認識された顔に関する各種の情報が登録されたデータベースを記憶する。また、記憶装置１５には、表示装置１２に表示される画像および文字情報なども記憶されている。

通信装置１６は、ネットワークインタフェースなどにより構成され、インターネットなどのネットワークを介して、ユーザからの指示を受信して制御装置１７に供給する。また、通信装置１６は、制御装置１７の制御に応じて、記憶装置１５に記憶されているデータベースを、ネットワークを介してユーザ側の装置に送信する。

制御装置１７は、デジタルサイネージシステム１１の各部を制御する。例えば、制御装置１７は、通信装置１６を介して受信したユーザからの指示に応じて、画像処理装置１４で実行される統合処理に関する設定を行う。また、制御装置１７は、記憶装置１５に蓄積されている情報により特定される視聴者の構成に応じて、表示装置１２に表示させる映像広告を変更する。

次に、図２を参照して、画像処理装置１４において行われる統合処理による結果について説明する。

図２の上側には、撮像装置１３により撮像された画像からトラッキングされた結果として、画像処理装置１４において８つのＩＤが付与された顔（トラッキングＩＤ＝０１〜０８）が示されている。これらの顔に対して、画像処理装置１４において統合処理が行われ、トラッキングＩＤ＝０２の顔とトラッキングＩＤ＝０５の顔とが同一人物の顔と判定されたとする。同様に、トラッキングＩＤ＝０３の顔とトラッキングＩＤ＝０８の顔とが同一人物の顔と判定され、トラッキングＩＤ＝０４の顔とトラッキングＩＤ＝０６の顔とが同一人物の顔と判定されたとする。

この場合、例えば、図２の下側に示すよな統合結果が得られ、画像処理装置１４は、トラッキングＩＤ＝０２の顔とトラッキングＩＤ＝０５の顔にはフェースＩＤ＝０２を付与し、トラッキングＩＤ＝０３の顔とトラッキングＩＤ＝０８の顔にはフェースＩＤ＝０３を付与し、トラッキングＩＤ＝０４の顔とトラッキングＩＤ＝０６の顔にはフェースＩＤ＝０４を付与する。

これにより、同一のフェースＩＤの顔は、同一人物の顔として情報が統合される。なお、同一人物の顔と判定されなかった、トラッキングＩＤ＝０１の顔にはフェースＩＤ＝０１が、トラッキングＩＤ＝０７の顔にはフェースＩＤ＝０５が、それぞれ付与される。

画像処理装置１４では、撮像装置１３により撮像された画像において顔が写されている領域である顔領域（図２の各画像において太線の枠で囲われている矩形の領域）が認識され、それぞれの顔の類似度に基づいて同一人物の顔であるか否かが判定される。さらに、画像処理装置１４では、顔領域よりも所定範囲だけ広い拡大顔領域（例えば、図２の各画像、即ち、顔を中心として頭、肩、および胸の一部を含む領域）における顔領域の近辺の特徴が、同一人物の顔であるか否かの判定に利用される。

また、同一人物の顔であっても、顔の向きによって特徴が異なり、画像処理装置１４は、トラッキング中の顔を複数方向から撮像した画像を蓄積し、それぞれ対応する顔角度の顔どうしの類似度に基づいて、同一人物の顔であるか否かを判定する。

即ち、図３に示すように、画像処理装置１４は、例えば、過去に検出した顔のうちの、消失してから一定の時間以内の顔が登録されたリストを記憶装置１５（図１）に記憶させておき、新規の顔が検出されると、所定のタイミングで、そのリストに登録されている顔と、新規に検出した顔とのマッチングを行って、消失してから一定の時間以内の顔の中に、新規に検出された顔と同一の顔があるか否かを判定する。

このとき、画像処理装置１４では、５つの顔角度（±２６度、±１５度、０度）の顔画像を取得しており、記憶装置１５のリストには、それらの顔角度の顔画像が登録されている。そして、画像処理装置１４は、新規に検出した顔とリストに登録されている顔とで、それぞれ同じ顔角度どうし顔の類似度を計算し、例えば、それらの類似度の平均値を、同一人物の顔であるか否かの判定に利用する。

次に、図４は、画像処理装置１４の構成例を示すブロック図である。

図４において、画像処理装置１４は、画像取得部２１、顔領域抽出部２２、データベース管理部２３、演算部２４、顔認識部２５、およびデータ統合部２６を備えて構成される。また、記憶装置１５は、２つのデータベース３１および３２を記憶している。データベース３１には、新規顔リスト３３、安定顔リスト３４、一時消失リスト３５が格納されており、データベース３２には、トラッキング顔リスト３６、統合顔リスト３７、一時消失リスト３８が格納されている。

画像取得部２１は、図１の撮像装置１３により撮像された動画像から、各フレームを構成する画像（静止画像）を順次取得して、各フレームにフレーム番号（時刻に対応する情報）を付与し、１フレームずつ画像を顔領域抽出部２２に供給する。

顔領域抽出部２２は、画像取得部２１から供給される画像の全画面を対象として、その画像に写されている顔を探索する処理（全画面サーチ）を行う。顔領域抽出部２２は、全画面サーチにより探索された顔の顔領域（図２参照）の位置および大きさを示す情報である顔領域情報を生成する。

また、顔領域抽出部２２は、顔領域を含む拡大顔領域（図２参照）を画像から切り出して、拡大顔領域画像を取得する。例えば、現在のフレーム（処理の対象となっているフレーム）の画像に、複数の顔が写されている場合、顔領域抽出部２２は、それぞれの顔についての顔領域情報および拡大顔領域画像を取得する。そして、顔領域抽出部２２は、現在のフレームのフレーム番号に対応付けて、そのフレームの画像から得られた顔領域情報および拡大顔領域画像をデータベース管理部２３に供給する。

データベース管理部２３は、記憶装置１５に記憶されているデータベース３１および３２に格納されている各リスト、即ち、新規顔リスト３３、安定顔リスト３４、一時消失リスト３５、トラッキング顔リスト３６、統合顔リスト３７、一時消失リスト３８を管理する。

新規顔リスト３３には、新規に検出された顔に関する情報が登録され、新規顔リスト３３に登録されてから規定のフレーム数が経過した顔に関する情報が、安定顔リスト３４に移行されて登録される。一時消失リスト３５には、新規顔リスト３３および安定顔リスト３４に登録されている情報の顔が消失したとき、その顔に関する情報が、新規顔リスト３３または安定顔リスト３４から移行されて登録される。また、一時消失リスト３５に登録されてから所定の保存期間が経過した情報は、一時消失リスト３５から削除される。

また、トラッキング顔リスト３６には、トラッキング中の顔の全ての顔に関する情報が登録される。統合顔リスト３７には、トラッキング顔リスト３６に登録されている情報の顔が消失したとき、その顔と、一時消失リスト３８に登録されている情報の顔との照合結果に応じて統合処理が行われた顔に関する情報が登録される。一時消失リスト３８には、トラッキング顔リスト３６に登録されている情報の顔が消失したとき、その顔に関する情報が、トラッキング顔リスト３６から移行されて登録される。また、一時消失リスト３８に登録されてから所定の保存期間が経過した情報は、一時消失リスト３８から削除される。

記憶装置１５の各リストでは、トラッキング中の顔は同一のトラッキングＩＤにより管理される。データベース管理部２３は、現在のフレームの画像から得られた顔領域情報を演算部２４に供給し、演算部２４により算出される重複率に基づいて、トラッキング中の顔であるか否かを判定してトラッキングＩＤを付与する。

演算部２４には、１フレーム前の画像に写されていた顔の顔領域情報が一時的に蓄積されており、演算部２４は、現在のフレームの画像における顔領域の位置および大きさと、１フレーム前の画像における顔領域の位置および大きさとに基づいて、それぞれの顔領域が重複している割合である重複率を算出する。

演算部２４は、算出した重複率をデータベース管理部２３に供給し、データベース管理部２３は、トラッキング中の顔であるか否かを判定するための閾値に基づいて、重複率が閾値以上である場合には、トラッキング中の顔であると判定して、その重複率が算出された１フレーム前の画像の顔領域に付与されているトラッキングＩＤと同一のトラッキングＩＤを、現在のフレームの画像から得られた顔領域情報に付与する。一方、データベース管理部２３は、重複率が閾値以上でない場合には、現在のフレームで新たに検出された顔として、新規のトラッキングＩＤを顔領域情報に付与する。なお、トラッキング中の顔であるか否かを判定するための閾値は、撮像装置１３により撮像されるフレームの間で人物が移動可能な画像上の距離に基づいて、実験または計算により求められた値である。

また、演算部２４は、データベース管理部２３においてトラッキング中であると判定された顔について、現在のフレームの画像における顔領域の位置および１フレーム前の画像における顔領域の位置と、フレームレートとに基づいて、その顔の移動速度を算出し、移動速度を示す情報をデータベース管理部２３に供給する。なお、演算部２４は、１フレーム前の画像における顔領域の位置および移動速度から、現在のフレームの画像における顔領域の位置を予測し、その予測された位置と、現在のフレームの画像における顔領域の位置とを用いて、重複率を算出してもよい。

さらに、データベース管理部２３は、現在のフレームの画像から得られた拡大顔領域画像を顔認識部２５に供給し、顔認識処理を行わせる。

顔認識部２５は、属性推定部４１、特徴量抽出部４２、およびヒストグラム算出部４３を備えて構成される。

属性推定部４１は、データベース管理部２３からの拡大顔領域画像に含まれる顔領域内の顔の特徴に基づいて、その顔に関する各種の属性を推定して、その属性を示す情報をデータベース管理部２３に供給する。属性推定部４１により推定される顔の属性には、性別（男性／女性）、年代（例えば、年齢を１０年の区分で区切った年代や、幼児・子供・大人といった区分）、人種（白色人種／黒色人種／黄色人種）などがある。

特徴量抽出部４２は、データベース管理部２３からの拡大顔領域画像に含まれる顔領域内の顔の特徴に基づいて、その顔の顔角度および表情（笑顔／笑顔以外）を特定する。そして、特徴量抽出部４２は、特徴量を抽出する所定の条件を満たす場合に拡大顔領域画像に含まれる顔領域内の顔の特徴を表す特徴量を抽出する。

例えば、図５に示すように、特徴量抽出部４２は、５つの横方向の顔角度（Yaw）ごとに笑顔の特徴量と、笑顔以外の特徴量とを抽出する。図５の例では、顔角度は、正面の顔の顔角度を０度として、-22.5度よりも左側の顔角度、-22.5度から-7.5度までの顔角度、-7.5から7.5度までの顔角度、7.5度から22.5度までの顔角度、22.5度よりも右側の顔角度の５つに分類されている。このように、特徴量抽出部４２は、顔の特徴量を、５つの顔方向と２つの表情とによる１０個のパターンで保存する。

また、特徴量抽出部４２は、同一のパターンの特徴量が重複しないように、特徴量を抽出する。第１に、特徴量抽出部４２は、処理の対象としている顔の表情および顔角度に対応する特徴量が抽出されていない（即ち、図５において対応する升目が空欄である）とき、その表情および顔角度での顔の特徴量を抽出する。

第２に、特徴量抽出部４２は、処理の対象としている顔の表情および顔角度に対応する特徴量が抽出されていても、その特徴量が抽出された顔の顔角度よりも、処理の対象としている顔の顔角度が、顔角度の範囲の中心に近いとき、その表情および顔角度での顔の特徴量を抽出する。例えば、-7.5から7.5度までの顔角度の特徴量が既に抽出されていても、その特徴量を抽出した顔角度よりも、現在の顔角度が０度に近ければ特徴量抽出部４２は特徴量を抽出する。

第３に、特徴量抽出部４２は、処理の対象としている顔の表情および顔角度に対応する特徴量が抽出されていても、その特徴量が抽出された顔の画像のボケ具合よりも、処理の対象としている顔の画像のボケ具合が少ないとき、その顔の特徴量を抽出する。なお、特徴量が抽出された顔の拡大顔領域画像は、その特徴量とともに記憶装置１５に記憶されており、特徴量抽出部４２は、その拡大顔領域画像を参照して、ボケ具合を比較する。

特徴量抽出部４２は、上述の第１乃至第３のいずれかの条件を満たすとき、処理の対象としている顔の特徴量を抽出して、顔の特徴量を示す情報をデータベース管理部２３に供給する。なお、特徴量抽出部４２は、データベース管理部２３から拡大顔領域画像が供給されたタイミングで、即ち、顔領域抽出部２２が全画面サーチを行ったタイミングで、顔の特徴量を抽出する処理を行う。また、上述の条件で特徴量を抽出することでより、同じパターンの特徴量が重複することを回避し、かつ、良好な特徴量を抽出することができる顔角度およびボケ具合の画像から特徴量を抽出することができる。

なお、特徴量抽出部４２は、横方向の顔角度（Yaw）ごとに顔の特徴量を抽出するのに加えて、縦方向の顔角度（Pitch）ごとに顔の特徴量を抽出してもよい。また、笑顔以外の表情として、怒りや悲しみなどの表情により、顔の特徴量を抽出する分類を細分化してもよい。このように、より多くの分類で顔特徴量を抽出することで、後述する統合処理の正確性を向上させることができる。

ヒストグラム算出部４３は、拡大顔領域画像の顔領域に対する周囲の複数の領域から、それぞれの領域のヒストグラム（色ヒストグラム）を算出し、ヒストグラムを示す情報をデータベース管理部２３に供給する。

例えば、図６に示すように、ヒストグラム算出部４３は、データベース管理部２３から供給された拡大顔領域画像について、背景差分を計算して、背景と人物領域（背景以外の人物が写されている領域）とを分離し、拡大顔領域画像内の背景を消去する（例えば、所定の色で塗りつぶす）。次に、ヒストグラム算出部４３は、顔領域の周囲の３領域（上領域、右側面領域、左側面領域）と、顔領域の下側の３つの領域（右胸領域、中央胸領域、左胸領域）とを、ヒストグラムを抽出する領域として設定する。そして、ヒストグラム算出部４３は、それぞれの領域から、ＲＧＢ３次元の色ヒストグラムを抽出する。また、ヒストグラム算出部４３は、顔がトラッキングされている間は、フレームごとにヒストグラムを算出して、データベース管理部２３に供給する。

このように、顔認識部２５において行われる顔認識処理により、顔領域内の顔について、属性推定部４１から顔の属性を示す情報が出力され、特徴量抽出部４２から顔の特徴量を示す情報が出力され、ヒストグラム算出部４３から、顔周囲および胸部のヒストグラムを示す情報が出力される。データベース管理部２３は、属性を示す情報、特徴量を示す情報、およびヒストグラムを示す情報（以下、適宜、これらの情報を識別情報と称す）を、拡大顔領域画像とともに、記憶装置１５に記憶されているデータベース３１および３２に登録する。

例えば、データベース管理部２３は、新規のトラッキングＩＤを付与した顔領域情報、その顔領域情報に対応する拡大顔領域画像、属性を示す情報、特徴量を示す情報、およびヒストグラムを示す情報を、新規顔リスト３３およびトラッキング顔リスト３６に新たなエントリを作成して登録する。また、データベース管理部２３は、トラッキング中の顔と同一のトラッキングＩＤを付与した顔領域情報を、そのトラッキングＩＤのエントリに登録（更新または積算）する。

データ統合部２６は、複数の異なる処理内容の統合処理を実行することができ、例えば、図１の制御装置１７の制御に従って、画像処理結果を使用する目的に応じた統合処理を選択して実行したり、複数の目的に応じた統合処理を並行して実行したりすることができる。

本実施の形態では、データ統合部２６は、第１の統合処理部５１と、第２の統合処理部５２とを有している。例えば、第１の統合処理部５１は、高速なレスポンスが求められるような用途に対応し、新たな顔が検出されてから１〜数フレームが経過したのタイミングで、データベース３１に登録されているデータに対する統合処理を行う。また、第２の統合処理部５２は、より正確な結果が求められるような用途に対応し、トラッキング中の顔が消失したタイミングで、データベース３２に登録されているデータに対する統合処理を行う。

例えば、データベース管理部２３は、新規顔リスト３３に登録されている顔に関する情報について、その顔が新規に検出されたフレームから規定のフレーム数（一定時間）が経過したタイミングで、その顔に関する情報を新規顔リスト３３から読み出して第１の統合処理部５１に供給する。第１の統合処理部５１による統合処理については、図９のフローチャートを参照して後述する。

また、データベース管理部２３は、トラッキング中の顔が消失したタイミングで、その顔に関する情報をトラッキング顔リスト３６から読み出して第２の統合処理部５２に供給する。第２の統合処理部５２による統合処理については、図１０のフローチャートを参照して後述する。

次に、図７は、図４の画像処理装置１４が、画像に写されている顔をトラッキングする処理を説明するフローチャートである。

図１のデジタルサイネージシステム１１による映像広告の表示が開始されるとともに処理が開始され、ステップＳ１１において、画像取得部２１は、撮像装置１３により撮像された動画像の１フレームを構成する画像を取得し（静止画像データを読み込み）、その画像を顔領域抽出部２２に供給する。

ステップＳ１１の処理後、処理はステップＳ１２に進み、顔領域抽出部２２は、画像取得部２１から供給された画像に対して全画面サーチを行う。そして、顔領域抽出部２２は、全画面サーチによるサーチ結果として、顔領域の位置および大きさを示す顔領域情報を生成し、顔領域を含む拡大顔領域画像を取得する。顔領域抽出部２２は、顔領域情報および拡大顔領域画像をデータベース管理部２３に供給し、処理はステップＳ１３に進む。

ステップＳ１３において、データベース管理部２３は、顔領域抽出部２２からの顔領域情報および拡大顔領域画像を用い、演算部２４および顔認識部２５とともに、顔認識処理（後述する図８の処理）を行い、処理はステップＳ１４に進む。

ステップＳ１４において、データベース管理部２３は、記憶装置１５のデータベース３１に格納されている新規顔リスト３３を参照し、顔が検出されたフレームから規定のフレーム数が経過した顔に関する情報があるか否かを判定する。

ステップＳ１４において、データベース管理部２３が、顔が検出されたフレームから規定のフレーム数が経過した顔に関する情報があると判定した場合、処理はステップＳ１５に進み、第１の統合処理（後述する図９の処理）が行われる。ステップＳ１５の第１の統合処理の処理後、処理はステップＳ１６に進む。

一方、ステップＳ１４において、データベース管理部２３が、顔が検出されたフレームから規定のフレーム数が経過した顔に関する情報がないと判定した場合、処理はステップＳ１５をスキップしてステップＳ１６に進む。

ステップＳ１６において、データベース管理部２３は、現在のフレームの画像において１フレーム前の画像から消失した顔があるか否かを判定する。

ステップＳ１６において、データベース管理部２３が、現在のフレームの画像において１フレーム前の画像から消失した顔があると判定した場合、処理はステップＳ１７に進み、第２の統合処理（後述する図１０の処理）が行われる。ステップＳ１７の第２の統合処理の処理後、処理はステップＳ１８に進む。

ステップＳ１８において、データベース管理部２３は、現在のフレームの画像において１フレーム前の画像から消失した顔に関する情報を移行する処理を行う。即ち、データベース管理部２３は、データベース３１の新規顔リスト３３または安定顔リスト３４に登録されている、消失した顔に関する情報を一時消失リスト３５に移行する。また、データベース管理部２３は、データベース３２のトラッキング顔リスト３６に登録されている、消失した顔に関する情報を一時消失リスト３８に移行する。このとき、データベース管理部２３は、一時消失リスト３５および一時消失リスト３８に移行したときの現在のフレームのフレーム番号を、消失した時刻を示す情報として顔に関する情報に付加する。ステップＳ１８の処理後、処理はステップＳ１９に進む。

一方、ステップＳ１６において、データベース管理部２３が、現在のフレームの画像において１フレーム前の画像から消失した顔がないと判定した場合、処理はステップＳ１７およびＳ１８をスキップしてステップＳ１９に進む。

ステップＳ１９において、データベース管理部２３は、一時消失リスト３５および一時消失リスト３８に登録されている顔に関する情報に付加されている消失時刻情報を参照し、画像から顔が消失してから所定の保存期間が経過した顔に関する情報を削除し、処理はステップＳ２０に進む。

ステップＳ２０において、データベース管理部２３は、次に処理の対象とするフレームがあるか否かを判定し、次に処理の対象とするフレームがあると判定した場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。一方、データベース管理部２３が、次に処理の対象とするフレームがないと判定した場合、処理は終了する。

次に、図８は、図７のステップＳ１３における顔認識処理を説明するフローチャートである。

ステップＳ３１において、データベース管理部２３は、現在のフレームの画像から抽出された顔領域情報のうちの、例えば、抽出された順番に従って処理対象とする顔領域情報を選択し、演算部２４に供給する。

ステップＳ３１の処理後、処理はステップＳ３２に進み、演算部２４は、処理対象の顔領域情報の顔領域と、１フレーム前の画像から抽出された全ての顔領域情報に基づく顔領域との重複率を算出し、処理はステップＳ３３に進む。

ステップＳ３３において、データベース管理部２３は、ステップＳ３２で演算部２４により算出された重複率が、トラッキング中の顔であるか否かを判定するための閾値以上であるか否かを判定する。

ステップＳ３３において、データベース管理部２３が、演算部２４により算出された重複率が、閾値以上でない（未満である）と判定した場合、処理はステップＳ３４に進む。ステップＳ３４において、データベース管理部２３は、処理対象の顔領域情報に、新しいトラッキングＩＤを付与する。即ち、この場合、処理対象の顔領域情報の顔領域が、１フレーム前の画像から抽出された顔領域情報に基づく顔領域のいずれとも距離が遠く離れており、処理対象の顔領域情報に対応する顔は、現在のフレームの画像において新しく検出されたと判定される。

一方、ステップＳ３３において、データベース管理部２３が、演算部２４により算出された重複率が、閾値以上であると判定した場合、処理はステップＳ３５に進む。ステップＳ３５において、データベース管理部２３は、閾値以上であった顔領域情報のトラッキングＩＤと同一のトラッキングＩＤを、処理対象の顔領域情報に付与する。即ち、この場合、処理対象の顔領域情報の顔は、トラッキング中の顔であると判定される。なお、閾値以上であった顔領域情報が複数あるとき、最も重複率が大きな顔領域情報のトラッキングＩＤを、処理対象の顔領域情報に付与する。

ステップＳ３５の処理後、処理はステップＳ３６に進み、データベース管理部２３は、処理対象の顔領域情報に付与したトラッキングＩＤを演算部２４に通知するとともに、トラッキング中の顔であると判定した顔領域情報を通知する。演算部２４は、トラッキング中であると判定された顔について、処理対象の顔領域の位置および１フレーム前の画像における顔領域の位置と、フレームレートとに基づいて、その顔の移動速度を算出し、移動速度を示す情報をデータベース管理部２３に供給する。

ステップＳ３６の処理後、処理はステップＳ３７に進み、データベース管理部２３は、拡大顔領域画像を特徴量抽出部４２に供給する。特徴量抽出部４２は、拡大顔領域画像に含まれる顔領域内の顔の顔角度および表情を特定するとともに、データベース３１および３２を参照して、特徴量を抽出する条件を満たしているか否か、即ち、上述した第１乃至第３のいずれかの条件を満たしているか否かを判定する。

ステップＳ３７において、特徴量抽出部４２が特徴量を抽出する条件を満たしていると判定した場合、処理はステップＳ３８に進み、データベース管理部２３は、拡大顔領域画像を属性推定部４１に供給する。属性推定部４１は、その拡大顔領域画像に含まれる顔領域内の顔の特徴に基づいて、その顔に関する各種の属性を推定して、その属性を示す情報をデータベース管理部２３に供給し、処理はステップＳ３９に進む。

ステップＳ３９において、特徴量抽出部４２は、拡大顔領域画像に含まれる顔領域内の顔の特徴を表す特徴量を抽出して、特徴量を示す情報をデータベース管理部２３に供給し、処理はステップＳ４０に進む。

ステップＳ４０において、データベース管理部２３は、拡大顔領域画像をヒストグラム算出部４３に供給する。ヒストグラム算出部４３は、顔領域の周囲の３領域（上領域、右側面領域、左側面領域）と、顔領域の下側の３つの領域（右胸領域、中央胸領域、左胸領域）とからヒストグラムを抽出し、ヒストグラムを示す情報をデータベース管理部２３に供給する。

ステップＳ４０の処理後、または、ステップＳ３７において特徴量抽出部４２が特徴量を抽出する条件を満たしていないと判定した場合、処理はステップＳ４１に進む。ステップＳ４１において、データベース管理部２３は、処理対象の顔領域情報、拡大顔領域画像、移動速度を示す情報、属性を示す情報、特徴量を示す情報、およびヒストグラムを示す情報を、記憶装置１５に記憶されているデータベース３１および３２に登録する。このとき、データベース管理部２３は、ステップＳ３４において新規のトラッキングＩＤを付与している場合、新たなエントリを作成して登録し、ステップＳ３５において、トラッキング中の顔と同一のトラッキングＩＤを付与している場合、既に作成されている対応するエントリに登録する。

ステップＳ４１の処理後、処理はステップＳ４２に進み、データベース管理部２３は、現在のフレームの画像から抽出された全ての顔領域情報を処理の対象としたか否かを判定し、全ての顔領域情報を処理の対象としていないと判定した場合、処理はステップＳ３１に戻り、以下、同様の処理が繰り返される。一方、データベース管理部２３が、全ての顔領域情報を処理の対象としたと判定した場合、処理は終了する。

次に、図９は、図７のステップＳ１５における第１の統合処理を説明するフローチャートである。

ステップＳ５１において、データベース管理部２３は、記憶装置１５のデータベース３１に格納されている新規顔リスト３３から、規定のフレーム数が経過した顔に関する情報のうちの、例えば、トラッキングＩＤの順番に従って処理の対象とする顔に関する情報を選択し、第１の統合処理部５１に供給する。

ステップＳ５１の処理後、処理はステップＳ５２に進み、第１の統合処理部５１は、一時消失リスト３５に登録されている顔の顔領域が、現在のフレームの画像において表れると推定される推定範囲を求め、処理対象の顔と同一人物の顔が一時消失リスト３５に登録されているか否かの判定に用いる閾値を決定する。

一時消失リスト３５に登録されている顔に関する情報には、顔が消失したフレームのフレーム番号、顔が消失したときの顔領域情報および移動速度を示す情報が含まれている。第１の統合処理部５１は、顔が消失したフレームから現在のフレームまでの時間（フレーム番号の差×フレームレート）を算出し、その時間と移動速度とから移動量を推定し、その移動量だけ、顔が消失したときの顔領域の位置から離れた位置を中心とした推定範囲（例えば、顔領域の1.5倍の範囲）に、消失した顔が表れると推定する。

そして、第１の統合処理部５１は、処理対象の顔が、推定範囲外にある場合には、その推定範囲を求めた顔との判定に用いる閾値を、高い値に決定し、推定範囲内にある場合には、その推定範囲を求めた顔との判定に用いる閾値を、低い値に決定する。なお、第１の統合処理部５１は、推定した位置により閾値を変動させるのに加えて、例えば、顔領域の大きさや、顔の向きなどを推定し、それらの推定状態に該当する場合には、閾値を低くするようにしてもよい。

ステップＳ５２の処理後、処理はステップＳ５３に進み、第１の統合処理部５１は、処理対象の顔の特徴量と、一時消失リスト３５に登録されている顔の特徴量とに基づいて、それぞれの顔どうしの類似度を算出する。

ステップＳ５３の処理後、処理はステップＳ５４に進み、第１の統合処理部５１は、処理対象の顔と同一人物の顔が、一時消失リスト３５に登録されているか否かを判定する。即ち、第１の統合処理部５１は、ステップＳ５３で算出した類似度について、それぞれステップＳ５２で決定した閾値以上であるか否かを判定し、閾値以上の類似度がある場合には、処理対象の顔と同一人物の顔が一時消失リスト３５に登録されていると判定する。一方、閾値以上の類似度がない場合には、処理対象の顔と同一人物の顔が一時消失リスト３５に登録されていないと判定する。

ステップＳ５４において、第１の統合処理部５１が、処理対象の顔と同一人物の顔が一時消失リスト３５に登録されていると判定した場合、処理はステップＳ５５に進む。ステップＳ５５において、第１の統合処理部５１は、一時消失リスト３５に登録されている情報のうちの、最も高い類似度が算出された顔に関する情報に付与されていたトラッキングＩＤで、処理対象の顔に関する情報のトラッキングＩＤを書き換えて、それらの顔に関する情報を統合する。そして、データベース管理部２３は、トラッキングＩＤが書き換えられた顔に関する情報を、安定顔リスト３４に登録するとともに、新規顔リスト３３および一時消失リスト３５に登録されていた、その情報を削除する。

一方、ステップＳ５４において、第１の統合処理部５１が、処理対象の顔と同一人物の顔が一時消失リスト３５に登録されていないと判定した場合、処理はステップＳ５６に進む。ステップＳ５６において、データベース管理部２３は、処理対象の顔に関する情報を、新規顔リスト３３から一時消失リスト３５に移行する。

ステップＳ５５またはＳ５６の処理後、処理はステップＳ５７に進み、データベース管理部２３は、規定のフレーム数が経過した全ての顔に関する情報を処理の対象としたか否かを判定し、全ての顔に関する情報を処理の対象としていないと判定した場合、処理はステップＳ５１に戻り、以下、同様の処理が繰り返される。一方、データベース管理部２３が、全ての顔に関する情報を処理の対象としたと判定した場合、処理は終了する。

以上のように、第１の統合処理部５１は、処理対象の顔が一時的に消失した顔であるか否かを判定するための閾値を、消失した顔が表れると推定される推定範囲に基づいて決定するので、固定の閾値を用いて判定を行う場合よりも、一時的に消失した顔を検出する確度を向上させることができる。また、例えば、顔が新規に検出されたフレームで第１の統合処理を行ってもよく、この場合、即ち、規定のフレーム数が１である場合、統合結果をより早く得ることができ、リアルタイム性を向上させることができる。

次に、図１０は、図７のステップＳ１７における第２の統合処理を説明するフローチャートである。

ステップＳ６１において、データベース管理部２３は、記憶装置１５のデータベース３２に格納されているトラッキング顔リスト３６から、現在のフレームの画像において１フレーム前の画像から消失した顔に関する情報のうち、例えば、トラッキングＩＤの順番に従って処理の対象とする顔に関する情報を選択し、第２の統合処理部５２に供給する。

ステップＳ６１の処理後、処理はステップＳ６２に進み、第２の統合処理部５２は、供給された顔に関する情報に含まれている拡大顔領域画像に基づいて、有効な顔の類似度を算出することができるか否かを判定する。

例えば、拡大顔領域画像に含まれる顔領域の大きさが小さい場合には、具体的には、４０ピクセル程度以下の場合には、有効な顔の類似度を算出することができない。また、画像がボケている場合にも、有効な顔の類似度を算出することができない。従って、第２の統合処理部５２は、拡大顔領域画像に含まれる顔領域の大きさが所定の大きさ以上であり、かつ、画像がボケていない場合、有効な顔の類似度を算出することができると判定する。一方、第２の統合処理部５２は、拡大顔領域画像に含まれる顔領域の大きさが所定の大きさ未満であるか、または、画像がボケている場合、有効な顔の類似度を算出することができないと判定する。

ステップＳ６２において、第２の統合処理部５２が、有効な顔の類似度を算出することができると判定した場合、処理はステップＳ６３に進み、第２の統合処理部５２は、処理対象の顔の特徴量と、一時消失リスト３８に登録されている顔の特徴量とに基づいて、それぞれの顔どうしの類似度を算出する。このとき、第２の統合処理部５２は、図３を参照して説明したように、５つの顔方向ごとに、それぞれ対応する顔の類似度を算出する。

ステップＳ６４の処理後、処理はステップＳ６４に進み、第２の統合処理部５２は、ステップＳ６３で算出した顔の類似度が所定の閾値以上であるか否かを判定する。

ステップＳ６４において、第２の統合処理部５２が、ステップＳ６３で算出した顔の類似度が所定の閾値以上であると判定した場合、処理はステップＳ６５に進む。即ち、この場合、処理対象の顔は、一時的に消失した顔であると判定される。

ステップＳ６５において、一時消失リスト３５に登録されている情報のうちの、最も高い類似度が算出された顔に関する情報を、統合顔リスト３７に移行するとともに、その情報のフェースＩＤのエントリに、処理対象の顔に関する情報をトラッキング顔リスト３６から移行して登録する。

一方、ステップＳ６４において、第２の統合処理部５２が、ステップＳ６３で算出した顔の類似度が所定の閾値未満であると判定した場合、処理はステップＳ６６に進む。即ち、この場合、処理対象の顔は、一時的に消失した顔でなく、新たに検出された顔であると判定される。

ステップＳ６６において、第２の統合処理部５２は、処理対象の顔に関する情報に新規のフェースＩＤを付与し、統合顔リスト３７に新たなエントリを作成して、処理対象の顔に関する情報をトラッキング顔リスト３６から移行する。

一方、ステップＳ６２において、第２の統合処理部５２が、有効な顔の類似度を算出することができないと判定した場合、処理はステップＳ６７に進む。ステップＳ６７において、第２の統合処理部５２は、処理対象の顔に関する情報に含まれているヒストグラムを示す情報のうちの、顔領域の下側の３つの領域（右胸領域、中央胸領域、左胸領域）から抽出されたヒストグラムと、一時消失リスト３８に登録されている顔の対応するヒストグラムとに基づいて、それぞれの胸部どうしの類似度を算出する。

ステップＳ６７の処理後、処理はステップＳ６８に進み、第２の統合処理部５２は、ステップＳ６７で算出した胸部の類似度が所定の閾値以上であるか否かを判定する。

ステップＳ６８において、第２の統合処理部５２が、ステップＳ６７で算出した胸部の類似度が所定の閾値以上であると判定した場合、処理はステップＳ６９に進む。ステップＳ６９において、第２の統合処理部５２は、処理対象の顔に関する情報に含まれているヒストグラムを示す情報のうちの、顔領域の周囲の３領域（上領域、右側面領域、左側面領域）から抽出されたヒストグラムと、一時消失リスト３８に登録されている顔のうちの、閾値以上の胸部の類似度が算出された顔の対応するヒストグラムとに基づいて、それぞれの胸部どうしの類似度を算出する。

ステップＳ６９の処理後、処理はステップＳ７０に進み、第２の統合処理部５２は、ステップＳ６９で算出した顔領域の周囲の類似度が所定の閾値以上であるか否かを判定する。

ステップＳ７０において、第２の統合処理部５２が、ステップＳ６９で算出した顔領域の周囲の類似度が所定の閾値以上であると判定した場合、処理はステップＳ７１に進む。ステップＳ７１において、第２の統合処理部５２は、処理対象の顔に関する情報に含まれている属性を示す情報が、一時消失リスト３８に登録されている顔のうちの、閾値以上の顔領域の周囲の類似度が算出された顔の属性を示す情報と一致するか否かを判定する。

ステップＳ７１において、第２の統合処理部５２が、処理対象の顔に関する情報に含まれている属性を示す情報と、一時消失リスト３８に登録されている顔の属性を示す情報とが一致すると判定した場合、処理はステップＳ７２に進む。即ち、胸部の類似度が閾値以上で、かつ、顔領域の周囲の類似度が閾値以上で、かつ、属性が一致する場合、処理対象の顔は、一時的に消失した顔であると判定される。

ステップＳ７２において、第２の統合処理部５２は、ステップＳ７１で属性が一致すると判定された顔に関する情報を統合顔リスト３７に移行するとともに、その情報のフェースＩＤのエントリに、処理対象の顔に関する情報をトラッキング顔リスト３６から移行して登録する。

一方、ステップＳ６８において、ステップＳ６７で算出した胸部の類似度が所定の閾値以上でないと判定された場合、ステップＳ７０において、ステップＳ６９で算出した顔領域の周囲の類似度が所定の閾値以上でないと判定した場合、または、ステップＳ７１において、属性を示す情報が一致しないと判定された場合、処理はステップＳ７３に進む。

ステップＳ７３において、第２の統合処理部５２は、処理対象の顔に関する情報に新規のフェースＩＤを付与し、統合顔リスト３７に新たなエントリを作成して、処理対象の顔に関する情報をトラッキング顔リスト３６から移行する。

ステップＳ６５、Ｓ６６、Ｓ７２、またはＳ７３の処理後、処理はステップＳ７４に進み、データベース管理部２３は、現在のフレームの画像において１フレーム前の画像から消失した全ての顔に関する情報を処理の対象としたか否かを判定し、全ての顔に関する情報を処理の対象としていないと判定した場合、処理はステップＳ６１に戻り、以下、同様の処理が繰り返される。一方、データベース管理部２３が、全ての顔に関する情報を処理の対象としたと判定した場合、処理は終了する。

以上のように、第２の統合処理部５２は、顔の類似度だけでなく、胸部（例えば、洋服の色）の類似度、顔の周囲の領域（例えば、髪の色や、帽子を被っている場合には帽子の色）の類似度、および属性を用いて、一時的に消失した顔であるか否かを判定するので、顔の類似度だけを用いた場合よりも、一時的に消失した顔を検出する確度を向上させることができる。

また、例えば、画像に写されている顔が小さかったり、顔のボケ具合が大きい場合には、類似度を判定する精度が低下することがあり、そのような場合にも、高精度で同一人物を判定することが求められている。

例えば、図１１を参照して、第２の統合処理部５２による統合処理が行われなかったとき（対策前）の認識結果と、第２の統合処理部５２による統合処理が行われたとき（対策後）の認識結果とについて比較する。図１１に示すように、第２の統合処理部５２による統合処理を行うことにより、再現率の低下を抑制しつつ、適合率を飛躍的に（２倍に）向上させることができる。ここで、再現率とは、ラベリング結果の集合をＡとし、認識結果の集合をＣとし、集合Ａと集合Ｂとの積集合をＢとしたとき、Ｂ／（Ａ＋Ｂ）を演算することで求められる。また、適合率は、Ｂ／（Ｃ＋Ｂ）を演算することで求められる。また、Ｆ値は調和平均であり、第２の統合処理部５２による統合処理を行うことにより、調和平均を向上させることができる。

なお、一時的に消失した顔であるか否かの判定について、上述した方法以外に、例えば、顔の類似度×重み＋胸部の類似度×重み＋顔の周囲の領域の類似度×重みを演算して総合的な類似度を求め、総合的な類似度が閾値以上であり、かつ、属性が一致する場合に、一時的に消失した顔であると判定してもよい。また、顔の類似度×重みが閾値以上であり、胸部の類似度×重みが閾値以上であり、顔の周囲の領域の類似度×重みが閾値以上であり、かつ、属性が一致する場合に、一時的に消失した顔であると判定してもよい。

また、各閾値や重みに固定値を用いる他、一時的に消失した顔の消失時間から、新規の顔が検出されるまでの経過時間の関数で表されるような閾値や重みを採用してもよい。即ち、消失時間が短時間である場合、低い閾値で類似度の判定を行うようにしてもよい。

また、顔の類似度には、Gabor特徴ベクトルの正規化相関を用いることができる。また、胸部の類似度および顔の周囲の領域の類似度には、三次元色ヒストグラム間の逆数を用いることができる。

また、顔に関する情報を統合するときには、全ての情報を残す他、最も新しい情報だけを残したり、最も古い情報だけを残したり、最も素性の良い情報（顔確度の最も中央を向いている情報や、最もボケが少ない画像から得られた情報など）を残すようにしてもよい。さらに、情報の新しさ、古さ、素性の良さでランク付けを行い、上位の所定個数の情報を残すようにしてもよい。

なお、本実施の形態では、ヒストグラム算出部４３により、図６に示した拡大顔領域の各領域からヒストグラムを算出して類似度を判定しているが、ヒストグラムの他、例えば、各領域のエッジ方向やテクスチャ情報を取得して、類似度の判定に、エッジ方向やテクスチャ情報を用いることができる。これにより、顔が一致しているか否かをより正確に判定することができる。また、顔領域内の顔の向き（顔角度）によってヒストグラムを算出する領域の位置または大きさを変更してもよい。例えば、顔が左向きであるときには、左側面領域および左胸領域を大きくすることで、画像の写りが良い領域からヒストグラムを算出することができ、判定の正確性を向上させることができる。

なお、顔領域抽出部２２は、画像取得部２１から供給される画像のうちの、数フレームに１回の割合で、顔領域を抽出する処理を行うようにすることができる。これにより、処理の負担を軽減することができ、画像処理装置１４の処理能力が低い場合でも、顔を認識する処理や統合処理を実行することができる。また、トラッキング中の顔であるか否かの判定には顔領域の重複率を用いて処理を行っているが、例えば、この判定時に顔の特徴量を求めて類似度を算出し、類似度が高いか否かにより判定を行ってもよい。

また、図４の画像処理装置１４では、データ統合部２６が第１の統合処理部５１と第２の統合処理部５２と有しているが、いずれか１つの統合処理部を備えるように画像処理装置１４を構成してもよい。その場合、記憶装置１５にはデータベース３１および３２のうちの対応する一方のデータベースだけが記憶される。また、例えば、第１の統合処理部５１と第２の統合処理部５２とにより並列的に統合処理を行う他、画像処理結果を使用する目的に応じて、例えば、図１の通信装置１６を介してのユーザの指示に応じて、どちらか一方の統合処理だけを行うようにしてもよい。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。即ち、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ デジタルサイネージシステム， １２ 表示装置， １３ 撮像装置， １４ 画像処理装置， １５ 記憶装置， １６ 通信装置， １７ 制御装置， ２１ 画像取得部， ２２ 顔領域抽出部， ２３ データベース管理部， ２４ 演算部， ２５ 顔認識部， ２６ データ統合部， ３１および３２ データベース， ３３ 新規顔リスト， ３４ 安定顔リスト， ３５ 一時消失リスト， ３６ トラッキング顔リスト， ３７ 統合顔リスト， ３８ 一時消失リスト， ４１ 属性推定部， ４２ 特徴量抽出部， ４３ ヒストグラム算出部， ５１ 第１の統合処理部， ５２ 第２の統合処理部

Claims (12)

1. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出する顔領域抽出手段と、
   前記顔領域抽出手段により抽出された顔領域の顔を識別するための識別情報を取得する識別情報取得手段と、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う第１の統合処理手段と、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを、前記第１の統合処理手段とは異なる手法により判定して統合処理を行う第２の統合処理手段と
   を備え、
   前記第１の統合処理手段は、
   画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、
   前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理を行い、
   前記第２の統合処理手段は、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、
   前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理を行う
   画像処理装置。
2. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、
   前記抽出された顔領域の顔を識別するための識別情報を取得し、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して第１の統合処理を行い、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを、前記第１の統合処理とは異なる手法により判定して第２の統合処理を行う
   ステップを含み、
   前記第１の統合処理では、
   画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、
   前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理が行われ、
   前記第２の統合処理では、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、
   前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理が行われる
   画像処理方法。
3. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、
   前記抽出された顔領域の顔を識別するための識別情報を取得し、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して第１の統合処理を行い、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを、前記第１の統合処理とは異なる手法により判定して第２の統合処理を行う
   ステップを含む処理をコンピュータに実行させる
   前記第１の統合処理では、
   画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、
   前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理が行われ、
   前記第２の統合処理では、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、
   前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理が行われる
   プログラム。
4. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出する顔領域抽出手段と、
   前記顔領域抽出手段により抽出された顔領域の顔を識別するための識別情報を取得する識別情報取得手段と、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う統合処理手段と
   を備え、
   前記統合処理手段は、
   画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、
   前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理を行う
   画像処理装置。
5. 前記統合処理手段は、
   前記顔領域抽出手段により抽出された顔領域の顔の表情を推定し、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とで、同一の表情の顔から類似度を算出する
   処理を行う
   請求項４に記載の画像処理装置。
6. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、
   前記抽出された顔領域の顔を識別するための識別情報を取得し、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う
   ステップを含み、
   前記統合処理では、
   画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、
   前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理が行われる
   画像処理方法。
7. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、
   前記抽出された顔領域の顔を識別するための識別情報を取得し、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う
   ステップを含む処理をコンピュータに実行させ、
   前記統合処理では、
   画像から消失してから所定の保存期間内の顔が表れると推定される推定範囲と、トラッキング中の顔の位置との関係に基づいて閾値を決定し、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を算出し、
   前記算出された類似度と、前記類似度の算出に用いられた保存期間内の顔に対応する前記閾値とに基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理が行われる
   プログラム。
8. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出する顔領域抽出手段と、
   前記顔領域抽出手段により抽出された顔領域の顔を識別するための識別情報を取得する識別情報取得手段と、
   前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う統合処理手段と
   を備え、
   前記統合処理手段は、
   トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、
   前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理を行う
   画像処理装置。
9. 前記統合処理手段は、
   トラッキング中の顔の下側にある胸領域と、画像から消失してから所定の保存期間内の顔の下側にある胸領域との類似度をさらに算出し、
   前記算出された胸領域の類似度にも基づいて、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
   処理を行う
   請求項８に記載の画像処理装置。
10. 前記統合処理手段は、
    トラッキング中の顔の周囲領域と、画像から消失してから所定の保存期間内の顔の周囲領域との類似度をさらに算出し、
    前記算出された顔の周囲領域の類似度にも基づいて、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
    処理を行う
    請求項８に記載の画像処理装置。
11. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、
    前記抽出された顔領域の顔を識別するための識別情報を取得し、
    前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う
    ステップを含み、
    前記統合処理では、
    トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、
    前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
    処理が行われる
    画像処理方法。
12. 画像に写されている顔を検出し、前記顔を含む顔領域を抽出し、
    前記抽出された顔領域の顔を識別するための識別情報を取得し、
    前記識別情報に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定して統合処理を行う
    ステップを含む処理をコンピュータに実行させ、
    前記統合処理では、
    トラッキング中の顔と、画像から消失してから所定の保存期間内の顔との類似度を、複数の顔方向ごとに算出し、
    前記算出された複数の顔方向ごとの類似度に基づいて、トラッキング中の顔と、画像から消失してから所定の保存期間内の顔とが同一人物の顔であるか否かを判定する
    処理が行われる
    プログラム。

Images