JP2016019093A - 顔識別装置及びプログラム - Google Patents

Abstract

【課題】本発明が解決しようとする課題は、より正確に顔画像の追跡を行うことができる、顔識別装置およびプログラムを提供することである。【解決手段】実施形態の顔識別装置は、カメラが撮像した画像を第１フレームレートまたは前記第１フレームレートより短い第２フレームレートで入力する画像入力手段と、前記入力された画像に含まれる人物の顔を識別する顔識別手段と、前記第１フレームレートで入力された画像に基づいて識別された顔の追跡に係る所定の条件を満たしている場合、前記入力する画像の間隔を前記第１フレームレートから前記第２フレームレートに変更する制御手段と、を備える。【選択図】図７

Description

本発明の実施形態は、顔識別装置及びプログラムに関する。

近年、百貨店やスーパーマーケット等の店舗の運営者は、店舗内に設置されたカメラ等で撮像した人物の顔を顔識別して追跡することで、店舗内の防犯に役立てている。また、追跡情報をデータベース化することで、店舗内での人物の通行パターンを把握している。

このような顔の追跡は、カメラが撮像した画像に基づいて店舗内を監視する装置が店内を通行する人物の顔を識別して行っている。ところが、店舗内が混雑しているときに２人の人物が交差したような場合には、識別した複数の顔画像が入れ替わってしまうことで追跡人物の連続性が損なわれ、当該装置が、正確な人物の追跡をすることが困難となることがある。また、識別した顔画像が、例えば万引きの常習犯のような特定の人物の顔画像である場合、当該装置は、特定人を正確に追跡する必要がある場合がある。さらに、正確に人物を追跡するためには、当該装置は、正面からの顔画像を撮像することが望ましい。

本発明が解決しようとする課題は、より正確に人物の追跡を行うことができる、顔識別装置およびプログラムを提供することである。

実施形態の顔識別装置は、カメラが撮像した画像を第１フレームレートまたは前記第１フレームレートより短い第２フレームレートで入力する画像入力手段と、前記入力された画像に含まれる人物の顔を識別する顔識別手段と、前記第１フレームレートで入力された画像に基づいて識別された顔の追跡に係る所定の条件を満たしている場合、前記入力する画像の間隔を前記第１フレームレートから前記第２フレームレートに変更する制御手段と、を備える。

図１は、実施形態に係る各装置のシステム図である。 図２は、ＳＣのハードウェア構成を示すブロック図である。 図３は、ＳＣのメモリ部のメモリ構成を示すメモリマップである。 図４は、ＳＣのメモリ部のメモリ構成を示すメモリマップである。 図５は、ＳＣのメモリ部のメモリ構成を示すメモリマップである。 図６は、ＳＣの機能構成を示す機能ブロック図である。 図７は、ＳＣの制御処理を示すフローチャートである。 図８は、ＳＣの制御処理の一部を示すフローチャートである。 図９は、ＳＣの制御処理の一部を示すフローチャートである。 図１０は、ＳＣの制御処理の一部を示すフローチャートである。 図１１は、ＳＣの表示部が表示する画像例を示す図である。 図１２は、ＳＣの表示部が表示する画像例を示す図である。

以下、図１〜図１２を参照して、実施形態の顔識別装置およびプログラムを詳細に説明する。なお、以下に説明する実施形態では、百貨店やスーパーマーケット等の店舗に設置されたストアコンピュータ（ＳＣ）を顔識別装置の一例として説明するが、実施形態によりこの発明が限定されるものではない。

図１は、実施形態に係るシステムの各装置の接続関係を示すシステム図である。図１において、システムは、ＳＣ（Store Computer）１、ＰＯＳ（Point of Sales）端末２、複数台のカメラ３を備えている。これらの装置は、例えばＬＡＮ（Local Area Network）のような通信回線５を介して互いに接続されている。

ＰＯＳ端末２は、店舗で購入された商品について販売登録処理を実行する。また、ＰＯＳ端末２は、商品販売登録情報を生成し、通信回線５を介してＳＣ１に送信する。

ＳＣ１は、ＰＯＳ端末２から受信した商品販売登録情報を収集して管理する。また、ＳＣ１は、店舗で販売する商品の価格や商品名等の商品情報を記憶する。また、ＳＣ１は、カメラ３が撮像した画像を入力し、入力された画像に基づいて店舗内を通行する人物を追跡して管理する。

カメラ３は、店舗内を通行する人物を撮像できるよう、例えば通路付近の天井等に、一定間隔置きに通路に沿って複数台設置されている。カメラ３は、通路を通行する人物をほぼ正面から撮像できるよう、天井から人物に向けられている。設置された複数台のカメラ３によって、人物が来店してから退店するまでの通行経路を撮像することができる。実施形態では、店内の通路に沿ってｎ台のカメラ３が設置されており、これらのカメラ３で人物Ｐ１および人物Ｐ２を撮像する。

図２は、ＳＣ１のハードウェア構成を示すブロック図である。図２において、ＳＣ１は、制御主体となるＣＰＵ（Central Processing Unit）１１、各種プログラムを記憶するＲＯＭ（Read Only Memory）１２、各種データを展開するＲＡＭ（Random Access Memory）１３、各種プログラムを記憶するメモリ部１４等を備えている。ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、メモリ部１４は、互いにデータバス１５を介して接続されている。ＣＰＵ１１とＲＯＭ１２とＲＡＭ１３が、制御部１００を構成する。すなわち、制御部１００は、ＣＰＵ１１がＲＯＭ１２やメモリ部１４に記憶されＲＡＭ１３に展開された制御プログラム１４１に従って動作することによって、後述する制御処理を実行する。

ＲＡＭ１３は、制御プログラム１４１を初めとする各種プログラムを展開する他、カメラ３で撮像された画像をメモリ部１４に記憶するまで一時的に記憶する。

メモリ部１４は、電源を切っても記憶情報が保持されるＨＤＤ（Hard Disc Drive）やフラッシュメモリ等の不揮発性メモリであって、制御プログラム１４１を含むプログラム等を記憶する。また、メモリ部１４は、カメラ３が撮像した画像を入力し、顔識別したフレームをフレーム毎に記憶するフレーム記憶部１４２、例えば過去に罪を犯した特定人の顔画像をパーツ毎に記憶する。メモリ部１４は、特定人の顔を特定できる特定人記憶部１４３、顔識別した人物を追跡して記憶する追跡記憶部１４４を有している。また、メモリ部１４は、後述する距離フラグ、同一顔フラグ、正面フラグを記憶している。

また、データバス１５には、操作部１７と表示部１８が、コントローラ１６を介して接続されている。

操作部１７は、数字を置数するテンキーや各種ファンクションキー等を備えている。表示部１８は、各種情報等の他、カメラ３から入力した店内の画像を表示する。表示部１８は、ある特定のカメラ３が撮像した画像を表示する。また表示部１８は、複数台のカメラ３が撮像した画像を、画面を分割して同一画面に一度に表示する。

また、データバス１５は、ＬＡＮＩ／Ｆ（Interface）等の通信Ｉ／Ｆ１９を接続している。通信Ｉ／Ｆ１９は、通信回線５と接続している。通信Ｉ／Ｆ１９は、カメラ３で撮像された画像を受信する。

図３は、フレーム記憶部１４２を示すメモリマップである。フレーム記憶部１４２は、カメラ３から入力されたフレームの画像に基づいて顔識別された人物の各パーツの撮像画像を、識別された人物に対応してパーツ毎に記憶している。なお、フレーム記憶部１４２は、フレーム画像が入力される毎に、図３に示す、新たなフレームに対応して識別された画像を記憶する。

顔識別技術は、人物の顔を識別する公知な技術であり、顔認識した顔を、目、鼻、口、アゴ等の各パーツに分けて、各パーツの画像情報に基づいて当該顔認識した顔のパーツの特徴をとらえることで、全体として個人の顔を識別する。なお、顔認識技術は、入力された画像から人物の目、鼻、口等の存在を認識して、人物の顔であることを認識する公知な技術である。なお、顔のパーツは、顔が識別できる特徴的な部分であればよく、必ずしも目、鼻、口、アゴのすべてに基づく必要はない。また、目、鼻、口、アゴに他のパーツを加えてもよい。さらに、目、鼻、口、アゴに限らず、他の顔のパーツであってもよい。

図３において、フレーム記憶部１４２は、フレーム番号部１４２１、人物部１４２２、目部１４２３、鼻部１４２４、口部１４２５、アゴ部１４２６を有している。フレーム番号部１４２１は、入力された画像のフレームを特定するためのフレーム番号を記憶する。フレーム番号は、入力された画像に自動的に付される。人物部１４２２は、入力された画像から識別された、当該画像に写っていた人物を個人毎に記憶する。図３の例では、人物Ｐ１と人物Ｐ２の二人の顔が識別されて記憶されている。なお、目部１４２３、鼻部１４２４、口部１４２５、アゴ部１４２６を総称してパーツ部１４２７という。

目部１４２３は、識別された顔のパーツのうち目の画像情報を記憶する。鼻部１４２４は、識別された顔のパーツのうち鼻の画像情報を記憶する。口部１４２５は、識別された顔のパーツのうち口の画像情報を記憶する。アゴ部１４２６は、識別された顔のパーツのうちアゴの画像情報を記憶する。例えば、制御部１００は、人物Ｐ１に対応して記憶されたパーツである目、鼻、口、アゴの各画像情報の特徴をとらえることで、人物Ｐ１の顔の特徴を把握する。同様に、制御部１００は、人物Ｐ２の顔の特徴を把握する。このようにして、制御部１００は、人物Ｐ１の顔と人物Ｐ２の顔とを識別することができる。

図４は、特定人記憶部１４３を示すメモリマップである。特定人記憶部１４３は、特定の人物を示す特定人のパーツを記憶して、当該特定人の顔の特徴を記憶する。特定人とは、例えば万引き等の、過去に店舗に被害や影響を及ぼすような罪を犯した人物や、店舗での買物回数や買物金額が特に多い優良顧客等をいう。罪を犯した特定人が来店した場合は、店舗の運営者は、当該特定人に対する監視を強化する必要がある。また、優良顧客が来店した場合は、店舗の運営者は、当該特定人に対して特別なサービスや案内を提供するために、当該優良顧客の居場所を把握する必要がある。

図４において、特定人記憶部１４３は、特定人部１４３１、目部１４３２、鼻部１４３３、口部１４３４、アゴ部１４３５を有している。特定人部１４３１は、特定人の氏名、年齢、性別等の人情報を記憶する。目部１４３２は、特定人の目の画像情報を記憶する。鼻部１４３３は、特定人の鼻の画像情報を記憶する。口部１４３４は、特定人の口の画像情報を記憶する。アゴ部１４３５は、特定人のアゴの画像情報を記憶する。例えば、制御部１００は、特定人ＴＰ１の目部１４３２、鼻部１４３３、口部１４３４、アゴ部１４３５に記憶された目、鼻、口、アゴの各画像情報に基づいて、特定人ＴＰ１の顔の特徴を把握することができる。

図５は、追跡記憶部１４４を示すメモリマップである。追跡記憶部１４４は、入力された画像（以降「フレーム」という）で識別された顔が、過去のフレームで識別された顔と同一人物の顔である場合に、識別された人に対応して、当該顔が識別されたすべてのフレームを追加的に記憶する。制御部１００は、記憶されたフレームを解析して当該顔の人物の通行経路を把握することで、店舗内における当該人物の通行範囲を追跡することができる。また、このような人物の通行範囲情報を蓄積することで、店舗内での人物の流れや滞留状況を把握できるとともに、これらの人物の流れを利用した販売戦略に利用することもできる。

図５において、追跡記憶部１４４は、人物部１４４１、フレーム番号部１４４２を有する。人物部１４４１は、入力された各フレームにおいて、連続して識別された人物を記憶する。図５の例では、人物Ｐ１と人物Ｐ２が記憶されている。フレーム番号部１４４２は、各人物に対応して、当該人物の顔が識別されたすべてのフレームのフレーム番号を記憶する。

実施形態では、店内に設置された１番目のカメラ３から入力されたフレームには、フレーム番号１１〜１Ｎまでの番号が付される。店内に設置された２番目のカメラ３から入力されたフレームには、フレーム番号２１〜２Ｎまでの番号が付される。このようにフレーム番号が付されることで、追跡記憶部１４４に記憶されたフレームが店内に設置されたｎ台のカメラ３のうちのどのカメラで撮像され入力されたフレームであるかが認識できる。そのため、制御部１００が追跡記憶部１４４に記憶されたフレームのフレーム番号を解析すれば、当該人物が店内のどの経路を通行したかを把握することができる。

図５の例では、人物Ｐ１は、フレーム番号１１〜３Ｎまで連続して記憶している。これは、人物Ｐ１の顔が、１番目のカメラ〜３番目のカメラ３に連続して撮像されたことを示す。そのため、人物Ｐ１は、１番目のカメラ３の設置場所、２番目のカメラ３の設置場所、３番目のカメラ３の設置場所の順で店内を通行したことが把握できる。

また、人物Ｐ２については、フレーム番号１１〜１３まで連続して記憶している。これは、人物Ｐ２の顔が１番目のカメラ３で撮像された画像であるので、人物Ｐ２は、１番目のカメラ３付近を通行したことが把握できる。

続いて、図６〜図１２を用いて、ＳＣ１の制御処理について説明する。図６は、ＳＣ１の機能構成を示す機能ブロック図である。制御部１００が、ＲＯＭ１２やメモリ部１４に記憶された制御プログラム１４１を含む各種プログラムに従うことで、画像入力手段１０１、顔識別手段１０２、制御手段１０３、カウント手段１０４、ピクセル数判断手段１０５、特定顔判断手段１０６、顔追跡手段１０７、正面顔判断手段１０８として機能する。

画像入力手段１０１は、カメラ３が撮像した画像を第１フレームレートまたは第１フレームレートより短い第２フレームレートで入力する機能を有する。

顔識別手段１０２は、入力された画像に含まれる人物の顔を識別する機能を有する。

制御手段１０３は、第１フレームレートで入力された画像に基づいて識別された顔の追跡に係る所定の条件を満たしている場合、入力する画像の間隔を第１フレームレートから第２フレームレートに変更する機能を有する。

カウント手段１０４は、顔を構成するピクセル数をカウントする機能を有する。

ピクセル数判断手段１０５は、識別した２人以上の顔を構成するそれぞれのカウントしたピクセル数が所定値以上異なるか否かを判断する機能を有する。

特定顔判断手段１０６は、顔識別手段１０２が識別した顔が記憶された特定の一人の顔と一致するか否かを判断する機能を有する。

顔追跡手段１０７は、識別した顔とその後に入力された画像に含まれる識別した顔とが同一の場合に当該顔を追跡する機能を有する。

正面顔判断手段１０８は、追跡した顔について、略正面から撮られた顔の有無を判断する機能を有する。

図７〜図１０は、ＳＣ１の制御処理の流れを示すフローチャートである。制御部１００は、入力された画像情報に基づいて以下の制御を独立して実行する。

図７は、ＳＣ１の制御処理を全体的な概略を示すフローチャートである。図７において、制御部１００は、カメラ３が撮像した画像を入力するタイミングであるフレームレートを決定する処理を実行する（ステップＳ１１）。この処理について、図８を用いて詳細に説明する。

図８において、制御部１００は、カメラ３が撮像した撮像画像を受信したか否かを判断する（ステップＳ３１）。受信していない場合はされるまで待機し（ステップＳ１１のＮｏ）、受信されたと判断した場合は（ステップＳ３１のＹｅｓ）、制御部１００は、タイマーをセットする（ステップＳ３２）。

次に制御部１００は、距離フラグ（詳細は図９で説明する）が「１」であるか否かを判断する（ステップＳ３３）。顔識別した複数の顔画像が所定距離以内に位置していることを示す距離フラグが「１」でないと判断した場合は（ステップＳ３３のＮｏ）、制御部１００は、顔識別した顔画像が、特定の人物の顔画像と同一であることを示す同一顔フラグ（詳細は図１０で説明する）が「１」であるか否かを判断する（ステップＳ３４）。同一顔フラグが「１」でないと判断した場合は（ステップＳ３４のＮｏ）、制御部１００は、顔識別した顔画像が略正面から撮像した画像であることを示す正面フラグ（詳細は図７で説明する）が「１」であるか否かを判断する（ステップＳ３５）。正面フラグが「１」でない場合は（ステップＳ３５のＮｏ）、ステップＳ３２でセットしたタイマーが第１フレームレートである所定時間Ａ（例えば５００ｍｓ）経過したことを計時したか否かを判断する（ステップＳ３６）。

タイマーが所定時間Ａ（例えば５００ｍｓ）経過したことを計時したと判断した場合は（ステップＳ３６のＹｅｓ）、制御部１００は、ステップＳ１２でセットしたタイマーをリセットする（ステップＳ３８）。そして制御部１００は、通信Ｉ／Ｆ１９が受信している撮像画像を入力する（ステップＳ３９）。すなわち、距離フラグが「１」でなく、かつ同一顔フラグが「１」でなく、かつ正面フラグが「１」でないと、制御部１００が判断した場合は、制御部１００は、画像を取り込む時間間隔が長く設定された所定時間Ａのフレームレートで撮像画像を入力する。そして制御部１００は、入力した撮像画像をフレーム記憶部１４２の人物部１４２２に記憶する（ステップＳ４０）。制御部１００は、撮像画像を記憶する際に、当該撮像画像を特定する固有のフレーム番号を付して記憶する。

また、制御部１００が、距離フラグが「１」であると判断した場合（ステップＳ３３のＹｅｓ）、制御部１００は、ステップＳ３２でセットしたタイマーが、所定時間Ａより短い第２フレームレートである所定時間Ｂ（例えば１００ｍｓ）経過したことを計時したか否かを判断する（ステップＳ３７）。制御部１００が、同一顔フラグが「１」であると判断した場合（ステップＳ３４のＹｅｓ）と、制御部１００が、正面フラグが「１」であると判断した場合も（ステップＳ３５のＹｅｓ）、ステップＳ３７の処理に進む。タイマーが、所定時間Ａより短い所定時間Ｂ（例えば１００ｍｓ）経過したことを計時した場合は（ステップＳ３７のＹｅｓ）、制御部１００は、ステップＳ３８以降の処理を実行する。すなわち、距離フラグが「１」であると判断した場合、または同一顔フラグが「１」であると判断した場合、または正面フラグが「１」であると判断した場合は、制御部１００は、所定間隔Ａより画像を取り込む時間間隔が短い所定時間Ｂのフレームレートで撮像画像を入力する。

なお、ステップＳ３６において、所定時間Ａを経過していない場合（ステップＳ３６のＮｏ）、およびステップＳ３７において、所定時間Ｂを経過していないと判断した場合は（ステップＳ３７のＮｏ）、制御部１００は、ステップＳ３１に戻る。

図７の説明に戻る。制御部１００は、入力してフレーム記憶部１４２に記憶したフレーム（所定時間Ａ毎に入力した撮像画像、および所定時間Ｂ毎に入力した撮像画像）について、目、鼻、口、アゴ等のパーツの有無から顔認識を実行し（ステップＳ１２）、人物の顔の有無を認識する。そして制御部１００は、顔認識を実行した結果、顔があることを認識したか否かを判断する（ステップＳ１３）。顔を認識したと判断した場合は（ステップＳ１３のＹｅｓ）、制御部１００は、認識した顔の各パーツの画像情報を、人物毎にフレーム記憶部１４２のパーツ部１４２７に記憶して顔識別を実行する（ステップＳ１４）。なお、人物の顔を認識しないと判断した場合（ステップＳ１３のＮｏ）、制御部１００は、ステップＳ１１に戻る。

次に制御部１００は、複数人の顔の識別処理を実行する（ステップＳ１５）。この処理について図９を用いて説明する。図９において、制御部１００は、複数人の顔を識別した
か否かを判断する（ステップＳ５１）。複数人の顔を識別したと判断した場合は（ステップＳ５１のＹｅｓ）、制御部１００は、当該複数の顔について、顔を構成する領域内に、一定面積の画素（以降「ピクセル」という）の数（以降「ピクセル数」という）が何個含まれるかを計算する（ステップＳ５２）。

識別したそれぞれの顔のピクセル数が所定範囲内（すなわち、ほぼ等しい）であれば、当該顔がほぼ横並び（すなわち、それぞれの顔は撮像したカメラ３からほぼ等距離）であると判断する。一方、識別したそれぞれの顔のピクセル数の差が所定範囲を超える場合は、ピクセル数が少ない顔は、ピクセル数が多い顔より撮像したカメラ３からの距離が遠方に位置すると判断する。

図１１と図１２は、入力した異なる２個のフレームを示す図であり、いずれも人物Ｐ１と人物Ｐ２の２人の人物の顔を識別した場合の画像である。図１１の場合、人物Ｐ１の顔を構成する面積Ｆ１に含まれるピクセル数と、人物Ｐ２の顔を構成する面積Ｆ２に含まれるピクセル数との差が、所定範囲内（ほぼ等しい）である。そのため、制御部１００は、人物Ｐ１の顔と人物Ｐ２の顔はほぼ横並びであると判断する。

一方図１２の場合、制御部１００は、人物Ｐ１の顔と人物Ｐ２の顔とは横並びではなく、人物Ｐ１の顔は人物Ｐ２の顔より遠方にあると判断する。このように制御部１００が判断するのは、人物Ｐ１の顔を構成する面積Ｆ１に含まれるピクセル数が、人物Ｐ２の顔を構成する面積Ｆ２に含まれるピクセル数より所定範囲を超えて少ないためである。

図９の説明に戻る。制御部１００は、計算したピクセル数の差が所定範囲内か否かを判断する（ステップＳ５３）。所定範囲内であると判断した場合は（ステップＳ５３のＹｅｓ）、制御部１００は、当該複数の顔の距離Ｈを計算する（ステップＳ５４）。複数の顔の距離Ｈは、それぞれの顔の同じパーツどうしの距離に基づいて計算する。実施形態では、ステップＳ１４において顔識別をしたときに、それぞれの顔を構成するすべてのパーツの座標を記憶している。そのため、ステップＳ５４において、異なる顔を構成する同一のパーツの座標に基づいて顔の距離を計算する。

例えば、人物Ｐ１の鼻の座標と人物Ｐ２の鼻の座標（Ｘ座標）とに基づいて、人物Ｐ１の鼻と人物Ｐ２の鼻の距離を計算する。この鼻の距離が人物Ｐ１の顔と人物Ｐ２の顔との距離と判断する。なお、鼻以外に、両顔の左目、右目、口、アゴのいずれかの距離、または複数のパーツの距離を計算して、顔の距離を計算してもよい。また、上記複数の顔が横並びであるか否かの判断に、各顔のパーツの座標（Ｙ座標）を用いてもよい。

次に制御部１００は、計算した顔の距離に基づいて、当該複数の顔が、予め定められた所定距離以内（例えば１ｍ以内）に位置しているか否かを判断する（ステップＳ５５）。所定距離以内に位置していると判断した場合は（ステップＳ５５のＹｅｓ）、制御部１００は、当該人物どうしが互いに近接していると判断する。このような場合、当該近接した複数の人物を正確に追跡するためには、通信Ｉ／Ｆ１９から入力するフレームレートを高める（すなわち、画像を取り込む時間間隔を短くする）ことが必要となる。そのため、制御部１００は、メモリ部１４に記憶されている距離フラグを「１」にセットする。

なお、ステップＳ５１において、複数人の顔を識別していないと判断した場合と（ステップＳ５１のＮｏ）、制御部１００は、メモリ部１４に記憶されている距離フラグを「０」にセットする（ステップＳ５７）。ステップＳ５３において、計算したピクセル数の差が所定範囲内ではないと判断した場合と（ステップＳ５３のＮｏ）、ステップＳ５５において、複数の顔が、予め定められた所定距離以内に位置していないと判断した場合も（ステップＳ５５のＮｏ）、制御部１００は、ステップＳ５７の処理に進む。

図７の説明に戻る。制御部１００は、当該識別した顔について、特定人と同一の顔であるか否かの特定人識別処理を実行する（ステップＳ１６）。この処理について、図１０を用いて説明する。

まず、制御部１００は、フレーム記憶部１４２に記憶したすべてのパーツと、特定人記憶部１４３に記憶した特定人の顔のすべてのパーツとを比較する（ステップＳ６１）。比較した結果として、フレーム記憶部１４２に記憶したすべてのパーツが、特定人記憶部１４３に記憶したいずれかの特定人の顔のすべてのパーツと同一か否かを判断する（ステップＳ６２）。

フレーム記憶部１４２のパーツ部１４２７に記憶したすべてのパーツが、特定人記憶部１４３に記憶したある特定人の顔のすべてのパーツと一致していると判断した場合は、制御部１００は、フレーム記憶部１４２に記憶した顔が特定人記憶部１４３に記憶したある特定人の顔と同一であると判断する（ステップＳ６２のＹｅｓ）。そして制御部１００は、メモリ部１４に記憶している同一顔フラグを「１」にセットする（ステップＳ６３）。

一方、フレーム記憶部１４２のパーツ部１４２７に記憶したパーツが、特定人記憶部１４３に記憶したいずれの特定人の顔のパーツとも一致しないと判断した場合は、制御部１００は、フレーム記憶部１４２に記憶した顔は特定人記憶部１４３に記憶した特定人の顔ではないと判断する（ステップＳ６２のＮｏ）。そして制御部１００は、メモリ部１４に記憶している同一顔フラグを「０」にセットする（ステップＳ６４）。

図７の説明に戻る。制御部１００は、フレーム記憶部１４２のパーツ部１４２７に記憶した今回のフレームの顔と、フレーム記憶部１４２のパーツ部１４２７に記憶した今回より前に記憶したフレームの顔とを比較する（ステップＳ１７）。すなわち、パーツ部１４２７に記憶した今回のフレームで識別された人物の顔画像が、同じくパーツ部１４２７に記憶されており、直前を含む今回より前に記憶したフレームに存在するか否かを調査する。制御部１００は、調査の結果同一の顔が存在するか否かを判断する（ステップＳ１８）。存在すると判断した場合は（ステップＳ１８のＹｅｓ）、制御部１００は、当該フレームのフレーム番号を、追跡記憶部１４４のフレーム番号部１４４２に、該当する人物に対応して記憶する（ステップＳ１９）。存在しないと判断した場合は（ステップＳ１８のＮｏ）、制御部１００は、ステップＳ１９をスキップする。

次に制御部１００は、追跡記憶部１４４のフレーム番号部１４４２に、当該追跡している顔画像に略正面画像があるか否かを判断する（ステップＳ２０）。メモリ部１４は、予め正面から撮像した標準的な人物の顔画像を記憶している。当該標準的な顔画像は無表情の顔画像である。制御部１００は、追跡記憶部１４４のフレーム番号部１４４２に記憶されている、当該追跡している顔画像とメモリ部１４に記憶されている標準的な人物の顔画像とを比較する。そして制御部１００は、フレーム番号部１４４２に記憶されている顔画像に、標準的な人物の顔画像と略同一の正面方向を向いている画像があるか否かで、追跡記憶部１４４のフレーム番号部１４４２に、当該追跡している顔画像に略正面画像があるか否かを判断する。なお、制御部１００は、ステップＳ７１の判断の際、被比較画像が無表情であるか否かも考慮される。無表情である顔画像の方が、より正面画像であると判断される。

制御部１００が、追跡記憶部１４４のフレーム番号部１４４２に記憶されている、当該追跡している顔画像に、略正面画像がないと判断した場合は（ステップＳ２０のＮｏ）、制御部１００は、メモリ部１４に記憶されている正面フラグを「１」にセットする（ステップＳ２１）。また、追跡記憶部１４４のフレーム番号部１４４２に記憶されている、当該追跡している顔画像に、略正面画像があると判断した場合は（ステップＳ２０のＹｅｓ）、制御部１００は、メモリ部１４に記憶されている正面フラグを「０」にセットする（ステップＳ２２）。制御部１００は、ステップＳ７２またはステップＳ７３の処理を実行してステップＳ１１に戻る。

このような実施形態によれば、制御部１００は、距離フラグが「１」である場合、すなわち、フレームに撮像された複数の顔画像が所定距離より近い位置に存在する場合、入力するフレームのフレームレートを、所定時間Ａから、所定時間Ａより短い所定時間Ｂに変更して、短時間のフレームレートでフレームを入力し、それぞれのフレームについて顔解析を実行する。よって、複数の顔画像が例えば交差するようなことがあっても、より正確に複数の顔画像を追跡することができる。

また、実施形態によれば、制御部１００は、同一顔フラグが「１」の場合、特定人記憶部１４３に記憶された特定人のうちの一人を識別したと判断する。そして制御部１００は、入力するフレームの間隔時間を、所定時間Ａから、所定時間Ａより短い所定時間Ｂに変更して、短時間のフレームレートでフレームを入力し、それぞれのフレームについて顔解析を実行する。そのため、特定人と判断した顔画像をより正確に複数の顔画像を追跡することができる。

また、実施形態によれば、制御部１００は、正面フラグが「１」の場合、追跡記憶部１４４に記憶された顔画像に略正面画像がないと判断する。そして制御部１００は、入力するフレームの間隔時間を、所定時間Ａから、所定時間Ａより短い所定時間Ｂに変更して、短時間のフレームレートでフレームを入力し、それぞれのフレームについて顔識別を実行する。そのため、略正面から顔画像を撮像するチャンスが多くなる。

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、実施形態では、フレームレートとして所定時間Ｂを一例として１００ｍｓとしたが、精度を向上させるためにもっと短時間のフレームレートとしてもよい。

また、実施形態では、フレーム記憶部１４２に記憶された目、鼻、口、アゴのすべてのパーツが、特定人記憶部１４３に記憶されたいずれかの人物の目、鼻、口、アゴのパーツと一致した場合に、同一顔フラグを「１」にセットしたが、すべてのパーツが一致しなくてもよい。例えば、ある程度のパーツが一致した場合に同一顔フラグを「１」にセットするようにしてもよい。

また、実施形態では、正面フラグを「１」にセットする場合、顔画像が無表情であるか否かを考慮したが、必ずしも顔画像が無表情であるかを考慮する必要はない。

また、実施形態では、カメラ３が撮像した画像を入力する時間間隔を所定時間Ａから所定時間Ｂに変更するようにしてフレームレートを変更したが、カメラ３が画像を撮像するタイミングを変更してフレームレートを変更するようにしてもよい。

なお、実施形態のＳＣ１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（FD）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態のＳＣ１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施形態のＳＣ１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施形態のＳＣ１で実行されるプログラムを、ＲＯＭ１２等に予め組み込んで提供するように構成してもよい。

１ ＳＣ
３ カメラ
１１ ＣＰＵ
１４ メモリ部
１００ 制御部
１０１ 画像入力手段
１０２ 顔識別手段
１０３ 制御手段
１０４ カウント手段
１０５ ピクセル数判断手段
１０６ 特定顔記憶手段
１０７ 特定顔判断手段
１０８ 顔追跡手段
１０９ 正面顔判断手段
１４２ フレーム記憶部
１４３ 特定人記憶部
１４４ 追跡記憶部

特開２０００−２００３５７号公報

Claims (6)

1. カメラが撮像した画像を第１フレームレートまたは前記第１フレームレートより高い第２フレームレートで入力する画像入力手段と、
   前記入力された画像に含まれる人物の顔を識別する顔識別手段と、
   前記第１フレームレートで入力された画像に基づいて識別された顔の追跡に係る所定の条件を満たしている場合、前記入力する画像の間隔を前記第１フレームレートから前記第２フレームレートに変更する制御手段と、
   を備える顔識別装置。
2. 前記制御手段は、前記第１フレームレートで入力された同一画像に含まれる２人以上の識別された顔が所定距離以内に位置すると判断した場合、前記所定の条件を満たしているとする、
   請求項１に記載の顔識別装置。
3. 前記顔を構成するピクセル数をカウントするカウント手段と、
   前記識別した２人以上の顔を構成するそれぞれの前記カウントしたピクセル数が所定値以上異なるか否かを判断するピクセル数判断手段と、
   をさらに備え、
   前記制御手段は、前記第１フレームレートで入力された同一画像に含まれる前記２人以上の識別された顔を構成する前記ピクセル数が所定値以上異なる場合は、前記所定の条件を満たしていないとする、
   請求項１または２に記載の顔識別装置。
4. 特定の人物の顔を記憶する特定顔記憶部と、
   前記顔識別手段が識別した顔が前記記憶された特定の一人の顔と一致するか否かを判断する特定顔判断手段と、
   をさらに備え、
   前記制御手段は、前記特定顔判断手段が前記特定の一人の顔と一致すると判断した場合、前記所定の条件を満たしているとする、
   請求項１に記載の顔識別装置。
5. 前記識別した顔とその後に入力された画像に含まれる識別した顔とが同一の場合に当該顔を追跡する顔追跡手段と、
   前記追跡した顔について略正面から撮られた顔の有無を判断する正面顔判断手段と、
   をさらに備え、
   前記制御手段は、前記追跡した顔が略正面から撮られていないと判断した場合、前記所定の条件を満たしているとする、
   請求項１に記載の顔識別装置。
6. コンピュータを、
   カメラが撮像した画像を第１フレームレートまたは前記第１フレームレートより短い第２フレームレートで入力する画像入力手段と、
   前記画像入力手段で入力された画像に含まれる人物の顔を顔認識して当該画像に含まれる複数の顔をそれぞれ識別する顔識別手段と、
   前記第１フレームレートで入力された画像に基づいて識別された顔の追跡に係る所定の条件を満たしている場合、前記入力する画像の間隔を前記第１フレームレートから前記第２フレームレートに変更する制御手段と、
   して機能させるためのプログラム。

Images