JP2012242891A - 顔認識装置、顔認識方法、顔認識プログラム、およびそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】似すぎていない同一人物の顔画像を顔辞書に登録することができなかった。
【解決手段】顔辞書に登録されている人物名を指定し、指定された人物名の登録顔画像と顔画像リストの顔画像との類似度が似すぎないことを示す所定の範囲にある顔画像を顔画像リストから抽出し、抽出された顔画像のうち特定の条件を満たす顔画像を表示する顔認識装置。
【選択図】図７

Description

本発明は顔認識機能で被写体人物を判別するための顔認識装置に関する。

画像ブラウザで、顔認識機能により自動的に人物ごとに画像を管理する機能が普及してきている。
それでも、同一人物の顔画像を複数枚、顔辞書に登録する際には繰り返し顔画像を登録する手間が必要になる。
顔辞書に登録する作業の手間の軽減のために、顔認識機能を使って、最初に登録された人物と同一人物と思われる顔画像を、似ている順にソートしたものを一覧表示してユーザに提示する方法が提案されている。（例えば特許文献１）
ユーザは提示された顔画像一覧から本人が写っている顔画像を選択して、本人であると確定すると、画像ブラウザはこれらの顔画像を顔辞書に追加登録する。
顔画像が追加登録された時点で顔辞書が更新され、よりよい精度で顔認識した結果、同一人物と思われる顔画像を改めて一覧表示してユーザに提示する。
また、顔認識機能の特性として、同じような顔画像ばかりを登録すると、認識精度が少ししか上がらないということが分かっている。

特開２００５−１７４３０８号公報

上述したように、顔辞書に登録済の顔画像に対して類似度が非常に高い同一人物の顔画像を顔辞書に新たに登録しても、認識精度を効率的に向上させることができない。むしろ、認識精度を効率的に向上させるには、顔辞書に登録する同一人物の顔画像同士が似すぎないような顔画像を登録する方が良い。
しかしながら、顔辞書に登録すべき顔画像として、似すぎていない同一人物の顔画像を探すには手間がかかる。また、似すぎていない同一人物の顔画像を顔辞書に登録する方が認識精度が効率的に向上することを知らないユーザにとっては、似すぎていない顔画像を探すことさえしない可能性がある。

上記従来技術の問題を解決するため、本件発明の顔認識装置は、顔辞書に登録されている人物名を指定し、指定された人物名の登録顔画像と顔画像リストの顔画像との類似度が似すぎないことを示す所定の範囲にある顔画像を顔画像リストから抽出し、次いで抽出された顔画像のうち特定の条件を満たす顔画像を表示する。

本発明によれば、効率よく検索精度が向上する顔候補画像を表示できるので、ユーザが本人確定作業を繰り返す際に、より少ない手数で確定の精度を向上することができる。
また、ユーザが似すぎていない同一人物の顔画像を顔辞書に登録するほうが認識精度が効率的に向上するという顔認識機能の特性を知らなくても、より少ない手数で似すぎていない同一人物の顔画像を顔辞書に登録することができる。

本発明の実施形態に係るパーソナルコンピュータを示すブロック図である。 本発明の実施形態に係る顔検索ダイアログを示す図である。 本発明の実施形態に係る顔辞書編集対象人物選択ダイアログを示す図である。 本発明の実施形態に係る顔辞書ダイアログ（Ａ）と顔候補画像一覧ダイアログ（Ｂ）を示す図である。 本発明の実施形態に係る顔画像リストの構成を示す図である。 本発明の実施形態に係る顔辞書の構成を示す図である。 本発明の第１の実施例に係る顔辞書登録画像候補抽出処理のフローチャートである。 本発明の第１の実施例に係る認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 本発明の実施形態に係る顔画像追加前の顔検索ダイアログの動作例を示す図である。 本発明の実施形態に係る顔辞書ダイアログ（Ａ）と顔候補画像一覧ダイアログ（Ｂ）の動作例を示す図である。 本発明の実施形態に係る顔画像追加後の顔検索ダイアログの動作例を示す図である。 第１の実施例の変形例に係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 第１の実施例の他の変形例にか係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 第１の実施例の他の変形例に係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 第１の実施例の他の変形例に係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示すである。 本件発明の第２の実施例に係わる認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。 本件発明の第２の実施例に係わる顔辞書ダイアログ（Ａ）と顔候補画像一覧ダイアログ（Ｂ）を示す図である。 第２の実施例の変形例に係わる顔辞書ダイアログ（Ａ）と顔候補画像一覧ダイアログ（Ｂ）を示す図である。

［第１の実施例］
以下の実施例に置いて、画像ブラウザは、画像ファイルの管理や画像の表示、画像ファイルに付属するサムネイル画像の一覧表示する機能等を有するアプリケーションである。
また、以下の実施例では、画像に写っている人物の顔を解析して、例えば目・鼻・口や顔の、形状や色等の特徴を所定の演算でパラメータ化したものを「顔特徴量」と記す。
また、上記の顔特徴量の情報を、それぞれ番号やファイル名などでデータベース化し、管理可能にしたデータベースファイルを「顔辞書」と記す。

本実施形態の顔認識装置は、ハードディスク等の記憶装置内の画像ファイルの画像に含まれる顔を認識して、人物ごとに顔を管理する機能を備えている。
本実施例では、顔辞書に顔を登録する際に、ユーザに認識精度が効率的に向上する顔画像候補一覧を表示する顔認識装置の説明を行う。

［顔認識装置として動作する画像ブラウザ］
まず、本件発明の実施形態に係わる顔認識装置として動作するパーソナルコンピュータについて説明する。

図１は本発明の一実施形態にかかるパーソナルコンピュータを示すブロック図である。パーソナルコンピュータにおいて所定の制御プログラムを実行することにより、以下に説明する顔認識処理を実現し、顔認識装置として機能する。
図１において、１０１はパーソナルコンピュータ全体の制御をつかさどるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
１０２はＣＰＵ１０１の動作処理手順（例えばパーソナルコンピュータの電源をＯＮにした時の処理や基本入出力処理などのプログラム）を記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。
１０３はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、ＣＰＵ１０１のメインメモリとして機能する。ＲＡＭ１０３には後述の処理を実現するための制御プログラムを含む各種処理を実行する際のワークエリアを提供する。
１０４はディスプレイ（表示部）であり、ＣＰＵ１０１の制御下で各種表示を行う。たとえば、画像ブラウザのアプリケーションで、サムネイルの一覧表示を行う。
１０５はハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、画像ブラウザの制御プログラムを格納しているものである。また、画像ブラウザが管理する画像ファイルと顔辞書もハードディスク１０５内に格納するものとする。
１０６はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）であり、着脱可能な光学記録媒体を装着し、記録されたデータを読み出すことを可能とする。
１０７は画像ブラウザの各種操作を行うためのマウスやキーボードとしての入力装置である。
１０８は記録媒体装着ユニット（メディアドライブ）であり、着脱可能な記録媒体を装着し、データを記録したり、記録されたデータを読み書きすることを可能とする。
１０９は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。

[顔認識装置のユーザインタフェース]
本件発明の実施形態に係わる顔認識装置として動作する画像ブラウザのユーザインタフェースを図２と図３と図４を用いて詳細に説明する。一般的な画像ブラウザには、特定のフォルダに保持されている画像の一覧表示機能の他に、撮影日時で管理する機能や、画像の撮影場所で管理する機能があるが、ここでは本件発明が係わる画像ブラウザが持つ機能のうち、顔認識機能に絞って説明する。
図２は本発明の実施形態に係る顔検索ダイアログを示す図である。
図３は本発明の実施形態に係わる顔辞書編集対象人物選択ダイアログを示す図である。
図４は本発明の実施形態に係わる顔辞書ダイアログ（Ａ）と顔候補画像一覧ダイアログ（Ｂ）を示す図である。

２０１はＣＰＵ１０１がパーソナルコンピュータのディスプレイ１０４に表示する顔検索ダイアログである。
２０２は顔検索ダイアログの終了ボタンである。ユーザによって終了ボタン２０２が押下されると、ＣＰＵ１０１は画像ブラウザにおける顔検索ダイアログを終了する。
２０３は人物名入力テキストボックスである。２０４は顔検索ダイアログにおける顔画像一覧表示エリアである。
人物名テキストボックス２０３に人物名が入力されて検索コマンドの実行が指示されると、ＣＰＵ１０１は人物名テキストボックス２０３に入力された人物名を取得する。そして、ハードディスクの中の特定のフォルダ内からその人物が写っているとユーザによって確定された画像（顔辞書登録画像）、およびＣＰＵ１０１がその人物に似ていると(例えば所定値以上の類似度を有する画像)判定した画像をすべて顔画像一覧表示エリア２０４に並べて表示する。
２０９は辞書登録ボタンである。ユーザが辞書登録ボタン２０９を押下すると、ＣＰＵは１０１は図３の顔辞書編集対象人物選択ダイアログ３０１を表示する。

３０１は顔辞書編集対象人物選択ダイアログである。ユーザによって終了ボタン３０２が押下されると、ＣＰＵ１０１は顔辞書編集対象人物選択ダイアログ３０１を閉じて、顔検索ダイアログ２０１に遷移する。
３０３は顔辞書編集対象人物選択リストボックスである。辞書登録ボタン２０９が押されて、顔辞書編集対象人物選択ダイアログ３０１が表示された時点で、ＣＰＵ１０１は顔辞書から、既に顔辞書に登録されているすべての人物名のリストを取得して、顔辞書編集対象人物選択リストボックス３０３に表示する。ユーザがマウスを操作して、顔辞書編集対象人物選択リストボックス３０３に表示されている人物のうち、特定の人物を選択すると、ＣＰＵ１０１は選択された人物名を選択状態（図３では反転表示）にする。
３０４は顔辞書編集対象人物選択ダイアログ３０１のＯＫボタンである。ユーザがＯＫボタン３０４を押下すると、ＣＰＵ１０１は顔辞書編集対象人物選択リストボックス３０３で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そして、ＣＰＵ１０１は取得した人物名に対応した顔辞書ダイアログ４０１と顔候補画像一覧ダイアログ４０５を表示する。
４０２は終了ボタンであり、ユーザが終了ボタン４０２を押下すると、ＣＰＵ１０１は顔辞書ダイアログ４０１と顔候補画像一覧ダイアログ４０５を閉じて、顔検索ダイアログ２０１に遷移する。
４０３は顔辞書ダイアログ４０１における顔辞書登録済画像一覧表示エリアであり、選択された特定の人物についてユーザが既に顔辞書に登録済の顔画像をＣＰＵ１０１が顔辞書から取得して一覧表示する領域である。例として、図４ではＣＰＵ１０１が顔辞書から取得したＡさんの顔として顔画像４０４を表示する。
４０６は顔候補画像一覧表示エリアであり、ユーザが指定した特定の人物に似ているとＣＰＵ１０１が判定した顔画像をＨＤＤ１０５から取得して一覧表示する領域である。例として、図４ではＣＰＵ１０１がＨＤＤ１０５から取得した顔候補画像として顔画像４０７、顔画像４０８、顔画像４０９が表示されている。

ユーザが顔候補画像一覧表示エリア４０６に表示されている顔画像４０７を目視で本人であると認定して顔辞書に登録したい場合、ユーザは顔画像４０７をマウスで選択したのち、顔辞書登録済画像一覧エリア４０３へドラッグ＆ドロップ４１０操作を行う。ユーザのドラッグ＆ドロップ４１０操作を受けてＣＰＵ１０１は、顔画像４０７の顔を顔辞書編集対象人物選択ダイアログ３０３で選択した人物名の顔として顔辞書に登録する（顔辞書生成）。

[顔画像リストの構成]
本発明の実施形態に係る顔画像リストの構成を図５を参照して説明する。
図中、５０１は顔画像リストであり、ＨＤＤ１０５の特定のフォルダに収められている全画像に含まれるすべての顔とそれらに関連した情報を保持するリストである。
５０２は顔ＩＤ（顔識別子）であり、ＨＤＤ１０５内の画像に写っている人物それぞれを識別するために割り当てられたユニークな番号である。
５０３はサムネイルとしての顔画像であり、顔ＩＤ５０２に対応したＨＤＤ１０５内の画像に含まれている人物の顔部分の領域を特定の大きさ（図５では縦１２０ピクセル、横９６ピクセルの大きさ）に正規化したものである。顔画像５０３は、顔辞書ダイアログ４０１と顔候補画像一覧表示エリア４０６で顔画像を表示する際にＣＰＵ１０１が使用する。
５０４は顔特徴量であり、このデータはバイナリデータとして顔画像リスト５０１に格納されている。顔特徴量とは、画像に含まれる人物の顔をＣＰＵ１０１が解析して目鼻口や顔の形状をパラメータ化したバイナリデータである。
５０５は顔ＩＤ５０２の顔を含む画像のファイル名である。つまり、このファイル名の画像に顔ＩＤ５０２の顔が写っていることを意味する。

顔画像リスト５０１内の情報は、ユーザが検索対象範囲フォルダとして、画像ブラウザに設定した特定のフォルダの情報に基づいて、あらかじめＣＰＵ１０１が特定のフォルダ内の全画像を解析して生成した情報であるものとする。

[顔辞書の構成]
図６は本発明の実施形態に係る顔辞書の構成を示す図である。
６０１は顔辞書テーブルであり、ＣＰＵ１０１が顔の情報を管理するためにＨＤＤ１０５内に保持するテーブルである。
６０２は人物名のカラムであり、ユーザが管理対象の人物名を顔辞書に登録した際に、ＣＰＵ１０１が顔辞書テーブル６０１の人物名６０２のカラムに記録する。
６０３は顔ＩＤのカラムであり、ユーザが管理対象の顔ＩＤ５０２を顔辞書に登録した際に、ＣＰＵ１０１が顔辞書テーブル６０１の顔ＩＤ６０３のカラムに記録する。
６０４は顔特徴量のカラムであり、ユーザが顔画像リスト５０１で管理されている顔ＩＤ５０２をの顔を顔辞書に登録する際に、ＣＰＵ１０１が顔ＩＤ５０２にの顔特徴量５０４を顔辞書テーブル６０１の顔特徴量６０４のカラムに記録する。

人物名６０２のカラムの中のひとつの人物名６０２については複数の顔ＩＤ５０２とそれらの顔特徴量５０４とをまとめてグループ化することができる。

図７は本発明の第１の実施例に係る顔辞書登録画像候補抽出処理のフローチャートである。
このフローチャートはユーザによって顔候補画像一覧ダイアログ４０５が開かれたことをトリガにてＣＰＵ１０１が始める処理を示す。
ステップＳ７０１にて、ＣＰＵ１０１は予め作成された特定フォルダの顔画像リスト５０１をＨＤＤ５０１からメモリにコピーする。
ステップＳ７０２にて、ＣＰＵ１０１は顔辞書編集対象人物選択リストボックス３０３で選択された人物名に従って、ＨＤＤにある顔辞書６０１から検索対象となる人物名６０２とそれに関連付けられた顔ＩＤ６０３と顔特徴量６０４を取得する（特徴量抽出）。
ステップＳ７０３にて、ＣＰＵ１０１はステップＳ７０２にて取得した顔辞書に既に登録済みの顔画像と同じ顔ＩＤ６０３を有する顔画像を、コピーされた顔画像リストから削除する。
ステップＳ７０４にて、ＣＰＵ１０１は顔画像リスト内の各顔特徴量５０４に対して、顔辞書の顔特徴量６０４とを比較して、類似度を算出する。
ここで算出された類似度は、ＣＰＵ１０１が顔画像リスト内の顔ＩＤと関連づけて保持する。
また、顔辞書において検索対象の人物名に複数の顔ＩＤと顔特徴量が関連付けられている場合は、ＣＰＵは顔辞書の複数の顔特徴量をマージしたものを、顔画像リスト内の顔特徴量と比較して類似度を算出する。
ステップＳ７０５にて、ＣＰＵ１０１は認識精度が効率的に向上する顔画像を抽出する認識精度向上顔画像抽出処理を実行する。
ステップＳ７０５の処理の詳細は後述する。
ステップＳ７０６にて、ＣＰＵ１０１はステップＳ７０６にて抽出された顔画像を候補画像としてディスプレイ画面上に一覧表示して、このフローチャートを終了する。

図８は本発明の第１の実施例に係る認識精度向上顔画像抽出処理の詳細なフローチャートである。
図８のフローチャートはステップＳ７０５の認識精度向上顔画像抽出処理を詳細に記述したものである。
ステップＳ８０１にて、ＣＰＵ１０１は顔画像リストの現在のポインタを顔画像リストの先頭（図８では１番目）に移動する。
ステップＳ８０２にて、ＣＰＵ１０１は、顔画像リストの現在のポインタのデータを取得できるか否かを判定し、顔画像リストの現在のポインタからデータを取得できると判定した場合は、ステップＳ８０３へと処理を進める。
ステップＳ８０２にて、顔画像リストの現在のポインタからデータを取得できないと判定した場合は、ＣＰＵ１０１は、このフローチャートを終了する。
ステップＳ８０３にて、ＣＰＵ１０１は顔画像リストの現在のポインタのデータを取得する。この場合、顔画像リストのデータだけでなくステップＳ７０４で算出されて顔ＩＤと関連つけられて保持された類似度もデータとして取得する。
ステップＳ８０４にて、ＣＰＵ１０１は、Ｓ８０３にて取得した類似度が第一閾値以上であるか否かを判定し、類似度が第一閾値以上であると判定した場合は、ステップＳ８０５へと処理を進める。この判定は、同じ人物の顔画像であっても例えば一方の顔画像が正面を向いた顔画像で、他方が横を向いた顔画像であるために類似度が低くなって検索されない低類似度の場合を回避するための判定である。
ステップＳ８０４にて類似度が第一閾値以上ではないと判定した場合は、ＣＰＵ１０１はステップＳ８０８へと処理を進める。
ステップＳ８０５にて、ＣＰＵ１０１は、Ｓ８０３にて取得した類似度が、第一閾値より大きな値の第二閾値以下であるか否かを判定し、類似度が第二閾値以下であると判定した場合は、ステップＳ８０６へと処理を進める。この判定は、例えばともに正面から撮った証明用の写真画像である場合のように、明らかに同一人物の似た画像を検索してしまう高類似度の場合を避けるための判定である。なお、Ａさん”の人物名で検索をかけたときに表示された顔画像９０２、９０３、９０４はこの高類似度の場合に相当する。
ステップＳ８０５にてＣＰＵ１０１は、類似度が第二閾値以下ではないと判定した場合は、ステップＳ８０８へと処理を進める。
ステップＳ８０６にて、ＣＰＵ１０１は、Ｓ８０３にて取得した顔画像の顔の向きが登録済み画像と異なるか否かを判定し、顔画像の顔の向きが登録済み画像と異なると判定した場合は、ステップＳ８０７へと処理を進める。このステップＳ８０６での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップＳ８０６にて、顔画像の顔の向きが登録済み画像と異なると判定されなかった場合は、ＣＰＵ１０１はステップＳ８０８へと処理を進める。このステップＳ８０６での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップＳ８０７にて、ＣＰＵ１０１は顔画像リストの現在のポインタを１進める。その後、ステップＳ８０２へと処理を進める。
ステップＳ８０８にて、ＣＰＵ１０１は顔画像リストから現在のポインタにある顔画像を削除し、ステップＳ８０７へと処理を進める。
以上の処理を顔画像リストに格納されているすべての顔ＩＤに対応する顔画像にたいして行なうことにより、同一人物の顔画像であり、かつ例えばポーズの異なる顔画像を人物名を指定するだけで顔辞書に登録することが可能となる。
以上、本件発明の第１の実施例に係わる顔認識装置について説明した。

これより以下、本件発明の第１の実施例に係わる顔認識装置を使用した場合のユーザインタフェースの動作例について説明する。
図９は本発明の第１の実施例に係る顔画像追加前の顔検索ダイアログの動作例を示す図である。図９の基本的なユーザインタフェースは図２と同様である。
図１０は本発明の第１の実施例に係る顔辞書ダイアログ（Ａ）と顔候補画像一覧ダイアログ（Ｂ）の動作例を示す図である。図１０の基本的なユーザインタフェースは図４と同様である。
図１１は本発明の第１の実施例に係る顔画像追加後の顔検索ダイアログの動作例を示す図である。図１１の基本的なユーザインタフェースは図２と同様である。

図９において、ユーザが画像ブラウザの一機能である顔検索ダイアログ２０１を開き、人物名入力テキストボックス２０３に人物名として“Ａさん”と入力する。ＣＰＵ１０１はこの入力を検出すると顔辞書から“Ａさん”と確定した顔画像９０１と、ＨＤＤ１０５からＣＰＵ１０１が“Ａさん”に似ていると判定した顔画像９０２、顔画像９０３、顔画像９０４を顔画像一覧表示エリア２０４に表示する。しかし、ユーザから見て明らかに“Ａさん”が写っているが、ＣＰＵ１０１が“Ａさん”に似ていると判定しなかったために、顔画像一覧表示エリア２０４に出てこなかった検索漏れの顔画像９０５、顔画像９０６がＨＤＤ１０５上に存在する。
ここで、ユーザが辞書登録ボタン２０９を押下し、さらに図３の顔辞書編集対象人物選択ダイアログ３０１にて、顔辞書編集対象人物選択リストボックス３０３で顔辞書を編集したい人物名として“Ａさん”を選択して、ＯＫボタン３０４を押下するとする。すると、ＣＰＵ１０１は図１０の顔辞書ダイアログと顔候補画像一覧ダイアログを表示する。
図１０の顔候補画像一覧ダイアログ４０６を表示する際に、ＣＰＵ１０１は前述の認識精度向上顔画像抽出処理を実行することで、“Ａさん”に似すぎていない顔画像１００１、顔画像１００２を顔候補画像一覧表示エリア４０６に一覧表示する。
ここで、ユーザが“Ａさん”に似すぎていない顔画像１００１を本人と認定して、この顔画像１００１を顔辞書登録済画像一覧表示エリア４０３へドラッグ＆ドロップ１００３する。すると、ＣＰＵ１０１はユーザによって選択された顔画像１００１を“Ａさん”の顔として顔辞書に登録する。

ユーザが図１１の顔検索ダイアログ２０１に戻り、改めて人物名入力テキストボックス２０３で“Ａさん”の人物名で検索をかける。これを受けて、ＣＰＵ１０１は更新された顔辞書に従って次の画像を表示する。即ち、“Ａさん”と確定した顔画像９０１と顔画像１１０１、ＨＤＤ１０５からＣＰＵ１０１が“Ａさん”に似ていると判定した顔画像９０２、顔画像９０３、顔画像９０４、顔画像１１０２を顔画像一覧表示エリア２０４に表示する。すなわち、顔画像１００１を顔辞書に登録できたので、Ａさん”の人物名で検索をかけたときに、従来検索されていた類似顔画像９０２−９０４に加えて、新たに顔画像１１０２も検索されて表示されるようになる。

以上、説明したとおり、本実施形態の顔認識装置を用いれば、効率よく精度が向上する顔候補画像が表示されるので、ユーザは本人確定作業を繰り返す際に、より少ない手数で認識精度をあるレベルまで向上することができる。
また、似すぎていない同一人物の顔画像を顔辞書に登録するほうが認識精度が効率的に向上するという顔認識機能の特性を知らなくても、より少ない手数で認識精度をあるレベルまで向上することができる。

そして、顔認識率が効果的に向上すると思われる顔の特徴量の登録を促し、一方、そうでない特徴量の登録を減少させることも出来るので、登録済の顔特徴量のデータを保持するためのメモリやハードディスクの消費量を節約できる。
また、本発明によれば、人物を検索する際に、認識率向上に寄与しない顔辞書登録画像の顔特徴量との比較が無くなるので、認識率が同程度の検索をより高速に行うことができる。

本実施例においては、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の向きが顔辞書登録済み顔画像と異なるものを顔画像候補とする認識精度向上顔画像抽出処理を挙げた。しかし、本実施例の変形例として、顔の向き以外の特徴量を判定対象とすることも可能である。例えば、顔画像の光源の方向、顔の表情、推定年齢、ひげなどの顔のパーツを判定対象とすることが考えられる。以下、各変形例を順に説明する。認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔に対する光の当り方（即ち、顔画像の光源の方向）が、登録済み顔画像とは異なるものを顔画像候補とする変形例を説明する。尚、顔認識装置の構成は第１の実施例と同じである。
図１２は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図１２のフローチャートは第１の実施例におけるステップＳ７０５の処理をさらに詳細に記述したものである。
図１２において、ステップＳ８０１〜Ｓ８０５とステップＳ８０７〜Ｓ８０８は、第１の実施例と同じ処理内容である。
ステップＳ１２０１にて、ＣＰＵ１０１は、Ｓ８０３にて取得した顔画像の顔に対する光の当り方が登録済み画像と異なるか否かを判定し、顔画像の顔に対する光の当り方が登録済み画像と異なると判定した場合は、ステップＳ８０７へと処理を進める。このステップＳ１２０１での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップＳ１２０１にて顔画像の顔に対する光の当り方が登録済み画像と異なると判定されなかった場合は、ＣＰＵ１０１はステップＳ８０８へと処理を進める。
以上説明したとおり、本変形例によれば、既に顔辞書に登録されている顔画像と同じ様な影が顔にある顔画像が、顔候補画像一覧表示エリア４０６に表示されない。そのため、たとえＨＤＤ１０５に同じような影が顔にある顔画像が多数あったとしても、ユーザは顔辞書登録時に同じような影が顔にある画像を何度も繰り返し顔辞書に登録する手間を省くことが可能になる。

次に、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の表情が、登録済み顔画像とは異なるものを顔画像候補とする変形例を説明する。尚、顔認識装置の構成は第１の実施例と同じである。
図１３は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図１３のフローチャートは第１の実施例おけるステップＳ７０５の処理をさらに詳細に記述したものである。
図１３において、ステップＳ８０１〜Ｓ８０５とステップＳ８０７〜Ｓ８０８は第１の実施例と同じ処理内容である。
ステップＳ１３０１にて、ＣＰＵ１０１は、Ｓ８０３にて取得した顔画像の顔の表情が登録済み画像と異なるか否かを判定し、顔画像の顔の表情が登録済み画像と異なると判定した場合は、ステップＳ８０７へと処理を進める。このステップＳ１３０１での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップＳ１３０１にて顔画像の顔の表情が登録済み画像と異なると判定されなかった場合は、ＣＰＵ１０１はステップＳ８０８へと処理を進める。

以上説明したとおり、本変形例によれば、既に顔辞書に登録されている顔画像と同じ様な表情をした顔画像が、顔候補画像一覧表示エリア４０６に表示されない。そのため、たとえＨＤＤ１０５に同じような表情をした顔画像が多数あったとしても、ユーザは顔辞書登録時に同じような表情をした顔画像を何度も繰り返し顔辞書に登録する手間を省くことが可能になる。

次に、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ被写体人物の推定年齢が、登録済み顔画像と離れているものを顔画像候補とする変形例を説明する。尚、顔認識装置の構成は第１の実施例と同じである。
図１４は、本変形例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図１４のフローチャートは第１の実施例おけるステップＳ７０５の処理をさらに詳細に記述したものである。
図１４において、ステップＳ８０１〜Ｓ８０５とステップＳ８０７〜Ｓ８０８は、第１の実施例と同じ処理内容である。
ステップＳ１４０１にて、ＣＰＵ１０１は、Ｓ８０３にて取得した顔画像の被写体人物の推定年齢が登録済み画像のそれと離れているか否かを判定し、顔画像の被写体人物の年齢が登録済み画像と離れていると判定した場合は、ステップＳ８０７へと処理を進める。このステップＳ１４０１での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップＳ１４０１にて顔画像の被写体人物の推定年齢が登録済み画像と離れていると判定されなかった場合は、ＣＰＵ１０１はステップＳ８０８へと処理を進める。

以上説明したとおり、本変形例によれば、既に顔辞書に登録されている人物の顔画像で、今までは推定年齢による顔の変化の影響で類似度が低いと判定された画像も顔候補画像一覧表示エリア４０６に表示されるようになる。そのため、ユーザは顔辞書登録時にわざわざＨＤＤ１０５から手動で同一人物で推定年齢が異なる顔画像を探してきて登録する必要が無くなる。

次に、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の一部のパーツが、登録済み顔画像とは異なるものを顔画像候補とする変形例を説明する。尚、顔認識装置の構成は第１の実施例と同じである。
図１５は第５の実施例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図１５のフローチャートは第１の実施例おけるステップＳ７０５の処理をさらに詳細に記述したものである。
図１５において、ステップＳ８０１〜Ｓ８０５とステップＳ８０７〜Ｓ８０８は、第１の実施例と同じ処理内容である
ステップＳ１５０１にて、ＣＰＵ１０１は、Ｓ８０３にて取得した顔画像の顔の一部のパーツが登録済み画像と異なるか否かを判定し、顔画像の顔の一部のパーツが登録済み画像と異なると判定した場合は、ステップＳ８０７へと処理を進める。このステップＳ１５０１での顔画像認識処理は、周知の顔認識機能で行なうことが可能である。
ステップＳ１５０１にて顔画像の顔の一部のパーツが登録済み画像と異なると判定されなかった場合は、ＣＰＵ１０１はステップＳ８０８へと処理を進める。

以上説明したとおり、本変形例によれば、既に顔辞書に登録されている顔画像が撮影された時点と比較して、ヒゲや眉毛や睫毛の形状に変化があった顔画像であっても、顔候補画像一覧表示エリア４０６に表示される。そのため、ユーザは顔辞書登録時にわざわざＨＤＤ１０５から手動で同一人物で顔の一部のパーツが異なる顔画像を探してきて登録する必要が無くなる。

［第２の実施例］
第１の実施例においては、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲で、且つ顔の向きなどが顔辞書登録済み顔画像と異なるものを顔画像候補とする認識精度向上顔画像抽出処理を挙げた。
第２の実施例においては、認識精度が効率的に向上する顔画像候補として、類似度が一定範囲の顔画像を顔画像候補とすること加えて、類似度が第二閾値を超過する顔画像も顔画像候補とする。しかし、類似度が第二閾値を超過する顔画像を顔候補画像一覧ダイアログに一覧表示するが、顔辞書には登録できないようにする。尚、顔認識装置の構成は第１の実施例と同じである。
図１６は第２の実施例における認識精度向上顔画像抽出処理の詳細なフローチャートを示す図である。
図１６のフローチャートは第１の実施例おけるステップＳ７０５の処理をさらに詳細に記述したものである。
図１６において、ステップＳ８０１〜Ｓ８０３とステップＳ８０７は、第１の実施例と同じ処理内容である。
ステップＳ８０４にて類似度が第一閾値以上であると判定した場合は、ＣＰＵ１０１はステップＳ８０５へと処理を進める。
ステップＳ８０４にて、ＣＰＵ１０１は、Ｓ８０３にて取得した類似度が第一閾値以上であるか否かを判定し、類似度が第一閾値以上ではないと判定した場合は、ステップＳ１６０１へと処理を進める。
ステップＳ８０５にて、ＣＰＵ１０１は、Ｓ８０３にて取得した類似度が第二閾値以下であるか否かを判定し、類似度が第二閾値以下であると判定した場合は、ステップＳ８０６へと処理を進める。
ステップＳ８０５にて類似度が第二閾値以下ではないと判定した場合は、ＣＰＵ１０１はステップＳ１６０２へと処理を進める。
ステップＳ８０６にて、ＣＰＵ１０１は、Ｓ８０３にて取得した顔画像の顔の向きが登録済み画像と異なるか否かを判定し、顔画像の顔の向きが登録済み画像と異なると判定した場合は、ステップＳ８０７へと処理を進める。
ステップＳ８０６にて顔画像の顔の向きが登録済み画像と異なると判定されなかった場合は、ＣＰＵ１０１はステップＳ１６０２へと処理を進める。
ステップＳ１６０２にて、ＣＰＵ１０１はリストの現在のポインタにある顔画像にフラグ情報を追加し、ステップＳ８０７へと処理を進める。
ステップＳ１６０１にて、ＣＰＵ１０１は顔画像リストから現在のポインタにある顔画像を削除し、ステップＳ８０２へと処理を進める。

図１７は第２の実施例における顔辞書ダイアログ（Ａ）と顔候補画像一覧ダイアログ（Ｂ）である。
ユーザが図３のＯＫボタン３０４を押下すると、ＣＰＵ１０１は、顔辞書編集対象人物選択リストボックス３０３で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そしてＣＰＵ１０１は取得した人物名に対応した顔辞書ダイアログ４０１と顔候補画像一覧ダイアログ４０５を表示する。このとき、ＣＰＵ１０１は図７の顔辞書登録顔画像候補一覧表示処理を行う。実施例２ではステップＳ７０５にて、類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを抽出する。さらにステップＳ７０６にて、ＣＰＵ１０１は類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを顔候補画像一覧表示エリア４０６に並べて表示する。
ここで、ユーザが類似度が第二閾値を超過する顔画像を、マウスで選択して顔辞書登録済み画像一覧表示エリアにドラッグ＆ドロップしようとすると、ＣＰＵ１０１はユーザが選択した顔画像にフラグ情報が追加されているか否かの判定を行う。ユーザが選択した顔画像にフラグ情報が追加されていた場合、ユーザのドラッグ＆ドロップ操作を完了しても、ＣＰＵ１０１はユーザが選択した顔画像を顔辞書には登録しない。ユーザが選択した顔画像にフラグ情報が追加されていなかった場合、ユーザのドラッグ＆ドロップ操作の完了を受けて、ＣＰＵ１０１はユーザが選択した顔画像を顔辞書に登録する。
また、顔候補画像一覧表示エリア４０６に類似度が第二閾値を超過する顔画像を並べて表示する際に、ユーザに顔辞書に登録できない顔画像である旨を知らせるために、ＣＰＵ１０１は類似度が第二閾値を超過する顔画像を半透明表示することにしてもよい。また、類似度が第二閾値を超過する顔画像を半透明表示するかわりに、顔画像の周りの枠の色を変える、または顔辞書に登録できない顔画像である旨のアイコンやマークを表示してもよい。
また、第２の実施例では特定の条件として顔の向きを挙げたが、顔の向きのかわりに、表情や顔に対する光の当り方や年齢や顔の一部のパーツの変化を特定の条件としてもよい。

以上説明したとおり、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像をユーザに提示しつつ、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像もユーザに提示する。そのため、ユーザは広い範囲の類似度で本人と判定された顔画像を視認することができる。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像と、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像とを混在して一覧表示することができる。そして、類似度が非常に高い顔候補画像は顔辞書に登録できないようにしたため、ユーザは本人確定作業を繰り返す際に、より少ない手数で認識精度をあるレベルまで向上することができる。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像と、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像とを混在して一覧表示しつつ、顔辞書に登録できない顔画像はその旨の情報をユーザに通知する。そのため、ユーザは本人確定作業の際に、どの画像が認識精度が効率的に向上する顔候補画像かを視認することができる。

本実施例では、認識精度が効率的に向上する顔候補画像に加えて、類似度が非常に高い顔候補画像も混在してユーザに提示した。この場合の表示制御（図１７）の変形例を位階に説明する。
本変形例では、認識精度が効率的に向上する顔候補画像は顔候補画像一覧表示エリア４０６の先頭に優先的に表示し、類似度が非常に高い顔候補画像は優先順位を下げて、顔候補画像一覧表示エリア４０６の後方に表示する。尚、顔認識装置の構成は第６の実施例と同じである。

図１８は本変形例における顔辞書ダイアログ（Ａ）と顔候補画像一覧ダイアログ（Ｂ）を示す図である。
ユーザが図３のＯＫボタン３０４を押下すると、ＣＰＵ１０１は、顔辞書編集対象人物選択リストボックス３０３で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログを閉じる。そしてＣＰＵ１０１は取得した人物名に対応した顔辞書ダイアログ４０１と顔候補画像一覧ダイアログ４０５を表示する。このとき、ＣＰＵ１０１は図７の顔辞書登録顔画像候補一覧表示処理を行う。第２の実施例ではステップＳ７０５にて、類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像と、を抽出する。さらにステップＳ７０６にて、ＣＰＵ１０１は類似度が一定範囲で、且つ特定の条件を満たす顔画像と、類似度が第二閾値を超過する顔画像とを顔候補画像一覧表示エリア４０６に並べて表示する。
ここでＣＰＵ１０１はステップＳ７０５で抽出した顔画像に対して、フラグ情報が追加されているか否かの判定を行う。フラグ情報が追加されていない顔画像である場合、ＣＰＵ１０１はこの顔画像を顔候補画像一覧表示エリア４０６の先頭に優先的に一覧表示する。ステップＳ７０５にて抽出した顔画像に対して、フラグ情報が追加されている顔画像である場合、ＣＰＵ１０１はこの顔画像を表示優先順位をさげて顔候補画像一覧表示エリア４０６の後方に一覧表示する。

また、本変形例では特定の条件として第２の実施例と同様に顔の向きを挙げたが、顔の向きのかわりに、表情や顔に対する光の当り方や推定年齢や顔の一部のパーツの変化を特定の条件としてもよい。

以上説明したとおり、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像をユーザに提示できる。そして、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像もユーザに提示するので、ユーザは広い範囲の類似度で本人と判定された顔画像を視認することができる。
また、本実施形態の顔認識装置を用いれば、認識精度が効率的に向上する顔候補画像は顔候補画像一覧表示エリアの先頭に、認識精度が効率的に向上はしないが類似度が非常に高い顔候補画像は顔候補画像一覧表示エリアの後方に一覧表示される。そのため、ユーザはどの画像が認識精度が効率的に向上する顔画像かを意識することなく、最初に提示された顔画像を登録すればするほど、認識精度が効率的に向上させることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims (17)

1. 画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段で抽出された特徴量を、人物名と関連付けて顔辞書を生成する顔辞書生成手段と、
   前記顔辞書に登録されている人物名に関連付けて、新たに顔の特徴量を追加する追加手段と、
   他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出し、当該類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として表示部に表示する表示制御手段を有することを特徴とする顔認識装置。
2. 前記所定の範囲は、前記類似度の算出手段で算出された類似度が高類似度を示す範囲と低類似度を示す範囲とを含まない範囲であることを特徴とする請求項１に記載の顔認識装置。
3. 前記表示制御手段は、前記類似度が所定の範囲にある抽出された顔画像に対し、顔の向きが前記顔辞書に登録されている顔の向きと異なるかどうかを判定して、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項１または２に記載の顔認識装置。
4. 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔画像に対する光源の方向が前記顔辞書に登録されている顔に対する光源の向きと異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項１ないし３のいずれか一項に記載の顔認識装置。
5. 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の表情が前記顔辞書に登録されている顔の表情と異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項１ないし４のいずれか一項に記載の顔認識装置。
6. 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の推定年齢が前記顔辞書に登録されている顔の推定年齢と異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項１ないし５のいずれか一項に記載の顔認識装置。
7. 前記表示制御手段は、前記算出された類似度が所定の範囲にある顔画像に対し、顔の少なくとも一つのパーツが前記顔辞書に登録されている顔のパーツと異なるかどうかを判定し、異なると判定した顔画像を顔辞書への追加の候補として表示することを特徴とする請求項１ないし６のいずれか一項に記載の顔認識装置。
8. 前記表示制御手段は、顔辞書へ追加する候補の顔画像とともに、前記算出された類似度が前記高類似度の範囲にある顔画像を表示することを特徴とする請求項２ないし７のいずれか一項に記載の顔認識装置。
9. 前記表示制御手段は、前記算出された類似度が前記高類似度の範囲にある顔画像を、顔辞書へ追加する候補の顔画像より後に表示することを特徴とする請求項８に記載の顔認識装置。
10. 前記算出された類似度が前記高類似度の範囲にある顔画像を前記顔辞書へ追加する候補の顔画像とともに表示部に表示するときに、前記算出された類似度が前記高類似度の範囲にある顔画像を前記顔辞書に登録できないよう制御することを特徴とする請求項８または９に記載の顔認識装置。
11. 顔認識装置の制御方法において、
    画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出ステップと、
    前記特徴量抽出ステップで抽出された特徴量を、人物名と関連付けて顔辞書を生成する顔辞書生成ステップと、
    前記顔辞書に登録されている人物名に関連付けて、新たに顔の特徴量を追加する追加ステップと、
    他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出し、当該類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として表示部に表示する表示制御ステップを有することを特徴とする制御方法。
12. 請求項１１の制御方法をコンピュータに実行させるプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
14. コンピュータを、
    顔認識装置の制御方法において、
    画像に写っている人物の顔画像を解析して、顔の特徴量を抽出する特徴量抽出手段、
    前記特徴量抽出手段で抽出された特徴量を、人物名と関連付けて顔辞書を生成する顔辞書生成手段、
    前記顔辞書に登録されている人物名に関連付けて、新たに顔の特徴量を追加する追加手段、
    他の画像に写っている人物の顔画像を解析して抽出した顔の特徴量と前記顔辞書に登録させている顔の特徴量との比較を行って類似度を算出し、当該類似度が所定の範囲にある顔画像を、前記顔辞書へ追加する候補として表示部に表示する表示制御手段
    として機能させるプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
16. コンピュータを請求項１乃至１０のいずれか一項に記載の画像認識装置の各手段として機能させるプログラム。
17. コンピュータを請求項１乃至１０のいずれか一項に記載の画像認識装置の各手段として機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images