JP2019133234A

JP2019133234A - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP2019133234A
Application number: JP2018012406A
Authority: JP
Inventors: 雄司金田; Yuji Kaneda; 山本　貴久; Takahisa Yamamoto; 貴久山本; 佐藤　博; Hiroshi Sato; 博佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-01-29
Filing date: 2018-01-29
Publication date: 2019-08-08
Anticipated expiration: 2038-01-29
Also published as: US20190236337A1; JP7046620B2; US10943094B2

Abstract

【課題】年齢と誤差とを推定することを目的とする。【解決手段】顔を含む画像から特徴を抽出する抽出手段と、特徴に基づいて顔について各年代に対する尤度を推定する第１の推定手段と、年代毎の尤度の組み合わせと正解年齢とのペアであるサンプルが複数、記憶されている記憶部から第１の推定手段により推定された尤度の組み合わせに基づいて、サンプルを選択する選択手段と、選択手段により選択されたサンプルから顔の推定年齢と誤差範囲とを推定する第２の推定手段と、を有する。【選択図】図２

Description

本発明は、撮影した顔画像の年齢を推定する情報処理装置、情報処理方法及びプログラムに関する。

近年、カメラから取得した顔画像から年齢や性別を推定し、それをマーケティングやセキュリティ用途に利用する動きが広がっている。そのような状況の中、例えば、特許文献１のように、顔画像を年代毎の識別器へ入力し、その出力結果に基づいて年齢を推定する技術がある。

特開２０１４−１５３８１５号公報

Ｐ．Ｖｉｏｌａ，Ｍ．Ｊｏｎｅｓ， "ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇａＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ"，ｉｎＰｒｏｃ．ＯｆＣＶＰＲ，ｖｏｌ．１，ｐｐ．５１１−５１８，Ｄｅｃｅｍｂｅｒ，２００１ＸｕｄｏｎｇＣａｏ，ＹｉｃｈｅｎＷｅｉ，ＦａｎｇＷｅｎ，ＪｉａｎＳｕｎ， "ＦａｃｅＡｌｉｇｎｍｅｎｔｂｙＥｘｐｌｉｃｉｔＳｈａｐｅＲｅｇｒｅｓｓｉｏｎ"，ＣＶＰＲ，ｐｐ．２８８７−２８９４，２０１２Ｍ．Ｂｅｒｔｏｚｚｉ，Ａ．Ｂｒｏｇｇｉ，Ｍ．ＤｅｌＲｏｓｅ，Ｍ．Ｆｅｌｉｓａ，Ａ．ＲａｋｏｔｏｍａｍｏｎｊｙａｎｄＦ．Ｓｕａｒｄ， "ＡＰｅｄｅｓｔｒｉａｎＤｅｔｅｃｔｏｒＵｓｉｎｇＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓａｎｄａＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅＣｌａｓｓｉｆｉｅｒ"，ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔａｔｉｏｎＳｙｓｔｅｍｓＣｏｎｆｅｒｅｎｃｅ，２００７

しかしながら、人間が他人の年齢を推定することが難しいように、画像認識においても顔画像の見た目だけでちょうどの年齢を推定することも非常に難しい。

本発明の情報処理装置は、顔を含む画像から特徴を抽出する抽出手段と、前記特徴に基づいて前記顔について各年代に対する尤度を推定する第１の推定手段と、年代毎の尤度の組み合わせと正解年齢とのペアであるサンプルが複数、記憶されている記憶部から前記第１の推定手段により推定された尤度の組み合わせに基づいて、サンプルを選択する選択手段と、前記選択手段により選択されたサンプルから前記顔の推定年齢と誤差範囲とを推定する第２の推定手段と、を有する。

本発明によれば、顔を含む画像からより精度よく年齢と誤差とを推定することができる。

情報処理装置のハードウェア構成の例を示す図である。情報処理装置の機能構成の例を示す図である。情報処理の例を示すフローチャートである。検出された顔に対して特徴抽出領域を設定した例を示す図である。輝度勾配ヒストグラム特徴を抽出する例を示す図である。連結特徴の例を示す図である。連結特徴を各年代推定器に入力する例を示す図である。Ｓ１５００の詳細を示すフローチャートである。Ｎ個の尤度からＮ次元の特徴ベクトルＶを生成する例を示す図である。辞書サンプルＳのデータベースの例を示す図である。距離に基づき類似するサンプルを選択する例を示す図である。横軸を正解年齢、縦軸を頻度としたヒストグラムの例を示す図である。横軸を正解年齢、縦軸を１／距離としたヒストグラムの例を示す図である。誤差を求める例を示す図である。推定年齢及び誤差をディスプレイ等に表示した例を示す図である。外れ値を除外して推定年齢と誤差とを求める例を示す図である。Ｓ１５００の処理で外れ値除去を加えた場合のフローチャートである。誤差範囲が広い場合の例を示す図である。Ｓ１６００の詳細を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態1＞
実施形態１について説明する。
図１は、情報処理装置１０のハードウェア構成の一例を示す図である。情報処理装置１０は、ハードウェ構成として、ＣＰＵ１１と、記憶部１２と、表示部１３と、入力部１４と、通信部１５と、を含む。ＣＰＵ１１は、情報処理装置１０の全体を制御する。記憶部１２は、メモリ等であって、プログラムや画像、ＣＰＵ１１が処理を実行する際に必要とする情報等を記憶する。表示部１３は、ＣＰＵ１１の制御に基づき、ＣＰＵ１１の処理の結果等を表示する。入力部１４は、ユーザーの操作を受け付け、受け付けた操作に関する情報をＣＰＵ１１に入力する。通信部１５は、情報処理装置１０をネットワークに接続し、ＣＰＵ１１の制御に基づき、ネットワークを介した他の外部装置との通信を制御する。
ＣＰＵ１１が記憶部１２に記憶されているプログラムに基づき処理を実行することによって後述する図２に示す情報処理装置１０の機能構成及び後述する図３、図８、図１７、図１９のフローチャートの処理が実現される。

図２は、情報処理装置１０の機能構成の一例を示す図である。情報処理装置１０は、機能構成として、画像取得部１００と、顔検出部１１０と、顔器官検出部１２０と、特徴抽出部１３０と、年代推定部１４０と、年齢・誤差推定部１５０と、表示処理部１６０と、を含む。図３のフローチャートを用いて各機能の説明を行う。
Ｓ１０００では、画像取得部１００は、レンズ等の集光素子、光を電気信号に変換するＣＭＯＳやＣＣＤ等の撮像素子、アナログ信号をデジタル信号に変換するＡＤ変換器を通過することによって得られたデジタル画像を取得する。また、間引き処理等が行われることによって、例えば、画像取得部１００は、ＦｕｌｌＨＤ（１９２０×１０８０［ｐｉｘｅｌ］）やＨＤ（１２８０×７２０［ｐｉｘｅｌ］）に変換した画像を取得することもできる。
Ｓ１１００では、顔検出部１１０は、Ｓ１０００で取得された画像の中に含まれる顔を検出する。顔検出部１１０は、顔を検出する技術（以下、顔検出という）として非特許文献１の技術を用いる。
Ｓ１１１０では、顔検出部１１０は、Ｓ１１００で顔を検出したかどうかを判定する。顔検出部１１０は、顔を検出した場合にはＳ１２００へ進み、顔を検出しなかった場合にはＳ１０００へ戻る。

Ｓ１２００では、顔器官検出部１２０は、Ｓ１１００で検出された顔に対して目尻や口元等の顔器官を検出する。顔器官検出部１２０は、顔器官を検出する技術として非特許文献２の技術を用いる。
Ｓ１３００では、特徴抽出部１３０は、Ｓ１２００で検出された顔器官の位置に基づいて、図４の矩形のように特徴抽出領域を設定した後、図５のような輝度勾配ヒストグラム特徴を特徴抽出領域毎に抽出する。特徴抽出部１３０は、輝度勾配ヒストグラムを抽出する技術として非特許文献３等の技術を用いる。
Ｓ１４００では、年代推定部１４０は、図６のようにＳ１３００で抽出された複数の輝度勾配ヒストグラムを連結し、得られた連結特徴を図７のように各年代推定器に入力して、年代毎の尤度を算出する。年代推定部１４０は、年代毎に尤度を推定する技術として非特許文献３のようにＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（以下、ＳＶＭという）を用いる。例えば、１０代の推定器を構築する場合には、１０代から抽出した輝度勾配ヒストグラム特徴には学習ラベルとして＋１、それ以外の年代には学習ラベルとして−１を与えることで学習させることができる。
Ｓ１５００では、年齢・誤差推定部１５０は、Ｓ１４００における各年代推定器からの出力を利用して年齢と誤差とを求める。図８は、Ｓ１５００の詳細を示しており、以下では図８を用いて説明する。

Ｓ１５０１では、年齢・誤差推定部１５０は、図９のように各年代推定器から出力されたＮ個の尤度からＮ次元の特徴ベクトルＶ＝［Ｖ₁，Ｖ₂，・・・，Ｖ_n］を生成する。また、年齢・誤差推定部１５０は、図１０のように予め様々な顔に対してＳ１５０１で生成したＮ次元の特徴ベクトルＳ＝［Ｓ₁，Ｓ₂，・・・，Ｓ_n］を求めておき、このＮ次元の特徴ベクトルＳと正解年齢Ａｇｅ_gtとのペアを辞書サンプルＳとしてデータベースに保持しておく。データベースは、例えば、記憶部１２に記憶される。
Ｓ１５０２では、年齢・誤差推定部１５０は、データベースに保持された１つの辞書サンプルＳｉ＝［Ｓ_i1，Ｓ_i2，・・・，Ｓ_in］を選択する。
Ｓ１５０３では、年齢・誤差推定部１５０は、式（１）のように、Ｓ１５０２で選択されたＮ次元の特徴ベクトルの１つの辞書サンプルＳ_iと、Ｓ１５０１で入力画像から生成されたＮ次元の特徴ベクトルとの距離Ｌ_iを求める。

距離Ｌ_iは上述のようにマンハッタン距離ではなく、式（２）のようにユークリッド距離を用いてもよい。

Ｓ１５０４では、年齢・誤差推定部１５０は、データベースに保持された辞書サンプルの中で、未選択の辞書サンプルがあるかどうかを判定する。年齢・誤差推定部１５０は、未選択の辞書サンプルがある場合にはＳ１５０２へ戻り、未選択の辞書サンプルを選択する。一方で、年齢・誤差推定部１５０は、すべての辞書サンプルを選択した場合にはＳ１５０５へ進む。
Ｓ１５０５では、年齢・誤差推定部１５０は、Ｓ１５０３で計算した距離を用いて類似するＭ個のサンプルを選択する。図１１は、Ｍ＝２のサンプルを選択した例を示している。
Ｓ１５０６では、年齢・誤差推定部１５０は、Ｓ１５０５で選択されたＭ個のサンプルの正解年齢Ａｇｅ_gtからヒストグラムを生成する。図１２は横軸を正解年齢Ａｇｅ_gt、縦軸を頻度としたヒストグラムである。図１３のように横軸を正解年齢Ａｇｅ_gt、縦軸を１／距離としたヒストグラムでもよい。以下では図１２を利用した場合の説明をする。
Ｓ１５０７では、年齢・誤差推定部１５０は、図１４のように、Ｓ１５０６で生成したヒストグラムの平均μ１、分散σ１、σ２を求め、平均μ１を推定年齢、分散σ１、σ２を誤差として決定する。

図３のＳ１６００では、表示処理部１６０は、Ｓ１５０７で求められた推定年齢μ１、誤差σ１、σ２をディスプレイ等の表示部１３に表示する。図１５の左図は、推定年齢と誤差とを別々に表示したときの例、右図は範囲として表示したときの例である。図１５の右図の範囲は、年齢幅の一例である。

本実施形態によれば、年齢と共に誤差範囲を求めて表示することで、対象の取り得る年齢範囲を知ることができるだけでなく、年下と判定される傾向にあるのか、年上と判定される傾向にあるのかを知ることができる。

＜実施形態２＞
実施形態１では、予め用意しておいた辞書サンプルとの距離からＮ個のサンプルを選択し、選択したＮ個のサンプルのヒストグラムから推定年齢と誤差を求めている。しかしながら、画像から抽出した特徴量は、照明環境の変化や表情の変化等の影響を受ける可能性ある。そのため、年齢・誤差推定部１５０は、例えば、図１６のように、選択したＮ個のサンプルのヒストグラムを分析して、外れ値が存在する場合にはその外れ値を除外して推定年齢と誤差とを求めてもよい。
図１７は、図３のＳ１５００において、外れ値除去を加えた場合のフローチャートである。
Ｓ１５０８において、年齢・誤差推定部１５０は、選択したＮ個のサンプルのヒストグラムを分析して、外れ値が存在する場合にはその外れ値を除外する。年齢・誤差推定部１５０は、外れ値を判定するための技術として非特許文献３のＳＶＭを用いることができる。

本実施形態によれば、照明環境の変化や表情の変化等の影響を小さくし、年齢と共に誤差範囲を求めて表示することができる。

＜実施形態３＞
実施形態１では、推定年齢と誤差とを必ず求めるようにしていた。しかしながら、図１８の推定年齢＝２０歳、誤差−１５〜＋１５歳のように、誤差範囲が広い場合には「年齢不明」と表示しているのに等しい。無理に推定年齢と誤差を求めて表示するよりも数値ではない「年齢不明」というような表示の方がユーザーにとっては分かりやすい可能性がある。
図１９は、図３のＳ１６００の詳細を示すフローチャートである。
Ｓ１６０１では、表示処理部１６０は、誤差σ１とσ２との差を求めて、その差が所定の閾値以上かどうかを判定する。表示処理部１６０は、差が所定の閾値以上である場合には、Ｓ１６０２へ進み、差が所定の閾値以上でない場合には、Ｓ１６０３へ進む。
Ｓ１６０２において、表示処理部１６０は、年齢不明と表示する。年齢不明と表示する以外にも、分からないに相当する文字列であれば何でもよい。
一方で、Ｓ１６０３において、表示処理部１６０は、実施形態１及び実施形態２と同様に推定年齢と誤差とを表示する。

本実施形態によれば、信頼性の高い場合のみ年齢や誤差を表示し、信頼性の低い場合は年齢不明と表示することでユーザーは表示データの信頼性をすぐに判定することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、情報処理装置１０のハードウェア構成として、ＣＰＵは複数存在してもよく、複数のＣＰＵが記憶部等に記憶されているプログラムに基づき処理を実行するようにしてもよい。また、情報処理装置１０のハードウェア構成として、ＣＰＵの替わりに、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を用いてもよい。
また、情報処理装置１０の機能構成の一部をハードウェア構成として情報処理装置１０に実装してもよい。
上述した実施形態を任意に組み合わせて実施してもよい。

以上、上述した各実施形態によれば、顔を含む画像からより精度よく年齢と誤差とを推定することができる。また、推定した結果を出力することができる。

１０情報処理装置
１１ＣＰＵ

Claims

顔を含む画像から特徴を抽出する抽出手段と、
前記特徴に基づいて前記顔について各年代に対する尤度を推定する第１の推定手段と、
年代毎の尤度の組み合わせと正解年齢とのペアであるサンプルが複数、記憶されている記憶部から前記第１の推定手段により推定された尤度の組み合わせに基づいて、サンプルを選択する選択手段と、
前記選択手段により選択されたサンプルから前記顔の推定年齢と誤差範囲とを推定する第２の推定手段と、
を有する情報処理装置。
前記選択手段は、前記第１の推定手段により推定された尤度の組み合わせに類似する第２の推定手段により推定された尤度の組み合わせを含むサンプルを選択する請求項１記載の情報処理装置。
前記第２の推定手段は、前記選択手段により選択されたサンプルに含まれる正解年齢に基づいて前記推定年齢と前記誤差範囲とを推定する請求項１又は２記載の情報処理装置。
前記第２の推定手段は、前記選択手段により選択されたサンプルに含まれる正解年齢のヒストグラムを生成し、生成したヒストグラムに基づいて前記推定年齢と前記誤差範囲とを推定する請求項１乃至３何れか１項記載の情報処理装置。
前記第２の推定手段は、前記生成したヒストグラムから外れ値を除外して前記推定年齢と前記誤差範囲とを推定する請求項４記載の情報処理装置。
前記推定年齢と前記誤差範囲とをそれぞれ表示する表示手段を更に有する請求項１乃至５何れか１項記載の情報処理装置。
前記表示手段は、前記誤差範囲が閾値以上の場合、年齢不明であることを表示し、前記誤差範囲が閾値以上でない場合、前記推定年齢と前記誤差範囲とをそれぞれ表示する請求項６記載の情報処理装置。
前記推定年齢と前記誤差範囲とに基づく年齢幅を表示する表示手段を更に有する請求項１乃至５何れか１項記載の情報処理装置。
前記表示手段は、前記誤差範囲が閾値以上の場合、年齢不明であることを表示し、前記誤差範囲が閾値以上でない場合、前記推定年齢と前記誤差範囲とに基づく年齢幅を表示する請求項８記載の情報処理装置。
前記記憶部を更に有する請求項１乃至９何れか１項記載の情報処理装置。
情報処理装置が実行する情報処理方法であって、
顔を含む画像から特徴を抽出する抽出工程と、
前記特徴に基づいて前記顔について各年代に対する尤度を推定する第１の推定工程と、
年代毎の尤度の組み合わせと正解年齢とのペアであるサンプルが複数、記憶されている記憶部から前記第１の推定工程により推定された尤度の組み合わせに基づいて、サンプルを選択する選択工程と、
前記選択工程により選択されたサンプルから前記顔の推定年齢と誤差範囲とを推定する第２の推定工程と、
を含む情報処理方法。
コンピュータを、請求項１乃至９何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。