JP2013242719A - 画像処理装置及び電子カメラ - Google Patents
画像処理装置及び電子カメラ Download PDFInfo
- Publication number
- JP2013242719A JP2013242719A JP2012115855A JP2012115855A JP2013242719A JP 2013242719 A JP2013242719 A JP 2013242719A JP 2012115855 A JP2012115855 A JP 2012115855A JP 2012115855 A JP2012115855 A JP 2012115855A JP 2013242719 A JP2013242719 A JP 2013242719A
- Authority
- JP
- Japan
- Prior art keywords
- age
- person
- image
- face
- authentication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 本発明は、顔の経年変化を考慮しつつ、顔認証の精度を高める手段を提供する。
【解決手段】 画像処理装置は、顔検出部、識別部、年齢判定部、登録処理部及び照合部を備える。顔検出部は、入力画像から顔を検出する。識別部は、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。年齢判定部は、顔の人物の年齢を判定する。登録処理部は、識別部により識別された顔の人物と年齢とを少なくとも関連付けた認証情報を作成して人物毎に登録する。照合部は、認証用の入力画像を認証情報に基づいて照合することにより、同一人物を特定する。年齢判定部は、認証用の入力画像を解析することにより、その入力画像内の人物の年齢を推定する。登録処理部は、認証用の入力画像内の人物の年齢と登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。
【選択図】 図1
【解決手段】 画像処理装置は、顔検出部、識別部、年齢判定部、登録処理部及び照合部を備える。顔検出部は、入力画像から顔を検出する。識別部は、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。年齢判定部は、顔の人物の年齢を判定する。登録処理部は、識別部により識別された顔の人物と年齢とを少なくとも関連付けた認証情報を作成して人物毎に登録する。照合部は、認証用の入力画像を認証情報に基づいて照合することにより、同一人物を特定する。年齢判定部は、認証用の入力画像を解析することにより、その入力画像内の人物の年齢を推定する。登録処理部は、認証用の入力画像内の人物の年齢と登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。
【選択図】 図1
Description
本発明は、画像処理装置及びその画像処理装置を搭載した電子カメラに関する。
従来、顔認証の技術が公知であり、この顔認証の技術では、顔認証の対象となる人物の顔画像から特徴部位を抽出し、予め登録されている人物の顔画像と照合することで個人を特定することが一般的に行なわれている。
ところで、上記の顔認証の技術では、登録時からの年齢の変化に伴う顔の経年変化等により、顔認証の精度が落ちてしまうという懸念があった。
そこで、顔の経年変化の影響を軽減して顔認証を行なう人物認識装置が提案されている(例えば、特許文献1参照)。この人物認識装置は、一定の時間経過を考慮して登録データを更新する手段を有している。
しかしながら、顔の経年変化は年代や個人差によって異なるため、上記の人物認識装置のように、一定の時間経過毎に登録データが更新されると、更新のタイミングが必ずしも適切でない場合には、顔認証の精度が落ちてしまうおそれが生じる。
そこで、本発明は、上記事情に鑑み、顔の経年変化を考慮しつつ、顔認証の精度を高める手段を提供することを目的とする。
第1の発明に係る画像処理装置は、顔検出部と、識別部と、年齢判定部と、登録処理部と、照合部とを備える。顔検出部は、入力画像から顔を検出する。識別部は、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。年齢判定部は、顔の人物の年齢を判定する。登録処理部は、識別部により識別された顔の人物と年齢とを少なくとも関連付けた認証情報を作成して人物毎に登録する。照合部は、認証用の入力画像を認証情報に基づいて照合することにより、同一人物を特定する。年齢判定部は、認証用の入力画像を解析することにより、その入力画像内の人物の年齢を推定する。登録処理部は、認証用の入力画像内の人物の年齢と登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。
第2の発明に係る画像処理装置は、顔検出部と、識別部と、年齢判定部と、登録処理部と、照合部とを備える。顔検出部は、撮影日を含む撮影情報が関連付けられた入力画像から顔を検出する。識別部は、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。年齢判定部は、顔の人物の年齢を判定する。登録処理部は、識別部により識別された顔の人物と、年齢と、撮影情報とを少なくとも関連付けた認証情報を作成して人物毎に登録する。照合部は、認証用の入力画像を認証情報に基づいて照合する。
年齢判定部は、認証用の入力画像の撮影情報と、登録処理部により登録された同一人物の撮影情報とに基づいて、認証用の人物の年齢を特定する。登録処理部は、認証用の入力画像の人物の年齢と、登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。
第3の発明は、第1又は第2の発明において、年齢判定部は、人物の顔画像に基づいて、人物の年齢を推定する推定部と、人物の年齢をユーザ入力により受け付けるユーザ入力受付部とを有する。少なくとも最初に登録する認証情報における人物の年齢を、推定部が推定するか、又は、ユーザ入力受付部がユーザ入力により受け付ける。
第4の発明は、第1から第3の何れか1の発明において、照合部は、認証情報に基づいて同一人物を照合できなかった場合、認証情報が関連付けされていない他の画像を用いて同一人物を照合する。年齢判定部は、他の画像の同一人物の年齢を判定する。登録処理部は、認証情報における年齢と異なる年齢の同一人物の認証情報を作成して追加的に登録する。
第5の発明は、第1から第4の何れか1の発明において、基準として、未成年や所定の年齢に達した高齢者の年代では、年齢差を他の年代と比較して狭めることにより、登録処理部は、認証情報を追加的に登録する頻度を高める。
第6の発明に係る電子カメラは、撮像素子と、請求項1から請求項5の何れか1項に記載の画像処理装置とを備える。
本発明によれば、顔の経年変化を考慮しつつ、顔認証の精度を高める手段を提供できる。
(第1実施形態)
以下、図面に基づいて本発明の実施の形態を詳細に説明する。第1実施形態では、本発明の一実施形態の電子カメラ1について説明する。この電子カメラ1は、本発明の一実施形態の画像処理装置を備える。
以下、図面に基づいて本発明の実施の形態を詳細に説明する。第1実施形態では、本発明の一実施形態の電子カメラ1について説明する。この電子カメラ1は、本発明の一実施形態の画像処理装置を備える。
図1は、電子カメラ1の構成例を示すブロック図である。ここで、電子カメラ1は、顔認証の精度を高めるための顔認証モードを有している。この顔認証モードでは、顔の経年変化(以下「風貌変化」ということがある。)を考慮しつつ、例えば、顔の人物(名前や顔画像)と年齢とを関連付けた認証情報(顔認証用の登録データ)を人物毎に登録できる。
図2は、顔認証モードの概念図である。図2(a)は、同一の登録人物の年代別の顔画像(写真)の一例を仮想的に示している。風貌変化の度合いは、個人差があるものの、一般的な事例として、図2(a)を用いて説明すると、例えば、乳幼児〜20歳程度(未成年)までが大きく、20〜30歳まで中程度、30〜40歳まで小程度、40〜60歳に向けて中程度である。一方、風貌変化の度合いは、60歳代以降、一般的に老化現象に伴い大きくなる。
そこで、顔認証モードでは、年代に応じて登録処理の頻度を変更することにより、顔認証の精度を高める。図2(b)では、同一人物に対して年代に応じて登録される画像(例えば顔画像)の枚数が異なることを示している。顔認証モードでは、登録処理(追加登録)の目安となる基準として、前回の登録時からの経過期間(年齢差に相当)が、一例として、乳幼児〜10歳未満については半年〜1年の範囲、10歳以上20歳未満については1年〜2年の範囲とする。
また、顔認証モードでは、登録処理の目安となる基準として、前回の登録時からの経過期間が、一例として、20歳以上30歳未満については2年〜3年の範囲とし、30歳以上40歳未満については5年〜6年の範囲とし、40歳以上60歳未満については2年〜3年の範囲とし、60歳以上の高齢者については、1年〜2年の範囲とする。顔認証モードでは、後述する認証情報管理テーブル15aを用いて、年齢と人物とを簡単に関連付けて管理することができる。
ここで、電子カメラ1は、撮影光学系10と、撮像素子11と、信号処理部12と、RAM(Random Access Memory)13と、画像処理部14と、フラッシュメモリ15と、記録インターフェース部(以下「記録I/F部」という。)16と、表示モニタ17と、操作部18と、レリーズ釦19と、CPU(Central Processing Unit)20と、バス21とを備える。
このうち、信号処理部12、RAM13、画像処理部14、フラッシュメモリ15、記録I/F部16、表示モニタ17及びCPU20は、バス21を介して互いに接続されている。
撮影光学系10は、一例として、焦点距離を調整するズームレンズと、撮像素子11の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部(不図示)は、撮影光学系10内でズームレンズやフォーカスレンズのレンズ位置をCPU20の指示に応じて光軸方向に調整する。なお、簡単のため、図1では、撮影光学系10を1枚のレンズとして図示する。
撮像素子11は、被写体の像を撮像して、画像(アナログの画像信号)を生成する。そして、撮像素子11が出力するアナログの画像信号は、信号処理部12に入力される。なお、撮像素子11の撮像面には、R(赤)、G(緑)B(青)の3種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子11の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ(不図示)によって制御される。撮像素子11は、CCD(Charge Coupled Device)型又はCMOS(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサである。
信号処理部12は、撮像素子11が出力するアナログの画像信号をデジタル信号(画像データ)に変換しバス21に出力する。
RAM13は、揮発性のメモリであり、信号処理部12が出力する画像データは、バス21を介して画像データとしてRAM13に一時記録される。画像処理部14は、RAM13に記録されている画像データを読み出し、各種の画像処理(階調変換処理、輪郭強調処理、ホワイトバランス処理等)を施す。
フラッシュメモリ15は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ15には、電子カメラ1の制御を行なうプログラム等が予め記録されている。CPU20は、このプログラムに従い、一例として後述の図4〜6及び図12に示すフローチャートの処理(以下「フローの処理」という。)を実行する。
また、フラッシュメモリ15は、認証情報管理テーブル15aと、年齢推定用データベース15bと、撮影画像用管理リスト15cとを有する。
認証情報管理テーブル15aは、名前や顔画像で識別される顔の人物と年齢とが関連付けられたテーブルである。詳細は、図3を用いて後述する。
年齢推定用データベース15bは、年齢を推定するのに用いるパラメータ等を予め記憶している。ここで、パラメータとは、例えば、年齢に応じた顔の特徴量に基づく統計データである。撮影画像用管理リスト15cは、人物毎に撮影画像を管理する。詳細は、図8を用いて後述する。
記録I/F部16には、着脱自在の記録媒体M1を接続するためのコネクタ(不図示)が形成されている。そして、記録I/F部16は、そのコネクタに接続された記録媒体M1にアクセスして本画像の記録処理等を行なう。この記録媒体M1は、例えば、カード型の不揮発性のメモリカードである。図1では、コネクタに接続された後の記録媒体M1を示している。
表示モニタ17は、例えば液晶表示媒体により構成される。そして、表示モニタ17は、例えば構図確認用のスルー画像、本画像、又は電子カメラ1の操作メニュー等を表示する。操作部18は、撮影者の操作(ユーザ入力)を受け付ける複数の釦を有しており、電子カメラ1を操作するための指示入力を受け付ける。レリーズ釦19は、半押し操作(撮影前におけるオートフォーカス(AF)や自動露出(AE)等の撮影準備の動作開始)と全押し操作(本画像を取得するための撮影の動作開始)との指示入力とを受け付ける。
CPU20は、ASIC(画像エンジン:Application Specific Integrated Circuit)の機能を有し、各種演算及び電子カメラ1の統括的な制御を行なうマイクロプロセッサである。CPU20は、上記のプログラムを実行することにより、電子カメラ1の各部の制御等を行なう。また、CPU20は、計時機能を有し、本画像の撮影時に撮影日時を出力する。
また、CPU20は、本発明の画像処理装置の一種として、顔検出部20aと、識別部20bと、年齢判定部20cと、登録処理部20fと、照合部20gとしても機能する。
顔検出部20aは、例えばスルー画像又は記録済みの撮影画像(本画像)等を入力画像とし、その入力画像から顔を検出する。具体的には、顔検出部20aは、一例として、入力画像の画像データ(画像信号)の輝度分布に基づいて、肌色領域を顔の領域として抽出する。
識別部20bは、画像データを解析し、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。具体的には、識別部20bは、例えば、特開2001−16573号公報等に記載された特徴点抽出処理によって特徴量情報を抽出する。特徴量情報としては、例えば、眉、目、鼻、唇の各端点等が挙げられる。識別部20bは、特徴量情報に基づいて、被写体となる顔の人物を識別する。
年齢判定部20cは、顔の人物の年齢を判定する。ここで、年齢判定部20cは、認証情報管理テーブル15aに登録するための入力画像や本画像の撮影時に新たに取得された認証用の入力画像を解析することにより、その顔の人物の年齢を推定する。
また、年齢判定部20cは、推定部20dと、ユーザ入力受付部20eとを有する。推定部20dは、特徴量情報等に基づいて、公知の年齢推定技術(アプリケーションソフト)を用いて年齢を推定する。一例として、推定部20dは、先ず、目や口等の配置を示す骨格情報、皺や弛みを示す皮膚情報を抽出する。続いて、推定部20dは、年齢推定用データベース15bを参照して、年齢に応じた顔の特徴量に基づく統計データと、骨格情報や皮膚情報とを比較する等して、年齢を推定する。
ユーザ入力受付部20eは、操作部18を介して、人物の年齢をユーザ入力により受け付ける。この場合、年齢判定部20cは、年齢推定技術を用いずに顔の人物の年齢を判定することが可能となる。
登録処理部20fは、識別部20bにより識別された顔の人物と年齢とを関連付けた認証情報を作成して人物毎に認証情報管理テーブル15aに登録する。
図3は、認証情報管理テーブル15aの一例を示す図である。認証情報管理テーブル15aには、認証情報として、人物毎に顔画像の画像ファイルと、年齢とが関連付けられている。登録処理部20fは、入力画像から顔の領域を含む顔画像を抽出して、顔画像と年齢とを人物毎に関連付けて、時系列に認証情報管理テーブル15aに登録する。
図3に示す認証情報管理テーブル15aでは、名前と、顔画像(例えば、jpeg(Joint Photographic Experts Group)形式の画像(拡張子:jpg))と、年齢(推定年齢)とが人物毎に対応付けられている。ここで、認証情報管理テーブル15aでは、同一人物が登録される毎にテーブルの行方向(紙面左から右方向)に認証情報が追加されていく構成になっている。
すなわち、登録処理部20fは、認証用の入力画像内の人物の年齢と登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。ここで、登録済みの同一人物の年齢としては、前回登録された人物の年齢であることが好ましい。なお、テーブルの空欄部分(例えば、花子、次郎の欄に相当)は、まだ、追加登録されていないことを示している(・・・の部分も同様とする)。また、太郎の欄では、説明の便宜上、20歳〜28歳の範囲(・・・の部分)の認証情報の図示を省略している。
また、認証情報管理テーブル15aでは、人物の登録が新たに追加される毎に、テーブルの列方向(紙面上から下方向)に、照合対象の人物が追加されていく構成になっている。したがって、第1列目の認証情報については、新規登録として後述する図4に示す認証情報の登録処理により登録を行なう。
照合部20gは、認証用の入力画像を認証情報に基づいて照合することにより、同一人物を特定する。具体的には、照合部20gは、認証用の入力画像の顔画像と認証情報管理テーブル15aの顔画像とを比較して類似度が閾値を超えた場合に、同一人物と特定する。より具体的には、照合部20gは、認証用の入力画像における顔画像をテンプレート画像として、認証情報管理テーブル15aの顔画像に対してテンプレートマッチングを順次行なうことにより、類似度が閾値を超えた場合に、同一人物と特定する。
次に、電子カメラ1の撮影動作の一例について説明する。先ず、本実施形態では、予め認証情報の登録処理を行なう。認証情報の登録処理では、認証情報を認証情報管理テーブル15aに登録する。そこで、先ず、認証情報の登録処理について、説明する。
図4は、電子カメラ1の認証情報の登録処理の一例を示すフローチャートである。以下の動作例では、操作部18が認証モードの下位の登録モードの指示入力を受け付けると、図4に示すフローの処理を開始する。
ステップS101:CPU20は、入力画像の読み出し処理を行なう。具体的には、CPU20は、撮影画像の記録先であるフラッシュメモリ15又は記録媒体M1からその撮影画像を入力画像として読み出す。この際、CPU20は、例えば、表示モニタ17上にサムネイル形式で撮影画像を表示させて、操作部18を介してユーザが選択した撮影画像を入力画像としても良い。或いは、CPU20は、撮影画像(本画像)の撮影後に、登録用の入力画像として、その撮影画像を表示モニタ17に表示させても良い。なお、撮影画像は、例えば、Exif(Exchangeable Image File Format)形式の画像ファイルである。入力画像の読み出し処理が完了すると、CPU20は、ステップS102の処理に移行する。
ステップS102:CPU20の顔検出部20aは、入力画像に対して顔検出処理を行なう。具体的には、顔検出部20aは、入力画像の画像信号の輝度分布に基づいて、肌色領域を顔の領域として抽出する。そして、CPU20は、ステップS103の処理に移行する。
ステップS103:CPU20の識別部20bは、入力画像の識別処理を行なう。具体的には、識別部20bは、入力画像から特徴量情報を抽出して被写体となる顔の人物を識別する。そして、CPU20は、ステップS104の処理に移行する。
ステップS104:CPU20の年齢判定部20cは、年齢判定を行なう。具体的には、年齢判定部20cに属する推定部20dは、入力画像内の顔画像に基づいて、上述した年齢推定技術を用いて年齢を推定する。或いは、年齢判定部20cに属するユーザ入力受付部20eは、操作部18を介して、人物の年齢をユーザ入力により受け付けても良い。そして、CPU20は、ステップS105の処理に移行する。
ステップS105:CPU20の登録処理部20fは、認証情報の登録処理を行なう。具体的には、登録処理部20fは、識別部20bにより識別された顔の人物と年齢とを関連付けた認証情報を作成して人物毎に認証情報管理テーブル15aに登録する。
ここで、登録処理部20fは、人物毎にユーザ入力により、名前(例えば、氏又は名、或いは、氏名)の入力を受け付けても良い。なお、図3に示す認証情報管理テーブル15aでは、説明を分かりやすくするため、顔画像が描かれているが、実際には、顔画像を含む撮影画像の記録先のアドレス情報であっても良い。
また、認証情報の登録処理では、認証情報管理テーブル15aにおいて、太郎、花子、次郎というように第1列目に新規登録の認証情報を記録して行く。
ステップS106:CPU20は、次の画像の認証情報の登録処理の有無を判定する。例えば、ユーザ入力により、次の画像の認証情報の登録処理を行なう場合には(ステップS106:Yes)、CPU20は、ステップS101の処理に戻る。
一方、次の画像の認証情報の登録処理を行なわない場合には(ステップS106:No)、CPU20は、図4に示すフローの処理を終了させる。以上の認証情報の登録処理により、登録処理部20fは、新規登録の認証情報を認証情報管理テーブル15aに登録することができる。
次に、撮影の際における顔認証モードでの動作の一例について説明する。
図5は、撮影の際における顔認証モードの動作の一例を示すフローチャートである。CPU20は、撮影者によるレリーズ釦19の全押し操作を受け付けることにより、本画像の撮影処理を行なう。そして、CPU20は、図5に示すフローの処理を開始する。
ステップS201:CPU20は、入力画像の読み出し処理を行なう。具体的には、CPU20は、撮影処理によりフラッシュメモリ15又は記録媒体M1に記録した撮影画像を顔認証モードにおける入力画像として読み出す。そして、CPU20は、ステップS202の処理に移行する。
ステップS202:CPU20は、図6に示す顔認証及び登録処理のサブルーチンを行なう。
図6は、顔認証及び登録処理のサブルーチンを示すフローチャートである。
ステップS301:顔検出部20aは、図4に示すステップS102の処理と同様、顔検出処理を行なう。そして、CPU20は、ステップS302の処理に移行する。
ステップS302:識別部20bは、図4に示すステップS103の処理と同様、入力画像の識別処理を行なう。そして、CPU20は、ステップS303の処理に移行する。
ステップS303:CPU20の照合部20gは、同一人物を特定するため、照合処理を行なう。具体的には、照合部20gは、認証用の入力画像における顔画像をテンプレート画像として、認証情報管理テーブル15aの顔画像に対してテンプレートマッチングを順次行なうことにより、類似度が閾値を超えた場合に、同一人物と特定する。そして、CPU20は、ステップS304の処理に移行する。
ステップS304:照合部20gの照合処理により、入力画像の人物が登録されていた場合(ステップS304:Yes)、CPU20は、ステップS305の処理に移行する。
一方、入力画像の人物が登録されていなかった場合(ステップS304:No)、CPU20は、図6に示すサブルーチンの処理を終了し、図5に示すフローの処理に戻る。そして、CPU20は、図5に示すフローの処理を終了させる。なお、CPU20は、入力画像の人物が登録されていなかった場合、引き続き、図4に示すステップS104、S105の処理と同様の処理を行なって、入力画像の人物の新規登録をする構成としても良い。
ステップS305:年齢判定部20cは、図3に示すステップS103の処理と同様、年齢判定処理を行なう。この際、推定部20dは、認証用の入力画像内の顔の人物に対して、年齢推定技術を用いて年齢を推定する。
ステップS306:登録処理部20fは、特徴情報の記録処理を行なう。具体的には、登録処理部20fは、撮影画像に、画像データの属性を示すタグデータを付加する。ここでは、登録処理部20fは、識別部20bが識別した特徴情報をタグデータの一種として付加する。
図7は、Exif形式の画像ファイルの一例を示す図である。図7では、Exif形式の画像ファイルに特徴情報等を記録した例を示す。Exif形式の画像ファイルは、ヘッダ部と、データ部とからなる領域を構成する。ヘッダ部には、例えば、画素数、圧縮モードの種類、撮影日時、機種名、・・・、メーカーノート等の領域が構成される。データ部には、サムネイル、撮影画像とからなる。サムネイルは、主画像よりもデータ量の少ない縮小画像(一例として160×120画素)である。撮影画像は、撮像素子11が生成した記録用の画像である。登録処理部20fは、メーカーノートに特徴情報等を記録する。また、登録処理部20fは、特徴情報等を撮影画像用管理リスト15cに登録しても良い。なお、特徴情報には、人物の年齢を追加しても良い。
図8は、撮影画像用管理リスト15cの一例を示す図である。図8(a)は、撮影画像用管理リスト15cの構成を示し、一例として、撮影順に人物と特徴情報と撮影画像の記録先(アドレス情報)とを管理する。ここで、図8(a)では、説明の便宜上、特徴情報に、A1、B1等の符号を付して区別している。なお、図8(b)については、実施形態の補足事項で後述する。登録処理部20fによる特徴情報の記録処理が終了すると、CPU20は、ステップS307の処理に移行する。
ステップS307:年齢判定部20cにより、登録処理の目安となる基準を満たす年齢差が有る旨の判定結果がなされた場合(ステップS307:Yes)、CPU20は、ステップS308の処理に移行する。
一方、年齢判定部20cにより、その基準を満たす年齢差ではない旨の判定結果がなされた場合(ステップS307:No)、CPU20は、図6に示すサブルーチンの処理を終了し、図5に示すフローの処理に戻る。そして、CPU20は、図5に示すフローの処理を終了させる。
ステップS308:登録処理部20fは、認証情報の登録処理を行なう。具体的には、登録処理部20fは、認証用の入力画像に基づいて認証情報を作成して追加的に認証情報管理テーブル15aに登録する。
以上より、本実施形態の電子カメラ1では、顔の経年変化(風貌変化)がしやすい年代(例えば、未成年、高齢者)では、判定の基準となる年齢差を他の年代と比較して狭めることにより、年齢に応じて細かく認証情報を追加取得する。一方、電子カメラ1では、風貌変化の小さい年代(例えば30〜40代)では、認証情報を追加取得する年齢差を風貌変化がしやすい年代よりも大きくする。つまり、風貌変化がしやすい程、認証情報を登録する頻度を高めるので、その分、顔認証の精度が向上する。
したがって、電子カメラ1では、顔の経年変化を考慮しつつ、顔認証の精度を高めることができる。
(第2実施形態)
次に、第2実施形態について説明する。なお、第1実施形態と第2実施形態とにおいて、図1に示す電子カメラ1の構成要素は同様である。第2実施形態では、第1実施形態との相違点について主に説明する。すなわち、第2実施形態では、認証情報管理テーブル15aに新たに撮影日等の撮影情報を追加する点を特徴とする。
次に、第2実施形態について説明する。なお、第1実施形態と第2実施形態とにおいて、図1に示す電子カメラ1の構成要素は同様である。第2実施形態では、第1実施形態との相違点について主に説明する。すなわち、第2実施形態では、認証情報管理テーブル15aに新たに撮影日等の撮影情報を追加する点を特徴とする。
図9は、第2実施形態における認証情報管理テーブル15dの一例を示す図である。第2実施形態では、上述したExif形式の画像ファイルに記録される撮影日時の情報を利用する。すなわち、登録処理部20fは、認証情報の登録処理の際、撮影画像の画像ファイルから撮影日時を読み出して、例えば、撮影日を認証情報管理テーブル15dに登録する。
つまり、第2実施形態では、図4に示すフローチャートのステップS105の認証情報の登録処理の際、さらに、撮影日を登録人物に関連付けて認証情報管理テーブル15dに登録する。
また、第2実施形態では、図6に示すフローチャートのステップS305の年齢の判定処理において、以下の点が第1実施形態と相違する。すなわち、年齢判定部20cは、認証用の撮影画像の撮影日と、認証情報管理テーブル15dに登録されている同一人物の撮影画像の撮影日との差分から、年齢差を算出する。そして、年齢判定部20cは、その年齢差の算出に用いた同一人物の推定年齢に、その年齢差の値を加算することにより、現在の年齢を特定する。
そして、登録処理部20fは、認証用の撮影画像の人物の現在の年齢と、登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の撮影画像に基づいて認証情報を作成して追加的に認証情報管理テーブル15dに登録する。
したがって、第2実施形態では、年齢推定技術(アプリケーションソフト等)を用いて、年齢差を判定する処理を省くことができる。また、第2実施形態では、年齢差を算出することにより、年齢判定の精度をより高めることができる。
さらに、第2実施形態では、電子カメラ1の認証情報の登録処理(ステップS104)において、ユーザ入力受付部20eが、ユーザ入力により誕生日の情報を受け付ける構成としても良い。この構成により、年齢判定部20cは、誕生日の情報(生年月日)と、撮影年月日とから、正確な年齢を特定することが可能となる。
(第3実施形態)
次に、第3実施形態について説明する。なお、上記の実施形態と第3実施形態とにおいて、図1に示す電子カメラ1の構成要素は同様である。第3実施形態では、上記の実施形態との相違点について主に説明する。すなわち、第3実施形態では、認証情報管理テーブル15a又は認証情報管理テーブル15dを利用した登録人物の照合処理において、本来ならば同一人物と照合すべきところ、未登録と判定された場合の対応策を講じる点を特徴とする。
次に、第3実施形態について説明する。なお、上記の実施形態と第3実施形態とにおいて、図1に示す電子カメラ1の構成要素は同様である。第3実施形態では、上記の実施形態との相違点について主に説明する。すなわち、第3実施形態では、認証情報管理テーブル15a又は認証情報管理テーブル15dを利用した登録人物の照合処理において、本来ならば同一人物と照合すべきところ、未登録と判定された場合の対応策を講じる点を特徴とする。
図10、図11は、第3実施形態の一例を説明する概念図である。図10は、問題点を説明する図である。図11は、対応策を説明する図である。横軸は、時間軸を示し、撮影日を基準として時間の経過を示している。
図10において、例えば認証情報管理テーブル15aへの最終登録日が撮影日から5年前であったとする。この場合、登録人物の推定年齢が30歳以上40歳未満であると、その間に同一人物を撮影しても、登録処理部20fは、登録の基準となる5年未満という判定結果に基づいて、認証情報管理テーブル15aへ登録を行なわない。但し、登録処理部20fは、撮影画像に写っている同一人物の特徴情報等を撮影画像用管理リスト15cに登録していることとする。
ここで、照合部20gは、撮影日の撮影画像における顔画像をテンプレート画像として、最終登録日の撮影画像における顔画像に対してテンプレートマッチングを行なう。すると、撮影間隔が5年程度経過しているため、照合部20gは、場合によっては、類似度が閾値に達せず非類似と判定することが起こり得る。風貌変化は、個人差があるからである。
そこで、第3実施形態では、図11に示す通り、以下の対応策を講じる。すなわち、第3実施形態では、撮影画像用管理リスト15c等を参照し、最終登録日の撮影画像の特徴情報に基づいて、同一人物の撮影画像を抽出する処理を行なう。そして、登録処理部20fは、抽出した撮影画像に対して、認証情報を作成して、認証情報管理テーブル15aに追加して登録する。続いて、照合部20gは、追加した認証情報に基づいて、照合処理を行なう。例えば、図11では、照合部20gは、1年前の認証情報に基づいて顔認証を行なうので、顔認証の精度が向上して同一人物と同定することが5年前と比較して容易となる。以下、第3実施形態の動作についてフローチャートを用いて説明する。
図12は、第3実施形態における電子カメラ1の動作の一例を示すフローチャートである。第3実施形態では、図5に示すフローの処理を行なった結果、図6に示すサブルーチンのステップS304の処理にて、照合部20gの照合処理で同一人物を特定できずに登録されていない旨(未登録)の判定がなされ(ステップS304:No)、処理が終了した場合、CPU20は、図12に示すフローの処理を開始する。例えば、認証情報管理テーブル15aに登録されているものの、未登録と判定された場合に該当する。
ステップS401:CPU20は、入力画像の読み出し処理を行なう。具体的には、CPU20は、撮影画像用管理リスト15cに登録されている入力画像を1枚読み出す。そして、CPU20は、ステップS402の処理に移行する。
ステップS402:CPU20は、図6に示す顔認証及び登録処理のサブルーチンを行なう。但し、撮影画像用管理リスト15cに登録されているデータについては、顔認証及び登録処理のサブルーチンを既に1回行なっており、特徴情報が登録されているため、ステップS306の処理はスキップする。また、特徴情報に年齢の情報を含めている場合には、ステップS305の処理もスキップする。さらに、ステップS307の処理で年齢差の判定基準を変更して、登録人物と同一人物については、登録処理部20fは、認証情報を認証情報管理テーブル15aに登録する。つまり、照合部20gの照合処理で同一人物を特定できずに処理が終了したということは、個人差等に起因して風貌変化が大きい時期を表わしているので、このような場合には、登録処理部20fは、追加的に認証情報を認証情報管理テーブル15aに登録することが好ましい。
そして、CPU20は、顔認証及び登録処理のサブルーチンを行なった後、ステップS403の処理に移行する。
ステップS403:CPU20は、指定した全画像について顔認証及び登録処理のサブルーチンを行なったか否かを判定する。ここで、指定した全画像とは、例えば、撮影画像用管理リスト15cに登録されている撮影画像である。指定した全画像について顔認証及び登録処理のサブルーチンを行なっていない場合(ステップS403:No)、CPU20は、ステップS402の処理に戻る。一方、指定した全画像について顔認証及び登録処理のサブルーチンを行なった場合(ステップS403:Yes)、CPU20は、ステップS404の処理に移行する。
ステップS404:CPU20は、認証情報の追加があるか否かを判定する。認証情報の追加がない場合(ステップS404:No)、CPU20は、図12に示すフローの処理を終了させる。一方、CPU20は、認証情報の追加があった場合(ステップS404:Yes)、ステップS405の処理に移行する。
ステップS405:CPU20は、未検出の認証用の撮影画像に対して、顔認証及び認証情報の登録処理を再度行なう。ここで、未検出の認証用の撮影画像とは、図6に示す顔認証及び登録処理のサブルーチンのステップS304において、未登録と判定された撮影画像をいう。すなわち、CPU20は、追加した認証情報に基づいて、図6に示す顔認証及び登録処理のサブルーチンを再度行なう。
具体的には、照合部20gは、顔認証及び登録処理のサブルーチンのステップS303の処理において、未検出の認証用の撮影画像の顔画像をテンプレート画像として、追加した認証情報に基づく登録画像の顔画像に対してテンプレートマッチング等の照合処理を行なう。ここで、顔認証及び登録処理のサブルーチンのステップS303の処理で、同一人物を特定できた場合には(ステップS304:Yes)、CPU20は、ステップS305以降の処理に移行し、登録処理部20fは、今回撮影した撮影画像に基づく認証情報を例えば認証情報管理テーブル15a又は認証情報管理テーブル15dに登録する。なお、その後のフローの処理で、再度同一人物と特定された場合には、登録処理部20fは、既に認証情報を登録済みなのでステップS308の登録処理を省略する。
ステップS406:CPU20は、追加した認証情報を全てチェックしたか否かを判定する。追加した認証情報を全てチェックしていない場合(ステップS406:No)、CPU20は、ステップS405の処理に戻る。一方、追加した認証情報を全てチェックした場合(ステップS406:Yes)、CPU20は、図12に示すフローの処理を終了させる。なお、図12に示すフローの処理では、追加した認証情報に対して、全てチェックする構成になっているが、照合部20gは、追加した登録データのうちで撮影日に直近の認証情報を用いて、照合処理を行なうようにしても良い。
以上より、第3実施形態では、照合部20gが認証情報管理テーブル15a又は認証情報管理テーブル15dを参照して、照合処理を行なう。その結果、照合部20gが同一人物を特定できなかった場合であっても、第3実施形態では、撮影画像用管理リスト15cに登録されているデータを参照することにより、同一人物を特定し、年齢を判定することができる。
なお、第3実施形態では、撮影画像用管理リスト15cに登録されている撮影画像に限られず、顔認証モードで撮影を行なわなかった他の画像を例えば記録媒体M1から読み出して、図12に示すフローの処理を行なっても良い。
(実施形態の補足事項)
(1)上記の実施形態では、本発明の一実施形態である画像処理装置を電子カメラ1に搭載したが、本発明は、これに限定されるものではない。例えば、他の実施形態としては、電子カメラ機能付きのパーソナルコンピュータ(携帯用の情報処理端末等)に搭載して、電子カメラ1と同様の処理を行なっても良い。又は、他の実施形態としては、本発明の一実施形態である画像処理装置を、電子カメラ機能付きの携帯電話等の電子機器に搭載して、電子カメラ1と同様の処理を行なっても良い。
(1)上記の実施形態では、本発明の一実施形態である画像処理装置を電子カメラ1に搭載したが、本発明は、これに限定されるものではない。例えば、他の実施形態としては、電子カメラ機能付きのパーソナルコンピュータ(携帯用の情報処理端末等)に搭載して、電子カメラ1と同様の処理を行なっても良い。又は、他の実施形態としては、本発明の一実施形態である画像処理装置を、電子カメラ機能付きの携帯電話等の電子機器に搭載して、電子カメラ1と同様の処理を行なっても良い。
(2)上記の実施形態では、複数の年齢別の認証情報を登録することで、本人認証の精度を保つことができる。また、上記の実施形態では、年齢によって顔の特徴の変化が少ない年齢において、認証情報の追加取得の頻度を少なくすることで、認証情報のデータ量の増大化を防ぐことができる。また、上記の実施形態では、登録処理部20fはが認証情報を例えば認証情報管理テーブル15aに追加的に登録したが、上書きにより更新するようにしても良い。
さらに、撮影画像用管理リスト15cでは、特徴情報に年齢の情報も追加することにより、登録人物と撮影時の年齢とを管理できる。これにより、CPU20は、撮影画像用管理リスト15cにおいて、例えば、画像群の登録人物の年齢順や年齢別のデータに従って並べるソートを行なっても良い。具体的には、図8(b)では、登録人物の一人である太郎を年齢順にソートをした状態を示す。なお、図8(b)では、花子や次郎に対しても、個別に年齢順にソートをしているが、図示を省略している。ここで、CPU20は、一例として、太郎の年齢順の撮影画像に対して、ソート後の順序をスライドショーの再生の順序として決定し、順次、表示モニタ17に表示するようにしても良い。
(3)上記の実施形態において、CPU20は、加齢による顔の変化を予測する公知のアルゴリズムを利用して、その加齢による顔の変化に伴う予測画像を生成して、人物を照合したり、人物の年齢を判定したりしても良い。これにより、より多面的に人物を照合したり、年齢を判定したりすることができる。
また、上記の実施形態において、照合部20gは、類似に近いが、類似度が閾値に達せず非類似と判断する場合、ユーザ入力によって、同一人物の有無を選択させる構成にしても良い。これにより、顔認証の精度をより高めることができる。
1・・・電子カメラ、20a・・・顔検出部、20b・・・識別部、20c・・・年齢判定部、20d・・・登録処理部、20g・・・照合部
Claims (6)
- 入力画像から顔を検出する顔検出部と、
前記顔の特徴を示す特徴量情報を抽出することにより、前記顔の人物を識別する識別部と、
前記顔の人物の年齢を判定する年齢判定部と、
前記識別部により識別された前記顔の人物と前記年齢とを少なくとも関連付けた認証情報を作成して人物毎に登録する登録処理部と、
認証用の入力画像を前記認証情報に基づいて照合することにより、同一人物を特定する照合部と、を備え、
前記年齢判定部は、認証用の前記入力画像を解析することにより、該入力画像内の人物の年齢を推定し、
前記登録処理部は、認証用の前記入力画像内の前記人物の年齢と登録済みの前記同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の前記入力画像に基づいて前記認証情報を作成して追加的に登録する
ことを特徴とする画像処理装置。 - 撮影日を含む撮影情報が関連付けられた入力画像から顔を検出する顔検出部と、
前記顔の特徴を示す特徴量情報を抽出することにより、前記顔の人物を識別する識別部と、
前記顔の人物の年齢を判定する年齢判定部と、
前記識別部により識別された前記顔の人物と、前記年齢と、前記撮影情報とを少なくとも関連付けた認証情報を作成して人物毎に登録する登録処理部と、
認証用の入力画像を前記認証情報に基づいて照合することにより、同一人物を特定する照合部と、を備え、
前記年齢判定部は、認証用の前記入力画像の前記撮影情報と、前記登録処理部により登録された前記同一人物の前記撮影情報とに基づいて、認証用の前記人物の年齢を特定し、
前記登録処理部は、認証用の前記入力画像の前記人物の年齢と、登録済みの前記同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の前記入力画像に基づいて前記認証情報を作成して追加的に登録する
ことを特徴とする画像処理装置。 - 請求項1又は請求項2に記載の画像処理装置において、
前記年齢判定部は、前記人物の顔画像に基づいて、前記人物の年齢を推定する推定部と、前記人物の年齢をユーザ入力により受け付けるユーザ入力受付部とを有し、
少なくとも最初に登録する前記認証情報における前記人物の年齢を、前記推定部が推定するか、又は、前記ユーザ入力受付部が前記ユーザ入力により受け付けることを特徴とする画像処理装置。 - 請求項1から請求項3の何れか1項に記載の画像処理装置において、
前記照合部は、前記認証情報に基づいて前記同一人物を照合できなかった場合、前記認証情報が関連付けされていない他の画像を用いて前記同一人物を照合し、
前記年齢判定部は、前記他の画像の前記同一人物の年齢を判定し、
前記登録処理部は、前記認証情報における年齢と異なる年齢の前記同一人物の認証情報を作成して追加的に登録することを特徴とする画像処理装置。 - 請求項1から請求項4の何れか1項に記載の画像処理装置において、
前記基準として、未成年や所定の年齢に達した高齢者の年代では、前記年齢差を他の年代と比較して狭めることにより、前記登録処理部は、前記認証情報を追加的に登録する頻度を高めることを特徴とする画像処理装置。 - 被写体の像を撮像して入力画像を生成する撮像素子と、
請求項1から請求項5の何れか1項に記載の画像処理装置と、
を備えることを特徴とする電子カメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012115855A JP2013242719A (ja) | 2012-05-21 | 2012-05-21 | 画像処理装置及び電子カメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012115855A JP2013242719A (ja) | 2012-05-21 | 2012-05-21 | 画像処理装置及び電子カメラ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013242719A true JP2013242719A (ja) | 2013-12-05 |
Family
ID=49843547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012115855A Pending JP2013242719A (ja) | 2012-05-21 | 2012-05-21 | 画像処理装置及び電子カメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013242719A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020158804A1 (ja) * | 2019-02-01 | 2020-08-06 | シャープ株式会社 | 血圧測定装置、モデル設定装置、および血圧測定方法 |
JP2022032529A (ja) * | 2020-08-12 | 2022-02-25 | ソフトバンク株式会社 | 顔認証サーバ、情報処理方法及び情報処理システム |
-
2012
- 2012-05-21 JP JP2012115855A patent/JP2013242719A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020158804A1 (ja) * | 2019-02-01 | 2020-08-06 | シャープ株式会社 | 血圧測定装置、モデル設定装置、および血圧測定方法 |
JP2022032529A (ja) * | 2020-08-12 | 2022-02-25 | ソフトバンク株式会社 | 顔認証サーバ、情報処理方法及び情報処理システム |
JP7316981B2 (ja) | 2020-08-12 | 2023-07-28 | ソフトバンク株式会社 | 顔認証サーバ、情報処理方法及び情報処理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4218348B2 (ja) | 撮影装置 | |
KR101168546B1 (ko) | 얼굴 대조 장치, 전자 기기, 얼굴 대조 장치의 제어 방법 및 얼굴 대조 장치 제어 프로그램 | |
JP5467992B2 (ja) | 撮像装置 | |
JP5293206B2 (ja) | 画像検索装置、画像検索方法及びプログラム | |
JP6132490B2 (ja) | 認証装置、認証方法、およびプログラム | |
US20120013783A1 (en) | Photgraphing support system, photographing support method, server photographing apparatus, and program | |
JP5604285B2 (ja) | 撮像装置 | |
US20100188520A1 (en) | Imaging device and storage medium storing program | |
US8244119B2 (en) | Image capturing apparatus and method for controlling the same | |
JP5125734B2 (ja) | 撮像装置、画像選択方法及び画像選択プログラム | |
KR20080097930A (ko) | 촬상장치, 촬상제어프로그램을 기록한 컴퓨터 판독 가능한기록매체 및 촬상제어방법 | |
KR101046041B1 (ko) | 촬상 장치 | |
JP2015008385A (ja) | 画像選択装置、撮像装置および画像選択プログラム | |
JP4967748B2 (ja) | 画像処理装置及びプログラム | |
JP2013242719A (ja) | 画像処理装置及び電子カメラ | |
JP5272797B2 (ja) | デジタルカメラ | |
JP2010198110A (ja) | 画像処理装置及び電子スチルカメラ | |
JP5488639B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5267136B2 (ja) | 電子カメラ | |
JP2011044989A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP5995610B2 (ja) | 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム | |
JP5640377B2 (ja) | 画像処理装置、カメラ、および画像処理プログラム | |
JP5002311B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体 | |
JP2010193183A (ja) | 画像表示装置、画像表示プログラム及び記憶媒体 | |
JP2014042250A (ja) | 撮像装置、撮影方法及びプログラム |