JP2012014376A - 画像処理装置及び方法、並びにプログラム - Google Patents

画像処理装置及び方法、並びにプログラム Download PDF

Info

Publication number
JP2012014376A
JP2012014376A JP2010149665A JP2010149665A JP2012014376A JP 2012014376 A JP2012014376 A JP 2012014376A JP 2010149665 A JP2010149665 A JP 2010149665A JP 2010149665 A JP2010149665 A JP 2010149665A JP 2012014376 A JP2012014376 A JP 2012014376A
Authority
JP
Japan
Prior art keywords
data
image
age
target image
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010149665A
Other languages
English (en)
Other versions
JP4924742B2 (ja
JP2012014376A5 (ja
Inventor
Yuji Kuriyama
祐司 栗山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010149665A priority Critical patent/JP4924742B2/ja
Priority to US13/171,980 priority patent/US8526742B2/en
Priority to CN201110178735.XA priority patent/CN102393907B/zh
Publication of JP2012014376A publication Critical patent/JP2012014376A/ja
Publication of JP2012014376A5 publication Critical patent/JP2012014376A5/ja
Application granted granted Critical
Publication of JP4924742B2 publication Critical patent/JP4924742B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顔が類似する別々の被写体がそれぞれに含まれる各々の画像のデータを別々のグループに精度良く分類すること。
【解決手段】顔検出部61は、対象画像内の顔領域を検出する。年齢認識部62は、顔領域に基づいて、対象画像内の被写体の年齢を認識する。類似画像検索部63は、複数の既存画像のデータの中から、検出された顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する。年齢確認部64は、被写体の年齢が、第1範囲内であるか否かを確認する。日付比較部65は、被写体の年齢が第1範囲内であると確認された場合に、対象画像のデータの撮像日付と類似画像のデータの撮像日付との差分時間を求め、当該差分時間と第2範囲とを比較する。分類手段は、日付比較部65により比較された結果、差分時間が第2範囲内である場合、対象画像のデータを、類似画像のデータが属するグループと同一グループに分類する。
【選択図】図2

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、親子や兄弟等の顔が類似する別々の被写体がそれぞれに含まれる各々の画像のデータを別々のグループに精度良く分類することが可能な技術に関する。
近年、メモリ容量の増大化が進み、デジタルカメラは、非常に多数の画像のデータを記録できるようになってきている。
しかしながら、ユーザにとっては、画像のデータの記録数が増加する程、所望の画像のデータを探索したり、探索した画像のデータを整理するための操作が困難になっていく。
そこで、このような操作の困難性を低減すべく、例えば特許文献1には、画像に含まれる顔の領域(以下、「顔領域」と呼ぶ)を顔検出技術により検出し、顔が検出された画像のデータを特定の分類と関連付けることによって、複数の画像のデータを被写体毎のグループに分類する技術が開示されている。
特開2005−174308号公報
しかしながら、特許文献1に記載の技術では、同一又は類似の顔領域が検出された別々の画像のデータを、同一のグループに分類する。このため、所定人物のグループ内に、当該所定人物と類似する顔を持つ別人の画像のデータが分類されてしまう場合がある。
例えば、所定人物が被写体として含まれている第1の画像のデータと、当該所定人物と親子や兄弟の関係にある別人が被写体として含まれている第2の画像のデータとを分類する場合を考えてみる。
この場合、第1の画像及び第2の画像の双方のデータとも、同時期に撮影されたもの、例えば現時点で撮影されたものであれば、双方の被写体の年齢は異なるために、特許文献1に記載の技術でも、別々のグループに分類することは可能である。即ち、第1の画像から検出された第1の顔領域と、第2の画像から検出された第2の顔領域とを比較した場合、双方の年齢の差により生ずる特徴点、具体的には例えば顔の縦横比、顔の全体に対する目の高さ、目の大きさ、しわの本数、髪際の後退度等が異なる。従って、これらの特徴点の差異点に基づいて、第1の画像と第2の画像の各々のデータを別々のグループに分類することは可能である。
しかしながら、例えば、所定人物が親であり、第1の画像に含まれている被写体が4才の時の親であり、別人が子であり、第2の画像に含まれている被写体が、4才の時の子である場合、特許文献1に記載の技術では、別々のグループに分類することが困難になる。即ち、この場合には、双方の被写体の年齢は同一となるため、上述した年齢の差により生ずる特徴点の差異は現れない。また、同一年齢の時の親子の顔は酷似していることが多い。従って、このような場合、第1の画像と第2の画像の各々のデータを、親のグループとこのグループに分離しなければならないところ、特許文献1に記載の技術では、分離しきれずに親又は子の同一グループに分類してしまう場合が多々ある。
従って、親子や兄弟等、顔が類似する別々の被写体がそれぞれに含まれる各々の画像のデータを別々のグループに精度良く分類することが可能な手法の実現が求められている。
本発明は、このような状況に鑑みてなされたものであり、顔が類似する別々の被写体がそれぞれに含まれる各々の画像のデータを別々のグループに精度良く分類することを目的とする。
本発明の一態様によると、
撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する顔検出手段と、
前記顔検出手段により検出された前記顔領域に基づいて、前記対象画像内の前記被写体の年齢を認識する年齢認識手段と、
撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、前記顔検出手段により検出された前記顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する類似画像検索手段と、
前記年齢認識手段により認識された前記対象画像内の前記被写体の年齢が、所定の第1範囲内であるか否かを確認する年齢確認手段と、
前記年齢確認手段により前記対象画像内の前記被写体の年齢が前記第1範囲内であると確認された場合に、前記対象画像のデータの第1撮像日付と、前記類似画像検索手段により検索された前記類似画像のデータの第2撮像日付との差分時間を求め、前記差分時間と所定の第2範囲とを比較する日付比較手段と、
前記日付比較手段により比較された結果、前記差分時間が前記第2範囲内である場合、前記対象画像のデータを、前記類似画像のデータが属するグループと同一グループに分類する分類手段と、
を備える画像処理装置を提供する。
本発明の他の態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。
本発明によれば、親子や兄弟等の顔が類似する別々の被写体がそれぞれに含まれる各々の画像のデータを別々のグループに精度良く分類することができる。
本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 グループ化判断処理を実行するための図1の画像処理装置の機能的構成を示す機能ブロック図である。 図2の画像処理装置が実行するグループ化判断処理の流れを説明するフローチャートである。 図2の画像処理装置の画像処理部によりグループ化される画像の概要を示す図である。
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本発明に係る画像処理装置の一実施形態としての撮像装置1のハードウェアの構成を示すブロック図である。撮像装置1は、例えばデジタルカメラにより構成することができる。
撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、操作部17と、表示部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
CPU11は、ROM12に記録されているプログラムに従って各種の処理を実行する。又は、CPU11は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13にはまた、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
例えば本実施形態では、後述する図2の顔検出部61乃至グループ化部66の各機能を実現するプログラムが、ROM12や記憶部19に記憶されている。従って、CPU11が、これらのプログラムに従った処理を実行することで、後述する図2の顔検出部61乃至グループ化部66の各機能を実現することができる。
CPU11、ROM12、及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、操作部17、表示部18、記憶部19及び通信部20が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換(撮像)して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
なお、以下、撮像部16の出力信号を、「画像のデータ」と呼ぶ。従って、撮像部16からは画像のデータが出力されて、CPU11等に適宜供給される。
操作部17は、各種釦等で構成され、ユーザの指示操作を受け付ける。
表示部18は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部19は、DRAM(Dynamic Random Access Memory)等で構成され、撮像部16から出力された画像のデータを一時的に記憶する。また、記憶部19は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
入出力インターフェース15にはまた、必要に応じてドライブ21が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像データ等の各種データも、記憶部19と同様に記憶することができる。
このような構成を有する撮像装置1は、次のような一連の処理を実行することができる。
即ち、撮像装置1は、グループに分類する対象の画像(以下、「対象画像」と呼ぶ)のデータを用いて、当該対象画像から、被写体の顔を含む領域を顔領域として検出する。
撮像装置1は、顔領域に基づいて、被写体の年齢を認識する。
撮像装置1は、所定のグループに既に分類されている画像(以下、「既存画像」と呼ぶ)のデータの中から、検出された顔領域に類似する顔領域を有する既存画像のデータを抽出する。
撮像装置1は、対象画像の被写体の年齢が所定の範囲内であり、対象画像のデータの撮影日付が、抽出された既存画像のデータの撮影日付を基準とする所定範囲内である場合には、対象画像のデータを既存画像のデータと同一のグループに分類する。これ以外の場合、撮像装置1は、対象画像のデータを既存画像のデータとは別のグループに分類する。
このような一連の処理を、以下、「グループ化判断処理」と呼ぶ。
図2は、このようなグループ化判断処理を実行するための撮像装置1の機能的構成を示す機能ブロック図である。
図2に示すように、撮像装置1は、画像記憶部41と、画像処理部42と、を備えている。
画像記憶部41は、対象画像記憶部51と、既存画像記憶部52と、を備えている。
画像処理部42は、顔検出部61と、年齢認識部62と、類似画像検索部63と、年齢確認部64と、日付比較部65と、グループ化部66と、を備えている。
本実施形態では、画像記憶部41、即ち、対象画像記憶部51及び既存画像記憶部52は、図1に示す構成のうち、RAM13若しくは記憶部19、又はリムーバブルメディア31内の一領域として構成されている。
対象画像記憶部51は、撮像部16等によって被写体が撮像された結果得られる画像のデータを、対象画像のデータとして記憶する。このとき、対象画像記憶部51は、対象画像の撮像日付を示すメタ情報を、当該対象画像のデータと対応付けて記憶する。
より具体的には本実施形態では、対象画像のデータは、Exif(Exchangeable Image File Format)形式の所定のファイルに含められる。なお、このような対象画像のデータを含むファイルを、以下、「対象画像ファイル」と呼ぶ。対象画像ファイルには、対象画像のデータの他、当該対象画像に関する各種メタ情報を含めることが可能である。そこで、本実施形態では、撮像時点の日付情報が、撮像日付を示すメタ情報として対象画像ファイルに含められる。そして、このような対象画像ファイルが、対象画像記憶部51に記憶される。
なお、対象画像記憶部51が対象画像として記憶するデータは、撮像部16により撮像された撮像画像のデータに特に限定されず、撮像日時が判別可能なデータであれば足り、その他例えば、通信部20を介して外部から取得した画像のデータであってもよい。
既存画像記憶部52は、各個人の年齢毎のグループのうちの何れかに予め分類されている複数の画像のデータの各々を、既存画像のデータとしてグループ毎に記憶する。このとき、既存画像記憶部52は、既存画像の撮像日付を示すメタ情報を、当該既存画像のデータと対応付けて記憶している。
より具体的には本実施形態では、既存画像のデータの形式は、対象画像のデータの形式と同一のExif形式である。ただし、既存画像のデータや、その撮像日付を示すメタ情報等が含められる、Exif形式の所定のファイルを、「対象画像ファイル」と明確に区別すべく、以下、「既存画像ファイル」と呼ぶ。
このような画像記憶部41に対して、画像処理部42、即ち顔検出部61乃至グループ化部66の各々は、図1に示す構成のうち、CPU11というハードウェアと、ROM12等に記憶されたプログラム(ソフトウェア)との組み合わせとして構成されている。
顔検出部61は、後述する分類指示操作等の所定のタイミングで、対象画像のデータを対象画像記憶部51から読み出し、当該対象画像内の被写体の顔を含む領域を顔領域として検出する。
具体的には本実施形態では、顔検出部61は、特開2001−16573号公報等に記載された特徴点抽出処理によって、最初に、当該対象画像から、眉、目、鼻、口の各端点、顔の輪郭点、頭頂点や顎の下端点等の顔の特徴点を抽出する。顔検出部61は、このようにして検出した特徴点から周辺のエッジ情報を得ることで、当該対象画像のうち、眉、目、鼻、口の各領域を特徴領域として画定する。そして、顔検出部61は、眉、目、鼻、口の各領域、及びそれらの境界を輪郭として決定し、それらの位置情報を取得することによって、顔領域を検出する。
なお、顔検出部61に適用可能な顔領域を検出する手法は、特に本実施形態に限定されず、公知又は今後開発される任意の手法を採用することができる。
顔検出部61は、顔領域の検出結果、及び対象画像のデータを年齢認識部62に出力する。ここで、顔領域の検出結果としては、例えば、対象画像から顔領域を特定可能な情報、より具体的には例えば、顔領域の位置を特定可能な位置情報が顔検出部61から出力される。
また、顔検出部61は、対象画像のデータ及びその撮影日付の情報を類似画像検索部63に出力する。
なお、対象画像に被写体が含まれていない等の理由により、顔領域が検出されなかった場合、その旨を示す情報と共に、対象画像のデータ及びその撮像日付の情報が、顔検出部61から年齢認識部62及び年齢確認部64を介してグループ化部66に供給される。
年齢認識部62は、対象画像のうち、顔検出部61により検出された顔領域のデータに基づいて、当該対象画像に含まれる被写体の年齢を認識する。
具体的には本実施形態では、年齢認識部62は、特開平6−333023号公報等に記載された年齢推定処理によって、顔領域のデータから、顔の特徴を示すデータ(以下、「顔特徴データ」と呼ぶ)を検出する。顔特徴データとしては、顔の縦横比、顔の全体に対する目の高さ、目の大きさ、しわの本数、髪際の後退度等を示すデータが存在する。次に、年齢認識部62は、これらの顔特徴データに基づいて、既存の顔の各部のパターンのデータを組み合わせることで、新たな顔領域のデータを生成する。そして、年齢認識部62は、新たな顔領域のデータに基づいて、被写体の年齢を認識する。
なお、年齢認識部62に適用可能な年齢を認識する手法は、特に本実施形態の手法に限定されず、公知又は今後開発される任意の手法を採用することができる。
年齢認識部62は、対象画像のデータ及び認識した年齢の情報を年齢確認部64に出力する。
類似画像検索部63は、既存画像記憶部52に記憶された複数の既存画像のデータの中から、顔検出部61により検出された対象画像の顔領域に類似する顔領域を有する既存画像(以下、「類似画像」と呼ぶ)のデータを検索する。
ここで、顔領域が類似するか否かの判断手法として、本実施形態では、顔領域内の複数の特徴点毎の類似度を演算し、これらの複数の特徴点の類似度を用いて、顔領域が類似するか否かを総合的に判断する、という手法が採用されている。ただし、顔領域が類似するか否かの判断手法は、特に本実施形態の手法に限定されず、公知又は今後開発される任意の手法を採用することができる。
類似画像検索部63は、類似画像のデータの検索結果を年齢確認部64に通知する。
詳細については後述するが、当該検索結果が通知された年齢確認部64により、類似画像の撮像日付、及び、類似画像のデータが属するグループを示す情報(以下、「類似画像情報」と呼ぶ)の取得要求が発行される場合がある。
この場合類似画像検索部63は、類似画像情報を既存画像記憶部52から取得して、撮像画像のデータ及びその撮像日付の情報と共に、年齢確認部64に出力する。
年齢確認部64は、類似画像検索部63により類似画像のデータが検索された場合(その旨の検索結果が通知された場合)、年齢認識部62により認識された対象画像の被写体の年齢が所定の範囲(以下、「チェック対象範囲」と呼ぶ)内であるか否かを確認する。
具体的には本実施形態では、チェック対象範囲は、0乃至5才の範囲であるとする。即ち、年齢確認部64は、対象画像の被写体の年齢が0乃至5才の範囲内であるか否か、即ち5才以下であるか否かを確認する。
年齢確認部64は、対象画像の被写体の年齢がチェック対象範囲(0乃至5才)内であると確認した場合、上述したように、類似画像情報の取得要求を、類似画像検索部63に発行する。この取得要求を受けた類似画像検索部63から類似画像情報、即ち、類似画像のデータの撮像日付、及び類似画像のデータが属するグループを示す情報が出力されると、年齢確認部64は、当該類似画像情報を取得する。そして、年齢確認部64は、対象画像のデータ及びその撮像日付の情報、並びに、類似画像情報(類似画像検索部類似画像のデータの撮影日付及びグループを示す情報)を日付比較部65に出力する。
これに対して、年齢確認部64は、対象画像の被写体の年齢がチェック対象範囲(0乃至5才)外であると確認した場合、対象画像のデータ及びその撮像日付の情報をグループ化部66に出力する。
また、年齢確認部64は、類似画像検索部63により類似画像のデータが検索されなかった場合(その旨の検索結果が通知された場合)、年齢確認の処理を実行することなく、対象画像のデータ及びその撮像日付の情報をグループ化部66に出力する。
日付比較部65には、対象画像の被写体の年齢がチェック対象範囲(0乃至5才)内である場合に、対象画像のデータ及びその撮像日付の情報、並びに、類似画像情報(類似画像のデータの撮影日付及びグループを示す情報)が年齢確認部64から供給される。
そこで、日付比較部65は、対象画像のデータの撮像日付と、類似画像のデータの撮像日付とを比較する。
具体的には本実施形態では、日付比較部65は、対象画像のデータの撮像日付と、類似画像のデータの撮像日付との間の差分時間を演算し、当該差分時間が指定時間以下であるか否かを判定する。指定時間とは、ユーザが操作部17を操作して任意に指定することが可能な時間をいう。
日付比較部65は、対象画像と類似画像の両データ間の撮像日付の差分時間が指定時間以下であると判定した場合、類似画像検索部対象画像のデータ、及び当該対象画像の類似画像のデータが属するグループの情報をグループ化部66に出力する。
なお、日付比較部65は、対象画像と類似画像の両データ間の撮像日付の差分時間が指定時間を超えていると判定した場合、対象画像のデータの撮像日付と、別の類似画像のデータの撮像日付とを比較する。このような日付比較部65による比較の処理は、撮像日付の差分時間が指定時間以下となる類似画像が現れるか、又は、類似画像が存在しなくなるまで繰り返し実行される。
グループ化部66は、対象画像のデータを所定のグループに分類し、対象画像のデータを、分類したグループに属するデータとして既存画像記憶部52に記憶させる。
具体的には本実施形態では、対象画像と類似画像の両データ間の撮像日付の差分時間が指定時間以下である場合、対象画像のデータ、及び当該対象画像の類似画像のデータが属するグループの情報が、日付比較部65からグループ化部66に供給される。このような場合、グループ化部66は、例えば、対象画像のデータに対して類似画像のデータと同一の分類のタグ情報を付与することにより、対象画像のデータを、類似画像のデータが属しているグループに分類する。そして、グループ化部66は、対象画像のデータを当該グループのデータとして既存画像記憶部52に記憶させる。
なお、それ以外の取り扱いに関しては、図3のフローチャートを参照して後述する。
次に、図3を参照して、図2の撮像装置1が実行するグループ化判断処理について説明する。
図3は、グループ化判断処理の流れを説明するフローチャートである。
グループ化判断処理は、例えば図2は図示しないが、ユーザが対象画像のデータの分類を指示する操作を操作部17に対して行った場合、その操作を契機として開始される。即ち、次のような処理が実行される。
図3のステップS11において、顔検出部61は、対象画像のデータを対象画像記憶部51から読み出し、当該対象画像から顔領域の検出を試みる。
ステップS12において、グループ化部66は、対象画像から顔領域を検出できたか否かを判定する。
対象画像に被写体が含まれていない等の理由により、顔検出部61により顔領域が検出されなかった場合、ステップS12においてNOであると判定されて、グループ化判断処理は終了する。この場合、当該対象画像のデータは、何れのグループにも分類されずに既存画像記憶部52に記憶される。
これに対して、顔検出部61により顔領域が検出された場合、ステップS12においてYESであると判定されて、処理はステップS13に進む。
ステップS13において、年齢認識部62は、顔検出部61により検出された顔領域のデータに基づいて、対象画像の被写体の年齢を認識する。
ステップS14において、類似画像検索部63は、既存画像記憶部52に記憶された複数の既存画像のデータの中から、顔検出部61により検出された顔領域に類似する顔領域を有する既存画像のデータを、対象画像の類似画像として検索する。
ステップS15において、グループ化部66は、類似画像を検索できたか否かを判定する。
類似画像検索部63により類似画像が検索されなかった場合、ステップS15においてNOであると判定されて、グループ化判断処理は終了する。この場合、当該対象画像のデータは、何れのグループにも分類されずに既存画像記憶部52に記憶される。
これに対して、類似画像検索部63により1以上の類似画像が検出された場合、ステップS15においてYESであると判定されて、処理はステップS16に進む。
ステップS16において、年齢確認部64は、年齢認識部62により認識された対象画像の被写体の年齢が所定のチェック対象範囲内であるか否かを判定する。
チェック対象範囲は、グループ化判断処理を行うにあたり、上述したように、ユーザが操作部17を操作することで指定可能な年齢の範囲であり、例えば本実施形態では0乃至5才の範囲が設定されている。
対象画像の被写体の年齢が所定のチェック対象範囲外である場合、即ち5才を超えている場合、ステップS16においてNOであると判定されて、処理はステップS20に進む。
ステップS20において、グループ化部66は、例えば対象画像のデータに「その他グループ」のタグ情報を付与することによって、対象画像のデータを「その他グループ」に分類する。これにより、グループ化判断処理は終了する。この場合、当該対象画像のデータは、その撮像日付の情報と共に、その他グループとして既存画像記憶部52に記憶される。
これに対して、対象画像の被写体の年齢が所定のチェック対象範囲内である場合、即ち5才以下の場合、ステップS16においてYESであると判定されて、処理はステップS17に進む。
ステップS17において、日付比較部65は、類似画像検索部により検索された類似画像のデータの撮像日付と、対象画像のデータの撮像日付とを比較する。具体的には、日付比較部65は、対象画像のデータの撮像日付と、類似画像のデータの撮像日付との間の差分時間を演算する。
ステップS18において、日付比較部65は、対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間以下であるか否かを判定する。
対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間を超えている場合とは、対象画像の被写体と類似画像の被写体とは、指定時間を超えた長期間を開けて、例えば指定時間が2年ならば、2年を超えた間隔を開けて顔が類似していることを意味する。要するに、親子や兄弟等の別人同士のうち、一方が対象画像の被写体であり、他方が類似画像の被写体である可能性が高いことを意味する。このような場合、対象画像のデータの正確なグループ分けをすることは困難である。
そこで、対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間を超えている場合には、ステップS18においてNOであると判定されて、ステップS14の処理に戻され、別の類似画像が新たに検索され、それ以降の処理が繰り返されるのである。
その後、別の類似画像について、ステップS14乃至S18の処理が実行された結果、対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間以下になったとする。このことは、対象画像の被写体と類似画像の被写体とは、指定時間以下の短期間内で顔が類似していることを意味する。要するに、対象画像の被写体と類似画像の被写体とは同一人物であると判断できることを意味する。
そこで、対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間以下の場合には、ステップS18においてYESであると判定されて、処理はステップS19に進む。
ステップS19において、グループ化部66は、対象画像のデータを、類似画像のデータと同一グループに分類し、対象画像のデータを当該グループに属するデータとして既存画像記憶部52に記憶させる。
具体的には例えば、グループ化部66は、例えば、対象画像のデータに対して類似画像のデータと同一の分類のタグ情報を付与することにより、対象画像のデータを、類似画像のデータと同一グループに分類する。そして、グループ化部66は、対象画像のデータを当該グループのデータとして既存画像記憶部52に記憶させる。
これにより、グループ化判断処理は終了となる。
さらに、図4を参照して、グループ化判断処理について具体的に説明する。
図4は、グループ化判断処理の具体的な処理結果を説明する図である。
図4の例では、撮像部16により撮像された結果得られる対象画像71a、71b、71c、71d・・・の各々のデータが、対象画像のデータとして対象画像記憶部41に記憶されている。また、図4において、各対象画像71a、71b、71c、71dの右上には、それぞれの撮像日付が描画されているが、これらを特定可能な撮像日付の情報も対象画像記憶部51に記憶されているものとする。
また、対象画像71a、71cの各々に含まれる被写体72a、72cの各々は子供である一方、対象画像71bに含まれている被写体72bは親であるものとする。なお、対象画像71dに含まれる被写体72dは、その親子とは関係のない別人であるものとする。
また、既存画像記憶部52においては、「2006年 子 4才グループ」が予め設定されており、当該グループに属する画像のデータを記憶する記憶部81a(以下、「子グループ記憶部81a」と呼ぶ)が予め設けられているものとする。子グループ記憶部81aには、4才の子を被写体として含む1以上の既存画像(既存画像82aのみ図示)のデータが、その撮像日付の情報と共に記憶されているものとする。
既存画像記憶部52においてはまた、「1986年 親 4才グループ」が予め設定されており、当該グループに属する画像のデータを記憶する記憶部81b(以下、「親グループ記憶部81b」と呼ぶ)が予め設けられているものとする。親グループ記憶部81bには、4才の親を被写体として含む1以上の既存画像(既存画像82aのみ図示)のデータが、その撮像日付の情報と共に記憶されているものとする。
既存画像記憶部52においてはまた、「その他グループ」が予め設定されており、当該グループに属する画像のデータを記憶する記憶部81c(以下、「その他グループ記憶部81c」と呼ぶ)が予め設けられている。
即ち、図4の例では、対象画像71a、71b、71c、71d・・・の各々のデータは、「2006年 子 4才グループ」、「1986年 親 4才グループ」、「その他グループ」の3つのグループのうち何れかに分類されるものとする。
図4のステップS11の処理で、対象画像71aのデータが、対象画像記憶部51から読み出され、顔検出部61により顔領域の検出の試みがなされたものとする。
この場合、図4に示すように、顔領域73aが検出されるので、ステップS12の処理でYESであると判定されて、ステップS13の処理で、年齢認識部62により、当該顔領域73aに基づいて、対象画像の被写体(子)の年齢は4才であると認識される。
ステップS14の処理で、類似画像検索部63によって、既存画像記憶部52に記憶された複数の既存画像のデータの中から、顔領域73aに類似する顔領域を有する既存画像のデータが、対象画像の類似画像として検索される。
この場合の検索対象や検索順番は、特に限定されないが、ここでは、説明の便宜上、子グループ記憶部81a、親グループ記憶部81b、及びその他グループ記憶部81cが検索対象となり、その順番で検索されていくものとする。
ここで、顔領域73aに類似する顔領域を有する既存画像のデータとしては、子グループ記憶部81aに記憶されている既存画像82a等のデータと、親グループ記憶部81bに記憶されている既存画像82b等のデータとが存在する。
ただし、子グループ記憶部81aの方が先に検索されるので、例えば既存画像82aのデータが、対象画像71aの類似画像のデータとして検索されることになる。
この場合、ステップS15の処理でYESであると判定されて、ステップS16の処理で、年齢確認部64により、対象画像71aの被写体(子)の年齢(=4才)が所定のチェック対象範囲内であるか否かが判定される。
ここでは、上述したように0乃至5才の範囲がチェック対象範囲として設定されているので、ステップS16の処理でYESであると判定されて、処理はステップS17に進む。
ステップS17の処理で、日付比較部65によって、対象画像71aのデータの撮像日付と、類似画像82aのデータの撮像日付との間の差分時間が演算される。
図4に示すように、対象画像71aのデータの撮像日付は、2006年3月である。一方、類似画像82aのデータの撮像日付は、図4に明確に図示されていないが、当該類似画像82aのデータは「2006年 子 4才グループ」に属しているため、少なくとも2006年中であり、その差分時間は、最大でも7ケ月になる。ここでは、差分時間7ケ月として説明を進める。
ステップS18の処理で、日付比較部65によって、対象画像71aと類似画像82aの両データ間の撮像日付の差分時間が指定時間以下であるか否かが判定される。
ここで、指定時間は、上述の如くユーザが任意に指定可能な時間であるが、ここでは親子を分類すればよいため、ある程度の長期間、例えば10年が設定されているものとする。
この場合、差分時間である7ケ月は、明らかに指定時間である10年よりも短期間である。このことは、対象画像71aの被写体と類似画像82aの被写体とは、指定時間以下の短期間(ここでは7ケ月)内で顔が類似していることを意味する。要するに、対象画像71aの被写体と類似画像82aの被写体とは同一人物、即ち「子」であると判断できることを意味する。
そこで、ここでは、ステップS18の処理でYESであると判定されて、ステップS19の処理で、グループ化部66によって、対象画像71aのデータは、「2006年 子 4才グループ」に分類され、子グループ記憶部81aに記憶される。
これにより、グループ化判断処理は終了となる。
その後、グループ化判断処理が再度開始され、ステップS11の処理で、対象画像71cのデータが、対象画像記憶部51から読み出され、顔検出部61により顔領域の検出の試みがなされたものとする。
この場合には、対象画像71cのデータは、対象画像71aのデータに対して施された処理と全く同様の処理が施される。即ち、最終的に、ステップS19の処理で、グループ化部66によって、対象画像71cのデータは、「2006年 子 4才グループ」に分類され、子グループ記憶部81aに記憶される。
これにより、グループ化判断処理は終了となる。
さらに、その後、グループ化判断処理が再度開始され、ステップS11の処理で、対象画像71bのデータが、対象画像記憶部51から読み出され、顔検出部61により顔領域の検出の試みがなされたものとする。
この場合、図4に示すように、顔領域73bが検出されるので、ステップS12の処理でYESであると判定されて、ステップS13の処理で、年齢認識部62により、当該顔領域73bに基づいて、対象画像の被写体(親)の年齢は4才であると認識される。
ステップS14の処理で、類似画像検索部63によって、既存画像記憶部52に記憶された複数の既存画像のデータの中から、顔領域73bに類似する顔領域を有する既存画像のデータが、対象画像の類似画像として検索される。
ここで、顔領域73bに類似する顔領域を有する既存画像のデータとしては、子グループ記憶部81aに記憶されている既存画像82a等のデータと、親グループ記憶部81bに記憶されている既存画像82b等のデータとが存在する。
ただし、上述のように、子グループ記憶部81aの方が先に検索されるので、例えば既存画像82aのデータが、対象画像71bの類似画像のデータとして検索されることになる。
この場合、ステップS15の処理でYESであると判定されて、ステップS16の処理で、年齢確認部64により、対象画像71bの被写体(親)の年齢(=4才)が所定のチェック対象範囲内であるか否かが判定される。
ここでは、上述したように0乃至5才の範囲がチェック対象範囲として設定されているので、ステップS16の処理でYESであると判定されて、処理はステップS17に進む。
ステップS17の処理で、日付比較部65によって、対象画像71bのデータの撮像日付と、類似画像82aのデータの撮像日付との間の差分時間が演算される。
図4に示すように、対象画像71bのデータの撮像日付は、1986年1月である。一方、類似画像82aのデータの撮像日付は、図4に明確に図示されていないが、当該類似画像82aのデータは「2006年 子 4才グループ」に属しているため、少なくとも2006年中であり、その差分時間は、最小でも19年を超える。ここでは、差分時間19年として説明を進める。
ステップS18の処理で、日付比較部65によって、対象画像71bと類似画像82aの両データ間の撮像日付の差分時間が指定時間以下であるか否かが判定される。
この場合、差分時間である19年は、明らかに指定時間である10年よりも長期間である。このことは、対象画像71bの被写体と類似画像82aの被写体とは、指定時間である10年を超えた長期間(ここでは19年)を空けて顔が類似していることを意味する。要するに、親が対象画像71bの被写体であり、子が類似画像82aの被写体である可能性が高いことを意味する。このような場合、対象画像71cのデータの正確なグループ分けをすることは困難である。
そこで、いまの場合には、ステップS18においてNOであると判定されて、ステップS14の処理に戻され、別の類似画像が新たに検索され、それ以降の処理が繰り返される。
例えば、ステップS14の処理で、今度は、親グループ記憶部81bに記憶されている既存画像82bのデータが、対象画像71bの類似画像のデータとして検索されたものとする。
この場合、ステップS15の処理でYESであると判定されて、ステップS16の処理で、年齢確認部64により、対象画像71bの被写体(親)の年齢(=4才)が所定のチェック対象範囲内であるか否かが判定される。
ここでは、上述したように0乃至5才の範囲がチェック対象範囲として設定されているので、ステップS16の処理でYESであると判定されて、処理はステップS17に進む。
ステップS17の処理で、日付比較部65によって、対象画像71bのデータの撮像日付と、類似画像82bのデータの撮像日付との間の差分時間が演算される。
図4に示すように、対象画像71cのデータの撮像日付は、1986年1月である。一方、類似画像82cのデータの撮像日付は、図4に明確に図示されていないが、当該類似画像82bのデータは「1986年 親 4才グループ」に属しているため、少なくとも1986年中であり、その差分時間は、最大でも11ケ月になる。ここでは、差分時間11ケ月として説明を進める。
ステップS18の処理で、日付比較部65によって、対象画像71bと類似画像82bの両データ間の撮像日付の差分時間が指定時間以下であるか否かが判定される。
この場合、差分時間である11ケ月は、明らかに指定時間である10年よりも短期間である。このことは、対象画像71bの被写体と類似画像82bの被写体とは、指定時間以下の短期間(ここでは11ケ月)内で顔が類似していることを意味する。要するに、対象画像71bの被写体と類似画像82bの被写体とは同一人物、即ち「親」であると判断できることを意味する。
そこで、ここでは、ステップS18の処理でYESであると判定されて、ステップS19の処理で、グループ化部66によって、対象画像71bのデータは、「1986年 親 4才グループ」に分類され、親グループ記憶部81bに記憶される。
これにより、グループ化判断処理は終了となる。
さらに、その後、グループ化判断処理が再度開始され、ステップS11の処理で、対象画像71dのデータが、対象画像記憶部51から読み出され、顔検出部61により顔領域の検出の試みがなされたものとする。
この場合、図4に示すように、顔領域73dが検出されるので、ステップS12の処理でYESであると判定されて、ステップS13の処理で、年齢認識部62により、当該顔領域73dに基づいて、対象画像の被写体(親)の年齢は14才であると認識される。
ステップS14の処理で、類似画像検索部63によって、既存画像記憶部52に記憶された複数の既存画像のデータの中から、顔領域73bに類似する顔領域を有する既存画像のデータが、対象画像の類似画像として検索される。
ここで、図4には図示はしないが、その他グループ記憶部81cに類似画像のデータが記憶されており、当該データが検索されたものとする。
この場合、ステップS15の処理でYESであると判定されて、ステップS16の処理で、年齢確認部64により、対象画像71bの被写体(親)の年齢(=14才)が所定のチェック対象範囲内であるか否かが判定される。
ここでは、上述したように0乃至5才の範囲がチェック対象範囲として設定されているので、ステップS16の処理でNOであると判定されて、処理はステップS20に進む。
ステップS20の処理で、グループ化部66によって、対象画像71dのデータは、「その他グループ」に分類されて、その他グループ記憶部81cに記憶される。
これにより、グループ化判断処理は終了となる。
以上、図1乃至図4を参照して、本発明の実施形態について説明したように、撮像装置1は、顔検出部61と、年齢認識部62と、類似画像検索部63と、年齢確認部64と、日付比較部65と、グループ化部66と、を備えている(図2参照)。
顔検出部61は、撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する。
年齢認識部62は、顔領域に基づいて、対象画像内の被写体の年齢を認識する。
類似画像検索部63は、撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、顔検出部61により検出された顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する。
年齢確認部64は、年齢認識部62により認識された対象画像内の被写体の年齢が、所定の第1範囲(チェック対象範囲)内であるか否かを確認する。
日付比較部65は、対象画像内の被写体の年齢が第1範囲内であると確認された場合に、対象画像のデータの撮像日付と類似画像のデータの撮像日付との差分時間を求め、当該差分時間と所定の第2範囲(指定時間)とを比較する。
分類手段は、日付比較部65により比較された結果、差分時間が第2範囲内である場合、対象画像のデータを、類似画像のデータが属するグループと同一グループに分類する。
ここで、差分時間が第2範囲内である場合とは、対象画像の被写体と類似画像の被写体とは、第2範囲以下の短期間内で顔が類似していることを意味する。要するに、対象画像の被写体と類似画像の被写体とは同一人物であると判断できることを意味する。従って、このような場合には、対象画像のデータは、類似画像のデータが属するグループと同一グループに分類される。
これに対して、差分時間が第2範囲外である場合とは、対象画像の被写体と類似画像の被写体とは、第2範囲を超えた長期間を開けて、例えば第2範囲が10年ならば、10年を超えた間隔を開けて顔が類似していることを意味する。要するに、親子や兄弟等の別人同士のうち、一方が対象画像の被写体であり、他方が類似画像の被写体である可能性が高いことを意味する。このような場合、対象画像のデータの正確なグループ分けをすることは困難であるため、対象画像のデータは、類似画像のデータが属するグループと同一グループに分類されない。
このようにして、顔が類似する別々の被写体がそれぞれに含まれる各々の画像のデータを別々のグループに精度良く分類することが可能になる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態では、対象画像のデータは、静止画像のデータとされたが、特にこれに限定されず、動画像のデータであってもよい。この場合、図示しないが、撮像装置1は、動画像を構成するフレーム画像等のうち、被写体を含む所定の1枚のデータ、或いは、当該動画像のサムネイル画像のデータを処理対象として、図4等のグループ化判断処理を実行すればよい。
また、上述の実施形態では、対象画像記憶部51及び既存画像記憶部52は、撮像装置1の記憶部19に含まれる構成であるとしたが、特にこれに限定されない。例えば、通信部20を介して、外部のサーバ等に設けられた対象画像記憶部51及び既存画像記憶部52から、対象画像のデータ及び既存画像のデータをインターネット回線を通じて入出力するようにしてもよい。
また、上述の実施形態では、日付比較部65は、類似画像検索部63により抽出された既存画像のデータの撮影日付と、顔検出部61により顔領域が検出された対象画像のデータの撮影日付との差分時間が、指定時間以内であるか否かを判定した。
この場合の指定時間は、上述の実施形態では、2年や10年が設定されたが、上述の如く、特にこれらに限定されず、ユーザが任意に設定可能な時間でよい。
ただし、日付比較部65により判別される指定値は、年齢認識部62による年齢の認識精度に依存する。よって、指定期間として短期間を設定する場合には、年齢認識部62による年齢の認識精度を可能な限り高くするとよい。
また、上述の実施形態では、年齢確認部64は、年齢認識部62により認識された対象画像の被写体の年齢が所定のチェック対象範囲内であるか否かを判定した。
この場合のチェック対象範囲は、上述の実施形態では、0乃至5才の範囲が設定されていたが、上述の如く、特にこれらに限定されず、ユーザが任意に設定可能な範囲でよい。
例えば、2才違いの兄弟の各々の小学生の時の画像のデータを同一グループに分類したくない場合があるとする。このような場合、ユーザは、日付比較部65により判断される指定時間を2年に設定し、年齢確認部64により判断されるチェック対象範囲を6乃至12才の範囲に設定するとよい。これにより、顔が類似する兄と弟の小学生の時の画像のデータを、兄のグループと弟のグループとに別々に分類することができる。このように、チェックする年齢を指定できるので、同一人物が成人して顔つきに変化がなくなった場合に違うグループになってしまうことを防止できる。
また、上述の実施形態では、チェック対象範囲は、単一の年齢範囲が固定で用いられていたが、特にこれに限定されず、複数の年齢範囲を適宜組み合わせたり、適宜入れ替えて用いてもよい。
また、上述の実施形態では、グループ化判断処理は、図4のフローチャートに従って実行されたが、特にこれに限定されない。
即ち、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
具体的には例えば、年齢確認部64による年齢の確認を行うステップS16の処理は、図2の順番で実行する必要は特に無い。
さらに、年齢確認部64による年齢の確認を行うステップS16の処理を省略することにより、全ての年齢の被写体が含まれ得る画像のデータを対象に、対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間以下であるか否かを判定された後、グループ化部66によるグループ化を行うことが可能になる。
また、上述の実施形態では、類似画像検索部63は、既存画像記憶部52に記憶された複数の既存画像のデータの中に別の類似画像のデータとして検索される類似画像が存在しなくなった場合には、グループ化判断処理を終了していた。
この場合、当該対象画像のデータは、何れのグループにも分類されずに既存画像記憶部52に記憶されていたが、上述の如く、特にこれらに限定されず、対象画像のデータを新たなグループに分類して既存画像記憶部52に記憶してもよい。
また、上述の実施形態では、対象画像に被写体が含まれていない等の理由により、顔検出部61により顔領域が検出されなかった場合、グループ化判断処理を終了していた。
この場合、当該対象画像のデータは、何れのグループにも分類されずに既存画像記憶部52に記憶されていたが、上述の如く、特にこれらに限定されず、対象画像のデータを新たなグループに分類して既存画像記憶部52に記憶してもよい。
また例えば、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ等の画像処理装置として構成される例として説明した。しかしながら、本発明は、画像処理装置に特に限定されず、撮像機能の有無を問わず(対象画像のデータは別の装置から取得してもよい)、上述の画像処理を実行可能な電子機器一般に適用することができる。具体的には例えば、本発明は、パーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
1・・・撮像装置、11・・・CPU、12・・・ROM、13・・・RAM、16・・・撮像部、17・・・操作部、18・・・表示部、19・・・記憶部、20・・・通信部、21・・・ドライブ、31・・・リムーバブルメディア、41・・・画像記憶部、42・・・画像処理部、61・・・顔検出部、62・・・年齢認識部、63・・・類似画像検索部、64・・・年齢確認部、65・・・日付比較部、66・・・グループ化部

Claims (6)

  1. 撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する顔検出手段と、
    前記顔検出手段により検出された前記顔領域に基づいて、前記対象画像内の前記被写体の年齢を認識する年齢認識手段と、
    撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、前記顔検出手段により検出された前記顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する類似画像検索手段と、
    前記年齢認識手段により認識された前記対象画像内の前記被写体の年齢が、所定の第1範囲内であるか否かを確認する年齢確認手段と、
    前記年齢確認手段により前記対象画像内の前記被写体の年齢が前記第1範囲内であると確認された場合に、前記対象画像のデータの第1撮像日付と、前記類似画像検索手段により検索された前記類似画像のデータの第2撮像日付との差分時間を求め、前記差分時間と所定の第2範囲とを比較する日付比較手段と、
    前記日付比較手段により比較された結果、前記差分時間が前記第2範囲内である場合、前記対象画像のデータを、前記類似画像のデータが属するグループと同一グループに分類する分類手段と、
    を備える画像処理装置。
  2. 前記日付比較手段により比較された結果、前記差分時間が前記第2範囲外である場合、
    前記類似画像検索手段は、別の類似画像のデータを検索し、
    前記日付比較手段は、前記別の類似画像のデータの撮像日付を前記第2撮像日付として前記差分時間を求め、前記差分時間と前記第2範囲を比較する、
    という処理を、
    前記差分時間が前記第2範囲内となるまで、又は、前記類似画像検索手段により別の類似画像のデータとして検索される既存画像のデータが存在しなくなるまで、繰り返し実行し、
    前記分類手段は、
    前記類似画像検索手段により別の類似画像のデータとして検索される既存画像のデータが存在しなくなった場合、前記対象画像のデータの分類を禁止するか、又は、新たなグループを生成し、前記対象画像のデータを新たなグループに分類する、
    請求項1に記載の画像処理装置。
  3. 前記分類手段は、前記年齢確認手段により前記対象画像内の前記被写体の年齢が前記第1範囲外であると確認された場合に、前記第1範囲内の年齢の被写体を含む既存画像のデータが属するグループとは別のグループに、前記対象画像のデータを分類する、
    請求項1又は2に記載の画像処理装置。
  4. 前記分類手段は、前記顔検出手段により前記顔領域が検出されなかった場合、前記対象画像のデータの分類を禁止するか、又は、新たなグループを生成し、前記対象画像のデータを新たなグループに分類する、
    請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 画像処理装置が、対象画像のデータを対象として画像処理を実行する画像処理方法において、
    撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する顔検出ステップと、
    前記顔検出ステップにより検出された前記顔領域に基づいて、前記対象画像内の前記被写体の年齢を認識する年齢認識ステップと、
    撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、前記顔検出ステップにより検出された前記顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する類似画像検索ステップと、
    前記年齢認識ステップにより認識された前記対象画像内の前記被写体の年齢が、所定の第1範囲内であるか否かを確認する年齢確認ステップと、
    前記年齢確認ステップにより前記対象画像内の前記被写体の年齢が前記第1範囲内であると確認された場合に、前記対象画像のデータの第1撮像日付と、前記類似画像検索ステップにより検索された前記類似画像のデータの第2撮像日付との差分時間を求め、前記差分時間と所定の第2範囲とを比較する日付比較ステップと、
    前記日付比較ステップにより比較された結果、前記差分時間が前記第2範囲内である場合、前記対象画像のデータを、前記類似画像のデータが属するグループと同一グループに分類する分類ステップと、
    を含む画像処理方法。
  6. 画像処理装置に対して、対象画像のデータを対象として画像処理の実行を制御するコンピュータに、
    撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する顔検出機能と、
    前記顔検出機能により検出された前記顔領域に基づいて、前記対象画像内の前記被写体の年齢を認識する年齢認識機能と、
    撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、前記顔検出機能により検出された前記顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する類似画像検索機能と、
    前記年齢認識機能により認識された前記対象画像内の前記被写体の年齢が、所定の第1範囲内であるか否かを確認する年齢確認機能と、
    前記年齢確認機能により前記対象画像内の前記被写体の年齢が前記第1範囲内であると確認された場合に、前記対象画像のデータの第1撮像日付と、前記類似画像検索機能により検索された前記類似画像のデータの第2撮像日付との差分時間を求め、前記差分時間と所定の第2範囲とを比較する日付比較機能と、
    前記日付比較機能により比較された結果、前記差分時間が前記第2範囲内である場合、前記対象画像のデータを、前記類似画像のデータが属するグループと同一グループに分類する分類機能と、
    を実現させるプログラム。
JP2010149665A 2010-06-30 2010-06-30 画像処理装置及び方法、並びにプログラム Expired - Fee Related JP4924742B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010149665A JP4924742B2 (ja) 2010-06-30 2010-06-30 画像処理装置及び方法、並びにプログラム
US13/171,980 US8526742B2 (en) 2010-06-30 2011-06-29 Image processing apparatus, method, and program that classifies data of images
CN201110178735.XA CN102393907B (zh) 2010-06-30 2011-06-29 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010149665A JP4924742B2 (ja) 2010-06-30 2010-06-30 画像処理装置及び方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012021529A Division JP2012104155A (ja) 2012-02-03 2012-02-03 画像処理装置及び方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2012014376A true JP2012014376A (ja) 2012-01-19
JP2012014376A5 JP2012014376A5 (ja) 2012-03-01
JP4924742B2 JP4924742B2 (ja) 2012-04-25

Family

ID=45399754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010149665A Expired - Fee Related JP4924742B2 (ja) 2010-06-30 2010-06-30 画像処理装置及び方法、並びにプログラム

Country Status (3)

Country Link
US (1) US8526742B2 (ja)
JP (1) JP4924742B2 (ja)
CN (1) CN102393907B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048670A (ja) * 2012-08-29 2014-03-17 Buffalo Inc 画像処理装置及びプログラム
JP2021009475A (ja) * 2019-06-28 2021-01-28 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US9536046B2 (en) * 2010-01-12 2017-01-03 Microsoft Technology Licensing, Llc Automated acquisition of facial images
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US9495761B2 (en) * 2013-11-04 2016-11-15 The Regents Of The University Of California Environment mapping with automatic motion model selection
CN104133917B (zh) * 2014-08-15 2018-08-10 百度在线网络技术(北京)有限公司 照片的分类存储方法及装置
US20160063070A1 (en) * 2014-08-26 2016-03-03 Schlumberger Technology Corporation Project time comparison via search indexes
CN104216976B (zh) * 2014-09-01 2018-09-04 广东欧珀移动通信有限公司 一种移动终端图片分组查看方法及系统
CN105072337B (zh) * 2015-07-31 2019-03-26 小米科技有限责任公司 图片处理方法及装置
CN105530435A (zh) * 2016-02-01 2016-04-27 深圳市金立通信设备有限公司 一种拍摄方法及移动终端
US10410045B2 (en) 2016-03-23 2019-09-10 Intel Corporation Automated facial recognition systems and methods
CN107278369B (zh) * 2016-12-26 2020-10-27 深圳前海达闼云端智能科技有限公司 人员查找的方法、装置及通信系统
CN109784657B (zh) * 2018-12-18 2021-01-29 东软集团股份有限公司 业务流程建立方法、装置、存储介质及电子设备
CN110851637A (zh) * 2019-09-26 2020-02-28 华为技术有限公司 一种图片搜索方法及设备
US10923045B1 (en) * 2019-11-26 2021-02-16 Himax Technologies Limited Backlight control device and method
US20220343684A1 (en) * 2021-04-23 2022-10-27 Wrethink, Inc. Methods and apparatus for determining the date of a scanned photo from face data and using such date information

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107885A (ja) * 2003-09-30 2005-04-21 Casio Comput Co Ltd 画像分類装置及び画像分類プログラム
JP2005174308A (ja) * 2003-11-14 2005-06-30 Fuji Photo Film Co Ltd 顔認識に基づいたデジタル媒体の整理方法および装置
JP2006236217A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 人物認識システム、人物認識方法、及び人物認識プログラム
JP2006318375A (ja) * 2005-05-16 2006-11-24 Matsushita Electric Ind Co Ltd 顔画像検索装置および顔画像検索方法
JP2008269010A (ja) * 2007-04-16 2008-11-06 Fujitsu Ltd 類似分析装置、画像表示装置、画像表示プログラム、および画像表示方法
JP2009199322A (ja) * 2008-02-21 2009-09-03 Hitachi Kokusai Electric Inc 監視システム、人物検索方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3455752B2 (ja) 1993-05-26 2003-10-14 カシオ計算機株式会社 年齢推定装置および年齢表示制御方法
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US6661906B1 (en) * 1996-12-19 2003-12-09 Omron Corporation Image creating apparatus
US6829395B2 (en) * 2000-01-20 2004-12-07 Axis, Ab Apparatus and method for storing and reading digital images
JP2002170119A (ja) * 2000-12-01 2002-06-14 Minolta Co Ltd 画像認識装置、画像認識方法及び記録媒体
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
GB2402535B (en) * 2003-06-05 2006-06-21 Canon Kk Image processing
JP2005031830A (ja) * 2003-07-09 2005-02-03 Fuji Photo Film Co Ltd 画像表示方法及び画像表示用プログラム
US7855810B2 (en) * 2005-02-18 2010-12-21 Eastman Kodak Company Method for automatically organizing a digitized hardcopy media collection
US7522773B2 (en) * 2005-04-28 2009-04-21 Eastman Kodak Company Using time in recognizing persons in images
US7760917B2 (en) * 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
US8270682B2 (en) * 2008-11-25 2012-09-18 Eastman Kodak Company Hair segmentation
CN101533468B (zh) * 2009-04-27 2012-05-23 东南大学 基于数字人脸图像的人类年龄自动估计方法
CN101584575B (zh) * 2009-06-19 2011-05-04 无锡骏聿科技有限公司 一种基于人脸识别技术的年龄评估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107885A (ja) * 2003-09-30 2005-04-21 Casio Comput Co Ltd 画像分類装置及び画像分類プログラム
JP2005174308A (ja) * 2003-11-14 2005-06-30 Fuji Photo Film Co Ltd 顔認識に基づいたデジタル媒体の整理方法および装置
JP2006236217A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 人物認識システム、人物認識方法、及び人物認識プログラム
JP2006318375A (ja) * 2005-05-16 2006-11-24 Matsushita Electric Ind Co Ltd 顔画像検索装置および顔画像検索方法
JP2008269010A (ja) * 2007-04-16 2008-11-06 Fujitsu Ltd 類似分析装置、画像表示装置、画像表示プログラム、および画像表示方法
JP2009199322A (ja) * 2008-02-21 2009-09-03 Hitachi Kokusai Electric Inc 監視システム、人物検索方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014048670A (ja) * 2012-08-29 2014-03-17 Buffalo Inc 画像処理装置及びプログラム
JP2021009475A (ja) * 2019-06-28 2021-01-28 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体
US11475567B2 (en) 2019-06-28 2022-10-18 Fujifilm Corporation Image processing apparatus, image processing method, image processing program, and recording medium storing program
JP7204596B2 (ja) 2019-06-28 2023-01-16 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体

Also Published As

Publication number Publication date
US20120002878A1 (en) 2012-01-05
JP4924742B2 (ja) 2012-04-25
CN102393907B (zh) 2014-05-07
US8526742B2 (en) 2013-09-03
CN102393907A (zh) 2012-03-28

Similar Documents

Publication Publication Date Title
JP4924742B2 (ja) 画像処理装置及び方法、並びにプログラム
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
JP6023058B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
US8762659B2 (en) Storage apparatus and method, program, and playback apparatus and method
JP4274233B2 (ja) 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US8176426B2 (en) Image reproduction apparatus and image reproduction program product
EP1886255B1 (en) Using photographer identity to classify images
JP4710979B2 (ja) 対象物検出装置、学習装置、対象物検出方法およびプログラム
US9996554B2 (en) Search apparatus, search method, and storage medium
JP2011107997A (ja) 情報処理装置、情報処理方法、およびプログラム
US11176679B2 (en) Person segmentations for background replacements
JP2010092199A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US9721153B2 (en) Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type
JP4710978B2 (ja) 対象物検出装置、撮像装置、対象物検出方法およびプログラム
JP2011109428A (ja) 情報処理装置、情報処理方法、およびプログラム
US20080088717A1 (en) Image capturing apparatus, image capturing method, image processing apparatus, image processing method and computer-readable medium
JP5241606B2 (ja) オブジェクト識別装置及びオブジェクト識別方法
JP4490214B2 (ja) 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
JP2007179224A (ja) 情報処理装置および方法、並びにプログラム
JP2012104155A (ja) 画像処理装置及び方法、並びにプログラム
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
CN104935807B (zh) 摄像装置、摄像方法以及计算机可读取的记录介质
JP4781248B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP5464965B2 (ja) 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111125

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20111129

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20111227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4924742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees