JP2012014376A - 画像処理装置及び方法、並びにプログラム - Google Patents
画像処理装置及び方法、並びにプログラム Download PDFInfo
- Publication number
- JP2012014376A JP2012014376A JP2010149665A JP2010149665A JP2012014376A JP 2012014376 A JP2012014376 A JP 2012014376A JP 2010149665 A JP2010149665 A JP 2010149665A JP 2010149665 A JP2010149665 A JP 2010149665A JP 2012014376 A JP2012014376 A JP 2012014376A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- age
- target image
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】顔検出部61は、対象画像内の顔領域を検出する。年齢認識部62は、顔領域に基づいて、対象画像内の被写体の年齢を認識する。類似画像検索部63は、複数の既存画像のデータの中から、検出された顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する。年齢確認部64は、被写体の年齢が、第1範囲内であるか否かを確認する。日付比較部65は、被写体の年齢が第1範囲内であると確認された場合に、対象画像のデータの撮像日付と類似画像のデータの撮像日付との差分時間を求め、当該差分時間と第2範囲とを比較する。分類手段は、日付比較部65により比較された結果、差分時間が第2範囲内である場合、対象画像のデータを、類似画像のデータが属するグループと同一グループに分類する。
【選択図】図2
Description
しかしながら、ユーザにとっては、画像のデータの記録数が増加する程、所望の画像のデータを探索したり、探索した画像のデータを整理するための操作が困難になっていく。
そこで、このような操作の困難性を低減すべく、例えば特許文献1には、画像に含まれる顔の領域(以下、「顔領域」と呼ぶ)を顔検出技術により検出し、顔が検出された画像のデータを特定の分類と関連付けることによって、複数の画像のデータを被写体毎のグループに分類する技術が開示されている。
例えば、所定人物が被写体として含まれている第1の画像のデータと、当該所定人物と親子や兄弟の関係にある別人が被写体として含まれている第2の画像のデータとを分類する場合を考えてみる。
この場合、第1の画像及び第2の画像の双方のデータとも、同時期に撮影されたもの、例えば現時点で撮影されたものであれば、双方の被写体の年齢は異なるために、特許文献1に記載の技術でも、別々のグループに分類することは可能である。即ち、第1の画像から検出された第1の顔領域と、第2の画像から検出された第2の顔領域とを比較した場合、双方の年齢の差により生ずる特徴点、具体的には例えば顔の縦横比、顔の全体に対する目の高さ、目の大きさ、しわの本数、髪際の後退度等が異なる。従って、これらの特徴点の差異点に基づいて、第1の画像と第2の画像の各々のデータを別々のグループに分類することは可能である。
しかしながら、例えば、所定人物が親であり、第1の画像に含まれている被写体が4才の時の親であり、別人が子であり、第2の画像に含まれている被写体が、4才の時の子である場合、特許文献1に記載の技術では、別々のグループに分類することが困難になる。即ち、この場合には、双方の被写体の年齢は同一となるため、上述した年齢の差により生ずる特徴点の差異は現れない。また、同一年齢の時の親子の顔は酷似していることが多い。従って、このような場合、第1の画像と第2の画像の各々のデータを、親のグループとこのグループに分離しなければならないところ、特許文献1に記載の技術では、分離しきれずに親又は子の同一グループに分類してしまう場合が多々ある。
従って、親子や兄弟等、顔が類似する別々の被写体がそれぞれに含まれる各々の画像のデータを別々のグループに精度良く分類することが可能な手法の実現が求められている。
撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する顔検出手段と、
前記顔検出手段により検出された前記顔領域に基づいて、前記対象画像内の前記被写体の年齢を認識する年齢認識手段と、
撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、前記顔検出手段により検出された前記顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する類似画像検索手段と、
前記年齢認識手段により認識された前記対象画像内の前記被写体の年齢が、所定の第1範囲内であるか否かを確認する年齢確認手段と、
前記年齢確認手段により前記対象画像内の前記被写体の年齢が前記第1範囲内であると確認された場合に、前記対象画像のデータの第1撮像日付と、前記類似画像検索手段により検索された前記類似画像のデータの第2撮像日付との差分時間を求め、前記差分時間と所定の第2範囲とを比較する日付比較手段と、
前記日付比較手段により比較された結果、前記差分時間が前記第2範囲内である場合、前記対象画像のデータを、前記類似画像のデータが属するグループと同一グループに分類する分類手段と、
を備える画像処理装置を提供する。
RAM13にはまた、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換(撮像)して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
なお、以下、撮像部16の出力信号を、「画像のデータ」と呼ぶ。従って、撮像部16からは画像のデータが出力されて、CPU11等に適宜供給される。
表示部18は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部19は、DRAM(Dynamic Random Access Memory)等で構成され、撮像部16から出力された画像のデータを一時的に記憶する。また、記憶部19は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
即ち、撮像装置1は、グループに分類する対象の画像(以下、「対象画像」と呼ぶ)のデータを用いて、当該対象画像から、被写体の顔を含む領域を顔領域として検出する。
撮像装置1は、顔領域に基づいて、被写体の年齢を認識する。
撮像装置1は、所定のグループに既に分類されている画像(以下、「既存画像」と呼ぶ)のデータの中から、検出された顔領域に類似する顔領域を有する既存画像のデータを抽出する。
撮像装置1は、対象画像の被写体の年齢が所定の範囲内であり、対象画像のデータの撮影日付が、抽出された既存画像のデータの撮影日付を基準とする所定範囲内である場合には、対象画像のデータを既存画像のデータと同一のグループに分類する。これ以外の場合、撮像装置1は、対象画像のデータを既存画像のデータとは別のグループに分類する。
このような一連の処理を、以下、「グループ化判断処理」と呼ぶ。
図2に示すように、撮像装置1は、画像記憶部41と、画像処理部42と、を備えている。
画像記憶部41は、対象画像記憶部51と、既存画像記憶部52と、を備えている。
画像処理部42は、顔検出部61と、年齢認識部62と、類似画像検索部63と、年齢確認部64と、日付比較部65と、グループ化部66と、を備えている。
より具体的には本実施形態では、対象画像のデータは、Exif(Exchangeable Image File Format)形式の所定のファイルに含められる。なお、このような対象画像のデータを含むファイルを、以下、「対象画像ファイル」と呼ぶ。対象画像ファイルには、対象画像のデータの他、当該対象画像に関する各種メタ情報を含めることが可能である。そこで、本実施形態では、撮像時点の日付情報が、撮像日付を示すメタ情報として対象画像ファイルに含められる。そして、このような対象画像ファイルが、対象画像記憶部51に記憶される。
なお、対象画像記憶部51が対象画像として記憶するデータは、撮像部16により撮像された撮像画像のデータに特に限定されず、撮像日時が判別可能なデータであれば足り、その他例えば、通信部20を介して外部から取得した画像のデータであってもよい。
より具体的には本実施形態では、既存画像のデータの形式は、対象画像のデータの形式と同一のExif形式である。ただし、既存画像のデータや、その撮像日付を示すメタ情報等が含められる、Exif形式の所定のファイルを、「対象画像ファイル」と明確に区別すべく、以下、「既存画像ファイル」と呼ぶ。
具体的には本実施形態では、顔検出部61は、特開2001−16573号公報等に記載された特徴点抽出処理によって、最初に、当該対象画像から、眉、目、鼻、口の各端点、顔の輪郭点、頭頂点や顎の下端点等の顔の特徴点を抽出する。顔検出部61は、このようにして検出した特徴点から周辺のエッジ情報を得ることで、当該対象画像のうち、眉、目、鼻、口の各領域を特徴領域として画定する。そして、顔検出部61は、眉、目、鼻、口の各領域、及びそれらの境界を輪郭として決定し、それらの位置情報を取得することによって、顔領域を検出する。
なお、顔検出部61に適用可能な顔領域を検出する手法は、特に本実施形態に限定されず、公知又は今後開発される任意の手法を採用することができる。
また、顔検出部61は、対象画像のデータ及びその撮影日付の情報を類似画像検索部63に出力する。
なお、対象画像に被写体が含まれていない等の理由により、顔領域が検出されなかった場合、その旨を示す情報と共に、対象画像のデータ及びその撮像日付の情報が、顔検出部61から年齢認識部62及び年齢確認部64を介してグループ化部66に供給される。
具体的には本実施形態では、年齢認識部62は、特開平6−333023号公報等に記載された年齢推定処理によって、顔領域のデータから、顔の特徴を示すデータ(以下、「顔特徴データ」と呼ぶ)を検出する。顔特徴データとしては、顔の縦横比、顔の全体に対する目の高さ、目の大きさ、しわの本数、髪際の後退度等を示すデータが存在する。次に、年齢認識部62は、これらの顔特徴データに基づいて、既存の顔の各部のパターンのデータを組み合わせることで、新たな顔領域のデータを生成する。そして、年齢認識部62は、新たな顔領域のデータに基づいて、被写体の年齢を認識する。
なお、年齢認識部62に適用可能な年齢を認識する手法は、特に本実施形態の手法に限定されず、公知又は今後開発される任意の手法を採用することができる。
年齢認識部62は、対象画像のデータ及び認識した年齢の情報を年齢確認部64に出力する。
ここで、顔領域が類似するか否かの判断手法として、本実施形態では、顔領域内の複数の特徴点毎の類似度を演算し、これらの複数の特徴点の類似度を用いて、顔領域が類似するか否かを総合的に判断する、という手法が採用されている。ただし、顔領域が類似するか否かの判断手法は、特に本実施形態の手法に限定されず、公知又は今後開発される任意の手法を採用することができる。
類似画像検索部63は、類似画像のデータの検索結果を年齢確認部64に通知する。
詳細については後述するが、当該検索結果が通知された年齢確認部64により、類似画像の撮像日付、及び、類似画像のデータが属するグループを示す情報(以下、「類似画像情報」と呼ぶ)の取得要求が発行される場合がある。
この場合類似画像検索部63は、類似画像情報を既存画像記憶部52から取得して、撮像画像のデータ及びその撮像日付の情報と共に、年齢確認部64に出力する。
具体的には本実施形態では、チェック対象範囲は、0乃至5才の範囲であるとする。即ち、年齢確認部64は、対象画像の被写体の年齢が0乃至5才の範囲内であるか否か、即ち5才以下であるか否かを確認する。
年齢確認部64は、対象画像の被写体の年齢がチェック対象範囲(0乃至5才)内であると確認した場合、上述したように、類似画像情報の取得要求を、類似画像検索部63に発行する。この取得要求を受けた類似画像検索部63から類似画像情報、即ち、類似画像のデータの撮像日付、及び類似画像のデータが属するグループを示す情報が出力されると、年齢確認部64は、当該類似画像情報を取得する。そして、年齢確認部64は、対象画像のデータ及びその撮像日付の情報、並びに、類似画像情報(類似画像検索部類似画像のデータの撮影日付及びグループを示す情報)を日付比較部65に出力する。
これに対して、年齢確認部64は、対象画像の被写体の年齢がチェック対象範囲(0乃至5才)外であると確認した場合、対象画像のデータ及びその撮像日付の情報をグループ化部66に出力する。
また、年齢確認部64は、類似画像検索部63により類似画像のデータが検索されなかった場合(その旨の検索結果が通知された場合)、年齢確認の処理を実行することなく、対象画像のデータ及びその撮像日付の情報をグループ化部66に出力する。
そこで、日付比較部65は、対象画像のデータの撮像日付と、類似画像のデータの撮像日付とを比較する。
具体的には本実施形態では、日付比較部65は、対象画像のデータの撮像日付と、類似画像のデータの撮像日付との間の差分時間を演算し、当該差分時間が指定時間以下であるか否かを判定する。指定時間とは、ユーザが操作部17を操作して任意に指定することが可能な時間をいう。
日付比較部65は、対象画像と類似画像の両データ間の撮像日付の差分時間が指定時間以下であると判定した場合、類似画像検索部対象画像のデータ、及び当該対象画像の類似画像のデータが属するグループの情報をグループ化部66に出力する。
なお、日付比較部65は、対象画像と類似画像の両データ間の撮像日付の差分時間が指定時間を超えていると判定した場合、対象画像のデータの撮像日付と、別の類似画像のデータの撮像日付とを比較する。このような日付比較部65による比較の処理は、撮像日付の差分時間が指定時間以下となる類似画像が現れるか、又は、類似画像が存在しなくなるまで繰り返し実行される。
具体的には本実施形態では、対象画像と類似画像の両データ間の撮像日付の差分時間が指定時間以下である場合、対象画像のデータ、及び当該対象画像の類似画像のデータが属するグループの情報が、日付比較部65からグループ化部66に供給される。このような場合、グループ化部66は、例えば、対象画像のデータに対して類似画像のデータと同一の分類のタグ情報を付与することにより、対象画像のデータを、類似画像のデータが属しているグループに分類する。そして、グループ化部66は、対象画像のデータを当該グループのデータとして既存画像記憶部52に記憶させる。
なお、それ以外の取り扱いに関しては、図3のフローチャートを参照して後述する。
図3は、グループ化判断処理の流れを説明するフローチャートである。
チェック対象範囲は、グループ化判断処理を行うにあたり、上述したように、ユーザが操作部17を操作することで指定可能な年齢の範囲であり、例えば本実施形態では0乃至5才の範囲が設定されている。
ステップS20において、グループ化部66は、例えば対象画像のデータに「その他グループ」のタグ情報を付与することによって、対象画像のデータを「その他グループ」に分類する。これにより、グループ化判断処理は終了する。この場合、当該対象画像のデータは、その撮像日付の情報と共に、その他グループとして既存画像記憶部52に記憶される。
ステップS17において、日付比較部65は、類似画像検索部により検索された類似画像のデータの撮像日付と、対象画像のデータの撮像日付とを比較する。具体的には、日付比較部65は、対象画像のデータの撮像日付と、類似画像のデータの撮像日付との間の差分時間を演算する。
対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間を超えている場合とは、対象画像の被写体と類似画像の被写体とは、指定時間を超えた長期間を開けて、例えば指定時間が2年ならば、2年を超えた間隔を開けて顔が類似していることを意味する。要するに、親子や兄弟等の別人同士のうち、一方が対象画像の被写体であり、他方が類似画像の被写体である可能性が高いことを意味する。このような場合、対象画像のデータの正確なグループ分けをすることは困難である。
そこで、対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間を超えている場合には、ステップS18においてNOであると判定されて、ステップS14の処理に戻され、別の類似画像が新たに検索され、それ以降の処理が繰り返されるのである。
そこで、対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間以下の場合には、ステップS18においてYESであると判定されて、処理はステップS19に進む。
ステップS19において、グループ化部66は、対象画像のデータを、類似画像のデータと同一グループに分類し、対象画像のデータを当該グループに属するデータとして既存画像記憶部52に記憶させる。
具体的には例えば、グループ化部66は、例えば、対象画像のデータに対して類似画像のデータと同一の分類のタグ情報を付与することにより、対象画像のデータを、類似画像のデータと同一グループに分類する。そして、グループ化部66は、対象画像のデータを当該グループのデータとして既存画像記憶部52に記憶させる。
図4は、グループ化判断処理の具体的な処理結果を説明する図である。
また、対象画像71a、71cの各々に含まれる被写体72a、72cの各々は子供である一方、対象画像71bに含まれている被写体72bは親であるものとする。なお、対象画像71dに含まれる被写体72dは、その親子とは関係のない別人であるものとする。
既存画像記憶部52においてはまた、「1986年 親 4才グループ」が予め設定されており、当該グループに属する画像のデータを記憶する記憶部81b(以下、「親グループ記憶部81b」と呼ぶ)が予め設けられているものとする。親グループ記憶部81bには、4才の親を被写体として含む1以上の既存画像(既存画像82aのみ図示)のデータが、その撮像日付の情報と共に記憶されているものとする。
既存画像記憶部52においてはまた、「その他グループ」が予め設定されており、当該グループに属する画像のデータを記憶する記憶部81c(以下、「その他グループ記憶部81c」と呼ぶ)が予め設けられている。
即ち、図4の例では、対象画像71a、71b、71c、71d・・・の各々のデータは、「2006年 子 4才グループ」、「1986年 親 4才グループ」、「その他グループ」の3つのグループのうち何れかに分類されるものとする。
この場合の検索対象や検索順番は、特に限定されないが、ここでは、説明の便宜上、子グループ記憶部81a、親グループ記憶部81b、及びその他グループ記憶部81cが検索対象となり、その順番で検索されていくものとする。
ここで、顔領域73aに類似する顔領域を有する既存画像のデータとしては、子グループ記憶部81aに記憶されている既存画像82a等のデータと、親グループ記憶部81bに記憶されている既存画像82b等のデータとが存在する。
ただし、子グループ記憶部81aの方が先に検索されるので、例えば既存画像82aのデータが、対象画像71aの類似画像のデータとして検索されることになる。
ここでは、上述したように0乃至5才の範囲がチェック対象範囲として設定されているので、ステップS16の処理でYESであると判定されて、処理はステップS17に進む。
ステップS17の処理で、日付比較部65によって、対象画像71aのデータの撮像日付と、類似画像82aのデータの撮像日付との間の差分時間が演算される。
図4に示すように、対象画像71aのデータの撮像日付は、2006年3月である。一方、類似画像82aのデータの撮像日付は、図4に明確に図示されていないが、当該類似画像82aのデータは「2006年 子 4才グループ」に属しているため、少なくとも2006年中であり、その差分時間は、最大でも7ケ月になる。ここでは、差分時間7ケ月として説明を進める。
ここで、指定時間は、上述の如くユーザが任意に指定可能な時間であるが、ここでは親子を分類すればよいため、ある程度の長期間、例えば10年が設定されているものとする。
この場合、差分時間である7ケ月は、明らかに指定時間である10年よりも短期間である。このことは、対象画像71aの被写体と類似画像82aの被写体とは、指定時間以下の短期間(ここでは7ケ月)内で顔が類似していることを意味する。要するに、対象画像71aの被写体と類似画像82aの被写体とは同一人物、即ち「子」であると判断できることを意味する。
そこで、ここでは、ステップS18の処理でYESであると判定されて、ステップS19の処理で、グループ化部66によって、対象画像71aのデータは、「2006年 子 4才グループ」に分類され、子グループ記憶部81aに記憶される。
これにより、グループ化判断処理は終了となる。
この場合には、対象画像71cのデータは、対象画像71aのデータに対して施された処理と全く同様の処理が施される。即ち、最終的に、ステップS19の処理で、グループ化部66によって、対象画像71cのデータは、「2006年 子 4才グループ」に分類され、子グループ記憶部81aに記憶される。
これにより、グループ化判断処理は終了となる。
ここで、顔領域73bに類似する顔領域を有する既存画像のデータとしては、子グループ記憶部81aに記憶されている既存画像82a等のデータと、親グループ記憶部81bに記憶されている既存画像82b等のデータとが存在する。
ただし、上述のように、子グループ記憶部81aの方が先に検索されるので、例えば既存画像82aのデータが、対象画像71bの類似画像のデータとして検索されることになる。
ここでは、上述したように0乃至5才の範囲がチェック対象範囲として設定されているので、ステップS16の処理でYESであると判定されて、処理はステップS17に進む。
ステップS17の処理で、日付比較部65によって、対象画像71bのデータの撮像日付と、類似画像82aのデータの撮像日付との間の差分時間が演算される。
図4に示すように、対象画像71bのデータの撮像日付は、1986年1月である。一方、類似画像82aのデータの撮像日付は、図4に明確に図示されていないが、当該類似画像82aのデータは「2006年 子 4才グループ」に属しているため、少なくとも2006年中であり、その差分時間は、最小でも19年を超える。ここでは、差分時間19年として説明を進める。
この場合、差分時間である19年は、明らかに指定時間である10年よりも長期間である。このことは、対象画像71bの被写体と類似画像82aの被写体とは、指定時間である10年を超えた長期間(ここでは19年)を空けて顔が類似していることを意味する。要するに、親が対象画像71bの被写体であり、子が類似画像82aの被写体である可能性が高いことを意味する。このような場合、対象画像71cのデータの正確なグループ分けをすることは困難である。
そこで、いまの場合には、ステップS18においてNOであると判定されて、ステップS14の処理に戻され、別の類似画像が新たに検索され、それ以降の処理が繰り返される。
ここでは、上述したように0乃至5才の範囲がチェック対象範囲として設定されているので、ステップS16の処理でYESであると判定されて、処理はステップS17に進む。
ステップS17の処理で、日付比較部65によって、対象画像71bのデータの撮像日付と、類似画像82bのデータの撮像日付との間の差分時間が演算される。
図4に示すように、対象画像71cのデータの撮像日付は、1986年1月である。一方、類似画像82cのデータの撮像日付は、図4に明確に図示されていないが、当該類似画像82bのデータは「1986年 親 4才グループ」に属しているため、少なくとも1986年中であり、その差分時間は、最大でも11ケ月になる。ここでは、差分時間11ケ月として説明を進める。
この場合、差分時間である11ケ月は、明らかに指定時間である10年よりも短期間である。このことは、対象画像71bの被写体と類似画像82bの被写体とは、指定時間以下の短期間(ここでは11ケ月)内で顔が類似していることを意味する。要するに、対象画像71bの被写体と類似画像82bの被写体とは同一人物、即ち「親」であると判断できることを意味する。
そこで、ここでは、ステップS18の処理でYESであると判定されて、ステップS19の処理で、グループ化部66によって、対象画像71bのデータは、「1986年 親 4才グループ」に分類され、親グループ記憶部81bに記憶される。
これにより、グループ化判断処理は終了となる。
ここで、図4には図示はしないが、その他グループ記憶部81cに類似画像のデータが記憶されており、当該データが検索されたものとする。
ここでは、上述したように0乃至5才の範囲がチェック対象範囲として設定されているので、ステップS16の処理でNOであると判定されて、処理はステップS20に進む。
ステップS20の処理で、グループ化部66によって、対象画像71dのデータは、「その他グループ」に分類されて、その他グループ記憶部81cに記憶される。
これにより、グループ化判断処理は終了となる。
顔検出部61は、撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する。
年齢認識部62は、顔領域に基づいて、対象画像内の被写体の年齢を認識する。
類似画像検索部63は、撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、顔検出部61により検出された顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する。
年齢確認部64は、年齢認識部62により認識された対象画像内の被写体の年齢が、所定の第1範囲(チェック対象範囲)内であるか否かを確認する。
日付比較部65は、対象画像内の被写体の年齢が第1範囲内であると確認された場合に、対象画像のデータの撮像日付と類似画像のデータの撮像日付との差分時間を求め、当該差分時間と所定の第2範囲(指定時間)とを比較する。
分類手段は、日付比較部65により比較された結果、差分時間が第2範囲内である場合、対象画像のデータを、類似画像のデータが属するグループと同一グループに分類する。
ここで、差分時間が第2範囲内である場合とは、対象画像の被写体と類似画像の被写体とは、第2範囲以下の短期間内で顔が類似していることを意味する。要するに、対象画像の被写体と類似画像の被写体とは同一人物であると判断できることを意味する。従って、このような場合には、対象画像のデータは、類似画像のデータが属するグループと同一グループに分類される。
これに対して、差分時間が第2範囲外である場合とは、対象画像の被写体と類似画像の被写体とは、第2範囲を超えた長期間を開けて、例えば第2範囲が10年ならば、10年を超えた間隔を開けて顔が類似していることを意味する。要するに、親子や兄弟等の別人同士のうち、一方が対象画像の被写体であり、他方が類似画像の被写体である可能性が高いことを意味する。このような場合、対象画像のデータの正確なグループ分けをすることは困難であるため、対象画像のデータは、類似画像のデータが属するグループと同一グループに分類されない。
このようにして、顔が類似する別々の被写体がそれぞれに含まれる各々の画像のデータを別々のグループに精度良く分類することが可能になる。
この場合の指定時間は、上述の実施形態では、2年や10年が設定されたが、上述の如く、特にこれらに限定されず、ユーザが任意に設定可能な時間でよい。
ただし、日付比較部65により判別される指定値は、年齢認識部62による年齢の認識精度に依存する。よって、指定期間として短期間を設定する場合には、年齢認識部62による年齢の認識精度を可能な限り高くするとよい。
この場合のチェック対象範囲は、上述の実施形態では、0乃至5才の範囲が設定されていたが、上述の如く、特にこれらに限定されず、ユーザが任意に設定可能な範囲でよい。
例えば、2才違いの兄弟の各々の小学生の時の画像のデータを同一グループに分類したくない場合があるとする。このような場合、ユーザは、日付比較部65により判断される指定時間を2年に設定し、年齢確認部64により判断されるチェック対象範囲を6乃至12才の範囲に設定するとよい。これにより、顔が類似する兄と弟の小学生の時の画像のデータを、兄のグループと弟のグループとに別々に分類することができる。このように、チェックする年齢を指定できるので、同一人物が成人して顔つきに変化がなくなった場合に違うグループになってしまうことを防止できる。
即ち、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
具体的には例えば、年齢確認部64による年齢の確認を行うステップS16の処理は、図2の順番で実行する必要は特に無い。
さらに、年齢確認部64による年齢の確認を行うステップS16の処理を省略することにより、全ての年齢の被写体が含まれ得る画像のデータを対象に、対象画像と類似画像の両データ間の撮像日付の当該差分時間が指定時間以下であるか否かを判定された後、グループ化部66によるグループ化を行うことが可能になる。
この場合、当該対象画像のデータは、何れのグループにも分類されずに既存画像記憶部52に記憶されていたが、上述の如く、特にこれらに限定されず、対象画像のデータを新たなグループに分類して既存画像記憶部52に記憶してもよい。
この場合、当該対象画像のデータは、何れのグループにも分類されずに既存画像記憶部52に記憶されていたが、上述の如く、特にこれらに限定されず、対象画像のデータを新たなグループに分類して既存画像記憶部52に記憶してもよい。
Claims (6)
- 撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する顔検出手段と、
前記顔検出手段により検出された前記顔領域に基づいて、前記対象画像内の前記被写体の年齢を認識する年齢認識手段と、
撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、前記顔検出手段により検出された前記顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する類似画像検索手段と、
前記年齢認識手段により認識された前記対象画像内の前記被写体の年齢が、所定の第1範囲内であるか否かを確認する年齢確認手段と、
前記年齢確認手段により前記対象画像内の前記被写体の年齢が前記第1範囲内であると確認された場合に、前記対象画像のデータの第1撮像日付と、前記類似画像検索手段により検索された前記類似画像のデータの第2撮像日付との差分時間を求め、前記差分時間と所定の第2範囲とを比較する日付比較手段と、
前記日付比較手段により比較された結果、前記差分時間が前記第2範囲内である場合、前記対象画像のデータを、前記類似画像のデータが属するグループと同一グループに分類する分類手段と、
を備える画像処理装置。 - 前記日付比較手段により比較された結果、前記差分時間が前記第2範囲外である場合、
前記類似画像検索手段は、別の類似画像のデータを検索し、
前記日付比較手段は、前記別の類似画像のデータの撮像日付を前記第2撮像日付として前記差分時間を求め、前記差分時間と前記第2範囲を比較する、
という処理を、
前記差分時間が前記第2範囲内となるまで、又は、前記類似画像検索手段により別の類似画像のデータとして検索される既存画像のデータが存在しなくなるまで、繰り返し実行し、
前記分類手段は、
前記類似画像検索手段により別の類似画像のデータとして検索される既存画像のデータが存在しなくなった場合、前記対象画像のデータの分類を禁止するか、又は、新たなグループを生成し、前記対象画像のデータを新たなグループに分類する、
請求項1に記載の画像処理装置。 - 前記分類手段は、前記年齢確認手段により前記対象画像内の前記被写体の年齢が前記第1範囲外であると確認された場合に、前記第1範囲内の年齢の被写体を含む既存画像のデータが属するグループとは別のグループに、前記対象画像のデータを分類する、
請求項1又は2に記載の画像処理装置。 - 前記分類手段は、前記顔検出手段により前記顔領域が検出されなかった場合、前記対象画像のデータの分類を禁止するか、又は、新たなグループを生成し、前記対象画像のデータを新たなグループに分類する、
請求項1乃至3の何れか1項に記載の画像処理装置。 - 画像処理装置が、対象画像のデータを対象として画像処理を実行する画像処理方法において、
撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する顔検出ステップと、
前記顔検出ステップにより検出された前記顔領域に基づいて、前記対象画像内の前記被写体の年齢を認識する年齢認識ステップと、
撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、前記顔検出ステップにより検出された前記顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する類似画像検索ステップと、
前記年齢認識ステップにより認識された前記対象画像内の前記被写体の年齢が、所定の第1範囲内であるか否かを確認する年齢確認ステップと、
前記年齢確認ステップにより前記対象画像内の前記被写体の年齢が前記第1範囲内であると確認された場合に、前記対象画像のデータの第1撮像日付と、前記類似画像検索ステップにより検索された前記類似画像のデータの第2撮像日付との差分時間を求め、前記差分時間と所定の第2範囲とを比較する日付比較ステップと、
前記日付比較ステップにより比較された結果、前記差分時間が前記第2範囲内である場合、前記対象画像のデータを、前記類似画像のデータが属するグループと同一グループに分類する分類ステップと、
を含む画像処理方法。 - 画像処理装置に対して、対象画像のデータを対象として画像処理の実行を制御するコンピュータに、
撮像日時が特定可能な撮像画像のデータを対象画像のデータとして用いて、当該対象画像内の被写体の顔を含む領域を顔領域として検出する顔検出機能と、
前記顔検出機能により検出された前記顔領域に基づいて、前記対象画像内の前記被写体の年齢を認識する年齢認識機能と、
撮像日時がそれぞれ特定可能な複数の既存画像のデータであって、複数のグループのうちの何れかに属しているデータの中から、前記顔検出機能により検出された前記顔領域に類似する顔領域を有する既存画像のデータを、類似画像のデータとして検索する類似画像検索機能と、
前記年齢認識機能により認識された前記対象画像内の前記被写体の年齢が、所定の第1範囲内であるか否かを確認する年齢確認機能と、
前記年齢確認機能により前記対象画像内の前記被写体の年齢が前記第1範囲内であると確認された場合に、前記対象画像のデータの第1撮像日付と、前記類似画像検索機能により検索された前記類似画像のデータの第2撮像日付との差分時間を求め、前記差分時間と所定の第2範囲とを比較する日付比較機能と、
前記日付比較機能により比較された結果、前記差分時間が前記第2範囲内である場合、前記対象画像のデータを、前記類似画像のデータが属するグループと同一グループに分類する分類機能と、
を実現させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010149665A JP4924742B2 (ja) | 2010-06-30 | 2010-06-30 | 画像処理装置及び方法、並びにプログラム |
US13/171,980 US8526742B2 (en) | 2010-06-30 | 2011-06-29 | Image processing apparatus, method, and program that classifies data of images |
CN201110178735.XA CN102393907B (zh) | 2010-06-30 | 2011-06-29 | 图像处理装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010149665A JP4924742B2 (ja) | 2010-06-30 | 2010-06-30 | 画像処理装置及び方法、並びにプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012021529A Division JP2012104155A (ja) | 2012-02-03 | 2012-02-03 | 画像処理装置及び方法、並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012014376A true JP2012014376A (ja) | 2012-01-19 |
JP2012014376A5 JP2012014376A5 (ja) | 2012-03-01 |
JP4924742B2 JP4924742B2 (ja) | 2012-04-25 |
Family
ID=45399754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010149665A Expired - Fee Related JP4924742B2 (ja) | 2010-06-30 | 2010-06-30 | 画像処理装置及び方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8526742B2 (ja) |
JP (1) | JP4924742B2 (ja) |
CN (1) | CN102393907B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014048670A (ja) * | 2012-08-29 | 2014-03-17 | Buffalo Inc | 画像処理装置及びプログラム |
JP2021009475A (ja) * | 2019-06-28 | 2021-01-28 | 富士フイルム株式会社 | 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7916897B2 (en) * | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US9536046B2 (en) * | 2010-01-12 | 2017-01-03 | Microsoft Technology Licensing, Llc | Automated acquisition of facial images |
US20130057573A1 (en) * | 2011-09-02 | 2013-03-07 | DigitalOptics Corporation Europe Limited | Smart Display with Dynamic Face-Based User Preference Settings |
US9495761B2 (en) * | 2013-11-04 | 2016-11-15 | The Regents Of The University Of California | Environment mapping with automatic motion model selection |
CN104133917B (zh) * | 2014-08-15 | 2018-08-10 | 百度在线网络技术(北京)有限公司 | 照片的分类存储方法及装置 |
US20160063070A1 (en) * | 2014-08-26 | 2016-03-03 | Schlumberger Technology Corporation | Project time comparison via search indexes |
CN104216976B (zh) * | 2014-09-01 | 2018-09-04 | 广东欧珀移动通信有限公司 | 一种移动终端图片分组查看方法及系统 |
CN105072337B (zh) * | 2015-07-31 | 2019-03-26 | 小米科技有限责任公司 | 图片处理方法及装置 |
CN105530435A (zh) * | 2016-02-01 | 2016-04-27 | 深圳市金立通信设备有限公司 | 一种拍摄方法及移动终端 |
US10410045B2 (en) | 2016-03-23 | 2019-09-10 | Intel Corporation | Automated facial recognition systems and methods |
CN107278369B (zh) * | 2016-12-26 | 2020-10-27 | 深圳前海达闼云端智能科技有限公司 | 人员查找的方法、装置及通信系统 |
CN109784657B (zh) * | 2018-12-18 | 2021-01-29 | 东软集团股份有限公司 | 业务流程建立方法、装置、存储介质及电子设备 |
CN110851637A (zh) * | 2019-09-26 | 2020-02-28 | 华为技术有限公司 | 一种图片搜索方法及设备 |
US10923045B1 (en) * | 2019-11-26 | 2021-02-16 | Himax Technologies Limited | Backlight control device and method |
US20220343684A1 (en) * | 2021-04-23 | 2022-10-27 | Wrethink, Inc. | Methods and apparatus for determining the date of a scanned photo from face data and using such date information |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107885A (ja) * | 2003-09-30 | 2005-04-21 | Casio Comput Co Ltd | 画像分類装置及び画像分類プログラム |
JP2005174308A (ja) * | 2003-11-14 | 2005-06-30 | Fuji Photo Film Co Ltd | 顔認識に基づいたデジタル媒体の整理方法および装置 |
JP2006236217A (ja) * | 2005-02-28 | 2006-09-07 | Fuji Photo Film Co Ltd | 人物認識システム、人物認識方法、及び人物認識プログラム |
JP2006318375A (ja) * | 2005-05-16 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 顔画像検索装置および顔画像検索方法 |
JP2008269010A (ja) * | 2007-04-16 | 2008-11-06 | Fujitsu Ltd | 類似分析装置、画像表示装置、画像表示プログラム、および画像表示方法 |
JP2009199322A (ja) * | 2008-02-21 | 2009-09-03 | Hitachi Kokusai Electric Inc | 監視システム、人物検索方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3455752B2 (ja) | 1993-05-26 | 2003-10-14 | カシオ計算機株式会社 | 年齢推定装置および年齢表示制御方法 |
US5781650A (en) * | 1994-02-18 | 1998-07-14 | University Of Central Florida | Automatic feature detection and age classification of human faces in digital images |
US6661906B1 (en) * | 1996-12-19 | 2003-12-09 | Omron Corporation | Image creating apparatus |
US6829395B2 (en) * | 2000-01-20 | 2004-12-07 | Axis, Ab | Apparatus and method for storing and reading digital images |
JP2002170119A (ja) * | 2000-12-01 | 2002-06-14 | Minolta Co Ltd | 画像認識装置、画像認識方法及び記録媒体 |
US7035467B2 (en) * | 2002-01-09 | 2006-04-25 | Eastman Kodak Company | Method and system for processing images for themed imaging services |
GB2402535B (en) * | 2003-06-05 | 2006-06-21 | Canon Kk | Image processing |
JP2005031830A (ja) * | 2003-07-09 | 2005-02-03 | Fuji Photo Film Co Ltd | 画像表示方法及び画像表示用プログラム |
US7855810B2 (en) * | 2005-02-18 | 2010-12-21 | Eastman Kodak Company | Method for automatically organizing a digitized hardcopy media collection |
US7522773B2 (en) * | 2005-04-28 | 2009-04-21 | Eastman Kodak Company | Using time in recognizing persons in images |
US7760917B2 (en) * | 2005-05-09 | 2010-07-20 | Like.Com | Computer-implemented method for performing similarity searches |
US7519200B2 (en) * | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
JP4762731B2 (ja) * | 2005-10-18 | 2011-08-31 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム |
US8270682B2 (en) * | 2008-11-25 | 2012-09-18 | Eastman Kodak Company | Hair segmentation |
CN101533468B (zh) * | 2009-04-27 | 2012-05-23 | 东南大学 | 基于数字人脸图像的人类年龄自动估计方法 |
CN101584575B (zh) * | 2009-06-19 | 2011-05-04 | 无锡骏聿科技有限公司 | 一种基于人脸识别技术的年龄评估方法 |
-
2010
- 2010-06-30 JP JP2010149665A patent/JP4924742B2/ja not_active Expired - Fee Related
-
2011
- 2011-06-29 CN CN201110178735.XA patent/CN102393907B/zh active Active
- 2011-06-29 US US13/171,980 patent/US8526742B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005107885A (ja) * | 2003-09-30 | 2005-04-21 | Casio Comput Co Ltd | 画像分類装置及び画像分類プログラム |
JP2005174308A (ja) * | 2003-11-14 | 2005-06-30 | Fuji Photo Film Co Ltd | 顔認識に基づいたデジタル媒体の整理方法および装置 |
JP2006236217A (ja) * | 2005-02-28 | 2006-09-07 | Fuji Photo Film Co Ltd | 人物認識システム、人物認識方法、及び人物認識プログラム |
JP2006318375A (ja) * | 2005-05-16 | 2006-11-24 | Matsushita Electric Ind Co Ltd | 顔画像検索装置および顔画像検索方法 |
JP2008269010A (ja) * | 2007-04-16 | 2008-11-06 | Fujitsu Ltd | 類似分析装置、画像表示装置、画像表示プログラム、および画像表示方法 |
JP2009199322A (ja) * | 2008-02-21 | 2009-09-03 | Hitachi Kokusai Electric Inc | 監視システム、人物検索方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014048670A (ja) * | 2012-08-29 | 2014-03-17 | Buffalo Inc | 画像処理装置及びプログラム |
JP2021009475A (ja) * | 2019-06-28 | 2021-01-28 | 富士フイルム株式会社 | 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体 |
US11475567B2 (en) | 2019-06-28 | 2022-10-18 | Fujifilm Corporation | Image processing apparatus, image processing method, image processing program, and recording medium storing program |
JP7204596B2 (ja) | 2019-06-28 | 2023-01-16 | 富士フイルム株式会社 | 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20120002878A1 (en) | 2012-01-05 |
JP4924742B2 (ja) | 2012-04-25 |
CN102393907B (zh) | 2014-05-07 |
US8526742B2 (en) | 2013-09-03 |
CN102393907A (zh) | 2012-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4924742B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
US9626551B2 (en) | Collation apparatus and method for the same, and image searching apparatus and method for the same | |
JP6023058B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
US8762659B2 (en) | Storage apparatus and method, program, and playback apparatus and method | |
JP4274233B2 (ja) | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム | |
US8176426B2 (en) | Image reproduction apparatus and image reproduction program product | |
EP1886255B1 (en) | Using photographer identity to classify images | |
JP4710979B2 (ja) | 対象物検出装置、学習装置、対象物検出方法およびプログラム | |
US9996554B2 (en) | Search apparatus, search method, and storage medium | |
JP2011107997A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11176679B2 (en) | Person segmentations for background replacements | |
JP2010092199A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
US9721153B2 (en) | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type | |
JP4710978B2 (ja) | 対象物検出装置、撮像装置、対象物検出方法およびプログラム | |
JP2011109428A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20080088717A1 (en) | Image capturing apparatus, image capturing method, image processing apparatus, image processing method and computer-readable medium | |
JP5241606B2 (ja) | オブジェクト識別装置及びオブジェクト識別方法 | |
JP4490214B2 (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
JP2007179224A (ja) | 情報処理装置および方法、並びにプログラム | |
JP2012104155A (ja) | 画像処理装置及び方法、並びにプログラム | |
JP5791361B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
CN104935807B (zh) | 摄像装置、摄像方法以及计算机可读取的记录介质 | |
JP4781248B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 | |
JP5464965B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP2013157675A (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111125 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20111129 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20111227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120123 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4924742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |