JP2013074461A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2013074461A JP2013074461A JP2011211967A JP2011211967A JP2013074461A JP 2013074461 A JP2013074461 A JP 2013074461A JP 2011211967 A JP2011211967 A JP 2011211967A JP 2011211967 A JP2011211967 A JP 2011211967A JP 2013074461 A JP2013074461 A JP 2013074461A
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- identification information
- unit
- image
- similarities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
- H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
- H04N1/00336—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Collating Specific Patterns (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【解決手段】撮像装置100であって、画像に含まれる個体の情報と登録されている識別用情報との類似度を算出する類似度算出部53と、類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する情報登録部8と、複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する類似度判定部56と、一の類似度が相対的に低下したと判定された場合に、登録されている前記識別用情報を更新すべき旨を報知する表示部7と、を備えている。
【選択図】図1
Description
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段と、画像を取得する取得手段と、前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段と、前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する記憶手段と、前記記憶手段に記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段と、前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する報知手段と、を備えたことを特徴としている。
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置を用いた画像処理方法であって、画像を取得する処理と、取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する処理と、前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する処理と、記憶される複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する処理と、前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する処理と、を含むことを特徴としている。
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置のコンピュータを、画像を取得する取得手段、前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段、前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶させる記憶制御手段、前記記憶制御手段により記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段、前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知させる報知制御手段、として機能させることを特徴としている。
本実施形態の撮像装置100は、取得された画像に含まれる個体の情報と特定の個体を識別するための識別用情報との類似度を算出し、類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する。また、撮像装置100は、複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定し、一の類似度が相対的に低下したと判定された場合に、登録されている識別用情報を更新すべき旨を報知する。
具体的には、図1に示すように、撮像装置100は、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、表示制御部6と、表示部7と、情報登録部8と、記録媒体制御部9と、操作入力部10と、中央制御部11とを備えている。
また、撮像部1は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
また、撮像制御部2は、AF(自動合焦処理)に加えて、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行っても良い。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
なお、画像処理部5の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
即ち、画像取得部51は、識別用情報更新処理の処理対象の画像として、撮像部1により撮像された画像の画像データを取得する。具体的には、画像取得部51は、撮像部1による被写体の撮像によって画像データ生成部3により逐次生成された各フレーム画像の画像データ(YUVデータ)を、メモリ4から逐次取得する。
ここで、画像取得部51は、画像を取得する取得手段を構成している。
即ち、個体検出部52は、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の画像認識技術を利用して、画像取得部51により取得された各フレーム画像からヒトや動物等の被写体(個体)が含まれる特定領域(例えば、顔領域S(図6(a)参照)等)を検出する。具体的には、個体検出部52は、例えば、各フレーム画像の画像データに対して所定の顔検出処理を施して、当該フレーム画像からヒトや動物等の個体の顔領域Sを検出する。
なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
ここで、個体検出部52は、画像取得部51により取得された画像に含まれる個体を検出する検出手段を構成している。
即ち、類似度算出部53は、画像取得部51により取得されたフレーム画像から個体検出部52により検出された個体の特定領域(例えば、顔領域S)の情報と情報登録部8の識別用情報管理テーブルT1(図2(a)等参照)に登録されている識別用情報との類似度を算出する。具体的には、類似度算出部53は、例えば、識別用情報管理テーブルT1から各特定の個体毎の識別用情報を取得して、当該識別用情報の各々と個体検出部52により検出された個体の顔領域Sとを照合して、所定の演算式に従って類似度を百分率で算出する。そして、類似度算出部53は、算出された複数の類似度の中で、所定の閾値(例えば、60%等)以上で、且つ、最も良い類似度を、個体検出部52により検出された個体の情報と識別用情報との類似度として算出する。
この結果、個体検出部52により検出された個体は、類似度算出部53により算出された最も良い類似度の値を示す識別用情報(例えば、例えば、「識別用情報A1」等)に対応する特定の個体(例えば、「Aさん」等)として識別される。
ここで、類似度算出部53は、画像取得部51により取得された画像に含まれる個体の情報と情報登録部8に登録されている識別用情報との類似度を算出する算出手段を構成している。
即ち、期間判定部54は、類似度算出部53により新たに算出された一の類似度と関連付けられている所定の日時情報(例えば、撮像日時情報)に基づいて、当該一の類似度に係る記録用画像Pが識別用情報の登録日時から所定期間(例えば、2年間等)内に撮像された画像であるか否かを判定する。具体的には、期間判定部54は、類似度算出部53により新たに一の類似度が算出された場合に、情報登録部8の類似度履歴テーブルT2(図3参照)を参照して、当該一の類似度と対応付けて記憶されている記録用画像Pの撮像日時に係る撮像日時情報を取得する。また、期間判定部54は、情報登録部8の識別用情報管理テーブルT1を参照して、当該一の類似度に対応する特定の個体(例えば、「Aさん」)に係る識別用情報(例えば、「識別用情報A1」等)の登録日時に係る登録日時情報を取得する。そして、期間判定部54は、記録用画像Pの撮像日時と識別用情報の登録日時とを比較して、当該記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたか否かを判定する。
なお、期間判定部54は、類似度履歴テーブルT2を利用して撮像日時情報を取得するようにしたが、撮像日時情報の取得方法は一例であってこれに限られるものではなく、例えば、類似度算出部53により類似度が算出された画像のExif情報を参照して撮像日時情報を取得するようにしても良い。
ここで、期間判定部54は、類似度算出部53により新たに算出された一の類似度と関連付けられている所定の日時情報に基づいて、当該一の類似度に係る画像が識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定する第3判定手段を構成している。
即ち、閾値判定部55は、類似度算出部53により新たに算出された一の類似度が所定の判定値以下であるか否かを判定する。具体的には、期間判定部54により記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたと判定された場合に、閾値判定部55は、当該記録用画像Pに係る最新の類似度が所定の判定値(例えば、70%等)以下であるか否かを判定する。
なお、所定の判定値として例示する「70%」は、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、所定の判定値は、ユーザによる操作入力部10の所定操作に基づいてユーザ所望の値を設定可能に構成されても良いし、識別用情報管理テーブルT1に登録されている登録日時を基準として、当該登録日時からの経過期間に応じて自動的に逐次減少させるようにしても良い。
ここで、閾値判定部55は、類似度算出部53により算出された一の類似度が所定の判定値以下であるか否かを判定する第2判定手段を構成している。
即ち、類似度判定部56は、情報登録部8の類似度履歴テーブルT2に記憶される複数の類似度の経時的変化に基づいて、類似度算出部53により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する。具体的には、類似度判定部56は、類似度算出部53により新たに一の類似度が算出された場合に、類似度履歴テーブルT2を参照して、当該一の類似度及び他の所定数の類似度の各々と対応付けて記憶されている画像の撮像日時に係る撮像日時情報をそれぞれ取得する。そして、類似度判定部56は、取得された複数の撮像日時情報に基づいて、複数の類似度の経時的変化を特定した後、当該経時的変化に基づいて、一の類似度が他の所定数の類似度を基準として相対的に低下したか否かを判定する。
そして、類似度判定部56は、複数の類似度が撮像日時の経過に従って相対的に低下する傾向にあるか否かを判定する。
具体的には、類似度判定部56は、例えば、複数の類似度のうち、類似度算出部53により算出された一の類似度及び当該一の類似度に対して撮像日時が直近の所定数(例えば、3つ等)の類似度が、各々の類似度の撮像日時が一つ前の類似度よりも低下したか否かに応じて、複数の類似度が相対的に低下する傾向にあるか否かを判定する。即ち、類似度判定部56は、各々の類似度が一つ前の類似度よりも低下したと判定された場合に、複数の類似度が相対的に低下する傾向にあると判定し、その一方で、類似度判定部56は、各々の類似度が一つ前の類似度よりも低下していないと判定された場合に、複数の類似度が相対的に低下する傾向にないと判定する。
また、類似度判定部56は、例えば、類似度算出部53により算出された一の類似度が当該一の類似度に対して撮像日時が一つ前の類似度よりも低下し、且つ、当該一の類似度に対して撮像日時が直近の所定数(例えば、5つ等)の類似度のうち、特定数(例えば、3つ等)の類似度が各々の類似度の撮像日時が一つ前の類似度よりも低下したか否かに応じて、複数の類似度が相対的に低下する傾向にあるか否かを判定する。即ち、類似度判定部56は、一の類似度が一つ前の類似度よりも低下し、且つ、特定数の類似度が各々の類似度の一つ前の類似度よりも低下したと判定された場合に、複数の類似度が相対的に低下する傾向にあると判定し、その一方で、類似度判定部56は、一の類似度が一つ前の類似度よりも低下していない、又は、特定数の類似度が各々の類似度の一つ前の類似度よりも低下していないと判定された場合に、複数の類似度が相対的に低下する傾向にないと判定する。
なお、上記した複数の類似度が相対的に低下する傾向であるか否かの判定手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、類似度判定部56は、複数の類似度が相対的に低下する傾向にあると判定された場合に、一の類似度が当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したと判定し、その一方で、複数の類似度が相対的に低下する傾向にないと判定された場合に、一の類似度が当該一の類似度以外の他の所定数の類似度を基準として相対的に低下していないと判定する。
さらに、類似度判定部56は、閾値判定部55により一の類似度が所定の判定値(例えば、70%等)以下であると判定された場合に、一の類似度が当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定しても良い。
このように、類似度判定部56は、情報登録部8の類似度履歴テーブルT2に記憶される複数の類似度の経時的変化に基づいて、類似度算出部53により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段を構成している。
即ち、第1生成部57は、表示部7に複数の類似度及び特定の個体の画像が対応付けて表示されている状態で、ユーザによる操作入力部10の所定操作に基づいて指定された特定の個体の画像を基準として、識別用情報(例えば、「Aさん」の「識別用情報A1」等)を新たに生成する。具体的には、第1生成部57は、ユーザによる操作入力部10の所定操作に基づいて特定の個体の画像が指定されると、情報登録部8の類似度履歴テーブルT2を参照して、当該特定の個体の画像と対応する特定領域データ(例えば、顔領域データAn等)を取得して、当該特定領域データを識別用情報(例えば、「識別用情報A2」等)として特定する。
なお、特定の個体の画像は、ユーザによる操作入力部10の所定操作に基づいて複数指定されても良く、かかる場合には、第1生成部57は、指定された複数の特定の個体の画像に対応する特定領域データを複数取得して、これら複数の特定領域データに基づいて、一の特定領域データを特定しても良い。即ち、第1生成部57は、取得された複数の特定領域データの中で、類似度が代表値(例えば、中央値や平均値や最頻値等)を示す何れか一の特定領域データを特定しても良いし、複数の特定領域データの重み付けを所定条件に従って変更して併合することで一の特定領域データを生成しても良い。
ここで、第1生成部57は、表示部7に対応付けて表示されている複数の類似度及び特定の個体の画像の中で、ユーザによる操作入力部10の所定操作に基づいて指定された特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第1生成手段を構成している。
即ち、第2生成部58は、類似度判定部56により一の類似度が相対的に低下したと判定された場合に、当該一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報(例えば、「Aさん」の「識別用情報A1」等)を新たに生成する。具体的には、第2生成部58は、情報登録部8の類似度履歴テーブルT2を参照して、当該一の類似度と対応付けて記憶されている特定領域データ(例えば、顔領域データAn等)を取得して、当該特定領域データを識別用情報(例えば、「識別用情報A2」等)として特定する。
このとき、第2生成部58は、一の類似度と対応付けられている特定領域データの他に、当該一の類似度に近い(即ち、例えば、差が5%以内程度等の)類似度と対応付けられている特定領域データを所定数取得して、これら複数の特定領域データに基づいて、一の特定領域データを特定しても良い。即ち、第2生成部58は、取得された複数の特定領域データの中で、類似度が代表値(例えば、中央値や平均値や最頻値等)を示す何れか一の特定領域データを特定しても良いし、複数の特定領域データの重み付けを所定条件に従って変更して併合することで一の特定領域データを生成しても良い。
ここで、第2生成部58は、識別用情報を自動的に更新する場合、類似度判定部56により相対的に低下したと判定された一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第2生成手段を構成している。
具体的には、表示制御部6は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部11の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部7に出力する。
具体的には、表示制御部6は、識別用情報の更新を指示する所定の更新指示画面G1(図6(b)参照)に係る画面データを生成して、当該画面データを表示部7に出力して所定の更新指示画面G1を表示させる。その後、ユーザによる操作入力部10の所定操作に基づいて識別用情報の更新が指示されると、表示制御部6は、識別用情報をユーザによる操作入力部10の所定操作に基づいて更新するか、或いは、自動的に更新するかを指定するための所定の更新動作指定画面G2(図6(c)参照)に係る画面データを生成して、当該画面データを表示部7に出力して所定の更新動作指定画面G2を表示させる。
なお、表示制御部6は、類似度履歴テーブルT2に記憶されている所定数の類似度及び特定の個体の画像の全てを表示対象としても良いし、現在の日時から所定期間(例えば、3ヶ月等)内に撮像された画像に係るもののみを表示対象としても良い。
例えば、図2(a)に示すように、識別用情報管理テーブルT1は、特定の個体の名称としての「Aさん」と、識別用情報としての「識別用情報A1」(図2(b)参照)と、登録日時情報としての「2008/12/24」とが対応付けられ、また、特定の個体の名称としての「Bさん」と、識別用情報としての「識別用情報B」と、登録日時情報としての「2009/7/7」とが対応付けられ、また、特定の個体の名称としての「Cさん」と、識別用情報としての「識別用情報C」と、登録日時情報としての「2010/5/5」とが対応付けられている。
識別用情報は、例えば、ヒトや動物等の個体の顔を識別するための特徴情報を含んでいる。特徴情報としては、例えば、目、鼻、口等に相当する顔パーツの情報や所定角度ごとに撮影されたヒトや動物等の顔画像(図2(b)参照)が挙げられるが、ヒトや動物等の個体の顔を識別するための情報であればこれらに限定されることなく如何なる情報であってもよい。
ここで、情報登録部8は、特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を構成している。
即ち、情報登録部8は、例えば、図2(c)に示すように、識別用情報管理テーブルT1の特定の個体の名称としての「Aさん」に対応する識別用情報と登録日時の各カラムを、新たに生成された識別用情報としての「識別用情報A2」(図2(d)参照)と、登録日時情報としての「20011/6/1」により更新する。
また、上記した識別用情報管理テーブルT1は、一例であってこれに限られるものではなく、当該テーブルに記憶される各種情報の種類等は適宜任意に変更可能である。
例えば、図3に示すように、類似度履歴テーブルT2は、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2008/12/24」と、類似度100(%)と、特定領域データとしての「顔領域データA1」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2009/1/1」と、類似度95(%)と、特定領域データとしての「顔領域データA2」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2009/2/3」と、類似度65(%)と、特定領域データとしての「顔領域データA3」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2009/3/23」と、類似度93(%)と、特定領域データとしての「顔領域データA4」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2009/5/5」と、類似度94(%)と、特定領域データとしての「顔領域データA5」とが対応付けられ、また、特定の個体の名称としての「Bさん」と、撮像日時情報としての「2009/7/7」と、類似度100(%)と、特定領域データとしての「顔領域データB1」とが対応付けられている。
また、類似度履歴テーブルT2は、一部分のデータを省略するが、上記と同様に、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/1/3」と、類似度80(%)と、特定領域データとしての「顔領域データAn−5」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/3/3」と、類似度73(%)と、特定領域データとしての「顔領域データAn−4」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/3/5」と、類似度74(%)と、特定領域データとしての「顔領域データAn−3」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/5/5」と、類似度72(%)と、特定領域データとしての「顔領域データAn−2」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/5/15」と、類似度71(%)と、特定領域データとしての「顔領域データAn−1」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/6/1」と、類似度68(%)と、特定領域データとしての「顔領域データAn」とが対応付けられている(n:自然数)。
また、上記した類似度履歴テーブルT2は、一例であってこれに限られるものではなく、当該テーブルに記憶される各種情報の種類等は適宜任意に変更可能である。
さらに、類似度履歴テーブルT2を利用して、類似度と所定の日時情報(撮像日時情報)とを対応付けて記憶するようにしたが、必ずしも類似度履歴テーブルT2を利用する必要はなく、類似度と所定の日時情報とを関連付けて逐次記憶可能な構成であれば如何なる構成であっても良い。
ここで、情報登録部8は、類似度算出部53により類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する記憶手段を構成している。
即ち、記録媒体制御部9は、画像処理部5の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録媒体Mに記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
図4及び図5は、識別用情報更新処理に係る動作の一例を示すフローチャートである。また、図6(a)は、識別用情報更新処理に係る記録用画像Pの一例を模式的に示す図である。また、図6(b)及び図6(c)は、識別用情報更新処理に係る表示画面の一例を模式的に示す図である。図7は、特定の個体としての「Aさん」に係る識別用情報との類似度の経時的変化を示す図である。
なお、以下の識別用情報更新処理は、現在の日時が2011年6月1日であるとして説明する。即ち、識別用情報更新処理の実行前の状態にて、識別用情報管理テーブルT1には、特定の個体「Aさん」の識別用情報として、2008年12月24日に登録された「識別用情報A1」が記憶され、また、特定の個体「Bさん」の識別用情報として、2009年7月7日に登録された「識別用情報B」が記憶され、また、特定の個体「Cさん」の識別用情報として、2010年5月5日に登録された「識別用情報C」が記憶されているものとする。
そして、個体検出部52は、顔検出処理の結果に応じて、顔領域Sの検出に成功したか否かを判定する(ステップS4)。ここで、顔領域Sの検出に成功していないと判定されると(ステップS4;NO)、画像処理部5は、処理をステップS2に戻し、それ以降の処理を実行する。
当該識別用情報更新処理では、例えば、「Aさん」の「識別用情報A1」との類似度が最も良い値を示し、特定の個体として「Aさん」が識別されたものとする。
ステップS6にて、特定の個体の識別に成功したと判定されると(ステップS6;YES)、ユーザによる操作入力部10のシャッタボタンの所定操作に基づいて、撮像制御部2は、撮像部1に被写体の記録用画像Pを撮像させる(ステップS7)。
具体的には、撮像制御部2は、検出済の顔領域S(顔検出枠W;図6(a)等参照)をAFエリアやAEエリアとする自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、被写体の光学像を電子撮像部に撮像させる。画像データ生成部3は、電子撮像部から転送された被写体の記録用画像PのYUVデータを生成する。画像データ生成部3により生成された記録用画像PのYUVデータは、画像処理部5に出力されて、画像処理部5の符号化部により所定の圧縮形式(例えば、JPEG形式等)で符号化された後、記録媒体制御部9の制御下にて、記録媒体Mに記録される。
なお、ステップS22の処理の詳細については後述する。
次に、期間判定部54は、記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたか否かを判定する(ステップS9)。具体的には、期間判定部54は、類似度履歴テーブルT2から、最新の類似度と対応付けて記憶されている記録用画像Pの撮像日時に係る撮像日時情報を取得するとともに、識別用情報管理テーブルT1から、最新の類似度に対応する特定の個体の識別用情報(例えば、「Aさん」の「識別用情報A1」等)の登録日時に係る登録日時情報(例えば、「2008/12/24」等)を取得する。そして、期間判定部54は、記録用画像Pの撮像日時と識別用情報の登録日時とを比較して、当該記録用画像Pが識別用情報の登録日時から所定期間(例えば、2年間等)内に撮像されたか否かを判定する。
例えば、図7に示すように、類似度が所定の判定値以下の65(%)に低下した場合、撮像日時「2009/2/3」が識別用情報の登録日時「2008/12/24」から所定期間経過していないため、特定の個体の成長により見た目が経時的に変化したのではなく、例えば、髪型の変更等の何らかの要因により例外的に類似度が低下し、現状では当該登録済みの識別用情報を更新する必要がないこととなる。
ここで、最新の類似度が所定の判定値以下であると判定されると(ステップS10;YES)、図5に示すように、類似度判定部56は、類似度履歴テーブルT2を参照して、複数の類似度の経時的変化を特定する(ステップS11)。具体的には、類似度判定部56は、類似度履歴テーブルT2から、最新の類似度及び当該最新の類似度に対して撮像日時が直近の他の所定数の類似度の各々と対応付けられている画像の撮像日時に係る撮像日時情報を取得する。そして、類似度判定部56は、取得された撮像日時情報に基づいて、複数の類似度について、撮像タイミングが所定数(例えば、一つ)前の類似度と比較判定することで、複数の類似度の撮像日時の経過に従った相対的な変化の傾向を複数の類似度の経時的変化として特定する。
具体的には、類似度判定部56は、類似度履歴テーブルT2を参照して、例えば、特定の個体としての「Aさん」に係る複数の類似度のうち、最新の類似度(例えば、類似度68(%)等)及び当該最新の類似度に対して撮像日時が直近の所定数(例えば、3つ等)の類似度(例えば、類似度71、72、74(%)等)が、各々の類似度の撮像日時が一つ前の類似度よりも低下したか否かに応じて、複数の類似度が相対的に低下する傾向にあるか否かを判定する(図7参照)。
ステップS12にて、複数の類似度が撮像日時の経過に従って相対的に低下する傾向にあると判定されると(ステップS12;YES)、表示制御部6は、識別用情報の更新を指示する所定の更新指示画面G1(図6(b)参照)に係る画面データを生成して、当該画面データを表示部7に出力して所定の更新指示画面G1を表示させる(ステップS13)。例えば、表示制御部6は、更新指示画面G1内の所定位置に、更新対象となる特定の個体の識別用情報の更新を指示する旨のメッセージ(例えば、「Aさんの識別用情報を更新して下さい。」等)と、ユーザにより選択可能な更新を指示するボタン(例えば、「する」等)及び未更新を指示するボタン(例えば、「しない」等)とが配置された画面データを生成して、当該画面データを表示部7に出力する。
ステップS14にて、識別用情報の更新指示が入力されたと判定されると(ステップS14;YES)、表示制御部6は、識別用情報の更新動作の内容を指定するための所定の更新動作指定画面G2(図6(c)参照)に係る画面データを生成して、当該画面データを表示部7に出力して所定の更新動作指定画面G2を表示させる(ステップS15)。例えば、表示制御部6は、更新動作指定画面G2内の所定位置に、識別用情報の自動更新を指示するボタン(例えば、「自動更新」等)と、識別用情報のユーザによる操作入力部10の所定操作に基づいた手動更新を指示するボタン(例えば、「手動更新」等)とが配置された画面データを生成して、当該画面データを表示部7に出力する。
ステップS16にて、更新動作指定画面G2内の自動更新を指示するボタン(例えば、「自動更新」等)がユーザによる操作入力部10の所定操作に基づいて選択され、操作入力部10から出力された選択指示信号が中央制御部11のCPUに入力されると、当該CPUは、ユーザにより識別用情報の自動更新が指示されたと判断する(ステップS16;自動更新)。
すると、中央制御部11のCPUは、画像処理部5の第2生成部58に、最新の類似度に係る画像に含まれる特定の個体の特定領域データを基準として、識別用情報を新たに生成させる(ステップS17)。具体的には、第2生成部58は、情報登録部8の類似度履歴テーブルT2から、特定の個体(例えば、「Aさん」等)に係る最新の類似度と対応付けて記憶されている特定領域データ(例えば、顔領域データAn等)を取得して、当該特定領域データを識別用情報(例えば、「識別用情報A2」等)として特定する。
その後、中央制御部11のCPUは、処理をステップS21に移行させる(詳細後述)。
ステップS16にて、更新動作指定画面G2内の手動更新を指示するボタン(例えば、「手動更新」等)がユーザによる操作入力部10の所定操作に基づいて選択され、操作入力部10から出力された選択指示信号が中央制御部11のCPUに入力されると、当該CPUは、ユーザにより識別用情報の手動更新が指示されたと判断する(ステップS16;手動更新)。
すると、中央制御部11のCPUは、表示制御部6に情報登録部8の類似度履歴テーブルT2を参照させて、表示制御部6は、更新対象となる特定の個体(例えば、「Aさん」等)について、当該類似度履歴テーブルT2に記憶されている所定数の類似度と特定領域データに係る特定の個体の画像とを対応付けて表示部7に表示させる(ステップS18)。
ここで、何れか一の特定の個体の画像を指定する指示が入力されていないと判定されると(ステップS19;NO)、中央制御部11のCPUは、処理をステップS18に戻し、ステップS19にて、何れか一の特定の個体の画像を指定する指示が入力されたと判定(ステップS19;YES)されるまで、それ以降の処理を逐次実行する。
その後、中央制御部11のCPUは、処理をステップS21に移行させる(詳細後述)。
具体的には、情報登録部8は、第1生成部57や第2生成部58により新たに識別用情報(例えば、「識別用情報A2」等)が生成された日時を登録日時として、識別用情報管理テーブルT1に登録されている識別用情報(例えば、「Aさん」の「識別用情報A1」等)を新たに生成された識別用情報により更新する(図2(c)参照)。
ここで、終了指示が入力されていないと判定されると(ステップS22;NO)、中央制御部11のCPUは、処理をステップS2(図4参照)に戻し、それ以降の処理を逐次実行する。
一方、ステップS22にて、終了指示が入力されたと判定されると(ステップS22;YES)、中央制御部11のCPUは、識別用情報更新処理を終了させる。
ここで、識別用情報をユーザによる操作入力部10の所定操作に基づいて更新する場合、複数の類似度と当該類似度の各々に係る画像に含まれる特定の個体の画像とを対応付けて表示部7に表示して、ユーザによる操作部の所定操作に基づいて指定された特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報(例えば、「識別用情報A2」等)を新たに生成するので、ユーザ所望の特定の個体の画像を基準として新たな識別用情報を生成して、当該新たな識別用情報により登録済みの識別用情報(例えば、「識別用情報A1」等)を更新することができる。
また、識別用情報を自動的に更新する場合、他の所定数の類似度を基準として相対的に低下したと判定された一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成するので、登録されている識別用情報と最も類似せず、現在の特定の個体に最も類似している最新の類似度に係る特定の個体の画像を基準として新たな識別用情報(例えば、「識別用情報A2」等)を生成して、当該新たな識別用情報により登録済みの識別用情報(例えば、「識別用情報A1」等)を更新することができる。
このとき、複数の類似度のうち、新たに算出された一の類似度及び当該一の類似度に対して撮像日時が直近の所定数の類似度が、各々の類似度の一つ前の類似度よりも低下したか否かや、或いは、新たに算出された一の類似度が当該一の類似度に対して撮像日時が一つ前の類似度よりも低下し、且つ、当該一の類似度に対して撮像日時が直近の所定数の類似度のうち、特定数の類似度が各々の類似度の一つ前の類似度よりも低下したか否か等に応じて、複数の類似度が相対的に低下する傾向にあるか否かを判定することができる。
従って、見た目が経時的に変化する特定の個体の経時的変化を考慮して、登録済みの識別用情報の更新タイミング、即ち、登録済みの識別用情報を更新すべき旨の報知タイミングを適正に特定することができる。
さらに、新たに算出された一の類似度に係る画像が識別用情報の登録日時から所定期間内に撮像された画像でないと判定された場合に、一の類似度が他の所定数の類似度を基準として相対的に低下したか否かを判定するので、識別用情報の登録日時から所定期間内に撮像された画像では、特定の個体の成長により見た目が経時的に変化したのではなく、例えば、髪型の変更等の何らかの要因により例外的に類似度が低下し、登録済みの識別用情報との類似度は未だ十分に高いと考えられる。このため、当該登録済みの識別用情報を更新する必要がないと想定して、登録済みの識別用情報を更新すべき旨の報知タイミングの特定のために行われる、一の類似度が相対的に低下したか否かの判定処理の回数を減少させることができる。
例えば、上記実施形態の識別用情報更新処理にあっては、期間判定部54による記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたか否かの判定後に、閾値判定部55による当該記録用画像Pに係る一の類似度が所定の判定値以下であるか否かの判定を行うようにしたが、これらの判定処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、閾値判定部55による判定処理の後に期間判定部54による判定処理を行うようにしても良い。
同様に、新たに算出された一の類似度に係る画像が識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定するようにしたが、当該判定を行うか否かは適宜任意に変更可能である。即ち、撮像装置100は、必ずしも期間判定部54を具備する必要はなく、一の類似度が他の所定数の類似度を基準として相対的に低下したか否かを判定可能であれば如何なる構成であっても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、算出処理ルーチン、記憶制御処理ルーチン、第1判定処理ルーチン、報知制御処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部11のCPUを、画像を取得する取得手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部11のCPUを、取得手段により取得された画像に含まれる個体の情報と登録手段に登録されている識別用情報との類似度を算出する算出手段として機能させるようにしても良い。また、記憶制御処理ルーチンにより中央制御部11のCPUを、算出手段により類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶させる記憶制御手段として機能させるようにしても良い。また、第1判定処理ルーチンにより中央制御部11のCPUを、記憶制御手段により記憶される複数の類似度の経時的変化に基づいて、算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段として機能させるようにしても良い。また、報知制御処理ルーチンにより中央制御部11のCPUを、第1判定手段により一の類似度が相対的に低下したと判定された場合に、登録手段に登録されている識別用情報を更新すべき旨を報知させる報知制御手段として機能させるようにしても良い。
これにより、例えば、買い換えや交換等された新しい撮像装置100に対して、上記のプログラムや情報登録部8に登録されているテーブルT1、T2等を書き換えるだけで、即ち、各種のデータや機能を引き継ぐことで、上記実施形態と同等の機能を実現することができる。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段と、
画像を取得する取得手段と、
前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段と、
前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する記憶手段と、
前記記憶手段に記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段と、
前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する報知手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記記憶手段は、前記画像に係る前記類似度と当該画像の撮像日時に係る撮像日時情報とを対応付けて記憶し、
前記第1判定手段は、更に、
前記撮像日時情報に基づいて前記複数の類似度の経時的変化を特定し、当該複数の類似度の経時的変化に基づいて、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記第1判定手段は、更に、
前記複数の類似度の経時的変化として、当該複数の類似度の前記撮像日時の経過に従った相対的な変化の傾向を特定し、当該複数の類似度が相対的に低下する傾向にあるか否かに応じて前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項2に記載の画像処理装置。
<請求項4>
前記第1判定手段は、更に、
前記複数の類似度のうち、前記算出手段により算出された前記一の類似度及び当該一の類似度に対して前記撮像日時が直近の所定数の類似度が、各々の類似度の一つ前の類似度よりも低下したか否かに応じて、前記複数の類似度が相対的に低下する傾向にあるか否かを判定することを特徴とする請求項3に記載の画像処理装置。
<請求項5>
前記第1判定手段は、更に、
前記算出手段により算出された前記一の類似度が当該一の類似度に対して前記撮像日時が一つ前の類似度よりも低下し、且つ、当該一の類似度に対して前記撮像日時が直近の所定数の類似度のうち、特定数の類似度が各々の類似度の一つ前の類似度よりも低下したか否かに応じて、前記複数の類似度が相対的に低下する傾向にあるか否かを判定することを特徴とする請求項3に記載の画像処理装置。
<請求項6>
前記算出手段により算出された前記一の類似度が所定の判定値以下であるか否かを判定する第2判定手段を更に備え、
前記第1判定手段は、
前記第2判定手段により前記一の類似度が所定の判定値以下であると判定された場合に、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
前記算出手段により新たに算出された一の類似度と関連付けられている前記所定の日時情報に基づいて、当該一の類似度に係る画像が前記識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定する第3判定手段を更に備え、
前記第1判定手段は、
前記第3判定手段により前記画像が前記所定期間内に撮像された画像でないと判定された場合に、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。
<請求項8>
前記報知手段は、
前記識別用情報をユーザによる操作部の所定操作に基づいて更新するか、或いは、自動的に更新するかを指定するための所定の指定画面を表示する表示手段を有することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
前記識別用情報をユーザによる操作部の所定操作に基づいて更新する場合、前記記憶手段に記憶されている複数の類似度と当該類似度の各々に係る画像に含まれる特定の個体の画像とを対応付けて表示手段に表示させる表示制御手段と、
前記表示手段に対応付けて表示されている前記複数の類似度及び特定の個体の画像の中で、ユーザによる操作部の所定操作に基づいて指定された前記特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第1生成手段とを更に備え、
前記登録手段は、
前記第1生成手段による前記識別用情報の生成日時を前記登録日時として、当該識別用情報と対応付けて登録することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
<請求項10>
前記識別用情報を自動的に更新する場合、前記第1判定手段により相対的に低下したと判定された前記一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第2生成手段を更に備え、
前記登録手段は、
前記第2生成手段による前記識別用情報の生成日時を前記登録日時として、当該識別用情報と対応付けて登録することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
<請求項11>
前記取得手段により取得された画像に含まれる個体を検出する検出手段を更に備え、
前記算出手段は、
前記検出手段により前記画像から検出された個体と前記識別用情報との類似度を算出することを特徴とする請求項1〜10の何れか一項に記載の画像処理装置。
<請求項12>
前記特定の個体は、ヒト及び動物のうち、少なくとも一方の各個体の顔であることを特徴とする請求項1〜11の何れか一項に記載の画像処理装置。
<請求項13>
被写体を撮像する撮像手段を更に備え、
前記取得手段は、
前記撮像手段により撮像された画像を取得することを特徴とする請求項1〜12の何れか一項に記載の画像処理装置。
<請求項14>
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置を用いた画像処理方法であって、
画像を取得する処理と、
取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する処理と、
前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する処理と、
記憶される複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する処理と、
前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する処理と、
を含むことを特徴とする画像処理方法。
<請求項15>
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段、
前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶させる記憶制御手段、
前記記憶制御手段により記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段、
前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知させる報知制御手段、
として機能させることを特徴とするプログラム。
1 撮像部
2 撮像制御部
5 画像処理部
51 画像取得部
52 個体検出部
53 類似度算出部
54 期間判定部
55 閾値判定部
56 類似度判定部
57 第1生成部
58 第2生成部
6 表示制御部
7 表示部
8 情報登録部
T1 識別用情報管理テーブル
T2 類似度履歴テーブル
Claims (15)
- 特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段と、
画像を取得する取得手段と、
前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段と、
前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する記憶手段と、
前記記憶手段に記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段と、
前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する報知手段と、
を備えたことを特徴とする画像処理装置。 - 前記記憶手段は、前記画像に係る前記類似度と当該画像の撮像日時に係る撮像日時情報とを対応付けて記憶し、
前記第1判定手段は、更に、
前記撮像日時情報に基づいて前記複数の類似度の経時的変化を特定し、当該複数の類似度の経時的変化に基づいて、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1に記載の画像処理装置。 - 前記第1判定手段は、更に、
前記複数の類似度の経時的変化として、当該複数の類似度の前記撮像日時の経過に従った相対的な変化の傾向を特定し、当該複数の類似度が相対的に低下する傾向にあるか否かに応じて前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項2に記載の画像処理装置。 - 前記第1判定手段は、更に、
前記複数の類似度のうち、前記算出手段により算出された前記一の類似度及び当該一の類似度に対して前記撮像日時が直近の所定数の類似度が、各々の類似度の一つ前の類似度よりも低下したか否かに応じて、前記複数の類似度が相対的に低下する傾向にあるか否かを判定することを特徴とする請求項3に記載の画像処理装置。 - 前記第1判定手段は、更に、
前記算出手段により算出された前記一の類似度が当該一の類似度に対して前記撮像日時が一つ前の類似度よりも低下し、且つ、当該一の類似度に対して前記撮像日時が直近の所定数の類似度のうち、特定数の類似度が各々の類似度の一つ前の類似度よりも低下したか否かに応じて、前記複数の類似度が相対的に低下する傾向にあるか否かを判定することを特徴とする請求項3に記載の画像処理装置。 - 前記算出手段により算出された前記一の類似度が所定の判定値以下であるか否かを判定する第2判定手段を更に備え、
前記第1判定手段は、
前記第2判定手段により前記一の類似度が所定の判定値以下であると判定された場合に、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。 - 前記算出手段により新たに算出された一の類似度と関連付けられている前記所定の日時情報に基づいて、当該一の類似度に係る画像が前記識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定する第3判定手段を更に備え、
前記第1判定手段は、
前記第3判定手段により前記画像が前記所定期間内に撮像された画像でないと判定された場合に、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。 - 前記報知手段は、
前記識別用情報をユーザによる操作部の所定操作に基づいて更新するか、或いは、自動的に更新するかを指定するための所定の指定画面を表示する表示手段を有することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。 - 前記識別用情報をユーザによる操作部の所定操作に基づいて更新する場合、前記記憶手段に記憶されている複数の類似度と当該類似度の各々に係る画像に含まれる特定の個体の画像とを対応付けて表示手段に表示させる表示制御手段と、
前記表示手段に対応付けて表示されている前記複数の類似度及び特定の個体の画像の中で、ユーザによる操作部の所定操作に基づいて指定された前記特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第1生成手段とを更に備え、
前記登録手段は、
前記第1生成手段による前記識別用情報の生成日時を前記登録日時として、当該識別用情報と対応付けて登録することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。 - 前記識別用情報を自動的に更新する場合、前記第1判定手段により相対的に低下したと判定された前記一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第2生成手段を更に備え、
前記登録手段は、
前記第2生成手段による前記識別用情報の生成日時を前記登録日時として、当該識別用情報と対応付けて登録することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。 - 前記取得手段により取得された画像に含まれる個体を検出する検出手段を更に備え、
前記算出手段は、
前記検出手段により前記画像から検出された個体と前記識別用情報との類似度を算出することを特徴とする請求項1〜10の何れか一項に記載の画像処理装置。 - 前記特定の個体は、ヒト及び動物のうち、少なくとも一方の各個体の顔であることを特徴とする請求項1〜11の何れか一項に記載の画像処理装置。
- 被写体を撮像する撮像手段を更に備え、
前記取得手段は、
前記撮像手段により撮像された画像を取得することを特徴とする請求項1〜12の何れか一項に記載の画像処理装置。 - 特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置を用いた画像処理方法であって、
画像を取得する処理と、
取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する処理と、
前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する処理と、
記憶される複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する処理と、
前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する処理と、
を含むことを特徴とする画像処理方法。 - 特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段、
前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶させる記憶制御手段、
前記記憶制御手段により記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段、
前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知させる報知制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011211967A JP2013074461A (ja) | 2011-09-28 | 2011-09-28 | 画像処理装置、画像処理方法及びプログラム |
US13/615,338 US8989504B2 (en) | 2011-09-28 | 2012-09-13 | Image processing device that renews identification information of specific subject |
CN2012103639535A CN103037157A (zh) | 2011-09-28 | 2012-09-26 | 图像处理装置以及图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011211967A JP2013074461A (ja) | 2011-09-28 | 2011-09-28 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013074461A true JP2013074461A (ja) | 2013-04-22 |
JP2013074461A5 JP2013074461A5 (ja) | 2014-11-06 |
Family
ID=47911363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011211967A Pending JP2013074461A (ja) | 2011-09-28 | 2011-09-28 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8989504B2 (ja) |
JP (1) | JP2013074461A (ja) |
CN (1) | CN103037157A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015036895A (ja) * | 2013-08-13 | 2015-02-23 | Kddi株式会社 | 更新装置、方法及びプログラム |
JP2016225938A (ja) * | 2015-06-03 | 2016-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN112990144A (zh) * | 2021-04-30 | 2021-06-18 | 德鲁动力科技(成都)有限公司 | 一种用于行人重识别的数据增强方法及系统 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5954106B2 (ja) * | 2012-10-22 | 2016-07-20 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
JP6070936B2 (ja) * | 2013-01-31 | 2017-02-01 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 情報処理装置、情報処理方法及びプログラム |
JP6268960B2 (ja) * | 2013-11-15 | 2018-01-31 | オムロン株式会社 | 画像認識装置及び画像認識装置に対するデータ登録方法 |
JP6149015B2 (ja) * | 2014-09-10 | 2017-06-14 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP6569263B2 (ja) * | 2015-03-27 | 2019-09-04 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN110622170B (zh) * | 2017-05-09 | 2023-05-26 | 株式会社Dds | 认证信息处理方法及认证信息处理装置 |
CN109145679B (zh) * | 2017-06-15 | 2020-05-12 | 杭州海康威视数字技术股份有限公司 | 一种发出预警信息的方法、装置及系统 |
JP6648769B2 (ja) | 2018-01-12 | 2020-02-14 | 日本電気株式会社 | 顔認証装置 |
WO2019198850A1 (ko) * | 2018-04-13 | 2019-10-17 | 라인플러스 주식회사 | 사람의 얼굴을 이용한 동물 형상의 아바타를 생성하는 방법 및 시스템 |
JP6658795B2 (ja) * | 2018-05-11 | 2020-03-04 | セイコーエプソン株式会社 | 機械学習装置、撮影時期推定装置、機械学習プログラムおよび写真データの生産方法 |
JP7406975B2 (ja) * | 2019-12-20 | 2023-12-28 | 東芝テック株式会社 | 画像処理装置、及び認証方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11174026A (ja) * | 1997-12-09 | 1999-07-02 | Fujitsu Ltd | 強誘電体材料の疲労寿命試験方法及び試験装置 |
JP2004157602A (ja) * | 2002-11-01 | 2004-06-03 | Toshiba Corp | 人物認識装置、人物認識方法および通行制御装置 |
JP2008079680A (ja) * | 2006-09-26 | 2008-04-10 | Hitachi Software Eng Co Ltd | 生体情報認証装置及び生体情報による個人認証方法 |
JP2008102770A (ja) * | 2006-10-19 | 2008-05-01 | Sankyo Kk | 生体認証装置 |
JP2008216042A (ja) * | 2007-03-05 | 2008-09-18 | Omron Corp | 校正支援装置、校正支援方法、プログラム、および記録媒体 |
JP2009110147A (ja) * | 2007-10-29 | 2009-05-21 | Victor Co Of Japan Ltd | 画像処理装置およびその方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4772379B2 (ja) * | 2005-05-26 | 2011-09-14 | 株式会社東芝 | 人物検索装置、人物検索方法および入退場管理システム |
JP2007282119A (ja) | 2006-04-11 | 2007-10-25 | Nikon Corp | 電子カメラおよび画像処理装置 |
JP4456617B2 (ja) * | 2007-04-16 | 2010-04-28 | 富士通株式会社 | 類似分析装置、画像表示装置、および画像表示プログラム |
JP4720880B2 (ja) * | 2008-09-04 | 2011-07-13 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP2011053781A (ja) * | 2009-08-31 | 2011-03-17 | Seiko Epson Corp | 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法 |
JP5669082B2 (ja) * | 2010-04-19 | 2015-02-12 | パナソニックIpマネジメント株式会社 | 照合装置 |
JP5316906B2 (ja) * | 2010-09-29 | 2013-10-16 | オムロン株式会社 | 情報処理装置および方法、並びにプログラム |
DE102012216191A1 (de) * | 2011-09-14 | 2013-03-14 | Hitachi Information & Communication Engineering, Ltd. | Authentifizierungssystem |
-
2011
- 2011-09-28 JP JP2011211967A patent/JP2013074461A/ja active Pending
-
2012
- 2012-09-13 US US13/615,338 patent/US8989504B2/en not_active Expired - Fee Related
- 2012-09-26 CN CN2012103639535A patent/CN103037157A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11174026A (ja) * | 1997-12-09 | 1999-07-02 | Fujitsu Ltd | 強誘電体材料の疲労寿命試験方法及び試験装置 |
JP2004157602A (ja) * | 2002-11-01 | 2004-06-03 | Toshiba Corp | 人物認識装置、人物認識方法および通行制御装置 |
JP2008079680A (ja) * | 2006-09-26 | 2008-04-10 | Hitachi Software Eng Co Ltd | 生体情報認証装置及び生体情報による個人認証方法 |
JP2008102770A (ja) * | 2006-10-19 | 2008-05-01 | Sankyo Kk | 生体認証装置 |
JP2008216042A (ja) * | 2007-03-05 | 2008-09-18 | Omron Corp | 校正支援装置、校正支援方法、プログラム、および記録媒体 |
JP2009110147A (ja) * | 2007-10-29 | 2009-05-21 | Victor Co Of Japan Ltd | 画像処理装置およびその方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015036895A (ja) * | 2013-08-13 | 2015-02-23 | Kddi株式会社 | 更新装置、方法及びプログラム |
JP2016225938A (ja) * | 2015-06-03 | 2016-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10607427B2 (en) | 2015-06-03 | 2020-03-31 | Sony Corporation | Information processing device, information processing method, and program for recognizing a user |
CN112990144A (zh) * | 2021-04-30 | 2021-06-18 | 德鲁动力科技(成都)有限公司 | 一种用于行人重识别的数据增强方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103037157A (zh) | 2013-04-10 |
US20130077874A1 (en) | 2013-03-28 |
US8989504B2 (en) | 2015-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013074461A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8218833B2 (en) | Image capturing apparatus, method of determining presence or absence of image area, and recording medium | |
US8077216B2 (en) | Image pickup apparatus with a human face detecting function, method and program product for detecting a human face | |
US9092659B2 (en) | Subject determination apparatus that determines whether or not subject is specific subject | |
JP2010239467A (ja) | 画像選択装置、画像選択方法及びプログラム | |
JP5966778B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2010165012A (ja) | 撮像装置、画像検索方法及びプログラム | |
JP2010171797A (ja) | 撮像装置及びプログラム | |
JP5510287B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
JP5655668B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP4895205B2 (ja) | 画像処理装置及びそのプログラム | |
JP5272797B2 (ja) | デジタルカメラ | |
JP2012070222A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP5995610B2 (ja) | 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム | |
JP2012060292A (ja) | 画像処理装置、画像選択方法、及び、プログラム | |
JP5740934B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
JP5807695B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
JP5434096B2 (ja) | デジタルカメラ | |
JP5918998B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2012160212A (ja) | 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体 | |
JP2008262305A (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体 | |
JP2010226485A (ja) | 画像加工装置およびデジタルカメラ | |
JP2010004357A (ja) | 撮像装置及び撮像方法 | |
JP5881932B2 (ja) | 顔画像データ生成装置、顔画像データ生成方法及びプログラム | |
JP2015029178A (ja) | 撮像装置、撮像方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140922 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140922 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140925 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20141117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150324 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150525 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150818 |