JP2012039490A - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP2012039490A JP2012039490A JP2010179251A JP2010179251A JP2012039490A JP 2012039490 A JP2012039490 A JP 2012039490A JP 2010179251 A JP2010179251 A JP 2010179251A JP 2010179251 A JP2010179251 A JP 2010179251A JP 2012039490 A JP2012039490 A JP 2012039490A
- Authority
- JP
- Japan
- Prior art keywords
- photographer
- image
- information
- subject
- persons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 description 57
- 230000008569 process Effects 0.000 description 43
- 238000012545 processing Methods 0.000 description 23
- 238000012937 correction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【解決手段】撮影カメラ特定部11は、撮影者の推定対象となる注目画像と関連付けられているカメラの情報を取得し、カメラ所有者DB10を参照して、取得したカメラの情報と関連付けられた所有者を特定し、特定した所有者の情報に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第1の値を得る。撮影者判定部22は、注目画像に含まれる被写体画像と被写体DB13内の各人物画像との照合結果に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第2の値を得る。撮影者判定部22はさらに、第1および第2の値に基づいて、複数の人物の各々が注目画像の撮影者であることの確からしさを示す第3の値を得る。
【選択図】図1
Description
第1の場合は、管理対象の画像の撮影者に対して適切な撮影手法をフィードバックしたい場合である。例えば静止画が、手振れ、または不適切なホワイトバランス、逆光状態での撮影、不適切な構図などによって出来が良くないとき、その静止画の撮影者に対して画像の出来が良くない原因をフィードバックすることで、撮影者の撮影技術の向上が図れる。
第2の場合は、多数の画像を管理するときに、撮影者による分類を行いたい場合である。
第3の場合は、画像の撮影者の行動履歴、嗜好などの分析を行いたい場合である。
この情報処理装置は、
(A)撮像装置と、複数の人物のうち上記撮像装置の所有者とを予め関連付けた第1データベースを含む第1格納部;
(B)上記複数の人物とその各々の人物画像とを予め関連付けた第2データベースを含む第2格納部;
(C)撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第1データベースを参照して、取得した上記撮像装置の情報と関連付けられた所有者を特定し、特定した上記所有者の情報に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第1の値を得る第1判定部;
(D)上記注目画像に含まれる被写体画像と第2データベース内の各人物画像との照合結果に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第2の値を得る第2判定部;
(E)上記第1および第2の値に基づいて、上記複数の人物の各々が上記注目画像の撮影者であることの確からしさを示す第3の値を得る第3判定部;
を備える。
本実施形態の情報処理装置1は、例えばパーソナルコンピュータや携帯端末などであるが、CPUなどによって実現されうる演算機能、およびデータを記憶する記憶機能を備えていればこれらの機器に限定されない。デジタルスティルカメラ、ビデオカメラ、静止画および動画撮影機能付きの携帯端末などの撮像装置が上記機能を備えていれば、これらの撮像装置(以下の説明では、総称して「カメラ」と記述する。)も本実施形態の情報処理装置1として含まれうる。
本実施形態の情報処理装置1は、撮影によって既に取得済みの画像の撮影者を、予め登録された複数の人物を含む母集団の中から、ある確度をもって推定することができるように構成されている。本実施形態の情報処理装置1の構成を示すブロック図を図1に示す。
図1に示すように、本実施形態の情報処理装置1は、カメラ所有者DB10(第1データベース)と、撮影カメラ特定部11(第1判定部)と、カメラ情報格納部12と、被写体DB13(第2データベース)と、被写体判定部14と、被写体情報格納部15と、撮影日時判定部16と、撮影場所判定部17と、撮影イベント判定部18と、撮影イベント情報格納部19と、撮影モード判定部20と、撮影モード情報格納部21と、撮影者判定部22(第2判定部、第3判定部)とを備えうる。
情報処理装置1は、撮影によって既に取得済みの画像の画像ファイルが複数含まれる撮影画像情報100を有するか、または撮影画像情報100にアクセス可能である。情報処理装置1は、各画像ファイルに対応する画像の撮影者を推定して、画像ファイルごとに推定した撮影者を記録した撮影者情報110を生成する。
各画像ファイルは、画像に対して、ファイルIndex、ファイル名、画像の属性、カメラID、撮影日時の情報、撮影場所の情報、撮影モード情報等が関連付けられている。ファイル名は、情報処理装置1上での画像のファイル名である。情報処理装置1がその画像の撮像装置であるか、または撮像装置内の画像ファイルをそのまま情報処理装置1にコピーした場合には、ファイル名は、その画像の撮像装置の基準に従って名前が付けられている。画像の属性は、図2に示す例では、静止画の場合に「P」、動画の場合に「M」として示している。画像の属性は通常、ファイルの拡張子から判別可能である。
撮影日時の情報は、撮影日時判定部16によって記録される。画像が静止画の場合には画像ファイルにExif情報が含まれるため、Exif情報を参照して撮影日時の情報を記録してもよい。
撮影場所の情報は、撮影場所判定部17によって記録される。撮像装置にGPS(Global Positioning System)機能が含まれており、画像ファイルと撮影場所の情報としての緯度、経度の情報とが関連付けられている場合には、その緯度、経度の情報を撮影場所の情報として記録してもよい。
撮影モード情報は、撮影モード判定部20によって記録される。図2の例では、画像が遠隔制御またはタイマ制御によって得られた場合には「A」(後述する撮影モード係数=0の場合に対応)、手動で行われた場合には「M」(後述する撮影モード係数=1の場合に対応)として示している。このとき、上記Exif情報にはこの撮影モード情報が含まれるため、撮影モード判定部20は撮影モード情報を取得するためにExif情報を参照してもよい。
撮影カメラ特定部11は、カメラ所有者DB10を参照して、注目画像(「複数の画像のうち処理対象となる画像」を意味する。)を撮影したカメラの所有者の情報に基づき、登録された各々の人物が撮影者であることの確からしさを示すカメラ係数を算出し、カメラ情報としてカメラ情報格納部12に記録する。
被写体判定部14は、被写体DB13を参照して、被写体DB13内に含まれる人物画像と、注目画像内の被写体画像とを照合することによって、後述する被写体情報を生成して被写体情報格納部15に記録する。
撮影日時判定部16は、注目画像の撮影日時を特定、または推定して撮影者情報110に記録する。撮影場所判定部17は、注目画像の撮影場所を特定、または推定して撮影者情報110に記録する。
撮影イベント判定部18は、注目画像の撮影日時の情報あるいは撮影場所の情報に基づいて、処理対象の複数の画像が同一イベントのものであることの関連付けを行い、その関連付けを示す撮影イベント情報を撮影イベント情報格納部19に記録する。
撮影モード判定部20は、注目画像の撮影モード情報を取得できる場合には、注目画像が遠隔制御またはタイマ制御によって得られたものであるか否かを示す撮影モード係数を設定して、画像と関連付けて撮影モード情報格納部21に記録する。
撮影者判定部22は、カメラ所有者DB10、カメラ情報格納部12、被写体情報格納部15、撮影イベント情報格納部19および撮影モード情報格納部21等にアクセスして、後述する所定の演算処理を行うことで、各画像の撮影者を推定して撮影者情報110に記録する。
次に、情報処理装置1の動作について、具体例を挙げつつ説明する。以下の説明では、図3〜14が適宜参照される。なお、以下の説明において、複数の画像のうち処理対象となる画像を「注目画像」と表記する。また、以下の動作例は、予め登録された複数の人物(母集団)に1つの家族内の複数の人物が含まれており、予め登録された複数の人物の中から特定の画像の撮影者が推定されるものとする。しかしながら、予め登録される母集団はこれに限られず任意に設定しうることは当業者によって理解される。
・ステップS1:主として撮影カメラ特定部11で実行される撮影カメラ特定処理
・ステップS2:主として被写体判定部14で実行される被写体判定処理
・ステップS3:主として撮影日時判定部16で実行される撮影日時判定処理
・ステップS4:主として撮影場所判定部17で実行される撮影場所判定処理
・ステップS5:主として撮影イベント判定部18で実行される撮影イベント判定処理
・ステップS6:主として撮影モード判定部20で実行される撮影モード判定処理
・ステップS7:主として撮影者判定部22で実行される撮影者判定処理
図4は、図3のステップS1の撮影カメラ特定処理の詳細フローチャートである。
図4において、ステップS11以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる(ステップS10)。撮影カメラ特定部11は先ず、注目画像に対してカメラ固有のカメラIDが関連付けられているか否か判定する(ステップS11)。ステップS12において、注目画像のExif情報にカメラIDが含まれている場合には、そのカメラIDがExif情報から抽出され、撮影画像情報100に記録される。また、画像のファイル名にはカメラの製造者固有のプリフィックス文字が自動的に付けられることが多く、このプリフィックス文字を参照することでカメラIDを得ることもできる。次に撮影カメラ特定部11は、ステップS12で得られたカメラIDを、カメラ所有者DB10と照合する(ステップS13)。そして、カメラ所有者DB10の中に、ステップS12で得られたカメラIDが存在するか否か判定される(ステップS14)。
図5に示す例では、カメラ所有者DB10は、カメラ固有のカメラIDと、カメラの属性と、所有者IDとが関連付けられている。
図5に示す例では、カメラの属性がビデオカメラ(以下、「デジタルビデオカメラ」を意味する。)である場合には、相関パラメータ1および相関パラメータ2をそれぞれ「80」、「10」としている。これは、ビデオカメラは依然として高価であり、例えば家庭内で複数台所有される可能性が低いため、撮影者が所有者である可能性がデジタルカメラの場合よりも高いためである。但し、このパラメータは状況に応じて適宜設定されうることは言うまでもない。
図5に示す例では、カメラの属性が携帯電話機である場合には、相関パラメータ1および相関パラメータ2をそれぞれ「100」、「0」としている。これは、携帯電話機は個人所有の場合がほとんどであり、撮影者が所有者であると見なせるためである。但し、このパラメータは状況に応じて適宜設定されうることは言うまでもない。
家族内の人物のうち注目画像の撮影に使用されたカメラの所有者のカメラ係数は、カメラの属性に応じた相関パラメータ1の値とする。また、家族内の人物のうち注目画像の撮影に使用されたカメラの所有者以外の人物のカメラ係数は、相関パラメータ2の値とする。家族内の人物以外の人物が登録されていた場合には、その人物のカメラ係数は、(1−相関パラメータ1−相関パラメータ2)とする。このようにカメラ係数を設定することにより、カメラ係数(第1の値)は、注目画像を撮影したカメラの所有者の情報に基づき、登録された各々の人物が撮影者であることの確からしさを示す値を示すことになる。
なお、ステップS11で、注目画像に対してカメラIDが関連付けられていない場合には、家族以外の人物によって注目画像が撮影されたことを意味する。よって、その場合には、撮影画像情報100において、注目画像に対応するカメラIDを例えば「その他」と記録し(ステップS16)、実質的にその注目画像を撮影者の推定対象から除外する。
図6は、図3のステップS2の被写体判定処理の詳細フローチャートである。
図6において、ステップS21以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる(ステップS20)。被写体判定部14は先ず、注目画像から被写体画像の抽出を試みる(ステップS21)。その結果、注目画像に被写体が写っていた場合には(ステップS22のYes)、被写体判定部14は、その被写体を被写体DB13と照合する(ステップS23)。顔認識技術を利用する場合には、注目画像から被写体画像として被写体の顔のみの一部画像が照合のために抽出される。
被写体DB13では少なくとも、登録されている複数の人物の各々のID(図7では、「被写体ID」と表記する。)と、各人物に対応する人物画像(図7のp001.jpg等)とが対応付けられている。各被写体IDに対応する人物画像は、注目画像から抽出された被写体画像との照合に利用される。画像の照合は例えば、公知の顔認識技術が適用されうる。
図8に、被写体情報の一例を示す。図8において、「Index」は被写体情報自体のIndexであり、「ファイルIndex」は画像のファイルIndexである。例えば、ファイルIndexが「4」の画像には、被写体IDが「3」、「4」、「5」である3人の人物が被写体として存在し、各々の被写体確率がそれぞれ、「70%」、「70%」、「80%」であることを示している。
図9は、図3のステップS3の撮影日時判定処理の詳細フローチャートである。
図9において、ステップS31以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる(ステップS30)。撮影日時判定部16は先ず、画像の撮影日時の解析を行う(ステップS31)。静止画の場合にはExif情報に撮影日時の情報が含まれているため、Exif情報を参照することで画像の撮影日時が得られる。また、動画の場合には通常、保存日時と関連付けられているため、保存日時を撮影日時として見なしてよい。また、動画の場合は通常、撮影期間も既知であるため、動画の保存日時から撮影期間だけ遡って得られる撮影開始日時を撮影日時と見なしてもよい。このように画像に関連付けられた撮影日時の情報が取得可能である場合には(ステップS32のYes)、撮影日時判定部16は、取得した撮影日時の情報を利用し(ステップS33)、その撮影日時の情報を撮影画像情報100内の画像ファイルの「撮影日時」の欄に記録する(ステップS35)。ステップS32でNoの場合には、画像ファイルのタイムスタンプを「撮影日時」の欄に記録する(ステップS34,S35)。
図10は、図3のステップS4の撮影場所判定処理の詳細フローチャートである。
図10において、ステップS41以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる(ステップS40)。撮影場所判定部17は先ず、注目画像の撮影場所の解析を行う(ステップS41)。注目画像を撮影したカメラにGPS機能が含まれており、画像と撮影場所の情報としての緯度、経度の情報とが関連付けられて情報処理装置1に取り込まれている場合には、その緯度、経度の情報を撮影場所の情報として取得可能である。このような場合には(ステップS42のYes)、取得した撮影場所の情報を利用し(ステップS43)、その撮影場所の情報を撮影画像情報100内の画像ファイルの「撮影場所」の欄に記録する(ステップS44)。ステップS42でNoの場合には、撮影画像情報100内の画像ファイルの「撮影場所」の欄に何も記録されない。
図11は、図3のステップS5の撮影イベント判定処理の詳細フローチャートである。
図11では先ず、撮影イベント判定部18は、撮影画像情報100を撮影日時または撮影場所でソートし(ステップS50)、ステップS52以降の処理を、撮影者を推定対象となるすべての画像の各々を対象として行う(ステップS51)。なお、図11では、ステップS52以降の処理について、ステップS50のソート処理が撮影日時でソートされた場合について例示している。
先ず複数の画像のうち最初の画像(つまり、撮影時刻が最も早い画像)の処理である場合には(ステップS52のYes)、撮影イベント判定部18は、変数Timeに最初の画像の撮影時刻の値を格納して(ステップS53)、ステップS51に戻り2個目の画像(つまり、2番目に撮影時刻が早い画像)の処理に移る。撮影イベント判定部18は、2個目の画像の処理ではステップS54へ進み、変数Timeの値(最初の画像の撮影時刻)と現在処理中の画像(2個目の画像)の撮影時刻の差を計算する。その結果、撮影時刻の差が所定の閾値よりも小さい場合には、撮影イベント判定部18は、対応する複数の画像が同一イベントのものであることを示す撮影イベント情報を撮影イベント情報格納部19に記録して(ステップS56)、ステップS53へ進む。複数の画像間で撮影時刻の差が所定の閾値(例えば数秒等の短時間の値に設定される)よりも小さい場合にはその複数の画像の撮影者が同一である可能性が高いため、撮影イベント情報を記録しておくことは、後の処理において撮影者の推定精度を高めるのに役立つ。撮影時刻の差が所定の閾値以上である場合には、ステップS53へ進む。
ステップS53では、変数Timeの値が現在処理中の画像、すなわち2個目の画像の撮影時刻の値が格納される。その後、3個目の画像(つまり、3番目に撮影時刻が早い画像)についての処理が行われる。以後、同様にして、ソートされたすべての画像を対象に処理が行われる。上記処理では、撮影日時でソートされた複数の画像のうち隣接した画像の間で撮影時刻がある程度近接した複数の画像については同一イベントでの撮影によって得られたものと推定し、撮影イベント情報では複数の画像が同一イベントによるものとして関連付けられる。
図12は、図3のステップS6の撮影モード判定処理の詳細フローチャートである。
図12において、ステップS61以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる(ステップS60)。撮影モード判定部20は先ず、注目画像が遠隔制御(いわゆるリモコン撮影)またはタイマ制御(タイマ撮影)によって得られたものか否かについての情報を含む撮影モード情報を取得できるか判定される(ステップS61)。例えば、画像に対応して取得可能なExif情報には、撮影モード情報として、遠隔制御またはタイマ制御によって得られたものか否かについての情報のほか、絞り値などの情報も含まれている。このようなExif情報等によって撮影モード情報を取得できる場合には(ステップS61のYes)、撮影モード情報に基づき、注目画像が遠隔制御またはタイマ制御によって得られたものか否か判定される(ステップS62)。その結果、撮影モード判定部20は、注目画像が遠隔制御またはタイマ制御によって得られたものである場合には撮影モード係数を「0」に設定し(ステップS63)、そうでない場合には撮影モード係数を「1」に設定する(ステップS64)。そして、画像と、その画像の撮影モード係数とが関連付けられたデータである撮影モード情報が、撮影モード情報格納部21に格納される(ステップS65)。
図13は、図3のステップS7の撮影者判定処理の詳細フローチャートである。また、図14は、撮影者判定処理において逐次記録される撮影者情報110の一例を示す図である。
図13において、ステップS71以降の処理は、撮影者を推定対象となるすべての画像の各々を対象として行われる(ステップS70)。撮影者判定部22は先ず、カメラ情報格納部12にアクセスし、カメラ係数、すなわち、注目画像に対応付けられた、個々の人物とカメラ係数の情報を取得する。撮影者判定部22は次に、被写体情報格納部15にアクセスして、注目画像に対応付けられた被写体IDごとの被写体確率を取得するともに、登録されている個々の人物に対する被写体係数を算出する(ステップS72)。
カメラ所有者DB10を参照することによって、所有者が被写体として画像に含まれていることが判明した場合には、以下のとおりに被写体係数を算出する。
・所有者に対する被写体係数=1−(所有者の被写体確率)
・所有者以外の家族内の人物に対する被写体係数=1
・家族以外の第三者に対する被写体係数=1
上記のように設定する理由は、仮にカメラの所有者が注目画像内の被写体として確実に含まれる場合、撮影者がその所有者である可能性はないが、実際には、顔認識などのパターン認識によってまったく誤り無く認識できるということがないためである。また、この場合、カメラの所有者以外の人物はすべて撮影者である可能性が均等に存在するため、その被写体係数を「1」としている。なお、被写体係数を「1」とすることは、後述する撮影者確率が実質的に、カメラ係数によって定まることを意味する(後記の式(E1)参照)。
被写体情報を参照し、家族の全員が一定の閾値以上の被写体確率と対応付けられている場合
この場合には、家族以外の第三者に注目画像の撮影を依頼した可能性が高い。よって、以下のとおり、家族以外の第三者に対する被写体係数を少し高めに設定することが好ましい。
・所有者に対する被写体係数=1−(家族全員の被写体確率の乗算値)
・所有者以外の家族内の人物に対する被写体係数=1−(家族全員の被写体確率の乗算値)
・家族以外の第三者に対する被写体係数=(家族全員の被写体確率の乗算値)×1.2
ここで、「家族全員の被写体確率の乗算値」は、家族全員が被写体として存在する確率を表す。また、家族以外の第三者に対する被写体係数を20%高く設定した例を示したが、これに限られず、任意に設定しうる。
この場合には、所有者のほか、その特定の人物も撮影者である可能性が高いため、その特定の人物に対する被写体係数を他の家族の人物(被写体として含まれている人物)に対するそれよりも少し高く(以下の設定例では20%高く)設定して、以下のとおりとする。
・所有者に対する被写体係数=1−(所有者の被写体確率)
・上記特定の人物に対する被写体係数=(1−(その人物の被写体確率))×1.2
・所有者および上記特定の人物以外の家族内の人物に対する被写体係数
=1−(その人物の被写体確率)
・家族以外の第三者に対する被写体係数=1−(第三者の被写体確率)
この場合には、その所有者が撮影者である可能性が極めて高い。このとき、被写体係数の設定は以下のとおりとする。
・所有者に対する被写体係数=1−(所有者の被写体確率)
・所有者以外の家族内の人物に対する被写体係数=1−(その人物の被写体確率)
・家族以外の第三者に対する被写体係数=1−(第三者の被写体確率)
この場合には、以下のように被写体係数を設定して、被写体確率が実質的に考慮されないようにする。
・所有者に対する被写体係数=1
・所有者以外の家族内の人物に対する被写体係数=1
・家族以外の第三者に対する被写体係数=1
上述したようにして、登録されている個々の人物に対する被写体係数を算出した後、ステップS73に進む。ステップS73において、撮影者判定部22は、撮影イベント情報格納部19にアクセスして、注目画像に関連する撮影イベント情報を取得する(ステップS73)。撮影イベント情報は、前述したように、対応する複数の画像が同一イベントのものであることを示す情報であり、後述する第1の補正処理に利用されうる。
撮影者判定部22は次に、撮影モード情報格納部21にアクセスして、撮影モード情報から注目画像に対応する撮影モード係数を取得する(ステップS74)。撮影モード係数は、前述したように、注目画像が遠隔制御またはタイマ制御によって得られたものであるか否かを示す値であり、後述する第2の補正処理に利用されうる。
すなわち、注目画像と処理済み画像とが同一のカメラによって撮影されたものであって、対応する同一人物の撮影者確率が異なる場合には、両者の撮影者確率を、補正前の高い方の値となるように補正する。例えば、ある人物に対する処理済み画像の撮影者確率が80%であって、その人物に対する注目画像の撮影者確率が70%であれば、撮影者判定部22は、注目画像の撮影者確率が80%となるように補正する。かかる補正によって、同一イベントで複数の画像が撮影された場合に、より鮮明に写っている画像に基づく撮影者確率が共通に適用されることになるので、撮影者確率の算出精度が向上し、ひいては撮影者の推定精度を高めることができる。
一方、注目画像と処理済み画像とが異なるカメラによって撮影されたものであるということは、極めて短時間(例えば数秒間)で撮影者が切り替わった状況を意味するが、かかる状況は通常、想定し難い。よって、注目画像と処理済み画像とが異なるカメラによって撮影されたものであって、対応する同一人物の撮影者確率が異なる場合には、両者の撮影者確率を、補正前の低い方の値となるように補正してもよい。そのような状況では、撮影者確率の精度の信頼性が低いと考えられるためである。
注目画像に対する個々人の撮影者確率が算出されると、撮影者確率の最も大きい人物を撮影者と推定し、その撮影者および撮影者確率を注目画像と関連付けて撮影者情報110に記録する(ステップS76)。図14は、撮影者情報110の一例を示す図である。図14に示す例では、画像ファイルごとに、推定された撮影者とその撮影者確率が記録される。ここで、注目画像に対する個々人の撮影者確率のうち最も大きい撮影者確率が所定の閾値よりも小さい場合には、撮影者を記録せずに撮影者が「不明」として記録してもよい。注目画像に対する個々人の撮影者確率のすべてがそれほど高くない場合には、撮影者推定の信頼性が低いと考えられるためである。また、図14の例に示すように、遠隔制御またはタイマ制御によって得られた場合、すなわち撮影モード係数=0の場合の撮影者を「自動」として記録してもよい。
画像の撮影者を推定する情報処理装置であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第1データベースを含む第1格納部と、
前記複数の人物とその各々の人物画像とを予め関連付けた第2データベースを含む第2格納部と、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第1データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第1の値を得る第1判定部と、
前記注目画像に含まれる被写体画像と第2データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第2の値を得る第2判定部と、
前記第1および第2の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第3の値を得る第3判定部と、
を備えた情報処理装置。
前記第3判定部は、前記注目画像が複数存在するとき、その複数の注目画像のうち任意の2つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記2つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記2つの注目画像についての前記第3の値を、前記第1および第2の値に基づいて得られた2つの値のうち大きい方の値に共になるように補正する、
付記1に記載された情報処理装置。
前記第3判定部は、前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外する、
付記1または2に記載された情報処理装置。
前記第3判定部は、前記複数の人物の各々についての前記第3の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定する、
付記1〜3のいずれかに記載された情報処理装置。
画像の撮影者を推定する情報処理方法であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第1データベースを用意するステップと、
前記複数の人物とその各々の人物画像とを予め関連付けた第2データベースを用意するステップと、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第1データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第1の値を得るステップと、
前記注目画像に含まれる被写体画像と第2データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第2の値を得るステップと、
前記第1および第2の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第3の値を得るステップと、
を含む情報処理方法。
前記注目画像が複数存在するとき、その複数の注目画像のうち任意の2つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記2つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記2つの注目画像についての前記第3の値を、前記第1および第2の値に基づいて得られた2つの値のうち大きい方の値に共になるように補正するステップをさらに有する、
付記5に記載された情報処理方法。
前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外するステップをさらに有する、
付記5または6に記載された情報処理方法。
前記複数の人物の各々についての前記第3の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定するステップをさらに有する、
付記5〜7のいずれかに記載された情報処理方法。
110…撮影者情報
1…情報処理装置
10…カメラ所有者DB
11…撮影カメラ特定部
12…カメラ情報格納部
13…被写体DB
14…被写体判定部
15…被写体情報格納部
16…撮影日時判定部
17…撮影場所判定部
18…撮影イベント判定部
19…撮影イベント情報格納部
20…撮影モード判定部
21…撮影モード情報格納部
22…撮影者判定部
Claims (5)
- 画像の撮影者を推定する情報処理装置であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第1データベースを含む第1格納部と、
前記複数の人物とその各々の人物画像とを予め関連付けた第2データベースを含む第2格納部と、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第1データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第1の値を得る第1判定部と、
前記注目画像に含まれる被写体画像と第2データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第2の値を得る第2判定部と、
前記第1および第2の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第3の値を得る第3判定部と、
を備えた情報処理装置。 - 前記第3判定部は、前記注目画像が複数存在するとき、その複数の注目画像のうち任意の2つの注目画像に関連付けられている撮影時刻の差が所定の閾値よりも小さく、かつ前記2つの注目画像の各々と関連付けられている撮像装置が同一である場合、前記2つの注目画像についての前記第3の値を、前記第1および第2の値に基づいて得られた2つの値のうち大きい方の値に共になるように補正する、
請求項1に記載された情報処理装置。 - 前記第3判定部は、前記注目画像が撮像装置の遠隔制御またはタイマ制御によって得られた場合には、その注目画像を実質的に撮影者の推定対象から除外する、
請求項1または2に記載された情報処理装置。 - 前記第3判定部は、前記複数の人物の各々についての前記第3の値のうち最も大きい値が所定の閾値以上である場合に、その最も大きい値に対応する人物を前記注目画像の撮影者であると推定する、
請求項1〜3のいずれかに記載された情報処理装置。 - 画像の撮影者を推定する情報処理方法であって、
撮像装置と、複数の人物のうち前記撮像装置の所有者とを予め関連付けた第1データベースを用意するステップと、
前記複数の人物とその各々の人物画像とを予め関連付けた第2データベースを用意するステップと、
撮影者の推定対象となる注目画像と関連付けられている撮像装置の情報を取得し、第1データベースを参照して、取得した前記撮像装置の情報と関連付けられた所有者を特定し、特定した前記所有者の情報に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第1の値を得るステップと、
前記注目画像に含まれる被写体画像と第2データベース内の各人物画像との照合結果に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第2の値を得るステップと、
前記第1および第2の値に基づいて、前記複数の人物の各々が前記注目画像の撮影者であることの確からしさを示す第3の値を得るステップと、
を含む情報処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010179251A JP5533418B2 (ja) | 2010-08-10 | 2010-08-10 | 情報処理装置および情報処理方法 |
US13/205,893 US8682834B2 (en) | 2010-08-10 | 2011-08-09 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010179251A JP5533418B2 (ja) | 2010-08-10 | 2010-08-10 | 情報処理装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012039490A true JP2012039490A (ja) | 2012-02-23 |
JP5533418B2 JP5533418B2 (ja) | 2014-06-25 |
Family
ID=45565519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010179251A Expired - Fee Related JP5533418B2 (ja) | 2010-08-10 | 2010-08-10 | 情報処理装置および情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8682834B2 (ja) |
JP (1) | JP5533418B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018200597A (ja) * | 2017-05-29 | 2018-12-20 | 株式会社Nttドコモ | 画像推定装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160006921A1 (en) * | 2014-07-03 | 2016-01-07 | Adience Ser Ltd. | System and method of predicting whether a person in an image is an operator of an imager capturing the image |
JP2018163601A (ja) * | 2017-03-27 | 2018-10-18 | 富士通株式会社 | 対応付け方法、情報処理装置及び対応付けプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003169247A (ja) * | 2001-12-03 | 2003-06-13 | Nikon Corp | 利用者識別機能を備える電子装置および識別方法 |
JP2004032560A (ja) * | 2002-06-27 | 2004-01-29 | Fuji Photo Film Co Ltd | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040201751A1 (en) * | 2002-01-03 | 2004-10-14 | Genevieve Bell | Secure digital photography system |
JP2004357145A (ja) | 2003-05-30 | 2004-12-16 | Olympus Corp | 電子機器 |
JP2005260441A (ja) | 2004-03-10 | 2005-09-22 | Canon Inc | 撮影装置 |
US7657056B2 (en) * | 2004-06-05 | 2010-02-02 | Samsung Electronics Co., Ltd. | Apparatus for identifying a photographer of an image |
US20060274949A1 (en) * | 2005-06-02 | 2006-12-07 | Eastman Kodak Company | Using photographer identity to classify images |
JP2007243625A (ja) * | 2006-03-09 | 2007-09-20 | Fujifilm Corp | 画像再生装置およびその制御方法ならびにその制御プログラム |
JP4872785B2 (ja) | 2007-05-02 | 2012-02-08 | カシオ計算機株式会社 | 撮影装置、被写体選択方法及び被写体選択プログラム |
-
2010
- 2010-08-10 JP JP2010179251A patent/JP5533418B2/ja not_active Expired - Fee Related
-
2011
- 2011-08-09 US US13/205,893 patent/US8682834B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003169247A (ja) * | 2001-12-03 | 2003-06-13 | Nikon Corp | 利用者識別機能を備える電子装置および識別方法 |
JP2004032560A (ja) * | 2002-06-27 | 2004-01-29 | Fuji Photo Film Co Ltd | 画像処理装置、画像処理方法、及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018200597A (ja) * | 2017-05-29 | 2018-12-20 | 株式会社Nttドコモ | 画像推定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5533418B2 (ja) | 2014-06-25 |
US20120041919A1 (en) | 2012-02-16 |
US8682834B2 (en) | 2014-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7730036B2 (en) | Event-based digital content record organization | |
JP5612310B2 (ja) | 顔認識のためのユーザーインターフェース | |
US8330830B2 (en) | Camera user input based image value index | |
JP5364573B2 (ja) | 不完全なデータからの評価指標 | |
US20120086792A1 (en) | Image identification and sharing on mobile devices | |
JP4603472B2 (ja) | 撮像装置及びインターバル撮影機能を備えた撮像装置 | |
CN103632130B (zh) | 验证被摄体的验证装置及验证方法 | |
KR20140026512A (ko) | 하나 이상의 피사체의 이미지에 대한 캡쳐의 자동 최적화 기법 | |
JP2008165700A (ja) | 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム | |
US8836811B2 (en) | Content storage management in cameras | |
JP5533418B2 (ja) | 情報処理装置および情報処理方法 | |
JP2002170119A (ja) | 画像認識装置、画像認識方法及び記録媒体 | |
US11120537B2 (en) | Cognitive object emotional analysis based on image quality determination | |
JP2015008385A (ja) | 画像選択装置、撮像装置および画像選択プログラム | |
JP4893641B2 (ja) | ダイジェスト生成装置及びダイジェスト生成方法 | |
JP2006338620A (ja) | 画像データ検索装置及び方法、並びにプログラム | |
US20100166316A1 (en) | Method and apparatus for processing a digital image including a face detection finction | |
JP2004318603A (ja) | 画像検索方法、自分撮り推定装置および方法、並びに自分撮り推定プログラム | |
JP2012070222A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP2010041527A (ja) | 撮影支援方法、システム、プログラム | |
JP2005275847A (ja) | 画像保管方法および画像保管装置 | |
KR20120080379A (ko) | 디지털 카메라의 이미지 어노테이션 처리 방법 및 장치 | |
JP2007295338A (ja) | 撮影日時推定装置、撮影日時修正装置、画像撮影装置、撮影日時修正方法、撮影日時修正プログラム及びそのプログラムを記録した記録媒体 | |
JP2008250855A (ja) | 情報処理装置および方法、並びにプログラム | |
JP4661980B2 (ja) | 画像認識装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5533418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140414 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |