JP2011081689A

JP2011081689A - 画像処理装置、方法、及びプログラム

Info

Publication number: JP2011081689A
Application number: JP2009234766A
Authority: JP
Inventors: Hideto Kobayashi; 秀人小林; Kiyoshi Tominaga; 喜代司冨永
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2009-10-09
Filing date: 2009-10-09
Publication date: 2011-04-21

Abstract

【課題】撮影場所情報のない画像の撮影場所を特定することを可能とする。
【解決手段】入力された画像を解析してあらかじめ登録されたデータベースと照合して顔の人物を特定する人物認証手段と、人物認証手段で特定した人物と、入力画像から取得された撮影日時場所情報から、その人物のスケジュールを更新する人物スケジュール更新手段と、人物スケジュールデータベースと照合して誰がいつ何処にいたかを管理する人物スケジュール管理手段と、入力画像から撮影場所の情報が取得できなかった場合には、撮影日時情報と人物認証手段で特定した人物及び、人物スケジュール管理手段で管理されているその人物のスケジュール情報から、入力画像の撮影場所を特定する撮影場所特定手段とを備える。
【選択図】図１

Description

本発明は、ＧＰＳ情報や撮影場所のメタデータのない画像であっても、画像に映っている人物の人物認証により自動で撮影場所を特定するデジタル画像データ編集及び分類装置に関するものである。

近年、静止画や動画撮影時に人物の顔を検出して液晶画面に顔の周りに枠を表示したり、特定の人物にピントを合わせて記録するなどの、デジタルカメラやデジタルビデオカメラが普及している。さらに登録した人物の顔画像との認証を行い撮影時にその人物の名前を登録したり、名前で分類したりといった映像記録装置が商品化されている。

また、ＧＰＳ機能を搭載して地球上のどの位置にいても正確にその緯度と経度を計測して、画像撮影時にメタデータとして保存する機能を有する映像記録装置も普及してきている。これらの撮影日時や撮影場所情報を用いることで、大量に存在する画像の中から旅行先などで画像を分類することなどが可能となる。例えば特許文献には、撮影された日時と場所に関するメタデータを有する画像データを人物のスケジュールに応じて分類するといった技術が記載されている。

特願２００６−３０６１０号公報

従来の技術では、すでに撮影場所情報を有する画像のみが分類対象であって、場所情報が記録されていない過去に撮影した画像は分類することができない。また、ＧＰＳ機能を有する機器はその分コストが高くつき、安価な画像撮影機器にはＧＰＳ機能がないため、撮影場所を記録することはできない。

本発明が解決しようとする課題は、撮影場所情報が記録されていない画像であってもその他の画像のメタ情報や人物のスケジュール情報を使って撮影場所を特定していくことを目的とする。

本発明の第一の発明は、画像を撮影場所ごとに分類するシステムにおいて、入力された画像を解析してあらかじめ登録されたデータベースと照合して顔の人物を特定する人物認証手段と、人物認証手段で特定した人物と、入力画像から取得された撮影日時場所情報から、その人物のスケジュールを更新する人物スケジュール更新手段と、人物スケジュールデータベースと照合して誰がいつ何処にいたかを管理する人物スケジュール管理手段と、入力画像から撮影場所の情報が取得できなかった場合には、撮影日時情報と人物認証手段で特定した人物及び、人物スケジュール管理手段で管理されているその人物のスケジュール情報から、入力画像の撮影場所を特定する撮影場所特定手段とを具備することを最も主要な特徴とする。

本発明の第二の発明は、画像を撮影場所ごとに分類するシステムにおいて、入力された画像を解析してあらかじめ登録されたデータベースと照合して顔の人物を特定する人物認証ステップと、人物認証ステップで特定した人物と、入力画像から取得された撮影日時場所情報から、その人物のスケジュールを更新する人物スケジュール更新ステップと、人物スケジュールデータベースと照合して誰が何処にいたかを管理する人物スケジュール管理ステップと、入力画像から撮影場所の情報が取得できなかった場合には、撮影日時情報と、人物認証ステップで特定した人物及び、人物スケジュール管理ステップで管理されているその人物のスケジュール情報から、入力画像の撮影場所を特定する撮影場所特定ステップとを具備することを最も主要な特徴とする。

本発明のデジタル画像データ編集及び分類は、映っている人物の認証を行い、その人物のスケジュールを適宜更新していくことで、撮影場所のメタデータがない画像であっても、撮影日時と人物のスケジュールから、その撮影場所を特定することができるという利点がある。

本発明の実施例１に於けるデジタル画像データ編集及び分類の例を示すブロック図本発明の実施例１に於ける操作時のフロー図本発明の実施例１に於けるデータの処理の概念を示す図本発明の実施例２に於けるデジタル画像データ編集及び分類の例を示すブロック図本発明の実施例２に於ける操作時のフロー図本発明の実施例３に於ける操作時のフロー図本発明の実施例４に於ける操作時のフロー図

以下、本発明の最良の実施形態について添付の図面を参照して説明する。なお、各図面において同一の符号は同一の構成要素または同様の作用、動作をなすものを表す。

図１は、本発明装置の実施例１のデジタル画像データ編集及び分類装置の構成を示すブロック図である。

図１において、このデジタル画像データ編集及び分類装置は画像データ入力手段１０１、メタデータ取得手段１０２、人物検出手段１０３、人物認証手段１０４、人物スケジュール管理手段１０５、人物スケジュール更新手段１０６、撮影場所特定手段１０７、撮影場所メタデータ生成手段１０８、画像データ出力手段１０９を備える。

デジタル画像データ編集及び分類装置の各構成部材について説明する。まず、画像データ入力手段１０１では、対象となる画像を入力し、メタデータ取得手段１０２では、画像のメタデータ情報として撮影日時と撮影場所に関する情報を取得可能であれば撮影場所情報を取得し、人物検出手段１０３では、画像中に人物の顔が映っているかどうかを探索し、人物認証手段１０４では、画像中に映っている人物の顔が人物データベースに登録された人物のうち誰であるかを認証し、人物スケジュール管理手段１０５では、人物スケジュールデータベースを参照しながら誰がいつ何処にいたかを示す人物スケジュールを管理し、人物スケジュール更新手段１０６では、人物スケジュールデータベースの更新が必要な場合にデータベースの更新を行い、撮影場所特定手段１０７では、人物認証手段１０４で認証した人物が人物スケジュール管理手段１０５で管理されている人物スケジュールを照合して場所の特定が可能であれば、撮影場所を特定し、撮影場所メタデータ生成手段１０８では、特定した場所情報をもとに画像に埋め込むメタデータを生成し、画像データ出力手段１０９では、生成したメタデータを画像に埋め込んで画像を出力する。

次に、図２を参照しながら、本実施例１のデジタル画像データ編集及び分類装置の動作を説明する。

まず、画像データの入力を行う（ステップＳ１１）。次に画像中のメタデータ情報として撮影日時と撮影場所に関する情報があれば撮影場所情報を取得する(ステップＳ１２）。ステップＳ１１で入力した画像を解析して人物の顔が映っているかどうかを判定する（ステップＳ１３）。ステップＳ１３で画像中に顔を検出した場合には、人物顔データベースに登録されている人物の顔と照合して画像に映っている人物が誰であるかを認証する（ステップＳ１４）。ステップ１２で取得したメタデータから撮影場所情報を取得できたかどうかの判定を行う（ステップＳ１５）。ステップＳ１５で撮影場所の取得が可能であった場合には、ステップＳ１４で認証した人物がその場所に撮影日時にいたことを示すように人物スケジュールを更新する（ステップＳ１６）。一方ステップＳ１５で撮影場所の取得が不可能であった場合には、人物スケジュールデータベースを参照しながらステップＳ１４で認証した人物が撮影日時にどこにいたかを探索する（ステップＳ１７）。ステップＳ１７での人物のスケジュールから撮影場所の特定が可能かどうかを判定し（ステップＳ１８）、撮影場所が特定できた場合には、入力画像に埋め込むための撮影場所情報入りのメタデータを生成する（ステップＳ１９）。ステップＳ１９で生成したメタデータを入力画像に埋め込んで画像を出力する（ステップＳ２０）。

続いて、図３を参照しながら、撮影場所情報のない画像の撮影場所をどのように特定していくかを説明する。

図では例として画像１は人物Ａ、人物Ｂが映っていて撮影場所がＸ地点であることがメタデータに記録されている。画像２は人物Ｂ、人物Ｃが映っていて撮影場所が不明である。画像３は人物Ｃが映っていて撮影場所が不明である。なお、これら3枚の画像の撮影日時の差は1時間以内といった、比較的短い期間でとられているものとする。

まず画像１を入力し、人物Ａおよび人物Ｂが映っていると認証した結果、撮影日時と撮影場所を人物Ａおよび人物Ｂの人物スケジュールとして更新しておく。

次に画像２を入力し、画像Ｂおよび画像Ｃが映っていると認証した結果、人物スケジュールと照合して、人物Ｂはその日時にＸ地点にいたと判定されることから、この画像２の撮影場所はＸ地点であると特定される。このとき同時に映っている人物Ｃもこの日時にＸ地点にいると判定されることから、人物Ｃの人物スケジュールとして更新しておく。

続いて画像３を入力し、人物Ｃが映っていると認証した結果、人物スケジュールと照合して、人物Ｃはその日時にＸ地点にいたと判定されることから、この画像３の撮影場所はＸ地点であると特定される。

なお、例では撮影場所を特定する際の、スケジュール内の時間差を1時間以内であれば、ほぼ同じ位置と判定するというような処理を行っているが、この時間差については固定された時間である必要はなく、あらかじめユーザが設定するようにしてもいいし、処理のたびごとにユーザが設定を変更できるようにしてもいい。

以上のように実施例１によれば、映っている人物の認証を行い、その人物のスケジュールを適宜更新していくことで、撮影場所のメタデータがない画像であっても、撮影日時と人物のスケジュールから、その撮影場所を特定することが可能である。

図４は、本発明装置の実施例２のデジタル画像データ編集及び分類装置の構成を示すブロック図である。

図４において、４０１は人物スケジュール更新手段１０６で人物スケジュールの更新が行われる際に、ユーザにあらかじめ確認を行い、必要に応じてユーザが人物スケジュールの修正を行う人物スケジュール修正手段である。

次に、図５を参照しながら、本実施例２のデジタル画像データ編集及び分類装置の動作を説明する。

人物スケジュール更新ステップＳ１６において人物スケジュールを更新した結果、その内容をユーザに提示して修正が必要かどうかを判定し（ステップＳ５１）、修正が必要と判定した場合にはユーザの入力結果を元に人物スケジュールを修正する（ステップＳ５２）。その他のステップは本実施例１と同様のため、詳細な説明は省略する。

以上のように実施例２によれば、人物のスケジュールを更新する際にユーザに確認修正を行わせることで、誤ったスケジュール更新を行わず、正確に撮影場所を特定することが可能である。

図６は、本発明装置の実施例３のデジタル画像データ編集及び分類装置の動作の流れを示すフロー図である。

図６を参照しながら、本実施例３のデジタル画像データ編集及び分類装置の動作を説明する。

人物検出ステップＳ１３において人物検出が行われなかった場合、画像のメタデータに撮影場所情報の有無を確認する（ステップＳ６１）。撮影場所情報ない場合、これまで扱ってきた画像でその撮影日時の前後にとられたと推測される画像のうち撮影場所が特定されているのがあるかどうかを探索する（ステップＳ６２）。もし撮影日時前後の画像の撮影場所が特定されている場合には、その場所が現在入力中の画像の撮影場所に相当するかどうかユーザに確認する（ステップＳ６３）。確認の結果ＯＫであれば撮影場所のメタデータを生成する撮影場所メタデータ生成ステップＳ１９に移る。その他のステップは本実施例１と同様のため、詳細な説明は省略する。

以上のように実施例３によれば、人物の認証が行えない画像についても撮影日時の前後の画像の場所が特定できていれば、撮影場所の候補としてユーザに確認した上で撮影場所を特定することが可能である。

図７は、本発明装置の実施例４のデジタル画像データ編集及び分類装置の動作の流れを示すフロー図である。

図７を参照しながら、本実施例４のデジタル画像データ編集及び分類装置の動作を説明する。

人物スケジュール更新ステップＳ１６において人物スケジュールを更新した際に、同じ人物が映っている他の画像で撮影場所の更新が必要かどうかを判断する（ステップＳ７１）。必要と判断した場合には、人物スケジュール管理ステップＳ１７においてすでに処理を行った他の画像に対して、撮影場所を特定するためのステップを行っていく（ステップＳ１７以降）。ステップＳ１８において撮影場所の特定ができなった場合、あるいはステップＳ２０のステップ後、引き続きその他の画像で未更新の画像があるかどうかを確認し（ステップＳ７２）、もしまだ画像が残っていればステップＳ１７のステップへ移動し、もし残っていなければ終了する。その他のステップは本実施例１と同様のため、詳細な説明は省略する。

以上のように実施例４によれば、すでに撮影場所を特定した画像であっても、人物スケジュールの更新に連動してさらに正確な撮影場所として特定することが可能である。

なお、本発明はコンピュータプログラムとして実現してもよい。また、電気通信回線または記録媒体等を介してそのプログラムを配布し、コンピュータを用いて本発明を実施することもできる。

上述の通り、本発明は好ましい実施例により詳細に説明されるが、本発明はこれらに限定されるものではなく、特許請求の半家に記載された本発明の技術的範囲内において好ましい変形例及び修正例が可能であることは当業者にとって自明なことであろう。

本発明にかかるデジタル画像データ編集及び分類は、画像を撮影場所ごとに分類するシステムにおいて、入力された画像を解析してあらかじめ登録されたデータベースと照合して顔の人物を特定する人物認証手段と、人物認証手段で特定した人物と、入力画像から取得された撮影日時場所情報から、その人物のスケジュールを更新する人物スケジュール更新手段と、人物スケジュールデータベースと照合して誰がいつ何処にいたかを管理する人物スケジュール管理手段と、入力画像から撮影場所の情報が取得できなかった場合には、撮影日時情報と人物認証手段で特定した人物及び、人物スケジュール管理手段で管理されているその人物のスケジュール情報から、入力画像の撮影場所を特定する撮影場所特定手段によって、映っている人物の認証を行い、その人物のスケジュールを適宜更新していくことで、撮影場所のメタデータがない画像であっても、撮影日時と人物のスケジュールから、その撮影場所を特定することが必要な用途にも適用できる。

１０１画像データ入力手段
１０２メタデータ取得手段
１０３人物検出手段
１０４人物認証手段
１０５人物スケジュール管理手段
１０６人物スケジュール更新手段
１０７撮影場所特定手段
１０８撮影場所メタデータ生成手段
１０９画像データ出力手段
４０１人物スケジュール修正手段

Claims

入力画像に記録されている撮影日時または撮影場所情報を取得するメタデータ取得手段と、
該入力画像を解析して、人物の顔が映っているかどうかを判定する人物検出手段と、
前記人物検出手段で人物が映っていると判定された場合に、人物と該人物がいつ何処にいたかが登録されたデータベースと照合して顔の人物を特定する人物認証手段と、
前記人物認証手段で特定された人物と、前記メタデータ取得手段で取得された撮影日時または撮影場所情報から、該データベースの登録情報を更新する更新手段と、
前記メタデータ取得手段で撮影日時または撮影場所情報が取得できなかった場合には、前記メタデータ取得手段で取得した撮影場所または撮影日時情報と、前記人物認証手段で特定した人物、及び該データベースの登録情報から、入力画像の撮影日時または撮影場所を特定する特定手段と
を備えることを特徴とするデジタル画像処理装置。
前記メタデータ取得手段で取得された撮影日時場所情報、及び前記特定手段で特定された撮影日時場所に基づいて、画像を分類する分類手段を
さらに備えることを特徴とする、請求項１に記載の画像処理装置。
入力画像に記録されている撮影日時または撮影場所情報を取得するメタデータ取得ステップと、
該入力画像を解析して、人物の顔が映っているかどうかを判定する人物検出ステップと、
前記人物検出ステップで人物の顔が映っていると判定された場合に、人物と該人物が何時何処にいたかが登録されたデータベースと照合して顔の人物を特定する人物認証ステップと、
前記人物認証ステップで特定された人物と、前記メタデータ取得ステップで取得された撮影日時または撮影場所情報から、該データベースの登録情報を更新する更新ステップと、
前記メタデータ取得ステップで撮影日時または撮影場所情報が取得できなかった場合には、前記メタデータ取得ステップで取得した撮影場所または撮影日時情報と、前記人物認証ステップで特定した人物、及び該データベースの登録情報から、入力画像の撮影日時または撮影場所を特定する特定ステップと
を有することを特徴とするデジタル画像処理方法。
前記メタデータ取得ステップで取得された撮影日時場所情報、及び前記特定ステップで特定された撮影日時場所に基づいて、画像を分類する分類ステップを
さらに有することを特徴とする、請求項３に記載の画像処理方法。
請求項３または請求項４に記載の画像処理方法を含むプログラム。