JP2016174260A - グループ撮影を行う撮像装置 - Google Patents

Abstract

【課題】簡単にグループのメンバーを登録でき、グループメンバーが欠けていないかどうかを自動で判別でき撮影できるシステムを提供する。
【解決手段】画像を撮影する手段と、グループに属する顔特徴量データを管理する手段と、被写体の人物がどのグループであるかを判定する手段と、判定結果に従って撮影しようとする画像にグループ全員が写っているかを判定する手段とを持ち、全員が写っているかの判定結果をユーザーに通知する。
【選択図】図７

Description

本発明は、画像を撮影するときの、顔認証時の処理に関する。

近年、画像中から、顔部分を自動検出する顔検出技術、さらに誰の顔なのか人物を特定する顔認証技術が実用化されている。

この技術により、複数人物を顔認証するだけでなく、複数人物をグループに分けて、管理することもできる。撮影画像に写っている複数人物の顔をグループに分けて登録できる例は開示されている（特許文献１参照）。

特開２０１０−２６８０５４号公報

グループでイベントに参加し、その撮影を行う場合、グループメンバーが欠けることなく、グループごとにグループメンバー全員の撮影を行いたくなる。イベント主催者側で撮影者を用意し、グループごとの撮影を行う機会は多い。例えば、団体ツアーの添乗員、バスツアーのバスガイドさんや、遠足に行ったときの先生などがこれにあたる。

しかし、その撮影者が、どのグループのメンバーは誰々かを記憶しておくことは大変である。特にイベントの参加人数が多く、グループの数が多い場合などは、なおさら困難になる。そこで、簡単にグループのメンバーを登録でき、グループメンバーが欠けていないかどうかを自動で判別でき撮影できるシステムが求められる。

上記の目的を達成するために、本発明の撮影装置は、画像を撮影する手段と、グループに属する顔特徴量データを管理する手段と、被写体の人物がどのグループであるかを判定する手段と、判定結果に従って撮影しようとする画像にグループ全員が写っているかを判定する手段とを持ち、全員が写っているかの判定結果をユーザーに通知することを特徴とする。

本発明の撮影装置によれば、簡単にグループのメンバーを登録でき、グループメンバーが欠けていないかどうかを自動で判別でき、撮影者に通知することで、グループ全員が写った画像を撮影できることが可能となる。

本発明の一実施形態に係る撮像装置の構成を示すブロック図である。 本発明の一実施形態に係る顔登録、グループ登録を行う撮影を示す図である。 本発明の一実施形態に係る顔情報仮登録リストのデータ構造である。 本発明の一実施形態に係る顔情報仮登録リストにデータを登録するフローチャートである。 本発明の一実施形態に係る顔辞書データとグループ管理リストのデータ構造である。 本発明の一実施形態に係る顔辞書データとグループ管理リストを作成するフローチャートである。 本発明の一実施形態に係るグループ撮影を示す図である。 本発明の一実施形態に係るグループ判定結果を表示するフローチャートである。 本発明の一実施形態に係る撮影スポット管理リストとグループ撮影済み管理リストのデータ構造である。 本発明の一実施形態に係る撮影スポット管理リストとグループ済み管理リストを作成するフローチャートである。 本発明の一実施形態に係る撮影を撮影者に促す表示を行うフローチャートである。 本発明の一実施形態に係るグループ撮影済み管理リストを更新するフローチャートである。 本発明の一実施形態に係るグループ撮影を完了したかを確認するフローチャートである。

以下、本発明を実施するための形態を図面に基づいて説明する。

図１は本発明の一実施形態に係る撮像装置の構成を示すブロック図である。撮像装置１００は、光学系１０１と、撮像素子１０２と、ＣＰＵ１０３と、一次記憶装置１０４と、二次記憶装置１０５と、記憶媒体１０６と、表示部１０７と、操作部１０８と、通信装置１０９とから構成されている。

光学系１０１は、レンズ、シャッター、絞りから構成されていて、被写体からの光を適切な量とタイミングで撮像素子１０２に結像させる。撮像素子１０２は、光学系１０１を通って結像した光を画像に変換する。ＣＰＵ１０３は、入力された信号やプログラムに従って、各種の演算や、撮像装置１００を構成する各部分の制御を行う。一次記憶装置１０４は、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。二次記憶装置１０５は、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報などを記憶する。記憶媒体１０６は、撮影した画像データ、顔辞書などを記憶する。なお、撮影後に記憶媒体１０６は取り外すことが可能であり、パーソナルコンピュータ（以下、ＰＣ）などに装着してデータを読み出すことが可能である。つまり、撮像装置１００は記憶媒体１０６へのアクセス手段を有し、記憶媒体１０６へのデータの読み書きが行えればよい。なお、顔辞書は記憶媒体１０６に記憶されると書いたが、二次記憶装置１０５に記録されても良いものとする。

表示部１０７は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。顔辞書の登録、登録された顔辞書の表示についても表示部１０７で行う。操作部１０８は、使用者の操作を受け付けるためのものである。操作部１０８は例えばボタンやレバー、タッチパネルなどを用いることが可能である。通信装置１０９は、外部装置と接続し制御コマンドやデータの送受信を行う。接続を確立し、データ通信するためのプロトコルとしては、例えば、ＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＭＴＰ（Ｍｅｄｉａ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）が用いられる。なお、前記通信装置１０９は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどの有線接続により通信を行ってもよい。また、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由したり、インターネットなどのネットワークを介して外部装置と接続してもよい。

まずはじめに、イベント参加者の、顔辞書登録、グループ登録の手順について説明をする。図２は顔登録、グループ登録を行っている撮影の様子である。

団体ツアーの集合場所に、グループメンバーが来たときに、ツアー添乗員である撮影者がグループごとの記念写真を撮影ということで、複数枚（例えば３枚）画像を撮影する。複数枚画像のうち、同じ位置の顔は、同じ人物として顔辞書登録を行う。これは、複数の顔特徴量データで顔辞書を登録したほうが顔認証度が上がるために行う。また、仮に複数枚の画像のうち顔認証できない写真があっても、他の画像から顔を登録できるという利点もある。

図３に、複数枚の画像から、顔情報を仮登録する、顔情報仮登録リストのデータ構造を示す。図４に、複数枚の画像から、顔情報仮登録リストにデータを登録するフローチャートを示す。

４０１で、撮像装置は、撮影し保存した画像から、顔を一つ検出する。４０２で検出した顔部分の座標と、顔部分の画像データと、この顔画像データから抽出した顔特徴量データを、図３の顔情報仮登録リストに登録する。座標は、３０１列に記録し、顔画像データは３０２列に記録し、顔特徴量データは３０３列に記録する。４０３で、その画像に他にも顔があるかを判断し、ある場合は、４０１から繰り返す。ない場合は、４０４で次の画像に対して４０１から繰り返す。複数枚の画像全部に対して処理を行ったら終了となる。

図５に、顔辞書データとグループ管理リストのデータ構造を示す。図６に、顔辞書データとグループ管理リストを作成するフローチャートを示す。

６０１でグループ項目を新規登録する。これは、５０９のグループ管理リストに、５０１、５０２、５０３で構成されるレコードを追加することになる。６０２で、図３に示す顔情報仮登録リストからデータを取り出し、これが、図５の５０８に示す、顔辞書データに登録されているかをチェックする。それが未登録であれば、６０３で、５０８の顔辞書データを新規登録をする。顔辞書データは、５０４のＩＤ、５０５の人物名、５０６の顔画像データ、５０７の顔特徴量データを格納するフィールドで構成される。５０５の人物名欄には、撮影者が撮像装置上の入力手段で、人物名を入力すれば記録される。本実施例では人物名を特に使用しないので空欄のまま説明を進める。そして、３０２の顔画像データを５０６に登録し、３０３の顔特徴量データを５０７に登録する。そして、３０１の顔の座標データを取得する。６０５で、図３顔情報仮登録リスト中に、取得した３０１の座標と近似する座標を持つ、他の顔情報があるかを検索する。そしてあった場合には、６０６で、同一人物であるとして、同じ顔辞書に３０２の顔画像データ、３０３の顔特徴量データを追加登録を繰り返す。６０５で、もう同じ座標を持つ顔情報がない場合は、６０２に行き、他に顔辞書データに未登録の顔情報があるかを探す。あれば、上記をまた繰り返す。なければ６０７で、顔辞書に登録した人物の数を５０３に登録する。

以上のように、グループごとに複数枚画像を撮影し、その画像から顔を抽出してグループごとに顔辞書を作ることができる。５０２はグループ名を入力する欄になる。使用者が文字の入力手段により、グループ名を入力して、ここ５０２に記録してよい。また、グループのレコードを新規登録した際に、デフォルト動作としてグループ名に０００１といった文字列が自動で入力されてもよい。

次にグループ撮影を行う方法について説明をする。図７はグループ撮影を示す図である。

被写体に撮像装置を向けてビューファインダーで表示を見ると、７０１は、被写体全員の顔を検出しグループごとの顔辞書を照合し、適合した場合を示している。グループ００１のメンバー全員がそろっていることを検出されたので、顔枠はそれを示す青枠になり、メッセージ「グループ００１全員そろっています。」と表示されている。一方、７０２は、青枠がグループ００１の人を示すが、グループ００１全員ではなく、足りたい人が画像右上に表示されている。そしてメッセージ「グループ００１この人がいません」と表示されている。他に、他グループの人が１名、赤の点線枠で表示され、どのグループにも属していない人はが「？」マークで表示されている。

以上の表示を行うための、処理を図８に示す。８０１でビューファインダー画像から顔検出をして、取得された顔の、顔特徴量データを求める。８０２で顔辞書データに登録されている顔特徴量データとの類似度を求める。これは顔辞書データに登録されている全部の顔特徴量データに対して行う。図５の例だと５０８の顔辞書データの顔特徴量データ５０７を登録顔１登録顔２登録顔３に対して類似度を求める。８０３で、類似度の合計が所定値以上かを判断する。所定値以上であれば、ビューファインダー画像から検出した顔は、その顔辞書データの人物と同一ということになる。所定値未満であれば、その顔辞書データの人物とは別ということになる。

別の場合は、さらに８０４で別の顔辞書データがあるかをチェックし、ある場合は８０２から繰り返す。すべての顔辞書データとの間でいずれも所定値未満の場合は、８０６で、この顔を未知の顔として一時的に保存する。どれかの顔辞書データとの間で所定値以上だった場合は、８０５でその顔辞書データの人物であると特定し、その顔辞書データが属すグループＩＤを一時的に保存する。以上を８０７でビューファインダー画像から検出されたすべての顔に対して実行する。
そして次に８０８で、一時的に保存した顔のうち、未知の顔として保存したものがあったかをチェックする。あった場合は、すべての未知の顔に対して８０９でビューファインダー画像上の該当顔上に「？」を表示する。

次に、８１０で、人物を特定できた顔があったかをチェックする。一つもなかった場合は終了になる。一つ以上あった場合は、８１１で、特定された顔が属するグループＩＤのうち、もっとも多いグループを抽出する。そして、８１２で、最も多いグループに属する顔をビューファインダー上で青枠で表示する。それ以外のグループに属する顔を赤の点線枠で表示する。８１３で最も多いグループで、足りない顔があるかをチェックする。これは図５のグループ管理リストから属する顔辞書データを確認することで足りない顔があるかをチェックする。足りない顔がある場合は、５０６の顔画像をビューファインダー上の画面の隅に表示する。そして「グループｘｘｘこの人がいません」と表示する。グループ全員がそろっている場合は８１４で、「グループｘｘｘ全員そろっています。」と表示する。以上のアルゴリズムで図７の表示を実現する。

撮影者は、このビューファインダーの表示を見ることで、グループが全員そろっているか、足りていない人物はどんな顔か、グループ以外の余計な人が写っているかいないかを判断できる。

また、撮影者が撮像装置上の入力手段によりグループ名を入力すると、グループ管理リストの５０２のグループ名欄にグループ名が保存される。そして、撮影者がシャッターを切り撮影をすると、記録された画像データのメタデータに、グループ名が記録される。

また、図５のグループ管理リストと顔辞書データを所定のタイミングで自動的に削除してもよい。例えば、日帰りバスツアーの添乗員の場合、毎日、違うグループの撮影を行うことになる。前日のグループ情報、顔情報は不要であるし関係ないので、むしろ今日のグループ認識を誤らせるデータとなる。これを削除しなければならない。そこで、その日の最初に、撮像装置の電源を入れたタイミングで自動的に削除するか、または、撮影者に削除してよいかの確認メッセージを出して、はい、で削除を行う。

また、８１１で、特定された顔が属するグループＩＤのうち、もっとも多いグループを、撮影しようとしている対象グループであると判断したが、別の例としては、このとき、特定された顔が属するグループＩＤのうち、すべてのグループ名を撮像装置のビューファインダー上に表示し、撮影者に入力手段によって、選択させてもよい。その場合、もっとも多いグループでなくても、選択したグループを対象グループとして設定する。

実施例２では、所定の撮影スポットに到着したら、撮像装置は撮影を撮影者に促す例を説明する。図９に、撮影スポットを登録するときのデータ構造を示す。

９０１が撮影スポット管理リストになる。９０２に撮影スポット項目を追加したときに自動的に割り振られるＩＤ、９０３がスポット名、９０４が緯度、経度数値を格納、９０５には撮影予定時間を保存する。９０４ ９０６が、グループ撮影済み管理リストになる。９０７が９０２に対応するＩＤ、９０８がグループＩＤ、９０９は撮影済みフラグである。１が撮影済で０が撮影していないことを示す。

図１０が、９０１撮影スポット管理リストと９０６グループ済み管理リストを作成するフローチャートである。１００１で撮影スポットの新規レコードを一つ用意する。９０２に自動的にＩＤが作られ保存される。１００２で撮像装置の入力手段から、撮影スポット名を入力すると、９０３に保存される。そして、撮像装置の入力手段から緯度・経度数値、または、撮影予定数値を入力する。これらは、９０４または９０５に入力される。こうして、撮影スポットの登録ができると、１００３で、この撮影スポットに対応したグループ撮影済み管理リストを作成する。９０７に９０２と同じＩＤは保存され、９０８に登録しているグループＩＤがすべて保存され、９０９にはまだ撮影していないので０が保存される。１００４で撮影スポットをすべて登録し終わるまで上記を繰り返す。

この登録は、すべて撮像装置の入力手段で入力するとしたが、実際の撮影場所にいるときに、撮像装置のＧＰＳ機能から取得した緯度・経度数値を、９０４の緯度・経度数値に保存してもよい。これにより数値を直接入力する必要がない。また、実際の撮影場所にいるときの時間を、撮像装置の時計機能から取得し、９０５の撮影予定時間に保存してもよい。これは、ツアーの添乗員がリハーサルで事前に観光スポットを回るときに、撮影スポットごとに入力していけば簡便に登録作業が行える。

図１１が、所定の撮影スポットに到着したら、撮像装置は撮影を撮影者に促す表示を行うフローチャートである。撮像装置は１１０１で定期的にＧＰＳ機能で緯度・経度情報を取得し、９０４に記録されている緯度・経度の所定範囲内かどうかをチェックする。そして１１０２で定期的に現在時間を取得し９０５に記録されている時間を過ぎたかをチェックする。このどちらかがＹｅｓのときは１１０３でグループ撮影を促すメッセージを、撮影スポット名とともに、撮像装置の表示部に表示する。撮影者はこの表示を見て、撮影する場所に来ていると理解し、グループ撮影を始めることになる。

図１２が、撮影スポットでメッセージを表示後に、グループ撮影をしたときに、グループ撮影済み管理リストを更新するフローチャートである。１２０１で撮影を行うと、１２０２でどのグループの撮影かを取得する。そして１２０３で、撮影スポットに対応したグループ済管理リストの９０９に、撮影済である１を保存する。

図１３が、撮影者が撮影スポットですべてのグループの撮影を完了したかを確認する方法を示すフローチャートである。１３０１で撮影装置の入力手段により、確認したい撮影スポット名を選択する。１３０２で該当する撮影スポットの全グループに対する９０９の撮影フラグをチェックする。そして、１３０３で撮影フラグが未となっているグループがあれば、１３０４で未撮影のグループ名とグループメンバーの顔を、撮像装置の表示部に表示する。以上の方法で、撮影者は撮影スポットごとにグループの撮り忘れを防止することができる。

１００ 撮像装置、１０１ 光学系、１０２ 撮像素子、１０３ ＣＰＵ

Claims (12)

1. 画像を撮影する手段と、グループに属する顔特徴量データを管理する手段と、被写体の人物がどのグループであるかを判定する手段と、判定結果に従って撮影しようとする画像にグループ全員が写っているかを判定する手段とを持ち、全員が写っているかの判定結果をユーザーに通知することを特徴とする撮影装置。
2. グループに属する顔特徴量データを作成する際には、グループに属する人物が全員そろった画像を撮影し、前記撮影した画像から顔特徴量データを抽出することで作成することを特徴とする請求項１に記載の撮像装置。
3. 前記グループに属する人物が全員そろった画像を連続して撮影し、同じ位置に写っている人物は同一人物であるとして、前記グループに属する顔特徴量データを作成することを特徴とする請求項２に記載の撮像装置。
4. どのグループを撮影しているかの判定は、撮影している人物が最も多く属しているグループとすることを特徴とする請求項１に記載の撮像装置。
5. どのグループを撮影しているかの判定は、撮影している人物が属しているグループをすべて提示し、撮影者は、提示されたグループから一つを選択して決定することを特徴とする請求項１に記載の撮像装置。
6. 前記グループに属する顔特徴量データに対してグループ名を登録でき、撮影画像に決定したグループ名を付与することができることを特徴とする請求項４又は請求項５に記載の撮像装置。
7. グループメンバーがそろっていないと判定した場合は、不足メンバーの顔情報を表示することを特徴とする請求項１に記載の撮像装置。
8. 別グループの顔があると判定した場合は、その顔が別グループの人の顔であることを示す表示を行い、どのグループにも登録されていない不明な顔であると判定した場合には、不明な顔であることを示す表示をすることを特徴とする請求項４に記載の撮像装置。
9. 撮影予定の位置または時間をあらかじめ登録した撮影場所登録手段を有し、登録した位置または時間になったときに、グループ写真の撮影を促す表示を行うことを特徴とする請求項１に記載の撮像装置。
10. グループ撮影が済んでいるグループ、または、済んでいいないグループがどれかを、表示する手段を有することを特徴とする請求項９に記載の撮像装置。
11. 撮影場所において登録指示をすることで、位置または時間を記録し、前記撮影場所登録を行うことを特徴とする請求項９に記載の撮像装置。
12. 管理されているグループに属する顔特徴量データを、所定期間後に、自動的、または、操作者の確認をとったうえで、削除することを特徴とする請求項１に記載の撮像装置。