JP2013098588A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 被写体の特徴情報から該被写体を特定できない場合であっても、該被写体を一意に特定するための技術を提供すること。
【解決手段】 撮像画像を取得し、センサによりユーザをセンシングすることで得られたセンサ情報を受信し、ユーザの属性情報と、撮像画像中におけるユーザを識別するための識別パラメータと、を取得する。受信したセンサ情報と、取得した識別パラメータと、に基づいて、撮像画像中の被写体の中から、ユーザを識別し、取得した属性情報を、識別の結果に応じた撮像画像上の位置に合成して出力する。
【選択図】図１

Description

本発明は、撮像画像中に映っている被写体の情報を提示するための技術に関する。

近年、カメラ等で撮影した現実環境の画像に、現実環境中の物体の属性情報や、CG（Computer Graphics）を用いたバーチャルな物体を、付加、合成するAR（Augmented Reality：拡張現実）技術が盛んである。例えば、カメラをかざすと、GPS（Global Positioning System）による位置情報から現実の映像上に関連するタグ情報を重ね合わせて表示する携帯電話用拡張現実ソフトウェアなども登場している。

このようなARシステムにおいて、被写体の近傍に被写体に関連した情報を表示することが望まれている。すなわち、撮影画像中に様々な被写体が含まれている場合、被写体に関連するそれぞれの情報が、どの被写体の情報であるのかをユーザがわかるような形で表示することが望ましい。またこのためには、撮影画像中から被写体を一意に特定すること、そして特定した被写体と被写体の近傍に表示すべき情報とを結びつけることが必要である。

特許文献１には、撮影画像に被写体が所有する無線タグが報知した情報を付属情報として付加する技術が開示されている。より詳しくは、無線タグの報知情報には無線タグ所有者の顔等を識別できる画像特徴情報が含まれており、撮影画像と比較することで被写体の特定を行うことができる画像検索装置を開示している。

特許文献２は、RFタグを持つ被写体が指向性アンテナのエリアを通過する際、画角が指向性アンテナエリアと連動したカメラにて撮影を行い、撮影画像にRFタグの所有者である被写体が存在することを検出可能な映像属性自動付与装置を開示している。

特許文献３は、制御装置が被写体の存在する場所をカメラに通知し、カメラは、被写体とカメラとの相対位置を算出することで、被写体の場所を特定する方法を開示している。

特開2007-052646号公報 特開2007-228195号公報 特開2008-066963号公報

しかしながら、複数の被写体が近接している場合や、被写体の向きによっては、被写体を個別に特定することが困難となる場合がある。

例えば、特許文献１に開示されている技術では、被写体が後ろを向いた撮影画像の場合、被写体を顔等の画像特徴情報から特定することは難しい。また、特許文献２や特許文献３に開示されている技術では、被写体が繁華街のような同一のエリアに多数存在する場合、近接する被写体同士の区別が難しい。

本発明はこのような問題に鑑みてなされたものであり、被写体の特徴情報から該被写体を特定できない場合であっても、該被写体を一意に特定するための技術を提供することを目的とする。

上述の目的を達成するために、本発明の画像処理装置は、撮像画像を取得する手段と、センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信手段と、前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得手段と、前記受信手段が受信したセンサ情報と、前記取得手段が取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別手段と、前記取得手段が取得した属性情報を、前記識別手段による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力手段とを有することを特徴とする。

本発明の構成により、被写体の特徴情報から該被写体を特定できない場合であっても、該被写体を一意に特定することができる。

システムの構成を示す図。 サーバ１０９が保持する情報について説明する図。 デジタルカメラ１０１の機能構成例を示すブロック図。 携帯電話の機能構成例を示すブロック図。 処理シーケンスを示す図。 識別情報の構成例を示す図。 ステップＳ５１０における処理の詳細を示すフローチャート。 ステップＳ９０５において生成されるテーブルの構成例を示す図。 ステップＳ７０３において行う処理のフローチャート。 識別情報の構成例を示す図。 ステップＳ９０５において生成されるテーブルの構成例を示す図。 テーブルの構成例を示す図。 テーブルの構成例を示す図。 テーブルの構成例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態に係る画像処理装置は、撮像画像上に、該撮像画像中に映っている被写体の属性情報を合成して表示するデジタルカメラである。図１に、このデジタルカメラを含むシステムの構成を示す。

デジタルカメラ１０１は、被写体を撮像することで撮像画像の生成、記録、表示を行う機能に加え、ＩＥＥＥ８０２．１１に則った無線ＬＡＮ機能を有する。図１では、デジタルカメラ１０１の周囲には人物１０２，１０４，１０６が存在しており、人物１０２，１０４，１０６はそれぞれ、携帯電話１０３，１０５，１０７を手に把持している。携帯電話１０３、１０５，１０７の何れも、ＩＥＥＥ８０２．１１に則った無線ＬＡＮ機能を有する機器であり、デジタルカメラ１０１との無線通信を可能にする。携帯電話１０３，１０５，１０７は何れも携帯端末の一例であり、携帯電話１０３，１０５，１０７が行うものとして後述する各処理を実行可能な機器であれば、如何なる携帯端末を携帯電話１０３，１０５，１０７に適用してもよい。また、図１では、デジタルカメラ１０１の周囲には３台の携帯電話が存在するものとしているが、その台数はこれに限るものではない。

携帯電話１０３，１０５，１０７は何れも、自機に関する情報及び自機の所有者（ユーザ）に関する情報を含む識別情報を定期的若しくは不定期的に、無線ＬＡＮ機能によってデジタルカメラ１０１に送信する。なお、この識別情報の送信は、デジタルカメラ１０１からの送信要求を受けたことに応じて行ってもよい。この識別情報は、ＩＥＥＥ８０２．１１に則ったフレームの一要素として付与され、送信されるものとする。この識別情報について詳しくは後述する。

デジタルカメラ１０１はまた、インターネットなどのネットワーク１０８を介して、外部装置としてのサーバ１０９とのデータ通信を行うことができる。然るにデジタルカメラ１０１は、携帯電話１０３，１０５，１０７のそれぞれから受信した識別情報を用いて、携帯電話１０３、１０５，１０７のそれぞれの所有者である人物１０２，１０４，１０６に係る後述の様々な情報をサーバ１０９から取得する。そしてデジタルカメラ１０１は、この取得した情報や上記識別情報を用いて、自身が撮像した撮像画像中の被写体（人物１０２，１０４，１０６のうち１以上）を識別すると共に、この識別した被写体に関する情報をこの撮像画像上に重畳して表示する。

次に、デジタルカメラ１０１の機能構成例について、図３のブロック図を用いて説明する。制御部３２０は、記憶部３１２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行すると共に、デジタルカメラ１０１を構成する各部の動作制御を行う。

無線通信制御部３０１は、携帯電話１０３，１０５，１０７との間で無線信号の送受信を行うためのアンテナや回路、それらを制御することで無線通信を制御する制御部、を有する。

シャッターボタン３０２は、撮像を開始時するためのボタンであり、デジタルカメラ１０１のユーザがシャッターボタン３０２を押下すると、制御部３２０による制御により、撮像部３０３において撮像処理が開始される。

撮像部３０３は、レンズやＲＧＢセンサ、赤外線センサ（熱センサ）、Ｘ線センサ、Ａ／Ｄ変換器、それらを制御する制御部、を有し、撮像部３０３が撮像処理を行うことで、撮像画像を生成することができる。

表示部３０４は、撮像部３０３が撮像した撮像画像や、その他の情報（画像情報や文字情報）を表示するための表示領域を有しており、液晶ディスプレイやそれを制御する制御部を有する。識別情報取得部３０５は、無線通信制御部３０１を制御することで、携帯電話１０３，１０５，１０７のそれぞれから識別情報を受信する。

顔特徴情報取得部３０６は無線通信制御部３０１を制御し、識別情報取得部３０５が携帯電話１０３，１０５，１０７のそれぞれから取得した識別情報を用いて、サーバ１０９に携帯電話１０３，１０５，１０７のそれぞれの所有者の顔の特徴量を問い合わせる。なお、本実施形態では、所有者を識別するために使用可能な識別パラメータの一例として顔の特徴量を用いるが、所有者を識別するために使用可能なパラメータであれば、顔の特徴量以外のパラメータを採用してもよい。

属性情報取得部３０７は無線通信制御部３０１を制御し、識別情報取得部３０５が携帯電話１０３，１０５，１０７のそれぞれから取得した識別情報を用いて、サーバ１０９に携帯電話１０３，１０５，１０７のそれぞれの所有者の属性情報を問い合わせる。本実施形態ではこの属性情報は所有者の名前とするが、他の属性を表す情報であってもよい。

被写体特定部３０８は、顔特徴情報取得部３０６が取得したそれぞれの所有者の顔の特徴量を用いて、撮像部３０３により生成された撮像画像中の被写体を識別する。なお、この識別が失敗した場合、被写体特定部３０８は、識別情報から得られる後述の様々な情報を用いて再度、撮像部３０３により生成された撮像画像中の被写体を識別する。

加速度情報取得部３０９は、３軸方向の加速度を取得する加速度センサと、該加速度センサを制御する制御部と、を有する。位置情報取得部３１１は、デジタルカメラ１０１の現在位置を特定するための緯度、経度、方位、高度、上下などの情報を取得するＧＰＳおよび３軸の地磁気センサ、ジャイロセンサ等と、これを制御する制御部と、を有する。

記憶部３１２は、ＲＡＭやＲＯＭ等により構成されており、無線通信制御部３０１が携帯電話１０３，１０５，１０７から受信した識別情報や、サーバ１０９から受信した様々な情報を一時的に記憶するためのエリアを有する。更に記憶部３１２は、制御部３２０による実行対象となるコンピュータプログラムやデータを一時的に記憶するためのエリア、制御部３２０が各種の処理を実行する際に用いるワークエリアを有する。即ち、記憶部３１２は、各種のエリアを適宜に提供することができる。

姿勢情報取得部３１６は、位置情報取得部３１１から取得した３軸の方位情報と、加速度情報取得部３０９から取得した３軸の加速度情報と、から、ピッチ角、ロール角、ヨー角を抽出する。ここで、ピッチ角とは、Ｘ軸を軸とする回転角のことであり、ロール角とは、Ｙ軸を軸とする回転角のことであり、ヨー角とは、Ｚ軸を軸とする回転角のことである。即ち、デジタルカメラ１０１の姿勢を算出する。そして更に、姿勢情報取得部３１６は、３軸の加速度情報と、ロール角・ピッチ角・ヨー角と、からデジタルカメラ１０１の動き情報を求める。

画像合成部３１０は、被写体特定部３０８が識別した所有者に関する情報を、撮像部３０３が生成した撮像画像上に合成して出力する。合成位置については特に限定するものではなく、被写体特定部３０８が識別した所有者の画像領域の近傍に位置に合成してもよいし、撮像画像上の規定の位置に合成してもよい。また、画像合成部３１０による画像の出力先については特に限定するものではなく、表示部３０４に対して出力してもよいし、記憶部３１２に対して出力してもよい。

次に、携帯電話１０３，１０５，１０７の機能構成例について、図４のブロック図を用いて説明する。無線通信制御部４０１は、デジタルカメラ１０１との間で無線信号の送受信を行うためのアンテナや回路、それらを制御することで無線通信を制御する制御部、を有する。

識別情報発信部４０２は、無線通信制御部４０１を制御することで、自機に固有の識別情報をデジタルカメラ１０１に対して送信する。携帯電話制御部４０３は、自機を構成する各部の動作制御を行うと共に、自機が行うものとして後述する各処理を実行する。

位置情報取得部４０４は、自機の位置を特定するための緯度、経度、方位、高度などの情報を取得するＧＰＳおよび３軸の地磁気センサ等と、これらを制御する制御部と、を有する。加速度情報取得部４０５は、３軸方向の加速度を取得する加速度センサと、加速度センサを制御する制御部と、を有する。

姿勢情報取得部４０６は、位置情報取得部４０４が取得した３軸の方位情報と、加速度情報取得部４０５が取得した３軸の加速度情報と、から、ピッチ角、ロール角、ヨー角を抽出する。ここで、ピッチ角とは、Ｘ軸を軸とする回転角のことであり、ロール角とは、Ｙ軸を軸とする回転角のことであり、ヨー角とは、Ｚ軸を軸とする回転角のことである。即ち、自機の姿勢を算出する。そして更に、姿勢情報取得部４０６は、３軸の加速度情報と、ロール角・ピッチ角・ヨー角と、から自機の動き情報を求める。生体情報取得部４０７は、心拍センサ、音声センサ、体温センサ等の生体情報を収集するセンサを備え、自機の所有者の心拍数、音声、体温等の生体情報を取得する。

ここで、識別情報発信部４０２が送信する識別情報の構成例について、図６を用いて説明する。図６は、携帯電話１０３，１０５，１０７のそれぞれが送信する識別情報の構成をテーブル形式で示している。

識別情報は、識別子（列６０１）、端末位置（列６０２）、時刻（列６０３）、動き（列６０４）、心拍数（列６０５）、体温（列６０６）、音（列６０７）、の情報を含む。

「識別子」は、携帯電話の所有者を一意に決定するためのユニークな値として無線通信制御部４０１で使用するイーサネット（登録商標）MACアドスであり、携帯電話に対して適宜設定されたものである。「端末位置」は、携帯電話の所有者が該携帯電話を把持している場所である。「時刻」は、識別情報が生成されたときの時刻（携帯電話制御部４０３が計時）である。

「動き」は、姿勢情報取得部４０６が求めた加速度情報若しくは該加速度情報から得られる動きがどの程度の動きであるのかを表す情報である。図６では、加速度情報が表す動きが、「静止している」、「歩いている」、「走っている」の何れであるのかを「動き」としている。これは例えば、加速度情報が表す動き（加速度）が第１の閾値以下であれば「静止している」とし、第１の閾値よりも大きく第２の閾値以下であれば「歩いている」とし、第２の閾値よりも大きければ「走っている」としている。

なお、この「動き」を、図１０に示す如く、加速度情報をそれぞれの携帯電話を原点とし、方位および上下、時間を軸とした４次元関数へのフーリエ変換した関数としてもよい。

「心拍数」は、生体情報取得部４０７が取得した携帯電話の所有者の心拍数である。「体温」は、生体情報取得部４０７が取得した携帯電話の所有者の体温である。「音」は、生体情報取得部４０７が取得した携帯電話の所有者の音声情報であり、この音声情報は適宜圧縮してもよい。

次に、サーバ１０９が保持する情報について、図２を用いて説明する。サーバ１０９が管理するデータベースには、図２に示す如く、携帯電話の所有者（人物１０２，１０４，１０６）ごとに、該所有者に対する「識別子、名前、コメント、顔の特徴量」のセットが登録されている。

「識別子」は、携帯電話側に設定されている上記の「識別子」に対応しており、例えば、図６の携帯電話１０３の「識別子」は図２の人物１０２の「識別子」と同じとなっている。

「名前」は、携帯電話の所有者の属性情報としての名前である。然るに、携帯電話の所有者の属性情報には、名前以外にも住所や所属先など様々なものが考え得るので、他の属性情報を登録してもよい。「コメント」は、適宜入力されたコメントである。なお、「名前」や「コメント」については、例えば、テキスト形式のデータとして登録しておけばよい。

「顔の特徴量」は、携帯電話の所有者の顔が画像中に映っている場合に、この顔の識別処理で用いる識別パラーメータの一例である。「顔の特徴量」は、例えば、バイナリ形式のデータとして登録しておけばよい。

次に、デジタルカメラ１０１、携帯電話１０３，１０５，１０７、サーバ１０９のそれぞれによる処理シーケンスについて、図５を用いて説明する。デジタルカメラ１０１のユーザがシャッターボタン３０２を押下すると、ステップＳ５０１において制御部３２０はこれを検知して撮像開始を撮像部３０３に指示する。これにより撮像部３０３は被写体（人物１０２，１０４，１０６を含む）の撮像を行い、撮像画像を生成する。この撮像画像は記憶部３１２などに格納される。

ステップＳ５０２では、制御部３２０は、無線通信制御部３０１を制御し、識別情報の取得要求を示す無線信号を発する。より具体的には、無線通信制御部３０１により、ＩＥＥＥ８０２．１１に則ったプローブ・リクエスト・フレームをブロードキャストで送信する。図１の場合、デジタルカメラ１０１の周囲には携帯電話１０３，１０５，１０７が存在しているために、結果的には、これらの携帯電話１０３，１０５，１０７に対して識別情報の取得要求を送信することになる。

なお、上記のとおり、識別情報は、それぞれの携帯電話が定期的若しくは不定期的に送信しても良く、その場合は、識別情報の取得要求を送信する必要はなく、デジタルカメラ１０１はそれぞれの携帯電話から送信された識別情報を受信するだけでよい。

ステップＳ５０３，Ｓ５０４，Ｓ５０５のそれぞれは、携帯電話１０３，１０５，１０７において識別情報を生成する処理である。携帯電話１０３，１０５，１０７のそれぞれの無線通信制御部４０１が識別情報の取得要求を受信すると、携帯電話制御部４０３は、位置情報取得部４０４、加速度情報取得部４０５、姿勢情報取得部４０６、生体情報取得部４０７を動作させる。これにより、図６や図１０に示すような識別情報に含める情報を収集することができる。

ステップＳ５０６では、携帯電話１０３，１０５，１０７のそれぞれの識別情報発信部４０２は無線通信制御部４０１を制御して、識別情報をデジタルカメラ１０１に対して送信する。この送信は、プローブ・レスポンス・フレームでそれぞれ応答するようにしてもよい。

これによりデジタルカメラ１０１は、携帯電話１０３，１０５，１０７のそれぞれから送信された識別情報を取得することができる。なお、識別情報の受信は、識別情報取得部３０５が無線通信制御部３０１を制御することで行い、識別情報取得部３０５は、この受信したそれぞれの携帯電話の識別情報を記憶部３１２に格納する。

ステップＳ５０７では、顔特徴情報取得部３０６は、携帯電話１０３，１０５，１０７のそれぞれから受信した識別情報中の識別子をサーバ１０９に対して送信することで、該識別子に対応する顔の特徴量の取得要求を行う。更に、属性情報取得部３０７は、携帯電話１０３，１０５，１０７のそれぞれから受信した識別情報中の識別子をサーバ１０９に対して送信することで、該識別子に対応する名前の取得要求を行う。

ステップＳ５０８では、サーバ１０９は、ステップＳ５０７で送信された識別子を受信すると、この識別子とセットにして登録されている名前及び顔の特徴量を、自身が管理するデータベースから取得する。

そしてステップＳ５０９ではサーバ１０９は、ステップＳ５０７で送信された識別子とセットにしてデータベース内で管理している名前及び顔の特徴量を、デジタルカメラ１０１に対して送信する。

これによりデジタルカメラ１０１は、サーバ１０９に対して送信した識別子に対応する名前及び顔の特徴量を受信することができる。なお、顔の特徴量の受信は顔特徴情報取得部３０６が行い、名前の受信は属性情報取得部３０７が行う。

ステップＳ５１０では、被写体特定部３０８は、サーバ１０９から取得した顔の特徴量を用いて、人物１０２，１０４，１０６が、ステップＳ５０１で生成して記憶部３１２に格納した撮像画像中のどの被写体であるのかを識別する。ステップＳ５１０における処理の詳細については後述する。

次にステップＳ５１１では、画像合成部３１０は、被写体特定部３０８が識別した所有者の名前を、ステップＳ５０１で生成して記憶部３１２に格納した撮像画像上に合成して、表示部３０４に出力する。

次に、上記のステップＳ５１０における処理の詳細について、図７のフローチャートを用いて説明する。ステップＳ７０１では被写体特定部３０８は、サーバ１０９から取得した顔の特徴量を用いて、人物１０２，１０４，１０６が、ステップＳ５０１で生成して記憶部３１２に格納した撮像画像中のどの被写体であるのかを識別する。この識別処理は一般的な技術であるために説明は省略する。

ステップＳ７０２では被写体特定部３０８は、撮像画像から人物１０２，１０４，１０６の全てが識別されたか否かを判断する。この判断の結果、撮像画像から人物１０２，１０４，１０６の何れかが識別されなかった場合は処理はステップＳ７０３に進み、全て識別された場合は、処理はステップＳ７０５に進む。ステップＳ７０５では、被写体特定部３０８は、被写体の識別処理は成功したと判断して、図７のフローチャートの処理を終える。

ステップＳ７０３で被写体特定部３０８は、携帯電話１０３，１０５，１０７のそれぞれから受信した識別情報中の情報を用いて、撮像画像中の被写体のうち人物１０２，１０４，１０６の何れとも識別されなかった被写体について識別処理を行う。この識別処理では、識別情報中の「動き」の情報を用いた識別処理、識別情報中の生体情報（「心拍数」や「体温」）を用いた識別処理、識別情報中の「音」の情報を用いた識別処理、の何れかを実行する。ステップＳ７０３における処理の詳細については後述する。

ステップＳ７０４では、被写体特定部３０８は、ステップＳ７０３での識別処理により、撮像画像から人物１０２，１０４，１０６の全てが識別されたか否かを判断する。この判断の結果、撮像画像から人物１０２，１０４，１０６の何れかが識別されなかった場合は処理はステップＳ７０６に進み、全て識別された場合は、処理はステップＳ７０５に進む。ステップＳ７０６では、被写体特定部３０８は、被写体の識別処理は失敗したと判断して、図７のフローチャートの処理を終える。

次に、上記のステップＳ７０３において行う「識別情報中の「動き」の情報を用いた識別処理」について、同処理のフローチャートを示す図９を用いて説明する。なお、以下では、撮像画像中には人物１０６は映ってはいるものの、この人物１０６が図１に示す如く背面をデジタルカメラ１０１に向けた状態であったが故に、撮像画像には人物１０６の顔が映っていない場合を想定する。

即ち、携帯電話１０３の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物１０２であるのか、携帯電話１０５の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物１０４であるのか、の識別は成功している。しかし、携帯電話１０７の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物１０６であるのか、の識別は失敗している。

ステップＳ９０１では、被写体特定部３０８は、撮像画像から、人と推定されるオブジェクト（人型オブジェクト）を検出する（識別済みの人型オブジェクトは省く）。この検出処理は、一般の認識処理で実現できるため、これに係る説明は省略する。

ここで、撮像部３０３は、ユーザによるシャッターボタン３０２の押下が無くても、画像記録を行わないだけで、常に撮像画像は生成している。然るにステップＳ９０２では、被写体特定部３０８は、ステップＳ９０１の処理の後に連続して生成されるそれぞれの撮像画像から、ステップＳ９０１と同様にして、人型オブジェクトを検出する。

ステップＳ９０３で被写体特定部３０８は、次のような処理を行う。即ち、ステップＳ９０１で検出した人型オブジェクトの撮像画像上の位置と、ステップＳ９０２で検出した人型オブジェクトの撮像画像上の位置と、を用いて、撮像時刻が隣接している撮像画像間で人型オブジェクトの位置の差分（移動量）を求める。

この時、携帯電話１０７は端末位置が頭部と通知示していることより、画像中の人型のオブジェクトに対して、各オブジェクトの頭部のみの移動量の特定としてもよい。また、移動量を判定するためにさらに複数の画像データに対して人型オブジェクトの移動量を画像処理より特定しても良い。また、画像中の人型のオブジェクトの移動量を判定するに当たって、デジタルカメラ１０１の移動および回転を姿勢情報取得部３１６から取得し、人型オブジェクトの移動量がデジタルカメラ１０１の移動または回転に影響されないよう考慮してもよい。

ステップＳ９０４では、被写体特定部３０８は、ステップＳ９０３で求めたそれぞれの移動量を時系列に並べたときの移動量の変化量から、撮像画像内における人型オブジェクトの加速度情報を求める。そしてこの加速度情報が表す動きが、「静止している」、「歩いている」、「走っている」の何れであるのかを特定する。

ステップＳ９０５では、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きをテーブルに登録する。ここで、撮像画像から人型オブジェクトＡ，Ｂ，Ｃが検出された場合にステップＳ９０５において生成されるテーブルの構成例を図８に示す。

図８では、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きとして、「静止している」、「歩いている」、「走っている」の何れかが登録されている。

そしてステップＳ９０５では更に、被写体特定部３０８は、ステップＳ９０５で生成したテーブルのうち、人物１０６の識別子とセットになって識別情報に登録されている「動き」（「歩いている」）と一致（合致）する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物１０６であると識別する。図８の場合、人型オブジェクトＣの「動き」が「歩いている」であるため、人型オブジェクトＣが人物１０６であると識別する。

なお、ステップＳ９０４では、加速度情報を、姿勢情報取得部３１６から取得した方位情報を用いてデジタルカメラ１０１を原点とし、方位および上下を軸としたベクトル情報に変換し、方位、上下、時間を軸とした４次元関数にフーリエ変換してもよい。この場合にステップＳ９０５で生成されるテーブルの構成は図１１に示したようなものとなる。

図１１のテーブルは、撮像画像から人型オブジェクトＡ，Ｂ，Ｃが検出された場合にステップＳ９０５で生成されるテーブルであり、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から生成された４次元関数の絶対値が登録されている。

この場合、ステップＳ９０５では、被写体特定部３０８は、ステップＳ９０５で生成したテーブルのうち、人物１０６の識別子とセットになって識別情報に登録されている４次元関数の絶対値と一致する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物１０６であると識別する。

次に、上記のステップＳ７０３において行う「識別情報中の生体情報を用いた識別処理」について説明する。記憶部３１２には、図１２に例示するような構成を有するテーブルが登録されている。このテーブルには、「静止状態」、「歩き状態」、「走り状態」のそれぞれの動き状態に対する、心拍数、体温、のセットが登録されている。このセットは、予め測定されたものであってもよいし、ユーザが作成したものであってもよい。

この場合、被写体特定部３０８は、図９のフローチャートに従って図８に例示するような、人型オブジェクトごとに、該人型オブジェクトについて求めた加速度情報から特定された動きが登録されたテーブルを生成する。

次に被写体特定部３０８は、図１２のテーブルから、人物１０６の識別子とセットになって識別情報に登録されている「心拍数」に対応する動き状態を特定する。図６の場合、人物１０６の識別子とセットになって識別情報に登録されている「心拍数」は１２０であるため、図１２のテーブルから、この心拍数に対応する動き状態は「歩き状態」となる。そして図８のテーブルにおいて、この「歩き状態」に対応する人型オブジェクトは人型オブジェクトＣであるため、人型オブジェクトＣが人物１０６であると識別する。

また被写体特定部３０８は、心拍数の代わりに、「体温」を用いて判定処理を行ってもよい。この場合、図１２のテーブルから、人物１０６の識別子とセットになって識別情報に登録されている「体温」に対応する動き状態を特定する。図６の場合、携帯電話１０７の識別子とセットになって識別情報に登録されている「体温」は３７．５であるため、図１２のテーブルから、この体温に対応する動き状態は「歩き状態」となる。そして図８のテーブルにおいて、この「歩き状態」に対応する人型オブジェクトは人型オブジェクトＣであるため、人型オブジェクトＣが人物１０６であると識別する。

なお、生体情報として「心拍数」や「体温」以外の情報を用いてもかまわず、その場合、図１２のテーブルには、それぞれの動き状態に対応する生体情報を登録しておく必要があるし、識別情報にも、それに対応する生体情報を含める必要がある。

また、図１に示す如く、人物１０４がデジタルカメラ１０１から比較的遠方に位置しているが為に、画像処理によって顔特徴の判定を得るために必要な解像度が確保できない場合において、被写体を特定する方法を説明する。

人物１０４は遠方に位置するため、ステップＳ７０１では被写体を特定することができない。図７で説明した通り、人物１０４に関してはステップＳ７０１の被写体特定を行う。人物１０４はこれまで説明した動き状態による被写体判定、加速度による被写体判定、生体状態による被写体判定の何れも適用可能であるが、人物１０６とは異なり、デジタルカメラ１０１に対して正面を向いているため、音声情報による被写体判定も可能である。以下の説明では、携帯電話１０５の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物１０４であるのか、の識別は失敗しているとする。

この場合、人型オブジェクトごとに、撮像画像から口の形を認識し、認識した口の形から発生している音（口の動き）が何であるのかを認識する。この認識処理も周知の技術であるためにこれについての説明は省略する。そして、人型オブジェクトごとに、該人型オブジェクトが発生している音を示す情報をテーブルに登録する。ここで、撮像画像から人型オブジェクトＡ，Ｂ，Ｃが検出された場合に生成されるテーブルの構成例を図１３に示す。

図１３では、人型オブジェクトごとに、該人型オブジェクトが発生している音を示す情報が登録されており、人型オブジェクトＡに対しては音を示す情報として「ん」、人型オブジェクトＢに対しては音を示す情報として「あ」が登録されている。人型オブジェクトＣに対しては、認識処理が失敗したなどが原因で音を示す情報が得られなかったため、「不明」が登録されている。

そして、被写体特定部３０８は、このテーブルから、人物１０４の識別子とセットになって識別情報に登録されている「音」（「あ」）と一致する人型オブジェクトを特定する。そしてこの特定した人型オブジェクトが人物１０４であると識別する。図１３の場合、人型オブジェクトＢの「音」が「あ」であるため、人型オブジェクトＢが人物１０４であると識別する。

なお、図３，４に示した各機能部は何れもハードウェアで構成してもよいが、部分的にソフトウェア（コンピュータプログラム）で構成してもよい。その場合、このコンピュータプログラムは、記憶部３１２や携帯電話のメモリ内に格納されることになる。

上述のようにして、画像処理により得られた結果だけでなく、センサによりユーザをセンシングすることで得られたセンサ情報も利用して特定のユーザを識別するので、特定のユーザの識別精度が向上する。従って、撮像画像中における特定のユーザの近傍に特定のユーザに関する情報を提示できる可能性を高めることができる。

［第２の実施形態］
以下では、本実施形態が第１の実施形態と異なる点のみについて説明する。本実施形態では、上記のステップＳ７０３において、赤外線画像データを用いる。然るに本実施形態に係るデジタルカメラ１０１には、赤外線画像データを取得するための構成を加える必要がある。

なお、以下では、撮像画像中には人物１０６は映ってはいるもの、この人物１０６が図１に示す如く背面をデジタルカメラ１０１に向けた状態であったが故に、撮像画像には人物１０６の顔が映っていない場合を想定する。

即ち、携帯電話１０３の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物１０２であるのか、携帯電話１０５の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物１０４であるのか、の識別は成功している。しかし、携帯電話１０７の識別子に対応する顔の特徴量を用いて撮像画像中のどの被写体が人物１０６であるのか、の識別は失敗している。

この場合、被写体特定部３０８は、撮像部３０３による撮像画像から上記の如く人型オブジェクトを検出し、更に別途取得した赤外線画像データを画像処理して取得したサーモグラフィーデータから該人型オブジェクトの温度情報を取得する。そして図１４に例示する如く、人型オブジェクトごとに、該人型オブジェクトの温度情報を登録したテーブルを生成する。然るに、図１４において、携帯電話１０７の識別子とセットになって識別情報に登録されている「体温」（３７．５）に最も近い体温の人型オブジェクトは人型オブジェクトＢ（３７．６）であるので、人型オブジェクトＢが人物１０６であると識別する。

［第３の実施形態］
上記の実施形態では、静止画像に対する処理であったが、この処理を動画像を構成する各フレームについて行うようにしてもよい。

また、識別情報の発信や取得などに関わる通信は、ＩＥＥＥ８０２．１１に則った無線ＬＡＮの通信に限らず、Ｂｌｕｅｔｏｏｔｈ（登録商標）やパッシブ／アクティブ型のＲＦＩＤなどでもよい。無線ＬＡＮとパッシブ型ＲＦＩＤなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。また、ミリ波などの指向性のある無線方式を利用して識別情報の発信、取得をしてもよい。

また、第１、２の実施形態では各識別子は人物に紐づけられていたが、人物である必要はなく、動物や自動車、またはやある特定の物体などに紐づけられていてもよい。

また、第１，２の実施形態において、動き状態による被写体判定、加速度による被写体判定、生体状態による被写体判定、音声情報による被写体判定の方法を説明したが、それぞれの判定において時刻の一致を条件としてもよい。すなわち、撮像部３０３から得られた画像データの時刻情報と、携帯電話１０３、１０５、１０７が通知する識別情報の時刻が近接していない場合、オブジェクトの一致判定を「否」と判定してもよい。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 撮像画像を取得する手段と、
   センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信手段と、
   前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得手段と、
   前記受信手段が受信したセンサ情報と、前記取得手段が取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別手段と、
   前記取得手段が取得した属性情報を、前記識別手段による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力手段と
   を有することを特徴とする画像処理装置。
2. 前記出力手段は、前記識別手段が識別した前記ユーザの前記撮像画像中における位置の近傍に、前記属性情報を合成して出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
   前記撮像画像中の被写体の動きを求め、前記受信手段が受信したセンサ情報に含まれているユーザの動きと一致する動きの被写体を前記ユーザとして識別することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
   前記撮像画像中の被写体の動きを求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの生体情報に対して予め対応づけられている動きと一致する動きの被写体を前記ユーザとして識別することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
   前記撮像画像中の被写体の口の動きを求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの口の動きと一致する口の動きの被写体を前記ユーザとして識別することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記識別手段は、前記取得手段が取得した識別パラメータを用いて前記撮像画像の中から前記ユーザを識別できなかった場合、
   赤外線画像を取得して該赤外線画像から被写体の温度を求め、前記受信手段が受信したセンサ情報に含まれている前記ユーザの温度にもっとも近い温度の被写体を前記ユーザとして識別することを特徴とする請求項１又は２に記載の画像処理装置。
7. 画像処理装置が行う画像処理方法であって、
   撮像画像を取得する工程と、
   センサによりユーザをセンシングすることで得られたセンサ情報を受信する受信工程と、
   前記ユーザの属性情報と、前記撮像画像中における前記ユーザを識別するための識別パラメータと、を取得する取得工程と、
   前記受信工程で受信したセンサ情報と、前記取得工程で取得した識別パラメータと、に基づいて、前記撮像画像中の被写体の中から、前記ユーザを識別する識別工程と、
   前記取得工程で取得した属性情報を、前記識別工程による識別の結果に応じた前記撮像画像上の位置に合成して出力する出力工程と
   を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images