JP2010061265A - 人物検索登録システム - Google Patents

Abstract

【課題】人物と対面しながら、簡単に人物の情報の登録、検索を行うことができるようにする。
【解決手段】眼鏡２には、視線センサと、顔検出カメラ２１と、レンズ１２を通して観察される像に情報画像を重ねて表示するプロジェクタ３１とを設けてある。顔検出カメラ２１によって撮影されている画像内で顔検出が行われ、この顔を注視したことが視線検出結果から検知されると、その顔画像を用いて該当レコードをサーバ装置３で検索する。該当レコードがない場合に、顔画像とともにそれから判定された属性情報によって新たなレコードを作成して記憶し、該当レコードがある場合に、該当レコードから表示すべき人物情報を取り出してプロジェクタ３１で表示する。
【選択図】図１

Description

本発明は、人物の検索登録を行う人物検索登録システムに関するものである。

近年では、画像から人物の顔を検出し、その顔画像を用いて照合して、人物を特定することが行われている。例えば、特許文献１には、施設に設置されたカメラによって撮影された画像から、対象者の顔画像の特徴量の他、身長，年代，性別等を用いて照合を行い、登録済みの登録者であるか否かを判定する情報処理装置が記載されている。

一方、特許文献２には、使用者の見ているものを撮影し、また撮影した画像の再生表示や、再生指示を行うことができる眼鏡型の撮影装置が記載されている。この眼鏡型の撮影装置では、使用者が頭部を回したり、視線を変化させることによって操作する。
特開２００８−１２３１００号公報 特開２００８−１１８５２６号公報

ところで、特許文献１のように、その人物の顔画像を用いて登録されているレコードの検索をすることによって、多数の人物のうちの特定の人物の情報を容易に参照することができ便利である。しかし、このような検索を行うためには、個々の人物について、顔画像あるいはその特徴量と、氏名、年齢、職業、勤務先等を予め登録しておかなければならず、そのための顔画像や各種情報の収集、登録作業などは非常に手間がかかるという問題があった。検索するにも、検索しようとする人物の顔画像を撮影し、これを入力して検索を指示する必要があるなど、利用面でも不便さがある。このため、例えば名前を覚えていない人物に会った場合に、その場でその人物の情報を参照することは困難であった。

本発明は、上記問題を解決するためになされたもので、容易に人物の登録を行うことができ、しかも容易に人物の情報を参照することができる人物検索登録システムを提供することを目的とする。

上記問題を解決するために、本発明の請求項１記載の人物登録検索システムでは、少なくとも、眼鏡本体に、装着者の視線を検出する視線センサと、装着者の視野範囲内を撮影する撮影手段と、眼鏡本体を通して観察される像に人物に関連する人物情報を重ねて表示する表示手段とを設けた眼鏡装置と、撮影手段で撮影した画像から人物の顔を検出する顔検出手段と、外部からの信号に基づいて人物情報を取得する情報取得手段と、顔画像またはその特徴量と、その人物について情報取得手段で取得した人物情報とからなるレコードを人物ごとに記憶するレコード記憶手段と、検出された顔に対応する顔画像またはその特徴量を有する該当レコードの検索を、視線センサでの視線の検出結果、または顔検出手段による顔検出状態が所定の検索開始条件を満たすことに応答して行う検索手段と、検索手段による検索によって該当レコードがない場合に、顔画像またはその特徴量と、情報取得手段で取得した人物情報とを内容とする検索対象の人物のレコードを作成してレコード記憶手段に記憶させ、検索手段による検索によって該当レコードがある場合に、該当レコードの人物情報から表示すべき人物情報を取り出して、表示手段に表示させる登録表示制御手段とを備えるものである。

請求項２記載の人物検索登録システムでは、情報取得手段を、撮影手段で撮影した画像から得られる顔画像に基づいて判定される人物の属性情報を人物情報として取得するようにしたものである。

請求項３記載の人物検索登録システムでは、情報取得手段を、撮影手段で撮影した文字画像から認識した文字情報を人物情報として取得するようにしたものである。

請求項４記載の人物検索登録システムでは、眼鏡装置に設けられたマイクと、このマイクを通じて入力される音声信号に対して音声認識した音声情報を文字情報に変換する音声文字変換手段とを設け、情報取得手段を、音声文字変換手段から得た文字情報を人物情報として取得するようにしたものである。

請求項５記載の人物検索登録システムでは、情報取得手段を、視線センサによって検出される視線に基づいて特定された顔に対して、視線センサの検出結果に基づいて、人物情報の追加登録の指示がなされたことを検知したときに、特定された顔が検出されなくなった以降に、人物情報を取得する処理を行うようにしたものである。

請求項６記載の人物検索登録システムでは、外部からの測位信号を受信して装着者の位置を測定し、位置情報を出力する測位手段を眼鏡装置に設け、情報取得手段を、測位手段から得た位置情報、または位置情報を基づいて特定された場所名を人物情報として取得し、登録表示制御手段は、検索時に該当レコードが記憶されている場合に、その該当レコードに記録されている位置情報、または場所名を前回の対面場所を示す人物情報とするようにしたものである。

請求項７記載の人物検索登録システムでは、検索手段を、視線センサによって検出される視線に基づいて、検索または登録すべき顔を特定するようにしたものである。

請求項８記載の人物検索登録システムでは、視線の変化と眼鏡装置に入力すべき指示内容との対応関係を記憶する視線指示記憶手段と、入力すべき指示内容に対応する視線の変化を設定するための設定手段とを備えたものである。

請求項９記載の人物検索登録システムでは、登録表示制御手段を、同一の人物について、複数の顔画像またはそれら顔画像から得られる特徴量をレコードに記録するようにしたものである。

本発明によれば、眼鏡装置に、視線センサと撮影手段と人物情報を表示する表示手段とを設けるとともに、視線の検出結果、または撮影手段で撮影された画像内での顔検出状態が検索開始条件を満たしたときに、検出されている顔に対する該当レコードの有無を検索し、該当レコードがない場合に、新たなレコードを作成して記憶させ、該当レコードがある場合に、該当レコードから表示すべき人物情報を取り出して表示手段に表示させるようにしたから、人物と会話をしながら、レコードのない人物についてはレコードが自動的に作成されて登録され、またコードのある人物については人物の情報を容易に参照することができる。

図１に示すように、本発明を実施した人物登録検索システムは、眼鏡２と、サーバ装置３とからなる。この人物登録検索システムは、眼鏡２を装着した状態で、出会った人物の登録、その人物の情報の表示等を行うことができる。眼鏡２は、各種機能を内蔵したコンパクトな形態としてあり、使用者が装着して使用する。

サーバ装置３は、通信機能により眼鏡２と接続され、人物情報等を提供する。このサーバ装置３は、通信機能で接続される複数の眼鏡２に対して、機能を提供するような構成でもよく、個々の眼鏡２ごとにサーバ装置３を設けてもよい。個々の眼鏡２ごとにサーバ装置３を設ける場合には、眼鏡２の装着者がバッグやポケットに収納するなどして、装着者がそれぞれ携帯するように構成してもよい。

眼鏡２のフレーム１１は、一般的な眼鏡と同様に、左右のレンズ１２を保持した一対のリム１３と、これらを連結するブリッジ１４と、右テンプル１５と左テンプル１６とから構成してある。フレーム１１と各レンズ１２は、眼鏡本体を構成する。

レンズ１２は、図２に示すように、その内面にレンズ１２をハーフミラーとして機能させる反射膜１７をコーティング等によって形成してある。また、レンズ１２の外面には、赤外線の透過を阻止する光学膜１８を形成してある。レンズ１２をハーフミラーとして機能させることにより、レンズ１２を通して観察される人物などに、後述する情報画像を重ねて観察できるようにし、赤外線の透過を阻止することで、後述する赤外線を用いた視線検出が誤作動することを防止する。なお、レンズ１２は、度付きでもよいし、度無しの飾りガラスでもよい。

左テンプル１６とリム１３との間に設けた蝶番１９には、電源スイッチ（図示省略）を設けてある。この電源スイッチは、左テンプル１６を折り畳んだ状態（不使用状態）のときにＯＦＦとなり、起立状態（使用状態）のときにＯＮとなる。電源スイッチのＯＮにより、人物登録検索機能が作動する。

ブリッジ１４には、撮影手段としての顔検出カメラ２１を内蔵してあり、その撮影レンズが前面に露呈している。この顔検出カメラ２１で撮影された画像から、装着者の視野範囲内の人物の顔を検出し、また・検索・登録するための顔画像を取得する。顔検出カメラ２１は、装着者のレンズ１２を通した視野範囲とほぼ同じ撮影範囲となっており、動画像を撮影して出力する。なお、撮影範囲は、装着者の視野範囲と同じでなくてもよく、例えば重点的に装着者が見る視野範囲の中央部だけを撮影範囲としてもよい。

眼鏡２には、装着者の視野範囲内のどの部分に視線を向けているか、またその視線がどのように変化するかなど、装着者の視線を検出するための視線センサ２４（図３参照）を設けてある。視線センサ２４は、眼球画像と赤外線の角膜反射像を解析することで視線を検出する周知の方式のものであり、右目用の光源２５と視線カメラ２６、左目用の光源２７と視線カメラ２８とからなる。

光源２５は、右側のリム１３の上部内側に設けてあり、装着者の右目に向けて微弱な赤外線を照射する。視線カメラ２６は、右テンプル１５の内側に、右側のレンズ１２の内面に向けて設けてあり、ハーフミラーとして機能する右側のレンズ１２で反射される装着者の右目の眼球画像、光源２５からの赤外線の角膜反射像を撮影する。

同様に、左目用の光源２７は、左側のリム１３の上部内側に設けてあり、左目に向けて赤外線を照射する。視線カメラ２８は、左テンプル１６の内側に設けた光学ユニット３０に設けてあり、左側のレンズ１２で反射される左目の眼球画像、光源２７から赤外線の角膜反射像を撮影する。

光学ユニット３０には、上記視線カメラ２８とともに、プロジェクタ３１を内蔵している。プロジェクタ３１は、情報画像をレンズ１２を通して観察される像に重ねて装着者が観察できるように表示する。観察される情報画像としては、検出された人物の顔を示す顔枠や、人物の関する人物情報などがある。

上記プロジェクタ３１は、レンズ１２のハーフミラーの機能とともに、表示手段を構成し、表示すべき情報画像を適当な距離に仮想的に配した仮想視野平面上の像（虚像）として肉眼により観察されるようにする。プロジェクタ３１は、例えばバックライト、情報画像を表示しバックライトからの光を変調する透過型の液晶パネル、この液晶パネルの像が虚像として観察されるようにするための光学系、レンズ１２の湾曲した内面の影響を補正するための補正光学系、液晶パネルの駆動回路などで構成してある。このプロジェクタ３１からの情報画像を表示するための光は、左側のレンズ１２の内面に向けて照射され、ハーフミラーとして機能する左側のレンズ１２で反射した情報画像を装着者の左目に入射し、網膜上で結像される。なお、表示手段の構成は、上記のものに限られない。

左テンプル１６の内部には、眼鏡２の各部の電源となる小型電池を含む回路部３２と、サーバ装置３との間で通信を行うためのアンテナ３３を内蔵してある。

図３に示すように、回路部３２は、視線検出回路３５、信号処理回路３６、顔検出回路３７、画像生成回路３９、通信回路４０、メモリ部４１、及び眼鏡２の各部を統括的に制御するＣＰＵ４２からなる。回路部３２の各部３５〜４２、及びプロジェクタ３１は、バス４４で接続してあり、このバス４４を介して相互に各種信号の授受ができるようにしてある。メモリ部４１は、ＣＰＵ４２のワーク用メモリ、プロジェクタ３１で表示すべき情報画像を記憶するビデオメモリ、通信内容を一時的に記憶するバッファメモリ等として用いられる。

視線検出回路３５は、視線センサ２４の各カメラ２６，２８から得られる左右各目の眼球画像、角膜反射像を解析することによって、装着者の視線の仮想視野平面上の座標や視線の動き、断続等を検出し、その情報を視線情報としてＣＰＵ４２に送る。ＣＰＵ４２は、この視線情報に基づいて、装着者が注視している顔や、装着者の指示内容を識別する。視線を検出する手段としては、このような構成に限られず、例えば眼球の動きによって起こる電流をセンサで検出し、その電流の変化などから視線を検出してもよい。

信号処理回路３６は、顔検出カメラ２１からの動画像が入力される。この信号処理回路３６は、入力される動画像に対して、明るさの調節やホワイトバランス補正等を施して出力する。

顔検出回路３７は、信号処理回路３６から順次に入力される動画像の各フレームに対して、そのフレーム内に撮影されている人物の顔領域を検出する。顔領域を検出には、周知のテンプレートマッチングなど種々のものを利用できる。顔検出回路３７は、検出された人物の顔領域を仮想視野平面上の座標に変換して顔領域情報として出力する。また、サーバ装置３で検索を行う際には、顔検出回路３７が検出した顔領域内の画像を顔画像として出力し、通信回路４０介してサーバ装置３に送る。

画像生成回路３９は、検出した人物の顔領域を示す顔枠、人物情報の文字等を合成した画像を生成する。顔枠は、顔領域情報に基づいた位置・サイズで生成され、人物情報は、サーバ装置３から通信回路４０から取得される。画像生成回路３９によって生成された画像は、メモリ部４１に書き込まれ、これをプロジェクタ３１が読み出して表示する。通信回路４０は、ＣＰＵ４２の制御下でサーバ装置３との間で通信を行う。

ＣＰＵ４２は、視線の検出結果または顔検出状態が検索開始条件を満たすことに応答して、サーバ装置３と協働して検索登録処理を行う。検索開始条件として、装着者の関心が特に高い可能性から、検出されている顔領域内に視線が一定時間以上向けられていることを設定してある。この検索開始条件を満たすことが視線情報に基づいて判定されると、当該顔に対する検索登録処理が行われる。検索登録処理では、ＣＰＵ４２は、顔画像をサーバ装置３に送信し、その後にサーバ装置３から送信される人物情報を受信して情報画像として表示する。

検索開始条件としては、上記のものに限られるものではないが、装着者が意識しなくとも検索登録処理が開始されるように設定することが好ましい。例えば、顔領域が一定以上の大きさであること（装着者との距離が近い）、顔領域が視野内の特定の位置、例えば中央にあること、顔領域が一定時間以上の視野内で検出されていることなどを設定してもよい、また、複数の条件を設定しておき、そのうちのいずれか１つの条件を満たしたときに検索登録処理が開始されるようにしたり、いくつか（例えば２以上）の条件を満たしたときに検索登録処理が開始されるようにしたりしてもよい。さらには、後述する詳細表示指示、簡易表示指示などと同様に、視線による意識的な指示で検索登録処理を開始されるようにすることもできる。

ＣＰＵ４２は、視線情報に基づいて、詳細表示指示、簡易表示指示、非表示指示、情報入力指示の検知し、その指示に応じた処理を行う。例えば、詳細表示指示には、詳細な情報を表示すべき人物の顔を所定時間以上注視してから、左目でウインクをしてまばたきと区別できる程度の時間で視線を断続させる視線変化を設定してある。簡易表示指示には、同様に注視してから右目でウインクをして視線を断続させる視線変化を設定してある。さらに、非表示指示には、非表示とすべき人物の顔を所定時間以上注視してから、視線を右方向に外す視線変化を、情報入力指示には、情報入力しようとする人物の顔領域内で円を複数回描く視線の変化をそれぞれ設定してある。

上記の視線による各種の指示の態様は、一例であり、それらに限られるものではない。例えば一定時間以上注視することだけをもって指示とすることもできる。また、顔を所定時間以上注視してから、上下左右方向に視線を移動させるようにしたり、右目、左目を交互にウインクするような態様であってもよい。また、装着者の視野内に観察される、例えば顔枠内に各指示に対応した指示マークをそれぞれ表示しておき、それを注視することで指示を与えるようにすることもできる。

ＣＰＵ４２は、詳細表示指示が行われた場合には、氏名、推定年齢、会社名、連絡先等の詳細な人物情報をサーバ装置３から取得して表示する。また、簡易表示指示された場合には、氏名と推定年齢を人物情報としてサーバ装置３から取得して表示する。非表示指示が行われた場合は、人物情報を非表示にし、情報入力指示が行われた場合には、氏名や会社名などが記された名刺などを撮影した文字画像をサーバ装置３に送る。

情報入力指示が行われた場合の名刺などは、顔検出カメラ２１によって文字画像として撮影する。これにより、装着者は、名刺等をレンズ１２を通して見るようにするだけで必要な撮影を行うことができるようにしてある。

サーバ装置３は、通信部５１、メモリ５２、特定情報出力部５３、文字情報判定部５４、データベース（ＤＢ）５５、及び各部を統括的に制御する制御部５６から構成してある。通信部５１は、それに接続されたアンテナ５１ａを介して、眼鏡２の通信回路４０との間で各種データの送受信を行う。これにより、眼鏡２とサーバ装置３とが接続される。メモリ５２は、眼鏡２から送信される顔画像や文字画像を一時的に記憶する。

特定情報出力部５３は、眼鏡２からの顔画像に対応するレコードが記録されていない（該当レコードがない）場合に、顔画像から特定情報を抽出・判定して出力する。特定情報としては、その顔画像から得られる各種の顔の特徴量や、顔画像から推定されるその人物の固有の情報である属性情報がある。すなわち、特定情報出力部５３は、光学的な信号である人物の顔の像を顔検出カメラ２１が撮影した顔画像から人物情報の１つとしての属性情報を取得する情報取得手段となっている。

上記特徴量としては、例えば、顔の輪郭の形状、肌の色、目（位置・形状・瞳の色）、鼻（位置・形状）、唇（位置・形状）、髪型（位置・形状・色）等がある。また、この例では年齢，性別，人種を属性情報としている。

文字情報判定部５４は、文字画像から認識した文字情報を人物情報の１つとして取得する情報取得手段となっている。この文字情報判定部５４は、光学的な信号である名刺などの像を顔検出カメラ２１が撮影して得られる眼鏡２からの文字画像について文字情報を認識して出力する。この文字情報判定部５４により、人物の氏名や会社名、連絡先などの文字情報を取得する。

データベース５５は、例えばハードディスク５５ａと、マイクロコンピュータ５５ｂからなり、レコードの登録、検索、レコード内容の追加や更新等を行う。ハードディスク５５ａは、多数のレコードが記録されるレコード記憶手段となっており、またマイクロコンピュータ５５ｂは、ハードディスク５５ａのレコードの検索・登録を行うようにプログラムされており、眼鏡２のＣＰＵ４２とともに検索手段、登録表示制御手段を構成している。

ハードディスク５５ａには、人物ごとのレコードの内容として、顔画像、その特徴量、人物情報が記録される。顔画像は、眼鏡２から送信されるものである。また、特徴量は、特定情報出力部５３で抽出されたものが記録される。人物情報としては、人物の氏名や会社名、連絡先などのように文字情報判定部５４からの文字情報に基づいて記録されるものと、特定情報出力部５３で判定された属性情報とがある。

マイクロコンピュータ５５ｂは、眼鏡２からの顔画像を受信することに応答して、その顔画像と一致していると判断される顔画像が記録されているレコードの有無を検索する。この検索では、例えば顔画像から抽出される特徴量を用いて一致、不一致の判断を行うが、眼鏡２からの顔画像をテンプレートとして、各レコードに記録されている顔画像との相関性の高低によって判断してもよい。また、属性情報でまずレコードを絞り込んでから検索を行うようにすれば、検索の高速化を図ることができる。

なお、特徴量で検索を行う場合には、顔画像を記録しなくてもよい。また、同一の人物について、複数の顔画像またはその顔画像から得られる特徴量をレコードに記録してもよい。この例のように、動画像を撮影している場合は、一定時間内に撮影した動画像から、同一人物の向きや表情が異なる顔画像あるいはその特徴量を検出し、それらを記録してもよい。このようにすれば、次回の検索の際に、種々の向きの顔画像で検索を行うことができ、検索精度を向上させることができる。

上記検索で顔画像が一致する該当レコードがない場合には、その顔画像、特徴量、人物情報を内容とする新たなレコードを記録し、その人物の登録行う。この場合の人物情報としては属性情報を記録する。該当レコードがある場合には、その該当レコードから表示すべき人物情報を取り出して眼鏡２に送り表示させる。

マイクロコンピュータ５５ｂは、眼鏡２で簡易表示指示があったときには、簡易表示のための氏名と推定年齢を表示すべき人物情報とし、詳細表示指示があったときには、氏名、推定年齢、会社名、連絡先などの記録されている情報を表示すべき人物情報として眼鏡２に送る。なお、検索によって該当レコードがあった場合の初期表示としては、簡易表示を行う。

図４（ａ）〜図４（ｃ）に一例を示すように、レンズ１２を通して、実際の人物等の像Ｒが観察される。顔枠Ｆや人物情報Ａ１，Ａ２などを内容とする情報画像は、これに重なるように表示され、装着者が像Ｒを見ることに支障をきたすことはない。顔枠Ｆは、検出されている顔のそれぞれについて表示されるので、複数の人物の顔検出されているときには、それら各顔について顔枠Ｆが表示される。

この例では、検出された顔を矩形の顔枠Ｆで囲むことにより検出されていることを表示するが、顔枠としてはその他の形状でもよく、また顔領域に背景色を付けたりしてもよい。また、視線の検出結果に基づいて、注視されている顔と、それ以外の顔とが区別されるように顔枠の形状，色，表示形態（例えば点滅と非点滅）や、背景色の色などを変えてもよい。また、同様にして、顔枠の表示によって、レコードの登録の有無や、詳細情報の入力の有無などを区別できるようにしてもよい。

図４（ａ）のように、レコードの新規登録直後では、「新規登録」の案内表示Ｇとともに、簡易表示による人物情報Ａ１が対象となる顔の近傍に表示される。人物情報Ａ１には、氏名と推定年齢が表示されるが、この例では新規登録直後であり氏名が入力されていないので「氏名未登録」と表示している。図４（ｂ）は、検索で該当レコードがあった場合の簡易表示の表示例である。この人物情報Ａ１では、その氏名が表示されている。詳細表示を行っている場合には、図４（ｃ）のように、氏名、推定年齢、会社名、連絡先などからなる人物情報Ａ２が表示される。

次に上記構成の作用について説明する。眼鏡２のテンプルを起立させることで電源スイッチがオンとなる。その後、眼鏡２を装着して、散歩や営業等に行く。電源スイッチがオンとなることにより、図５に示すように顔検出カメラ２１での撮影、視線センサ２４を用いた視線検出が開始される。また、顔検出カメラ２１での撮影された動画像の各フレームに対する顔検出回路３７による顔検出が開始される。

装着者が人物と対面し会話などをしている場合には、その人物の顔が顔検出カメラ２１の撮影範囲内に入り、撮影された動画像の各フレームから人物の顔が顔検出回路３７によって検出され顔領域情報が出力される。ＣＰＵ４２により顔領域情報に基づいた顔枠表示用のデータが生成され、これがメモリ部４１を介してプロジェクタ３１に送られる。これにより、検出された人物の顔を囲むようにした顔枠が装着者に観察されるようになる。

顔検出は、顔検出カメラ２１が撮影する動画像のフレームごとに行われ、その顔検出による顔領域情報に基づいて顔枠の表示が更新されるから、人物が移動するなどして顔の位置、サイズが変化すれば、それに応じて顔枠の位置、サイズも変化する。これにより、顔枠が人物の顔に追従して移動するように観察される。また、新たな人物の顔が検出されると、その顔についても顔枠が表示されるようになるため、装着者の視野内に複数の人物の顔が入っていれば、それら各顔について顔枠が観察される。

装着者が検出されている特定の人物の顔を注視して、その時間が一定時間以上となると、視線が検出されている顔領域内に一定時間以上向けられているという検索開始条件が満たされるため、これに応答して検索登録処理が開始される。このように、検索を開始することで、装着者は、検索指示をあえて意識的に行う必要がなく、対面している人物との会話に集中できる。

検索登録処理が開始されると、図６に示すように、まずＣＰＵ４２の制御下で、上記視線が一定時間以上向けられていた特定人物の顔領域情報に基づいて、その特定人物の顔画像が顔検出カメラ２１で撮影された画像から切り出され、これが通信回路４０を介してサーバ装置３に送られる。

サーバ装置３では、上記のようにして眼鏡２から送信された顔画像をメモリ５２に一時的に保存してから、その顔画像から特定情報、すなわち顔の特徴量の抽出と、顔から推定される属性情報の判定とが特定情報出力部５３によって行われる。

続いて、抽出された特徴量を用いて、顔画像と一致する顔画像が記録されている該当レコードの検索がデータベース５５によって行われる。そして、この検索で該当レコードがないと判断された場合には、その特定人物が未登録であることがＣＰＵ４２に通知される。これにより、特定人物の顔の領域の近傍に「未登録」の案内表示が行われる。また、データベース５５では、未登録であった顔画像と、その特徴量と、属性情報を内容とする人物情報とからなる新たなレコードが生成されて記録されて、特定の人物のレコードが登録される。

なお、この例では装着者への確認を行うことなくレコードの登録を行っているが、登録の要否を装着者が選択できるようにしてもよい。なお、この場合にも、視線によって、その選択を行うことができるようにするのがよい。

上記のようにして新たなレコードの登録が完了すると、その登録したレコードの属性情報から氏名と推定年齢が人物情報として取り出され、これが眼鏡２に送られる。そして、プロジェクタ３１により、図４（ａ）に示されるように、「新規登録」の案内表示Ｇとともに、氏名と推定年齢からなる人物情報表示Ａ１が表示される。このようにレコードの新規登録直後には簡易表示が行われるが、この場合には氏名が登録されていないので、氏名としては「氏名未登録」が表示される。

一方、検索によって該当レコードがあった場合には、次に所定の表示条件を満たしているか否かが調べられる。表示条件としては、例えばレコードの登録後、一度も該当レコードとして読み出されない、前回の検索で該当レコードとなってから一定以上の期間が経過していることが設定されており、いずれか一方の条件を満たせば表示条件が満たされるものとして、図４（ｂ）のように氏名と推定年齢とからなる人物情報Ａ２が表示される。もちろん、この場合にも、氏名が未登録であれば氏名としては「氏名未登録」が表示される。

なお、人物情報を表示しない表示条件として、頻繁に該当レコードとなっていること、前回の人物情報の表示の際に人物情報を非表示にしたことなどを設定してもよい。また、例えば優先順位を付けて表示する各条件と表示しない各条件を設定し、各条件の優先順位を考慮して表示・非表示を決定してもよい。また、この例では、表示条件が満たされたときに簡易表示を行っているが、その代わりに詳細表示を行ってもよい。さらに、検索結果のレコードを一意に特定できない場合は、特徴量の類似度に応じて、人物候補、例えば顔画像をリスト表示して、装着者が選択するようにしてもよい。

上記のようにして人物情報が表示されている人物について、詳細表示指示、簡易表示指示、非表示指示、情報入力指示を行う場合には、装着者は、所望とする指示に対応した態様で視線を変化させる。そして、これが検知されることにより、図７に示す指示処理が行われる。

例えば、登録済みとなっているレコードに対して氏名等の人物情報を入力する場合には、装着者は、情報入力しようとする人物の顔枠内で円を複数回描くように視線を変化させる。そして、その後に、装着者は、人物情報とすべき文字が記された例えば名刺をレンズ１２を通して観察する。

上記のように視線を変化させると、その顔の人物に対する情報入力指示であることがＣＰＵ４２によって識別され、文字画像を取得する状態となる。そして、名刺をレンズ１２を通して観察した状態とすることで、その名刺が顔検出カメラ２１で撮影され、１フレーム分の画像が文字画像としてサーバ装置３の文字情報判定部５４に送られる。なお、プロジェクタ３１を用いて情報入力のためのタイミング指示などが観察されるようにしてもよい。

文字情報判定部５４によって、文字画像に記されている文字や、その文字配列等が解析され、その文字画像に含まれる文字列の内容と文字列がどのような情報であるかが判別されて文字情報としてデータサーバ５５に送られる。データサーバ５５では、眼鏡２側の視線の変化から情報入力の対象となるレコードを特定する情報を受けており、その特定されるレコードに文字情報判定部５４からの文字情報に示される氏名、会社名、連絡先などが人物情報として追加される。

また、図４（ｂ）に示されるように、特定の人物に関して簡易表示された状態で、その人物の顔を所定時間以上注視してから、左目でウインクをすれば、特定の人物に対するレコードから氏名、推定年齢の他、会社名、連絡先などが人物情報として読み出され、これが眼鏡２に送信されることで、図４（ｃ）のように、詳細表示が行われ、装着者が詳細な人物情報を参照することができる。

逆に、図４（ｃ）に示されるように、特定の人物に関して詳細表示された状態で、その人物の顔を所定時間以上注視してから、右目でウインクをすれば、その顔に対するレコードから氏名、推定年齢のみが人物情報として眼鏡２に送信されることで、図４（ｂ）のように、簡易表示が行われる。

人物情報の表示が不要である場合には、装着者は、非表示とすべき人物の顔を所定時間以上注視してから、視線を右方向に移動させる。すると、それまで表示されていた人物情報が非表示となる。非表示となった後に、再度人物情報を表示する場合には、上記のように詳細表示または簡易表示を視線で指示すればよい。

以上のようにして、人物と対面しながら、レコードの検索や、人物情報の表示の各種指示を行うことができるため、その人物の会話等の妨げになることもなく、容易かつ簡単に検索・登録・表示等を行って必要な情報を登録しまた参照することができる。また、詳細な人物情報の入力を、視線による指示の後に、装着者が詳細な人物情報が記された名刺など見るだけ行うことができるので簡単に入力することができる。

上記実施形態の人物情報は、属性情報や、氏名、会社名などを挙げているが、本発明はこれに限るものではなく、人物に関連する情報であれば種々の情報を人物情報とすることができる。

例えば、前回に当該人物に会った対面場所や対面日を人物情報とすることもできる。この場合には、例えば図８に示すように、測位回路６１とカレンダ回路６２を眼鏡２に設ける。測位回路６１，カレンダ回路６２は、バス４４で回路部３２などと接続されている。測位回路６１は、例えばＧＰＳ（全地球測位システム）を用いて現在位置を測定するものであり、ＧＰＳ衛星からの電波（測位信号）を受信して装着者の現在位置を測定し、それを位置情報として出力する。また、カレンダ回路６２は、現在の年月日を計時しており、それを出力する。

顔検出回路３７によってそれまで検出していた顔が一定時間以上検出されなくなると、装着者がその顔の人物と別れたものとＣＰＵ４２で判断され、その顔を検出しなくなった時点での位置情報と年月日とが眼鏡２からサーバ装置３に送られる。サーバ装置３は、予め用意された地図情報などを用いて、位置情報を地名やビル名、エリア名、施設名などの場所名に変換する。そして、その場所名を前回対面場所として、また年月日を前回対面日として、当該人物のレコードに人物情報の内容として記録する。

前回対面場所，前回対面日が記録されている人物の人物情報を表示する際には、レコードからそれら前回対面場所，前回対面日が表示すべき人物情報として読み出して表示する。これにより、装着者は、前回会った場所や日付を確認することができる。

なお、装着者の現在位置を測定する手法は、上記のものに限るものではなく、例えば携帯電話の各基地局からの電波の受信状態に基づいて測定し、あるいは自律測位などの手法を用いてもよい。また、時刻を計時する時計回路を設け、前回会った時刻を人物情報として記録するようにして、前回会った時刻を確認できるようにしてもよい。

さらに、人物情報として、マイクを通じて入力される音声を文字情報に変換したものを用いることができる。これには、例えば図９に示すように、眼鏡２には音声（音声信号）が入力されるマイク６４と、このマイク６４を通じて入力される音声信号を音声データに変換するＡ／Ｄ変換器６５を設ける。また、サーバ装置３には、音声文字変換手段としての音声認識部６６を設ける。

例えば視線による指示によって、音声認識が開始されると、装着者と会話する人物との音声がマイク６４で音声信号に変換され、これが音声データに変換されてサーバ装置３に送られる。そして、音声認識部６６によって、その音声データに対して音声認識が行われ、会話内容が文字情報に変換され、これが人物情報として記録される。なお、会話内容を解析し必要と推測される情報だけを人物情報として記録するようにしてもよい。また、会話だけでなく、後述するように、人物との対面が終わってから人物情報を入力するような場合には、装着者自身が人物情報として必要な内容を発声して記録するように利用することもできる。

上記各実施形態では、詳細表示指示、簡易表示指示、非表示指示、情報入表示指示に対する視線の変化の態様を予め決めてあるが、視線により行う各種指示の視線の変化の態様を装着者が登録できるように構成するのも好ましい。これには、例えば眼鏡２に登録モードを設け、この登録モードに設定した場合には、順次に登録すべき指示内容を表示するとともに、その表示ごとに登録すべき態様で視線を変化させる。そして、この視線の変化を検出し、それを指示内容とともにメモリ部４１に記憶して保存する。通常の使用時では、視線の変化を検知したときには、メモリ部４１を参照して指示内容を特定する。

また、上記各実施形態では、文字画像や音声等で人物情報を入力する場合に、人物の顔が検出されている間に、その情報入力指示を与えて情報入力を行うが、人物の顔が検出されなくなってから情報入力を行うようにしてもよい。例えば、図１０に示すように、最初の実施形態と同様に人物の顔を特定して情報入力指示を行うと、この例では情報入力待機状態に移行する。そして、人物と別れてその顔が一定時間以上検出されなくなると、情報入力待機状態が解除されて、名刺等を撮影する状態に移行し、その撮影で得られる文字情報が情報入力指示の際に特定した人物のレコードに人物情報として記録される。なお、この情報入力待機状態では、他の処理は上記同様に行われる。

さらに、人物情報は、例えば対応する顔が検出されなくなると、その表示が消えるように制御し、短い時間内で再び同じ顔が検出されたときには、前回の表示状態で人物情報を表示する構成も好ましく、より長い時間で顔が検出されなくなったときに、今回の対面が終了したと判断するようにしてもよい。

上記各実施形態では、眼鏡２に各種のセンサや回路などを設けているが、本発明を実施する上では、少なくとも眼鏡２側に、顔検出カメラ２１（撮影手段）と、視線センサ２４と、プロジェクタ３１（表示手段）とを設け、その他の回路などについてはサーバ装置３側に設けてもよく、眼鏡とその他各部の接続形態も種々のものを採用することができ、有線接続であってもよい。

本発明を実施した人物検索登録システムの構成を示す斜視図である。 眼鏡のレンズの構成を示す説明図である。 眼鏡とサーバ装置の構成を示すブロック図である。 情報画像の表示状態を示す説明図である。 人物検索登録システムの動作の手順を示すフローチャートである。 検索登録処理の処理手順を示すフローチャートである。 視線による指示が行われたときの処理手順を示すフローチャートである。 前回対面場所、対面日を記録・表示する人物検索登録システムの構成を示すブロック図である。 音声で人物情報を入力する人物検索登録システムの構成を示すブロック図である。 人物と別れてから人物情報を入力する例を示すフローチャートである。

符号の説明

２ 眼鏡
３ サーバ装置
２１ 顔検出カメラ
２４ 視線センサ
３１ プロジェクタ
３５ 視線検出回路
５３ 特定情報出力部
５４ 文字情報判定部
５５ データベース
６１ 測位回路
６２ カレンダ回路
６６ 音声認識部

Claims (9)

1. 少なくとも、眼鏡本体に、装着者の視線を検出する視線センサと、装着者の視野範囲内を撮影する撮影手段と、眼鏡本体を通して観察される像に人物に関連する人物情報を重ねて表示する表示手段とを設けた眼鏡装置と、
   前記撮影手段で撮影した画像から人物の顔を検出する顔検出手段と、
   外部からの信号に基づいて人物情報を取得する情報取得手段と、
   顔画像またはその特徴量と、その人物について前記情報取得手段で取得した人物情報とからなるレコードを人物ごとに記憶するレコード記憶手段と、
   検出された顔に対応する顔画像またはその特徴量を有する該当レコードの検索を、前記視線センサでの視線の検出結果、または前記顔検出手段による顔検出状態が所定の検索開始条件を満たすことに応答して行う検索手段と、
   前記検索手段による検索によって該当レコードがない場合に、顔画像またはその特徴量と、前記情報取得手段で取得した人物情報とを内容とする検索対象の人物のレコードを作成して前記レコード記憶手段に記憶させ、前記検索手段による検索によって該当レコードがある場合に、該当レコードの人物情報から表示すべき人物情報を取り出して、前記表示手段に表示させる登録表示制御手段とを備えることを特徴とする人物検索登録システム。
2. 前記情報取得手段は、前記撮影手段で撮影した画像から得られる前記顔画像に基づいて判定される人物の属性情報を人物情報として取得することを特徴とする請求項１記載の人物検索登録システム。
3. 前記情報取得手段は、前記撮影手段で撮影した文字画像から認識した文字情報を人物情報として取得することを特徴とする請求項１または２記載の人物検索登録システム。
4. 前記眼鏡装置に設けられたマイクと、
   このマイクを通じて入力される音声信号に対して音声認識した音声情報を文字情報に変換する音声文字変換手段とを有し、
   前記情報取得手段は、前記音声文字変換手段から得た文字情報を人物情報として取得することを特徴とする請求項１または２記載の人物検索登録システム。
5. 前記情報取得手段は、前記視線センサによって検出される視線に基づいて特定された顔に対して、前記視線センサの検出結果に基づいて、人物情報の追加登録の指示がなされたことを検知したときに、前記特定された顔が検出されなくなった以降に、人物情報を取得する処理を行うことを特徴とする請求項１ないし４のいずれか１項に記載の人物検索登録システム。
6. 前記眼鏡装置に設けられ、外部からの測位信号を受信して装着者の位置を測定し、位置情報を出力する測位手段を有し、
   前記情報取得手段は、前記測位手段から得た位置情報、または位置情報を基づいて特定された場所名を人物情報として取得し、
   前記登録表示制御手段は、検索時に該当レコードが記憶されている場合に、その該当レコードに記録されている位置情報、または場所名を前回の対面場所を示す人物情報とすることを特徴とする請求項１または２記載の人物検索登録システム。
7. 前記検索手段は、前記視線センサによって検出される視線に基づいて、検索または登録すべき顔を特定することを特徴とする請求項１ないし６のいずれか１項に記載の人物検索登録システム。
8. 視線の変化と前記眼鏡装置に入力すべき指示内容との対応関係を記憶する視線指示記憶手段と、入力すべき指示内容に対応する視線の変化を設定するための設定手段とを備えたことを特徴とする請求項１ないし７のいずれか１項に記載の人物検索登録システム。
9. 前記登録表示制御手段は、同一の人物について、複数の顔画像またはそれら顔画像から得られる特徴量をレコードに記録することを特徴とする請求項１ないし８のいずれか１項に記載の人物検索登録システム。

Images