JP2004258764A - 人物情報管理システムおよび人物情報管理装置 - Google Patents
人物情報管理システムおよび人物情報管理装置 Download PDFInfo
- Publication number
- JP2004258764A JP2004258764A JP2003046092A JP2003046092A JP2004258764A JP 2004258764 A JP2004258764 A JP 2004258764A JP 2003046092 A JP2003046092 A JP 2003046092A JP 2003046092 A JP2003046092 A JP 2003046092A JP 2004258764 A JP2004258764 A JP 2004258764A
- Authority
- JP
- Japan
- Prior art keywords
- face
- face image
- person
- personal information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】低照合率の顔照合技術において確実に人物を識別でき、また物理媒体を使用せず、操作性の高い人物情報管理システムを提供する。
【解決手段】人物の画像を撮像入力する画像入力手段と、複数人物の顔画像を任意の間蓄積し、照合手段に送信する顔画像検出手段と、受信した顔画像から顔特徴情報を抽出し、顔特徴データベースに登録されている複数の顔特徴情報と比較して類似度を算出し、類似度が高い複数の登録人物の個人情報を、データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用い、絞り込み情報によって照合結果を分類する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群と、顔画像と絞り込み情報を含む分類された照合結果とを表示する表示画面を作成する表示選択手段を有し、表示画面中の対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示する。
【選択図】 図１
【解決手段】人物の画像を撮像入力する画像入力手段と、複数人物の顔画像を任意の間蓄積し、照合手段に送信する顔画像検出手段と、受信した顔画像から顔特徴情報を抽出し、顔特徴データベースに登録されている複数の顔特徴情報と比較して類似度を算出し、類似度が高い複数の登録人物の個人情報を、データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用い、絞り込み情報によって照合結果を分類する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群と、顔画像と絞り込み情報を含む分類された照合結果とを表示する表示画面を作成する表示選択手段を有し、表示画面中の対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介して顔画像照合を利用する人物情報管理システムおよび人物情報管理装置に関する。
【０００２】
【従来の技術】
現在の顧客管理においてワントゥワンマーケティング的考えが重要視されている。ワントゥワンマーケティングにおいて顧客識別は重要である。ショールームでの顧客識別においては、販売員の記憶にたよるものとなる。しかし、顧客数が多くなると、記憶のみの識別では困難となる。また、商品などの支払いの際に顧客にカード等の識別情報媒体の掲示を要求する方法では、購入前の接客に対応することができない。また、現在のレストランやホテル等の予約は電話やＷＥＢによる予約がほとんどである。しかし、電話やＷＥＢ処理のみ予約情報ではその人物が本当に予約人物であるか確認することができない。
【０００３】
上記問題を解決するために、従来、人の記憶やカード等の識別情報媒体を使用せずに人物を特定するシステムとして以下のものが提案されている。顧客のバイオメトリクス情報と顧客識別コードを関連付けしたデータベース、顧客識別コードと顧客取引情報とを関連付けたデータベースの情報と人検センサ等に備え付けカメラからの顔画像のバイオメトリクス情報を顔認識ソフトウェアによって照合を行い、該当する顧客情報を取りだしディスプレイに表示する顧客管理方法がある（例えば、特許文献１参照）。また、顧客の顔を数値化し、数値と前回のサービスを関連付けたデータベースと監視カメラからの情報とを照合して、適合率が規定値以上の場合、顧客と判断し、規定値以上の顔画像を端末に表示する。その中から当該人物を選択して顧客情報を表示する顧客管理方法がある（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開２００１−３２５４３３号公報
【特許文献２】
特開２００２−７６８３号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記特許文献１および２記載の発明には問題点がある。１つ目の問題点として、店舗や施設のカメラに写る顔画像の人物全てについて結果を表示するものであるが、カメラに写しだされた人物の全てが利用者とは限らないので、検索する労力と時間がかかる。２つ目の問題点として、顔照合技術は規定値以上の照合結果を得られるとは限らない。つまり、従来は生態的特徴を用いて個人認証を行う際に高精度の個人認証技術が前提となっており、類似度のみの結果によって個人を判断しているが、このような類似度のみの照合では安易に個人を特定することはできない。また、規定値以上の照合結果を得られたとしても、その数が少数とは限らず、選択に時間を要するので効率が悪い。
【０００６】
本発明は、上記事情を鑑みてなされたものであり、人の記憶やカード等の識別情報媒体を使用せずに、カメラに写る複数の顔画像の中から特定の顔画像を選択して、その人物の登録情報を検索できる顔検索機能を用いた人物情報管理システムおよび人物情報管理装置を提供することを目的とする。
【０００７】
また、本発明は、登録人物を特定する顔検索結果を分類して表示することで、顔照合技術において複数の照合結果の中から検索対象人物を絞り込むことができる人物情報管理システムおよび人物情報管理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる前記個人情報を用いて、予め定められた複数の絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面に表示された対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示することを特徴とする。
【０００９】
請求項２記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いて、先に第１の表示選択手段から受信した複数の絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像が表示される表示画面中から、当該人物と同一人物の顔画像をユーザによって選択されると、当該人物の個人情報を表示することを特徴とする。
【００１０】
請求項３記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用いて予め定められた単一の絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面中の当該人物の顔画像がユーザによって選択されると当該人物の個人情報を表示することを特徴とする。
【００１１】
請求項４記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の前記顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像を送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いてユーザによって選択された単一の絞り込み情報を基に分類した照合結果を表示する表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像を表示し、表示画面中から当該人物と同一人物の顔画像を前記ユーザによって選択されると、当該人物の個人情報を表示することを特徴とする。
【００１２】
請求項５記載の人物情報管理システムは、請求項２または４のいずれか１項に記載の人物情報管理システムにおいて、顔画像検出手段は、顔画像と顔画像に対応したインデックスを作成し、両者を表示選択手段および照合手段に送信し、表示選択手段および絞り込み手段は、顔画像の代わりにインデックスを送信し、照合手段は、絞り込み手段から得たインデックスと顔画像を対応付けることを特徴とする。
【００１３】
請求項６記載の人物情報管理装置は、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用いて、予め定められた絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と前記絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面に表示された対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示することを特徴とする。
【００１４】
請求項７記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いて先に第１の表示選択手段から受信した絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像が表示される前記表示画面中から、当該人物と同一人物の顔画像を前記ユーザによって選択されると、当該人物の個人情報を表示することを特徴とする。
【００１５】
請求項８記載の人物情報管理装置は、請求項６または７のいずれか１項に記載の人物情報管理装置において、前記絞り込み情報は、単一および複数のいずれか一方であることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態である人物情報管理システムについて添付図面を参照しながら詳細に説明する。
【００１７】
本発明の実施例の機能構成は図５の通りである。大別すると顔照合機能１００、顔検索機能２００、表示・検索機能３００から構成されている。
【００１８】
まず、顔照合機能１００は、ワークステーション・サーバ等またはパーソナルコンピュータ等のハードウェアと顔検出と顔照合を行うソフトウェアおよび登録人物顔特徴量情報を持つデータベース等で構成される。詳述すると以下の部位に分けられる。
【００１９】
顔領域検出部１０１は、カメラの映像（動画）から顔領域を検出する。顔領域を検出した場合は顔画像（静止画）を取得する。顔検出ソフトウェアの機能の一部とする。顔検出結果テンポラリ１０２は、任意の時間に顔領域検出部１０１で取得した顔画像を保存する。顔検出結果送信部１０３は、顔検出結果テンポラリの顔検出結果を表示・検索機能３００に送信する。なお、顔照合部１００と表示・検索機能３００とを接続するには、ＬＡＮ、無線ＬＡＮまたはインターネット等のネットワークを用いる。
【００２０】
顔特徴量抽出部１０４は、検索対象顔画像から顔特徴量を抽出する。顔検出ソフトウェアの機能の一部とする。顔照合部１０５は、顔特徴量抽出部１０４で取得した顔特徴量とあらかじめ登録人物顔特徴量データベース１０９に登録されている特徴量とを比較して照合率を算出する。顔照合ソフトの機能の一部とする。
算出された照合率の値が一番高い個人コードを一位照合とし、任意の順位までの結果を照合結果として取得する。次に、照合結果を顔検索機能２００における顔検索処理部２０３に送信する。
【００２１】
登録人物情報受信部１０６は、表示・検索機能３００における登録人物情報送信部３０９から送信される登録人物情報を受信する。次に個人コードを採番する。
登録人物個人情報送信部１０７は、登録人物情報受信部１０６で受信した登録人物情報の中から顔特徴量以外の情報を顔検索機能２００の登録人物個人情報受信部２０５に送信する。
【００２２】
登録人物顔特徴量登録部１０８は、登録人物情報受信部１０６で受信した人物情報のうち顔特徴量と個人コードを登録人物顔特徴量データベース１０９に登録する。登録人物顔特徴量データベース１０９は、個人コードと登録人顔特徴量を関連したデータベースである。各処理からの要求に対し顧客顔特徴量の入出力をする。
【００２３】
次に、顔検索機能２００は、ワークステーション・サーバ等またはパーソナルコンピュータ等のハードウェアと顔検索を行うソフトウェアと登録人物個人情報をもつデータベースより構成される。詳述すると以下の部位に分けられる。
【００２４】
顔検索条件受信部２０１は、表示・検索機能３００における顔検索条件送信部３０３から送信される検索条件を受信する。検索対象顔画像送信部２０２は、顔検索条件受信部２０１で受信した情報のうち顔画像のみを顔照合機能１００の検索対象顔画像受信部１０４に送信する。
【００２５】
顔検索処理部２０３は、顔照合機能１００で取得した顔照合結果について、顔検索条件受信部２０１で取得した絞り込み情報をもとに分類する。すなわち照合結果の個人コードとあらかじめ個人情報データベース２０７に登録されている同一の個人コードと関係する個人情報を取得する。次に個人情報の中から絞り込み情報に当該する項目の値を参照して、照合結果を分類する。
【００２６】
顔検索結果情報送信部２０４は、顔検索処理部２０３の照合結果情報を表示・検索機能３００の顔検索結果情報受信部３０４に送信する。
【００２７】
登録人物個人情報受信部２０５は、顔照合部における登録人物個人情報送信部１０７から送信された個人情報を受信する。登録人物個人情報登録部２０６は、登録人物個人情報受信部２０５で受信した個人情報と個人コードを登録人物個人情報データベース２０７に登録する。
【００２８】
登録人物個人情報データベース２０７は、個人コード、名前、生年月日、性別、住所等、適用サービスで必要になる情報、絞り込み情報（人物の見た目上の特徴等）、顔画像を関連したデータベースである。各処理からの要求に対し登録人物個人情報を入出力する。
【００２９】
表示・検索機能３００はパーソナルコンピュータ等のハードと顔検出と顔照合を行うソフトである。詳述すると以下の部位に分けられる。
【００３０】
顔検出結果受信部３０１は、ある一定時間に顔照合機能１００で検出された顔画像群を顔検出結果送信部１０４から受信する。顔検出結果表示部３０２は、顔検出結果受信部３０１で受信した顔画像群を顔検出結果画面を作成しディスプレイに表示する。顔検出結果の顔画像群の中から検索対象とする顔画像の選択とその顔を分類するための絞り込み情報を追加して顔検索情報を作成する。
【００３１】
新規顧客登録や顧客情報の更新の際に、名前、生年月日等の情報、顧客との取引、顧客へのサービス方針、分類項目情報を入力する。顔検索情報送信部３０３は、顔検出結果表示部３０２で作成された顔検索情報を顔検索機能部２００の顔検索情報受信部２０１に送信する。顔検索結果情報受信部３０４は、顔検索機能２００の顔検索処理部２０３で分類された顔検索結果を顔検索機能２００の顔検索結果情報送信部２０４から受信する。
【００３２】
顔検索結果情報表示部３０５は、顔検索結果情報受信部３０４で受信した顔検索結果情報を各分類項目毎分けた画面を作成しディスプレイに表示する。画面毎に照合率の値が高い顔画像を左から順に表示する。その画像群の中から検索対象とした顔画像と同一の顔画像を選択することによりその顔画像の人物の個人情報を表示する。
【００３３】
登録人物顔領域検出部３０６は、人物を登録する場合は、表示・検索機能３００にカメラを接続する。そのカメラ映像（動画）から顔領域を検出する。顔領域を検出した場合は顔画像（静止画）を取得する。顔検出ソフトの機能の一部とする。
【００３４】
登録人物顔特徴量抽出部３０７は、登録人物顔領域検出部３０６で取得した顔画像から顔特徴量を抽出する。顔検出ソフトの機能の一部とする。登録人物個人情報入力部３０８は、登録人物の名前、生年月日、性別、住所等、適用サービスで必要になる情報、絞り込み情報（人物の見た目上の特徴等）を入力画面より入力する。
【００３５】
登録人物個人情報送信部３０９は、登録人物顔領域検出部３０６の顔画像と登録人物顔特徴量抽出部３０７の顔特徴量と登録人物個人情報入力部３０８の登録人物個人情報を顔照合機能１００の登録人物個人情報受信部１０６に送信する。
【００３６】
次に、本発明の第１の実施形態のシステム構成例について、図１を参照して説明する。まず、オペレータは照合したい対象人物の個人情報と、絞り込み情報とをキーワードを用いて予め登録しておく。
【００３７】
図１における検出部２０は、画像入力部１０が得た複数の人物が写る映像から１人１人の顔の領域を切り出し（以後、このことを顔検出とする）顔画像として取得する。それらの顔画像を任意の時間蓄積し、任意の時間経過後に照合部３０に送信する。
【００３８】
照合部３０は、受信した顔画像から顔の個人特徴を数値変換した情報（以後このことを顔特徴量とする）を抽出し、顔特徴データベース４０内の人物の顔特徴量を比較して類似度を算出する。類似度が最も高い順位（１位）の登録人物から任意の順位までの登録人物までの個人コードを基に個人情報データベース６０を参照して個人情報を取得する。
【００３９】
絞り込み部５０は、照合結果に含まれる個人情報を用いて、予め定められた複数の絞り込み情報によって分類する。例として情報を年齢、性別とした場合、１０代における照合結果の順位、２０代における照合結果の順位…とし照合結果を分類し、その情報を表示・選択部７０に送信する。
【００４０】
表示・選択部７０は、検出部２０で検出した複数の顔画像群をディスプレイに表示する。ここで、表示・選択部７０は、顔画像と絞り込み情報を含む、照合結果を表示する画面を作成する。オペレータは表示された結果の中から検索対象となる人物を目視により対象人物であるかどうかを確認する。画面の中から当該人物の顔画像を選択するとその対象人物の個人情報を表示する。
【００４１】
次に、図６および図９を参照して本発明の第１の実施形態の動作について詳細に説明する。
【００４２】
まず、顧客管理サービスに使用した場合についての基本的動作を図６に示す。
販売員は、会計時にお客様に対して顧客登録の許可をとり、顧客の個人情報および会計場所に設置されているカメラからの顔画像と、その顔特徴量と、複数の絞り込み情報から選択した複数のキーワードとを表示・検索機能を持つ端末を介して、顔検索機能を持つ顧客管理サーバの個人情報データベースに登録する（図６−▲１▼）。個人情報データベースに登録する内容は以下のような内容である。
・ 顧客とのコミュニケーションや会員登録用紙から入手した氏名、年齢、生年月日、住所等の基本情報。
・ 今回の販売取引内容
・顧客の性質（話好き、人見知り、好きな色・形等）
・絞り込み情報（性別：男・女、眼鏡：有・無、年齢層：２０代前半等の見た目上の特徴）
【００４３】
設置するカメラについては、監視カメラや端末とＵＳＢやＩＥＥＥ１３９４インターフェースを介して接続するカメラでも入力は可能とする。
【００４４】
まず、顧客が再来店した際にショールームの入り口に設置されている監視カメラから撮影された映像を基に顔照合機能を持つ顔照合サーバの顔検出ソフトを使用して顔画像を取得し、規定時間を経過するとその間に蓄えられた顔検出結果を顔照合サーバに送信する（図６−▲２▼）。
【００４５】
顔照合サーバは受信した顔画像から顔検出ソフトを使用して顔特徴量の抽出を行う。次に、顔照合ソフトを使用して登録人物顔特徴量データベースに登録されている顧客の顔特徴量と顔照合を行い、照合結果である照合率と個人コードを取得する。個人コードは、個々の情報を識別するためのコードである。次に、取得した顔照合結果を顧客管理サーバに送信する（図６−▲５▼）。
【００４６】
顧客管理サーバは、受信した顔照合結果の個人コードを基に個人情報データベースの個人情報を取得する。次に、取得した個人情報の中から、予め絞り込みキーワードとして登録された複数の絞り込み情報を基に照合結果を分類し、顔検索情報として販売員の携帯端末に送信する。
【００４７】
携帯端末上に図９の画面を作成してディスプレイに表示する。検索結果画面は分類した顔検索結果別に表示する。例として年齢層別に表示する画面を作成し年齢層毎に切り替えることを可能とする（図９−▲１▼）。また、検索結果画面内の顔画像は照合率の高い順に左から表示する（図９−▲２▼）。販売員は、表示された結果の中から対象となる人物を確認する。
【００４８】
販売員は、目視により確認した対象人物の顔画像を選択する。選択された顔画像は別領域に拡大して表示する（図９−▲３▼）。決定ボタンを押下することで、その画像に対応する人物の顧客情報をディスプレイに表示する。表示する顧客情報は登録の際に入力された顧客情報の他に、その情報を基に作成された個別対応マニュアル等を表示することで、販売員の誰もが統一されたサービスを提供することができる（ステップ図６−▲６▼）。
【００４９】
会計時に今回の販売取引や新たな顧客情報等を検索・表示端末を介して顧客管理サーバの情報を更新する（ステップ図６−▲７▼）。顔画像においても更新をかけることが望ましい。以上が第１の実施形態における顧客管理サービスを行う場合の動作である。
【００５０】
以上、本発明の第１の実施形態では、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を絞り込むことができる。
【００５１】
次に、本発明の第２の実施形態のシステム構成例について、図２を参照して説明する。図２における検出部２０は、画像入力部１０が得た複数の人物が写る映像から１人１人の顔の領域を切り出し顔画像として取得する。それらの顔画像を任意の時間蓄積し、時間経過後に表示・選択部７０に送信する。
【００５２】
表示・選択部７０は、検出部２０から送信された複数の顔画像群をディスプレイに表示する。次に、顔画像群の中からユーザによって選択された顔画像と複数の絞り込み情報を絞り込み部５０に送信する。
【００５３】
絞り込み部５０は、受信した顔画像を照合部３０に送信し、照合結果を得る。
照合部３０は顔画像から顔特徴量を抽出し、顔特徴データベース４０内の人物の顔特徴量を比較して類似度を算出する。類似度が最も高い順位（１位）の登録人物から任意の順位までの登録人物までの個人コードを基に個人情報データベース６０を参照して個人情報を取得する。個人コードとは、個々の情報を識別するためのコードである。
【００５４】
絞り込み部５０は、照合結果に含まれる個人情報を用いて、先に表示・選択部７０から受信した複数の絞り込み情報を基に分類し、その情報を表示・選択部８０に送信する。
【００５５】
表示・選択部８０は受信した情報を基に照合結果を表示する画面を作成する。
これにより照合結果である複数の候補の顔画像から対象とする人物を見つけやすくする。画面の中から当該人物と同一人物の顔画像を選択するとその人物の個人情報を表示する。
【００５６】
次に、図６および図８、図９を参照して本発明の第２の実施形態の動作について詳細に説明する。
【００５７】
第１の実施形態と同じように、販売員は、会計時にお客様に対して顧客登録の許可をとり、顧客の個人情報および会計場所に設置されているカメラからの顔画像と、その顔特徴量と、複数の絞り込み情報とを表示・検索機能を持つ端末を介して、顔検索機能を持つ顧客管理サーバの個人情報データベースに登録する（図６−▲１▼）。個人情報データベースに登録する内容は上記第１の実施形態と同じである。また、使用するカメラも同様のものとする。
【００５８】
顧客が再来店した際にショールームの入り口に設置されている監視カメラから撮影された映像を基に顔照合機能を持つ顔照合サーバの顔検出ソフトを使用して顔画像を取得し（図６−▲２▼）、規定時間を経過するとその間に蓄えられた顔検出結果を販売員の持つ表示・検索機能を持つ携帯端末に送信する（図６−▲３▼）。そして、図８に示すように携帯端末上のディスプレイに画面を表示する。
【００５９】
販売員は受信した検出結果が表示された画面の中から、これから接触しようとする目の前のお客様を探し、その顔画像を選択する（図８−▲１▼）。次に、検索したい顔画像の人物の絞り込み情報を入力する（図８−▲２▼）。絞り込み情報の例として年齢層を追加する。次に、検索ボタンの押下により顔検索機能を持つ顧客管理サーバに顔検索条件を送信する（図８−▲３▼、図６−▲４▼）。
【００６０】
顧客管理サーバは受信した顔検索条件の中の顔画像を抽出し、顔照合サーバに送信する。次に、顔照合サーバは受信した顔画像から顔検出ソフトを使用して顔特徴量の抽出を行う。次に、顔照合ソフトを使用して登録人物顔特徴量データベースに登録されている顧客の顔特徴量と顔照合を行い、照合結果である照合率と個人コードを取得する。次に、取得した顔照合結果を顧客管理サーバに送信する（図６−▲５▼）。
【００６１】
顧客管理サーバは、受信した顔照合結果の個人コードを基に個人情報データベースの個人情報を取得する。次に、取得した個人情報の中から先に受信した絞り込み情報を基に照合結果を分類し顔検索情報として携帯端末に送信する。
【００６２】
携帯端末上に図９に示す画面を作成して、ディスプレイに顔検索情報は表示される。検索結果画面は分類した顔検索結果別に表示する。例として年齢層別に表示する画面を作成し年齢層毎に切り替える（図９−▲１▼）ことを可能とする。また、検索結果画面内の顔画像は照合率の高い順に左から表示する（図９−▲２▼）。
【００６３】
販売員が検索対象顔画像と同一人物の顔画像を選択する。選択された顔画像は別領域に拡大して表示する（図９−▲３▼）。決定ボタンを押下することで、その画像に対応する人物の顧客情報をディスプレイに表示する。表示する顧客情報は登録の際に入力された顧客情報の他に、その情報を基に作成された個別対応マニュアル等を表示することで、販売員の誰もが統一されたサービスを提供することができる（図６−▲６▼）。
【００６４】
会計時に今回の販売取引や新たな顧客情報等を検索・表示端末を介して顧客管理サーバの情報を更新する（図６−▲７▼）。顔画像においても更新をかけることが望ましい。以上が顧客管理サービスを行う場合の動作である。
【００６５】
以上、本発明の第２の実施形態によれば、第１の効果は、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ個人情報を取得することができることである。第２の効果は、照合率の低い顔照合技術において、複数の照合結果の中から検索対象人物を絞り込むことができることである。
【００６６】
次に、本発明の第３の実施形態のシステム構成例について、図３を参照して説明する。図３における検出部２０は、画像入力部１０が得た複数の人物が写る映像から１人１人の顔の領域を切り出し顔画像として取得する。それらの顔画像を任意の時間蓄積し、時間経過後に照合部３０に送信する。
【００６７】
照合部３０は、受信した顔画像から顔特徴量を抽出し、顔特徴データベース４０内の人物の顔特徴量を比較して類似度を算出する。類似度が最も高い（１位）登録人物から任意の順位までの登録人物までの個人コードを基に個人情報データベース６０を参照して個人情報を取得する。
【００６８】
絞り込み部５０は、照合結果に含まれる個人情報を用いて、予め設定された単一の絞り込み情報を基に分類し、その情報を表示・選択部７０に送信する。
【００６９】
表示・選択部７０は、検出部２０で検出した複数の顔画像群をディスプレイに表示する。次に顔画像群の中から任意の顔画像を選択することにより、絞り込み部５０の照合結果の中から選択された顔画像の照合結果を表示する画面を作成する。これによりユーザは照合結果である複数の候補の顔画像から対象とする人物を目視により確認する。画面の中から当該人物と同一人物の顔画像を選択するとその人物の個人情報を表示する。
【００７０】
次に、本発明の第３の実施形態の動作を説明する。第１の実施形態と同じように、まず、販売員は会計時にお客様に対して顧客登録の許可をとり、顧客の個人情報および会計場所に設置されているカメラからの顔画像と、その顔特徴量と、単一の絞り込み情報とを表示・検索機能を持つ端末を介して、顔検索機能を持つ顧客管理サーバの個人情報データベースに登録する（図６−▲１▼）。個人情報データベースに登録する内容は上記第１の実施形態と同じである。また、使用するカメラも同様のものとする。
【００７１】
顧客が再来店した際にショールームの入り口に設置されている監視カメラから撮影された映像を基に顔照合機能を持つ顔照合サーバの顔検出ソフトを使用して顔画像を取得し（図６−▲２▼）、規定時間を経過するとその間に蓄えられた顔検出結果を顔照合サーバに送信する。
【００７２】
顔照合サーバは受信した顔画像から顔検出ソフトを使用して顔特徴量の抽出を行う。次に、顔照合ソフトを使用して登録人物顔特徴量データベースに登録されている顧客の顔特徴量と顔照合を行い照合結果である照合率と個人コードを取得する。次に、取得した顔照合結果を顧客管理サーバに送信する（図６−▲５▼）。
【００７３】
顧客管理サーバは、受信した顔照合結果の個人コードを基に個人情報データベースの個人情報を取得する。次に、取得した個人情報の中から予め設定された単一の絞り込み情報を基に照合結果を分類し顔検索情報として販売員の携帯端末に送信する。
【００７４】
携帯端末上に図９の画面を作成してディスプレイに表示する。検索結果画面は分類した顔検索結果別に表示する。例として年齢層別に表示する画面を作成し年齢層毎に切り替えることを可能とする（図９−▲１▼）。また、検索結果画面内の顔画像は照合率の高い順に左から表示する（図９−▲２▼）。販売員は、表示された結果の中から対象となる人物を目視により確認する。
【００７５】
販売員が検索対象顔画像の顔画像を選択する。選択された顔画像は別領域に拡大して表示する（図９−▲３▼）。決定ボタンを押下することで、その画像に対応する人物の顧客情報をディスプレイに表示する。表示する顧客情報は登録の際に入力された顧客情報の他に、その情報を基に作成された個別対応マニュアル等を表示することで、販売員の誰もが統一されたサービスを提供することができる（図６−▲６▼）。
【００７６】
会計時に今回の販売取引や新たな顧客情報等を検索・表示端末を介して顧客管理サーバの情報を更新する（図６−▲７▼）。顔画像においても更新をかけることが望ましい。以上が第３の実施形態にかかる顧客管理サービスを行う場合の動作である。
【００７７】
以上、本発明の第３の実施形態では、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を絞り込むことができる。
【００７８】
次に、本発明の第４の実施形態のシステム構成例について、図４を参照して説明する。図４における検出部２０は、画像入力部１０が得た複数の人物が写る映像から１人１人の顔の領域を切り出し顔画像として取得する。それらの顔画像を任意の時間蓄積し、時間経過後に表示・選択部７０に送信する。
【００７９】
表示・選択部７０は、検出部２０から送信された複数の顔画像群をディスプレイに表示する。次に、顔画像群の中から顔画像を絞り込み部５０に送信する。
【００８０】
絞り込み部５０は、受信した顔画像を照合部３０に送信し、照合結果を得る。
照合部３０は顔画像から顔特徴量を抽出し、顔特徴データベース４０内の人物の顔特徴量を比較して類似度を算出する。類似度が最も高い（１位）登録人物から任意の順位までの登録人物までの個人コードを基に個人情報データベース６０を参照して個人情報を取得する。
【００８１】
絞り込み部５０は、照合結果に含まれる個人情報を用いて、ユーザによって設定された単一の絞り込み情報を基に分類し、その情報を表示・選択部８０に送信する。
【００８２】
表示・選択部８０は受信した情報を基に照合結果を表示する画面を作成する。
これにより照合結果である複数の候補の顔画像から対象とする人物を見つけやすくする。画面の中から当該人物と同一人物の顔画像を選択するとその人物の個人情報を表示する。
【００８３】
次に、本発明の第４の実施形態の動作を説明する。本発明の第４の実施形態はインターネットを介した予約管理サービスを行う場合の動作を説明する。流れは図７のようになる。
【００８４】
まず、ホテルやレストラン等の利用者は自分の端末を用いてインターネットを介して予約登録行う（図７―▲１▼）。登録手段はＷＥＢページ上から個人情報およびＵＳＢやＩＥＥＥ１３９４インターフェースを介して端末に接続するカメラで撮影した顔画像を予約管理サーバにインターネットを介して登録する。また、カメラ付き携帯により撮影した顔画像を個人情報等の記入された電子メールに添付し送信することで登録を行うことも可能である。登録する個人情報の内容は以下のような内容である。
・ 氏名、年齢、生年月日、住所等の基本情報。
・ 予約内容
【００８５】
顔検索機能を持つ予約管理サーバ（ＷＥＢサーバ）は、登録情報を個人情報データベースに登録する。登録情報の中の顔画像においては顔照合機能を持つ顔照合サーバにも送信する。顔照合サーバでは顔画像から顔特徴量を抽出し顔特徴量データベースに登録する。
【００８６】
次に、予約利用者が施設に来場した際に施設の入り口に設置されている監視カメラから撮影された映像を基に顔照合サーバ上の顔検出ソフトを使用して顔画像を取得し、顔検出結果として従業員の表示・検索機能を持つ端末に送信する（図７−▲２▼）。
【００８７】
従業員は受信した検出結果の中から検索したい顔画像（図８−▲１▼）を選択する。次に、従業員が検索したい顔画像の人物の絞り込み情報を入力する（図８−▲２▼）。例として年齢層を単一キーワードとして入力する。ホテルやレストラン次に検索ボタンの押下により予約管理サーバ（ＷＥＢサーバ）に顔検索条件を送信する（図８−▲３▼、図７−▲４▼）。
【００８８】
予約管理サーバ（ＷＥＢサーバ）は受信した顔検索条件の中の顔画像を抽出し、顔照合サーバに送信する。次に顔照合サーバは受信した顔画像から顔検出ソフトを使用して顔特徴量の抽出を行う。次に顔照合ソフトを使用して登録人物顔特徴量データベースに登録されている予約者の顔特徴量と顔照合を行い照合結果である照合率と個人コードを取得する。次に取得した顔照合結果を予約管理サーバ（ＷＥＢサーバ）に送信する（図７−▲５▼）。
【００８９】
予約管理サーバ（ＷＥＢサーバ）は、受信した顔照合結果の個人コードを基に個人情報データベースの個人情報を取得する。次に取得した個人情報の中から絞り込み情報の項目を抽出し、その値を基に照合結果を分類し顔検索情報とし、従業員の端末に送信する。
【００９０】
従業員の端末上に図９の画面を作成してディスプレイに表示する。検索結果画面は分類した顔検索結果別に表示する。例として年齢層別に表示する画面を作成し年齢層毎に切り替える（図９−▲１▼）ことを可能とする。また検索結果画面内の顔画像は照合率の高い順に左から表示する（図９−▲２▼）。従業員が検索対象顔画像と同一人物の顔画像を選択する。選択された顔画像は別領域に拡大して表示する（図９−▲３▼）。決定ボタンを押下することで、その画像に対応する人物の予約情報をディスプレイに表示する。予約情報から予約者が受付場所に到着する前に予約者の予約情報および予約者の認証を行うことができる。またＶＩＰ対応等の個別サービスも行うことができる（図９−▲６▼）。
【００９１】
以上、本発明の第４の実施形態では、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ個人情報を取得することができる。また照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を絞り込むことができる。
【００９２】
よって、上述の各実施形態で説明したように、本発明は顔画像を利用した人物管理装置において操作性の高い対象人物の同定機能を提供することができる。本発明の人物情報管理システムは、登録人物の顔画像を保持し、顔照合技術により対象人物を識別し、これによりカードの掲示や名前の問いかけなしに人物を特定することができる。このとき顔照合技術における照合結果である複数の候補の中から以下の４方法を実施することで容易に対象人物を絞り込むことができる。
１． 複数の顔の中から任意の顔を選択する。
２． キーワード追加により顔検索結果を絞り込む。
３． キーワード毎に表示する。
４． 顔検索結果を予め定めたキーワードに従って分類して表示する。
【００９３】
また、図１、図３に示す第１および第３の実施形態では、予め各人物に対し、照合を行っているため、本発明のシステムを使用することにより、ホテル等のＶＩＰ対応や監視システムに応用が可能である。また、テロリスト等の注意人物をシステムに登録しておき、監視カメラ等から入力された人物との照合を行い、その結果である類似度がある規定の値より高い場合は、キーワードにより絞り込んだ結果をオペレータの端末に表示する等の利用が考えられる。
【００９４】
また、図２、図４における表示・検索部７０は、絞り込み部５０に顔画像を送信しているが、顔画像に対応したインデックスを用いても実現可能である。この場合は、検出部２０で顔画像とその顔画像に対応したインデックスを作成し、両者を表示・選択部７０に送信する。表示・選択部７０―絞り込み部５０は、画像の代わりにインデックスを送信する。このとき検出部２０は、顔画像とインデックスを顔照合部３０に送信しておくこととし、照合部３０では、絞り込み部５０から得たインデックスと顔画像を対応づけることができる。
【００９５】
【発明の効果】
請求項１記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる前記個人情報を用いて、予め定められた複数の絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面に表示された対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示することを特徴とするので、特定の検索したい対象人物について、カードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【００９６】
請求項２記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いて、先に第１の表示選択手段から受信した複数の絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像が表示される表示画面中から、当該人物と同一人物の顔画像をユーザによって選択されると、当該人物の個人情報を表示することを特徴とするので、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【００９７】
請求項３記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用いて予め定められた単一の絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面中の当該人物の顔画像がユーザによって選択されると当該人物の個人情報を表示することを特徴とするので、特定の検索したい対象人物について、カードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【００９８】
請求項４記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の前記顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像を送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いてユーザによって選択された単一の絞り込み情報を基に分類した照合結果を表示する表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像を表示し、表示画面中から当該人物と同一人物の顔画像を前記ユーザによって選択されると、当該人物の個人情報を表示することを特徴とするので、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【００９９】
請求項５記載の人物情報管理システムによれば、請求項２または４のいずれか１項に記載の人物情報管理システムにおいて、顔画像検出手段は、顔画像と顔画像に対応したインデックスを作成し、両者を表示選択手段および照合手段に送信し、表示選択手段および絞り込み手段は、顔画像の代わりにインデックスを送信し、照合手段は、絞り込み手段から得たインデックスと顔画像を対応付けることを特徴とするので、システム間で送受信する情報量を削減できる。
【０１００】
請求項６記載の人物情報管理装置によれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用いて、予め定められた絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と前記絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面に表示された対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示することを特徴とするので、検索したい特定の対象人物について、カードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【０１０１】
請求項７記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いて先に第１の表示選択手段から受信した絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像が表示される前記表示画面中から、当該人物と同一人物の顔画像を前記ユーザによって選択されると、当該人物の個人情報を表示することを特徴とするので、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【０１０２】
請求項８記載の人物情報管理装置は、請求項６または７のいずれか１項に記載の人物情報管理装置において、前記絞り込み情報は、単一および複数のいずれか一方であることを特徴とするので、絞り込み情報の設定において多様な選択ができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である人物情報管理システムの構成例を示す図である。
【図２】本発明の第２の実施形態である人物情報管理システムの構成例を示す図である。
【図３】本発明の第３の実施形態である人物情報管理システムの構成例を示す図である。
【図４】本発明の第４の実施形態である人物情報管理システムの構成例を示す図である。
【図５】本発明の実施形態である人物情報管理システムの内部構成例を示すブロック図である。
【図６】本発明の実施形態である人物情報管理システムの顧客管理に係る動作例を示す図である。
【図７】本発明の実施形態である人物情報管理システムの予約管理に係る動作例を示す図である。
【図８】本発明の実施形態である人物情報管理システムの情報入力画面の例を示す図である。
【図９】本発明の実施形態である人物情報管理システムのユーザ選択画面の例を示す図である。
【符号の説明】
１０ 画像入力部
２０ 検出部
３０ 照合部
４０ 顔特徴ＤＢ
５０ 絞り込み部
６０ 個人情報ＤＢ
７０ 表示・選択部
８０ 表示・選択部
９０ 登録部
１００ 顔照合機能
１０１ 顔領域検出部
１０２ 顔検出結果テンポラリ
１０３ 顔検出結果送信部
１０４ 顔特徴量抽出部
１０５ 顔照合部
１０６ 登録人物情報受信部
１０７ 登録人物個人情報送信部
１０８ 登録人物顔特徴量登録部
１０９ 登録人物特徴量データベース
２００ 顔検索機能
２０１ 顔検索条件受信部
２０２ 検索対象顔画像送信部
２０３ 顔検索処理部
２０４ 顔検索結果情報送信部
２０５ 登録人物個人情報受信部
２０６ 登録人物個人情報登録部
２０７ 登録人物個人情報データベース
３００ 表示・検索機能
３０１ 顔検出結果受信部
３０２ 顔検出結果表示部
３０３ 顔検索情報送信部
３０４ 顔検索結果情報受信部
３０５ 顔検索結果情報表示部
３０６ 登録人物顔領域検出部
３０７ 登録人物顔特徴量抽出部
３０８ 登録人物個人情報入力部
３０９ 登録人物個人情報送信部
【発明の属する技術分野】
本発明は、ネットワークを介して顔画像照合を利用する人物情報管理システムおよび人物情報管理装置に関する。
【０００２】
【従来の技術】
現在の顧客管理においてワントゥワンマーケティング的考えが重要視されている。ワントゥワンマーケティングにおいて顧客識別は重要である。ショールームでの顧客識別においては、販売員の記憶にたよるものとなる。しかし、顧客数が多くなると、記憶のみの識別では困難となる。また、商品などの支払いの際に顧客にカード等の識別情報媒体の掲示を要求する方法では、購入前の接客に対応することができない。また、現在のレストランやホテル等の予約は電話やＷＥＢによる予約がほとんどである。しかし、電話やＷＥＢ処理のみ予約情報ではその人物が本当に予約人物であるか確認することができない。
【０００３】
上記問題を解決するために、従来、人の記憶やカード等の識別情報媒体を使用せずに人物を特定するシステムとして以下のものが提案されている。顧客のバイオメトリクス情報と顧客識別コードを関連付けしたデータベース、顧客識別コードと顧客取引情報とを関連付けたデータベースの情報と人検センサ等に備え付けカメラからの顔画像のバイオメトリクス情報を顔認識ソフトウェアによって照合を行い、該当する顧客情報を取りだしディスプレイに表示する顧客管理方法がある（例えば、特許文献１参照）。また、顧客の顔を数値化し、数値と前回のサービスを関連付けたデータベースと監視カメラからの情報とを照合して、適合率が規定値以上の場合、顧客と判断し、規定値以上の顔画像を端末に表示する。その中から当該人物を選択して顧客情報を表示する顧客管理方法がある（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開２００１−３２５４３３号公報
【特許文献２】
特開２００２−７６８３号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記特許文献１および２記載の発明には問題点がある。１つ目の問題点として、店舗や施設のカメラに写る顔画像の人物全てについて結果を表示するものであるが、カメラに写しだされた人物の全てが利用者とは限らないので、検索する労力と時間がかかる。２つ目の問題点として、顔照合技術は規定値以上の照合結果を得られるとは限らない。つまり、従来は生態的特徴を用いて個人認証を行う際に高精度の個人認証技術が前提となっており、類似度のみの結果によって個人を判断しているが、このような類似度のみの照合では安易に個人を特定することはできない。また、規定値以上の照合結果を得られたとしても、その数が少数とは限らず、選択に時間を要するので効率が悪い。
【０００６】
本発明は、上記事情を鑑みてなされたものであり、人の記憶やカード等の識別情報媒体を使用せずに、カメラに写る複数の顔画像の中から特定の顔画像を選択して、その人物の登録情報を検索できる顔検索機能を用いた人物情報管理システムおよび人物情報管理装置を提供することを目的とする。
【０００７】
また、本発明は、登録人物を特定する顔検索結果を分類して表示することで、顔照合技術において複数の照合結果の中から検索対象人物を絞り込むことができる人物情報管理システムおよび人物情報管理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる前記個人情報を用いて、予め定められた複数の絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面に表示された対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示することを特徴とする。
【０００９】
請求項２記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いて、先に第１の表示選択手段から受信した複数の絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像が表示される表示画面中から、当該人物と同一人物の顔画像をユーザによって選択されると、当該人物の個人情報を表示することを特徴とする。
【００１０】
請求項３記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用いて予め定められた単一の絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面中の当該人物の顔画像がユーザによって選択されると当該人物の個人情報を表示することを特徴とする。
【００１１】
請求項４記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の前記顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像を送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いてユーザによって選択された単一の絞り込み情報を基に分類した照合結果を表示する表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像を表示し、表示画面中から当該人物と同一人物の顔画像を前記ユーザによって選択されると、当該人物の個人情報を表示することを特徴とする。
【００１２】
請求項５記載の人物情報管理システムは、請求項２または４のいずれか１項に記載の人物情報管理システムにおいて、顔画像検出手段は、顔画像と顔画像に対応したインデックスを作成し、両者を表示選択手段および照合手段に送信し、表示選択手段および絞り込み手段は、顔画像の代わりにインデックスを送信し、照合手段は、絞り込み手段から得たインデックスと顔画像を対応付けることを特徴とする。
【００１３】
請求項６記載の人物情報管理装置は、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用いて、予め定められた絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と前記絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面に表示された対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示することを特徴とする。
【００１４】
請求項７記載の人物情報管理システムは、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いて先に第１の表示選択手段から受信した絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像が表示される前記表示画面中から、当該人物と同一人物の顔画像を前記ユーザによって選択されると、当該人物の個人情報を表示することを特徴とする。
【００１５】
請求項８記載の人物情報管理装置は、請求項６または７のいずれか１項に記載の人物情報管理装置において、前記絞り込み情報は、単一および複数のいずれか一方であることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態である人物情報管理システムについて添付図面を参照しながら詳細に説明する。
【００１７】
本発明の実施例の機能構成は図５の通りである。大別すると顔照合機能１００、顔検索機能２００、表示・検索機能３００から構成されている。
【００１８】
まず、顔照合機能１００は、ワークステーション・サーバ等またはパーソナルコンピュータ等のハードウェアと顔検出と顔照合を行うソフトウェアおよび登録人物顔特徴量情報を持つデータベース等で構成される。詳述すると以下の部位に分けられる。
【００１９】
顔領域検出部１０１は、カメラの映像（動画）から顔領域を検出する。顔領域を検出した場合は顔画像（静止画）を取得する。顔検出ソフトウェアの機能の一部とする。顔検出結果テンポラリ１０２は、任意の時間に顔領域検出部１０１で取得した顔画像を保存する。顔検出結果送信部１０３は、顔検出結果テンポラリの顔検出結果を表示・検索機能３００に送信する。なお、顔照合部１００と表示・検索機能３００とを接続するには、ＬＡＮ、無線ＬＡＮまたはインターネット等のネットワークを用いる。
【００２０】
顔特徴量抽出部１０４は、検索対象顔画像から顔特徴量を抽出する。顔検出ソフトウェアの機能の一部とする。顔照合部１０５は、顔特徴量抽出部１０４で取得した顔特徴量とあらかじめ登録人物顔特徴量データベース１０９に登録されている特徴量とを比較して照合率を算出する。顔照合ソフトの機能の一部とする。
算出された照合率の値が一番高い個人コードを一位照合とし、任意の順位までの結果を照合結果として取得する。次に、照合結果を顔検索機能２００における顔検索処理部２０３に送信する。
【００２１】
登録人物情報受信部１０６は、表示・検索機能３００における登録人物情報送信部３０９から送信される登録人物情報を受信する。次に個人コードを採番する。
登録人物個人情報送信部１０７は、登録人物情報受信部１０６で受信した登録人物情報の中から顔特徴量以外の情報を顔検索機能２００の登録人物個人情報受信部２０５に送信する。
【００２２】
登録人物顔特徴量登録部１０８は、登録人物情報受信部１０６で受信した人物情報のうち顔特徴量と個人コードを登録人物顔特徴量データベース１０９に登録する。登録人物顔特徴量データベース１０９は、個人コードと登録人顔特徴量を関連したデータベースである。各処理からの要求に対し顧客顔特徴量の入出力をする。
【００２３】
次に、顔検索機能２００は、ワークステーション・サーバ等またはパーソナルコンピュータ等のハードウェアと顔検索を行うソフトウェアと登録人物個人情報をもつデータベースより構成される。詳述すると以下の部位に分けられる。
【００２４】
顔検索条件受信部２０１は、表示・検索機能３００における顔検索条件送信部３０３から送信される検索条件を受信する。検索対象顔画像送信部２０２は、顔検索条件受信部２０１で受信した情報のうち顔画像のみを顔照合機能１００の検索対象顔画像受信部１０４に送信する。
【００２５】
顔検索処理部２０３は、顔照合機能１００で取得した顔照合結果について、顔検索条件受信部２０１で取得した絞り込み情報をもとに分類する。すなわち照合結果の個人コードとあらかじめ個人情報データベース２０７に登録されている同一の個人コードと関係する個人情報を取得する。次に個人情報の中から絞り込み情報に当該する項目の値を参照して、照合結果を分類する。
【００２６】
顔検索結果情報送信部２０４は、顔検索処理部２０３の照合結果情報を表示・検索機能３００の顔検索結果情報受信部３０４に送信する。
【００２７】
登録人物個人情報受信部２０５は、顔照合部における登録人物個人情報送信部１０７から送信された個人情報を受信する。登録人物個人情報登録部２０６は、登録人物個人情報受信部２０５で受信した個人情報と個人コードを登録人物個人情報データベース２０７に登録する。
【００２８】
登録人物個人情報データベース２０７は、個人コード、名前、生年月日、性別、住所等、適用サービスで必要になる情報、絞り込み情報（人物の見た目上の特徴等）、顔画像を関連したデータベースである。各処理からの要求に対し登録人物個人情報を入出力する。
【００２９】
表示・検索機能３００はパーソナルコンピュータ等のハードと顔検出と顔照合を行うソフトである。詳述すると以下の部位に分けられる。
【００３０】
顔検出結果受信部３０１は、ある一定時間に顔照合機能１００で検出された顔画像群を顔検出結果送信部１０４から受信する。顔検出結果表示部３０２は、顔検出結果受信部３０１で受信した顔画像群を顔検出結果画面を作成しディスプレイに表示する。顔検出結果の顔画像群の中から検索対象とする顔画像の選択とその顔を分類するための絞り込み情報を追加して顔検索情報を作成する。
【００３１】
新規顧客登録や顧客情報の更新の際に、名前、生年月日等の情報、顧客との取引、顧客へのサービス方針、分類項目情報を入力する。顔検索情報送信部３０３は、顔検出結果表示部３０２で作成された顔検索情報を顔検索機能部２００の顔検索情報受信部２０１に送信する。顔検索結果情報受信部３０４は、顔検索機能２００の顔検索処理部２０３で分類された顔検索結果を顔検索機能２００の顔検索結果情報送信部２０４から受信する。
【００３２】
顔検索結果情報表示部３０５は、顔検索結果情報受信部３０４で受信した顔検索結果情報を各分類項目毎分けた画面を作成しディスプレイに表示する。画面毎に照合率の値が高い顔画像を左から順に表示する。その画像群の中から検索対象とした顔画像と同一の顔画像を選択することによりその顔画像の人物の個人情報を表示する。
【００３３】
登録人物顔領域検出部３０６は、人物を登録する場合は、表示・検索機能３００にカメラを接続する。そのカメラ映像（動画）から顔領域を検出する。顔領域を検出した場合は顔画像（静止画）を取得する。顔検出ソフトの機能の一部とする。
【００３４】
登録人物顔特徴量抽出部３０７は、登録人物顔領域検出部３０６で取得した顔画像から顔特徴量を抽出する。顔検出ソフトの機能の一部とする。登録人物個人情報入力部３０８は、登録人物の名前、生年月日、性別、住所等、適用サービスで必要になる情報、絞り込み情報（人物の見た目上の特徴等）を入力画面より入力する。
【００３５】
登録人物個人情報送信部３０９は、登録人物顔領域検出部３０６の顔画像と登録人物顔特徴量抽出部３０７の顔特徴量と登録人物個人情報入力部３０８の登録人物個人情報を顔照合機能１００の登録人物個人情報受信部１０６に送信する。
【００３６】
次に、本発明の第１の実施形態のシステム構成例について、図１を参照して説明する。まず、オペレータは照合したい対象人物の個人情報と、絞り込み情報とをキーワードを用いて予め登録しておく。
【００３７】
図１における検出部２０は、画像入力部１０が得た複数の人物が写る映像から１人１人の顔の領域を切り出し（以後、このことを顔検出とする）顔画像として取得する。それらの顔画像を任意の時間蓄積し、任意の時間経過後に照合部３０に送信する。
【００３８】
照合部３０は、受信した顔画像から顔の個人特徴を数値変換した情報（以後このことを顔特徴量とする）を抽出し、顔特徴データベース４０内の人物の顔特徴量を比較して類似度を算出する。類似度が最も高い順位（１位）の登録人物から任意の順位までの登録人物までの個人コードを基に個人情報データベース６０を参照して個人情報を取得する。
【００３９】
絞り込み部５０は、照合結果に含まれる個人情報を用いて、予め定められた複数の絞り込み情報によって分類する。例として情報を年齢、性別とした場合、１０代における照合結果の順位、２０代における照合結果の順位…とし照合結果を分類し、その情報を表示・選択部７０に送信する。
【００４０】
表示・選択部７０は、検出部２０で検出した複数の顔画像群をディスプレイに表示する。ここで、表示・選択部７０は、顔画像と絞り込み情報を含む、照合結果を表示する画面を作成する。オペレータは表示された結果の中から検索対象となる人物を目視により対象人物であるかどうかを確認する。画面の中から当該人物の顔画像を選択するとその対象人物の個人情報を表示する。
【００４１】
次に、図６および図９を参照して本発明の第１の実施形態の動作について詳細に説明する。
【００４２】
まず、顧客管理サービスに使用した場合についての基本的動作を図６に示す。
販売員は、会計時にお客様に対して顧客登録の許可をとり、顧客の個人情報および会計場所に設置されているカメラからの顔画像と、その顔特徴量と、複数の絞り込み情報から選択した複数のキーワードとを表示・検索機能を持つ端末を介して、顔検索機能を持つ顧客管理サーバの個人情報データベースに登録する（図６−▲１▼）。個人情報データベースに登録する内容は以下のような内容である。
・ 顧客とのコミュニケーションや会員登録用紙から入手した氏名、年齢、生年月日、住所等の基本情報。
・ 今回の販売取引内容
・顧客の性質（話好き、人見知り、好きな色・形等）
・絞り込み情報（性別：男・女、眼鏡：有・無、年齢層：２０代前半等の見た目上の特徴）
【００４３】
設置するカメラについては、監視カメラや端末とＵＳＢやＩＥＥＥ１３９４インターフェースを介して接続するカメラでも入力は可能とする。
【００４４】
まず、顧客が再来店した際にショールームの入り口に設置されている監視カメラから撮影された映像を基に顔照合機能を持つ顔照合サーバの顔検出ソフトを使用して顔画像を取得し、規定時間を経過するとその間に蓄えられた顔検出結果を顔照合サーバに送信する（図６−▲２▼）。
【００４５】
顔照合サーバは受信した顔画像から顔検出ソフトを使用して顔特徴量の抽出を行う。次に、顔照合ソフトを使用して登録人物顔特徴量データベースに登録されている顧客の顔特徴量と顔照合を行い、照合結果である照合率と個人コードを取得する。個人コードは、個々の情報を識別するためのコードである。次に、取得した顔照合結果を顧客管理サーバに送信する（図６−▲５▼）。
【００４６】
顧客管理サーバは、受信した顔照合結果の個人コードを基に個人情報データベースの個人情報を取得する。次に、取得した個人情報の中から、予め絞り込みキーワードとして登録された複数の絞り込み情報を基に照合結果を分類し、顔検索情報として販売員の携帯端末に送信する。
【００４７】
携帯端末上に図９の画面を作成してディスプレイに表示する。検索結果画面は分類した顔検索結果別に表示する。例として年齢層別に表示する画面を作成し年齢層毎に切り替えることを可能とする（図９−▲１▼）。また、検索結果画面内の顔画像は照合率の高い順に左から表示する（図９−▲２▼）。販売員は、表示された結果の中から対象となる人物を確認する。
【００４８】
販売員は、目視により確認した対象人物の顔画像を選択する。選択された顔画像は別領域に拡大して表示する（図９−▲３▼）。決定ボタンを押下することで、その画像に対応する人物の顧客情報をディスプレイに表示する。表示する顧客情報は登録の際に入力された顧客情報の他に、その情報を基に作成された個別対応マニュアル等を表示することで、販売員の誰もが統一されたサービスを提供することができる（ステップ図６−▲６▼）。
【００４９】
会計時に今回の販売取引や新たな顧客情報等を検索・表示端末を介して顧客管理サーバの情報を更新する（ステップ図６−▲７▼）。顔画像においても更新をかけることが望ましい。以上が第１の実施形態における顧客管理サービスを行う場合の動作である。
【００５０】
以上、本発明の第１の実施形態では、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を絞り込むことができる。
【００５１】
次に、本発明の第２の実施形態のシステム構成例について、図２を参照して説明する。図２における検出部２０は、画像入力部１０が得た複数の人物が写る映像から１人１人の顔の領域を切り出し顔画像として取得する。それらの顔画像を任意の時間蓄積し、時間経過後に表示・選択部７０に送信する。
【００５２】
表示・選択部７０は、検出部２０から送信された複数の顔画像群をディスプレイに表示する。次に、顔画像群の中からユーザによって選択された顔画像と複数の絞り込み情報を絞り込み部５０に送信する。
【００５３】
絞り込み部５０は、受信した顔画像を照合部３０に送信し、照合結果を得る。
照合部３０は顔画像から顔特徴量を抽出し、顔特徴データベース４０内の人物の顔特徴量を比較して類似度を算出する。類似度が最も高い順位（１位）の登録人物から任意の順位までの登録人物までの個人コードを基に個人情報データベース６０を参照して個人情報を取得する。個人コードとは、個々の情報を識別するためのコードである。
【００５４】
絞り込み部５０は、照合結果に含まれる個人情報を用いて、先に表示・選択部７０から受信した複数の絞り込み情報を基に分類し、その情報を表示・選択部８０に送信する。
【００５５】
表示・選択部８０は受信した情報を基に照合結果を表示する画面を作成する。
これにより照合結果である複数の候補の顔画像から対象とする人物を見つけやすくする。画面の中から当該人物と同一人物の顔画像を選択するとその人物の個人情報を表示する。
【００５６】
次に、図６および図８、図９を参照して本発明の第２の実施形態の動作について詳細に説明する。
【００５７】
第１の実施形態と同じように、販売員は、会計時にお客様に対して顧客登録の許可をとり、顧客の個人情報および会計場所に設置されているカメラからの顔画像と、その顔特徴量と、複数の絞り込み情報とを表示・検索機能を持つ端末を介して、顔検索機能を持つ顧客管理サーバの個人情報データベースに登録する（図６−▲１▼）。個人情報データベースに登録する内容は上記第１の実施形態と同じである。また、使用するカメラも同様のものとする。
【００５８】
顧客が再来店した際にショールームの入り口に設置されている監視カメラから撮影された映像を基に顔照合機能を持つ顔照合サーバの顔検出ソフトを使用して顔画像を取得し（図６−▲２▼）、規定時間を経過するとその間に蓄えられた顔検出結果を販売員の持つ表示・検索機能を持つ携帯端末に送信する（図６−▲３▼）。そして、図８に示すように携帯端末上のディスプレイに画面を表示する。
【００５９】
販売員は受信した検出結果が表示された画面の中から、これから接触しようとする目の前のお客様を探し、その顔画像を選択する（図８−▲１▼）。次に、検索したい顔画像の人物の絞り込み情報を入力する（図８−▲２▼）。絞り込み情報の例として年齢層を追加する。次に、検索ボタンの押下により顔検索機能を持つ顧客管理サーバに顔検索条件を送信する（図８−▲３▼、図６−▲４▼）。
【００６０】
顧客管理サーバは受信した顔検索条件の中の顔画像を抽出し、顔照合サーバに送信する。次に、顔照合サーバは受信した顔画像から顔検出ソフトを使用して顔特徴量の抽出を行う。次に、顔照合ソフトを使用して登録人物顔特徴量データベースに登録されている顧客の顔特徴量と顔照合を行い、照合結果である照合率と個人コードを取得する。次に、取得した顔照合結果を顧客管理サーバに送信する（図６−▲５▼）。
【００６１】
顧客管理サーバは、受信した顔照合結果の個人コードを基に個人情報データベースの個人情報を取得する。次に、取得した個人情報の中から先に受信した絞り込み情報を基に照合結果を分類し顔検索情報として携帯端末に送信する。
【００６２】
携帯端末上に図９に示す画面を作成して、ディスプレイに顔検索情報は表示される。検索結果画面は分類した顔検索結果別に表示する。例として年齢層別に表示する画面を作成し年齢層毎に切り替える（図９−▲１▼）ことを可能とする。また、検索結果画面内の顔画像は照合率の高い順に左から表示する（図９−▲２▼）。
【００６３】
販売員が検索対象顔画像と同一人物の顔画像を選択する。選択された顔画像は別領域に拡大して表示する（図９−▲３▼）。決定ボタンを押下することで、その画像に対応する人物の顧客情報をディスプレイに表示する。表示する顧客情報は登録の際に入力された顧客情報の他に、その情報を基に作成された個別対応マニュアル等を表示することで、販売員の誰もが統一されたサービスを提供することができる（図６−▲６▼）。
【００６４】
会計時に今回の販売取引や新たな顧客情報等を検索・表示端末を介して顧客管理サーバの情報を更新する（図６−▲７▼）。顔画像においても更新をかけることが望ましい。以上が顧客管理サービスを行う場合の動作である。
【００６５】
以上、本発明の第２の実施形態によれば、第１の効果は、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ個人情報を取得することができることである。第２の効果は、照合率の低い顔照合技術において、複数の照合結果の中から検索対象人物を絞り込むことができることである。
【００６６】
次に、本発明の第３の実施形態のシステム構成例について、図３を参照して説明する。図３における検出部２０は、画像入力部１０が得た複数の人物が写る映像から１人１人の顔の領域を切り出し顔画像として取得する。それらの顔画像を任意の時間蓄積し、時間経過後に照合部３０に送信する。
【００６７】
照合部３０は、受信した顔画像から顔特徴量を抽出し、顔特徴データベース４０内の人物の顔特徴量を比較して類似度を算出する。類似度が最も高い（１位）登録人物から任意の順位までの登録人物までの個人コードを基に個人情報データベース６０を参照して個人情報を取得する。
【００６８】
絞り込み部５０は、照合結果に含まれる個人情報を用いて、予め設定された単一の絞り込み情報を基に分類し、その情報を表示・選択部７０に送信する。
【００６９】
表示・選択部７０は、検出部２０で検出した複数の顔画像群をディスプレイに表示する。次に顔画像群の中から任意の顔画像を選択することにより、絞り込み部５０の照合結果の中から選択された顔画像の照合結果を表示する画面を作成する。これによりユーザは照合結果である複数の候補の顔画像から対象とする人物を目視により確認する。画面の中から当該人物と同一人物の顔画像を選択するとその人物の個人情報を表示する。
【００７０】
次に、本発明の第３の実施形態の動作を説明する。第１の実施形態と同じように、まず、販売員は会計時にお客様に対して顧客登録の許可をとり、顧客の個人情報および会計場所に設置されているカメラからの顔画像と、その顔特徴量と、単一の絞り込み情報とを表示・検索機能を持つ端末を介して、顔検索機能を持つ顧客管理サーバの個人情報データベースに登録する（図６−▲１▼）。個人情報データベースに登録する内容は上記第１の実施形態と同じである。また、使用するカメラも同様のものとする。
【００７１】
顧客が再来店した際にショールームの入り口に設置されている監視カメラから撮影された映像を基に顔照合機能を持つ顔照合サーバの顔検出ソフトを使用して顔画像を取得し（図６−▲２▼）、規定時間を経過するとその間に蓄えられた顔検出結果を顔照合サーバに送信する。
【００７２】
顔照合サーバは受信した顔画像から顔検出ソフトを使用して顔特徴量の抽出を行う。次に、顔照合ソフトを使用して登録人物顔特徴量データベースに登録されている顧客の顔特徴量と顔照合を行い照合結果である照合率と個人コードを取得する。次に、取得した顔照合結果を顧客管理サーバに送信する（図６−▲５▼）。
【００７３】
顧客管理サーバは、受信した顔照合結果の個人コードを基に個人情報データベースの個人情報を取得する。次に、取得した個人情報の中から予め設定された単一の絞り込み情報を基に照合結果を分類し顔検索情報として販売員の携帯端末に送信する。
【００７４】
携帯端末上に図９の画面を作成してディスプレイに表示する。検索結果画面は分類した顔検索結果別に表示する。例として年齢層別に表示する画面を作成し年齢層毎に切り替えることを可能とする（図９−▲１▼）。また、検索結果画面内の顔画像は照合率の高い順に左から表示する（図９−▲２▼）。販売員は、表示された結果の中から対象となる人物を目視により確認する。
【００７５】
販売員が検索対象顔画像の顔画像を選択する。選択された顔画像は別領域に拡大して表示する（図９−▲３▼）。決定ボタンを押下することで、その画像に対応する人物の顧客情報をディスプレイに表示する。表示する顧客情報は登録の際に入力された顧客情報の他に、その情報を基に作成された個別対応マニュアル等を表示することで、販売員の誰もが統一されたサービスを提供することができる（図６−▲６▼）。
【００７６】
会計時に今回の販売取引や新たな顧客情報等を検索・表示端末を介して顧客管理サーバの情報を更新する（図６−▲７▼）。顔画像においても更新をかけることが望ましい。以上が第３の実施形態にかかる顧客管理サービスを行う場合の動作である。
【００７７】
以上、本発明の第３の実施形態では、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を絞り込むことができる。
【００７８】
次に、本発明の第４の実施形態のシステム構成例について、図４を参照して説明する。図４における検出部２０は、画像入力部１０が得た複数の人物が写る映像から１人１人の顔の領域を切り出し顔画像として取得する。それらの顔画像を任意の時間蓄積し、時間経過後に表示・選択部７０に送信する。
【００７９】
表示・選択部７０は、検出部２０から送信された複数の顔画像群をディスプレイに表示する。次に、顔画像群の中から顔画像を絞り込み部５０に送信する。
【００８０】
絞り込み部５０は、受信した顔画像を照合部３０に送信し、照合結果を得る。
照合部３０は顔画像から顔特徴量を抽出し、顔特徴データベース４０内の人物の顔特徴量を比較して類似度を算出する。類似度が最も高い（１位）登録人物から任意の順位までの登録人物までの個人コードを基に個人情報データベース６０を参照して個人情報を取得する。
【００８１】
絞り込み部５０は、照合結果に含まれる個人情報を用いて、ユーザによって設定された単一の絞り込み情報を基に分類し、その情報を表示・選択部８０に送信する。
【００８２】
表示・選択部８０は受信した情報を基に照合結果を表示する画面を作成する。
これにより照合結果である複数の候補の顔画像から対象とする人物を見つけやすくする。画面の中から当該人物と同一人物の顔画像を選択するとその人物の個人情報を表示する。
【００８３】
次に、本発明の第４の実施形態の動作を説明する。本発明の第４の実施形態はインターネットを介した予約管理サービスを行う場合の動作を説明する。流れは図７のようになる。
【００８４】
まず、ホテルやレストラン等の利用者は自分の端末を用いてインターネットを介して予約登録行う（図７―▲１▼）。登録手段はＷＥＢページ上から個人情報およびＵＳＢやＩＥＥＥ１３９４インターフェースを介して端末に接続するカメラで撮影した顔画像を予約管理サーバにインターネットを介して登録する。また、カメラ付き携帯により撮影した顔画像を個人情報等の記入された電子メールに添付し送信することで登録を行うことも可能である。登録する個人情報の内容は以下のような内容である。
・ 氏名、年齢、生年月日、住所等の基本情報。
・ 予約内容
【００８５】
顔検索機能を持つ予約管理サーバ（ＷＥＢサーバ）は、登録情報を個人情報データベースに登録する。登録情報の中の顔画像においては顔照合機能を持つ顔照合サーバにも送信する。顔照合サーバでは顔画像から顔特徴量を抽出し顔特徴量データベースに登録する。
【００８６】
次に、予約利用者が施設に来場した際に施設の入り口に設置されている監視カメラから撮影された映像を基に顔照合サーバ上の顔検出ソフトを使用して顔画像を取得し、顔検出結果として従業員の表示・検索機能を持つ端末に送信する（図７−▲２▼）。
【００８７】
従業員は受信した検出結果の中から検索したい顔画像（図８−▲１▼）を選択する。次に、従業員が検索したい顔画像の人物の絞り込み情報を入力する（図８−▲２▼）。例として年齢層を単一キーワードとして入力する。ホテルやレストラン次に検索ボタンの押下により予約管理サーバ（ＷＥＢサーバ）に顔検索条件を送信する（図８−▲３▼、図７−▲４▼）。
【００８８】
予約管理サーバ（ＷＥＢサーバ）は受信した顔検索条件の中の顔画像を抽出し、顔照合サーバに送信する。次に顔照合サーバは受信した顔画像から顔検出ソフトを使用して顔特徴量の抽出を行う。次に顔照合ソフトを使用して登録人物顔特徴量データベースに登録されている予約者の顔特徴量と顔照合を行い照合結果である照合率と個人コードを取得する。次に取得した顔照合結果を予約管理サーバ（ＷＥＢサーバ）に送信する（図７−▲５▼）。
【００８９】
予約管理サーバ（ＷＥＢサーバ）は、受信した顔照合結果の個人コードを基に個人情報データベースの個人情報を取得する。次に取得した個人情報の中から絞り込み情報の項目を抽出し、その値を基に照合結果を分類し顔検索情報とし、従業員の端末に送信する。
【００９０】
従業員の端末上に図９の画面を作成してディスプレイに表示する。検索結果画面は分類した顔検索結果別に表示する。例として年齢層別に表示する画面を作成し年齢層毎に切り替える（図９−▲１▼）ことを可能とする。また検索結果画面内の顔画像は照合率の高い順に左から表示する（図９−▲２▼）。従業員が検索対象顔画像と同一人物の顔画像を選択する。選択された顔画像は別領域に拡大して表示する（図９−▲３▼）。決定ボタンを押下することで、その画像に対応する人物の予約情報をディスプレイに表示する。予約情報から予約者が受付場所に到着する前に予約者の予約情報および予約者の認証を行うことができる。またＶＩＰ対応等の個別サービスも行うことができる（図９−▲６▼）。
【００９１】
以上、本発明の第４の実施形態では、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ個人情報を取得することができる。また照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を絞り込むことができる。
【００９２】
よって、上述の各実施形態で説明したように、本発明は顔画像を利用した人物管理装置において操作性の高い対象人物の同定機能を提供することができる。本発明の人物情報管理システムは、登録人物の顔画像を保持し、顔照合技術により対象人物を識別し、これによりカードの掲示や名前の問いかけなしに人物を特定することができる。このとき顔照合技術における照合結果である複数の候補の中から以下の４方法を実施することで容易に対象人物を絞り込むことができる。
１． 複数の顔の中から任意の顔を選択する。
２． キーワード追加により顔検索結果を絞り込む。
３． キーワード毎に表示する。
４． 顔検索結果を予め定めたキーワードに従って分類して表示する。
【００９３】
また、図１、図３に示す第１および第３の実施形態では、予め各人物に対し、照合を行っているため、本発明のシステムを使用することにより、ホテル等のＶＩＰ対応や監視システムに応用が可能である。また、テロリスト等の注意人物をシステムに登録しておき、監視カメラ等から入力された人物との照合を行い、その結果である類似度がある規定の値より高い場合は、キーワードにより絞り込んだ結果をオペレータの端末に表示する等の利用が考えられる。
【００９４】
また、図２、図４における表示・検索部７０は、絞り込み部５０に顔画像を送信しているが、顔画像に対応したインデックスを用いても実現可能である。この場合は、検出部２０で顔画像とその顔画像に対応したインデックスを作成し、両者を表示・選択部７０に送信する。表示・選択部７０―絞り込み部５０は、画像の代わりにインデックスを送信する。このとき検出部２０は、顔画像とインデックスを顔照合部３０に送信しておくこととし、照合部３０では、絞り込み部５０から得たインデックスと顔画像を対応づけることができる。
【００９５】
【発明の効果】
請求項１記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる前記個人情報を用いて、予め定められた複数の絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面に表示された対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示することを特徴とするので、特定の検索したい対象人物について、カードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【００９６】
請求項２記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いて、先に第１の表示選択手段から受信した複数の絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像が表示される表示画面中から、当該人物と同一人物の顔画像をユーザによって選択されると、当該人物の個人情報を表示することを特徴とするので、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【００９７】
請求項３記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用いて予め定められた単一の絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面中の当該人物の顔画像がユーザによって選択されると当該人物の個人情報を表示することを特徴とするので、特定の検索したい対象人物について、カードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【００９８】
請求項４記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の前記顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像を送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いてユーザによって選択された単一の絞り込み情報を基に分類した照合結果を表示する表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像を表示し、表示画面中から当該人物と同一人物の顔画像を前記ユーザによって選択されると、当該人物の個人情報を表示することを特徴とするので、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【００９９】
請求項５記載の人物情報管理システムによれば、請求項２または４のいずれか１項に記載の人物情報管理システムにおいて、顔画像検出手段は、顔画像と顔画像に対応したインデックスを作成し、両者を表示選択手段および照合手段に送信し、表示選択手段および絞り込み手段は、顔画像の代わりにインデックスを送信し、照合手段は、絞り込み手段から得たインデックスと顔画像を対応付けることを特徴とするので、システム間で送受信する情報量を削減できる。
【０１００】
請求項６記載の人物情報管理装置によれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、人物の画像を撮像し入力する画像入力手段と、画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、照合結果に含まれる個人情報を用いて、予め定められた絞り込み情報によって照合結果を分類し送信する絞り込み手段と、顔画像検出手段で検出した複数の顔画像群をディスプレイに表示し、顔画像と前記絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、表示画面に表示された対象人物の顔画像がユーザによって選択されると対象人物の個人情報を表示することを特徴とするので、検索したい特定の対象人物について、カードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【０１０１】
請求項７記載の人物情報管理システムによれば、複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、人物の画像を撮像し入力する画像入力手段と、画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、顔画像を任意の時間蓄積後、送信する顔画像検出手段と、顔画像検出手段から受信した複数の顔画像群をディスプレイに表示し、顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、第１の表示選択手段から受信した顔画像を照合結果を得るために送信する絞り込み手段と、絞り込み手段から受信した顔画像から個人特徴を数値変換した顔特徴情報を抽出し、顔特徴データベースに登録されている複数人物の顔特徴情報と比較して類似度を算出し、類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、個人情報データベースを参照して取得する照合手段と、絞り込み手段が照合結果に含まれる個人情報を用いて先に第１の表示選択手段から受信した絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、第２の表示選択手段は、照合結果である複数の候補の顔画像が表示される前記表示画面中から、当該人物と同一人物の顔画像を前記ユーザによって選択されると、当該人物の個人情報を表示することを特徴とするので、登録されている人物の情報をカードやタグなどの物理媒体を使用せずに識別することができ、個人情報を取得することができる。また、照合率の低い顔照合技術において複数の照合結果の中から検索対象人物を精度高く絞り込むことができる。
【０１０２】
請求項８記載の人物情報管理装置は、請求項６または７のいずれか１項に記載の人物情報管理装置において、前記絞り込み情報は、単一および複数のいずれか一方であることを特徴とするので、絞り込み情報の設定において多様な選択ができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である人物情報管理システムの構成例を示す図である。
【図２】本発明の第２の実施形態である人物情報管理システムの構成例を示す図である。
【図３】本発明の第３の実施形態である人物情報管理システムの構成例を示す図である。
【図４】本発明の第４の実施形態である人物情報管理システムの構成例を示す図である。
【図５】本発明の実施形態である人物情報管理システムの内部構成例を示すブロック図である。
【図６】本発明の実施形態である人物情報管理システムの顧客管理に係る動作例を示す図である。
【図７】本発明の実施形態である人物情報管理システムの予約管理に係る動作例を示す図である。
【図８】本発明の実施形態である人物情報管理システムの情報入力画面の例を示す図である。
【図９】本発明の実施形態である人物情報管理システムのユーザ選択画面の例を示す図である。
【符号の説明】
１０ 画像入力部
２０ 検出部
３０ 照合部
４０ 顔特徴ＤＢ
５０ 絞り込み部
６０ 個人情報ＤＢ
７０ 表示・選択部
８０ 表示・選択部
９０ 登録部
１００ 顔照合機能
１０１ 顔領域検出部
１０２ 顔検出結果テンポラリ
１０３ 顔検出結果送信部
１０４ 顔特徴量抽出部
１０５ 顔照合部
１０６ 登録人物情報受信部
１０７ 登録人物個人情報送信部
１０８ 登録人物顔特徴量登録部
１０９ 登録人物特徴量データベース
２００ 顔検索機能
２０１ 顔検索条件受信部
２０２ 検索対象顔画像送信部
２０３ 顔検索処理部
２０４ 顔検索結果情報送信部
２０５ 登録人物個人情報受信部
２０６ 登録人物個人情報登録部
２０７ 登録人物個人情報データベース
３００ 表示・検索機能
３０１ 顔検出結果受信部
３０２ 顔検出結果表示部
３０３ 顔検索情報送信部
３０４ 顔検索結果情報受信部
３０５ 顔検索結果情報表示部
３０６ 登録人物顔領域検出部
３０７ 登録人物顔特徴量抽出部
３０８ 登録人物個人情報入力部
３０９ 登録人物個人情報送信部
Claims (8)
- 複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、
前記複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、
人物の画像を撮像し入力する画像入力手段と、
前記画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、前記顔画像を任意の時間蓄積後、送信する顔画像検出手段と、
前記顔画像検出手段から受信した前記顔画像から個人特徴を数値変換した顔特徴情報を抽出し、前記顔特徴データベースに登録されている前記複数人物の顔特徴情報と比較して類似度を算出し、前記類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、前記個人情報データベースを参照して取得する照合手段と、
前記照合結果に含まれる前記個人情報を用いて、予め定められた複数の絞り込み情報によって前記照合結果を分類し送信する絞り込み手段と、
前記顔画像検出手段で検出した複数の前記顔画像群をディスプレイに表示し、前記顔画像と前記絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、
前記表示画面に表示された対象人物の顔画像がユーザによって選択されると前記対象人物の個人情報を表示することを特徴とする人物情報管理システム。 - 複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、
前記複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、
人物の画像を撮像し入力する画像入力手段と、
前記画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、前記顔画像を任意の時間蓄積後、送信する顔画像検出手段と、
前記顔画像検出手段から受信した複数の前記顔画像群をディスプレイに表示し、前記顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、
前記第１の表示選択手段から受信した前記顔画像を照合結果を得るために送信する絞り込み手段と、
前記絞り込み手段から受信した前記顔画像から個人特徴を数値変換した顔特徴情報を抽出し、前記顔特徴データベースに登録されている前記複数人物の顔特徴情報と比較して類似度を算出し、前記類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、前記個人情報データベースを参照して取得する照合手段と、
前記絞り込み手段が照合結果に含まれる個人情報を用いて、先に前記第１の表示選択手段から受信した複数の絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、
前記第２の表示選択手段は、前記照合結果である複数の候補の顔画像が表示される前記表示画面中から、当該人物と同一人物の顔画像を前記ユーザによって選択されると、前記当該人物の個人情報を表示することを特徴とする人物情報管理システム。 - 複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、
前記複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、
人物の画像を撮像し入力する画像入力手段と、
前記画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、前記顔画像を任意の時間蓄積後、送信する顔画像検出手段と、
前記顔画像検出手段から受信した前記顔画像から個人特徴を数値変換した顔特徴情報を抽出し、前記顔特徴データベースに登録されている前記複数人物の顔特徴情報と比較して類似度を算出し、前記類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、前記個人情報データベースを参照して取得する照合手段と、
前記照合結果に含まれる前記個人情報を用いて予め定められた単一の絞り込み情報によって前記照合結果を分類し送信する絞り込み手段と、
前記顔画像検出手段で検出した複数の前記顔画像群をディスプレイに表示し、前記顔画像と前記絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、
前記表示画面中の当該人物の顔画像がユーザによって選択されると前記当該人物の個人情報を表示することを特徴とする人物情報管理システム。 - 複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、
前記複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムであって、
人物の画像を撮像し入力する画像入力手段と、
前記画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、前記顔画像を任意の時間蓄積後、送信する顔画像検出手段と、
前記顔画像検出手段から受信した複数の前記顔画像群をディスプレイに表示し、前記顔画像群の中からユーザによって選択された顔画像を送信する第１の表示選択手段と、
前記第１の表示選択手段から受信した前記顔画像を照合結果を得るために送信する絞り込み手段と、
前記絞り込み手段から受信した前記顔画像から個人特徴を数値変換した顔特徴情報を抽出し、前記顔特徴データベースに登録されている前記複数人物の顔特徴情報と比較して類似度を算出し、前記類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、前記個人情報データベースを参照して取得する照合手段と、
前記絞り込み手段が照合結果に含まれる個人情報を用いて前記ユーザによって選択された単一の絞り込み情報を基に分類した照合結果を表示する表示画面を作成する第２の表示選択手段とを有し、
第２の表示選択手段は、前記照合結果である複数の候補の顔画像を表示し、前記表示画面中から当該人物と同一人物の顔画像を前記ユーザによって選択されると、前記当該人物の個人情報を表示することを特徴とする人物情報管理システム。 - 前記顔画像検出手段は、前記顔画像と前記顔画像に対応したインデックスを作成し、両者を前記表示選択手段および前記照合手段に送信し、前記表示選択手段および前記絞り込み手段は、前記顔画像の代わりに前記インデックスを送信し、
前記照合手段は、前記絞り込み手段から得た前記インデックスと前記顔画像を対応付けることを特徴とする請求項２または４のいずれか１項に記載の人物情報管理システム。 - 複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、
前記複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、
人物の画像を撮像し入力する画像入力手段と、
前記画像入力手段で入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、前記顔画像を任意の時間蓄積後、送信する顔画像検出手段と、
前記顔画像検出手段から受信した前記顔画像から個人特徴を数値変換した顔特徴情報を抽出し、前記顔特徴データベースに登録されている前記複数人物の顔特徴情報と比較して類似度を算出し、前記類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、前記個人情報データベースを参照して取得する照合手段と、
前記照合結果に含まれる前記個人情報を用いて、予め定められた絞り込み情報によって前記照合結果を分類し送信する絞り込み手段と、
前記顔画像検出手段で検出した複数の前記顔画像群をディスプレイに表示し、前記顔画像と前記絞り込み情報を含む、分類された照合結果を表示する表示画面を作成する表示選択手段とを有し、
前記表示画面に表示された対象人物の顔画像がユーザによって選択されると前記対象人物の個人情報を表示することを特徴とする人物情報管理装置。 - 複数人物の顔の特徴を顔特徴情報として登録しておく顔特徴データベースと、
前記複数人物の個人情報を登録しておく個人情報データベースとを用い、ネットワークを介して行う人物情報管理システムで用いられる人物情報管理装置であって、
人物の画像を撮像し入力する画像入力手段と、
前記画像入力手段が入力した複数の人物が写る映像から１人１人の顔の領域を切り出し、顔画像として取得し、前記顔画像を任意の時間蓄積後、送信する顔画像検出手段と、
前記顔画像検出手段から受信した複数の前記顔画像群をディスプレイに表示し、前記顔画像群の中からユーザによって選択された顔画像と、絞り込み情報とを送信する第１の表示選択手段と、
前記第１の表示選択手段から受信した前記顔画像を照合結果を得るために送信する絞り込み手段と、
前記絞り込み手段から受信した前記顔画像から個人特徴を数値変換した顔特徴情報を抽出し、前記顔特徴データベースに登録されている前記複数人物の顔特徴情報と比較して類似度を算出し、前記類似度が最も高い登録人物から任意の順位までの登録人物の個人情報を、前記個人情報データベースを参照して取得する照合手段と、
前記絞り込み手段が照合結果に含まれる個人情報を用いて先に前記第１の表示選択手段から受信した絞り込み情報を基に分類した照合結果を表示する、表示画面を作成する第２の表示選択手段とを有し、
前記第２の表示選択手段は、前記照合結果である複数の候補の顔画像が表示される前記表示画面中から、当該人物と同一人物の顔画像を前記ユーザによって選択されると、前記当該人物の個人情報を表示することを特徴とする人物情報管理装置。 - 前記絞り込み情報は、単一および複数のいずれか一方であることを特徴とする請求項６または７のいずれか１項に記載の人物情報管理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003046092A JP3809823B2 (ja) | 2003-02-24 | 2003-02-24 | 人物情報管理システムおよび人物情報管理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003046092A JP3809823B2 (ja) | 2003-02-24 | 2003-02-24 | 人物情報管理システムおよび人物情報管理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004258764A true JP2004258764A (ja) | 2004-09-16 |
| JP3809823B2 JP3809823B2 (ja) | 2006-08-16 |
Family
ID=33112738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003046092A Expired - Fee Related JP3809823B2 (ja) | 2003-02-24 | 2003-02-24 | 人物情報管理システムおよび人物情報管理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3809823B2 (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007057958A (ja) * | 2005-08-25 | 2007-03-08 | Seiko Epson Corp | 表示制御装置及び表示制御方法 |
| JP2007226741A (ja) * | 2006-02-27 | 2007-09-06 | Mitsubishi Electric Corp | 顔照合システム |
| JP2008009617A (ja) * | 2006-06-28 | 2008-01-17 | Glory Ltd | 個人生体情報照合装置、個人生体情報照合プログラムおよび個人生体情報照合方法 |
| JP2008123100A (ja) * | 2006-11-09 | 2008-05-29 | Omron Corp | 情報処理装置および方法、並びにプログラム |
| WO2008078624A1 (ja) * | 2006-12-22 | 2008-07-03 | Panasonic Corporation | 映像出力装置 |
| JP2008305239A (ja) * | 2007-06-08 | 2008-12-18 | Denso Corp | 通信装置及びプログラム |
| JP2009093208A (ja) * | 2007-10-03 | 2009-04-30 | Canon Inc | 画像形成システム、情報処理装置、管理装置、画像形成装置、データ処理方法、記憶媒体、プログラム |
| JP2009141781A (ja) * | 2007-12-07 | 2009-06-25 | Canon Inc | 撮像装置、その制御方法及びプログラム |
| JP2011034133A (ja) * | 2009-07-29 | 2011-02-17 | Fujifilm Corp | 人物照合装置及び人物照合方法 |
| JP2011516966A (ja) * | 2008-04-02 | 2011-05-26 | グーグル インコーポレイテッド | デジタル画像集合内に自動顔認識を組み込む方法および装置 |
| JP2011520175A (ja) * | 2008-04-14 | 2011-07-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数の保存されたディジタル画像を検索するための方法及び装置 |
| US7995806B2 (en) | 2007-07-12 | 2011-08-09 | Samsung Electronics Co., Ltd. | Digital image processing apparatus, method of controlling the same, and recording medium for storing program for executing the method |
| KR101382172B1 (ko) | 2013-03-12 | 2014-04-10 | 건아정보기술 주식회사 | 얼굴 영상의 계층적 특징 분류 시스템 및 그 방법 |
| JP2014071610A (ja) * | 2012-09-28 | 2014-04-21 | Keyware Solutions Inc | データ処理装置、名寄せ処理方法及びコンピュータプログラム |
| JP2014182480A (ja) * | 2013-03-18 | 2014-09-29 | Toshiba Corp | 人物認識装置、及び方法 |
| JP6267380B1 (ja) * | 2017-02-16 | 2018-01-24 | 株式会社リクルートホールディングス | 順番管理システム、順番管理装置、およびプログラム |
| JP2020129344A (ja) * | 2019-02-12 | 2020-08-27 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
| JP7096941B1 (ja) | 2021-09-21 | 2022-07-06 | プロパティエージェント株式会社 | 飲食店システムおよび情報処理方法 |
| JP2022113749A (ja) * | 2019-02-01 | 2022-08-04 | パナソニックＩｐマネジメント株式会社 | 顔認証システムおよび顔認証方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175730A (ja) * | 1997-12-05 | 1999-07-02 | Omron Corp | 人間検出追跡システム |
| JP2001052045A (ja) * | 1999-08-06 | 2001-02-23 | Dainippon Printing Co Ltd | ポイント付与システム |
| JP2001273498A (ja) * | 2000-03-24 | 2001-10-05 | Matsushita Electric Ind Co Ltd | バイオメトリックに基づく本人認証装置、本人認証システム、本人認証用カード及び本人認証方法 |
| JP2001331801A (ja) * | 2000-03-15 | 2001-11-30 | Cai Kk | 個人認証装置および個人認証方法および記録媒体 |
| WO2002025457A1 (fr) * | 2000-09-20 | 2002-03-28 | Cai Co., Ltd. | Dispositif et procede d'authentification personnelle hybride et support enregistre |
| JP2002157592A (ja) * | 2000-11-16 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 人物情報登録方法、装置、人物情報登録プログラムを記録した記録媒体 |
-
2003
- 2003-02-24 JP JP2003046092A patent/JP3809823B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175730A (ja) * | 1997-12-05 | 1999-07-02 | Omron Corp | 人間検出追跡システム |
| JP2001052045A (ja) * | 1999-08-06 | 2001-02-23 | Dainippon Printing Co Ltd | ポイント付与システム |
| JP2001331801A (ja) * | 2000-03-15 | 2001-11-30 | Cai Kk | 個人認証装置および個人認証方法および記録媒体 |
| JP2001273498A (ja) * | 2000-03-24 | 2001-10-05 | Matsushita Electric Ind Co Ltd | バイオメトリックに基づく本人認証装置、本人認証システム、本人認証用カード及び本人認証方法 |
| WO2002025457A1 (fr) * | 2000-09-20 | 2002-03-28 | Cai Co., Ltd. | Dispositif et procede d'authentification personnelle hybride et support enregistre |
| JP2002157592A (ja) * | 2000-11-16 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | 人物情報登録方法、装置、人物情報登録プログラムを記録した記録媒体 |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007057958A (ja) * | 2005-08-25 | 2007-03-08 | Seiko Epson Corp | 表示制御装置及び表示制御方法 |
| JP2007226741A (ja) * | 2006-02-27 | 2007-09-06 | Mitsubishi Electric Corp | 顔照合システム |
| JP2008009617A (ja) * | 2006-06-28 | 2008-01-17 | Glory Ltd | 個人生体情報照合装置、個人生体情報照合プログラムおよび個人生体情報照合方法 |
| JP2008123100A (ja) * | 2006-11-09 | 2008-05-29 | Omron Corp | 情報処理装置および方法、並びにプログラム |
| WO2008078624A1 (ja) * | 2006-12-22 | 2008-07-03 | Panasonic Corporation | 映像出力装置 |
| JP2008305239A (ja) * | 2007-06-08 | 2008-12-18 | Denso Corp | 通信装置及びプログラム |
| US7995806B2 (en) | 2007-07-12 | 2011-08-09 | Samsung Electronics Co., Ltd. | Digital image processing apparatus, method of controlling the same, and recording medium for storing program for executing the method |
| US20110255751A1 (en) * | 2007-07-12 | 2011-10-20 | Samsung Electronics Co., Ltd. | Digital image processing apparatus, method of controlling the same, and recording medium for storing program for executing the method |
| JP2009093208A (ja) * | 2007-10-03 | 2009-04-30 | Canon Inc | 画像形成システム、情報処理装置、管理装置、画像形成装置、データ処理方法、記憶媒体、プログラム |
| US8314948B2 (en) | 2007-10-03 | 2012-11-20 | Canon Kabushiki Kaisha | Image forming system utilizing network camera |
| US8411908B2 (en) | 2007-12-07 | 2013-04-02 | Canon Kabushiki Kaisha | Imaging apparatus, control method, and recording medium thereof |
| US8170292B2 (en) | 2007-12-07 | 2012-05-01 | Canon Kabushiki Kaisha | Imaging apparatus, control method, and recording medium thereof |
| JP2009141781A (ja) * | 2007-12-07 | 2009-06-25 | Canon Inc | 撮像装置、その制御方法及びプログラム |
| US20090304238A1 (en) * | 2007-12-07 | 2009-12-10 | Canon Kabushiki Kaisha | Imaging apparatus, control method, and recording medium thereof |
| US8897508B2 (en) | 2008-04-02 | 2014-11-25 | Google Inc. | Method and apparatus to incorporate automatic face recognition in digital image collections |
| JP2011516966A (ja) * | 2008-04-02 | 2011-05-26 | グーグル インコーポレイテッド | デジタル画像集合内に自動顔認識を組み込む方法および装置 |
| JP2014222519A (ja) * | 2008-04-02 | 2014-11-27 | グーグル インコーポレイテッド | デジタル画像集合内に自動顔認識を組み込む方法および装置 |
| JP2011520175A (ja) * | 2008-04-14 | 2011-07-14 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 複数の保存されたディジタル画像を検索するための方法及び装置 |
| JP2011034133A (ja) * | 2009-07-29 | 2011-02-17 | Fujifilm Corp | 人物照合装置及び人物照合方法 |
| US8509497B2 (en) | 2009-07-29 | 2013-08-13 | Fujifilm Corporation | Person recognition method and apparatus |
| JP2014071610A (ja) * | 2012-09-28 | 2014-04-21 | Keyware Solutions Inc | データ処理装置、名寄せ処理方法及びコンピュータプログラム |
| KR101382172B1 (ko) | 2013-03-12 | 2014-04-10 | 건아정보기술 주식회사 | 얼굴 영상의 계층적 특징 분류 시스템 및 그 방법 |
| JP2014182480A (ja) * | 2013-03-18 | 2014-09-29 | Toshiba Corp | 人物認識装置、及び方法 |
| JP6267380B1 (ja) * | 2017-02-16 | 2018-01-24 | 株式会社リクルートホールディングス | 順番管理システム、順番管理装置、およびプログラム |
| JP2018132977A (ja) * | 2017-02-16 | 2018-08-23 | 株式会社リクルートホールディングス | 順番管理システム、順番管理装置、およびプログラム |
| WO2018151062A1 (ja) * | 2017-02-16 | 2018-08-23 | 株式会社リクルートホールディングス | 順番管理システム、順番管理装置、およびプログラム |
| JP2022113749A (ja) * | 2019-02-01 | 2022-08-04 | パナソニックＩｐマネジメント株式会社 | 顔認証システムおよび顔認証方法 |
| JP7336681B2 (ja) | 2019-02-01 | 2023-09-01 | パナソニックＩｐマネジメント株式会社 | 顔認証システムおよび顔認証方法 |
| JP2020129344A (ja) * | 2019-02-12 | 2020-08-27 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
| JP7283101B2 (ja) | 2019-02-12 | 2023-05-30 | 日本電気株式会社 | 処理装置、処理方法及びプログラム |
| JP7096941B1 (ja) | 2021-09-21 | 2022-07-06 | プロパティエージェント株式会社 | 飲食店システムおよび情報処理方法 |
| JP2023044870A (ja) * | 2021-09-21 | 2023-04-03 | プロパティエージェント株式会社 | 飲食店システムおよび情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3809823B2 (ja) | 2006-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3809823B2 (ja) | 人物情報管理システムおよび人物情報管理装置 | |
| US10331729B2 (en) | System and method for accessing electronic data via an image search engine | |
| KR101649322B1 (ko) | 이미지에서 텍스트로 및 텍스트에서 이미지로 연관시키기 위한 시스템 및 방법 | |
| US9235733B2 (en) | Mobile biometrics information collection and identification | |
| US20160070809A1 (en) | System and method for accessing electronic data via an image search engine | |
| US20140236722A1 (en) | System And Method For Accessing Electronic Data Via An Image Search Engine | |
| US20110257985A1 (en) | Method and System for Facial Recognition Applications including Avatar Support | |
| JP2009533726A (ja) | 複数の画像の集合における固有のオブジェクトの識別 | |
| US20140344238A1 (en) | System And Method For Accessing Electronic Data Via An Image Search Engine | |
| JP7058755B2 (ja) | データ処理方法、装置および記憶媒体 | |
| JP2017224050A (ja) | サービス提供システム | |
| JP2013046135A (ja) | 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム | |
| JP2006243798A (ja) | 安否情報提供装置、安否情報提供方法及び安否情報提供プログラム | |
| JP2004326407A (ja) | 情報提供方法および情報提供プログラム | |
| JP2021149854A (ja) | 情報配信システム及び情報配信方法 | |
| JP2003281157A (ja) | 人物検索システム、人物追跡システム、人物検索方法および人物追跡方法 | |
| JP7237871B2 (ja) | 対象検出方法 | |
| JP2002007683A (ja) | 生態情報をキーとした顧客管理システム | |
| JP2003208493A (ja) | 企業エントランスにおける自動受付に関する方法 | |
| JP2005173763A (ja) | 顧客情報処理装置、顧客情報処理方法 | |
| CN112950242B (zh) | 一种信息推送方法、装置及电子设备 | |
| KR20230010900A (ko) | 프랜차이즈매장 출입관리시스템 | |
| KR20000059142A (ko) | 사용자 요구 사항에 대한 최적 정보의 신속한 제공 시스템 | |
| JP7507390B2 (ja) | 行動観察システム及びその行動観察方法 | |
| WO2023127122A1 (ja) | 店舗支援装置、システム及び方法、並びに、コンピュータ可読媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060515 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130602 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |