JP2004086625A - Customer information managing device - Google Patents

Customer information managing device Download PDF

Info

Publication number
JP2004086625A
JP2004086625A JP2002247686A JP2002247686A JP2004086625A JP 2004086625 A JP2004086625 A JP 2004086625A JP 2002247686 A JP2002247686 A JP 2002247686A JP 2002247686 A JP2002247686 A JP 2002247686A JP 2004086625 A JP2004086625 A JP 2004086625A
Authority
JP
Japan
Prior art keywords
customer
face image
face
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002247686A
Other languages
Japanese (ja)
Inventor
Hitoshi Hongo
本郷　仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Softopia Japan Foundation
Original Assignee
Japan Science and Technology Corp
Softopia Japan Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Corp, Softopia Japan Foundation filed Critical Japan Science and Technology Corp
Priority to JP2002247686A priority Critical patent/JP2004086625A/en
Publication of JP2004086625A publication Critical patent/JP2004086625A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a customer information managing device capable of easily acquiring customer identification information, and yet is capable of obtaining a high personal identification rate. <P>SOLUTION: In the customer information management system 1, the face image data of customers imaged by an imaging means 9, learning data generated therefrom and time information are stored in a face image DB 7 for face image recognition as the already known data of the customers. Then, the customers are estimated by predetermined image recognition by referring to the learning data by using data for retrieval generated from the new face image data of the customers, and displayed at a display unit 10 as candidates, and the face image DB 7 for face image recognition is updated while confirmed. Also, the customers are managed by referring to the data of the customer data DB 6 of the customers. Thus, it is possible to increase the estimating precision of the customers by updating the face image DB 7 for face image recognition. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、顧客情報管理装置に係り、詳しくは顧客からの顔画像情報を逐次更新して高い顔画像識別率を得ることができる顧客情報管理装置に関するものである。
【０００２】
【従来の技術】
例えば販売店の店舗では、顧客の管理が重要であるが、各顧客ごとの来店履歴や販売履歴を掌握する必要があった。そのため、販売員が来店客を判断し、顧客の名前毎に来店や販売実績を収集し、顧客カード、顧客データベースなどで顧客を管理していた。しかし、販売員が来店したすべての顧客の顔と名前を覚えていることはできず、また名前を収集できるとは限らないという問題があった。一方、来店客にその都度名前を聞くことも困難である。そこで、特開２００２−５６０６６号公報に記載されているような発明が提案された。この発明は、来店客を特定するための顔画像や、声紋、指紋、掌紋、虹彩などの生体情報から顧客を識別する顧客識別手段を備える。そして、この顧客識別手段によって特定された来店客の顧客情報から、顧客の店舗利用履歴情報や顧客の優良度情報、顧客に対する販売促進情報などをデータベースから抽出し、これらを表示出力または印刷出力する顧客情報提示システムである。この発明によれば顧客を容易に特定でき、顧客情報を簡便迅速に抽出提示することができた。
【０００３】
一方、顔画像から個人を推定する方法としては、本発明者が提案した特願２００１−３４７４７８号に記載されたような方法がある。この顔画像認識方法及び顔画像認識装置では、まず顔向き推定工程をおこなう。顔向き推定工程では、識別登録者毎に全ての顔向き方向から取得した登録顔画像の特徴ベクトルと未知顔画像の特徴ベクトルとを用いて、未知顔画像の顔向き方向が含まれる複数の左右顔向き方向面を線形判別分析によって推定する。そして、複数の左右顔向き方向を推定することで、未知顔画像の実際の顔向き方向が、推定した左右顔向き方向に属さなかったことに起因する顔向き方向の推定精度の低下を抑制する。なお、未知顔画像の顔向き方向が含まれる複数の上下顔向き方向面を線形判別分析によって推定し、複数の上下顔向き方向を推定することで、さらに、推定精度を高めることができる。次の１次個人識別工程では、推定した複数の左右上下顔向き方向面に含まれる全ての顔向き方向から取得した登録顔画像の特徴ベクトルと未知顔画像の特徴ベクトルとを用いて、識別対象者の候補者を線形判別分析によって複数人推定する。この後、複数の候補者内から識別対象者を推定する。このような方法により認識対象者から取得する未知顔画像の顔向き変化に対するロバスト性を向上させ、最終的な顔画像識別率を向上させることができた。
【０００４】
【発明が解決しようとする課題】
しかしながら、顧客を特定するための声紋、指紋、掌紋、虹彩などの生体情報は、収集が難しく、あるいは収集への顧客の心理的抵抗が大きいため販売店などでの実施が困難であるという問題があった。
【０００５】
また、顔画像は比較的収集が容易であるといえるが、顔画像は変化が大きい。そこで上述の特願２００１−３４７４７８に記載されたような方法を用いることが考えられるが、この方法では高い識別力を得るためには識別登録者から多くの異なる顔向きの顔画像を予め得ることが必要である。ところが販売店などでは一時に顧客毎に全ての顔向き方向から取得した登録顔画像を得ることは煩雑であるため難しく、少ない登録顔画像に基づいたデータからは入店客の顔画像から高い顔画像識別率を得ることが困難であるという問題があった。
【０００６】
また、同じ顔向きであっても、時間の経過と共に顧客の顔自体に変化があると顔画像識別率が低下してしまうという問題もあった。
上記課題を解決するため、本発明では、顧客識別情報を容易に得ることができ、それでいて高い個人識別率を得ることができる顧客情報管理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に係る顧客情報管理装置では、既知の顧客の顔画像データを顧客毎に記憶する顧客顔画像データベースと、入力された未知の顧客の顔画像データに基づいて生成された検索用データと、前記顧客顔画像データベースに記憶された既知の顧客の顔画像データに基づいて生成された比較用データとを比較することにより、当該未知の顔画像データと類似する既知の顧客の顔画像データを候補者として抽出する候補者抽出手段と、前記候補者抽出手段により抽出された候補者の顔画像を表示する候補者表示手段と、表示された候補者の選択についての所定コマンドの入力に基づいて前記顧客顔画像データベースを更新する顧客顔画像データベース更新手段とを備えたことを要旨とする。
【０００８】
請求項２に係る顧客情報管理装置では、請求項１に記載の顧客情報管理装置の構成に加え、前記候補者抽出手段の前記既知の顧客の比較データは、前記顧客顔画像データベースに記憶された顔画像データが１の顧客に対して複数ある場合は当該複数の顔画像データに基づいて生成されることを要旨とする。
【０００９】
請求項３に係る顧客情報管理装置では、請求項１又は請求項２に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベース更新手段は、表示された候補者の選択についての所定コマンドの入力に基づいて、前記未知の顔画像を当該選択された顧客の顔画像データとして追加することで前記顧客顔画像データベースを更新することを要旨とする。
【００１０】
請求項４に係る顧客情報管理装置では、請求項１乃至請求項３のいずれか１項に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベースは、顧客毎の顔画像データが、当該顔画像データが登録された登録時間情報と関係付けられて記憶されることを要旨とする。
【００１１】
請求項５に係る顧客情報管理装置では、請求項４に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベース更新手段は、一定条件で前記登録時間情報に基づいて時間の経過に応じて顔画像データの前記候補者抽出手段における比較データの決定におけるウエイト付けを減少させ若しくは破棄することを要旨とする。
【００１２】
請求項６に係る顧客情報管理装置では、請求項５に記載の顧客情報管理装置の構成に前記一定条件が、前記顧客画像データベースに記憶された当該顧客の顔画像データが所定数を超えた場合には最も古い顔画像データを廃棄することを要旨とする。
【００１３】
請求項７に係る顧客情報管理装置では、請求項１乃至請求項６のいずれか１項に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベースは、所定の撮像角度により分類されて顧客の顔画像データが記憶されていることを要旨とする。
【００１４】
請求項８に係る顧客情報管理装置では、請求項４乃至請求項６のいずれか１項に記載の顧客情報管理装置の構成に加え、前記顧客顔画像データベースは、所定の撮像角度により分類された顧客の顔画像データが、当該顔画像データが登録された登録時間情報に関係付けられて記憶されることを要旨とする。
【００１５】
請求項９に係る顧客情報管理装置では、請求項１乃至請求項８に記載の顧客情報管理装置の構成に加え、前記候補者表示手段により表示された既知の顧客の顔画像と未知の顧客の顔画像とが異なるとする判断に基づいた所定のコマンドが入力された場合に、前記顧客顔画像登録データベースに新たな顧客として顔画像を新規に登録する顧客顔画像データベース新規登録手段を備えたことを要旨とする。
【００１６】
請求項１０に係る顧客情報管理装置では、請求項１乃至請求項９のいずれか１項に記載の顧客情報管理装置の構成に加え、前記候補者抽出手段は、顧客顔画像データベースに蓄積された顔画像の中に、所定コマンドの入力により抽出され表示された複数の候補者から選択された候補者の顔画像データが複数ある場合は、当該選択された顧客の複数の顔画像を表示させる詳細画面表示手段をさらに備えたことを要旨とする。
【００１７】
請求項１１に係る顧客情報管理装置では、請求項１乃至請求項１０のいずれか１項に記載の顧客情報管理装置の構成に加え、顧客毎の顧客管理情報データを記憶する顧客管理情報データベースと、表示された候補者から選択された候補者に基づいて入力された所定のコマンドの入力に基づいて、当該選択された顧客の来店履歴を含む顧客管理情報を前記顧客管理情報データベースから抽出して表示する顧客管理情報表示手段を備えたことを要旨とする。
【００１８】
【発明の実施の形態】
（第１の実施形態）
以下、本発明の顧客情報管理装置を具体化した一実施形態である顧客情報管理システム１を図１〜図９に従って説明する。
【００１９】
（ハード構成）
図１は、顧客情報管理システム（以下適宜システムと略記する）１のハード構成の概略を示すブロック図である。図１に沿ってシステム１のハード構成について説明する。システム１は、撮像手段９とコンピュータ１４を備えて構成される。システム１は、例えば一般消費者を対象とする衣料品の物販店等の店舗に設置され、店舗への入店客の顔画像を例えばカラーのＣＣＤカメラなどから構成された撮像手段９で「顔画像データ」としてのデジタル画像を撮影する。撮影は、光センサなどで客の入店を検出して自動撮影したり、レジでの支払い時に撮影したり、店員が手持ちカメラで撮影してもよい。この段階では、顔画像データは未知の識別対象者の顔画像が含まれた人物全体または一部の画像である。撮像手段９は、コンピュータ１４に常時接続されてリアルタイムで処理するようにしてもよいが、撮像手段９をコンピュータ１４に接続しない状態で撮影をして、後からコンピュータ１４に接続して入力するような構成でもよい。なお、従来の方法では、客の顔の角度が撮影方向に対して一定、例えば正面になることが精度上望ましいが、本実施形態であれば顔画像データが蓄積されればさまざまな顔の方向に対応できるため、１方向に限定する必要はない。
【００２０】
顔画像蓄積手段１０は、撮像手段９に接続され、撮影された顔画像データとしてのデジタル画像データを蓄積する手段である。例えば、ＣＰＵ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）を備えたサーバコンピュータからなるデータベースサーバのようなものであってもよいし、単にカメラに内蔵されたフラッシュＲＯＭのような記憶媒体であってもよい。また、ＣＰＵ２により制御されるＨＤＤであってもよい。何らかのかたちで顔画像データが蓄積されればよい。このシステム１において顔画像蓄積手段１０は、ネットワークコンピュータを備えたデータベースサーバとして構成され、コンピュータ１４とはＬＡＮ接続されている。
【００２１】
コンピュータ１４は、ＣＰＵ２、ＲＡＭ３、ＲＯＭ４、ＨＤＤ８、インタフェイス５を備えて構成される。ＣＰＵ２はＲＡＭ３及びＲＯＭ４とバスにより接続されている。また、顧客データＤＢ６、顔画像認識用顔画像ＤＢ７、表示装置１１、入力装置１２が、インタフェイス５を介してＣＰＵ２と接続されている。撮像手段９から直接、若しくは顔画像蓄積手段１０を介して入力された顔画像データは、このコンピュータ１４により特徴が分析され検索用データが生成される。コンピュータ１４は、顔画像認識用顔画像ＤＢ７に蓄積された顔画像データから生成された比較データを参照して特徴が共通する顧客の候補を特定する。顧客が特定されると表示装置１１に表示され、必要に応じてその顧客の顧客データ（本発明の顧客管理情報データに相当）が顧客データＤＢ６から抽出され表示される。また、画像データが販売員からの入力により顔画像認識用顔画像ＤＢ７に蓄積された顔画像認識用顔画像が更新される。このコンピュータ１４が、本発明の顧客情報管理プログラムが実行されることにより、本発明の候補者抽出手段、候補者表示手段、顧客顔画像データベース更新手段として機能する。また、顔画像を新規に登録する顧客顔画像データベース新規登録手段としても機能する。
【００２２】
ＣＰＵ２は、ＨＤＤ８にインストールされたプログラムにより各種処理を行う。ＲＡＭ３は、ＣＰＵ２の処理に必要な一時的な記憶をする。ＲＯＭ４は、コンピュータ１４のハードシステムを管理するＢＩＯＳプログラムが格納されている。ＨＤＤ８は、コンピュータ１４に内蔵されており、コンピュータ１４及びここに接続された周辺機器を管理するＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）がインストールされ、また、システム１を本発明の顧客情報管理装置として機能させる顧客情報管理プログラムが格納されている。
【００２３】
表示装置１１は、ＬＣＤ（ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレーなどからなる周知のディスプレー装置から構成される。コンピュータ１４により候補者の顔画像を表示したり、操作画面、操作に必要な情報や顧客管理情報を表示する。なお、表示手段としてプリンタ（不図示）をコンピュータ１４に接続しハードコピーを出力するようにしてもよい。また、複数店舗の情報を管理するためのホストコンピュータであるＰＯＳ（Ｐｏｉｎｔ−ｏｆ−ｓａｌｅｓ　ｓｙｓｔｅｍ）１３に専用回線やインターネットを含む公衆回線などの電気通信回線を介して送信するような構成を備える。入力装置１２は、キーボード等のキャラクター入力装置や、マウス等のポインテッドデバイスから構成され、コンピュータ１４に対するシリアル入力として各種操作に供される。なお、表示画面上をタッチパネルとして操作するような表示装置１１と入力装置１２を兼ね備えた構成でもよい。
【００２４】
顧客データＤＢ６は、顧客管理情報として顧客の氏名、住所、管理番号、年齢、趣味等の属性データの他、顧客の店舗利用履歴情報、顧客の優良度情報、顧客に対する販売促進情報などを記憶する。また、関係する顔画像と関係付けるデータも記憶される。これらの情報はリレーショナルデータベースとして構築され、例えば、管理番号をキーに管理される。顧客データＤＢ６は、ここではＬＡＮ接続されたデータベースサーバとして構成されるが、コンピュータ１４内の内蔵ＨＤＤとして構成されてもよい。
【００２５】
顔画像認識用顔画像ＤＢ７は、入力した顔画像データと、ここから抽出された顧客の特徴を認識するための比較用データである学習データが予め蓄積されている。この学習データは、顧客別に所定の撮像角度により分類され、この顔画像データが登録された時間情報とともに記憶されている。また、既知若しくは未知の顧客が来店客として入力された場合も、その後の学習データとして蓄積される。以下この学習データの取得方法について説明する。この顔画像認識用顔画像ＤＢ７が本発明の顧客顔画像データベースに相当する。また、ここに記憶された顔画像データが、本発明の顔画像データに相当する。また、ここに記憶された学習データが本発明の比較用データに相当する。
【００２６】
（学習データ取得方法）学習データの取得は、顔画像取得工程、顔領域検出工程及び特徴ベクトル取得工程の３段階の工程で行う。
（顔画像取得工程）　先ず、顔画像取得工程では、各顧客毎に、予め設定された複数の顔向き方向で撮像した顔画像データを取得する。本実施形態では、顔正面を中心として左右に±４５°、かつ、上下に±３０°の角度範囲内に設定される顔向き方向で撮像する。なお、好ましくは設定されたすべての方向からの顔画像データが取得されることが望ましいが、本発明では、後に更新処理により顔画像データが追加されるので、ここでは取得可能な顔画像データのみを処理する。
【００２７】
各顔向き方向は、次のように設定されている。先ず、顧客Ｚの顔正面を中心（０°）として左右に１５°おきに異なる角度をなす複数の左右顔向き方向面ＰＶ（−４５），ＰＶ（−３０），ＰＶ（−１５），ＰＶ（０），ＰＶ（＋１５），ＰＶ（＋３０），ＰＶ（＋４５）を設定する。各左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）は、鉛直視で頭部の略中心にある鉛直線Ｐｖにそれぞれ交差する平面である。また、顔正面の水平面を中心（０°）として、上下に１５°おきに上下に異なる角度をなす複数の上下顔向き方向面ＰＨ（−３０），ＰＨ（−１５），ＰＨ（０），ＰＨ（＋１５），ＰＨ（＋３０）を設定する。各上下顔向き方向面ＰＨ（−３０）〜ＰＨ（＋３０）は、側面視で頭部の略中心にある水平線Ｐｈにそれぞれ交差する平面である。
【００２８】
本実施形態では、左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）として、顔正面を左右に等分する左右顔向き方向面ＰＶ（０）に以下の角度を加えて７つの左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）を設定する。まず、顔正面に対して右方向にそれぞれ＋１５°、＋３０°、＋４５°だけ角度をなす３つの左右顔向き方向面ＰＶ（＋１５），ＰＶ（＋３０），ＰＶ（＋４５）を加える。また、同じく左方向にそれぞれ−１５°、−３０°、−４５°だけ角度をなす３つの左右顔向き方向面ＰＶ（−１５），ＰＶ（−３０），ＰＶ（−４５）を加える。
【００２９】
また、上下顔向き方向面ＰＨ（＝３０）〜ＰＨ（＋３０）として、顔正面を上下に分割する水平な上下顔向き方向面ＰＨ（０）の方向面を設定する。また、顔正面に対して上方向にそれぞれ＋１５°、＋３０°だけ角度をなす２つの上下顔向き方向面ＰＨ（＋１５），ＰＨ（＋３０）の方向面を設定する。そして、さらに同じく下方向にそれぞれ−１５°、−３０°だけ角度をなす２つの上下顔向き方向面ＰＨ（−１５），ＰＨ（−３０）の合計５つの方向面を設定する。
【００３０】
そして、各顧客Ｚの顔画像データを、７つの左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）と５つの上下顔向き方向面ＰＨ（−３０）〜ＰＨ（＋３０）との各交差線によって設定される３５の撮像方向、すなわち、顔画像データの顔向き方向で撮像する。従って、各左右顔向き方向面ＰＶ（ｊ）（ｊ：−４５，−３０，−１５，０，＋１５，＋３０，＋４５）には、５つの上下顔向き方向面ＰＨ（ｋ）（ｋ：−３０，−１５，０，＋１５，＋３０）との交差線で設定される５つの顔向き方向が含まれることになる。
【００３１】
なお、識別精度の点からは各顔向き方向毎に、複数枚の顔画像データを撮影する必要がある。例えば、１０枚とした場合、各顧客Ｚ毎に、最大３５０（＝３５方向×１０個）個の顔画像データを取得するが、本システム１においては、最初は取得可能な少数の顔画像データから開始して順次更新により顔画像データを蓄積して、識別精度を高めることになる。
【００３２】
（顔領域検出工程）
次に、顔領域検出工程では、各顧客について最大３５０個ずつ取得した各顔画像毎に、その顔領域を検出する。
【００３３】
顔領域検出には、色情報を用いた公知の肌色基準値による手法であって、均等知覚色空間の１つであるＣＩＥ−Ｌ＊ｕ＊ｖ＊表色系を用いる。先ず、顔画像データの全領域に亘り、Ｕ，Ｖ座標値による２次元色ヒストグラムを求め、予め定めた肌色有効範囲内のピーク値（度数が最大の値）を肌色基準値とする。
【００３４】
次に、公知の判別分析法を用いて、肌色基準値からの色差に対する閾値を決定し、この閾値に基づいて顔画像データを肌色領域とその他の領域に２値化する。最後に、抽出された複数の肌色領域毎に、その肌色領域を形成する画素数（面積）を求め、画素数が最大であった肌色領域を顔領域とする。
【００３５】
（特徴ベクトル取得工程）
次に、特徴ベクトル取得工程では、各顧客について最大３５０個ずつ取得した各顔画像データ毎に、その特徴量を表した特徴ベクトルを作成する。なお、この特徴ベクトルを作成する際に、所定のウエイト付けを行う。本実施形態では、原則として登録時間情報から登録されてからの時間が短いもののウエイトを大きくし、時間が経過するとともに小さくなるようにしている。また、販売者が写真の状態などを判断して、後述する顔向き表示画面Ｐ４においてマニュアルで順序を変えて、より状態のよい顔画像データのウエイトを大きくすることもできる。
【００３６】
詳述すると、各顧客から取得した最大３５０個の顔画像データ毎に、その濃淡値の勾配から４方向のベクトル場を求める。本実施形態では、４方向を、水平方向、垂直方向、左下がり４５°斜め方向、及び、右下がり４５°斜め方向としている。そして、公知の手法によって、各方向別に分割したエッジ画像を得る。得られた各エッジ画像は、方向性を有する濃淡画像である。
【００３７】
具体的には、各顔画像データ毎に、Ｐｒｅｗｉｔｔオペレータを用いた微分フィルタ処理を行い、水平、垂直、左下がり斜め、及び、右下がり斜めに分割された４つの方向エッジ画像（以下、方向面という。）を生成する。
【００３８】
次に、４つの各方向面をその顔領域で正規化し、８×８に低解像度化する。最後に、各顔画像データ毎に、４つの各方向面について、それぞれ８×８に低解像度化した画像の濃淡値を特徴量として抽出した２５６次元の特徴ベクトルを作成する。
【００３９】
そして、各顔画像データ毎に作成した特徴ベクトルを、顧客及び顔向き方向に対応させて記憶する。この各特徴ベクトルは、２５６次元の線形空間上の１点として表されるものであり、この学習データは顔認識を行うための比較用データとなる。以上予め顔画像認識用顔画像ＤＢ７に蓄積される既知の顧客の比較用データの生成の仕方を説明したが、後に未知の来店客から取得した顔画像データから生成する検索用データも基本的に同じ方法により生成する。
【００４０】
（顧客情報管理方法の説明）このように構成された顧客情報管理システム１の顧客情報管理処理の概要を説明する。図２〜３は、顧客情報管理システム１の処理のメインルーチンを示すフローチャートである。以下このフローチャートに沿って説明する。
【００４１】
顧客情報管理処理は、まず画像入力の処理（ステップ（以下Ｓと略記する。）１）から開始される。画像は、撮像手段９で撮像され、直接インタフェイス５を介してコンピュータ１４に入力するか、一旦顔画像蓄積手段１０に蓄積しておいた顔画像データをインタフェイス５を介してコンピュータ１４に入力する。ここで入力されるデータは対象者を撮影したカラーデジタル画像からなる画像データである。なお、本実施形態では撮像時に予め時間情報を顔画像データに付加して記録するが、コンピュータ１４への入力時に時間情報を付加して記録してもよい。顔画像データとともに記憶されるこれらの時間情報が、本発明の登録時間情報に相当する。
【００４２】
次に顔領域検出の処理を行う（Ｓ２）。この処理は学習データ取得で説明した顔領域検出工程の処理であるので詳細な説明は省略する。そして、入力された画像データから顔領域が検出できたかを判断し（Ｓ３）、顔領域が検出できなかった場合は（Ｓ３；ＮＯ）、次の画像入力の処理（Ｓ１）を行う。顔領域が検出できた場合は（Ｓ３；ＹＥＳ）、未知顔画像認識の処理（Ｓ４）を行う。ここでは、入力された未知顔である来店客の顔画像データについて、前述した特徴ベクトル取得工程を行う。この処理は学習データ取得における処理と同様の処理で生成した特徴ベクトルで、詳細な説明は省略するが本発明の検索用データに相当する。
【００４３】
（未知顔画像認識処理）以下、未知顔画像認識の処理（Ｓ４）の概要を説明する。未知顔画像認識処理（Ｓ４）は、顔領域検出ができたものについて（Ｓ３；ＹＥＳ）、特徴ベクトル取得工程の工程を行う。
【００４４】
特徴ベクトル取得工程では、来店客の顔画像データから、学習データと同様の処理により特徴ベクトルを取得する。続いて、顔画像データ比較抽出の処理（Ｓ５）を行う。顔画像データ比較抽出の処理（Ｓ５）では、顔向き推定工程、１次個人識別工程、個人顔向き推定工程、２次個人識別工程の４段階の工程により処理される。
【００４５】
まず、顔向き推定工程では、来店客の顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）（ｊ：−４５，−３０，−１５，０，＋１５，＋３０，＋４５）を、７つの左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）の内から推定する。
【００４６】
１次個人識別工程では、全ての顧客内から来店客の候補者を複数人推定する。次に、個人顔向き推定工程では、１次個人識別工程で推定した各候補者毎に、その候補者が来店客であった場合の未知顔画像の顔向き方向を最大３５０の全ての顔向き方向の範囲内から可能なものを推定する。
【００４７】
最後の２次個人識別工程では、１次個人識別工程で推定され、個人顔向き推定工程で顔向き方向が推定された例えば１０人の候補者を、確度の高い順に抽出し候補者一覧画面に表示するため記憶しておく。
【００４８】
（顔画像データ比較抽出の処理）
次に、顔画像データ比較抽出の処理（Ｓ５）について詳述する。
（顔向き推定工程）　顔向き推定工程では、各顧客毎に全ての顔向き方向から撮像した顔画像データから取得した特徴ベクトルと、来店客の顔画像データから取得した特徴ベクトルとを用いて、来店客の顔画像の顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）を公知の線形判別分析によって推定する。すなわち、来店客の顔画像の顔向き方向を、左右の傾きのみで判別する。
【００４９】
顔向き推定工程として、先ず、来店客の顔画像データの特徴ベクトルを、全ての登録された顧客毎に全ての顔向き方向で撮像した顔画像データの特徴ベクトルが線形写像された線形空間（以下、顔向き判別空間αという。）に線形写像する。
【００５０】
顔向き判別空間αは、全ての顔画像データの特徴ベクトルが、この特徴ベクトルから求めた係数行列を用いて線形写像された線形空間である。顔向き判別空間αでは、線形写像された各特徴ベクトルが、それぞれ５つの顔向き方向を含む７つの各左右顔向き方向面ＰＶ（−４５）〜ＰＶ（＋４５）に対応して生成されたクラス１〜クラス７に分類されている。
【００５１】
各クラスｊ（１≦ｊ≦７；ｊは自然数）には、そのクラスｊに分類された１つの左右顔向き方向面ＰＶ（ｊ）に含まれる５つの各顔向き方向毎に各顧客について撮像された例えば最大５０（＝上下５方向×１０）の顔画像データの特徴ベクトルが、最大１５０人分の数７５００（＝１５０人×５０）分類されている。
【００５２】
各クラスｊは、クラスｊ内の分散が小さく、かつ、各クラスｊ間の分散が大きくなるように生成されている。なお、顔向き判別空間αは、全ての顔画像データの特徴ベクトルから予め作成されている。
【００５３】
顔向き推定工程として、次に、顔向き判別空間αに線形写像した来店客の特徴ベクトルｙ１が、クラス１〜クラス７のいずれに属するかを判別する。そして、判別されたクラスｊに分類されている特徴ベクトルが取得された顔画像データの顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）が、来店客の顔向き方向が含まれる左右顔向き方向面ＰＶ（ｊ）であると推定する。
【００５４】
来店客の特徴ベクトルｙ１が属するクラスｊの判別は、この特徴ベクトルｙ１と、各クラスの平均特徴ベクトルＡ（１）〜Ａ（ｊ）〜Ａ（７）とのユークリッド距離ｓ１（１）〜ｓ１（ｊ）〜ｓ１（７）が最小となるものを求めることで行う。なお、各クラス１〜７の平均特徴ベクトルＡ（１）〜Ａ（７）は予め求められている。
【００５５】
さらに、顔向き推定工程では、来店客の顔向き方向が、顔向き判別空間αで推定した左右顔向き方向面ＰＶ（ｊ）と、この左右顔向き方向面ＰＶ（ｊ）の両隣りの２つの左右顔向き方向面ＰＶ（ｊ）とを合わせた３つの左右顔向き方向面ＰＶ（ｊ）のいずれかに含まれると推定する。
【００５６】
例えば、顔向き判別空間αで推定した左右顔向き方向面ＰＶ（ｊ）が左右顔向き方向面ＰＶ（０）であるときには、以下のように推定する。すなわちこの左右顔向き方向面ＰＶ（ｊ）に加え、その両隣りの２つの左右顔向き方向面ＰＶ（−１５）及びＰＶ（＋１５）との３つの左右顔向き方向面ＰＶ（−１５），ＰＶ（０），ＰＶ（＋１５）のいずれかに含まれると推定する。これは、顔向き判別空間αで推定した左右顔向き方向面ＰＶ（ｊ）に来店客の顔向き方向が含まれる確率が最も高いものの、その両隣りの左右顔向き方向面ＰＶ（ｊ）に含まれる確率も小さいながらあるからである。
【００５７】
これにより、顔向き推定工程での推定結果によって、来店客の顔向き方向が実際に含まれる左右顔向き方向面ＰＶ（ｊ）が以後の各工程で考慮されなくなる確率を小さくし、最終的な顔画像識別率の向上を図っている。
【００５８】
（１次個人識別工程）
次に、１次個人識別工程では、顔向き推定工程で推定した３つの左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方向で撮像した顔画像データの特徴ベクトルと、来店客の特徴ベクトルとを用いて、候補者を全ての顧客内から線形判別分析によって複数人推定する。
【００５９】
１次個人識別工程として、先ず、来店客の特徴ベクトルを、顔向き推定工程で推定した３つの左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方向で撮像した顔画像データの特徴ベクトルが線形写像された線形空間（以下、１次個人判別空間βという。）に線形写像する。
【００６０】
１次個人判別空間βは、全ての顔画像データの特徴ベクトルの内、３つの各左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方向から撮像された顔画像データの特徴ベクトルだけが、この各特徴ベクトルから求めた係数行列を用いて線形写像された線形空間である。
【００６１】
１次個人判別空間βでは、線形写像された各特徴ベクトルが、例えば１５０人の各顧客に対応して生成されたクラス１〜クラスｊ〜クラス１５０に分類されている。
【００６２】
各クラスｊ（１≦ｊ≦１５０；ｊは自然数）には、そのクラスｊに分類された顧客について全ての顔向き方向で撮像された顔画像データ内、特定の顔画像データの特徴ベクトルが分類されている。すなわち、３つの左右顔向き方向面ＰＶ（ｊ）に含まれる１５（左右３方向×上下５方向）の顔向き方向で撮像された１５０（＝左右３方向×上下５方向×１０個）の顔画像データの特徴ベクトルが分類されている。
【００６３】
各クラス１〜クラス１５０は、各クラスｊ内の分散が小さく、かつ、各クラスｊ間の分散が大きくなるように生成されている。１次個人判別空間βは、７つの左右顔向き方向の内、隣り合う３つの左右顔向き方向面ＰＶ（ｊ）の５つの組み合わせ毎に予め作成されている。すなわち、（＋４５°、＋３０°、＋１５°），（＋３０°、＋１５°、Ｏ°），（＋１５°、０°、−１５°），（０、−１５°、−３０°），（−１５°、−３０°、−４５°）毎に予め作成されている。そして、顔向き推定工程での推定結果に基づいて選択される。
【００６４】
１次個人識別工程として、次に、１次個人判別空間βに線形写像された来店客の特徴ベクトルｙ２が、クラス１〜クラス１５０のいずれに属するかを判別する。そして、判別されたクラスｊに分類されている特徴ベクトルが取得された顔画像データが撮像された顧客を候補者とする。
【００６５】
来店客の特徴ベクトルｙ２が属するクラスｊの判別は、この特徴ベクトルｙ２と、各クラスの平均特徴ベクトルＢ（１）〜Ｂ（ｊ）〜Ｂ（１５０）とのユークリッド距離ｓ２（１）〜ｓ２（ｊ）〜ｓ２（１５０）が最小となるものを求めることで行う。なお、各クラスｊの平均特徴ベクトルＢ（１）〜Ｂ（１５０）は予め求められており、顔向き推定工程での推定結果に基づいて選択される。
【００６６】
さらに、１次個人識別工程では、候補者となる顧客を、１次個人判別空間βでのユークリッド距離が小さい順に例えば１０名推定する。すなわち、ユークリッド距離が小さい順に１０のクラスｊを求め、この各クラスｊに対応する顧客を、識別対象者の１０人の候補者とする。これは、１次個人判別空間βで求めた顧客が来店客である確率が最も高いものの、ユークリッド距離が最小に近い９のクラスｊに対応する顧客である見込みも小さいながらあるからである。これにより、１次個人識別工程での識別結果によって、実際の顧客が以後の各工程で考慮されなくなる確率を小さくし、最終的な顔画像識別率の向上を図っている。
【００６７】
（個人顔向き推定工程）　次に、個人顔向き推定工程では、前記各候補者毎に、その候補者が来店客であった場合の来店客の顔画像の顔向き方向を全ての顔向き方向の範囲内から推定する。この推定には、顔向き方向推定工程で推定した３つの左右顔向き方向面ＰＶ（ｊ）に含まれる全ての顔向き方向で撮像した顔画像データの特徴ベクトルと、来店客の顔画像の特徴ベクトルとを用いる。
【００６８】
個人顔向き推定工程として、先ず、来店客の特徴ベクトルを、各候補者毎にその候補者に対し３５の全ての顔向き方向で撮像した顔画像データの特徴ベクトルが線形写像された線形空間（以下、個人顔向き判別空間γ１〜γ１０という。）に線形写像する。各個人顔向き判別空間γ１〜γ１０は、その候補者から取得した３５０（＝３５方向×１０個）個の顔画像データの特徴ベクトルが、この特徴ベクトルから求めた係数行列を用いてそれぞれ線形写像された線形空間である。各個人顔向き判別空間γ１〜γ１０では、線形写像された各特徴ベクトルが、３５の顔向き方向に対応して生成されているクラス１〜クラスｊ〜クラス３５に分類されている。
【００６９】
各クラスｊ（１≦ｊ≦３５；ｊは自然数）には、そのクラスｊに分類された１つの顔向き方向で撮像された１０個の顔画像データの特徴ベクトルが分類されている。各クラスｊは、クラスｊ内の分散が小さく、かつ、各クラスｊ間の分散が大きくなるように生成されている。各個人顔向き判別空間γ１〜γ１０は、１５０人の各顧客毎に予め作成されており、１次個人識別工程での推定結果に応じて選択される。
【００７０】
個人顔向き推定工程として、次に、各候補者毎に、その個人顔向き判別空間γ１〜γ１０に線形写像した来店客の特徴ベクトルｙ３が、クラス１〜クラス３５のいずれに属するかを判別する。そして、判別されたクラスｊに分類された特徴ベクトルが取得された顔画像データの顔向き方向が、その候補者が来店客であった場合の顔向き方向であると推定する。
【００７１】
来店客の特徴ベクトルｙ３が属するクラスｊの判別は、この特徴ベクトルｙ３と、各クラスの平均特徴ベクトルＣ（１）〜Ｃ（ｊ）〜Ｃ（３５）とのユークリッド距離ｓ３（１）〜ｓ３（３５）が最小となるものを求めることで行う。なお、各クラス１〜クラス３５の平均特徴ベクトルＣ（１）〜Ｃ（３５）は予め求められており、１次個人識別工程での推定結果に応じて選択される。
【００７２】
（２次個人識別工程）　次に、２次個人識別工程では、１次個人識別で推定した各候補者毎に、個人顔向き推定で推定したその候補者の顔向き方向から取得した顔画像の特徴ベクトルと、来店客の特徴ベクトルとを用いて、最終的な顧客を全ての候補者内から線形判別分析によって推定する。
【００７３】
２次個人識別工程として、先ず、来店客の特徴ベクトルを、個人顔向き推定工程で各候補者毎に推定された顔向き方向で撮像した顔画像データの特徴ベクトルが線形写像された線形空間（以下、２次個人判別空間δという。）に線形写像する。
【００７４】
２次個人判別空間δは、前記各顔画像データの特徴ベクトルが、この各特徴ベクトルから求めた係数行列を用いて線形写像された線形空間である。２次個人判別空間δでは、線形写像された各特徴ベクトルが、１０人の各候補者に対応して生成されているクラス１〜クラス１０に分類されている。各クラスｊ（１≦ｊ≦１０；ｊは自然数）には、そのクラスｊに分類された候補者の一人について推定された１つの顔向き方向で撮像された１０の顔画像データの特徴ベクトルが分類されている。各クラスｊは、クラスｊ内の分散が小さく、かつ、各クラスｊ間の分散が大きくなるように生成されている。２次個人判別空間δは、顔画像認識処理の実行毎に、個人顔向き推定工程での推定結果に応じて作成される。これは、顔向き判別空間、１次個人判別空間、及び、個人顔向き判別空間に比較して、その組み合わせ数が著しく多いためである。
【００７５】
２次個人識別工程として、次に、２次個人判別空間δに線形写像した未知顔画像の特徴ベクトルｙ４が、クラス１〜クラス１０のいずれに属するかを判別する。そして、判別したクラスｊに分類されている特徴ベクトルが取得された顔画像データが撮像された候補者を、最終的な顧客であると推定する。
【００７６】
未知顔画像の特徴ベクトルｙ４が属するクラスｊの判別は、この特徴ベクトルｙ４と、各クラスｊの平均特徴ベクトルＤ（１）〜Ｄ（ｊ）〜Ｄ（１０）とのユークリッド距離ｓ４（１）〜ｓ４（ｊ）〜ｓ４（１０）が最小となるものを求めることで行う。
【００７７】
各クラス１〜１０の平均特徴ベクトルＤ（１）〜Ｄ（１０）は、顔画像認識処理毎に、個人顔向き推定工程で推定された各候補者毎の顔向き方向に属する特徴ベクトルから求められる。
【００７８】
以上の各工程からなる顔画像データ比較抽出の処理（Ｓ５）によって、任意の顔向き方向で撮像された来店客の顔画像が、予め顔画像が登録されている顧客内から抽出される。
【００７９】
このようにして顔画像データ比較抽出の処理（Ｓ５）で抽出された候補者を表示装置１１の画面に一覧表示する（Ｓ６）。ここで、図５は、表示装置１１の画面に複数の候補者の顔画像が一覧表示された候補者一覧表示画面Ｐ１を示す図である。顔画像認識用顔画像ＤＢ７から抽出された各候補者１〜５の顔画像Ｃ１〜５は、来店客（未知顔）の顔画像Ｕ１と比較ができるように一覧表示される。図５では、候補者が５名の例を示しているが、前述の説明のように１０名としてもよいし、人数を定めず一定の基準以上の一致度の候補者を全て表示するようにしてもよい。なお候補者が多数あり、１ページで表示できない場合は、図示しない「次頁ボタン」を操作すれば、他の候補者が表示されるようにする。ここでは、１頁だけであるので「次頁なし」Ｐ１ａが表示される。顔画像Ｃ１には、氏名Ｃ１ａが表示され、顔画像とともに来店客の特定するための情報を販売員に与える。販売員は来店客の顔画像Ｕ１を候補者１〜５の顔画像Ｃ１〜Ｃ５と比較しながら、表示された氏名Ｃ１ａなども参考に同一人物か否かを判断する。
【００８０】
ここで、顧客選択の処理（Ｓ８）が行われる。顧客選択の処理（Ｓ８）は、候補者一覧表示画面Ｐ１（図５）が表示されているときに、コンピュータ１４が販売員の入力装置１２による操作を待つ処理である。販売員が来店客（未知顔）をいずれかの候補者と判断した場合には、候補者１〜候補者５の選択ボタンＣ１ｂ，Ｃ２ｂ，Ｃ３ｂ，Ｃ４ｂ，Ｃ５ｂのいずれかを操作すると、販売員の選択の意思をコンピュータ１４が認識する。また、来店客がいずれの候補者とも一致しない場合は、新規登録として画面上に表示された「新規登録」ボタンＰ１ｂを操作することで新規登録であることをコンピュータ１４が認識する。なお、フローチャートには図示を省略したが、例えば販売員自身の画像など登録したくない場合には、「次処理」ボタンＰ１ｃにより、次の画像入力の処理（図２；Ｓ１）に進む。また、「終了」ボタンＰ１ｄを操作すれば、処理を終了する（図３；終了）。
【００８１】
次に、コンピュータ１４は、該当者ありか否かを判断する（Ｓ９）。顧客選択（Ｓ８）で、一定の候補者が選択され、入力装置１２から候補者１〜候補者５の選択ボタンＣ１ｂ〜Ｃ５ｂのいずれかが操作された場合は、該当者ありと判断し（Ｓ９；ＹＥＳ）、顔画像認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）を行う。一方、候補者一覧表示画面Ｐ１（図５）に該当する候補者がいないときは、販売員は新規登録ボタンＰ１ｂを操作することで、コンピュータ１４は該当者なしと認識して（Ｓ９；ＮＯ）、新規登録の処理（Ｓ１３）に移行する。新規登録の処理（Ｓ１３）については後述する。
【００８２】
ここで、図４は、顔認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）のサブルーチンを詳細に示すフローチャートである。以下このフローチャートに沿って詳細に説明する。顔画像認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）が開始されると、選択ボタンＣ１ｂ〜Ｃ５ｂが操作された候補者のデータと入力された顔画像を比較可能に表示する（Ｓ１０１）。
【００８３】
ここで、図６は、表示装置１１の画面に選択された単一の候補者のデータと入力された顔画像を比較可能に表示する候補者詳細表示画面Ｐ２を示す図である。本発明の顧客情報管理プログラムによりコンピュータ１４が候補者詳細表示画面Ｐ２を表示させる本発明の詳細画面表示手段として機能させられる。顔認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）では選択された候補者のデータと入力された顔画像を比較可能に表示する処理（以下「詳細表示の処理」という。）（Ｓ１０１）が実行される。詳細表示の処理（Ｓ１０１）では、図５に示す候補者一覧表示画面Ｐ１から、入力装置１２から顧客選択の処理（Ｓ８）において、選択ボタンＣ１ｂ〜Ｃ５ｂが操作されて選択された顧客の図６に示す候補者詳細表示画面Ｐ２が表示される。
【００８４】
図６に示すような候補者詳細表示画面Ｐ２では、選択された候補者１の顔画像がＵ２〜Ｕ１３まで１２枚表示されている。これらは、顔画像データに付加された時間情報に基づいた登録された日時（若しくは所定の処理なされた日時）から、顔向きに拘わらず、経過時間の少ないもの、つまり新しい順に表示される。また、「次頁」ボタンＰ２ａをマウスで操作すればさらに古い顔画像が表示される。なお、顔向きボタンＰ２ｅを操作すれば、顔画像データ比較抽出の処理（Ｓ５）において個人顔向き推定工程で推定されたものと同一の顔向きの候補者の顔画像の一覧画面（図示を省略）が表示される。
【００８５】
次に、コンピュータ１４は、比較結果入力の処理（Ｓ１０２）により、入力待ちの状態になる。ここでは、候補者詳細表示画面Ｐ２（図６）が表示されているときに、来店客の顔画像Ｕ１が詳細表示された顧客と一致すると販売員が判断した場合は、「登録」ボタンＰ２ｃを操作する。一方、候補者詳細表示画面Ｐ２で来店客と比較したが同一の顧客とは判断されず、且つ候補者一覧表示画面Ｐ１で他の顧客を再度確認したいと販売員が判断した場合は、「もどる」ボタンＰ２ｂを操作する。これらの入力操作により、コンピュータ１４が比較結果を認識する。
【００８６】
このように販売員が入力装置１２から顧客を比較した結果を入力すると（Ｓ１０２）、同一人物か否かがコンピュータ１４により判断される（Ｓ１０３）。すなわち、候補者詳細表示画面Ｐ２において登録ボタンＰ２ｃが操作されたか、或いは戻るボタンＰ２ｂ若しくは新規登録ボタンＰ２ｂが操作されたかがコンピュータ１４により判断される。同一人物と判断された場合、すなわち登録ボタンＰ２ｃが操作された場合は（Ｓ１０３；ＹＥＳ）、入力された顔画像を記憶する処理（Ｓ１０４）が行われる。ここでは、前述のように入力された来店客の顔画像Ｕ１の顔画像データから学習データが生成されるとともに、顔画像データから抽出された顔領域の顔画像から表示用のデータが生成される。また、これらのデータには登録時間情報が付加されている。これらのデータは、顔画像認識用顔画像ＤＢ７に既に記憶された顧客のデータとの更新用に一時保管される（以下更新用データという。）。前述の候補者一覧表示画面Ｐ１の選択ボタンＣ１ｂ〜Ｃ５ｂの操作及びこの候補者詳細表示画面Ｐ２の「登録」ボタンＰ２ｃの操作が本発明の表示された候補者の選択についての所定コマンドの入力に相当する。
【００８７】
そして、リスト用顔画像編集（Ｓ１０５）を行う。ここで、図７は、顔画像認識用顔画像ＤＢ７に既に記憶された顧客のデータの更新を行う更新画面Ｐ３を示す図である。更新画面Ｐ３には、来店客の顔画像Ｕ１の顔画像データから生成された更新用データである顔画像と、既に顔画像認識用顔画像ＤＢ７に記憶されている顧客の顔画像（既知データという。）の一覧が表示される。ここでは、顔向き毎に記憶されている既知データの最新の顔画像Ｄ１１，Ｄ１２…の一覧が表示される。登録のない顔向きはブランクになる。そして、未知顔画像認識（Ｓ４）の個人顔向き推定工程で推定された顔向きの既知データが太枠で強調して表示される。
【００８８】
この状態から、「自動」ボタンＰ３ａを操作すれば、更新用データがこの顔向きのデータとして追加される。既にその顔向きに既知データの登録が所定数、例えば１０以上ある場合は、その顔向きの最も古い既知データが削除され、更新用データが新規に既知データとして追加される。
【００８９】
ここで、個人顔向き推定工程で推定された顔向きが誤っていると判断した場合は、マウスで正しい顔向きを選択し、自動ボタンＰ３ａを操作すれば、更新用データがこの選択された顔向きのデータとして追加される。なお、この場合も所定数を超えた場合は、新たに表示された顔向きの最も古い既知データが削除される。更新ＯＫの場合（Ｓ１０６；ＹＥＳ）には、「終了」ボタンＰ３ｃを操作すると顔画像認識用顔画像ＤＢ７追加・更新の処理（図３；Ｓ１０）が終了する（リターン）。
【００９０】
また、「全表示」ボタンＰ３ｂを操作すると、現在太枠で表示されている顔向きの既知データの全てが顔向き表示画面Ｐ４で表示される。ここで、図８は、顔向き表示画面Ｐ４を示す図である。ここには更新用データの顔画像Ｕ１と、選択された顔向きと同一の既知データの顔画像Ｄ２４ａ〜Ｄ２４ｊが新しい順に全て表示される。なお、図８では、既知画像としての登録数が６枚である場合を示している。ここで、時間的な新しさのみならず、撮影状態が悪く最もデータとして不適切なものをマウスで指定して、入替えボタンＰ４ａを操作することで更新用データと入替えることができる。また、「前へ」ボタンＰ４ｄを操作して、選択した顔画像の参照の優先順位を上げたり、「後へ」ボタンＰ４ｅを操作して、選択した顔画像の参照の優先順位を下げたりすることができる。このように入れ替えることで、最も特徴が現れた、若しくは最も撮影の状態のよい顔画像の特徴ベクトルを参照して、識別精度を高めることができる。ベクトル更新ＯＫの場合（Ｓ１０６；ＹＥＳ）には、「終了」ボタンＰ３ｃを操作すると顔画像認識用顔画像ＤＢ７追加・更新の処理（図３；Ｓ１０）が終了する（リターン）。なお、更新ＯＫではない場合（Ｓ１０６；ＮＯ）、例えば顔向きの認識が誤っていると思ったときは、「もどる」ボタンＰ４ｂで、更新画面Ｐ３に戻り、顔向きを変更する。
【００９１】
ここで、同一人物でない場合（図４；Ｓ１０３；ＮＯ）、新規登録か否かが判断され（Ｓ１０７）、「新規登録」ボタンＰ２ｂが操作され新規登録と判断された場合は（Ｓ１０７；ＹＥＳ）、接続子Ｄを介して図３の新規登録の処理（Ｓ１３）に移行する。また、新規登録ではない場合（Ｓ１０７；ＮＯ）、つまり「もどる」ボタンＰ２ｂが操作されたと判断された場合は、接続子Ｂを介して図２の候補者一覧表示の処理（Ｓ６）にもどり、候補者一覧表示画面Ｐ１が表示され、再び来店客が既知の顧客か否かが判断される。
【００９２】
図３のＳ９で該当者なし（Ｓ９；ＮＯ）と判断された場合、若しくは図４のＳ１０７で新規登録（Ｓ１０７；ＹＥＳ）と判断された場合は、新規登録の処理（図３；Ｓ１３）が実行される。新規登録の処理（Ｓ１３）では、入力された来店客の顔画像データに基づいて、前述の学習データ取得の処理が行われ、顔画像認識用顔画像ＤＢ７に新たな顧客としてデータが蓄積される。また、この学習データと関係付けられた顧客データのレコードが新たに生成されて顧客データＤＢ６に記憶される。
【００９３】
顔画像認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）、若しくは新規登録の処理（Ｓ１３）が終了すると、次に、顧客データ表示の処理（Ｓ１１）を行う。顧客データ表示の処理（Ｓ１１）では、更新、新規作成された学習データに関係付けられて顧客データＤＢ６に記憶された顧客データが表示される。ここで、図９は顧客データ表示画面Ｐ５を示す図である。本発明の顧客情報管理プログラムにより顧客データ表示画面Ｐ５を表示させるコンピュータ１４が顧客管理情報表示手段として機能させられる。顧客データ表示画面Ｐ５には、住所、ＴＥＬ、年齢、勤務先、来店履歴、備考などの顧客に関する個人情報などが顧客データＤＢ６から読み出されて表示される。もちろん表示される項目はこれに限らずＰＯＳ１３（図１参照）のホストコンピュータから転送されたデータなどを表示するようにしてもよい。新規登録（Ｓ１３）の場合や、顧客データに追加や変更がある場合は、「編集」ボタンＰ５ｂを操作すると編集モードとなり、各項目の追加、変更ができる。また、画像Ｐ５ａは、最新の顔画像が自動的に抽出されて表示される。この画像Ｐ５ａは、フローチャートでの説明は省略したが更新画面Ｐ３や顔向き表示画面Ｐ４からさらに適切な顔画像があればそれを選択して表示させることもできる。編集終了したい場合、さらに次の画像を入力・処理したい場合には「次処理」ボタンＰ５ｃを操作し、処理を終了したい場合には「終了」ボタンＰ５ｄを操作する。コンピュータ１４は、処理終了か否かを判断する（Ｓ１２）。ここでは、「次処理」ボタンＰ５ｃを操作したときは、処理終了ではない（Ｓ１２；ＮＯ）として接続子Ａを介して図２の画像入力の処理Ｓ１に移行し、次の顔画像データの入力処理を行う。「終了」ボタンＰ５ｄを操作したときは、処理終了と認識して（Ｓ１２；ＹＥＳ）、メインルーチンを終了する（図３；終了）。
【００９４】
上記実施形態の顧客情報管理システム１によれば、以下のような作用・効果を得ることができる。
・　本実施形態の顧客情報管理システム１では、コンピュータ１４（データベース更新手段）により選択された候補者の顔画像認識用顔画像ＤＢ７の顔画像データを更新するため、既知の顧客の顔画像データが逐次更新される。そのため、最新の顔画像データにより候補者の抽出の精度を高めることができるという効果がある。
【００９５】
・　また、本実施形態では、候補者抽出手段であるコンピュータ１４における抽出が複数の顧客によって行えるため、単数の顔画像データに基づいた抽出に比較して精度をさらに高めることができるという効果がある。
【００９６】
・　本実施形態では、顧客顔画像更新手段であるコンピュータ１４による更新が、表示された候補者の選択についての所定コマンドの入力に基づいて行われるため、確度の高い情報に基づいて更新が行われ、候補者抽出手段における抽出の精度をさらに高めることができるという効果がある。
【００９７】
・　本実施形態では、蓄積されている顔画像データの登録時間情報が記憶されているため、より新しい情報に基づいた更新ができ、候補者抽出手段における抽出の精度をさらに高めることができるという効果がある。
【００９８】
・　本実施形態では、古くなった顔画像情報のウエイト付けを減少させ若しくは廃棄することで、古いデータによる影響を小さくして、候補者抽出手段であるコンピュータ１４における抽出の精度をさらに高めることができるという効果がある。
【００９９】
・　本実施形態では、必要以上のデータサイズの大きな画像データの整理を行って、顧客顔画像データベースの記憶容量が大きくなりすぎないようにし、システムの負担を小さくすることができるという効果がある。
【０１００】
・　本実施形態では、顔画像認識用顔画像ＤＢ７は、所定の撮像角度により分類されて顧客の顔画像データが記憶されているため、候補者抽出手段における抽出の精度をさらに高めることができるという効果がある。
【０１０１】
・　本実施形態では、登録された時間情報に関係付けられて顔画像データが記憶されるため、候補者抽出手段であるコンピュータ１４における抽出の精度をさらに高めることができるという効果がある。
【０１０２】
・　本実施形態では、新規の来店客を新たな顧客として追加できるため、この来店客が再度来店したときでも候補者抽出手段であるコンピュータ１４における抽出の精度をさらに高めることができるという効果がある。
【０１０３】
・　本実施形態では、選択された候補者の顔画像データが複数ある場合は、その選択された顧客の複数の顔画像を詳細画面表示手段であるコンピュータ１４により候補者詳細表示画面Ｐ２（図６参照）に表示させる。そのため、候補者の選択がより正確にでき、候補者抽出手段における抽出の精度をさらに高めることができるという効果がある。
【０１０４】
・　本実施形態では、顧客管理情報表示手段であるコンピュータ１４により選択された顧客の来店履歴を含む顧客管理情報を顧客データＤＢ６から抽出して表示するため、顧客管理が容易になるという効果がある。
【０１０５】
なお、上記実施形態は以下のように変更してもよい。
○　本実施形態においては、顔画像認識方法について、最適な方法として特願２００１―３４７４７８号において本発明者が提案した方法を採用しているが、本発明は、この方法に限定されるものではない。本発明は、蓄積した顔画像から未知の画像を推定する顔画像認識方法であれば、この認識のベースとなる情報の更新などに適用することができる。
【０１０６】
○　また、本発明は、販売店の顧客管理を例に説明しているが、顔画像を利用した人員管理などに広く応用できるものである。
【０１０７】
【発明の効果】
以上、詳述したように、本願発明の顧客情報管理装置では、顧客識別情報を容易に得ることができ、それでいて高い個人識別率を得ることができるという効果がある。
【図面の簡単な説明】
【図１】顧客情報管理システム１のハード構成の概略を示すブロック図。
【図２】図３とともに顧客情報管理システム１の処理のメインルーチンを示すフローチャート。
【図３】図２とともに顧客情報管理システム１の処理のメインルーチンを示すフローチャート。
【図４】顔認識用顔画像ＤＢ７追加・更新の処理（Ｓ１０）のサブルーチンを詳細に示すフローチャート。
【図５】表示装置１１の画面に複数の候補者の顔画像が一覧表示された候補者一覧表示画面Ｐ１を示す図。
【図６】表示装置１１の画面に選択された単一の候補者のデータと入力された顔画像を比較可能に表示する候補者詳細表示画面Ｐ２を示す図。
【図７】顔画像認識用顔画像ＤＢ７に既に記憶された顧客のデータの更新を行う更新画面Ｐ３を示す図。
【図８】顔向き表示画面Ｐ４を示す図。
【図９】顧客データ表示画面Ｐ５を示す図。
【符号の説明】
１…顧客情報管理システム、２…ＣＰＵ、３…ＲＡＭ、４…ＲＯＭ、５…インタフェイス、６…顧客データＤＢ、７…顔画像認識用顔画像ＤＢ、８…ＨＤＤ、９…撮像手段、１０…顔画像蓄積手段、１１…表示装置、１２…入力装置、１３…ＰＯＳ、１４…コンピュータ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a customer information management device, and more particularly to a customer information management device capable of obtaining a high face image identification rate by sequentially updating face image information from a customer.
[0002]
[Prior art]
For example, in a store, it is important to manage customers, but it is necessary to keep track of the visit history and sales history of each customer. For this reason, a sales clerk judges a visitor, collects visits and sales results for each customer name, and manages the customer with a customer card, a customer database, and the like. However, there was a problem that the salesperson could not remember the faces and names of all customers who came to the store and could not always collect names. On the other hand, it is also difficult to ask a visitor each time the name. Then, the invention as described in JP-A-2002-56066 was proposed. The present invention includes customer identification means for identifying a customer based on a face image for identifying a visitor and biological information such as a voice print, fingerprint, palm print, and iris. Then, from the customer information of the visitor specified by the customer identification means, the store use history information of the customer, the customer's superiority information, the sales promotion information for the customer, etc. are extracted from the database, and these are displayed or printed out. It is a customer information presentation system. According to the present invention, a customer can be easily specified, and customer information can be simply and quickly extracted and presented.
[0003]
On the other hand, as a method of estimating an individual from a face image, there is a method described in Japanese Patent Application No. 2001-347478 proposed by the present inventors. In this face image recognition method and face image recognition apparatus, first, a face direction estimation step is performed. In the face direction estimating step, a plurality of left and right directions including the face direction of the unknown face image are used by using the feature vector of the registered face image and the feature vector of the unknown face image acquired from all the face directions for each registered person. The face direction direction surface is estimated by linear discriminant analysis. Then, by estimating a plurality of left and right face directions, a reduction in estimation accuracy of the face direction due to the fact that the actual face direction of the unknown face image does not belong to the estimated left and right face directions is suppressed. . Note that the estimation accuracy can be further improved by estimating a plurality of upper and lower face orientation directions including the face orientation direction of the unknown face image by linear discriminant analysis and estimating the plurality of upper and lower face orientation directions. In the next primary individual identification step, the identification target is determined using the feature vector of the registered face image and the feature vector of the unknown face image acquired from all the face directions included in the estimated left, right, upper, and lower face directions. Are estimated by linear discriminant analysis. Thereafter, the identification target person is estimated from the plurality of candidates. By such a method, the robustness of the unknown face image acquired from the recognition target person against the change in the face direction can be improved, and the final face image identification rate can be improved.
[0004]
[Problems to be solved by the invention]
However, biometric information such as voice prints, fingerprints, palm prints, and irises for identifying customers is difficult to collect, or the psychological resistance of customers to collection is high, making it difficult to implement at retailers. there were.
[0005]
Also, it can be said that face images are relatively easy to collect, but face images vary greatly. Therefore, it is conceivable to use a method as described in the above-mentioned Japanese Patent Application No. 2001-347478. However, in this method, in order to obtain a high discrimination power, it is necessary to obtain in advance many face images having different face orientations from an identification registrant. is necessary. However, in a store or the like, it is difficult to obtain registered face images obtained from all face directions for each customer at a time because it is complicated. There is a problem that it is difficult to obtain an image identification rate.
[0006]
Further, even if the face orientation is the same, there is a problem that the face image identification rate is reduced if the face of the customer changes over time.
In order to solve the above-mentioned problems, an object of the present invention is to provide a customer information management device that can easily obtain customer identification information and yet can obtain a high personal identification rate.
[0007]
[Means for Solving the Problems]
In the customer information management device according to the first aspect, a customer face image database storing face image data of a known customer for each customer, search data generated based on the input face image data of an unknown customer, By comparing comparison data generated based on the known customer face image data stored in the customer face image database with known customer face image data similar to the unknown face image data, A candidate extracting unit for extracting a candidate, a candidate displaying unit for displaying a face image of the candidate extracted by the candidate extracting unit, and a predetermined command for selecting the displayed candidate based on input of a predetermined command. The invention further comprises a customer face image database updating means for updating the customer face image database.
[0008]
In the customer information management device according to claim 2, in addition to the configuration of the customer information management device according to claim 1, the comparison data of the known customer of the candidate extraction unit is stored in the customer face image database. When there is a plurality of face image data for one customer, the gist is that the face image data is generated based on the plurality of face image data.
[0009]
In the customer information management device according to claim 3, in addition to the configuration of the customer information management device according to claim 1 or 2, the customer face image database updating means includes a predetermined command for selecting a displayed candidate. The gist is to update the customer face image database by adding the unknown face image as the face image data of the selected customer based on the input of the customer face image.
[0010]
In the customer information management device according to claim 4, in addition to the configuration of the customer information management device according to any one of claims 1 to 3, the customer face image database includes face image data for each customer. The gist is that the face image data is stored in association with the registered registration time information.
[0011]
In the customer information management device according to a fifth aspect, in addition to the configuration of the customer information management device according to the fourth aspect, the customer face image database updating unit may be configured to change the time based on the registration time information under a certain condition. Therefore, the gist is to reduce or discard the weighting of the face image data in the determination of the comparison data by the candidate extracting means.
[0012]
In the customer information management device according to claim 6, in the configuration of the customer information management device according to claim 5, when the predetermined condition is such that the face image data of the customer stored in the customer image database exceeds a predetermined number. Is to discard the oldest face image data.
[0013]
In the customer information management device according to claim 7, in addition to the configuration of the customer information management device according to any one of claims 1 to 6, the customer face image database is classified according to a predetermined imaging angle. The gist is that the face image data of the customer is stored.
[0014]
In the customer information management device according to claim 8, in addition to the configuration of the customer information management device according to any one of claims 4 to 6, the customer face image database is classified according to a predetermined imaging angle. The gist is that the face image data of the customer is stored in association with the registration time information in which the face image data is registered.
[0015]
According to a ninth aspect of the present invention, in addition to the configuration of the customer information management apparatus according to the first to eighth aspects, a face image of a known customer displayed by the candidate display means and a face image of an unknown customer are displayed. When a predetermined command based on the determination that the face image is different from the face image is input, the customer face image registration database includes a customer face image database new registration unit that newly registers a face image as a new customer. Is the gist.
[0016]
In the customer information management device according to claim 10, in addition to the configuration of the customer information management device according to any one of claims 1 to 9, the candidate extraction unit is stored in a customer face image database. When there are a plurality of face image data of a candidate selected from a plurality of candidates extracted and displayed by inputting a predetermined command in the face images, a plurality of face images of the selected customer are displayed. The gist is that a screen display means is further provided.
[0017]
In the customer information management device according to claim 11, in addition to the configuration of the customer information management device according to any one of claims 1 to 10, a customer management information database that stores customer management information data for each customer is provided. Extracting the customer management information including the visit history of the selected customer from the customer management information database based on the input of the predetermined command input based on the candidate selected from the displayed candidates. The gist is to have a customer management information display means for displaying.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
(1st Embodiment)
Hereinafter, a customer information management system 1 which is an embodiment of a customer information management device according to the present invention will be described with reference to FIGS.
[0019]
(Hardware configuration)
FIG. 1 is a block diagram schematically showing a hardware configuration of a customer information management system (hereinafter abbreviated as a system as appropriate) 1. The hardware configuration of the system 1 will be described with reference to FIG. The system 1 includes an imaging unit 9 and a computer 14. The system 1 is installed, for example, in a store such as a clothing store for general consumers, and a face image of a customer entering the store is captured by an image pickup means 9 composed of, for example, a color CCD camera. A digital image as "image data" is taken. The photographing may be performed by automatically detecting a customer entering the store with an optical sensor or the like, photographing when paying at a cash register, or photographing by a clerk using a handheld camera. At this stage, the face image data is an entire or partial image of the person including the face image of the unknown identification target. The imaging means 9 may be connected to the computer 14 at all times to perform processing in real time. However, the imaging means 9 may be connected to the computer 14 for shooting without being connected to the computer 14 and input later. Configuration may be used. In the conventional method, it is desirable from the viewpoint of accuracy that the angle of the customer's face is constant with respect to the photographing direction, for example, the front is in front, but in the present embodiment, if face image data is accumulated, various face directions can be used. It is not necessary to limit to one direction.
[0020]
The face image storage means 10 is connected to the imaging means 9 and stores digital image data as captured face image data. For example, it may be a database server including a server computer having a CPU and a HDD (Hard Disc Drive), or may simply be a storage medium such as a flash ROM built in a camera. Further, the HDD may be controlled by the CPU 2. What is necessary is just to accumulate face image data in some form. In this system 1, the face image storage means 10 is configured as a database server having a network computer, and is connected to a computer 14 via a LAN.
[0021]
The computer 14 includes the CPU 2, the RAM 3, the ROM 4, the HDD 8, and the interface 5. The CPU 2 is connected to the RAM 3 and the ROM 4 by a bus. Further, a customer data DB 6, a face image DB 7 for face image recognition, a display device 11, and an input device 12 are connected to the CPU 2 via the interface 5. The face image data input directly from the imaging means 9 or via the face image storage means 10 is analyzed by the computer 14 to generate search data. The computer 14 refers to the comparison data generated from the face image data stored in the face image recognition face image DB 7 to specify a candidate customer having a common feature. When the customer is specified, it is displayed on the display device 11, and customer data (corresponding to the customer management information data of the present invention) of the customer is extracted from the customer data DB 6 and displayed as needed. In addition, the face image for face image recognition stored in the face image recognition face image DB 7 is updated by inputting the image data from the salesperson. The computer 14 functions as a candidate extracting unit, a candidate displaying unit, and a customer face image database updating unit of the present invention by executing the customer information management program of the present invention. It also functions as a customer face image database new registration unit for newly registering a face image.
[0022]
The CPU 2 performs various processes according to a program installed in the HDD 8. The RAM 3 temporarily stores data necessary for the processing of the CPU 2. The ROM 4 stores a BIOS program for managing the hardware system of the computer 14. The HDD 8 is built in the computer 14 and has an OS (Operating System) for managing the computer 14 and peripheral devices connected to the computer 14 installed therein. The HDD 8 is a client information that allows the system 1 to function as a customer information management device of the present invention. Management program is stored.
[0023]
The display device 11 includes a well-known display device such as a liquid crystal display (LCD) or a cathode ray tube (CRT) display. The computer 14 displays the face image of the candidate, an operation screen, information necessary for the operation, and customer management information. Note that a printer (not shown) may be connected to the computer 14 as a display unit to output a hard copy. Further, a configuration is provided in which information is transmitted to a POS (Point-of-sales system) 13 which is a host computer for managing information of a plurality of stores via a telecommunication line such as a dedicated line or a public line including the Internet. The input device 12 includes a character input device such as a keyboard and a pointed device such as a mouse, and is used for various operations as a serial input to the computer 14. It should be noted that a configuration in which the display device 11 and the input device 12 are operated such that the display screen is operated as a touch panel may be provided.
[0024]
The customer data DB 6 stores, as customer management information, attribute data such as a customer's name, address, management number, age, and hobby, as well as customer's store use history information, customer's superiority information, and sales promotion information for the customer. . Further, data relating to a related face image is also stored. These pieces of information are constructed as a relational database, and are managed using, for example, a management number as a key. Here, the customer data DB 6 is configured as a database server connected to a LAN, but may be configured as a built-in HDD in the computer 14.
[0025]
The face image DB 7 for face image recognition stores, in advance, input face image data and learning data, which is comparison data for recognizing customer features extracted from the input face image data. The learning data is classified according to a predetermined imaging angle for each customer, and is stored together with time information when the face image data is registered. Also, when a known or unknown customer is input as a visitor, it is accumulated as subsequent learning data. Hereinafter, a method of acquiring the learning data will be described. This face image DB7 for face image recognition corresponds to the customer face image database of the present invention. Further, the face image data stored here corresponds to the face image data of the present invention. The learning data stored here corresponds to the comparison data of the present invention.
[0026]
(Learning Data Acquisition Method) Acquisition of learning data is performed in three steps: a face image acquiring step, a face area detecting step, and a feature vector acquiring step.
(Face Image Acquisition Step) First, in the face image acquisition step, face image data captured in a plurality of preset face directions is acquired for each customer. In the present embodiment, the image is taken in a face direction set within an angle range of ± 45 ° left and right with respect to the front of the face and ± 30 ° up and down. Preferably, face image data from all set directions is obtained. However, in the present invention, since face image data is added by an update process later, only obtainable face image data is used here. Process.
[0027]
Each face direction is set as follows. First, a plurality of left and right face direction planes PV (−45), PV (−30), PV (−15), PV that form different angles every 15 ° from side to side centering on the front of the face of the customer Z (0 °). (0), PV (+15), PV (+30), PV (+45) are set. The left and right face-facing direction surfaces PV (−45) to PV (+45) are planes respectively intersecting with a vertical line Pv substantially at the center of the head when viewed vertically. Also, a plurality of upper and lower face-facing direction planes PH (−30), PH (−15), PH (0), which form different angles vertically every 15 ° vertically with the horizontal plane in front of the face as the center (0 °), PH (+15) and PH (+30) are set. Each of the upper and lower face direction planes PH (−30) to PH (+30) is a plane that intersects a horizontal line Ph substantially at the center of the head in side view.
[0028]
In the present embodiment, as the left and right face direction planes PV (−45) to PV (+45), the following angles are added to the left and right face direction plane PV (0) that equally divides the front of the face into right and left, and the seven left and right face directions are added. The direction planes PV (−45) to PV (+45) are set. First, three right and left face-facing direction surfaces PV (+15), PV (+30), and PV (+45) which form angles of + 15 °, + 30 °, and + 45 ° with respect to the front of the face, respectively, are added. Similarly, three left and right face direction surfaces PV (−15), PV (−30), and PV (−45) that form angles of −15 °, −30 °, and −45 ° in the leftward direction are added.
[0029]
Further, as the upper and lower face direction planes PH (= 30) to PH (+30), the direction plane of the horizontal upper and lower face direction plane PH (0) that divides the front of the face into upper and lower parts is set. Further, two direction planes PH (+15) and PH (+30) facing upward and downward at + 15 ° and + 30 ° with respect to the front of the face are set. Further, a total of five direction planes of two upper and lower face direction planes PH (-15) and PH (-30) which form angles downward by -15 [deg.] And -30 [deg.] Are set.
[0030]
Then, the face image data of each customer Z is divided into the intersections of the seven left-right face direction surfaces PV (−45) to PV (+45) and the five upper and lower face direction directions PH (−30) to PH (+30). Images are taken in 35 imaging directions set by the lines, that is, in the face direction of the face image data. Accordingly, each of the left and right face direction planes PV (j) (j: -45, -30, -15, 0, +15, +30, +45) has five upper and lower face direction planes PH (k) (k:- 5, -15, 0, +15, +30).
[0031]
From the viewpoint of identification accuracy, it is necessary to capture a plurality of face image data for each face direction. For example, when the number of face image data is set to ten, a maximum of 350 (= 35 directions × 10) face image data is acquired for each customer Z. , The face image data is accumulated by successive updating, thereby improving the identification accuracy.
[0032]
(Face region detection step)
Next, in the face area detection step, the face area is detected for each of the face images acquired at the maximum of 350 for each customer.
[0033]
The face area detection is a method based on a known skin color reference value using color information, and uses the CIE-L * u * v * color system, which is one of uniform perceived color spaces. First, a two-dimensional color histogram based on the U and V coordinate values is obtained over the entire area of the face image data, and a peak value (a value with the highest frequency) within a predetermined effective skin color range is set as a skin color reference value.
[0034]
Next, a threshold value for the color difference from the skin color reference value is determined using a known discriminant analysis method, and the face image data is binarized into a skin color region and other regions based on the threshold value. Finally, for each of the plurality of extracted skin color regions, the number of pixels (area) forming the skin color region is obtained, and the skin color region having the largest number of pixels is defined as a face region.
[0035]
(Feature vector acquisition process)
Next, in the feature vector acquisition step, a feature vector representing the feature amount is created for each piece of face image data acquired at a maximum of 350 for each customer. When creating this feature vector, a predetermined weighting is performed. In the present embodiment, in principle, although the time after registration from the registration time information is short, the weight is increased so that the weight decreases as time passes. In addition, the seller can determine the state of the photograph and the like, and manually change the order on the face direction display screen P4 described later to increase the weight of the face image data having a better state.
[0036]
More specifically, a vector field in four directions is obtained from the gradient of the gray value for each of a maximum of 350 pieces of face image data acquired from each customer. In the present embodiment, the four directions are a horizontal direction, a vertical direction, a 45 ° diagonal direction falling leftward, and a 45 ° diagonal direction falling rightward. Then, an edge image divided for each direction is obtained by a known method. Each of the obtained edge images is a grayscale image having directionality.
[0037]
Specifically, for each face image data, a differential filtering process using a Prewitt operator is performed, and four direction edge images (hereinafter, referred to as direction planes) divided into horizontal, vertical, left-down diagonal, and right-down diagonal. Is generated.)
[0038]
Next, each of the four direction planes is normalized by the face area, and the resolution is reduced to 8 × 8. Finally, for each face image data, a 256-dimensional feature vector is created for each of the four directional planes by extracting the grayscale values of the image whose resolution has been reduced to 8 × 8 as a feature amount.
[0039]
Then, the feature vector created for each face image data is stored in association with the customer and the face direction. Each feature vector is represented as one point in a 256-dimensional linear space, and the learning data is comparison data for performing face recognition. The method of generating the comparison data of the known customer previously stored in the face image recognition face image DB 7 has been described above, but the search data generated from the face image data acquired later from the unknown customer is basically the same as the search data. Generated by the same method.
[0040]
(Explanation of Customer Information Management Method) An outline of the customer information management process of the customer information management system 1 thus configured will be described. 2 and 3 are flowcharts showing the main routine of the processing of the customer information management system 1. Hereinafter, description will be given along this flowchart.
[0041]
The customer information management process is started from an image input process (step (hereinafter abbreviated as S) 1). The image is picked up by the image pick-up means 9 and directly input to the computer 14 via the interface 5 or the face image data once stored in the face image storage means 10 is input to the computer 14 via the interface 5. I do. The data input here is image data composed of a color digital image of the subject. In the present embodiment, the time information is added to the face image data in advance and recorded at the time of imaging. However, the time information may be added and recorded at the time of input to the computer 14. The time information stored together with the face image data corresponds to the registration time information of the present invention.
[0042]
Next, face area detection processing is performed (S2). This processing is the processing of the face area detecting step described in the acquisition of the learning data, and a detailed description thereof will be omitted. Then, it is determined whether the face area has been detected from the input image data (S3). If the face area has not been detected (S3; NO), the next image input processing (S1) is performed. If a face area has been detected (S3; YES), an unknown face image recognition process (S4) is performed. Here, the above-described feature vector acquisition step is performed on the face image data of the visitor who is the input unknown face. This process is a feature vector generated by the same process as the process for acquiring learning data, and corresponds to the search data of the present invention, although detailed description is omitted.
[0043]
(Unknown face image recognition processing) The outline of the unknown face image recognition processing (S4) will be described below. In the unknown face image recognition process (S4), a feature vector acquiring process is performed for a face region detected successfully (S3; YES).
[0044]
In the feature vector obtaining step, a feature vector is obtained from the face image data of the customer by performing the same processing as the learning data. Subsequently, a face image data comparison and extraction process (S5) is performed. In the face image data comparison and extraction processing (S5), the processing is performed in four steps: a face direction estimation step, a primary personal identification step, a personal face direction estimation step, and a secondary personal identification step.
[0045]
First, in the face direction estimating step, the left and right face direction direction surfaces PV (j) (j: -45, -30, -15, 0, +15, +30, +45) including the face direction of the visitor are divided into seven pieces. It is estimated from the left and right face direction planes PV (−45) to PV (+45).
[0046]
In the primary individual identification step, a plurality of shop visitor candidates are estimated from all customers. Next, in the individual face orientation estimating step, for each candidate estimated in the primary individual identification step, the face orientation of the unknown face image when the candidate is a visitor is set to all face orientations up to 350. Estimate what is possible within the range of directions.
[0047]
In the final secondary personal identification step, for example, 10 candidates whose face direction is estimated in the primary personal identification step and whose face direction is estimated in the personal face direction estimation step are extracted in descending order of accuracy and displayed on the candidate list screen. It is stored for display.
[0048]
(Face image data comparison extraction processing)
Next, the processing of face image data comparison and extraction (S5) will be described in detail.
(Face Direction Estimation Step) In the face direction estimation step, a feature vector obtained from face image data captured from all face directions for each customer and a feature vector obtained from face image data of a visiting customer are used. The left-right face direction direction plane PV (j) including the face direction of the visitor's face image is estimated by a known linear discriminant analysis. That is, the direction of the face of the visitor's face image is determined only by the left and right inclinations.
[0049]
In the face direction estimating step, first, a feature vector of face image data of a visitor is linearly mapped to a feature space of a face image data linearly mapped to feature vectors of face image data captured in all face directions for all registered customers (hereinafter, referred to as “feature vector”). , A face orientation discrimination space α).
[0050]
Is a linear space in which feature vectors of all face image data are linearly mapped using a coefficient matrix obtained from the feature vectors. In the face orientation discrimination space α, each of the linearly mapped feature vectors is a class generated corresponding to each of the seven left and right face orientation planes PV (−45) to PV (+45) including five face orientations. 1 to 7 are classified.
[0051]
In each class j (1 ≦ j ≦ 7; j is a natural number), an image of each customer is taken for each of the five face directions included in one left and right face direction plane PV (j) classified into the class j. For example, a maximum of 50 (= 5 vertical directions × 10) feature vectors of face image data are classified into a number of 7500 (= 150 × 50) for 150 at maximum.
[0052]
Each class j is generated such that the variance within the class j is small and the variance between the classes j is large. The face orientation determination space α is created in advance from feature vectors of all face image data.
[0053]
In the face direction estimating step, next, it is determined which of the classes 1 to 7 the visitor's feature vector y1 linearly mapped to the face direction determination space α belongs to. Then, the left and right face direction planes PV (j) including the face directions of the face image data from which the feature vectors classified into the determined class j are acquired are the left and right faces including the face directions of the visitor. It is estimated to be the facing direction surface PV (j).
[0054]
The class j to which the visitor's feature vector y1 belongs is determined by determining the Euclidean distances s1 (1) to s1 between the feature vector y1 and the average feature vectors A (1) to A (j) to A (7) of each class. (J) to s1 (7) are obtained by obtaining the minimum value. The average feature vectors A (1) to A (7) of the classes 1 to 7 are obtained in advance.
[0055]
Further, in the face orientation estimating step, the face orientation of the visitor is determined by the left and right face orientation direction surfaces PV (j) estimated in the face orientation discrimination space α and two adjacent two sides of the left and right face orientation direction surfaces PV (j). It is estimated that it is included in any one of the three left and right face direction planes PV (j) in combination with the three left and right face direction planes PV (j).
[0056]
For example, when the left-right face direction direction surface PV (j) estimated in the face direction determination space α is the left-right face direction direction surface PV (0), the estimation is performed as follows. That is, in addition to the left and right face direction direction surfaces PV (j), three left and right face direction direction surfaces PV (-15), namely, two left and right face direction direction surfaces PV (-15) and PV (+15) on both sides thereof, It is estimated that it is included in either PV (0) or PV (+15). This is because although the probability that the face direction of the visitor is included in the left-right face direction plane PV (j) estimated in the face direction determination space α is the highest, the left-right face direction direction plane PV (j) on both sides This is because the probability of inclusion is small.
[0057]
This reduces the probability that the left and right face direction planes PV (j), which actually include the face direction of the visitor, will not be considered in the subsequent steps, based on the estimation result in the face direction estimation step. The face image identification rate is improved.
[0058]
(Primary personal identification process)
Next, in the primary individual identification step, feature vectors of face image data captured in all face directions included in the three left-right face direction planes PV (j) estimated in the face direction estimation step, Using the feature vector, a plurality of candidates are estimated from all the customers by linear discriminant analysis.
[0059]
As the primary individual identification step, first, the feature vector of the face image data obtained by capturing the visitor's feature vector in all the face orientations included in the three left and right face orientation planes PV (j) estimated in the face orientation estimation step. The vector is linearly mapped to a linear space in which the vector is linearly mapped (hereinafter, referred to as a primary individual discrimination space β).
[0060]
The primary individual discrimination space β is only the feature vectors of the face image data captured from all the face directions included in the three left and right face direction planes PV (j) among the feature vectors of all the face image data. Is a linear space linearly mapped using the coefficient matrix obtained from each feature vector.
[0061]
In the primary individual discriminant space β, each linearly mapped feature vector is classified into classes 1 to j to 150 generated for, for example, 150 customers.
[0062]
In each class j (1 ≦ j ≦ 150; j is a natural number), feature vectors of specific face image data in the face image data captured in all face directions for the customers classified into the class j are classified. Have been. That is, 150 (= 3 left and right directions × 5 upper and lower directions × 10) faces captured in 15 (3 left and right directions × 5 upper and lower directions) face directions included in the three left and right face direction direction surfaces PV (j) The feature vectors of the image data are classified.
[0063]
The classes 1 to 150 are generated such that the variance within each class j is small and the variance between each class j is large. The primary individual discrimination space β is created in advance for each of five combinations of three adjacent left and right face direction planes PV (j) among the seven left and right face directions. That is, (+ 45 °, + 30 °, + 15 °), (+ 30 °, + 15 °, O °), (+ 15 °, 0 °, −15 °), (0, −15 °, −30 °), (− 15 °, −30 °, and −45 °). Then, the selection is made based on the estimation result in the face direction estimation step.
[0064]
In the primary individual identification step, next, it is determined which of the classes 1 to 150 the visitor's feature vector y2 linearly mapped in the primary individual determination space β belongs to. Then, the customer whose face image data from which the feature vector classified into the determined class j is acquired is taken as a candidate.
[0065]
The class j to which the visitor's feature vector y2 belongs is determined by the Euclidean distance s2 (1) to s2 between this feature vector y2 and the average feature vector B (1) to B (j) to B (150) of each class. (J) to s2 (150) are obtained by finding one that minimizes it. Note that the average feature vectors B (1) to B (150) of each class j are obtained in advance and are selected based on the estimation result in the face direction estimation step.
[0066]
Further, in the primary individual identification step, for example, ten customers who are candidates are estimated in ascending order of the Euclidean distance in the primary individual identification space β. That is, ten classes j are obtained in ascending order of the Euclidean distance, and the customers corresponding to each class j are set as ten candidates for the identification target. This is because the customer obtained in the primary individual discrimination space β has the highest probability of being a visitor, but has a small possibility of being a customer corresponding to 9 classes j whose Euclidean distance is close to the minimum. This reduces the probability that an actual customer will not be considered in each of the subsequent steps depending on the identification result in the primary individual identification step, thereby improving the final face image identification rate.
[0067]
(Personal Face Direction Estimating Step) Next, in the individual face direction estimating step, for each of the candidates, the face direction of the face image of the visitor when the candidate is a visitor is changed to all face directions. Estimate from within the range. In this estimation, feature vectors of face image data captured in all face directions included in the three left and right face direction planes PV (j) estimated in the face direction estimation step, and features of the face image of the visitor Use a vector.
[0068]
In the individual face direction estimation step, first, a feature vector of a visitor is linearly mapped to a feature space of face image data obtained by imaging for each candidate in all 35 face directions for the candidate ( Hereinafter, linear mapping is performed on the individual face orientation determination spaces γ1 to γ10). In each of the individual face orientation determination spaces γ1 to γ10, feature vectors of 350 (= 35 directions × 10) face image data acquired from the candidate are linearly mapped using a coefficient matrix obtained from the feature vectors. Is a linear space. In each of the individual face orientation discrimination spaces γ1 to γ10, each linearly mapped feature vector is classified into classes 1 to j to 35 generated in correspondence with 35 face orientations.
[0069]
In each class j (1 ≦ j ≦ 35; j is a natural number), feature vectors of ten pieces of face image data captured in one face direction classified into the class j are classified. Each class j is generated such that the variance within the class j is small and the variance between the classes j is large. The individual face orientation determination spaces γ1 to γ10 are created in advance for each of the 150 customers, and are selected according to the estimation result in the primary individual identification process.
[0070]
In the individual face orientation estimating step, next, for each candidate, it is determined which of the classes 1 to 35 the visitor's feature vector y3 linearly mapped to the individual face orientation determination spaces γ1 to γ10 belongs to. . Then, it is estimated that the face direction of the face image data from which the feature vector classified into the determined class j is obtained is the face direction when the candidate is a customer.
[0071]
The class j to which the visitor's feature vector y3 belongs is determined by determining the Euclidean distance s3 (1) to s3 between the feature vector y3 and the average feature vector C (1) to C (j) to C (35) of each class. This is performed by finding the one that minimizes (35). The average feature vectors C (1) to C (35) of each of the classes 1 to 35 are obtained in advance, and are selected according to the estimation result in the primary individual identification process.
[0072]
(Secondary Individual Identification Step) Next, in the secondary individual identification step, for each candidate estimated by the primary individual identification, a face image acquired from the face orientation of the candidate estimated by the individual face orientation estimation is set. Using the feature vector and the customer visitor's feature vector, the final customer is estimated from all candidates by linear discriminant analysis.
[0073]
As a secondary individual identification step, first, a feature space of a visitor is linearly mapped to a feature vector of face image data obtained by imaging a feature vector of a visitor in the face direction estimated for each candidate in the individual face direction estimation step ( Hereinafter, this is linearly mapped to the secondary individual discrimination space δ).
[0074]
The secondary individual discrimination space δ is a linear space in which the feature vector of each face image data is linearly mapped using a coefficient matrix obtained from each of the feature vectors. In the secondary individual discriminant space δ, each linearly mapped feature vector is classified into classes 1 to 10, which are generated corresponding to each of the ten candidates. In each class j (1 ≦ j ≦ 10; j is a natural number), feature vectors of ten face image data captured in one face direction estimated for one of the candidates classified into the class j are included. Classified. Each class j is generated such that the variance within the class j is small and the variance between the classes j is large. The secondary individual discrimination space δ is created each time the face image recognition processing is executed, according to the estimation result in the individual face orientation estimation step. This is because the number of combinations of the face orientation discrimination space, the primary individual discrimination space, and the individual face orientation discrimination space is extremely large.
[0075]
In the secondary individual identification step, next, it is determined which of the classes 1 to 10 the feature vector y4 of the unknown face image linearly mapped in the secondary individual determination space δ belongs to. Then, it is estimated that the candidate whose face image data from which the feature vector classified into the determined class j has been obtained is captured is the final customer.
[0076]
The class j to which the feature vector y4 of the unknown face image belongs is determined by determining the Euclidean distance s4 (1) between the feature vector y4 and the average feature vectors D (1) to D (j) to D (10) of each class j. This is performed by finding the one that minimizes s4 (j) to s4 (10).
[0077]
The average feature vectors D (1) to D (10) of the respective classes 1 to 10 are obtained from the feature vectors belonging to the face direction of each candidate estimated in the individual face direction estimation step for each face image recognition process. Can be
[0078]
By the face image data comparison and extraction processing (S5) including the above-described steps, the face image of the visitor imaged in an arbitrary face direction is extracted from the customer in which the face image is registered in advance.
[0079]
The candidates extracted in the face image data comparison / extraction process (S5) in this manner are displayed in a list on the screen of the display device 11 (S6). Here, FIG. 5 is a diagram showing a candidate list display screen P1 in which face images of a plurality of candidates are displayed in a list on the screen of the display device 11. The face images C1 to C5 of the candidates 1 to 5 extracted from the face image recognition face image DB 7 are displayed in a list so that they can be compared with the face image U1 of the customer (unknown face). FIG. 5 shows an example in which there are five candidates. However, as described above, the number of candidates may be ten, or all candidates having a degree of coincidence equal to or higher than a predetermined standard may be displayed regardless of the number of persons. You may. If there are many candidates and it cannot be displayed on one page, the user operates a "next page button" (not shown) to display other candidates. Here, since there is only one page, "no next page" P1a is displayed. The name C1a is displayed on the face image C1, and information for specifying the visitor is given to the salesperson along with the face image. The salesperson compares the visitor's face image U1 with the face images C1 to C5 of the candidates 1 to 5, and determines whether or not the displayed person C1a is the same person by referring to the displayed name C1a and the like.
[0080]
Here, a customer selection process (S8) is performed. The customer selection process (S8) is a process in which the computer 14 waits for a salesperson to operate the input device 12 while the candidate list display screen P1 (FIG. 5) is displayed. When the salesperson determines that the visitor (unknown face) is one of the candidates, the salesperson operates one of the selection buttons C1b, C2b, C3b, C4b, and C5b of the candidates 1 to 5 to obtain the salesperson. The computer 14 recognizes the intention of the selection. If the visitor does not match any of the candidates, the computer 14 recognizes that the registration is a new registration by operating the “new registration” button P1b displayed on the screen as a new registration. Although not shown in the flowchart, if the user does not want to register the image of the salesperson, for example, the process proceeds to the next image input process (FIG. 2; S1) by pressing the “next process” button P1c. When the "end" button P1d is operated, the process is ended (FIG. 3; end).
[0081]
Next, the computer 14 determines whether or not there is a corresponding person (S9). When a certain candidate is selected in the customer selection (S8) and any of the selection buttons C1b to C5b of the candidates 1 to 5 is operated from the input device 12, it is determined that there is a corresponding person (S9). YES), a face image recognition face image DB 7 addition / update process (S10) is performed. On the other hand, when there is no candidate corresponding to the candidate list display screen P1 (FIG. 5), the salesperson operates the new registration button P1b, and the computer 14 recognizes that there is no corresponding person (S9; NO). Then, the process proceeds to a new registration process (S13). The new registration process (S13) will be described later.
[0082]
Here, FIG. 4 is a flowchart showing in detail a subroutine of the processing (S10) of addition / update of the face image DB7 for face recognition. Hereinafter, a detailed description will be given along this flowchart. When the process of adding / updating the face image DB7 for face image recognition (S10) is started, the data of the candidate whose selection buttons C1b to C5b are operated and the input face image are displayed in a comparable manner (S101).
[0083]
Here, FIG. 6 is a diagram showing a candidate detail display screen P2 that displays the data of a single candidate selected and the input face image on the screen of the display device 11 in a comparable manner. The customer information management program of the present invention causes the computer 14 to function as the detail screen display means of the present invention for displaying the candidate detail display screen P2. In the process of adding / updating the face image DB 7 for face recognition (S10), a process of displaying the data of the selected candidate and the input face image in a comparable manner (hereinafter, referred to as “detailed display process”) (S101). Be executed. In the detailed display process (S101), in the candidate selection process (S8) from the input device 12 on the candidate list display screen P1 shown in FIG. 5, the selection buttons C1b to C5b are operated to select the customer shown in FIG. Is displayed on the candidate details display screen P2 shown in FIG.
[0084]
In the candidate detail display screen P2 as shown in FIG. 6, twelve face images U2 to U13 of the selected candidate 1 are displayed. From the registered date and time based on the time information added to the face image data (or the date and time when the predetermined processing has been performed), they are displayed with the shortest elapsed time regardless of the face orientation, that is, displayed in chronological order. If the "next page" button P2a is operated with a mouse, an older face image is displayed. If the face direction button P2e is operated, a face image list screen (not shown) of the same face direction as that estimated in the individual face direction estimation step in the face image data comparison and extraction process (S5) is omitted. ) Is displayed.
[0085]
Next, the computer 14 is in a state of waiting for input by the comparison result input processing (S102). Here, when the salesperson determines that the face image U1 of the visitor matches the customer whose details are displayed while the candidate detail display screen P2 (FIG. 6) is displayed, the “register” button P2c is clicked. Manipulate. On the other hand, if the salesperson compares the customer with the customer on the candidate detail display screen P2 but is not determined to be the same customer, and the salesperson determines that he wants to confirm another customer again on the candidate list display screen P1, "Return." Button P2b. By these input operations, the computer 14 recognizes the comparison result.
[0086]
As described above, when the salesperson inputs the result of comparing customers from the input device 12 (S102), the computer 14 determines whether or not the persons are the same person (S103). That is, the computer 14 determines whether the registration button P2c has been operated on the candidate detail display screen P2, or whether the return button P2b or the new registration button P2b has been operated. When it is determined that they are the same person, that is, when the registration button P2c is operated (S103; YES), a process of storing the input face image (S104) is performed. Here, learning data is generated from the face image data of the face image U1 of the visitor input as described above, and display data is generated from the face image of the face area extracted from the face image data. . Further, registration time information is added to these data. These data are temporarily stored for update with the customer data already stored in the face image recognition face image DB 7 (hereinafter referred to as update data). The operation of the selection buttons C1b to C5b on the candidate list display screen P1 and the operation of the "register" button P2c on the candidate detail display screen P2 are used to input a predetermined command for selecting a displayed candidate of the present invention. Equivalent to.
[0087]
Then, the face image for list is edited (S105). Here, FIG. 7 is a diagram showing an update screen P3 for updating customer data already stored in the face image recognition face image DB7. The update screen P3 includes a face image as update data generated from the face image data of the visitor's face image U1 and a customer face image (known data) already stored in the face image recognition face image DB7. )) Is displayed. Here, a list of the latest face images D11, D12,... Of the known data stored for each face direction is displayed. Faces without registration will be blank. Then, the known face direction data estimated in the individual face direction estimation step of unknown face image recognition (S4) is highlighted and displayed with a bold frame.
[0088]
When the "auto" button P3a is operated from this state, the update data is added as the data of the face direction. If the face direction has already been registered with a predetermined number of known data, for example, 10 or more, the oldest known data with the face direction is deleted, and the update data is newly added as known data.
[0089]
Here, if it is determined that the face orientation estimated in the individual face orientation estimation step is incorrect, the correct face orientation is selected with the mouse, and the automatic button P3a is operated. Added as orientation data. In this case as well, if the predetermined number is exceeded, the oldest known data of the newly displayed face direction is deleted. If the update is OK (S106; YES), operating the "end" button P3c terminates the face image recognition face image DB7 addition / update process (FIG. 3; S10) (return).
[0090]
Further, when the "display all" button P3b is operated, all of the known face direction data currently displayed in the bold frame is displayed on the face direction display screen P4. Here, FIG. 8 is a diagram showing a face orientation display screen P4. Here, the face image U1 of the update data and the face images D24a to D24j of the same known data as the selected face direction are all displayed in the new order. FIG. 8 shows a case where the number of registered known images is six. Here, not only the newness in time but also the most inappropriate data as the shooting state is poor and the most inappropriate data is designated with the mouse, and the replacement data can be replaced by operating the replacement button P4a. Further, the user operates the “Previous” button P4d to increase the priority of reference to the selected face image, and operates the “Back” button P4e to decrease the priority of reference to the selected face image. be able to. By performing the replacement in this way, it is possible to improve the identification accuracy by referring to the feature vector of the face image in which the feature has appeared most or the shooting condition is the best. If the vector update is OK (S106; YES), the user operates the "end" button P3c to end the face image recognition face image DB 7 addition / update process (FIG. 3; S10) (return). When the update is not OK (S106; NO), for example, when the recognition of the face direction is incorrect, the user returns to the update screen P3 with the "return" button P4b and changes the face direction.
[0091]
Here, if they are not the same person (FIG. 4; S103; NO), it is determined whether or not the registration is new (S107). If the “new registration” button P2b is operated to determine that the registration is new (S107; YES). Then, the processing shifts to the new registration processing (S13) in FIG. If it is not a new registration (S107; NO), that is, if it is determined that the “return” button P2b has been operated, the process returns to the candidate list display process (S6) in FIG. The candidate list display screen P1 is displayed, and it is determined again whether the visitor is a known customer.
[0092]
When it is determined in S9 of FIG. 3 that there is no corresponding person (S9; NO), or when it is determined in S107 of FIG. 4 that new registration is performed (S107; YES), the new registration process (FIG. 3; S13) is performed. Be executed. In the new registration process (S13), the above-described learning data acquisition process is performed based on the input customer visitor face image data, and the data is accumulated as a new customer in the face image recognition face image DB7. . In addition, a record of customer data associated with the learning data is newly generated and stored in the customer data DB 6.
[0093]
When the process of adding / updating the face image DB 7 for face image recognition (S10) or the process of new registration (S13) is completed, next, a process of displaying customer data (S11) is performed. In the customer data display process (S11), the customer data stored in the customer data DB 6 in association with the updated and newly created learning data is displayed. Here, FIG. 9 is a diagram showing a customer data display screen P5. The computer 14 for displaying the customer data display screen P5 by the customer information management program of the present invention functions as customer management information display means. On the customer data display screen P5, personal information about the customer such as address, TEL, age, work place, visit history, remarks, and the like are read from the customer data DB 6 and displayed. Of course, the displayed items are not limited to this, and data transferred from the host computer of the POS 13 (see FIG. 1) may be displayed. In the case of new registration (S13), or when there is an addition or change in customer data, operating the "edit" button P5b switches to an edit mode, in which each item can be added or changed. In the image P5a, the latest face image is automatically extracted and displayed. The description of the image P5a in the flowchart is omitted, but if there is a more appropriate face image from the update screen P3 or the face orientation display screen P4, it can be selected and displayed. If the user wants to end the editing or input / process the next image, he operates the “next processing” button P5c, and if he wants to end the processing, he operates the “end” button P5d. The computer 14 determines whether the processing has been completed (S12). Here, when the “next processing” button P5c is operated, the processing is not completed (S12; NO), and the processing shifts to the image input processing S1 of FIG. 2 through the connector A to input the next face image data. Perform processing. When the "end" button P5d is operated, it is recognized that the processing is ended (S12; YES), and the main routine is ended (FIG. 3; end).
[0094]
According to the customer information management system 1 of the above embodiment, the following operations and effects can be obtained.
In the customer information management system 1 of the present embodiment, the face image data of the face image DB7 for face image recognition of the candidate selected by the computer 14 (database updating means) is updated. Updated sequentially. Therefore, there is an effect that the accuracy of candidate extraction can be increased by using the latest face image data.
[0095]
Also, in the present embodiment, since the extraction in the computer 14 as the candidate extraction means can be performed by a plurality of customers, there is an effect that the accuracy can be further improved as compared with the extraction based on a single face image data. .
[0096]
In the present embodiment, the update by the computer 14 which is the customer face image update unit is performed based on the input of the predetermined command for the selection of the displayed candidate, so that the update is performed based on the highly accurate information. There is an effect that the accuracy of extraction by the candidate extracting means can be further increased.
[0097]
In the present embodiment, since the registration time information of the accumulated face image data is stored, the update based on newer information can be performed, and the accuracy of the extraction by the candidate extracting means can be further improved. There is.
[0098]
In the present embodiment, by reducing or discarding the weight of old face image information, the influence of old data can be reduced, and the accuracy of extraction by the computer 14 as the candidate extraction means can be further increased. There is an effect that can be.
[0099]
In the present embodiment, the image data having a data size larger than necessary is arranged, so that the storage capacity of the customer face image database is not excessively increased, and the load on the system can be reduced.
[0100]
In the present embodiment, the face image DB7 for face image recognition stores customer face image data classified according to a predetermined imaging angle, so that the extraction accuracy of the candidate extracting means can be further improved. effective.
[0101]
In the present embodiment, since the face image data is stored in association with the registered time information, there is an effect that the accuracy of extraction in the computer 14 as the candidate extracting means can be further improved.
[0102]
In the present embodiment, since a new customer can be added as a new customer, there is an effect that even when the customer returns to the store, the accuracy of the extraction by the computer 14 as the candidate extracting means can be further improved. .
[0103]
In the present embodiment, when there are a plurality of face image data of the selected candidate, the plurality of face images of the selected customer are displayed on the candidate detail display screen P2 (FIG. 6) by the computer 14 as the detail screen display means. Display). Therefore, there is an effect that the selection of the candidate can be performed more accurately, and the extraction accuracy in the candidate extracting means can be further increased.
[0104]
In the present embodiment, since customer management information including the customer visit history selected by the computer 14 as the customer management information display means is extracted from the customer data DB 6 and displayed, customer management becomes easy. .
[0105]
The above embodiment may be modified as follows.
In the present embodiment, as the face image recognition method, the method proposed by the present inventors in Japanese Patent Application No. 2001-347478 is adopted as the optimum method, but the present invention is not limited to this method. Absent. INDUSTRIAL APPLICABILITY The present invention can be applied to a method of estimating an unknown image from a stored face image, such as updating information serving as a base for this recognition.
[0106]
Although the present invention has been described by taking customer management of a store as an example, the present invention can be widely applied to personnel management using face images.
[0107]
【The invention's effect】
As described above in detail, the customer information management device of the present invention has an effect that customer identification information can be easily obtained, and a high personal identification rate can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a hardware configuration of a customer information management system 1.
FIG. 2 is a flowchart showing a main routine of a process of a customer information management system 1 together with FIG. 3;
FIG. 3 is a flowchart showing a main routine of a process of the customer information management system 1 together with FIG. 2;
FIG. 4 is a flowchart showing in detail a subroutine of processing (S10) for adding / updating a face image DB7 for face recognition.
FIG. 5 is a diagram showing a candidate list display screen P1 in which face images of a plurality of candidates are displayed in a list on a screen of a display device 11;
FIG. 6 is a view showing a candidate detail display screen P2 on a screen of the display device 11 for displaying data of a single candidate selected and an input face image in a comparable manner.
FIG. 7 is a diagram showing an update screen P3 for updating customer data already stored in the face image recognition face image DB7.
FIG. 8 is a diagram showing a face orientation display screen P4.
FIG. 9 is a diagram showing a customer data display screen P5.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Customer information management system, 2 ... CPU, 3 ... RAM, 4 ... ROM, 5 ... Interface, 6 ... Customer data DB, 7 ... Face image DB for face image recognition, 8 ... HDD, 9 ... Imaging means, 10 ... Face image storage means, 11 ... Display device, 12 ... Input device, 13 ... POS, 14 ... Computer

Claims (11)

既知の顧客の顔画像データを顧客毎に記憶する顧客顔画像データベースと、
入力された未知の顧客の顔画像データに基づいて生成された検索用データと、前記顧客顔画像データベースに記憶された既知の顧客の顔画像データに基づいて生成された比較用データとを比較することにより、当該未知の顔画像データと類似する既知の顧客の顔画像データを候補者として抽出する候補者抽出手段と、
前記候補者抽出手段により抽出された候補者の顔画像を表示する候補者表示手段と、
表示された候補者の選択についての所定コマンドの入力に基づいて前記顧客顔画像データベースを更新する顧客顔画像データベース更新手段と
を備えたことを特徴とする顧客情報管理装置。A customer face image database that stores known customer face image data for each customer;
The search data generated based on the input unknown customer face image data is compared with the comparison data generated based on the known customer face image data stored in the customer face image database. By doing so, candidate extraction means for extracting as a candidate face image data of a known customer similar to the unknown face image data,
Candidate display means for displaying the face image of the candidate extracted by the candidate extraction means,
A customer face image database updating unit for updating the customer face image database based on an input of a predetermined command for selecting a displayed candidate. 前記候補者抽出手段の前記既知の顧客の比較データは、前記顧客顔画像データベースに記憶された顔画像データが１の顧客に対して複数ある場合は当該複数の顔画像データに基づいて生成されることを特徴とする請求項１に記載の顧客情報管理装置。The known customer comparison data of the candidate extraction means is generated based on the plurality of face image data when one customer has a plurality of face image data stored in the customer face image database. The customer information management device according to claim 1, wherein: 前記顧客顔画像データベース更新手段は、表示された候補者の選択についての所定コマンドの入力に基づいて、前記未知の顔画像を当該選択された顧客の顔画像データとして追加することで前記顧客顔画像データベースを更新することを特徴とする請求項１又は請求項２に記載の顧客情報管理装置。The customer face image database updating means adds the unknown face image as face image data of the selected customer based on the input of a predetermined command for selection of the displayed candidate, thereby obtaining the customer face image. The customer information management device according to claim 1 or 2, wherein the database is updated. 前記顧客顔画像データベースは、顧客毎の顔画像データが、当該顔画像データが登録された登録時間情報と関係付けられて記憶されることを特徴とする請求項１乃至請求項３のいずれか１項に記載の顧客情報管理装置。4. The customer face image database according to claim 1, wherein the face image data for each customer is stored in association with registration time information in which the face image data is registered. Customer information management device described in the section. 前記顧客顔画像データベース更新手段は、一定条件で前記登録時間情報に基づいて時間の経過に応じて顔画像データの前記候補者抽出手段における比較データの決定におけるウエイト付けを減少させ若しくは破棄することを特徴とする請求項４に記載の顧客情報管理装置。The customer face image database updating means may reduce or discard weighting in the determination of comparison data in the candidate extracting means of face image data according to the passage of time based on the registration time information under certain conditions. The customer information management device according to claim 4, wherein 前記一定条件が、前記顧客顔画像データベースに記憶された当該顧客の顔画像データが所定数を超えた場合には最も古い顔画像データを廃棄することを特徴とする請求項５に記載の顧客情報管理装置。6. The customer information according to claim 5, wherein when the predetermined condition exceeds a predetermined number of face image data of the customer stored in the customer face image database, the oldest face image data is discarded. Management device. 前記顧客顔画像データベースは、所定の撮像角度により分類されて顧客の顔画像データが記憶されていることを特徴とする請求項１乃至請求項６のいずれか１項に記載の顧客情報管理装置。7. The customer information management apparatus according to claim 1, wherein the customer face image database stores customer face image data classified according to a predetermined imaging angle. 前記顧客顔画像データベースは、所定の撮像角度により分類された顧客の顔画像データが、当該顔画像データが登録された登録時間情報に関係付けられて記憶されることを特徴とする請求項４乃至請求項６のいずれか１項に記載の顧客情報管理装置。5. The customer face image database according to claim 4, wherein the customer face image data classified by a predetermined imaging angle is stored in association with registration time information in which the face image data is registered. The customer information management device according to claim 6. 前記候補者表示手段により表示された既知の顧客の顔画像と未知の顧客の顔画像とが異なるとする判断に基づいた所定のコマンドが入力された場合に、前記顧客顔画像データベースに新たな顧客として顔画像を新規に登録する顧客顔画像データベース新規登録手段を備えたことを特徴とする請求項１乃至請求項８に記載の顧客情報管理装置。When a predetermined command based on the determination that the face image of the known customer and the face image of the unknown customer displayed by the candidate display means are different, a new customer is stored in the customer face image database. 9. The customer information management apparatus according to claim 1, further comprising a customer face image database new registration unit for newly registering a face image. 前記候補者抽出手段は、顧客顔画像データベースに蓄積された顔画像の中に、所定コマンドの入力により抽出され表示された複数の候補者から選択された候補者の顔画像データが複数ある場合は、当該選択された顧客の複数の顔画像を表示させる詳細画面表示手段をさらに備えたことを特徴とする請求項１乃至請求項９のいずれか１項に記載の顧客情報管理装置。The candidate extracting means may include, when face images stored in the customer face image database include a plurality of face image data of a candidate selected from a plurality of candidates extracted and displayed by inputting a predetermined command. 10. The customer information management apparatus according to claim 1, further comprising a detail screen display unit for displaying a plurality of face images of the selected customer. 顧客毎の顧客管理情報データを記憶する顧客管理情報データベースと、表示された候補者から選択された候補者に基づいて入力された所定のコマンドの入力に基づいて、当該選択された顧客の来店履歴を含む顧客管理情報を前記顧客管理情報データベースから抽出して表示する顧客管理情報表示手段を備えたことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の顧客情報管理装置。A customer management information database for storing customer management information data for each customer, and a visit history of the selected customer based on a predetermined command input based on the candidate selected from the displayed candidates 11. The customer information management device according to claim 1, further comprising customer management information display means for extracting and displaying customer management information including the following from the customer management information database.
JP2002247686A 2002-08-27 2002-08-27 Customer information managing device Pending JP2004086625A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002247686A JP2004086625A (en) 2002-08-27 2002-08-27 Customer information managing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002247686A JP2004086625A (en) 2002-08-27 2002-08-27 Customer information managing device

Publications (1)

Publication Number Publication Date
JP2004086625A true JP2004086625A (en) 2004-03-18

Family

ID=32055271

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002247686A Pending JP2004086625A (en) 2002-08-27 2002-08-27 Customer information managing device

Country Status (1)

Country Link
JP (1) JP2004086625A (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119851A (en) * 2004-10-20 2006-05-11 Nec Corp Registration transfer method, and its system
JP2006330297A (en) * 2005-05-25 2006-12-07 Noritsu Koki Co Ltd Print order reception device
JP2006338103A (en) * 2005-05-31 2006-12-14 Nec Corp Parameter learning device, parameter learning method, and program
JP2007148691A (en) * 2005-11-25 2007-06-14 Nikon Corp Image processor
JP2010518505A (en) 2007-02-08 2010-05-27 オラワークス・インコーポレイテッド Adding tag information to a person image
JP2011004007A (en) * 2009-06-16 2011-01-06 Ricoh Co Ltd Television conference device, television conference method, and program for the same
WO2012017589A1 (en) 2010-08-05 2012-02-09 パナソニック株式会社 Face image registration device and method
JP2012234566A (en) * 2012-08-07 2012-11-29 Olympus Imaging Corp Image retrieval device and image retrieval method
US8488847B2 (en) 2005-11-25 2013-07-16 Nikon Corporation Electronic camera and image processing device
JP2014026659A (en) * 2013-09-11 2014-02-06 Olympus Imaging Corp Image retrieval device and image retrieval method
KR101363017B1 (en) * 2007-08-23 2014-02-12 삼성전자주식회사 System and methed for taking pictures and classifying the pictures taken
JP2014067301A (en) * 2012-09-26 2014-04-17 Buffalo Inc Image processing apparatus and program
WO2016152417A1 (en) * 2015-03-20 2016-09-29 日本電気株式会社 Sales promotion device, sales promotion system, storefront system, sales promotion method, and program
JP2017033547A (en) * 2015-08-05 2017-02-09 キヤノン株式会社 Information processing apparatus, control method therefor, and program
EP3379819A1 (en) * 2006-04-05 2018-09-26 Nikon Corporation Electronic camera
JP2019023923A (en) * 2009-08-07 2019-02-14 グーグル エルエルシー Facial recognition with social network aiding
WO2019181442A1 (en) * 2018-03-20 2019-09-26 日本電気株式会社 Information processing device, control method, and program
JP2020524850A (en) * 2017-06-22 2020-08-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Subject identification system and method
JP2020533702A (en) * 2017-09-13 2020-11-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Target person identification system and method
WO2023007649A1 (en) * 2021-07-29 2023-02-02 日本電気株式会社 Customer management device, customer management method, and program

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119851A (en) * 2004-10-20 2006-05-11 Nec Corp Registration transfer method, and its system
JP2006330297A (en) * 2005-05-25 2006-12-07 Noritsu Koki Co Ltd Print order reception device
JP2006338103A (en) * 2005-05-31 2006-12-14 Nec Corp Parameter learning device, parameter learning method, and program
JP2007148691A (en) * 2005-11-25 2007-06-14 Nikon Corp Image processor
US8488847B2 (en) 2005-11-25 2013-07-16 Nikon Corporation Electronic camera and image processing device
EP3379819A1 (en) * 2006-04-05 2018-09-26 Nikon Corporation Electronic camera
JP2010518505A (en) 2007-02-08 2010-05-27 オラワークス・インコーポレイテッド Adding tag information to a person image
KR101363017B1 (en) * 2007-08-23 2014-02-12 삼성전자주식회사 System and methed for taking pictures and classifying the pictures taken
US8866931B2 (en) 2007-08-23 2014-10-21 Samsung Electronics Co., Ltd. Apparatus and method for image recognition of facial areas in photographic images from a digital camera
JP2011004007A (en) * 2009-06-16 2011-01-06 Ricoh Co Ltd Television conference device, television conference method, and program for the same
JP2019023923A (en) * 2009-08-07 2019-02-14 グーグル エルエルシー Facial recognition with social network aiding
US9092660B2 (en) 2010-08-05 2015-07-28 Panasonic Intellectual Property Management Co., Ltd. Face image registration device and method
WO2012017589A1 (en) 2010-08-05 2012-02-09 パナソニック株式会社 Face image registration device and method
JP2012234566A (en) * 2012-08-07 2012-11-29 Olympus Imaging Corp Image retrieval device and image retrieval method
JP2014067301A (en) * 2012-09-26 2014-04-17 Buffalo Inc Image processing apparatus and program
JP2014026659A (en) * 2013-09-11 2014-02-06 Olympus Imaging Corp Image retrieval device and image retrieval method
WO2016152417A1 (en) * 2015-03-20 2016-09-29 日本電気株式会社 Sales promotion device, sales promotion system, storefront system, sales promotion method, and program
JPWO2016152417A1 (en) * 2015-03-20 2018-01-11 日本電気株式会社 Sales promotion device, sales promotion system, store system, sales promotion method and program
JP2017033547A (en) * 2015-08-05 2017-02-09 キヤノン株式会社 Information processing apparatus, control method therefor, and program
JP7449093B2 (en) 2017-06-22 2024-03-13 コーニンクレッカ フィリップス エヌ ヴェ Subject identification system and method
JP2020524850A (en) * 2017-06-22 2020-08-20 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Subject identification system and method
JP2020533702A (en) * 2017-09-13 2020-11-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Target person identification system and method
WO2019181442A1 (en) * 2018-03-20 2019-09-26 日本電気株式会社 Information processing device, control method, and program
JP7160086B2 (en) 2018-03-20 2022-10-25 日本電気株式会社 Information processing device, control method, and program
US11556729B2 (en) 2018-03-20 2023-01-17 Nec Corporation Information processing apparatus, control method, and program
JPWO2019181442A1 (en) * 2018-03-20 2021-03-11 日本電気株式会社 Information processing equipment, control methods, and programs
WO2023007649A1 (en) * 2021-07-29 2023-02-02 日本電気株式会社 Customer management device, customer management method, and program

Similar Documents

Publication Publication Date Title
JP2004086625A (en) Customer information managing device
KR100480781B1 (en) Method of extracting teeth area from teeth image and personal identification method and apparatus using teeth image
JP4725377B2 (en) Face image registration device, face image registration method, face image registration program, and recording medium
JP3584334B2 (en) Human detection tracking system and human detection tracking method
EP1669890A1 (en) Electronic image accumulation method, electronic image accumulation device, and electronic image accumulation system
US20060245624A1 (en) Using time in recognizing persons in images
JP2000306095A (en) Image collation/retrieval system
US20120321147A1 (en) Sales data processing apparatus and computer-readable storage medium
US20060115156A1 (en) Image recognizing system, an image recognizing method, a machine readable medium storing thereon, and a computer program for recognizing images
CN104615926A (en) Information processing apparatus and information processing method
JP2008165701A (en) Image processing device, electronics equipment, image processing method, and program
CN109978552B (en) Payment processing method, device and equipment based on identity card information
JP2014016968A (en) Person retrieval device and data collection device
WO2019083509A1 (en) Person segmentations for background replacements
JP2006079458A (en) Image transmission system, method, and program
JP5248236B2 (en) Image processing apparatus and image processing method
US7684594B2 (en) Method and apparatus for estimating object part location in digital image data using feature value analysis
JP6729678B2 (en) Information processing apparatus, suspect information generation method and program
JP5796523B2 (en) Biological information acquisition apparatus, biological information acquisition method, and biological information acquisition control program
JP5877678B2 (en) Face authentication database management method, face authentication database management apparatus, and face authentication database management program
JP2003178304A (en) Face image retrieving device, face image retrieving method and program for executing method on computer
US7957555B2 (en) Method and apparatus for localizing an object part in digital image data by updating an initial position estimate based on a displacement of the object part
Banumathi et al. Performance analysis of various techniques applied in human identification using dental X-rays
JPH1185992A (en) Device and method for picture registration and retrieval and program recording medium
CN115019364A (en) Identity authentication method and device based on face recognition, electronic equipment and medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20031031

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040129

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050907

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050907

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080916

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081224