JP2017004432A - 顔認識システム、顔認識サーバ及び顧客情報提示方法 - Google Patents

Abstract

【課題】顧客が来店した時に、店員に対しその顧客の嗜好情報を提示する顔認識システム、顔認識サーバ及び顧客情報提示方法を提供する。
【解決手段】顧客データベース４１には、顧客ＩＤと顔画像データの特徴量と属性情報とが対応付けて登録される。販売データベース５１には、顧客ＩＤと注文履歴とが対応付けて登録される。顔特徴量抽出部３２は、カメラ装置１０によって撮像された映像に現れる顔を含む顔画像データの特徴量を抽出する。顔特徴量比較部３３は、抽出された顔画像データの特徴量と顧客データベース４１に登録された顔画像データの特徴量とを比較する。これらの特徴量が類似する場合、通信部３１は、特徴量が類似する顧客ＩＤに対応する顔画像データ、属性情報及び注文履歴を含む顧客情報を注文端末６０に送信する。注文端末６０は、顧客情報をディスプレイ６２に表示する。
【選択図】図１

Description

本発明は、カメラ装置により撮像された映像を用いて、人物の顔を認証する顔認識システム、顔認識サーバ及び顧客情報提示方法に関する。

従来、店舗内に設定された撮像領域に出現した人物の客層を判定する際、人物の行動形態から分析対象となる顧客であるか否かを判定し、該当しない人物を分析対象から排除することで、店舗に来店した顧客の客層を精度良く分析する客層分析システムが知られている（例えば、特許文献１参照）。

この客層分析システムでは、例えば店舗の出入口の近傍の案内待ちエリアから客席に向かう顧客を正面から撮像するように撮像領域が設定される。また、客層分析システムは、客席に向かって移動する行動と異なる行動をとる人物を検出し、そのような行動をとる人物は店員等、つまり顧客以外であるとして分析対象から排除していた。

特開２０１４−２３２４９５号公報

しかしながら、特許文献１の構成では、顧客の行動を分析することはできても、顧客が来店した時に、店員に対し顧客の嗜好情報を提示することはできなかった。

本発明は、上述した従来の状況に鑑みて、顧客が来店した時に、店員に対しその顧客の嗜好情報を提示できる顔認識システム、顔認識サーバ及び顧客情報提示方法を提供することを目的とする。

本発明は、カメラ装置と顔認識サーバとサービス提供者により把持される注文端末とが接続された顔認識システムであって、前記顔認識サーバは、前記カメラ装置により撮像された映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する特徴量抽出部と、顧客の識別情報と前記顔画像データの特徴量と前記顧客の属性情報とが対応付けて登録された顧客データベースと、前記顧客の識別情報と前記顧客の注文履歴とが対応付けて登録された注文データベースと、前記特徴量抽出部により抽出された前記顔画像データの特徴量と前記顧客データベースに登録された顔画像データの特徴量とが類似する場合に、前記特徴量抽出部により抽出された前記顔画像データと、前記顧客の属性情報と、前記顧客の注文履歴とを含む顧客情報を前記注文端末に送信する送信部と、を備え、前記注文端末は、表示部を有し、前記顔認識サーバから送信された前記顧客情報を前記表示部に表示する、顔認識システムである。

また、本発明は、カメラ装置とサービス提供者により把持される注文端末とが接続された顔認識サーバであって、前記カメラ装置により撮像された映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する特徴量抽出部と、顧客の識別情報と前記顔画像データの特徴量と前記顧客の属性情報とが対応付けて登録された顧客データベースと、前記顧客の識別情報と前記顧客の注文履歴とが対応付けて登録された注文データベースと、前記特徴量抽出部により抽出された前記顔画像データの特徴量と前記顧客データベースに登録された顔画像データの特徴量とが類似する場合に、前記特徴量抽出部により抽出された前記顔画像データと、前記顧客の属性情報と、前記顧客の注文履歴とを含む顧客情報を前記注文端末に送信する送信部と、を備える、顔認識サーバである。

更に、本発明は、カメラ装置と顔認識サーバとサービス提供者により把持される注文端末とが接続された顔認識システムにおける顧客情報提示方法であって、顧客の識別情報と前記顧客の顔画像データの特徴量と前記顧客の属性情報とを対応付けて顧客データベースに登録する処理と、前記顧客の識別情報と前記顧客の注文履歴とを対応付けて注文データベースに登録する処理と、前記カメラ装置により撮像された映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する処理と、抽出された前記顔画像データの特徴量と前記顧客データベースに登録された顔画像データの特徴量とが類似する場合に、抽出された前記顔画像データと、前記顧客の属性情報と、前記顧客の注文履歴とを含む顧客情報を前記注文端末に送信する処理と、送信された前記顧客情報を前記注文端末の表示部に表示する処理と、を実行する、顧客情報提示方法である。

本発明によれば、顧客が来店した時に、店員に対しその顧客の嗜好情報を提示できる。

本実施形態の顔認識システムの内部構成の一例を詳細に示すブロック図 本実施形態の顔認識サーバにおける顔検出処理の動作手順の一例を説明するフローチャート 常連の顧客が来店した時に顧客のお好みメニューが表示される注文端末の画面の表示例を示す図 新規の顧客が来店した時に当店イチ押しメニューが表示される注文端末の画面の表示例を示す図 本実施形態の変形例の顔認識システムの内部構成の一例を詳細に示すブロック図

以下、適宜図面を参照しながら、本発明に顔認識システム、顔認識サーバ及び顧客情報提示方法を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、本実施形態の顔認識システム５の内部構成の一例を示すブロック図である。図１に示す顔認識システム５は、複数台のカメラ装置１０、顔認識サーバ３０、ＰＯＳ（Point Of Sales：販売時点情報管理）サーバ５０、及び注文端末６０が接続された構成を有する。以下、本実施形態の顔認識システム５は、例えば店舗に設置された場合を想定して説明するが、店舗以外の場所に設定されてもよい。

各カメラ装置１０は、それぞれのカメラ装置１０毎に予め設定された店舗内等の所定の場所（例えば客席や客席に至る通路）を撮像領域として撮像し、撮像された映像データ（つまり、撮像により得られた映像データ）に現れる人物の顔を有する顔画像データを取得する。各カメラ装置１０は、撮像部１１、顔検出部１２、顔切出し部１３及び通信部１４を有する。なお、本実施形態のカメラ装置１０は、１台であってもよいし、複数台であってもよい。

撮像部は、ＣＣＤ（電荷結合素子：Charge Couples Device）イメージセンサやＣＭＯＳ（相補性金属酸化膜半導体：Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子を有し、予め設定された撮像領域から入射する光を受光面に結像し、その光学像を電気信号に変換する。これにより、撮像領域の映像を表す映像データのフレームが得られる。

顔検出部１２は、撮像部１１によって撮像された映像に含まれる人物の顔を検出する。この顔検出処理は、例えば人物の目、鼻、口等の顔のパーツを検出する方法、肌色を検出する方法、頭髪を検出する方法、首や肩等の部分を検出する方法等、公知の技術を用いて、顔を検出する処理である。また、顔検出処理方法として、統計的学習に基づくパターン認識技術を用いてもよい。

顔切出し部１３は、顔検出部１２によって検出された人物の顔を有する顔画像データを、撮像部１１によって撮像された映像データのフレームから切り出す。切り出される顔画像データ（以下、単に「切出し顔画像データ」という）は、撮像された人物の顔を含む程度の大きさを有する矩形の画像を含むデータである。顔検出部１２及び顔切出し部１３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサ１６によって実行される機能である。プロセッサ１６は、例えば内部メモリに記憶されたアプリケーションプログラムを実行することで、顔検出部１２及び顔切出し部１３の機能を実現する。

通信部１４は、有線若しくは無線で顔認識サーバ３０と接続され、顔切出し部１３によって切り出された顔画像データを顔認識サーバ３０に送信する。例えばカメラ装置１０がネットワークカメラである場合、通信部１４はＩＰ（Internet Protocol）ネットワークを介して顔画像データを送信可能である。

顔認識サーバ３０は、各カメラ装置１０から受信した顔画像データに含まれる顔を予め登録された顔と照合して認識する。顔認識サーバ３０は、通信部３１、顔特徴量抽出部３２、顔特徴量比較部３３及び顧客データベース４１を有する。また、顔特徴量比較部３３は、年齢性別判定部３５を含む。

受信部の一例としての通信部３１は、それぞれのカメラ装置１０から顔画像データを受信する。また、送信部の一例としての通信部３１は、後述する注文端末６０に対し、注文端末６０からの検索要求に対する検索応答としての顧客情報を送信する。

特徴量抽出部の一例としての顔特徴量抽出部３２は、通信部３１が受信した顔画像データから顔の特徴量（以下、単に「顔特徴量」という）を抽出する。顔特徴量抽出処理は、公知の技術を用いて、例えば眼の位置、目と鼻と口の位置関係、しわの寄り方等の特徴量を抽出する処理である。

顔特徴量比較部３３は、顔特徴量抽出部３２によって抽出された顔特徴量と、顧客データベース４１に登録されている顔特徴量とを比較し、これらの類似度が所定値以上に高いか否かを判別する。また、これらの類似度が所定値以上に高くない場合（つまり、類似度が所定値未満である場合）には、顔特徴量比較部３３は、類似度が低いと判定する。類似度が所定値以上に高い場合には、顔特徴量比較部３３は、来店した顧客が常連客（言い換えると、お得意様）であると判断する。一方、類似度が所定値未満で低い場合、顔特徴量比較部３３は、来店した顧客が新規の顧客であると判断する。なお、類似度が高いと判定する際の所定値（第１閾値）に対し、類似度が低いと判定する際の所定値（第２閾値）は、同じ値でもよいし、第１閾値より低い値であってもよい。

また、顔特徴量比較部３３に含まれる年齢性別判定部３５は、新規の顧客（以下、単に「新規客」という）である場合、顔特徴量抽出部３２によって抽出された顔特徴量を基に、公知の技術を用いて新規客の年齢及び性別を推定する。推定される年齢は、ある程度の年齢幅で表現されてもよいし、平均値又は代表値として表現されてもよい。

顔特徴量抽出部３２及び顔特徴量比較部３３は、プロセッサ４０が実行する機能である。プロセッサ４０は、例えば内部メモリに記憶されたアプリケーションプログラムを実行することで、顔特徴量抽出部３２及び顔特徴量比較部３３の機能を実現する。

顧客データベース４１は、顧客が新規客である場合に、カメラ装置１０により撮像された映像データに現れる人物の顔を有する顔画像データに関連する情報を登録する。具体的には、顧客データベース４１は、新規客に対して顧客の識別情報（以下、「顧客ＩＤ」ともいう）を発行し、この顧客ＩＤを、顔画像データ以外に、顔特徴量抽出部３２により抽出された顔画像データの顔特徴量と、新規客の属性情報（例えば顧客の年齢、性別等）とを対応付けて、これらの情報（即ち、顧客ＩＤ、顧客の顔画像データの顔特徴量、顧客の属性情報）を顧客情報として登録する。また、店舗が例えばチェーン展開された店舗である場合には、顧客データベース４１は、全店舗のうちいずれかの店舗に一度でも顧客が来店していれば、その顧客情報を流用して登録しておく。全店舗において顧客情報のデータを相当量蓄積しておくことで、ビッグデータとして活用することも期待可能である。

ＰＯＳサーバ５０は、店舗で注文を受ける（言い換えると、商品を販売する）毎にその注文情報（販売情報）を記録し、この集計結果を、売上管理、在庫管理等のマーケティングに用いるシステムであり、販売データベース５１を有する。注文データベースの一例としての販売データベース５１は、顧客の識別情報（顧客ＩＤ）毎の注文履歴（メニュー、金額等）等の販売データ（販売情報）を登録している。販売データベース５１は、チェーン展開された店舗である場合、全店舗を対象にこれらの販売データを登録している。

なお、顧客データベース４１と販売データベース５１とは、顔認識サーバ３０とＰＯＳサーバ５０とがオンライン接続している間では常に連携しており、これらの間で相互にデータ伝送が行われる。データ伝送は、専用ケーブルを介して、或いはＰＯＳサーバ５０がインターネットに接続されたクラウドサーバである場合、ＩＰネットワークを介して顔認識サーバ３０との間で行われる。また、図１では、ＰＯＳサーバ５０は、顔認識サーバ３０とは別体の装置として示されているが、顔認識サーバ３０に内蔵されてもよい。この場合、ＰＯＳサーバ５０と顔認識サーバ３０との間のデータ伝送は、顔認識サーバ３０内部で行われ、ＰＯＳサーバ５０と顔認識サーバ３０との間を接続するための通信線等（例えば伝送ケーブル）の設置を省くことができる。

注文端末６０は、サービス提供者の一例としての店舗の店員等が手で把持可能なタブレット端末又はスマートフォン等の可搬型データ通信端末である。注文端末６０は、顔認識サーバ３０から顧客情報を受信し、また、ＰＯＳサーバ５０に注文情報を送信する。注文端末６０は、入力部６１、ディスプレイ６２、制御部６３及び通信部６４を有する。ここでは、入力部６１及びディスプレイ６２は、重なるように一体化されたタッチパネルで構成される。入力部６１は、ディスプレイ６２の画面に対しユーザがタッチ入力した操作を受け付ける。表示部の一例としてのディスプレイ６２は、顔認識サーバ３０から受信した顧客情報等を表示する。なお、入力部とディスプレイとが別体に設けられてもよい。

通信部６４は、顔認識サーバ３０及びＰＯＳサーバ５０と無線で接続され、データ通信可能である。例えば、通信部６４は顔認識サーバ３０及びＰＯＳサーバ５０と無線ＬＡＮで接続される。

制御部６３は、例えばＣＰＵ、ＭＰＵ又はＤＳＰ等のプロセッサを用いて構成され、注文端末６０の動作を統括的に制御する。制御部６３は、アプリケーションを起動させ、アプリケーションの実行中、顔認識サーバ３０から顧客情報を受信可能であり、また、ＰＯＳサーバ５０に注文情報を送信する。

上記構成を有する顔認識システム５の動作を示す。

図２は、本実施形態の顔認識サーバ３０における顔検出処理の動作手順の一例を説明するフローチャートである。図２において、顔認識サーバ３０内の通信部３１は、カメラ装置１０から送信された切出し顔画像データを受信する（Ｓ１）。

顔特徴量抽出部３２は、受信した切出し顔画像データから顔特徴量を抽出する（Ｓ２）。顔特徴量として、例えば眼の位置、目と鼻と口の位置関係、しわの寄り方等の特徴量が抽出される。顔特徴量比較部３３は、顔特徴量抽出部３２によって抽出された顔特徴量と、顧客データベース４１に登録されている顔特徴量とを比較し（Ｓ３）、これらの類似度が所定値以上に高いか否かを判別する（Ｓ４）。

類似度が所定値以上に高いと判断された場合（Ｓ４、ＹＥＳ）、通信部３１は、類似していると判断された顧客の、顧客データベース４１に登録されている顧客情報（顧客データ）及び販売データベース５１に登録されている販売データを、注文端末６０に送信する（Ｓ５）。注文端末６０は、顔認識サーバ３０から顧客データ及び販売データを受信すると、これらのデータをディスプレイ６２に表示させる（Ｓ６）。

注文端末６０を把持する店員は、ディスプレイ６２の画面（図３参照）に表示された顧客データ及び販売データを見て、顧客の嗜好を知り、この顧客に対してお好みメニューを勧める等のサービスを行う。顧客から注文を受けると、店員は、注文端末６０に注文（オーダー）の入力操作を行う。注文端末６０は、注文の入力操作を受け付けると、顧客ＩＤと紐付けて注文の販売データを販売データベース５１に登録する（Ｓ７）。このとき、注文端末６０は、ＰＯＳサーバ５０と通信を行い、ＰＯＳサーバ５０を介して販売データベース５１に登録してもよいし、顔認識サーバ３０と通信を行い、顔認識サーバ３０に販売データベース５１への登録を依頼してもよい。この後、顔認識システム５は本動作を終了する。

一方、類似度が所定値未満で低いと判断された場合（Ｓ４、ＮＯ）、顔認識サーバ３０は、顧客データベース４１から新規の顧客ＩＤを取得する（Ｓ８）。ここでは、顔認識サーバ３０は、顧客データベース４１が発行した新規の顧客ＩＤを取得したが、自装置（つまり、顔認識サーバ３０）が新規に顧客ＩＤを発行し、顧客データベース４１に割り当ててもよい。

顔特徴量比較部３３は、新規の顧客ＩＤにおける、カメラ装置１０からの顔画像データ、顔特徴量抽出部３２によって抽出された顔画像データの顔特徴量、及び年齢性別判定部３５によって推定された年齢及び性別を含む顧客データ（顧客情報）を顧客データベース４１に登録する（Ｓ９）。通信部３１は、この顧客データ（顧客情報）を注文端末６０に送信する（Ｓ１０）。

注文端末６０は、顔認識サーバ３０から受信した顧客データ（顧客情報）をディスプレイ６２の画面に表示する（Ｓ１１）。注文端末６０を把持する店員は、ディスプレイ６２の画面（図４参照）に表示された顧客データを見て、新規の顧客であることを知ると、例えば当店のイチ押しメニューを勧める等のサービスを行う。顧客から注文を受けると、店員は、注文端末６０に注文（オーダー）の入力操作を行う。注文端末６０は、注文の入力操作を受け付けると、顧客ＩＤと紐付けて注文の販売データを販売データベース５１に登録する（Ｓ１２）。このとき、前述したように、注文端末６０は、ＰＯＳサーバ５０と通信を行い、ＰＯＳサーバ５０を介して販売データベース５１に登録してもよいし、顔認識サーバ３０と通信を行い、顔認識サーバ３０に販売データベース５１への登録を依頼してもよい。この後、顔認識システム５は本動作を終了する。

図３は、常連の顧客（つまり、お得意様）が来店した時に顧客のお好みメニュー（嗜好情報）が表示される注文端末６０の画面の一例を示す図である。注文端末６０の前面に配置されたディスプレイ６２の画面には、顧客ＩＤ毎の顧客情報ＣＳ１及び販売情報ＳＬ１が表示される。顧客情報ＣＳ１は、顔画像データＧ１及び属性情報ＴＧ１を含む。属性情報ＴＧ１には、年齢、性別及び備考が含まれる。図３では、「顧客ＩＤ：０５８１」の顔画像データＧ１が表示され、属性情報ＴＧ１として、「年齢：３８才」、「性別：男」及び「備考：」が表示され、さらに、備考として、「カード決済」及び「前回の来店 ３日前」が表示されている。

また、販売情報ＳＬ１は注文履歴ＯＲ１を含む。注文履歴ＯＲ１には、過去にこの顧客が注文した食事及びデザートのメニューが「カキフライ定食 ７００円」等と表示されている。また、注文端末６０の画面には、嗜好情報ＰＲ１が表示される。図３では、嗜好情報ＰＲ１の一部として、「産地直送の魚定食」及び「新メニューの各種ケーキ」のおすすめ情報ＲＭ１が表示される。なお、嗜好情報ＰＲ１には、おすすめ情報ＲＭ１の他、顧客情報に基づく各種イベント情報等が表示されてもよい。

店員は、自身の手で把持している注文端末６０の画面に表示された、これらの情報を見ながら顧客に対し、おすすめ情報ＲＭ１を提示しながら、顧客からの注文を受ける。注文を受けると、店員は、注文端末６０の画面の下方に配置された注文ボタン６２ｚをタッチ操作し、注文端末６０の画面を注文入力画面（図示せず）に遷移させる。そして、店員が注文入力画面から注文内容をタッチ入力すると、注文端末６０は、注文内容を受け付け、ＰＯＳサーバ５０に、注文内容に応じた顧客ＩＤの販売データを送信する。ＰＯＳサーバ５０は、注文端末６０から受信した顧客ＩＤの販売データを販売データベース５１に反映させる。

図４は、新規の顧客が来店した時に当店イチ押しメニュー（新規の顧客の嗜好情報）が表示される注文端末６０の画面の一例を示す図である。注文端末６０の前面に配置されたディスプレイ６２の画面には、新規の顧客ＩＤの顧客情報ＣＳ２が表示される。この画面には、販売情報は表示されない。

顧客及び性別が含まれる。なお、この時点では、備考は含まれない。図４では、「顧客ＩＤ：０６８３」の顔画像データＧ２が表示され、属性情報ＴＧ２として、「年齢：２５才」及び「性別：女」が表示されている。

また、注文端末６０の画面には、嗜好情報ＰＲ２が表示される。図４では、まだ注文履歴が無いので、嗜好情報ＰＲ２の一部として、例えば当店イチ押しメニューのおすすめ情報ＲＭ２が表示される。

店員は、自身の手で把持している注文端末６０の画面に表示された、これらの情報を見ながら顧客に対し、おすすめ情報ＲＭ２を提示しながら、顧客からの注文を受ける。注文を受けると、店員は、注文端末６０の画面の下方に配置された注文ボタン６２ｚをタッチ操作し、注文端末６０の画面を注文入力画面（図示せず）に遷移させる。そして、店員が注文入力画面から注文内容をタッチ入力すると、注文端末６０は、注文内容を受け付け、ＰＯＳサーバ５０に、注文内容に応じた新規顧客ＩＤの販売データを送信する。ＰＯＳサーバ５０は、注文端末６０から受信した新規顧客ＩＤの販売データを販売データベース５１に反映させる。

以上により、本実施形態の顔認識システム５では、顧客データベース４１には、顧客ＩＤ（顧客の識別情報）と顔画像データの特徴量と属性情報とが対応付けて登録される。販売データベース５１には、顧客ＩＤと注文履歴とが対応付けて登録される。顔特徴量抽出部３２は、カメラ装置１０によって撮像された映像に現れる顔を含む顔画像データの特徴量を抽出する。顔特徴量比較部３３は、顔特徴量抽出部３２により抽出された顔画像データの特徴量と顧客データベース４１に登録された顔画像データの特徴量とを比較する。比較の結果、これらの特徴量が類似する場合、通信部３１は、特徴量が類似する顧客ＩＤに対応する顔画像データＧ１、属性情報ＴＧ１及び注文履歴ＯＲ１を含む顧客情報ＣＳ１を注文端末６０に送信する。注文端末６０は、顔認識サーバ３０から送信された顧客情報ＣＳ１をディスプレイ６２に表示する。これにより、顧客が来店した時に、店員等が把持する注文端末に顧客情報が表示されるので、店員に対しその顧客の嗜好情報を提示できる。従って、店員は円滑かつ迅速に顧客から注文を受けることができ、販売促進に繋がる。

また、注文端末６０は、ディスプレイ６２に表示された顧客情報の顧客から、新たな注文を受け付けた場合、注文の販売情報を顔認識サーバ３０に送信する。顔認識サーバ３０は、受信した注文の販売情報を顧客の識別情報（顧客ＩＤ）に対応付けて販売データベース５１に登録する。これにより、最新の販売情報を販売データベースに反映させることができ、提示する嗜好情報の確度を向上できる。また、販売データベースのデータ量が増え、精度が向上するとともに、様々な活用が期待される。

また、顔認識サーバ３０は、顔特徴量抽出部３２により抽出された顔画像データの特徴量と顧客データベース４１に登録された顔画像データの特徴量とが類似しない場合、顧客データベース４１における新規の顧客の識別情報（顧客ＩＤ）を取得し、新規の顧客の識別情報に販売情報を対応付けて販売データベース５１に登録する。これにより、新規の顧客の識別情報及び販売情報を増やすことができ、顧客データベース及び販売データベースの利用価値が高まる。

（本実施形態の変形例）
図５は、本実施形態の変形例の顔認識システム５Ａの内部構成の一例を詳細に示すブロック図である。上記本実施形態と同一の構成要素については同一の符号を付すことで、その説明を省略する。本実施形態の変形例の顔認識システム５Ａでは、カメラ装置１０Ａは、上記本実施形態と異なり、撮像部１１及び通信部１４だけを有し、撮像部１１で撮像された画像データを、通信部１４によりそのまま顔認識サーバ３０Ａに送信するだけである。

顔認識サーバ３０Ａは、上記本実施形態と異なり、プロセッサ４０内に顔検出部５２及び顔切出し部５３を有する。顔検出部５２は、カメラ装置１０Ａから送信された画像データ（映像）に対し、前記実施形態の顔検出部１２と同様、映像に含まれる顔を検出する。顔切出し部５３は、前記実施形態の顔切出し部１３と同様、顔検出部５２によって検出された顔を含む顔画像データを映像のフレームから切り出す。

このように、本実施形態の変形例の顔認識システム５Ａでは、顔認識サーバ３０Ａに負荷のかかる処理を集中させるので、カメラ装置１０Ａの負荷を軽減できる。つまり、カメラ装置１０Ａは、撮像した画像データ（映像）を顔認識サーバ３０に送信するだけであるので、簡易な構成で済み、既設のカメラ装置で対応可能である。また、汎用のネットワークカメラでも対応可能である。

以上、図面を参照しながら実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記本実施形態又はその変形例では、顔認識システム５，５Ａは、レストラン等の飲食店で利用される場合を示したが、ブティック等の衣料品店、ホテルや旅館等の宿泊施設等においても、同様に利用可能である。

本発明は、カメラ装置により撮像された映像を用いる際、顧客が来店した時に、店員に対しその顧客の嗜好情報を提示できる顔認識システム、顔認識サーバ及び顧客情報提示方法として有用である。

５、５Ａ 顔認識システム
１０、１０Ａ カメラ装置
１１ 撮像部
１２、５２ 顔検出部
１３、５３ 顔切出し部
１４、３１、６４ 通信部
１６、４０ プロセッサ
３０、３０Ａ 顔認識サーバ
３１ 通信部
３２ 顔特徴量抽出部
３３ 顔特徴量比較部
３５ 年齢性別判定部
４１ 顧客データベース
５０ ＰＯＳサーバ
５１ 販売データベース
６０ 注文端末
６１ 入力部
６２ ディスプレイ
６２ｚ 注文ボタン
６３ 制御部
ＣＳ１、ＣＳ２ 顧客情報
Ｇ１、Ｇ２ 顔画像データ
ＯＲ１ 注文履歴
ＰＲ１、ＰＲ２ 嗜好情報
ＲＭ１、ＲＭ２ おすすめ情報
ＳＬ１ 販売情報
ＴＧ１、ＴＧ２ 属性情報

Claims (5)

1. カメラ装置と顔認識サーバとサービス提供者により把持される注文端末とが接続された顔認識システムであって、
   前記顔認識サーバは、
   前記カメラ装置により撮像された映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する特徴量抽出部と、
   顧客の識別情報と前記顔画像データの特徴量と前記顧客の属性情報とが対応付けて登録された顧客データベースと、
   前記顧客の識別情報と前記顧客の注文履歴とが対応付けて登録された注文データベースと、
   前記特徴量抽出部により抽出された前記顔画像データの特徴量と前記顧客データベースに登録された顔画像データの特徴量とが類似する場合に、前記特徴量抽出部により抽出された前記顔画像データと、前記顧客の属性情報と、前記顧客の注文履歴とを含む顧客情報を前記注文端末に送信する送信部と、を備え、
   前記注文端末は、
   表示部を有し、前記顔認識サーバから送信された前記顧客情報を前記表示部に表示する、
   顔認識システム。
2. 請求項１に記載の顔認識システムであって、
   前記注文端末は、前記表示部に表示された前記顧客情報に対応する前記顧客から、新たな注文を受け付けた場合に、前記サービス提供者の操作に応じて、注文情報を前記顔認識サーバに送信し、
   前記顔認識サーバは、前記注文端末から送信された前記注文情報を、前記顧客の識別情報に対応付けて前記注文データベースに登録する、
   顔認識システム。
3. 請求項１に記載の顔認識システムであって、
   前記顔認識サーバは、前記特徴量抽出部により抽出された前記顔画像データの特徴量と前記顧客データベースに登録された顔画像データの特徴量とが類似しない場合に、新規の顧客の識別情報に、前記特徴量抽出部により抽出された前記顔画像データの特徴量と前記新規の顧客の属性情報とを対応付けて前記顧客データベースに登録する、
   顔認識システム。
4. カメラ装置とサービス提供者により把持される注文端末とが接続された顔認識サーバであって、
   前記カメラ装置により撮像された映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する特徴量抽出部と、
   顧客の識別情報と前記顔画像データの特徴量と前記顧客の属性情報とが対応付けて登録された顧客データベースと、
   前記顧客の識別情報と前記顧客の注文履歴とが対応付けて登録された注文データベースと、
   前記特徴量抽出部により抽出された前記顔画像データの特徴量と前記顧客データベースに登録された顔画像データの特徴量とが類似する場合に、前記特徴量抽出部により抽出された前記顔画像データと、前記顧客の属性情報と、前記顧客の注文履歴とを含む顧客情報を前記注文端末に送信する送信部と、を備える、
   顔認識サーバ。
5. カメラ装置と顔認識サーバとサービス提供者により把持される注文端末とが接続された顔認識システムにおける顧客情報提示方法であって、
   顧客の識別情報と前記顧客の顔画像データの特徴量と前記顧客の属性情報とを対応付けて顧客データベースに登録する処理と、
   前記顧客の識別情報と前記顧客の注文履歴とを対応付けて注文データベースに登録する処理と、
   前記カメラ装置により撮像された映像データに現れる人物の顔を有する顔画像データの特徴量を抽出する処理と、
   抽出された前記顔画像データの特徴量と前記顧客データベースに登録された顔画像データの特徴量とが類似する場合に、抽出された前記顔画像データと、前記顧客の属性情報と、前記顧客の注文履歴とを含む顧客情報を前記注文端末に送信する処理と、
   送信された前記顧客情報を前記注文端末の表示部に表示する処理と、を実行する、
   顧客情報提示方法。

Images