JP2021081881A - 情報処理装置、情報処理方法、プログラム及びカメラシステム - Google Patents

Abstract

【課題】店舗などに設置されたカメラが撮影した人物の顔の画像に基づいて、マーケティングに有益な情報を得ることができる情報処理装置を提供する。【解決手段】情報処理装置１は、カメラ２で撮影された被撮影者の特徴情報と、職員の特徴情報を含む職員登録情報５１と、顧客の特徴情報を含む顧客登録情報５２とに基づいて、被撮影者を判別する判別部１６２と、被撮影者に該当する職員が判別された場合、被撮影者の笑顔度に基づいて被撮影者に該当する職員が笑顔であるか判定する職員笑顔判定部１６３と、設定された期間内に職員が笑顔と判定された回数を計数する職員笑顔計数部１６４と、顧客が被撮影者に該当すると判別された場合、顧客が再来訪したことを検出する顧客再来訪検出部１６７と、設定された期間内に顧客笑顔判定部１６５が顧客の再来訪を検出した回数を計数する顧客再来訪計数部１６８とを有する。【選択図】図１

Description

本発明は、カメラで撮影された人物の判別に関する処理を行う情報処理装置、情報処理方法、プログラム及びカメラシステムに関するものである。

カメラで撮影された画像に含まれる人物の顔の特徴を抽出し、予めデータベースに登録された人物の顔画像と抽出した顔の特徴とを照合することにより、カメラで撮影された人物を判別する技術が知られている（例えば特許文献１を参照）。近年、ＡＩ（artificial intelligence）を用いた画像認識技術の進展によって、カメラが撮影した画像に基づく人や物の判別を高精度に行うことが可能になってきている。

特開２００３−１８７２２９号公報

カメラが撮影した顔の画像から人物を自動的に判別する技術は、例えば店舗などへ顧客が繰り返し来店する回数（リピート数）のカウントに用いることにより、マーケティングの情報を収集する手段となり得る。他方、カメラが撮影した画像に映し出される顧客やスタッフの表情は、店舗で提供されるサービスの質に関連性を有することが予想される。特に、店舗における顧客やスタッフの表情と顧客のリピート数との間には一定の相関関係があると予想され、これらの情報はマーケティングにおいて有益な知見をもたらすことが期待される。しかしながら、従来の技術では、カメラが撮影した人物の画像からこれらの情報を収集することについて考慮されていないため、顧客やスタッフの表情とリピート数との間の相関性がマーケティングにおいて有効に活用されていない。

本発明はかかる事情に鑑みてなされたものであり、その目的は、店舗などに設置されたカメラが撮影した人物の顔の画像に基づいて、マーケティングに有益な情報を得ることができる情報処理装置、情報処理方法及びプログラムを提供すること、並びに、そのような情報処理装置を備えるカメラシステムを提供することにある。

本発明の第１の観点に係る情報処理装置は、１以上のカメラで撮影された被撮影者の画像から抽出された前記被撮影者の特徴に関する特徴情報と、１以上の登録された職員の前記特徴情報を含む職員登録情報と、１以上の登録された顧客の前記特徴情報を含む顧客登録情報とに基づいて、前記被撮影者に該当する前記職員又は前記顧客を判別する判別部と、前記判別部により前記被撮影者に該当する前記職員が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記被撮影者の笑顔の度合いを示す笑顔度に基づいて、前記被撮影者に該当する前記職員が笑顔であるか判定する職員笑顔判定部と、登録された少なくとも一部の前記職員について、設定された期間内に前記職員笑顔判定部が笑顔であると判定した回数である職員笑顔回数を計数する職員笑顔計数部と、前記顧客が前記被撮影者に該当すると前記判別部により判別された場合、前記顧客が再来訪したことを検出する顧客再来訪検出部と、登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客再来訪検出部が再来訪を検出した回数である顧客再来訪回数を計数する顧客再来訪計数部とを有し、前記顧客再来訪検出部は、一の前記顧客の再来訪を検出した後、予め定めたインターバルが経過するまでの間、当該一の顧客について再来訪の検出を停止する。

本発明の第２の観点に係る情報処理方法は、１以上のコンピュータが実行する情報処理方法であって、１以上のカメラで撮影された被撮影者の画像から抽出された前記被撮影者の特徴に関する特徴情報と、１以上の登録された職員の前記特徴情報を含む職員登録情報と、１以上の登録された顧客の前記特徴情報を含む顧客登録情報とに基づいて、前記被撮影者に該当する前記職員又は前記顧客を判別する判別工程と、前記判別工程において前記被撮影者に該当する前記職員が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記被撮影者の笑顔の度合いを示す笑顔度に基づいて、前記被撮影者に該当する前記職員が笑顔であるか判定する職員笑顔判定工程と、登録された少なくとも一部の前記職員について、設定された期間内に前記職員笑顔判定工程において笑顔であると判定された回数である職員笑顔回数を計数する職員笑顔計数工程と、前記顧客が前記被撮影者に該当すると前記判別工程において判別された場合、前記顧客が再来訪したことを検出する顧客再来訪検出工程と、登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客再来訪検出工程において再来訪が検出された回数である顧客再来訪回数を計数する顧客再来訪計数工程とを有し、前記顧客再来訪検出工程は、一の前記顧客の再来訪を検出した後、予め定めたインターバルが経過するまでの間、当該一の顧客について再来訪の検出を停止することを含む。

本発明の第３の観点に係るプログラムは、上記第２の観点に係る情報処理方法をコンピュータに実行させるためのプログラムである。

本発明の第４の観点に係るカメラシステムは、上記第１の観点に係る情報処理装置と１以上の前記カメラとを備えるカメラシステムである。

本発明によれば、店舗などに設置されたカメラが撮影した人物の顔の画像に基づいて、マーケティングに有益な情報を得ることができる。

図１は、第１の実施形態に係るカメラシステムの構成の一例を示す図である。 図２は、職員登録情報の一例を示す図である。 図３は、顧客登録情報の一例を示す図である。 図４は、履歴情報の一例を示す図である。 図５は、カメラの構成の一例を示す図である。 図６は、第１の実施形態に係る情報処理装置における被撮影者の判別処理の一例を説明するための第１のフローチャートである。 図７は、第１の実施形態に係る情報処理装置における被撮影者の判別処理の一例を説明するための第２のフローチャートである。 図８は、第１の実施形態に係る情報処理装置におけるレポート生成処理の一例を説明するためのフローチャートである。 図９は、第２の実施形態に係る情報処理装置における被撮影者の判別処理の一例を説明するための第１のフローチャートである。 図１０は、第２の実施形態に係る情報処理装置における被撮影者の判別処理の一例を説明するための第２のフローチャートである。

＜第１の実施形態＞
図１は、第１の実施形態に係るカメラシステムの構成の一例を示す図である。図１に示すカメラシステムは、店舗などに設置された複数のカメラ２と、各カメラ２が撮影した画像に基づいて人物を判別する処理を行う情報処理装置１とを有する。カメラ２は、店舗などにおいて人物（職員、顧客）を撮影可能な位置に設置されており、撮影した人物（以下、「被撮影者」と記す場合がある。）の画像から被撮影者の特徴（例えば被撮影者の顔の特徴）を抽出する処理を行う。またカメラ２は、被撮影者の顔の画像に基づいて、被撮影者の笑顔の度合いを示す笑顔度を算出する処理も行う。情報処理装置１は、カメラ２で生成された被撮影者の特徴に関する情報（特徴情報）と、予め登録された人物（職員、顧客）の特徴情報とを照合することにより、被撮影者に該当する登録済の人物（職員、顧客）を判別する処理や、顧客の再来訪回数を計数する処理を行う。更に情報処理装置１は、カメラ２において算出された笑顔度に基づいて、職員（スタッフ）や顧客が笑顔となった回数を計数する処理を行う。図１の例において、複数のカメラ２はインターネットなどのネットワーク９に接続されており、情報処理装置１はネットワーク９を介して各カメラ２からの情報を取得する。

［情報処理装置１］
情報処理装置１は、図１の例において、通信部１１０と、入力部１２０と、表示部１３０と、インターフェース部１４０と、記憶部１５０と、処理部１６０を含む。

通信部１１０は、ネットワーク９を介して他の装置（カメラ２など）と通信を行うための装置であり、例えばイーサネット（登録商標）や無線ＬＡＮなどの所定の通信規格に準拠して通信を行う装置（ネットワークインターフェースカードなど）を含む。

入力部１２０は、ユーザの操作に応じた指示や情報を入力するための装置であり、例えばキーボード、マウス、タッチパッド、タッチパネルなどの任意の入力装置を含む。

表示部１３０は、処理部１６０から入力される画像データに応じた画像を表示する装置であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどを含む。

インターフェース部１４０は、処理部１６０において種々のデータを入出力するための装置であり、例えばＵＳＢなどの汎用的なインターフェース装置や、記録媒体（例えばメモリカード）のリーダーライター装置などを含む。

記憶部１５０は、処理部１６０のプロセッサによって実行されるプログラムを記憶するとともに、処理部１６０の処理の過程で一時的に保存されるデータ、処理部１６０の処理に利用されるデータ、処理部１６０の処理結果として得られたデータなどを記憶する。例えば記憶部１５０は、後述する職員登録情報５１（図２）、顧客登録情報５２（図３）、履歴情報５３（図４）を記憶する。

記憶部１５０は、例えば、主記憶装置（ＲＯＭ、ＲＡＭなど）と補助記憶装置（フラッシュメモリ、ハードディスク、光ディスクなど）を含む。記憶部１５０は、１つの記憶装置から構成されてもよいし、１種類以上の複数の記憶装置から構成されてもよい。記憶部１５０を構成する各記憶装置は、コンピュータのバスや他の通信手段を介して処理部１６０と接続される。

処理部１６０は、情報処理装置１の全体的な動作を統括的に司り、所定の情報処理を実行する。処理部１６０は、例えば、記憶部１５０に格納された１以上のプログラムの命令コードに従って処理を実行する１以上のプロセッサ（ＣＰＵ，ＭＰＵなど）を含む。処理部１６０は、記憶部１５０の１以上のプログラムを１以上のプロセッサが実行することにより、１以上のコンピュータとして動作する。

なお、処理部１６０は、特定の機能を実現するように構成された１以上の専用のハードウェア（ＡＳＩＣ、ＦＰＧＡなど）を含んでもよい。この場合、処理部１６０は、被撮影者の判別に関わる処理を、上述した１以上のコンピュータにおいて実行してもよいし、当該処理の少なくとも一部を専用のハードウェアにおいて実行してもよい。

処理部１６０は、被撮影者の判別及び笑顔の判定に関連する処理を行う構成要素として、例えば図１に示すように、取得部１６１と、判別部１６２と、職員笑顔判定部１６３と、職員笑顔計数部１６４と、顧客笑顔判定部１６５と、顧客笑顔計数部１６６と、顧客再来訪検出部１６７と、顧客再来訪計数部１６８と、顧客登録部１６９と、来訪顧客数計数部１７０と、レポート生成部１７１とを含む。

取得部１６１は、各カメラ２が撮影した画像に基づいて生成される各種の情報（特徴情報、笑顔度など）を取得する。特徴情報は、被撮影者の画像から抽出された被撮影者の特徴（顔の特徴など）に関する情報である。笑顔度は、被撮影者の顔の画像に基づいて算出された被撮影者の笑顔の度合いを示す値である。本実施形態では、一例として、カメラ２において特徴情報及び笑顔度が生成されるものとする。カメラ２において特徴情報及び笑顔度が生成される場合、取得部１６１は、カメラ２から特徴情報及び笑顔度を直接取得してもよいし、ネットワーク９に接続された１以上のサーバ装置（クラウドサーバなど）を介して間接的に特徴情報及び笑顔度を取得してもよい。取得部１６１において取得する特徴情報及び笑顔度は、カメラ２で生成された特徴情報及び笑顔度と同一でもよいし、カメラ２と情報処理装置１との間に介在するサーバ装置などによって所定の変換が施されたものでもよい。

判別部１６２は、取得部１６１において取得された特徴情報（以下、「取得特徴情報」と記す場合がある。）と、１以上の登録された職員の特徴情報（以下、「登録職員特徴情報」と記す場合がある。）を含んだ職員登録情報５１と、１以上の登録された顧客の特徴情報（以下、「登録顧客特徴情報」と記す場合がある。）を含んだ顧客登録情報５２とに基づいて、被撮影者に該当する職員又は顧客を判別する。

図２は、記憶部１５０に記憶される職員登録情報５１の一例を示す図である。職員登録情報５１は、登録された個々の職員に関する所定の情報を含む。図２における符号５１０は、一人の職員について登録された一群の情報である職員登録レコードを表す。図２の例に示す職員登録レコード５１０は、個々の職員を識別するための職員ＩＤ、登録を行った日時（登録日）、職員の氏名、職員の所属先（部署名、店舗名など）、職員の顔画像のデータ、当該顔画像から抽出された職員の顔の特徴を示す特徴情報（登録職員特徴情報）を含む。登録職員特徴情報は、職員登録情報５１に登録された個々の職員について予め生成された特徴情報であり、例えば、予め撮影された職員の画像から職員の特徴を抽出することにより得られた情報である。職員登録情報５１は、登録された一人以上の職員の各々について、図２に示すような職員登録レコード５１０を含む。

図３は、記憶部１５０に記憶される顧客登録情報５２の一例を示す図である。図３の例において、顧客登録情報５２に登録される顧客は、氏名などが不明な人物である。図３における符号５２０は、一人の顧客について登録された一群の情報である顧客登録レコードを表す。図３の例に示す顧客登録レコード５２０は、個々の顧客を識別するための顧客ＩＤ、登録を行った日付（登録日）、推定性別、推定年齢、撮影された顧客の特徴情報（登録顧客特徴情報）を含む。登録顧客特徴情報は、顧客登録情報５２に登録された個々の顧客について取得部１６１により取得された特徴情報（取得特徴情報）である。顧客登録情報５２は、登録された一人以上の顧客の各々について、図３に示すような顧客登録レコード５２０を含む。各顧客の顧客登録レコード５２０は、後述する顧客登録部１６９によって顧客登録情報５２に追加（登録）される。

なお、顧客登録レコード５２０（図３）に含まれる「推定性別」及び「推定年齢」は、それぞれカメラ２が推定する。すなわち、カメラ２の後述する処理部２５０が、後述する撮像部２２０の撮像画像に含まれる人物の画像に基づいて（例えば画像における顔の特徴などに基づいて）、顧客の性別と年齢を推定する。性別及び年齢の推定結果は、顧客の特徴情報及び笑顔度と共にカメラ２から情報処理装置１へ提供される。情報処理装置１の取得部１６１は、特徴情報と共に性別及び年齢の推定結果を取得する。

判別部１６２は、職員登録情報５１に含まれる登録職員特徴情報と取得特徴情報とを照合し、この照合結果に基づいて、被撮影者に該当する登録された職員を判別する。また判別部１６２は、顧客登録情報５２に含まれる登録顧客特徴情報と取得特徴情報とを照合し、この照合結果に基づいて、被撮影者に該当する登録された顧客を判別する。

職員笑顔判定部１６３は、判別部１６２により被撮影者に該当する職員が判別された場合、この被撮影者の画像に基づいて算出された笑顔度に基づいて、この被撮影者に該当する職員が笑顔であるか判定する。具体的には、職員笑顔判定部１６３は、判別部１６２により被撮影者に該当する職員が判別された場合、この被撮影者の画像に基づいて算出された笑顔度と所定の第１しきい値Ｔｈ１とを比較し、この比較結果に基づいて、被撮影者に該当する職員が笑顔であるか判定する。

職員笑顔判定部１６３は、被撮影者に該当する職員が笑顔であると判定した場合、その判定結果に関する情報を含むように履歴情報５３を更新する。

図４は、記憶部１５０に記憶される履歴情報５３の一例を示す図である。履歴情報５３は、職員笑顔判定部１６３において職員の笑顔が判定されたことや、後述する顧客笑顔判定部１６５において顧客の笑顔が判定されたこと、後述する顧客再来訪検出部１６７において顧客の再来訪が検出されたことなどを、それぞれ履歴に関する情報として含む。図４における符号５３０は、１つの履歴に関する情報として記録された一群の情報である履歴レコードを表す。図４の例に示す履歴レコード５３０は、カメラ２において被撮影者の画像が撮影された日時、判別部１６２により被撮影者に該当すると判別された職員又は顧客のＩＤ（職員ＩＤ／顧客ＩＤ）、被撮影者の画像を撮影したカメラ２を識別するためのカメラＩＤ、被撮影者の画像に基づいて算出された笑顔度、職員笑顔判定部１６３又は顧客笑顔判定部１６５における笑顔の判定結果を示す笑顔判定値、顧客再来訪検出部１６７における顧客の再来訪の検出結果を示す再来訪検出値を含む。

笑顔判定値及び再来訪検出値は、それぞれデフォルト値又はアクティブ値を持つ。アクティブ値を持つ笑顔判定値は、笑顔が判定されたことを示し、デフォルト値を持つ笑顔判定値は、笑顔が判定されていないことを示す。また、アクティブ値を持つ再来訪検出値は、顧客の再来訪が検出されたことを示し、デフォルト値を持つ再来訪検出値は、顧客の再来訪が検出されていないことを示す。以下では一例として、アクティブ値を「１」とし、デフォルト値を「０」とする。

職員笑顔判定部１６３は、被撮影者に該当する職員が笑顔であると判定した場合、例えば図４に示すような履歴レコード５３０を生成し、履歴情報５３に追加する。この場合、職員笑顔判定部１６３は、笑顔が判定されたことを示すように笑顔判定値を設定する（笑顔判定値を「１」に設定する）。

職員笑顔計数部１６４は、職員登録情報５１に登録された少なくとも一部の職員について、設定された期間内に職員笑顔判定部１６３が笑顔であると判定した回数である職員笑顔回数を計数する。例えば職員笑顔計数部１６４は、履歴情報５３に含まれる複数の履歴レコード５３０の中から、設定された期間内に撮影日時が含まれる履歴レコード５３０であって、被撮影者が職員であり（職員ＩＤを含み）、かつ、笑顔判定値が「１」となっている履歴レコード５３０を抽出し、抽出した履歴レコード５３０の数を職員笑顔回数として計数する。

顧客再来訪検出部１６７は、顧客登録情報５２に登録された顧客が被撮影者に該当すると判別部１６２により判別された場合、カメラ２が設置された店舗などに顧客が再来訪したことを検出する。ただし、顧客再来訪検出部１６７は、一の顧客の再来訪を検出した後、予め定めたインターバル（例えば８時間）が経過するまでの間、当該一の顧客について再来訪の検出を停止する。すなわち顧客再来訪検出部１６７は、それぞれの顧客について、１回の再来訪の検出から次の再来訪の検出までの間に、再来訪の検出を停止する所定のインターバルを設ける。これにより、店舗など中を移動する顧客がカメラ２の撮影範囲へ出入りする度に当該顧客が再来訪したと誤って検出されることを防止できる。

顧客再来訪検出部１６７は、被撮影者に該当する顧客が店舗などに再来訪したことを検出した場合、例えば図４に示すような履歴レコード５３０を生成し、履歴情報５３に追加する。この場合、顧客再来訪検出部１６７は、顧客の再来訪が検出されたことを示すように再来訪検出値を設定する（再来訪検出値を「１」に設定する）。

顧客再来訪計数部１６８は、顧客登録情報５２に登録された少なくとも一部の顧客について、設定された期間内に顧客再来訪検出部１６７が再来訪を検出した回数である顧客再来訪回数を計数する。例えば顧客再来訪計数部１６８は、履歴情報５３に含まれる複数の履歴レコード５３０の中から、設定された期間内に撮影日時が含まれる履歴レコード５３０であって、被撮影者が顧客であり（顧客ＩＤを含み）、かつ、再来訪検出値が「１」となっている履歴レコード５３０を抽出し、抽出した履歴レコード５３０の数を顧客再来訪回数として計数する。

顧客笑顔判定部１６５は、判別部１６２により被撮影者に該当する顧客が判別された場合、この被撮影者の画像に基づいて算出された笑顔度に基づいて、この被撮影者に該当する顧客が笑顔であるか判定する。具体的には、顧客笑顔判定部１６５は、判別部１６２により被撮影者に該当する顧客が判別された場合、この被撮影者の画像に基づいて算出された笑顔度と所定の第２しきい値Ｔｈ２とを比較し、この比較結果に基づいて、被撮影者に該当する顧客が笑顔であるか判定する。

上述した職員笑顔判定部１６３の第１しきい値Ｔｈ１に相当する笑顔の度合いは、顧客笑顔判定部１６５の第２しきい値Ｔｈ２に相当する笑顔の度合いに比べて大きい。すなわち、職員笑顔判定部１６３において職員が笑顔と判定される場合の笑顔の度合いは、顧客笑顔判定部１６５において顧客が笑顔と判定される場合の笑顔の度合いよりも大きい。一般に、ホスピタリティを意識する職員は顧客に比べて通常の表情における笑顔の度合いが大きいと考えられる。そのため、第１しきい値Ｔｈ１に相当する笑顔の度合いを第２しきい値Ｔｈ２に相当する笑顔の度合いに比べて大きくすることにより、職員の通常の表情が笑顔と判定されるケースを低減できる。

顧客笑顔判定部１６５は、被撮影者に該当する顧客が笑顔であると判定した場合、例えば図４に示すような履歴レコード５３０を生成し、履歴情報５３に追加する。この場合、顧客笑顔判定部１６５は、笑顔が判定されたことを示すように笑顔判定値を設定する（笑顔判定値を「１」に設定する）。

なお、顧客笑顔判定部１６５は、顧客再来訪検出部１６７が一の顧客についての再来訪の検出を停止したインターバルの期間において、当該一の顧客が笑顔であると所定の回数（例えば１回）判定した場合、継続中のインターバル期間が終了するまで当該一の顧客についての笑顔判定を停止する。すなわち、顧客笑顔判定部１６５は、インターバルの期間における顧客の笑顔の判定回数を所定の回数以下に制限する。これにより、笑顔の頻度が異常に多い特殊な顧客の判定結果に影響を受けて、後述する笑顔判定回数が異常に大きな値になることを防止できる。

顧客笑顔計数部１６６は、顧客登録情報５２に登録された少なくとも一部の顧客について、設定された期間内に顧客笑顔判定部１６５が笑顔であると判定した回数である顧客笑顔回数を計数する。例えば顧客笑顔計数部１６６は、履歴情報５３に含まれる複数の履歴レコード５３０の中から、設定された期間内に撮影日時が含まれる履歴レコード５３０であって、被撮影者が顧客であり（顧客ＩＤを含み）、かつ、笑顔判定値が「１」となっている履歴レコード５３０を抽出し、抽出した履歴レコード５３０の数を顧客笑顔回数として計数する。

顧客登録部１６９は、判別部１６２において該当する職員及び顧客のいずれも判別できなかった被撮影者があった場合、その被撮影者の特徴情報（取得特徴情報）を、新たに登録すべき顧客の特徴情報（登録顧客特徴情報）として顧客登録情報５２に追加する。例えば顧客登録部１６９は、判別部１６２において被撮影者が判別不能であった場合、この被撮影者について取得部１６１が取得した「特徴情報」「推定性別」「推定年齢」を含むとともに、この被撮影者の撮影日時を「登録日」とした顧客登録レコード５２０（図３）を生成し、これを顧客登録情報５２に追加する。これにより、新規の顧客を自動的に顧客登録情報５２へ登録することが可能となる。

来訪顧客数計数部１７０は、設定された期間内に顧客登録部１６９が新たに登録すべき顧客の特徴情報を顧客登録情報５２に追加した回数である新規顧客登録数と、顧客再来訪回数との和に相当する来訪顧客数を計数する。例えば、来訪顧客数計数部１７０は、顧客登録情報５２に含まれる複数の顧客登録レコード５２０の中から、設定された期間内に「登録日」が含まれた顧客登録レコード５２０を抽出し、抽出した顧客登録レコード５２０の数を来訪顧客数として計数する。そして来訪顧客数計数部１７０は、この来訪顧客数と、顧客再来訪計数部１６８が計数した顧客再来訪回数との和を、来訪顧客数として算出する。

レポート生成部１７１は、入力部１２０により入力されるユーザの指示に従って、上述した職員笑顔回数、顧客笑顔回数、顧客再来訪回数、来訪顧客数を含むレポート情報を生成し、表示部１３０の画面に表示する。

［カメラ２］
図５は、カメラ２の構成の一例を示す図である。図５に示すカメラ２は、撮像部２２０と、通信部２１０と、インターフェース部２３０と、記憶部２４０と、処理部２５０を有する。

通信部２１０は、ネットワーク９を介して他の装置（情報処理装置１など）と通信を行うための装置であり、例えばイーサネット（登録商標）や無線ＬＡＮなどの所定の通信規格に準拠して通信を行う装置（ネットワークインターフェースカードなど）を含む。

撮像部２２０は、画像を撮像する装置であり、ＣＭＯＳイメージセンサなどの撮像素子、被写体の光を撮像素子へ導く光学系、撮像素子において撮像した画像を処理する画像処理装置などを含む。

インターフェース部２３０は、処理部２５０において種々のデータを入出力するための装置であり、例えばＵＳＢなどの汎用的なインターフェース装置や、記録媒体（メモリカードなど）のリーダーライター装置などを含む。

記憶部２４０は、処理部２５０のプロセッサによって実行されるプログラムを記憶するとともに、処理部２５０の処理の過程で一時的に保存されるデータ、処理部２５０の処理に利用されるデータ、処理部２５０の処理結果として得られたデータなどを記憶する。記憶部２４０は、例えば、主記憶装置（ＲＯＭ、ＲＡＭなど）と補助記憶装置（フラッシュメモリ、ハードディスク、光ディスクなど）を含む。記憶部２４０は、１つの記憶装置から構成されてもよいし、１種類以上の複数の記憶装置から構成されてもよい。

処理部２５０は、カメラ２の全体的な動作を統括的に制御する装置であり、例えば、記憶部２４０に格納された１以上のプログラムの命令コードに従って処理を実行する１以上のプロセッサ（ＣＰＵ，ＭＰＵなど）を含む。処理部２５０は、記憶部２４０の１以上のプログラムを１以上のプロセッサが実行することにより、１以上のコンピュータとして動作する。処理部２５０は、特定の機能を実現するように構成された１以上の専用のハードウェア（ＡＳＩＣ、ＦＰＧＡなど）を含んでもよい。処理部２５０は、全ての処理を１以上のコンピュータにおいて実行してもよいし、少なくとも一部の処理を専用のハードウェアにおいて実行してもよい。

処理部２５０は、撮像部２２０において画像（静止画や動画）を撮影するとともに、その撮影データ３１を記憶部２４０に格納する。また、処理部２５０は、撮像部２２０において撮影した人物（被撮影者）の画像から被撮影者の特徴に関する特徴情報３２を抽出し、記憶部２４０に格納する。被撮影者の顔の特徴を特徴情報３２として抽出する場合、例えば処理部２５０は、撮像部２２０が撮影した画像における被撮影者の眼、鼻、口、顔、輪郭などの特徴点に基づいて特徴情報３２を生成する。特徴情報３２は、例えば多次元のベクトルでもよい。この場合、判別部１６２は、取得特徴情報が示すベクトルと、登録された特徴情報（登録職員特徴情報、登録顧客特徴情報）が示すベクトルとの相関係数などに基づいて、これらの特徴情報が示す顔の特徴が一致している度合いを算出し、算出した一致の度合いを所定のしきい値と比較することにより、画像中の被撮影者と登録された人物（職員、顧客）とが一致しているか否か判定してもよい。

また処理部２５０は、撮像部２２０において撮影した人物（被撮影者）の顔の画像に基づいて、被撮影者の笑顔の度合いを示す笑顔度３３を算出する。顔の画像に基づいて笑顔度３３を算出する方法には、既に知られている任意の方法（例えば特開２００４−４６５９１号公報に記載される方法など）を採用してよい。

処理部２５０は、通信部２１０によって情報処理装置１と通信を行い、記憶部２４０に記憶した特徴情報３２及び笑顔度３３を情報処理装置１へ適宜送信する。処理部２５０は、特徴情報３２及び笑顔度３３が生成された画像の撮影日時に関する情報を、特徴情報３２及び笑顔度３３とともに情報処理装置１へ送信してもよい。

ここで、上述した構成を有する第１の実施形態に係る情報処理装置１の動作について説明する。
図６及び図７は、第１の実施形態に係る情報処理装置１における被撮影者の判別処理の一例を説明するためのフローチャートである。情報処理装置１は、被撮影者の特徴情報及び笑顔度を取得する度に、図６及び図７のフローチャートに示した処理を実行する。

取得部１６１が被撮影者の特徴情報（取得特徴情報）及び笑顔度をカメラ２から取得すると（ＳＴ１００）、判別部１６２は、職員登録情報５１に含まれる職員の特徴情報（登録職員特徴情報）と被撮影者の取得特徴情報との照合、並びに、顧客登録情報５２に含まれる顧客の特徴情報（登録顧客特徴情報）と取得特徴情報との照合を行う（ＳＴ１０５）。

判別部１６２における特徴情報の照合の基準は、例えばセキュリティ用途（防犯など）において画像から人物を特定するような場合に比べて厳格にすることが望ましい。すなわち、被撮影者の取得特徴情報と登録された特徴情報（登録職員特徴情報、登録顧客特徴情報）とが一致しているとみなす基準を、セキュリティ用途で人物を特定する場合などに比べて厳しくすることが望ましい。これにより、後述する処理で得られる職員笑顔回数、顧客笑顔回数、顧客再来訪回数、来訪顧客数の信頼性が高くなるため、マーケティングにおける有益な情報を得ることが可能となる。

ステップＳＴ１０５における特徴情報の照合の結果、被撮影者に該当する登録された職員が見つかった場合（ＳＴ１１０のＹｅｓ）、職員笑顔判定部１６３は、ステップＳＴ１００で取得された被撮影者の笑顔度と第１しきい値Ｔｈ１とを比較し、その比較結果に基づいて、被撮影者に該当する職員が笑顔であるか判定する（ＳＴ１１５）。ステップＳＴ１１５において職員が笑顔であると判定した場合（ＳＴ１２０のＹｅｓ）、職員笑顔判定部１６３は、その判定結果に関する情報を含むように履歴情報５３を更新する（ＳＴ１２５）。すなわち、職員笑顔判定部１６３は、被撮影者に該当すると判別された職員の職員ＩＤと、「１」に設定された笑顔判定値とを含む履歴レコード５３０（図４）を生成し、履歴情報５３に追加する。

ステップＳＴ１０５における特徴情報の照合の結果、被撮影者に該当する登録された顧客が見つかった場合（ＳＴ１１０のＮｏ、かつ、ＳＴ１３０のＹｅｓ）、顧客再来訪検出部１６７は、被撮影者に該当すると判別された顧客について、笑顔判定を停止すべきインターバルの期間であるか否かを判定する（ＳＴ１４０）。例えば顧客再来訪検出部１６７は、被撮影者に該当すると判別された顧客の顧客ＩＤを含む最新の履歴レコード５３０を履歴情報５３において検索し、最新の履歴レコード５３０の「日時」に対して現在の日時がインターバルの期間に含まれるか否か判定する。

ステップＳＴ１４０において現在の日時がインターバルの期間に含まれないと判定された場合（ＳＴ１４０のＮｏ）、顧客笑顔判定部１６５は、ステップＳＴ１００で取得された被撮影者の笑顔度と第２しきい値Ｔｈ２とを比較し、その比較結果に基づいて、被撮影者に該当する顧客が笑顔であるか判定する（ＳＴ１４５）。また、この場合、顧客再来訪検出部１６７は、被撮影者に該当する顧客が再来訪したことを検出し、その検出結果を履歴情報５３に記録する。すなわち、顧客再来訪検出部１６７は、被撮影者に該当すると判別された顧客の顧客ＩＤと、「１」に設定された再来訪検出値と、ステップＳＴ１４５の判定結果に応じた値（「１」又は「０」）を持つ笑顔判定値とを含んだ履歴レコード５３０（図４）を生成し、履歴情報５３に追加する（ＳＴ１５０）。

ステップＳＴ１４０において現在の日時がインターバルの期間に含まれると判定された場合、顧客笑顔判定部１６５は、このインターバルの期間において被撮影者に該当する顧客を笑顔であると判定した回数を確認する（ＳＴ１５５）。顧客笑顔判定部１６５は、被撮影者に該当する顧客をインターバル期間中に笑顔と判定した回数が所定の回数（例えば１回）である場合（ＳＴ１５５のＹｅｓ）、後述するステップＳＴ１６０以降を実行せずにフローチャートの処理を終了する。

他方、顧客笑顔判定部１６５は、被撮影者に該当する顧客をインターバル期間中に笑顔と判定した回数が所定の回数（例えば１回）に満たない場合（ＳＴ１５５のＮｏ）、ステップＳＴ１６０に移行して、被撮影者に該当する顧客の笑顔判定を行う（ＳＴ１６０）。すなわち、顧客笑顔判定部１６５は、ステップＳＴ１００で取得された被撮影者の笑顔度と第２しきい値Ｔｈ２とを比較し、その比較結果に基づいて、被撮影者に該当する顧客が笑顔であるか判定する。ステップＳＴ１６０において顧客が笑顔であると判定した場合（ＳＴ１６５のＹｅｓ）、顧客笑顔判定部１６５は、その判定結果に関する情報を含むように履歴情報５３を更新する（ＳＴ１７０）。すなわち、顧客笑顔判定部１６５は、被撮影者に該当すると判別された顧客の顧客ＩＤと、「１」に設定された笑顔判定値とを含む履歴レコード５３０（図４）を生成し、履歴情報５３に追加する。

ステップＳＴ１０５における特徴情報の照合の結果、被撮影者に該当する登録された職員及び顧客がいずれも見つからなかった場合（ＳＴ１１０のＮｏ、かつ、ＳＴ１３０のＮｏ）、顧客登録部１６９は、その被撮影者の特徴情報（取得特徴情報）を、新たに登録すべき顧客の特徴情報（登録顧客特徴情報）として顧客登録情報５２に追加する。例えば顧客登録部１６９は、この被撮影者について取得部１６１が取得した「特徴情報」「推定性別」「推定年齢」を含むとともに、この被撮影者の撮影日時を「登録日」とした顧客登録レコード５２０（図３）を生成し、これを顧客登録情報５２に追加する。

図８は、第１の実施形態に係る情報処理装置１におけるレポート生成処理の一例を説明するためのフローチャートである。

レポート情報の生成を要求するユーザの指示が入力部１２０において入力された場合、レポート生成部１７１は、レポート情報の対象となる期間を設定するための設定画面を表示部１３０において表示する。レポート生成部１７１は、この設定画面において入力部１２０から期間の設定値（例えば期間の開始日時と終了日時など）を入力する（ＳＴ２００）。

期間の設定値が入力されると、職員笑顔計数部１６４は、職員登録情報５１に登録された少なくとも一部の職員（例えば全ての職員）について、この設定値により設定された期間内に職員笑顔判定部１６３が笑顔であると判定した職員笑顔回数を計数する（ＳＴ２０５）。例えば職員笑顔計数部１６４は、履歴情報５３に含まれる複数の履歴レコード５３０の中から、設定された期間内に撮影日時が含まれる履歴レコード５３０であって、被撮影者が職員であり（職員ＩＤを含み）、かつ、笑顔判定値が「１」となっている履歴レコード５３０を抽出し、抽出した履歴レコード５３０の数を職員笑顔回数として計数する。

また、顧客笑顔計数部１６６は、顧客登録情報５２に登録された少なくとも一部の顧客（例えば全ての顧客）について、設定された期間内に顧客笑顔判定部１６５が笑顔であると判定した顧客笑顔回数を計数する（ＳＴ２１０）。例えば顧客笑顔計数部１６６は、履歴情報５３に含まれる複数の履歴レコード５３０の中から、設定された期間内に撮影日時が含まれる履歴レコード５３０であって、被撮影者が顧客であり（顧客ＩＤを含み）、かつ、笑顔判定値が「１」となっている履歴レコード５３０を抽出し、抽出した履歴レコード５３０の数を職員笑顔回数として計数する。

更に、顧客再来訪計数部１６８は、顧客登録情報５２に登録された少なくとも一部の顧客（例えば全ての顧客）について、設定された期間内に顧客再来訪検出部１６７が再来訪を検出した顧客再来訪回数を計数する（ＳＴ２１５）。例えば顧客再来訪計数部１６８は、履歴情報５３に含まれる複数の履歴レコード５３０の中から、設定された期間内に撮影日時が含まれる履歴レコード５３０であって、被撮影者が顧客であり（顧客ＩＤを含み）、かつ、再来訪検出値が「１」となっている履歴レコード５３０を抽出し、抽出した履歴レコード５３０の数を顧客再来訪回数として計数する。

また、来訪顧客数計数部１７０は、設定された期間内に顧客登録部１６９が新たに登録すべき顧客の特徴情報を顧客登録情報５２に追加した新規顧客登録数と、顧客再来訪回数との和に相当する来訪顧客数を計数する（ＳＴ２２０）。例えば、来訪顧客数計数部１７０は、設定された期間内に「登録日」が含まれる顧客登録レコード５２０を顧客登録情報５２（図３）から抽出し、抽出した顧客登録レコード５２０の数を来訪顧客数として計数する。そして来訪顧客数計数部１７０は、計数した来訪顧客数と顧客再来訪回数（ＳＴ２１５）との和を来訪顧客数として算出する。

レポート生成部１７１は、ステップＳＴ２０５で計数された職員笑顔回数（例えば全職員の笑顔判定回数の合計）と、ステップＳＴ２１０で計数された顧客笑顔回数（例えば前顧客の笑顔判定回数の合計）と、ステップＳＴ２１５で計数された顧客再来訪回数（例えば全顧客の再来訪回数の合計）と、ステップＳＴ２２０で計数された来訪顧客数とを含んだレポート情報を生成する（ＳＴ２２５）。例えばレポート生成部１７１は、生成したレポート情報を表示部１３０の画面に表示する。なお、レポート生成部１７１は、設定された期間における店舗などの売り上げの情報を不図示の装置（データベースなど）から取得し、取得した売り上げの情報をレポート情報の中に含めてもよい。

なお、レポート生成部１７１は、レポート情報の対象となる期間がその期間より前に予め設定されている場合、ステップＳＴ２００における期間の設定処理を省略してもよい。この場合、レポート生成部１７１は、レポート情報の対象となる期間が経過した後、ステップＳＴ２０５以降の処理を自動的に実行するように各計数部（職員笑顔計数部１６４、顧客笑顔計数部１６６、顧客再来訪計数部１６８、来訪顧客数計数部１７０）を制御してもよい。

また、レポート生成部１７１は、生成したレポート情報を他の装置（例えば、レポート情報の閲覧を求めるユーザの端末装置）へ任意の手段（電子メールなど）により提供してもよい。

以上説明したように、本実施形態によれば、店舗などに設置された１以上のカメラ２で撮影された被撮影者の画像に基づいて得られる被撮影者の特徴情報及び笑顔度に基づいて、被撮影者に該当する登録された職員が笑顔であると判定された回数（職員笑顔回数）が計数されるとともに、被撮影者に該当する登録された顧客が店舗などへ再来訪したことを検出した回数（顧客再来訪回数）が計数される。これにより、カメラ２が設置された店舗などにおける職員の笑顔の回数と顧客の再来訪回数との相関関係を明確に把握することが可能となり、マーケティングにおいて有益な情報を得ることができる。

本実施形態によれば、一の顧客の再来訪が検出された後、予め定めたインターバル（例えば８時間）が経過するまでの間、当該一の顧客について再来訪の検出が停止される。これにより、店舗など中を移動する顧客がカメラ２の撮影範囲へ出入りする度に当該顧客が再来訪したと誤って検出されることを効果的に防止できる。

本実施形態によれば、被撮影者の特徴情報及び笑顔度に基づいて、被撮影者に該当する登録された顧客が笑顔であると判定された回数（顧客笑顔回数）が計数される。これにより、カメラ２が設置された店舗などにおける職員の笑顔の回数と、顧客の笑顔の回数と、顧客の再来訪回数との相関関係を明確に把握することが可能となり、マーケティングにおいてより有益な情報を得ることができる。

本実施形態によれば、職員の笑顔判定に用いられる第１しきい値Ｔｈ１の笑顔の度合いが、顧客の笑顔判定に用いられる第２しきい値Ｔｈ２の笑顔の度合いに比べて大きいため、顧客に比べて笑顔の度合いが大きくなりがちな職員の通常の表情が笑顔として判定されるケースを効果的に低減できる。

本実施形態によれば、一の顧客についての再来訪の検出を停止したインターバルの期間において、当該一の顧客が笑顔であると所定の回数（例えば１回）判定された場合、継続中のインターバル期間が終了するまで当該一の顧客についての笑顔判定が停止される。これにより、笑顔の頻度が異常に多い特殊な顧客の判定結果に影響を受けて、笑顔判定回数が異常に大きな値になることを効果的に防止できる。

＜第２の実施形態＞
次に、第２の実施形態に係る情報処理装置１について説明する。第２の実施形態に係る情報処理装置１の構成は、第１の実施形態に係る情報処理装置１と概ね同じであるが、処理部１６０の一部の動作（主に職員笑顔判定部１６３の動作）に関して、第１の実施形態に係る情報処理装置１と異なる。以下では、第１の実施形態に係る情報処理装置１との相違点（特に、職員笑顔判定部１６３の動作の相違点）を中心に説明する。

第２の実施形態における職員笑顔判定部１６３は、第１の実施形態と同様に、判別部１６２により被撮影者に該当する職員が判別された場合、この被撮影者の画像に基づいて算出された笑顔度に基づいて、この被撮影者に該当する職員が笑顔であるか判定する。ただし、第２の実施形態における職員笑顔判定部１６３は、少なくとも一人の顧客が判別部１６２により被撮影者に該当すると判別されている顧客滞在期間において、被撮影者に該当する職員の笑顔判定を行う。すなわち、第２の実施形態における職員笑顔判定部１６３は、顧客滞在期間でない場合、被撮影者に該当する職員の笑顔判定を行わない。

図９及び図１０は、第２の実施形態に係る情報処理装置１における被撮影者の判別処理の一例を説明するためのフローチャートである。図９に示すフローチャートは、図６に示すフローチャートにステップＳＴ１１３を追加したものであり、図１０に示すフローチャートは、図７に示すフローチャートにステップＳＴ１７５を追加したものである。

ステップＳＴ１０５における特徴情報の照合の結果、被撮影者に該当する人物が顧客であった場合（ＳＴ１１０のＮｏ）、職員笑顔判定部１６３は、その最新の顧客が来訪した時刻の情報（例えば顧客である被撮影者が撮影された時刻の情報）を記憶部１５０に格納する（ＳＴ１７５）。その後、ステップＳＴ１０５における特徴情報の照合によって被撮影者に該当する登録された顧客が見つかった場合（ＳＴ１１０のＹｅｓ）、職員笑顔判定部１６３は、ステップＳＴ１７５において記憶部１５０に格納した最新の顧客来訪時刻からの経過時間を算出し、算出した経過時間と平均的な顧客滞在時間（例えば１５分）とを比較することにより、顧客滞在期間にあるか否かを判定する（ＳＴ１１３）。すなわち、職員笑顔判定部１６３は、最新の顧客来訪時刻からの経過時間が平均的な顧客滞在時間より短い場合、顧客滞在期間にあると判定し、この経過時間が顧客滞在時間より長い場合、顧客滞在期間にないと判定する。顧客滞在期間にあると判定した場合（ＳＴ１１３のＹｅｓ）、職員笑顔判定部１６３は、既に説明したステップＳＴ１１５以降の処理を実行する。他方、顧客滞在期間にないと判定した場合（ＳＴ１１３のＮｏ）、職員笑顔判定部１６３は、ステップＳＴ１１５以降の処理を実行せずに、フローチャートの処理を終了する。

以上説明したように、本実施形態によれば、少なくとも一人の顧客が被撮影者に該当すると判別されている顧客滞在期間において、被撮影者に該当する職員の笑顔判定が行われる。これにより、顧客が一人も滞在していない可能性が高い期間における職員の笑顔が職員笑顔回数から除かれるため、職員笑顔回数と顧客再来訪回数との相関関係や、職員笑顔回数と顧客笑顔回数との相関関係をより正確に把握することが可能となる。

なお、本発明は上述した実施形態にのみ限定されるものではなく、種々のバリエーションを含んでいる。

例えば、上述した実施形態では、カメラ２が撮影した画像に含まれる人物の顔の特徴を特徴情報として抽出する例を挙げているが、顔に限定されない任意の身体部位の特徴を特徴情報として抽出してもよいし、身体全体の特徴を特徴情報として抽出してよい。

また、上述した実施形態では、カメラ２において被撮影者の特徴情報や笑顔度を生成する例を挙げているが、本発明はこの例に限定されない。本発明の他の実施形態では、カメラ２以外の装置（例えば情報処理装置１や、ネットワーク９に接続される任意のサーバ装置）において、カメラ２が撮影した画像に基づいて、被撮影者の特徴情報や笑顔度を生成してもよい。

１…情報処理装置、１１０…通信部、１２０…入力部、１３０…表示部、１４０…インターフェース部、１５０…記憶部、１６０…処理部、１６１…取得部、１６２…判別部、１６３…職員笑顔判定部、１６４…職員笑顔計数部、１６５…顧客笑顔判定部、１６６…顧客笑顔計数部、１６７…顧客再来訪検出部、１６８…顧客再来訪計数部、１６９…顧客登録部、１７０…来訪顧客数計数部、１７１…レポート生成部、５１…職員登録情報、５１０…職員登録レコード、５２…顧客特徴情報、５２０…顧客登録レコード、５３…履歴情報、５３０…履歴レコード、２…カメラ、２１０…通信部、２２０…撮像部、２３０…インターフェース部、２４０…記憶部、２５０…処理部、９…ネットワーク

本発明の第１の観点に係る情報処理装置は、１以上のカメラで撮影された被撮影者の画像から抽出された前記被撮影者の特徴に関する特徴情報と、１以上の登録された職員の前記特徴情報を含む職員登録情報と、１以上の登録された顧客の前記特徴情報を含む顧客登録情報とに基づいて、前記被撮影者に該当する前記職員又は前記顧客を判別する判別部と、前記判別部により前記被撮影者に該当する前記職員が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記被撮影者の笑顔の度合いを示す笑顔度に基づいて、前記被撮影者に該当する前記職員が笑顔であるか判定する職員笑顔判定部と、登録された少なくとも一部の前記職員について、設定された期間内に前記職員笑顔判定部が笑顔であると判定した回数である職員笑顔回数を計数する職員笑顔計数部と、前記顧客が前記被撮影者に該当すると前記判別部により判別された場合、前記顧客が再来訪したことを検出する顧客再来訪検出部と、登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客再来訪検出部が再来訪を検出した回数である顧客再来訪回数を計数する顧客再来訪計数部と、前記判別部により前記被撮影者に該当する前記顧客が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記笑顔度に基づいて、前記被撮影者に該当する前記顧客が笑顔であるか判定する顧客笑顔判定部と、登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客笑顔判定部が笑顔であると判定した回数である顧客笑顔回数を計数する顧客笑顔計数部とを有し、前記顧客再来訪検出部は、一の前記顧客の再来訪を検出した後、予め定めたインターバルが経過するまでの間、当該一の顧客について再来訪の検出を停止する。

本発明の第２の観点に係る情報処理方法は、１以上のコンピュータが実行する情報処理方法であって、１以上のカメラで撮影された被撮影者の画像から抽出された前記被撮影者の特徴に関する特徴情報と、１以上の登録された職員の前記特徴情報を含む職員登録情報と、１以上の登録された顧客の前記特徴情報を含む顧客登録情報とに基づいて、前記被撮影者に該当する前記職員又は前記顧客を判別する判別工程と、前記判別工程において前記被撮影者に該当する前記職員が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記被撮影者の笑顔の度合いを示す笑顔度に基づいて、前記被撮影者に該当する前記職員が笑顔であるか判定する職員笑顔判定工程と、登録された少なくとも一部の前記職員について、設定された期間内に前記職員笑顔判定工程において笑顔であると判定された回数である職員笑顔回数を計数する職員笑顔計数工程と、前記顧客が前記被撮影者に該当すると前記判別工程において判別された場合、前記顧客が再来訪したことを検出する顧客再来訪検出工程と、登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客再来訪検出工程において再来訪が検出された回数である顧客再来訪回数を計数する顧客再来訪計数工程と、前記判別工程において前記被撮影者に該当する前記顧客が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記笑顔度に基づいて、前記被撮影者に該当する前記顧客が笑顔であるか判定する顧客笑顔判定工程と、登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客笑顔判定工程において笑顔であると判定された回数である顧客笑顔回数を計数する顧客笑顔計数工程とを有し、前記顧客再来訪検出工程は、一の前記顧客の再来訪を検出した後、予め定めたインターバルが経過するまでの間、当該一の顧客について再来訪の検出を停止することを含む。

Claims (11)

1. １以上のカメラで撮影された被撮影者の画像から抽出された前記被撮影者の特徴に関する特徴情報と、１以上の登録された職員の前記特徴情報を含む職員登録情報と、１以上の登録された顧客の前記特徴情報を含む顧客登録情報とに基づいて、前記被撮影者に該当する前記職員又は前記顧客を判別する判別部と、
   前記判別部により前記被撮影者に該当する前記職員が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記被撮影者の笑顔の度合いを示す笑顔度に基づいて、前記被撮影者に該当する前記職員が笑顔であるか判定する職員笑顔判定部と、
   登録された少なくとも一部の前記職員について、設定された期間内に前記職員笑顔判定部が笑顔であると判定した回数である職員笑顔回数を計数する職員笑顔計数部と、
   前記顧客が前記被撮影者に該当すると前記判別部により判別された場合、前記顧客が再来訪したことを検出する顧客再来訪検出部と、
   登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客再来訪検出部が再来訪を検出した回数である顧客再来訪回数を計数する顧客再来訪計数部とを有し、
   前記顧客再来訪検出部は、一の前記顧客の再来訪を検出した後、予め定めたインターバルが経過するまでの間、当該一の顧客について再来訪の検出を停止する、
   情報処理装置。
2. 前記判別部により前記被撮影者に該当する前記顧客が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記笑顔度に基づいて、前記被撮影者に該当する前記顧客が笑顔であるか判定する顧客笑顔判定部と、
   登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客笑顔判定部が笑顔であると判定した回数である顧客笑顔回数を計数する顧客笑顔計数部とを有する、
   請求項１に記載の情報処理装置。
3. 前記職員笑顔判定部は、前記判別部により前記被撮影者に該当する前記顧客が判別された場合、当該被撮影者の画像に基づいて算出された前記笑顔度と第１しきい値とを比較し、当該比較結果に基づいて当該職員が笑顔であるか判定し、
   前記顧客笑顔判定部は、前記判別部により前記被撮影者に該当する前記顧客が判別された場合、当該被撮影者の画像に基づいて算出された前記笑顔度と第２しきい値とを比較し、当該比較結果に基づいて当該顧客が笑顔であるか判定し、
   前記第１しきい値に相当する笑顔の度合いは、前記第２しきい値に相当する笑顔の度合いに比べて大きい、
   請求項２に記載の情報処理装置。
4. 前記顧客笑顔判定部は、前記顧客再来訪検出部が一の前記顧客についての再来訪の検出を停止した前記インターバルの期間において、当該一の顧客が笑顔であると所定の回数判定した場合、継続中の前記インターバルの期間が終了するまで当該一の顧客についての笑顔判定を停止する、
   請求項２又は３に記載の情報処理装置。
5. 前記職員笑顔判定部は、少なくとも一人の前記顧客が前記判別部により前記被撮影者に該当すると判別されている顧客滞在期間において、前記被撮影者に該当する前記職員が笑顔であるか判定する、
   請求項２〜４のいずれか一項に記載の情報処理装置。
6. 前記判別部において該当する前記職員及び前記顧客を判別できなかった前記被撮影者の前記特徴情報を、新たに登録すべき前記顧客の前記特徴情報として前記顧客登録情報に追加する顧客登録部を有する、
   請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記設定された期間内に前記顧客登録部が新たに登録すべき前記顧客の前記特徴情報を前記顧客登録情報に追加した回数である新規顧客登録数と、前記顧客再来訪回数との和に相当する来訪顧客数を計数する来訪顧客数計数部を有する、
   請求項６に記載の情報処理装置。
8. １以上のコンピュータが実行する情報処理方法であって、
   １以上のカメラで撮影された被撮影者の画像から抽出された前記被撮影者の特徴に関する特徴情報と、１以上の登録された職員の前記特徴情報を含む職員登録情報と、１以上の登録された顧客の前記特徴情報を含む顧客登録情報とに基づいて、前記被撮影者に該当する前記職員又は前記顧客を判別する判別工程と、
   前記判別工程において前記被撮影者に該当する前記職員が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記被撮影者の笑顔の度合いを示す笑顔度に基づいて、前記被撮影者に該当する前記職員が笑顔であるか判定する職員笑顔判定工程と、
   登録された少なくとも一部の前記職員について、設定された期間内に前記職員笑顔判定工程において笑顔であると判定された回数である職員笑顔回数を計数する職員笑顔計数工程と、
   前記顧客が前記被撮影者に該当すると前記判別工程において判別された場合、前記顧客が再来訪したことを検出する顧客再来訪検出工程と、
   登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客再来訪検出工程において再来訪が検出された回数である顧客再来訪回数を計数する顧客再来訪計数工程とを有し、
   前記顧客再来訪検出工程は、一の前記顧客の再来訪を検出した後、予め定めたインターバルが経過するまでの間、当該一の顧客について再来訪の検出を停止することを含む、
   情報処理方法。
9. 前記判別工程において前記被撮影者に該当する前記顧客が判別された場合、前記カメラで撮影された前記被撮影者の画像に基づいて算出された前記笑顔度に基づいて、前記被撮影者に該当する前記顧客が笑顔であるか判定する顧客笑顔判定工程と、
   登録された少なくとも一部の前記顧客について、前記設定された期間内に前記顧客笑顔判定工程において笑顔であると判定された回数である顧客笑顔回数を計数する顧客笑顔計数工程とを有する、
   請求項８に記載の情報処理方法。
10. 請求項８又は９に記載された情報処理方法をコンピュータに実行させるためのプログラム。
11. 請求項１〜７のいずれか一項に記載された情報処理装置と１以上の前記カメラとを備えるカメラシステム。

Images