JP2022160035A - 商品販売システム、顔認識端末及び顔認識プログラム - Google Patents

Abstract

【課題】社員食堂等において商品（料理等）の販売効率化を図ることを目的とする。【解決手段】本発明に係る商品販売システムは、操作部と、顔認識端末と、管理サーバを備え、操作部は、商品を購入する購入者が操作可能に配置され、顔認識端末は、顔認識処理と、操作受付処理と、商品購入決定処理を実行可能とし、顔認識処理は、撮像部で撮像された撮像画像に基づき、購入者を特定し、操作受付処理は、操作部による購入者による商品購入に対する確定操作を受け付け、商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識処理で特定された購入者の識別情報を含む販売情報を管理サーバに送信する。【選択図】図１

Description

本発明は、各種施設において、商品を販売可能な商品販売システム、顔認識端末及び顔認識プログラムに関する。

従来、会社、企業、病院等では、社員の食事を提供する社員食堂が設けられている。社員食堂では、決まった食事を提供する方式の他、自分の好みの商品（料理）をトレイに載せて会計を行う方式等、各種方式が採用されている。

特許文献１には、配膳用トレイ上にある食材の内容物に関する情報を、精算所に行かずともその場で確認することができる配膳用トレイが開示されている。

特開２００８－３４１０９号公報

特許文献１に記載の配膳用トレイを使用した形態では、配膳用トレイに設置した無線タグリーダを使用して、支払うべき価格を確認することが可能である。価格を確認したユーザは、精算書で料金を支払うことになる。精算書には、ＰＯＳ端末が設置され、レジ担当者の操作により、会計が行われる。

ところで、社員食堂における大きなコストの一つに人件費が挙げられる。特許文献１に記載されるシステムでは、会計のため、ＰＯＳ端末にレジ担当を割り当てておく必要がある。また、会計は、レジ担当者の操作によって行われるため、時間がかかり、精算所に行列ができる可能性もある。行列を解消するため、ＰＯＳ端末を複数台設けることも考えられるが、ＰＯＳ端末の増加に伴い、人件費も増加してしまう。

本発明は、社員食堂等における、このような状況を鑑みたものであって、無人の会計を可能にすることで人件費の削減を行う１つの目的とするものである。また、迅速な会計を可能にすることで、会計のための行列解消を１つの目的とするものである。

そのため、本発明に係る商品販売システムは、以下の構成を採用したことを特徴とするものである。
操作部と、顔認識端末と、管理サーバを備え、
操作部は、商品を購入する購入者が操作可能に配置され、
顔認識端末は、顔認識処理と、操作受付処理と、商品購入決定処理を実行可能とし、
顔認識処理は、撮像部で撮像された撮像画像に基づき、購入者を特定し、
操作受付処理は、操作部による購入者による商品購入に対する確定操作を受け付け、
商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識処理で特定された購入者の識別情報を含む販売情報を管理サーバに送信する。

さらに本発明に係る商品販売システムにおいて、
操作受付処理は、少なくとも１つの商品種別を受け付け可能とし、
商品購入決定処理は、操作受付処理で受け付けた商品種別、もしくは、商品種別に設定された価格に関する情報を販売情報に含める。

さらに本発明に係る商品販売システムにおいて、
顔認識端末は、商品毎に設けられており、
商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識端末に対応する商品の識別情報、もしくは、顔認識端末の識別情報を含んだ販売情報を管理サーバに送信する。

さらに本発明に係る商品販売システムは、
第１の顔認識端末と、第２の顔認識端末を備え、
第１の顔認識端末において、
操作受付処理は、少なくとも１つの商品種別を受け付け可能とし、
商品購入決定処理は、操作受付処理で受け付けた商品種別、もしくは、商品種別に設定された価格に関する情報を販売情報に含め、
第２の顔認識端末は、商品毎に設けられており、
商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、操作受付処理で確定操作を受け付けた場合、顔認識端末に対応する商品の識別情報、もしくは、顔認識端末の識別情報を含んだ販売情報を管理サーバに送信する。

さらに本発明に係る商品販売システムは、
顔認識処理で購入者が特定された場合であって、操作部による購入者による商品購入に対する確定操作を受け付け無かった場合、不買情報を出力する。

さらに本発明に係る商品販売システムにおいて、
顔認識端末に通信接続された管理端末を備え、
管理端末は、顔認識端末から不買情報を受信した場合、通知を行う。

さらに本発明に係る商品販売システムにおいて、
顔認識端末は、顔認識処理で購入者が特定された場合であって、操作部による購入者による商品購入に対する確定操作を受け付け無かった場合、通知を行う。

さらに本発明に係る商品販売システムにおいて、
顔認識端末は、体温を検出する検温処理を実行可能とし、
検温処理により検出された体温より大きい場合、操作受付処理が行われない。

さらに本発明に係る商品販売システムにおいて、
操作部は、非接触で操作可能である。

また本発明に係る顔認識端末は、
商品を購入する購入者が操作可能に配置された操作部が接続され、
顔認識処理と、操作受付処理と、商品購入決定処理を実行可能とし、
顔認識処理は、撮像部で撮像された撮像画像に基づき、購入者を特定し、
操作受付処理は、操作部による購入者による商品購入に対する確定操作を受け付け、
商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識処理で特定された購入者の識別情報を含む販売情報を管理サーバに送信する。

また本発明に係る顔認識プログラムは、
商品を購入する購入者が操作可能に配置された操作部が接続された情報処理装置で実行される顔認識プログラムであって、
顔認識処理と、操作受付処理と、商品購入決定処理を実行可能とし、
顔認識処理は、撮像部で撮像された撮像画像に基づき、購入者を特定し、
操作受付処理は、操作部による購入者による商品購入に対する確定操作を受け付け、
商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識処理で特定された購入者の識別情報を含む販売情報を管理サーバに送信する。

本発明に係る商品販売システム、顔認識端末及び顔認識プログラムによれば、無人の会計による人件費の削減、迅速な会計が可能になり、社員食堂等における商品（料理等）の販売効率化を図ることが可能となる。

本実施形態に係る商品販売システムの構成を示す図 本実施形態に係る顔認識端末の外観を示す図 本実施形態に係る顔認識端末の構成を示すブロック図 本実施形態に係る販売処理のフロー図 本実施形態に係る購入商品決定処理のフロー図 本実施形態に係る各種情報のデータ構成を示す図 本実施形態に係る顔認識端末の画面（アイドリング時）を示す図 本実施形態に係る顔認識端末の画面（体温表示時）を示す図 本実施形態に係る顔認識端末の画面（メニュー表示時）を示す図 本実施形態に係る顔認識端末の画面（メニュー表示時、売切有）を示す図 本実施形態に係る顔認識端末のメニュー表示画面（商品選択時）を示す図 本実施形態に係る管理端末の販売状況確認画面を示す図 本実施形態に係る管理端末の販売状況確認画面を示す図 本実施形態に係る集計処理を示すフロー図 他の実施形態に係る商品販売システムの構成を示す図 他の実施形態に係る購入商品決定処理を示すフロー図 他の実施形態に係る顔認識端末の画面（アイドリング時）を示す図 他の実施形態に係る顔認識端末の購入確認画面を示す図

［第１実施形態］
図１は、本実施形態に係る商品販売システムの構成を示す図である。本実施形態の商品販売システムは、会社や病院等、各種施設内の社員食堂において、商品（料理）を販売するシステムである。

本実施形態の商品販売システムは、社員食堂で商品（料理）を販売するシステム（社員食販売システム）であって、顔認識端末１を少なくとも有して構成されている。また、顔認識端末１には、商品の購入者が操作する操作部２が接続されている。顔認識端末１は、管理端末４、管理サーバ３とＬＡＮを介して通信接続されている。なお、本実施形態では、通信方式として有線ＬＡＮを使用しているが、無線ＬＡＮを使用する携帯であってもよい。

図１に示されるように、本実施形態の社員食堂は、社員である購入者８ａ～８ｄは、左から右に列を作る。カウンターには商品６ａ～６ｄ（料理）が並べられている。これら商品６ａ～６ｄは、調理者等によってカウンター上に用意される。

購入者８ａ～８ｄは、トレイ７ａ～７ｄに、自分の好む商品６ａ～６ｄを載せ、会計へと向かう。従来、社員食堂における会計は、従業者によるレジ打ちで行われていた。そのため、会計には従業者を割り当てる必要があった。

本実施形態では、無人で会計を行うことを１つの特徴としている。そのため、会計用の顔認識端末１が設置されている。図１に示されるように顔認識端末１は、カウンターの左端に配置されている。本実施形態では、商品をトレイ７ａ～７ｄに載せた購入者８ａ～８ｄは、顔認識端末１の前で顔認識を行うことで会計を済ませることが可能である。

また、本実施形態の商品販売システムは、カウンター内等に設置された管理端末４を有している。管理端末４には、調理者等に対して各種情報を提示するためのモニタ４０が設けられている。調理者等、商品を販売する側は、管理端末４、モニタ４０を使用して、商品販売に関する設定入力、あるいは、情報の確認を行うことが可能である。また、本実施形態の商品販売システムは、管理サーバ３を有している。管理サーバ３は、顔認識端末１から取得した販売情報等を集計することが可能である。

図２は、本実施形態に係る顔認識端末１の外観を示す図であり、図３は本実施形態に係る顔認識端末１の構成を示すブロック図である。顔認識端末１は、スタンド１２上に設けられた筐体１１を有して構成されている。筐体１１には、前面に表示部１４、その上方に第１撮像部１５ａ、第２撮像部１５ｂが設けられている。第１撮像部１５ａには、通常のカメラを使用し、第２撮像部１５ｂには、赤外線カメラ、あるいは、被写体までの距離を計測するデプスカメラを使用することが考えられる。このように、第１撮像部１５ａ、第２撮像部１５ｂといった複数の撮像部を使用することで、顔認識処理の精度向上を図ることが可能となっている。

また、本実施形態の顔認識端末１は、被写体の温度を検知可能な第３撮像部１５ｃを備えて居る。第３撮像部１５ｃとしては、サーマルカメラを使用することが考えられる。商品販売時、第３撮像部１５ｃを使用した体温確認を行うことで、感染拡大の抑制を図ることが可能となっている。

筐体１１には、スピーカ１８が設けられており、購入者に対して音を使用した各種通知を行うことが可能となっている。また、顔認識端末１には、操作部２が有線接続されている。本実施形態の操作部２は、テンキーが使用されている。また、本実施形態の操作部２は、非接触で操作可能な操作部２を使用している。通常のテンキーと同様、接触してキーを押すことでも入力を行うことが可能であるが、キーの上部に指をかざすだけで当該キーの入力を行うことが可能となっている。操作部２は、多数の購入者によって操作されることになる。そのため、操作部２を介したウィルス感染が発生する可能性が考えられる。本実施形態のように、非接触タイプの操作部２を使用することで、接触による感染の抑制を図ることが可能となっている。

なお、非接触タイプの操作部２としては、このようなテンキータイプに限定されるものではない。例えば、センサー上を手でかざした際、そのかざす方向によって、各種操作を行うタイプであってもよい。また、非接触とは手で触らなくても操作可能なものであればよく、フットスイッチ等、足で操作するタイプも、本発明における非接触に属するものである。また、操作部２は、購入者自身による操作で行われるものであるため、表示部１４に表示されたインターフェイスを、非接触で指示することで行われるようにしてもよい。具体的には、表示部１４の近傍に設けた距離センサ（超音波や赤外線等を使用したセンサ）により、購入者が表示部１４のどの位置を指しているかを判別し、対応するボタン等のインターフェイスが操作可能となる。いわば、タッチパネルを非接触で操作する感覚である。

顔認識端末１は、表示部１４を認識対象となるユーザ（本実施形態では、購入者）側に向くように設置される。第１撮像部１５ａには、第１撮像部１５ａで撮像した映像が表示される。したがって、ユーザは顔認識処理が行われる際、表示部１４内に自己の顔が表示されるように移動することで、適切に顔認識処理を行うことが可能となる。なお、表示部１４で表示される画像は、左右反転させて表示させることが好ましい。ユーザは鏡を使用する感覚で、顔認識処理を行う適切な位置に移動することが可能となる。

図３のブロック図に示されるように、顔認識端末１は、制御部としてのＣＰＵ１６ａ、ＲＯＭ１６ｂ、ＲＡＭ１６ｃ、画像処理部１１ｄを備えて構成されている。画像処理部１１ｄには、液晶表示装置等の表示部１４が接続されている。これらの各種構成は、バスを介して互いに通信接続されている。また、インターフェイス１６ｄには、図２で説明した第１撮像部１５ａ、第２撮像部１５ｂ、そして、操作部２等、外部機器を接続する接続端子としてＵＳＢポート１５ｄが接続されている。本実施形態の顔認識端末１は、有線ＬＡＮを使用して、ＬＡＮ１７に通信接続されている。そのため、ＬＡＮ通信部１７を備えている。なお、有線ＬＡＮを使用することに代え、無線ＬＡＮ、あるいは、その他の通信手段を使用することも可能である。

本実施形態の顔認識端末１は、社員食堂のようなクローズドな環境下において、そこに属する社員等を識別するものである。したがって、顔認識する必要のある人数も、オープンな環境下における顔認識システムよりも少ない。そのため、顔認識用のデータは、顔認識端末１のＲＡＭ１６ｃに全て格納されており、迅速に顔認識処理を行うことが可能となっている。顔認識用のデータは、ユーザＩＤ、顔の特徴を規定した特徴データ、氏名等を有して構成される。なお、顔認識用のデータは、その一部、あるいは、全部を管理サーバ３に格納しておき、顔認識端末１と管理サーバ３が連携して顔認識処理を実行することとしてもよい。

図４は、本実施形態に係る販売処理のフロー図である。販売処理は、図１で説明した顔認識端末１で実行される処理である。商品６ａ～６ｄをトレイ７ａ～７ｄに載せた購入者８ａ～８ｄが顔認識端末１の前に位置することで、この販売処理が実行される。

顔認識端末１は、第１撮像部１５ａ、第２撮像部１５ｂ、第３撮像部１５ｃで撮像された撮像画像を定期的に取得（Ｓ１０１）する。図７は、本実施形態に係る顔認識端末１の画面（アイドリング時）である。表示部１４の画面は、その全体がカメラ映像表示欄１４ａとなっており、第１撮像部１５ａで撮像された撮像画像が表示される。また、カメラ映像表示欄１４ａ上には、メッセージ表示欄１４ｂが表示されており、購入者に対して会計のための顔認識を促している。

、撮像画像中から人の顔を検出した場合（Ｓ１０２：Ｙｅｓ）、検温処理を実行する（Ｓ１０３）。検温処理（Ｓ１０３）は、サーマルカメラとしての第３撮像部１５ｃで撮像された撮像画像に基づいて実行される。例えば、第３撮像部１５ｃで撮像された撮像画像中、人の顔のこめかみ部分の温度を体温として検出する。検温処理（Ｓ１０３）の結果は、表示部１４に表示される。

図８は、本実施形態に係る顔認識端末の画面（体温表示時）を示す図である。カメラ映像表示欄１４ａには、第１撮像部１５ａで撮像された撮像画像が表示されている。また、カメラ映像表示欄１４ａ上には、体温表示欄１４ｄが設けられ、検温結果としての体温が表示されている（Ｓ１０４）。

検温結果表示（Ｓ１０４）の後、顔認識処理ができたか否かが判断される（Ｓ１０５）。本実施形態の顔認識処理は、第１撮像部１５ａ、及び、第２撮像部１５ｂで取得した撮像画像に基づいて、ＲＡＭ１６ｃ内に予め記憶している顔認識用のデータと適合性を判断する処理であり、顔認識処理ができた場合（Ｓ１０５：Ｙｅｓ）、該当する者（この場合、購入者）を特定するユーザＩＤが特定される。

顔認識できた場合（Ｓ１０５：Ｙｅｓ）であって、検温処理（Ｓ１０３）の結果、発熱が無い、すなわち、体温が閾値以下である場合（Ｓ１０６：Ｎｏ）、表示部１４にはメニュー表示が行われる（Ｓ１０７）。

図９は、本実施形態に係る顔認識端末１の画面（メニュー表示時）を示す図である。図８の画面と同様、表示部１４には、カメラ映像表示欄１４ａに重畳して、体温表示欄１４ｄが表示されている。更に、表示部１４には、メニュー表示欄１４ｃが表示される。本実施形態のメニュー表示欄１４ｃは、番号に対応付けて商品名、値段が表示されている。メニュー表示欄１４ｃは、顔認識端末１のＲＡＭに記憶されている商品情報に基づいて表示される。図６（Ａ）は、本実施形態に係る商品情報のデータ構成である。商品情報には、商品情報であることを示すヘッダＡ、商品名、選択番号、商品価格が含まれている。商品情報の設定は、管理端末４あるいは管理サーバ３から行うことが可能である。あるいは、顔認識端末１にキーボード等の入力部を接続し、顔認識端末１で設定可能としてもよい。

購入者であるユーザは、メニュー表示欄１４ｃを確認し、操作部２を使用して、自分が取った商品６ａ～６ｄを選択する。なお、本実施形態では、メニュー表示欄１４ｃにおいて、１の商品６ａ～６ｄのみならず、複数の商品６ａ～６ｄを選択することが可能となっている。例えば、ラーメンの大盛りを購入する場合、番号「４」と番号「５」を選択することになる。なお、商品６ａ～６ｄの選択は、単一であってもよい。その場合、ラーメンの大盛りについては、「麺大盛り８０円」に代え「ラーメン（麺大盛り）３８０円」が設けられる。

また、本実施形態商品販売システムでは、メニューの在庫を管理することも可能である。例えば、商品６ｃ（カレーライス）が品切れた場合、カウンター内の調理者等は、管理端末４を操作して、売り切れとなった商品６ｃを指定する。指定された商品６ｃは、メニュー表示欄１４ｃに反映される。図１０は、本実施形態に係る顔認識端末の画面（メニュー表示時、売切有）を示す図である。メニュー表示欄１４ｃ中、「カレーライス」の欄は網掛け表示となっている。また、操作部２において、番号「３」を選択する操作はできない状態となる。

顔認識できた場合（Ｓ１０５：Ｙｅｓ）であって、検温処理（Ｓ１０３）の結果、発熱があった、すなわち、体温が閾値より大きいである場合（Ｓ１０６：Ｙｅｓ）、顔認識端末１は、発熱情報を出力する（Ｓ１０８）とともに、表示部１４に発熱アラート（図示せず）を表示する。購入者は、表示部１４に表示された発熱アラートにて自己の発熱を確認することができる。また、発熱ありの場合（Ｓ１０６：Ｙｅｓ）、メニュー表示（Ｓ１０７）以降の処理が行われないため、発熱のあった購入者による食堂内での飲食が行われることがなく、万が一の感染拡大を抑制することが可能となっている。

図６（Ｂ）は、発熱ありの場合（Ｓ１０６：Ｙｅｓ）に、顔認識端末１から出力される発熱情報のデータ構成が示されている。発熱情報は、発熱情報であることを示すヘッダＢ、顔認識された購入者のユーザＩＤ、日時、超過体温が含まれている。本実施形態では、この発熱情報を、管理端末４、管理サーバ３に送信している。受信した管理端末４、あるいは、管理サーバ３では、受信した発熱情報に基づく発熱アラートが通知（モニタ４０による表示、あるいは、放音等）され、従業者は、発熱のある購入者の対応を行う。発熱アラートは、所定時間経過した後（Ｓ１１０：Ｙｅｓ）、消去される（Ｓ１１１）。

次に、販売開始処理において、メニュー表示（Ｓ１０７）以降に実行される購入商品決定処理（Ｓ２００）について説明する。図５は、本実施形態に係る購入商品決定処理（Ｓ２００）のフロー図である。また、図１１は、本実施形態に係る顔認識端末のメニュー表示画面（商品選択時）を示す図である。

本実施形態の購入商品処理（Ｓ２００）時、顔認識端末１には、図１１に示されるメニュー表示画面（商品選択時）が表示される。メニュー表示画面には、カメラ映像表示欄１４ａ上に、メニュー表示欄１４ｃ、情報表示欄１４ｅが表示される。情報表示欄１４ｅには、顔認識された購入者の氏名、及び、検温処理（Ｓ１０３）で検温された体温、及び、操作部２の操作方法が表示されている。購入者は、数字キー「１～５」を操作することで、購入する商品の「選択」操作を行い、リターンキーを操作することで「確定」操作を行い、バックスペースキーを操作することで「取消」操作を行うことが可能である。なお、本実施形態では、操作部２は、非接触で操作することが可能となっている。

数字キー「１～５」の操作があった場合（Ｓ２０６：Ｙｅｓ）、顔認識端末１は、スピーカ１８から、選択した商品名を音声出力する（Ｓ２０７）。例えば、数字キー「１」が操作された場合（Ｓ２０６：Ｙｅｓ）、「Ａ定食ですね？」という音声がスピーカ１８から放音（Ｓ２０７）され、選択した商品を聴覚的に確認することが可能となっている。また、音声出力は、購入者のみならず、近くに居る他の購入者にも伝達されるため、異なる商品を選択することの抑制にもつながる。そして、選択された商品は、販売情報に加えられる（Ｓ２０８）。また、選択された商品６ａ～６ｄの左隣にはチェックマークが付与される。

図６（Ｃ１）は、本実施形態の販売情報を示す図である。販売情報には、販売情報であることを示すヘッダＣ１、顔認識された購入者のユーザＩＤ、日時、体温、商品名、選択番号、商品価格が含められている。販売情報は、管理サーバ３、及び、管理端末４に送信される。複数の商品が選択された場合には、商品名、選択番号、商品価格が選択した商品毎に追加される。

購入者による確定操作が行われた場合（Ｓ２０１：Ｙｅｓ）、選択済みのメニューがあれば（Ｓ２０２）、販売情報が出力される（Ｓ２０３）。本実施形態では、この販売情報を、管理サーバ３、管理端末４に対して出力している。管理サーバ３では、受信した販売情報に基づいて、購入者に対する請求処理等を実行する。一方、管理端末４では、受信した販売情報に基づき、販売状況を表示する。

図１２は、本実施形態に係る管理端末４がモニタ４０に表示する販売状況確認画面を示す図である。販売状況確認画面には、販売関連表示欄４１ａ～４１ｈが表示される。本実施形態では、８個の販売関連表示欄４１ａ～４１ｈを表示しているが、販売関連表示欄４１ａ～４１ｈの表示個数は、８個より多くする、あるいは、少なくする等、適宜設定することとしてもよい。販売関連表示欄４１ａ～４１ｈには、販売処理時に撮影された撮影画像（あるいは、ユーザＩＤに対応付けて登録されている顔画像でもよい）上に、氏名、発熱状況（閾値以下の場合「平熱」の表記）、そして、購入した商品名が表示されている。

本実施形態では、新たな購入情報（あるいは不買情報）を受信する毎に、販売関連表示欄４１ａ～４１ｈの表示を更新する。具体的には、上段の販売関連表示欄４１ａ～４１ｄは、左方向にシフトし、最も古い販売関連表示欄４１ａは消去される。また、下段の販売関連表示欄４１ｅ～４１ｈは、左方向にシフトし、左に位置位置する販売関連表示欄４１ｅは、右上に移動する。そして、新たな販売関連表示欄４１ｉが右下に追加される。

また、販売状況確認画面では、カウンター内に居る従業者（調理者）等による操作により、各種処理を実行することが可能である。販売状況確認画面では、販売関連表示欄４１ａは流動的に変化することになるが、従業者の操作により、前後に移動させることも可能である。管理端末４に接続された操作部（図示せず）を操作することで、過去の販売関連表示欄４１が表示される。操作方法表示４１ｐには、各種操作方法が表示されている。

本実施形態では、テンキー「１」を操作することで前方への移動を、テンキー「６」を操作することで公報への移動が可能であり、過去に表示された販売関連表示欄４１を確認することも可能となっている。また、テンキー「７」を操作した場合、品切れした商品６ａ～６ｄの入力を行うことも可能である。入力に基づいて、図１０で説明した「カレーライス」のような表示、及び、選択操作が不可能になる。

顔認識端末１は、販売情報の出力（Ｓ２０３）後、音声出力を実行する（Ｓ２０４）。本実施形態では、「ご利用有り難うございます。」等の音声をスピーカ１８から出力している。無人会計におけるこのような音声出力は、Ｓ２０７の音声出力の場合と同様、近くに居る他の購入者に対する購入確認となり、支払を行うことなく商品を持ち去ることの抑制に繋がる音声出力（Ｓ２０４）の後、図７に示されるアイドリング画面に戻り（Ｓ２０５）、次の人の顔の検出を待つ（Ｓ１０２）。

購入商品決定処理（Ｓ２００）では、顔認識処理が完了しており、購入者の特定が行われた状態にある。本実施形態の購入商品決定処理（Ｓ２００）では、顔認識処理が行われたにも関わらず、商品購入のための確定操作が行われない状況（不買状況）が発生した際、不買情報を出力することで、購入者の確定操作忘れ、もしくは、商品の持ち去りの抑制を図っている。

具体的には、取消操作が行われる（Ｓ２０９：Ｙｅｓ）、もしくは、確定操作が無く（Ｓ２０１：Ｎｏ）、メニュー選択操作も行われていない状態（Ｓ２０６：Ｎｏ）が一定時間経過した場合（Ｓ２１０）、顔認識端末１は、不買情報を出力する（Ｓ２１１）。図６（Ｄ１）には、不買情報のデータ構成が示されている。不買情報は、不買情報であることを示すヘッダＤ、顔認識処理が行われたにも関わらず、確定操作を行わなかった購入者のユーザＩＤ、日時、体温が含まれている。

なお、本実施形態では、取消操作が行われた場合（Ｓ２０９：Ｙｅｓ）、もしくは、所定時間が経過した場合（Ｓ２１０：Ｙｅｓ）に不買情報を出力する（Ｓ２１１）としているが、不買情報の出力は、取消操作が行われた場合（Ｓ２０９：Ｙｅｓ）においては出力しない構成であってもよい。また、本実施形態の購入商品決定処理の期間中は、次の顔認識処理を実行しないこととしている。そのため、所定時間の経過（Ｓ２１０：Ｙｅｓ）を待つことが必要になる。購入商品決定処理においても、次の顔認識処理を継続して行う形態では、確定操作が行われることなく、次の顔認識処理で顔認識が行われた場合、確定操作を行わなかった購入者に関する不買情報を出力することとしてもよい。

本実施形態では、不買情報を本実施形態では、管理サーバ３、管理端末４に対して出力している。管理サーバ３では、受信した不買情報を定期的に集計することで、頻繁に不買情報が発生する購入者を検出することが可能となる。一方、管理端末４では、受信した不買情報を、販売状況確認画面に表示する。

図１２で説明した販売状況確認画面中、販売関連表示欄４１ｇは、不買情報に基づく表示である。販売関連表示欄４１ｇには、顔認識の際、販売関連表示欄４１ｇには、販売処理時に撮影された撮影画像（あるいは、ユーザＩＤに対応付けて登録されている顔画像でもよい）上に、発熱状況（閾値以下の場合「平熱」の表記）、及び、「不買」と表記されたメッセージ欄が表示される。また、不買情報に基づく販売関連表示欄４１ｇは、販売情報に基づく販売関連表示欄４１ａ～４１ｆ、４１ｇと、背景色を変化させる、あるいは、縁取り食を変化させる等、表示形態を異ならせることが好ましい。

このように、不買情報に基づく販売関連表示欄４１ｇを表示することで、カウンター内に居る調理者等の従業者は、顔認識されたにも関わらず、購入の操作が無かったユーザ（購入者）を確認することが可能となる。また、モニタ４０が、カウンター内等、顔認識端末１の近くに設置されている場合、従業者は直ぐに確認することが可能となる。なお、本実施形態では、管理端末４における不買情報に基づく通知を、販売状況確認画面で行うこととしているが、不買情報に基づく通知は、このような形態に限られるものではなく、例えば、ランプによる通知、音による通知等、各種形態を採用することが可能である。

また、販売状況確認画面では、会計の回転が速い場合、短時間で販売関連表示欄４１ａ～４１ｈが入れ替わってしまうことが考えられる。そのため、会計の回転が速いと、従業者が確認を行う前に、不買情報に基づく販売関連表示欄４１ｇが消去されてしまうことが考えられる。そのため、本実施形態では、不買情報に基づく販売関連表示欄４１ｇを停留させることとしている。具体的には、図１３に示されるように、新たな販売関連表示欄４１ｉ～４１ｏが追加された場合であっても、不買情報に基づく販売関連表示欄４１ｇは、左上に停留（留まる）ようにしている。したがって、会計の回転が速い場合であっても、従業者は、不買情報に基づく販売関連表示欄４１ｇの発生を確実に確認することが可能である。

なお、停留している販売関連表示欄４１ｇは、管理端末４に対する操作により解除することができる。販売状況確認画面中、操作方法表示４１ｐには、テンキー「１」、「６」により、販売関連表示欄４１ｇを指定した後、テンキー「０」を操作することで、販売関連表示欄４１ｇの停留を解除することが可能である。例えば、従業者による確認が行われた場合、解除操作を行うことで、販売関連表示欄４１ｇの停留は解除され、新たな販売関連表示欄４１の追加に伴って消去される。

また、本実施形態では、不買情報の出力と合わせて、顔認識端末１において音声出力（Ｓ２１２）を行うこととしている。顔認識端末１では、スピーカ１８から「購入する商品はありませんか？」等の音声出力を行う。不買状況が発生した際、このような通知を行うことで、他の購入者に対し、購入商品決定処理（Ｓ２００）の実行状況を通知し、例えば、商品６ａ～６ｄをトレイ７ａ～７ｄに載せているも関わらず、確定操作を行うことなく、商品６ａ～６ｄを持ち去る購入者の発生を抑制することが可能となる。購入者は、他人の目を気にして、不正行為を行うことが困難となる。音声出力（Ｓ２１２）の後、図７に示されるアイドリング画面に戻り（Ｓ２１３）、次の人の顔の検出を待つ（Ｓ１０２）。

図１４は、本実施形態に係る集計処理を示すフロー図である。顔認識端末１から受信した販売情報、不買情報に基づいて、管理サーバ３は集計処理を実行する。集計処理は、給与計算等が行われる月末等に、従業者の操作によって定期的に実行される。集計処理が開始されると、管理対象となっている１つのユーザＩＤが設定される（Ｓ３０１）。Ｓ３０２～Ｓ３０７の処理は、当該ユーザＩＤに関して実行される。

対象としているユーザＩＤについて、集計期間（例えば、対象月、１ヶ月分）の販売情報が取得される（Ｓ３０２）。販売情報の商品価格を合計し、対象となっているユーザＩＤの食費が計算される（Ｓ３０３）。計算された食費は、対象となっているユーザＩＤの給与明細データに反映される（Ｓ３０４）。具体的には、当該ユーザＩＤのユーザ（購入者）の給与から天引きされる。

また、本実施形態では、集計期間中の不買情報の発生回数を算出している（Ｓ３０５）。不買情報の発生回数は、集計期間中に受信した不買情報の数で算出することが可能である。算出された不買情報の数が閾値以上の場合（Ｓ３０６：Ｙｅｓ）、対象となっているユーザＩＤを不買リストに出力する（Ｓ３０７）。管理者は、この不買リストを使用することで、状況を確認することが可能である。

Ｓ３０２～Ｓ３０７の処理が、対象となる全てのユーザＩＤについて完了した場合（Ｓ３０８：Ｙｅｓ）、集計処理は終了する。一方、終了していない場合（Ｓ３０８：Ｎｏ）、まだ処理を行っていないユーザＩＤを設定（Ｓ３０１）して、Ｓ３０２～Ｓ３０７の処理を実行する。

本実施形態の集計処理では、販売情報に基づく食費の計算、及び、不買情報に基づく不買リストの作成を行っているが、集計処理としては、他の処理を行うことも可能である。例えば、日毎に行われる日計処理として、商品６ａ～６ｄを実際に提供した数と、販売情報中の商品６ａ～６ｄの数を対比可能に出力してもよい。その際、不買情報の数を合わせて出力することで、不正利用が行われたか否かを客観的に判断することが可能となる。

以上、本実施形態の商品販売システムについて説明したが、本実施形態の商品販売システムによれば、従来のレジ打ちに必要な従業者を配置する必要が無く、人件費コストの削減を図ることが可能となる。また、商品の持ち去り等の不正行為を抑制することも可能となっている。

［第２実施形態］
図１５は、他の実施形態に係る商品販売システムの構成を示す図である。図１で説明した実施形態では、購入者８ａ～８ｄが好みの商品６ａ～６ｄを取りながら列を形成するカフェテリアタイプであったが、図１５の実施形態では、商品６ａ～６ｄ毎に列を形成する販売形態となっている。

このような販売形態において、各商品６ａ～６ｄに顔認識端末１ａ～１ｄを設置することとしている。例えば、商品６ａを購入したい購入者８ｅは、商品６ａの前に列を形成する。そして、商品６ａに隣接して配置された顔認識端末１ａで顔認識による会計を実行する。

図１５の商品販売システム中、顔認識端末１ａ～１ｄは、図４で説明した販売処理を実行する。その際、購入商品決定処理（Ｓ２００）部分において異なっている。図１６は他の実施形態に係る購入商品決定処理を示すフロー図である。図１５の商品販売システムでは、各顔認識端末１ａ～１ｄにおいて購入する商品６ａ～６ｄが決まっているため、メニューによる商品選択を行う必要が無い点において、前述の実施形態と異なっている。

図１７は、他の実施形態に係る顔認識端末１の画面（アイドリング時）を示す図であって、顔認識端末１ａに表示される画面（アイドリング時）を示したものである。アイドリング時の表示部１４には、カメラ映像表示欄１４ａに重畳して顔認識を促すメッセージ表示欄１４ｂが表示される。また、メッセージ表示欄１４ｂの上部位置には、メニュー表示欄１４ｃが重畳表示されている。図１７の例は、商品６ａに対応して設けられた顔認識端末１ａであるため「Ａ定食 ３５０円」と表示されている。

顔認識端末１ａにおいて、顔認識処理ができた場合（Ｓ１０５：Ｙｅｓ）、図１８に示される確認画面が表示される。第１実施形態では、メニュー表示画面を表示させ、購入者に商品を選択させていたが、第２実施形態では、顔認識端末１ａ～１ｄ毎に購入する商品が決まっているため、商品を選択する必要は無い。したがって、確認操作を促す確認画面が表示される。

確認画面では、カメラ映像表示欄１４ａ上にメニュー表示欄１４ｃ、及び、情報表示欄１４ｅが重畳表示されている。情報表示欄１４ｅには、顔認識された購入者の氏名、及び、検温処理（Ｓ１０３）で検温された体温、及び、操作部２の操作方法が表示されている。購入者は、リターンキーを操作することで「確定」操作を行い、バックスペースキーを操作することで「取消」操作を行うことが可能となっている。なお、本実施形態においても、操作部２は、非接触で操作することが可能となっている。

第２実施形態の購入商品決定処理（Ｓ２００）では、確定操作が行われた場合（Ｓ２３０：Ｙｅｓ）、顔認識端末１ａ～１ｄは、販売情報を出力する（Ｓ２３１）。図６（Ｃ２）には、第２実施形態の販売情報のデータ構成が示されている。販売情報は、販売情報であることを示すヘッダＣ２、顔認識された購入者のユーザＩＤ、日時、体温、使用した顔認識端末１ａ～１ｄの端末ＩＤ、商品名、商品価格が含められている。確定操作の実行時（Ｓ２３０：Ｙｅｓ）には、「ご利用有り難うございます。」等の音声出力が行われ（Ｓ２３２）、購入者本人、あるいは、周囲への通知がなされる。

第１実施形態と同様、販売情報は、管理端末４、管理サーバ３に送信される。管理サーバ３では、販売情報を集計することで、各購入者の請求額を算出する等、集計処理を実行する。一方、取消操作が行われた場合（Ｓ２３３：Ｙｅｓ）、もしくは、確定操作が行われず（Ｓ２３０：Ｎｏ）、所定時間が経過した場合（Ｓ２３６：Ｙｅｓ）、不買情報が出力される（Ｓ２３４）。図６（Ｄ２）には、不買情報のデータ構成が示されている。不買情報は、不買情報であることを示すヘッダＤ、顔認識処理が行われたにも関わらず、確定操作を行わなかった購入者のユーザＩＤ、日時、体温、そして、不買情報を出力した顔認識端末１ａ～１ｄの端末ＩＤが含まれている。

不買情報も販売情報と同様、管理端末４、管理サーバ３に送信される。管理サーバ３では、販売情報と同様、不買情報の集計を行うことが可能である。また、管理端末４では、不買情報を受信することで、図１２、図１３で説明した販売状況関連画面における販売関連表示欄４１ｇを表示することが可能である。なお、第２実施形態では、商品６ａ～６ｄ毎に顔認識端末１ａ～１ｄが設置されているため、不買情報に含まれる端末ＩＤに基づき、どの顔認識端末１ａ～１ｄで不買状況が発生したかを通知することが好ましい。なお、不買情報には、端末ＩＤに代え（あるいは加え）、商品名を使用してもよい。従業者は、不買状況が発生した商品名を通知することでも、不買状況が発生した場所を特定することが可能である。

確定操作が無い場合においても、音声出力が実行される（Ｓ２３５）。顔認識端末１ａ～１ｄは、「購入する商品はありませんか？」等の音声出力を行うことで、不正行為の発生を抑制することが可能となる。音声出力（Ｓ２３２、Ｓ２３５）の後、図１７に示されるアイドリング画面表示に戻る（Ｓ２３７）。

以上、本発明の第２の実施形態について説明したが、第２の実施形態においても、顔認識端末１ａ～１ｄを使用して会計を行うことで、従来、従業者が行っていた会計処理を、無人で行うことが可能となる。また、第２の実施形態では、商品６ａ～６ｄ毎に顔認識端末１ａ～１ｄを使用した会計を行うことが可能であるため、会計を分散することが可能となり、混雑の抑制にも繋がる。

［第１変形例］
図１を使用して第１実施形態の商品販売システムを、図１５を使用して第２実施形態の商品販売システムを説明したが、これらの形態を組み合わせることも可能である。すなわち、複数の商品を選択して会計することのできる第１実施形態の顔認識端末１と、単一の商品の会計を行う第２実施形態の顔認識端末１ａ～１ｄを併設してもよい。

例えば、特定のメニューを扱うコーナーには、第２実施形態の顔認識端末１ａ～１ｄを設置し、複数のメニューを扱うコーナーには、第１実施形態の顔認識端末１を設置することで、食堂の販売形態に則した商品販売システムを形成することが可能となる。また、会計箇所の分散を図ることができるため、会計時における混雑の緩和にも繋がる。

［第２変形例］
前述の各実施形態では、操作部２のリターンキーを操作することで確定操作を行うこととしていた。このような形態のみならず、確定操作時には、セキュリティーを高めるために、購入者に対してパスワードを入力させてもよい。例えば、予め登録しているパスワード（例えば、４桁の数字）を入力させ、一致を確認することで、商品の販売が確定する。一方、一致しない場合には、商品の販売を確定させず、「パスワードが一致しません。」等の音声出力を行う。

［第３変形例］
前述の各実施形態において、商品の購入を終えた購入者に対しては、購入の証拠となるレシートを付与することとしてもよい。例えば、顔認識端末１の外部機器としてレシートプリンタを接続し、販売情報を出力する段階において、レシートプリンタでレシートを印字することが考えられる。レシートには、購入者の氏名、購入した商品名、購入日時等が印字される。購入者は、商品の持ち去り等の疑いが持たれても、レシートを示すことで商品の購入を証明することが可能となる。

［第４変形例］
図１２、図１３で説明した販売状況関連画面では、不買情報に基づく販売関連表示欄４１ｇの表示、並びに、停留について説明した。このような表示、もしくは、表示させた際の停留については、発熱情報が出力された際に行うこととしてもよい。モニタ４０で状況を確認した従業者（調理者等）は、発熱のあった購入者に対して迅速な対応を取ることができる。

以上、本発明に係る発明について、各種実施形態について説明を行ったが、本発明はこれら各種実施形態のみに限られるものではなく、それぞれの各種実施形態の構成を適宜組み合わせて構成した形態も本発明の範疇となるものである。

１（１ａ～１ｄ）：顔認識端末 １４ｅ：情報表示欄
２：操作部 １５ａ：第１撮像部
３：管理サーバ １５ｂ：第２撮像部
４：管理端末 １５ｃ：第３撮像部
６ａ～６ｄ：商品 １５ｄ：ＵＳＢポート
７ａ～７ｄ：トレイ １６ａ：ＣＰＵ
８ａ～８ｅ：購入者 １６ｂ：ＲＯＭ
１１：筐体 １６ｃ：ＲＡＭ
１１ｄ：画像処理部 １６ｄ：インターフェイス
１２：スタンド １７：ＬＡＮ通信部
１４：表示部 １８：スピーカ
１４ａ：カメラ映像表示欄 ４０：モニタ
１４ｂ：メッセージ表示欄 ４１（４１ａ～４１ｏ）：販売関連表示欄
１４ｃ：メニュー表示欄 ４１ｐ：操作方法表示
１４ｄ：体温表示欄

Claims (11)

1. 操作部と、顔認識端末と、管理サーバを備え、
   操作部は、商品を購入する購入者が操作可能に配置され、
   顔認識端末は、顔認識処理と、操作受付処理と、商品購入決定処理を実行可能とし、
   顔認識処理は、撮像部で撮像された撮像画像に基づき、購入者を特定し、
   操作受付処理は、操作部による購入者による商品購入に対する確定操作を受け付け、
   商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識処理で特定された購入者の識別情報を含む販売情報を管理サーバに送信する
   商品販売システム。
2. 操作受付処理は、少なくとも１つの商品種別を受け付け可能とし、
   商品購入決定処理は、操作受付処理で受け付けた商品種別、もしくは、商品種別に設定された価格に関する情報を販売情報に含める
   請求項１に記載の商品販売システム。
3. 顔認識端末は、商品毎に設けられており、
   商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識端末に対応する商品の識別情報、もしくは、顔認識端末の識別情報を含んだ販売情報を管理サーバに送信する
   請求項１に記載の商品販売システム。
4. 第１の顔認識端末と、第２の顔認識端末を備え、
   第１の顔認識端末において、
   操作受付処理は、少なくとも１つの商品種別を受け付け可能とし、
   商品購入決定処理は、操作受付処理で受け付けた商品種別、もしくは、商品種別に設定された価格に関する情報を販売情報に含め、
   第２の顔認識端末は、商品毎に設けられており、
   商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、操作受付処理で確定操作を受け付けた場合、顔認識端末に対応する商品の識別情報、もしくは、顔認識端末の識別情報を含んだ販売情報を管理サーバに送信する
   請求項１に記載の商品販売システム。
5. 顔認識処理で購入者が特定された場合であって、操作部による購入者による商品購入に対する確定操作を受け付け無かった場合、不買情報を出力する
   請求項１から請求項４の何れか１項に記載の商品販売システム。
6. 顔認識端末に通信接続された管理端末を備え、
   管理端末は、顔認識端末から不買情報を受信した場合、通知を行う
   請求項５に記載の商品販売システム。
7. 顔認識端末は、顔認識処理で購入者が特定された場合であって、操作部による購入者による商品購入に対する確定操作を受け付け無かった場合、通知を行う
   請求項１から請求項６の何れか１項に記載の商品販売システム。
8. 顔認識端末は、体温を検出する検温処理を実行可能とし、
   検温処理により検出された体温より大きい場合、操作受付処理が行われない
   請求項１から請求項７の何れか１項に記載の商品販売システム。
9. 操作部は、非接触で操作可能である
   請求項１から請求項８の何れか１項に記載の商品販売システム。
10. 商品を購入する購入者が操作可能に配置された操作部が接続され、
    顔認識処理と、操作受付処理と、商品購入決定処理を実行可能とし、
    顔認識処理は、撮像部で撮像された撮像画像に基づき、購入者を特定し、
    操作受付処理は、操作部による購入者による商品購入に対する確定操作を受け付け、
    商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識処理で特定された購入者の識別情報を含む販売情報を管理サーバに送信する
    顔認識端末。
11. 商品を購入する購入者が操作可能に配置された操作部が接続された情報処理装置で実行される顔認識プログラムであって、
    顔認識処理と、操作受付処理と、商品購入決定処理を実行可能とし、
    顔認識処理は、撮像部で撮像された撮像画像に基づき、購入者を特定し、
    操作受付処理は、操作部による購入者による商品購入に対する確定操作を受け付け、
    商品購入決定処理は、操作受付処理で確定操作を受け付けた場合、顔認識処理で特定された購入者の識別情報を含む販売情報を管理サーバに送信する
    顔認識プログラム。

Images