JP2013045132A

JP2013045132A - 売上データ処理装置及びプログラム

Info

Publication number: JP2013045132A
Application number: JP2011180260A
Authority: JP
Inventors: Mitsuharu Kamiya; 充治神谷
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2011-08-22
Filing date: 2011-08-22
Publication date: 2013-03-04
Anticipated expiration: 2031-08-22
Also published as: JP5733686B2

Abstract

【課題】顧客を撮影した画像に基づいて顧客を特定する場合に、取引毎にその顧客を適切に特定できるようにする。
【解決手段】登録待ちファイルＲＦから前回の「取引番号」に対応する「顧客ＩＤ」を全て読み出し取得すると共に（図８のステップＢ１）、今回取引の顧客ＩＤのいずれか一つを指定した後（ステップＢ４）、指定した顧客ＩＤと前回取引の各顧客ＩＤとを比較し（ステップＢ５）、今回取引の指定顧客ＩＤが前回取引の各顧客ＩＤのいずれかに一致していれば（ステップＢ６でＹＥＳ）、前回取引の各顧客ＩＤの中から一致する顧客ＩＤを前回取引の顧客ではないとして除外（削除）することにより前回取引の顧客を特定する（ステップＢ７）。
【選択図】図８

Description

本発明は、売上データを取引毎に登録処理する売上データ処理装置及びプログラムに関する。

一般に、店舗においては、ＥＣＲ（Electronic Cash Register）、ＰＯＳ（Point of sale）端末などの売上データ処理装置により登録処理された売上データを分析したり、その顧客（購入者）の属性（買物頻度、リピート率、性別、年齢層など）を分析したりするようにしている。例えば、顧客の買物頻度やリピート率、性別や年齢層などを分析する場合には、予め発行した会員カードから読み取ったカードデータに基づいてその顧客（会員ＩＤ）を特定して、購入履歴として記録して分析するようにしているが、会員カードを媒体とした顧客分析では、会員カードの発行やコスト、更には会員加入率に課題が残るほか、非会員にあっては顧客分析を行うことはできない。
そこで、従来では、顧客の顔を撮影するカメラを備え、このカメラによる撮影画像から顔の特徴を抽出して、その抽出結果と顧客データデータベースの内容（顔の特徴点データ）とを照合することにより顧客を特定し、その顧客に対応付けられている顧客データ（氏名、住所、電話番号など）をデータベースから読み出して表示するようにした技術が知られている（特許文献１参照）。

特開２００１−３２５４３３号公報

しかしながら、上述した特許文献１の技術にあっても、予め会員登録した顧客を対象としたものであり、会員以外の誰でも顔を認識して顧客を特定するようにしたものではなく、しかも、登録待ち（精算待ち）している顧客の待ち行列を撮影した場合に後続の他の顧客も一緒に写ってしまうことが多く、更には顧客の中に家族、友達同士などの同伴者が含まれている場合には同伴者も一緒に写ってしまうことが多いために、取引毎にその顧客を特定しようとしたとしても顧客を適切に特定することができないという問題があった。

本発明の課題は、顧客を撮影した画像に基づいて顧客を特定する場合に、取引毎にその顧客を適切に特定できるようにすることである。

上述した課題を解決するために本発明の一つの態様は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する認識手段と、
前記認識手段により前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する判別手段と、
前記判別手段により同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置である。

上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前記検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する機能と、
前記前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する機能と、
前記同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラムである。

また、上述した課題を解決するために本発明の一つの態様は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する判別手段と、
前記判別手段により同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置である。

上述した課題を解決するために本発明の他の態様は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する機能と、
同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラムである。

本発明によれば、顧客を撮影した画像に基づいて顧客を特定する場合に、取引毎にその顧客を適切に特定することができ、信頼性及び実用性に富んだものとなる。

売上データ処理装置として適用したＥＣＲの基本的な構成要素を示したブロック図。ＥＣＲをその前方斜め（顧客側）から見た状態の外観図。ＥＣＲをその一側面から見た状態の外観図。（１）は、客側カメラ２５によって撮影された画像を例示した図、（２）は、操作側カメラ２６によって撮影された画像を例示した図。登録待ち（精算待ち）ファイルＲＦを説明するための図。顧客データベースＤＢを説明するための図。売上データの登録処理時の動作を示したフローチャート。登録待ち行列処理（図７のステップＡ１２）を詳述するためのフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
先ず、図１〜図８を参照して本発明の実施形態を説明する。
図１は、売上データ処理装置として適用したＥＣＲ（Electronic Cash Register）の基本的な構成要素を示したブロック図である。
このＥＣＲ（売上データ処理装置）は、ＥＣＲ本体ユニット部１とカメラユニット部２とに分離された構成で、ＥＣＲ本体ユニット部１とカメラユニット部２とは、ケーブル３を介して着脱自在に接続されている。ＥＣＲ本体ユニット部１は、ＥＣＲとしての基本的な機能（標準機能）として、入力された一取引分の売上データを登録処理すると共に、一取引分の登録終了時に顧客から渡された金種に応じた種類の締め処理を行う売上データ登録機能などを備えている。また、更にＥＣＲ本体ユニット部１には各種のキー操作やドロアオープン／クローズなどに応じてイベントコードを発生させて、そのイベントコードをジャーナルデータとしてカメラユニット部２に対して転送する機能を有している。

カメラユニット部２は、登録待ち（精算待ち）をしている顧客を撮影したり、担当者（オペレータ）及びその操作状況を撮影したりするカメラ機能のほか、このカメラ機能により撮影された顧客画像に基づいてその取引の顧客を特定する顧客特定機能と、この顧客特定機能により特定された顧客に基づいて顧客（購入者）分析を行う顧客分析機能などを有し、これらの各種機能をモジュール化した構成となっている。このカメラユニット部２は、ケーブル３を介してＥＣＲ本体ユニット部１に着脱自在に接続されており、故障などに応じて何時でも自由に交換可能となっている。なお、ＥＣＲ本体ユニット部１とカメラユニット部２とは、必要に応じて協動して各種の処理を行うようにしている。

ＥＣＲ本体ユニット部１は、ＣＰＵ１１を中核とするもので、各種プログラムにしたがってこのＥＣＲ本体ユニット部１の全体動作を制御する中央演算処理装置である。記憶部１２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図７及び図８（一部）に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶したり、データベース、文字フォントデータなどを記憶したりする。なお、上述の記憶媒体は固定的に設けた内蔵型の記憶媒体に限らず、着脱可能な可搬型の外部記憶媒体であってもよく、また、プログラム／データは、他の機器から有線伝送路あるいは無線伝送路を介して記憶媒体にインストールしたり、プログラム／データを記憶管理するサーバなどをアクセスして使用したりするようにしてもよい。メモリ１３は、計時データ、フラグなど、このＥＣＲ本体ユニット部１が動作するために必要な各種のデータを一時的に記憶するワーク領域である。

また、ＣＰＵ１１には、その入出力周辺デバイスである操作部１４、スキャナ１５、操作者用表示部１６、印字部１７、ドロア駆動部１８、ＣＯＭポート１９がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１１はそれらの動作を制御する。操作部１４は、押しボタン式の各種キーが配列されているキーボードを有し、このキーボード上にはテンキー（図示省略）などのほか、部門キーＫ１、小計キーＫ２、現金／預かり金キーＫ３などが配設されていると共に、モードスイッチＭＳが配設されている。

モードスイッチＭＳは、その切り換え位置に応じて「登録（ＲＥＧ）」、「戻し（ＲＦ）」、「精算（Ｚ）」などの各種の動作モード（プログラム種）を切り換えるロータリー式のスイッチである。部門キーＫ１は、商品を部門別に登録を指示する部門別登録時に操作されるキーである。また、小計キーＫ２は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させるキーである。現金／預かり金キーＫ３は、預かり金の置数後に一取引の登録終了を指示する締めキーである。ＣＰＵ１１は、「登録（ＲＥＧ）」モードに切り換えられている状態において、各種のキー操作に応じてその操作に応じたイベントコードを生成すると共に、入力された売上データを表示させたり、売上合計を更新したりする登録処理を実行し、一取引の登録終了時に現金／預かり金キーＫ３が押下されると、ドロアを開放させたり、レシートを発行させたりする。

スキャナ１５は、例えば、ＣＣＤやＣＭＯＳなどの画像センサ（イメージセンサ）を有し、商品の登録時のスキャニング動作時にその商品に添付されているバーコードや二次元コードを撮影することにより読み取るもので、ＣＰＵ１１は、スキャナ１５により撮影された画像データを解析することによってバーコードなどをデコードして商品を特定するようにしている。操作者用表示部１６は、担当者（オペレータ）用として、金額や商品に関するデータ、メッセージなどを表示するもので、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成されている。印字部１７は、例えば、熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタであり、レシート印字を行う。ドロア駆動部１８は、キー操作に応じてドロア１８Ａの開閉を制御するもので、ＣＰＵ１１は、ドロア１８Ａの開閉に応じてドロアオープン／クローズイベントを生成する。ＣＯＭポート１９は、カメラユニット部２との接続用のシリアルポートである。

カメラユニット部２は、ＣＰＵ２１を中核とするもので、各種プログラムにしたがってこのカメラユニット部２の全体動作を制御する中央演算処理装置である。記憶部２２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図７及び図８（一部）に示した本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶する。メモリ２３は、このカメラユニット部２が動作するために必要な各種のデータを一時的に記憶するワーク領域である。ＣＰＵ２１には、その入出力周辺デバイスである客用表示部２０４２４、客側カメラ２５、操作側カメラ２６、カードインターフェイス部２７、ＣＯＭポート２９がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ２１はそれらの動作を制御する。客用表示部２０４２４は、登録待ち（精算待ち）の顧客用としてその画面を顧客側に対面させたもので、例えば、７セグメントＬＥＤ（発光ダイオード）などにより構成され、商品単価、個数、小計金額、預かり金額などを数値表示する。

客側カメラ２５は、客用表示部２４に接近配設されたもので、登録待ちしている顧客の顔を中心として撮影し、また、操作側カメラ２６は、担当者（オペレータ）及びその操作状況を撮影するもので、担当者（オペレータ）及びその操作状況を撮影する監視用のカメラである。なお、客側カメラ２５、操作側カメラ２６の詳細は、図示省略したが、レンズ部、撮像素子、Ａ／Ｄ（アナログ／デジタル）変換部などを有し、動画像を撮影可能な構成で、レンズ部からの被写体像が撮像素子（ＣＣＤ又はＣＭＯＳ）に結像されることにより被写体を高精細に撮影可能な構成となっている。

カードインターフェイス部２７は、記録媒体としてのＳＤカード２８が挿入接続されるもので、このＳＤカード２８には、後述する各種のファイルが格納されている。なお、カメラユニット部２には、カードインターフェイス部２７に挿入接続されたＳＤカード２８の盗難などを防ぐために錠前（図省略）が配設されており、例えば、責任者が所持する専用鍵を使用して、錠前を開いてＳＤカード２８を取り出すようにしている。また、ＳＤカード２８に限らず、その他の外部記録媒体であってもよい。ＣＯＭポート２９は、ＥＣＲ本体ユニット部１との接続用のシリアルポートである。

図２は、上述のように構成されたＥＣＲをその前方斜め（顧客側）から見た状態の外観図であり、図３は、ＥＣＲの一側面から見た状態の外観図である。
ＥＣＲ本体ユニット部１の上面部には、操作者用表示部１６が配設されていると共に、操作部１４を構成するキーボード及びモードスイッチＭＳが配設されている。また、ＥＣＲ本体ユニット部１の上面部には、印字部１７から送出されるレシートを取り出すためのレシート発行口（図示省略）が配設されている。

カメラユニット部２は、客用表示部２４の筐体２Ａと、その筐体２Ａを支持するポール状の支持部材（支持ポール）２Ｂとを有している。支持ポール２Ｂは、客用表示部２４の筐体２Ａを支持するもので、その下端部はＥＣＲ本体ユニット部１の背面側に垂直に固定（着脱自在に装着）されている。また、支持ポール２Ｂの上端部は客用表示部２４の筐体２Ａが装着され、その長さを調整可能な構造となっていると共に、客用表示部２４の筐体２Ａは、支持ポール２Ｂに対して回転可能となっている。つまり、筐体２Ａの高さとその向きを調整可能となっており、それに応じて客用表示部２４、客側カメラ２５の高さとその向きも調整可能となっている。

客側カメラ２５は、図２及び図３に示すように筐体２Ａの前面において客用表示部２４の一端部（図中、左側端部）に接近配設され、その撮影方向は、登録待ちしている顧客方向で、その画角は、登録待ち行列の顧客を撮影可能な範囲となっている。図４（１）は、客側カメラ２５によって撮影した登録待ち行列の顧客画像を例示したもので、先頭の顧客の後ろに次の顧客が並んでいる状態を示している。操作側カメラ２６は、支持ポール２Ｂの上端部に配設され、その撮影方向は、オペレータ方向で、その画角は、操作部１４の全体及び操作中のオペレータの顔を撮影可能な範囲となっている。図４（２）は、操作側カメラ２６によって担当者（オペレータ）及びその操作状況を撮影した監視画像を例示したもので、ドロア１８Ａを開放した状態でオペレータが貨幣を出し入れしている場合を示している。

図５は、登録待ち（精算待ち）ファイルＲＦを説明するための図である。
登録待ちファイルＲＦは、客側カメラ２５により登録待ち行列が撮影された場合に、その撮影画像に基づいて取引毎にその顧客を特定するために使用されるファイルで、「取引番号（伝票番号）」毎に複数の「顧客ＩＤ」を記憶可能な構成となっている。「取引番号」は、取引毎に更新される一連番号である。「顧客ＩＤ」は、取引毎に顧客を識別するための顧客識別データであり、本実施形態では、客側カメラ２５により登録待ち行列を撮影した顧客画像を解析することにより顔の画像部分を１つ以上検出すると共に、検出した顔の画像部分に基づいて、顧客毎にその顔を画像認識して顧客ＩＤ（顧客識別データ）を生成し、登録待ちファイルＲＦに記憶させるようにしている。なお、一取引に対応して一つの顧客ＩＤが記憶される場合に限らず、複数の顧客ＩＤが記憶される場合がある。

カメラユニット部２のＣＰＵ２１は、この登録待ちファイルＲＦを参照して、前回取引の「顧客ＩＤ」と、今回取引の「顧客ＩＤ」とを比較して、同一の「顧客ＩＤ」が含まれているか否かを判別し、同一の「顧客ＩＤ」が含まれている場合には、前回取引の「顧客ＩＤ」の中から当該同一の「顧客ＩＤ」を除外（削除）することにより前回取引の顧客を特定するようにしている。例えば、図示の例では、「取引番号」が“１０２００１”に対応して「顧客ＩＤ」として“２５６８４８６０２４”、“１６５４８６１１４６”が記憶されている場合を示し、また、「取引番号」が“１０２００２”に対応して「顧客ＩＤ」として“１６５４８６１１４６”、“４５６８９１５７６４”、“３２６５４８７６９４”が記憶され、また、「取引番号」が“１０２００３”に対応して「顧客ＩＤ」として“３２６５４８７６９４”、“２４１２２３３３０”が記憶されている場合を示している。

このような場合において、例えば、「取引番号」が“１０２００２”の取引を今回取引とすると、この今回取引の「取引番号」“１０２００２”と前回取引の「取引番号」“１０２００１”には、同一の「顧客ＩＤ」として“１６５４８６１１４６”がそれぞれ記憶されているため、この“１６５４８６１１４６”を「取引番号」“１０２００１”の取引から除外（削除）することにより当該取引の顧客としては、「顧客ＩＤ」が“２５６８４８６０２４”の一人に特定される。同様に、前回取引の「取引番号」“１０２００２”と今回取引の“１０２００３”には、同一の「顧客ＩＤ」として“３２６５４８７６９４”が記憶されているため、この“３２６５４８７６９４”を「取引番号」“１０２００２”の取引から除外（削除）することにより当該取引の顧客としては、「顧客ＩＤ」が“１６５４８６１１４６”、“４５６８９１５７６４”の二人に特定される。

図６は、顧客データベースＤＢを説明するための図である。
顧客データベースＤＢは、顧客毎にその顧客に関するデータを記憶管理するもので、顧客に関するデータとして「顧客ＩＤ」、「性別」、「年齢層」、「登録日」、「売上実績」などの項目を有している。「顧客ＩＤ」は、顔認識用データファイル（図示省略）とリンクさせるための顧客識別データである。なお、顔認識用データファイルは、小計キーＫ２の操作タイミングに基づいて客側カメラ２５により撮影された画像の顔部分を解析して得られた顔の「特徴点データ」と、「顧客ＩＤ」とを対応付けて記憶する構成のファイルである。「性別」、「年齢層」は、顔認識により推定された顧客に関するデータである。「登録日」は、新規顧客として顧客データベースＤＢに登録された日付である。「売上実績」は、「登録日」から現時点までの売上金額や個数の累計値である。

次に、本実施形態におけるＥＣＲの動作概念を図７及び図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図７は、売上データの登録処理時の動作を示したフローチャートであり、モードスイッチＭＳを「登録（ＲＥＧ）」の位置に切り換えた際に実行開始される。
先ず、登録操作が行われたか、つまり、商品からバーコードなどを読み取るためにスキャナ１５によるスキャニング動作が行われたか、金額データの値数入力後に部門キーＫ１が操作されたかを調べたり（ステップＡ１）、小計キーＫ２が操作されたかを調べたりする（ステップＡ５）。

いま、登録操作が行われたときには（ステップＡ１でＹＥＳ）、次のステップＡ２に移り、入力された商品名及び単価を操作者用表示部１６及び客用表示部２４に表示させた後、図示省略した部門別合計ファイルの内容（売上データ）などを更新する登録処理を行う（ステップＡ３）。この場合、ＥＣＲ本体ユニット部１から表示データをカメラユニット部２側に転送することにより客用表示部２４に商品名及び単価を表示させるようにしている。次に、一取引分の小計金額を更新する処理（ステップＡ４）を行った後、上述のステップＡ１に戻り、以下、登録操作が行われる毎に（ステップＡ１でＹＥＳ）、上述の動作を繰り返す（ステップＡ２〜Ａ４）。

また、小計キーＫ２が操作されたときには（ステップＡ５でＹＥＳ）、小計金額を操作者用表示部１６及び客用表示部２４に表示させた後（ステップＡ６）、カメラユニット部２に対して客側カメラ２５を起動させて、登録待ち顧客の撮影を指示する（ステップＡ７）。カメラユニット部２は、客側カメラ２５を起動させてその撮影画像を解析し（ステップＡ８）、顧客の顔部分を認識すると共に、その顔部分の個数を計数し（ステップＡ９）、その顔の個数は１以上かを調べる（ステップＡ１０）。ここで、顔の個数が１以上でなければ、つまり、顔部分を認識することができなければ（ステップＡ１０でＮＯ）、上述のステップＡ１０に戻り、顔を認識するまで上述の動作を繰り返しながら待機状態となる。

ここで、認識した顔の個数が１以上であれば（ステップＡ１０でＹＥＳ）、顔毎に顔認識を行ってその顧客ＩＤを取得する（ステップＡ１１）。この場合、顔画像をデジタルズーム処理により所定の大きさに拡大処理した後、その顔画像の解析を行って顔の特徴点データを抽出する顔検出処理を行う。その際、顧客の顔の輪郭や顔を形成するパーツ（目、口、鼻、額など）の形や位置関係などを総合的に判断して、顧客の顔の特徴点を抽出するが、この抽出する機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

これによって認識した顔部分の画像に基づいて顔認識用データファイル（図示省略）を参照し、同一の顔画像が登録されていれば、それに対応する顧客ＩＤを読み出し取得するが、登録されていなければ、新規な顧客として判断して新たな顧客ＩＤを生成し、この新たな顧客ＩＤをその顔部分の特徴データと共に、顔認識用データファイルに追加登録した後、この生成した顧客ＩＤを顔認識の結果として読み出し取得する。その後、登録待ち行列処理に移る（ステップＡ１２）。

図８は、登録待ち行列処理（図７のステップＡ１２）を詳述するためのフローチャートである。
先ず、カメラユニット部２は、登録待ちファイルＲＦから前回の「取引番号」に対応する「顧客ＩＤ」を全て読み出し取得すると共に（ステップＢ１）、この前回の「取引番号」を“＋１”した新たな「取引番号」を今回の取引の識別番号として生成する（ステップＢ２）。そして、生成した前回の「取引番号」と、上述した図７のステップＡ１１で取得した今回の顧客ＩＤを登録待ちファイルＲＦに追加登録する（ステップＢ３）。そして、今回取引の顧客ＩＤのいずれか一つを指定した後（ステップＢ４）、指定した顧客ＩＤと前回取引の各顧客ＩＤとを比較し（ステップＢ５）、顧客ＩＤが一致するか、つまり、今回取引の顧客ＩＤと同一の顧客ＩＤが前回取引の中に含まれているかを調べる（ステップＢ６）。言い換えれば、前回取引時に撮影された登録待ち行列の顧客の中に今回取引で撮影された登録待ち行列の顧客が含まれているかを調べる。

いま、今回取引の指定顧客ＩＤが前回取引の各顧客ＩＤのいずれにも一致していなければ、つまり、今回取引の指定顧客ＩＤが前回取引の各顧客ＩＤの中に含まれていなければ（ステップＢ６でＮＯ）、今回取引の顧客ＩＤの中から次の顧客ＩＤを指定し（ステップＢ８）、今回取引の各顧客ＩＤを全て指定し終わったかを調べ（ステップＢ９）、全ての顧客ＩＤを指定し終わるまで上述のステップＢ４に戻り、以下、上述の動作を繰り返す。これによって今回取引の指定顧客ＩＤが前回取引の各顧客ＩＤのいずれかに一致していれば（ステップＢ６でＹＥＳ）、前回取引の各顧客ＩＤの中から一致する顧客ＩＤを前回取引の顧客ではないとして除外（削除）することにより前回取引の顧客を特定する（ステップＢ７）。

例えば、上述したように「取引番号」“１０２００１”と“１０２００２”には、同一の「顧客ＩＤ」として“１６５４８６１１４６”が記憶されているため、この“１６５４８６１１４６”を「取引番号」“１０２００１”の取引から除外（削除）することにより「取引番号」“１０２００１”の取引の顧客として、「顧客ＩＤ」が“２５６８４８６０２４”の一人に特定される。そして、今回取引の顧客ＩＤの中から次の顧客ＩＤを指定し（ステップＢ８）、今回取引の各顧客ＩＤを全て指定し終わったことがステップＢ９で検出されるまで上述のステップＢ４に戻り、以下、上述の動作を繰り返す。

このようにして小計キーＫ２の操作に応じて登録待ち行列処理（図７のステップＡ１２）が終わると、ステップＡ１３に移り、現金取引では預かり金の置数入力待ちとなる。ここで、預かり金が置数されると（ステップＡ１３でＹＥＳ）、入力された預かり金を操作者用表示部１６及び客用表示部２４に表示する処理（ステップＡ１４）を行った後、現金／預かり金キーＫ３の操作待ちとなる（ステップＡ１５）。いま、現金／預かり金キーＫ３が操作されると（ステップＡ１５でＹＥＳ）、一取引の登録を終了させる締め処理を実行して今回の取引分の売上データを現金取引用の売上合計器（図示せず）に加算してその内容を更新する処理（ステップＡ１６）を行った後、一取引分の売上データを印字させてレシートを発行させる処理を行う（ステップＡ１７）。そして、モードスイッチＭＳにより「登録（ＲＥＧ）」モードが解除されたことがステップＡ１８で検出されるまで上述のステップＡ１に戻り、次の取引における最初の登録操作が行われるまで待ち状態となる。

他方、モードスイッチＭＳにより「登録（ＲＥＧ）」モードが解除されて図７及び図８のフローから抜けた場合には、モードスイッチＭＳの切り換え位置に応じた処理として、例えば、「戻し（ＲＦ）」モードであれば、返品処理を実行し、「精算（Ｚ）」モードであれば、一日分の精算処理など実行する。なお、「精算（Ｚ）」モードでの処理フローは、図示省略したが、登録待ちファイルＲＦを参照して取引毎にその顧客ＩＤを読み出し、その顧客ＩＤに基づいて顧客データベースＤＢを検索して、その取引分の売上データを該当する「売上実績」に更新する処理を行う。この場合、登録待ちファイルＲＦから読み出した一取引分の顧客ＩＤが複数であれば、顧客ＩＤ毎に顧客データベースＤＢを検索してその取引分の売上データを該当する「売上実績」に更新する。

以上のように本実施形態においてＥＣＲ（売上データ処理装置）は、登録待ちの顧客を撮影する客側カメラ２５により撮影された画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行うと共に、検出した顧客の顔部分を画像認識して顧客ＩＤを生成し、前回の取引時に生成した顧客ＩＤと今回の取引時に生成した顧客ＩＤとを比較して、同一の顧客ＩＤが含まれていれば、前回の取引における顧客ＩＤの中から当該同一の顧客ＩＤを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定するようにしたので、顧客の待ち行列を撮影した場合に後続の他の顧客が一緒に写ってしまったり、家族、友達同士などの同伴者が一緒に写ってしまったりするような場合でも、取引毎にその顧客を適切に特定することができ、信頼性及び実用性に富んだものとなる。

一取引分の売上データを登録する一連の操作のうち、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キーＫ２が操作された場合に、画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行うようにしたので、取引毎に顧客を撮影した画像からその取引の顧客を特定する場合に、客用表示部２０４２４の表示内容（金額）を顧客が目視確認するタイミングで顧客の顔を正面から撮影した撮影画像に基づいて、顧客を特定することができ、顔認識にとって良好なものとなり、その顧客を高い確率で特定することができる。

客側カメラ２５は、登録待ち顧客が視認する客用表示部２０４２４に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されるようにしたので、顧客が金額を確認するタイミングで顧客の顔を正面から撮影された撮影画像に基づいて、顧客を特定することができる。

なお、上述した実施形態においては、検出した顧客の顔部分を画像認識して顧客ＩＤを生成し、前回の取引時に生成した顧客ＩＤと今回の取引時に生成した顧客ＩＤとを比較して、同一の顧客ＩＤが含まれていれば、前回の取引における顧客ＩＤの中から当該同一の顧客ＩＤを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定するようにしたが、顧客ＩＤ同士を比較する場合に限らず、顔部分の画像同士を比較することにより顧客を特定するようにしてもよい。

すなわち、登録待ちの顧客を撮影する客側カメラ２５により撮影された画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行うと共に、前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別し、同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された各顔の中から当該同一の顔を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定するようにしてもよい。

ここで、顔部分の画像同士の比較により顧客を特定する場合には、上述した実施形態に代わって次のようにすれば、実現可能となる。すなわち、図７のステップＡ１１では、顔認識を行って顧客ＩＤを生成するようにしたが、撮影画像から顔部分を抽出する処理に変更するようにすればよい。また、上述した実施形態において、登録待ちファイルＲＦは、「取引番号（伝票番号）」毎に複数の「顧客ＩＤ」を記憶可能な構成としたが、「取引番号」毎に複数の「顔部分の画像」を記憶可能な構成とすればよい。そして、図８のフローのステップＢ１において、登録待ちファイルＲから前回取引の各「顔部分の画像」を取得する処理を行い、また、ステップＢ３においては、今回取引の「顔部分の画像」を登録待ちファイルＲに追加登録する処理を行う。以下、ステップＢ４〜Ｂ９において、「顧客ＩＤ」を「顔部分の画像」に置き換えるようにすれば、前回取引と今回取引の顔部分の画像同士とを比較することにより顧客を特定することができる。

このように顔部分の画像同士の比較により顧客を特定する場合においても、本実施形態と同様の効果を有する。すなわち、顧客の待ち行列を撮影した場合に後続の他の顧客が一緒に写ってしまったり、家族、友達同士などの同伴者が一緒に写ってしまったりすような場合でも、取引毎にその顧客を適切に特定することができる。

また、コンピュータに対して、売上データを取引毎に登録処理する機能と、登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する機能と、同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、を実現させるためのプログラムであってもよい。この場合においても本実施形態と同様の効果を有する。

また、上述した実施形態において、小計キーＫ２が操作された際に顧客を特定するようにしたが、一取引の登録を終了させる現金／預かり金キーＫ３の操作で顧客を特定するようにしてもよい。更に、小計キーＫ２、現金／預かり金キーＫ３のほか、部門キーＫ１、又は入力データの訂正を指示する訂正キー、入力データをキャンセルする戻しキーなどであってもよい。

また、上述した各実施形態においては、ＥＣＲ（売上データ処理装置）を構成する筐体をＥＣＲ本体ユニット部１とカメラユニット部２とに分離した構成としたが、それらを統合した構成であってもよい。また、売上データ処理装置としてＥＣＲに適用した場合を示したが、構内専用回線に接続したＰＯＳ端末に適用するようにしてもよい。また、インターネットを介して本部のＰＣに接続した売上データ処理システムに適用するようにしてもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する認識手段と、
前記認識手段により前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する判別手段と、
前記判別手段により同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置である。
（請求項２）
請求項２に記載の発明は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する判別手段と、
前記判別手段により同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の売上データ処理装置において、
前記検出手段は、一取引分の売上データを登録する一連の操作のうち、所定の操作が行われた場合に、顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う、
ようにしたことを特徴とする売上データ処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の売上データ処理装置において、
前記撮像手段は、登録待ち顧客が視認する客用表示部に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されている、
ことを特徴とする売上データ処理装置である。
（請求項５）
請求項５に記載の発明は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前記検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する機能と、
前記前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する機能と、
前記同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラムである。
（請求項６）
請求項６に記載の発明は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する機能と、
同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラムである。

１ＥＣＲ本体ユニット部
２カメラユニット部
１１、２１ＣＰＵ
１２、２２記憶部
１４操作部
１５スキャナ
１６操作者用表示部
１９、２９ＣＯＭポート
２４客用表示部
２５客側カメラ

Claims

売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する認識手段と、
前記認識手段により前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する判別手段と、
前記判別手段により同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置。
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
前記撮像手段により撮影された顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う検出手段と、
前記検出手段により前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する判別手段と、
前記判別手段により同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する顧客特定手段と、
を具備したことを特徴とする売上データ処理装置。
前記検出手段は、一取引分の売上データを登録する一連の操作のうち、所定の操作が行われた場合に、顧客画像を解析して顔の画像部分を１つ以上検出する動作を取引毎に行う、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の売上データ処理装置。
前記撮像手段は、登録待ち顧客が視認する客用表示部に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されている、
ことを特徴とする請求項１〜請求項３のいずれかに記載の売上データ処理装置。
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前記検出された顔部分に基づいて、その顔を画像認識して顧客識別データを生成する機能と、
前記前回の取引時に生成された顧客識別データと今回の取引時に生成された顧客識別データとを比較して、同一の顧客識別データが含まれているか否かを判別する機能と、
前記同一の顧客識別データが含まれていると判別された場合に、前回の取引時に生成された顧客識別データの中から当該同一の顧客識別データを前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラム。
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
登録待ちの顧客を撮影する撮像手段により撮影された顧客画像を解析して顧客の顔部分を１つ以上検出する動作を取引毎に行う機能と、
前回の取引時に検出された顔の画像部分と今回の取引時に検出された顔の画像部分とを比較して、同一の顔が含まれているか否かを判別する機能と、
同一の顔部分が含まれていると判別された場合に、前回の取引時に検出された顔の画像部分の中から当該同一の顔部分を前回取引の顧客ではないとして除外することにより前回取引の顧客を特定する機能と、
を実現させるためのプログラム。