JP2013200895A - データ処理装置及びプログラム - Google Patents

Abstract

【課題】顧客特定用の画像データを適切なタイミングで生成することができ、顧客を撮影した顧客画像から顧客を特定する場合に、その顧客を高い確率で特定できるようにする。
【解決手段】カメラユニット部２には、ＣＰＵ２１、客側カメラ２５などを備え、ＣＰＵ２１は、一取引分の売上データを登録する一連の操作のうち、所定の操作として、例えば、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キー、一取引の登録を締める締めキーのうち、少なくともそのいずれかのキーが操作された場合に、客側カメラ２５により撮影された撮影画像に基づいて、顧客特定用の画像データを（例えば、顔の特徴点データ）生成する。
【選択図】 図１

Description

本発明は、売上データを取引毎に登録処理する売上データ処理装置及びプログラムに関する。

一般に、店舗においては、ＥＣＲ（Electronic Cash Register）、ＰＯＳ（Point of sale）端末などの売上データ処理装置により登録処理された売上データを分析したり、その顧客（購入者）の属性（買物頻度、リピート率、性別、年齢層など）を分析したりするようにしている。例えば、顧客の買物頻度やリピート率、性別や年齢層などを分析する場合には、予め発行した会員カードから読み取ったカードデータに基づいてその顧客（会員ＩＤ）を特定して、購入履歴として記録して分析するようにしているが、会員カードを媒体とした顧客分析では、会員カードの発行やコスト、更には会員加入率に課題が残るほか、非会員にあっては顧客分析を行うことはできない。
そこで、従来では、顧客の顔を撮影するカメラを備え、このカメラによる撮影画像から顔の特徴を抽出して、その抽出結果と顧客データデータベースの内容（顔の特徴点データ）とを照合することにより顧客を特定し、それに対応付けられている顧客データ（氏名、住所、電話番号など）をデータベースから読み出して表示するようにした技術が知られている（特許文献１参照）。

特開２００１−３２５４３３号公報

しかしながら、上述した特許文献１の技術にあっては、カメラにより顧客の顔を撮影したとしても、その顔画像から常に高い確率でその特徴を抽出することができるとは限らず、顔認識の信頼性の点で問題が残る。

本発明の課題は、顧客特定用の画像データを適切なタイミングで生成することができ、顧客を撮影した顧客画像から顧客を特定する場合に、その顧客を高い確率で特定できるようにすることである。

請求項１は、売上データを取引毎に登録処理する売上データ処理装置であって、登録待ちの顧客を撮影する撮像手段と、一取引分の売上データを登録する一連の操作のうち、所定の操作が行われたか否かを判別する操作判別手段と、前記操作判別手段により所定の操作が行われたと判別された場合に、前記撮像手段により撮影された撮影画像に基づいて、顧客特定用の画像データを生成する生成手段と、を具備し、前記所定の操作は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キー、あるいは一取引の登録を締める締めキー、を操作するキー操作である、ことを特徴とする。

請求項２は、売上データを取引毎に登録処理する売上データ処理装置であって、登録待ちの顧客を撮影する撮像手段と、前記撮像手段により登録待ちの顧客を撮影した動画像を記憶する動画記憶手段と、一取引分の売上データを登録する一連の操作のうち少なくとも所定の操作が行われた場合に、その操作タイミングを示すデータを記憶する操作状況記憶手段と、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいて顧客特定用の画像データを生成する生成手段と、を具備したことを特徴とする。

本発明によれば、顧客特定用の画像データを適切なタイミングで生成することができ、顧客を撮影した顧客画像から顧客を特定する場合に、その顧客を高い確率で特定することができ、信頼性及び実用性に富んだものとなる。

売上データ処理装置として適用したＥＣＲの基本的な構成要素を示したブロック図。 ＥＣＲ（ＥＣＲ本体ユニット部１）をその前方斜め（顧客側）から見た状態の外観斜視図。 ＥＣＲ（ＥＣＲ本体ユニット部１）の一側面から見た状態の外観図。 （１）は、客側カメラ２５によって撮影された画像を例示した図、（２）は、操作側カメラ２６によって撮影された画像を例示した図。 ＥＣＲ本体ユニット部１側に記憶管理されている各種のファイルと、カメラユニット部２側に記憶管理されている各種のファイル、データベースを示した図。 顧客データベースＹ４を説明するための図。 電子ジャーナルファイルＹ６を説明するための図。 電源投入に応じて実行開始されるＥＣＲ全体の動作のうち、本実施形態の特徴的な動作を説明するためのメインのフローチャート。 登録処理（図８のステップＡ２）を詳述するためのフローチャート。 顧客特定登録処理（図８のステップＡ６）を詳述するためのフローチャート。 第２実施形態において、登録処理（図８のステップＡ２）を詳述するためのフローチャート。 第２実施形態において、顧客特定登録処理（図１１のステップＡ２１）を詳述するためのフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図１０を参照して本発明の第１実施形態を説明する。
図１は、売上データ処理装置として適用したＥＣＲ（Electronic Cash Register）の基本的な構成要素を示したブロック図である。
このＥＣＲ（売上データ処理装置）は、ＥＣＲ本体ユニット部１とカメラユニット部２とに分離された構成で、ＥＣＲ本体ユニット部１とカメラユニット部２とは、ケーブル３を介して着脱自在に接続されている。ＥＣＲ本体ユニット部１は、ＥＣＲとしての基本的な機能（標準機能）として、入力された一取引分の売上データを登録処理すると共に、一取引分の登録終了時に顧客から渡された金種に応じた種類の締め処理を行う売上データ登録機能などを備えている。また、本実施形態においては、更にＥＣＲ本体ユニット部１には各種のキー操作やドロアオープン／クローズなどに応じてイベントコードを発生させて、そのイベントコードをジャーナルデータとしてカメラユニット部２に対して転送する機能を有している。

カメラユニット部２は、登録待ち（精算待ち）をしている顧客を撮影したり、担当者（オペレータ）及びその操作状況を撮影したりするカメラ機能のほか、このカメラ機能により撮影された顧客画像に基づいてその顧客を特定する顧客特定機能と、この顧客特定機能により特定された顧客に基づいて顧客（購入者）分析を行う顧客分析機能とを有し、各種の機能をモジュール化した構成となっている。このカメラユニット部２は、ケーブル３を介してＥＣＲ本体ユニット部１に着脱自在に接続されており、故障などにより何時でも自由に交換可能となっている。なお、ＥＣＲ本体ユニット部１とカメラユニット部２とは、必要に応じて協動して各種の処理を行うようにしている。

ＥＣＲ本体ユニット部１は、ＣＰＵ１１を中核とするもので、各種プログラムにしたがってこのＥＣＲ本体ユニット部１の全体動作を制御する中央演算処理装置である。記憶部１２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図８〜図１０に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶したり、データベース、文字フォントデータなどを記憶したりする。なお、上述の記憶媒体は固定的に設けた内蔵型の記憶媒体に限らず、着脱可能な可搬型の外部記憶媒体であってもよく、また、プログラム／データは、他の機器から有線伝送路あるいは無線伝送路を介して記憶媒体にインストールしたり、プログラム／データを記憶管理するサーバなどをアクセスして使用したりするようにしてもよい。メモリ１３は、計時データ、フラグなど、このＥＣＲ本体ユニット部１が動作するために必要な各種のデータを一時的に記憶するワーク領域である。

また、ＣＰＵ１１には、その入出力周辺デバイスである操作部１４、スキャナ１５、操作者用表示部１６、印字部１７、ドロア駆動部１８、ＣＯＭポート１９がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ１１はそれらの動作を制御する。操作部１４は、押しボタン式の各種キーが配列されているキーボードを有し、このキーボード上にはテンキー（図示省略）などのほか、登録キーＫ１、小計キーＫ２、現金／預かり金キーなどの締めキーＫ３などが配設されていると共に、モードスイッチＭＳが配設されている。

モードスイッチＭＳは、その切り換え位置に応じて「登録（ＲＥＧ）」、「ＲＦ（戻し）」、「Ｚ（精算）」などの各種の動作モード（プログラム種）を切り換えるロータリー式のスイッチである。登録キーＫ１は、商品別登録を指示する商品キー、例えば、ＰＬＵ（プライス・ルック・アップ）キー、部門キーなどである。また、小計キーＫ２は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させるキーである。締めキーＫ３は、一取引の登録を終了させる締めキーで、現金／預かり金キーやクレジットキーなどである。ＣＰＵ１１は、「登録（ＲＥＧ）」モードに切り換えられている状態において、各種のキー操作に応じてその操作に応じたイベントコードを生成すると共に、入力された売上データを表示させたり、売上合計を更新したりする登録処理を実行し、一取引の登録終了時に締めキーＫ３が押下されると、ドロアを開放させたり、レシートを発行させたりする。

イメージスキャナ１５は、例えば、ＣＣＤやＣＭＯＳなどの画像センサ（イメージセンサ）を有し、商品の登録時のスキャニング動作時にその商品に添付されているバーコードや二次元コードを撮影することにより読み取るもので、ＣＰＵ１１は、イメージスキャナ１５により撮影された画像データを解析することによってバーコードなどをデコードして商品を特定するようにしている。操作者用表示部１６は、担当者（オペレータ）用として、金額や商品に関するデータ、メッセージなどを表示するもので、例えば、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイなどにより構成されている。印字部１７は、例えば、熱転写やインクジェットなどのノンインパクトプリンタあるいはドットインパクトプリンタであり、レシート印字を行う。ドロア駆動部１８は、キー操作に応じてドロア１８Ａの開閉を制御するもので、ＣＰＵ１１は、ドロア１８Ａの開閉に応じてドロアオープン／クローズイベントを生成する。ＣＯＭポート１９は、カメラユニット部２との接続用のシリアルポートである。

カメラユニット部２は、ＣＰＵ２１を中核とするもので、各種プログラムにしたがってこのカメラユニット部２の全体動作を制御する中央演算処理装置である。記憶部２２は、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの記憶媒体やその駆動系を有し、後述する図１０に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどを記憶する。メモリ２３は、このカメラユニット部２が動作するために必要な各種のデータを一時的に記憶するワーク領域である。

また、ＣＰＵ２１には、その入出力周辺デバイスである客側表示部２４、客側カメラ２５、操作側カメラ２６、カードインターフェイス部２７、ＣＯＭポート２９がバスラインを介して接続されており、入出力プログラムにしたがってＣＰＵ２１はそれらの動作を制御する。客側表示部２４は、登録待ち（精算待ち）の顧客用としてその画面を顧客側に対面させたもので、例えば、７セグメントＬＥＤ（発光ダイオード）などにより構成され、商品単価、個数、小計金額、預かり金額などを数値表示する。

客側カメラ２５は、客用表示部２４に接近配設されたもので、登録待ちしている顧客の顔を中心として撮影し、また、操作側カメラ２６は、担当者（オペレータ）及びその操作状況を撮影するもので、担当者（オペレータ）及びその操作状況を撮影する監視カメラである。なお、客側カメラ２５、操作側カメラ２６の詳細は、図示省略したが、レンズ部、撮像素子、Ａ／Ｄ（アナログ／デジタル）変換部などを有し、動画像を撮影可能な構成で、レンズ部からの被写体像が撮像素子（ＣＣＤ又はＣＭＯＳ）に結像されることにより被写体を高精細に撮影可能な構成となっている。

カードインターフェイス部２７は、記録媒体としてのＳＤカード２８が挿入接続されるもので、このＳＤカード２８には、後述する各種のファイルが格納されている。なお、カメラユニット部２には、カードインターフェイス部２７に挿入接続されたＳＤカード２８の盗難などを防ぐために錠前（図省略）が配設されており、例えば、責任者が所持する専用鍵を使用して、錠前を開いてＳＤカード２８を取り出すようにしている。また、ＳＤカード２８に限らず、その他の外部記録媒体であってもよい。ＣＯＭポート２９は、ＥＣＲ本体ユニット部１との接続用のシリアルポートである。

図２は、上述のように構成されたＥＣＲ（ＥＣＲ本体ユニット部１）をその前方斜め（顧客側）から見た状態の外観斜視図であり、図３は、ＥＣＲ（ＥＣＲ本体ユニット部１）の一側面から見た状態の外観図である。
ＥＣＲ本体ユニット部１の上面部には、操作者用表示部１６が配設されていると共に、操作部１４を構成するキーボード及びモードスイッチＭＳが配設されている。また、ＥＣＲ本体ユニット部１の上面部には、印字部１７から送出されるレシートを取り出すためのレシート発行口（図示省略）が配設されている。

カメラユニット部２は、客用表示部２４の筐体２Ａと、その筐体２Ａを支持するポール状の支持部材（支持ポール）２Ｂとを有している。支持ポール２Ｂは、客用表示部２４の筐体２Ａを支持するもので、その下端部はＥＣＲ本体ユニット部１の背面側の垂直に固定されている。また、支持ポール２Ｂの上端部は客用表示部２４の筐体２Ａが装着され、その長さを調整可能な構造となっていると共に、客用表示部２４の筐体２Ａは、支持ポール２Ｂに対して回転可能となっている。つまり、筐体２Ａの高さとその向きを調整可能となっており、それに応じて客用表示部２４、客側カメラ２５の高さとその向きも調整可能となっている。

客側カメラ２５は、図２及び図３に示すように筐体２Ａの前面において客用表示部２４の一端部（図中、左側端部）に接近配設され、その撮影方向は、登録待ちしている顧客方向で、その画角は、登録待ち行列の顧客を撮影可能な範囲となっている。図４（１）は、客側カメラ２５によって撮影した登録待ち行列の顧客画像を例示したもので、先頭の顧客の後ろに次の顧客が並んでいる状態を示している。操作側カメラ２６は、支持ポール２Ｂの上端部に配設され、その撮影方向は、オペレータ方向で、その画角は、操作部１４の全体及び操作中のオペレータの顔を撮影可能な範囲となっている。図４（２）は、操作側カメラ２６によって担当者（オペレータ）及びその操作状況を撮影した監視画像を例示したもので、ドロア１８Ａを開放した状態でオペレータが貨幣を出し入れしている場合を示している。

図５は、ＥＣＲ本体ユニット部１側に記憶管理されている各種のファイルと、カメラユニット部２側に記憶管理されている各種のファイル、データベースを示した図である。
ＥＣＲ本体ユニット部１側には、商品別合計ファイルＸ１、部門別合計ファイルＸ２、取引別合計ファイルＸ３などが記憶管理されている。なお、商品別合計ファイルＸ１は、部門別合計ファイルＸ２、取引別合計ファイルＸ３は、商品別、弁当類やパン類などの部門別、現金売りや信用売りなどの取引別に売上データ（個数、金額）の累計値（合計値）などを記憶管理するファイルである。

カメラユニット部２側には、客側動画ファイルＹ１、顧客特定用画像データＹ２、顔認識用データファイルＹ３、顧客データベースＹ４、操作側動画ファイルＹ５、電子ジャーナルファイルＹ６などが記憶管理されている。客側動画ファイルＹ１は、客側カメラ２５により撮影された動画ファイルであり、各動画ファイルに対応してそのファイルなど共に録画日時（タイムスタンプ）が逐次記憶されている。顧客特定用画像データＹ２は、客側動画ファイルＹ１内の動画の中から取引毎に顧客特定用として抽出された画像（静止画）内に顧客の顔部分を解析することにより得られた顔の特徴点データであり、ＣＰＵ２１は、一日の登録終了時において、客側動画ファイルＹ１内の動画に基づいて取引毎に顧客特定用画像データ（顔の特徴点データ）Ｙ２を生成するようにしている。

すなわち、ＣＰＵ２１は、一日の登録終了時（精算時）に、一取引分の売上データを登録する一連の操作のうち、所定の操作、つまり、客側表示部２４に金額データを表示させる小計キーＫ２、締めキーＫ３の操作タイミングを示すデータ（後述するイベント時刻）に基づいて、客側動画ファイルＹ１の動画の中からそのイベント時刻に相当する位置に録画されている画像（静止画像）を抽出し、この抽出画像を解析することにより顧客特定用画像データＹ２を生成するようにしている。なお、顧客特定用の画像データとしては、抽出画像（静止画像）を解析して顔の特徴点データを生成するようにしたが、これに限らず、抽出画像（静止画像）自体を顧客特定用の画像データとしてもよい（以下、同様）。

顔認識用データファイルＹ３は、顧客特定用画像データＹ２に基づいて顧客を特定する際に照合される顔認識用の画像ファイルで、顧客毎にその「顔認識用データ（顔の特徴点データ）」のほか、「顧客認識出力ＩＤ」の項目を記憶管理する構成となっている。「顧客認識出力ＩＤ」は、客側カメラ２５により撮影された画像に基づいてその顔を認識する処理を実行した結果、認識された顧客を識別するための識別データである。顧客データベースＹ４は、顧客毎にその顧客に関するデータを記憶管理するファイルである。操作側動画ファイルＹ５は、操作側カメラ２６により撮影された動画ファイルであり、各動画ファイルに対応してそのファイルなど共に録画日時（タイムスタンプ）が逐次記憶されている。電子ジャーナルファイルＹ６は、取引毎の売上データ、操作状況を営業記録データ（ジャーナルデータ）として記憶管理するファイルである。

図６は、顧客データベースＹ４を説明するための図である。
顧客データベースＹ４は、「顧客認識出力ＩＤ」、「性別」、「年齢層」、「検出スコア」、「登録日」などの項目を有する構成となっている。「顧客認識出力ＩＤ」は、顔認識用データファイルＹ３とリンクさせるための顧客識別データである。「性別」、「年齢層」は、顧客の画像から推定して店側で入力されたデータである。「検出スコア」は、撮影画像内から顔の部分を検出した結果、その顔が正面に向いている度合いを“１〜１０”の数値で表現したデータで、“１０”に近いほど、顧客の顔を正面から撮影したことを示している。

図７は、電子ジャーナルファイルＹ６を説明するための図である。
電子ジャーナルファイルＹ６は、「動画ファイル名」、「イベントの種類」、「イベント年月日」、「イベント時刻」、「商品コード」、「金額」、「顧客認識出力ＩＤ」、…などの項目を有する構成となっている。「動画ファイル名」は、操作側動画ファイルＹ５にリンクさせるデータで、年月日に一連番号を組み合わせた構成となっている。「イベントの種類」は、操作の種類を示し、登録キーＫ１の操作、小計キーＫ２の操作、締めキーＫ３の操作、ドロアオープン／クローズなどを示すイベントコードである。「イベント年月日」は、その操作を行った年月日を示し、「イベント時刻」は、その操作を行った時刻（時分秒１／１００秒）を示している。「顧客認識出力ＩＤ」は、顔認識用データファイルＹ３とリンクさせるための顧客識別データで、例えば、一連番号などである。

次に、第１実施形態におけるＥＣＲの動作概念を図８〜図１０に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図８は、電源投入に応じて実行開始されるＥＣＲ全体の動作のうち、本実施形態の特徴的な動作を説明するためのメインのフローチャートである。
先ず、ＥＣＲ本体ユニット部１のＣＰＵ１１は、モードスイッチＭＳが「登録（ＲＥＧ）」モードに切り換えられているかを調べたり（図８のステップＡ１）、「Ｚ（精算）」モードに切り換えられているかを調べたり（ステップＡ３）、その他のモードに切り換えられているかを調べたり（ステップＡ７）、電源オフ操作が行われたかを調べたりする（ステップＡ９）。いま、登録モードに切り換えられている場合には（ステップＡ１でＹＥＳ）、登録操作に応じて売上データを登録する登録処理の実行に移る（ステップＡ２）。

図９は、登録処理（図８のステップＡ２）を詳述するためのフローチャートである。なお、ＥＣＲ本体ユニット部１は、必要に応じてカメラユニット部２と協動して各種の処理を行うようにしている。
先ず、ＥＣＲ本体ユニット部１のＣＰＵ１１は、登録操作が行われたか、つまり、商品からバーコードなどを読み取るためにスキャナ１５によるスキャニング動作が行われたか、金額データの値数入力後に商品キーなどの登録キーＫ１が操作されたかを調べたり（図９のステップＢ１）、小計キーＫ２が操作されたかを調べたり（ステップＢ９）、一取引分の登録終了時に現金／預かり金キーなどの締めキーＫ３が操作されたかを調べたり（ステップＢ１１）、その他のキーが操作されたかを調べたりする（ステップＢ１６）。

いま、登録操作が行われると（ステップＢ１でＹＥＳ）、次のステップＢ２に移り、ＥＣＲ本体ユニット部１は、カメラユニット部２側をアクセスし、客側カメラ２５の撮影動作は停止中であるかを調べる。ここで、客側カメラ２５が停止中であれば（ステップＢ２でＹＥＳ）、一取引の最初の操作か、つまり、商品からバーコードなどを読み取るためにスキャナ１５によるスキャニング動作が行われたか、金額データの値数入力後に商品キーなどの登録キーＫ１が操作されたかを調べる（ステップＢ３）。いま、一取引の最初の操作が行われたときには（ステップＢ３でＹＥＳ）、「動画ファイル名」を生成してカメラユニット部２側に転送することにより電子ジャーナルファイルＹ６に当該「動画ファイル名」を設定させた後（ステップＢ４）、客側カメラ２５を起動させてその撮影画像を逐次記録する録画動作を開始させる（ステップＢ５）。そして、商品登録処理に移る（ステップＢ６）。

一方、客側カメラ２５が動作中の場合（ステップＢ２でＮＯ）、客側カメラ２５が停止中でも一取引の最初の操作ではない場合には（ステップＢ３でＮＯ）、上述の動画ファイル名の設定処理（ステップＢ４）及び客側カメラ２５の起動・録画処理（ステップＢ５）をスキップして、商品登録処理に移る（ステップＢ６）。この商品登録処理では、入力された商品名及び単位を操作者用表示部１６及び客用表示部２４に表示させたり、商品別合計ファイルＸ１、部門別合計ファイルＸ２の内容（売上データ）を更新したりする処理を行う。この場合、ＥＣＲ本体ユニット部１から表示データをカメラユニット部２側に転送することにより客用表示部２４に商品名及び単位を表示させる。

このような商品登録処理が行われると、一取引分の小計金額を更新（ステップＢ７）すると共に、今回登録した売上データとその操作データ（イベントデータ）をジャーナルデータとしてワーク領域内に一時保持させた後（ステップＢ８）、上述のステップＢ１に戻る。以下、登録操作が行われる毎に、上述の動作を繰り返す。また、小計キーＫ２が操作されたときには（ステップＢ９でＹＥＳ）、小計金額を操作者用表示部１６及び客用表示部２４に表示させた後（ステップＢ１０）、上述のステップＢ８に移り、小計金額とその操作データ（イベントデータ）をジャーナルデータとして一時保持させる。

また、その他のキー、例えば、訂正キーなどが操作されたときには（ステップＢ１６でＹＥＳ）、操作に応じた処理として、訂正処理などを実行した後（ステップＢ１７）、上述のステップＢ８に移り、その処理結果や操作データ（イベントデータ）をジャーナルデータとして一時保持させる。また、一取引分の登録終了時に現金／預かり金キーなどの締めキーＫ３が操作されたときには（ステップＢ１１でＹＥＳ）、顧客から渡された金種に応じた種類の締め処理（取引別合計を更新する処理）を行うと共に、レシート印字を行ってレシートを発行させたり、ドロアを開放させたりする（ステップＢ１２）。そして、その締め操作データ（イベントデータ）をジャーナルデータとして一時保持した後（ステップＢ１３）、上述のようにして一時保持させた一取引分のデイベントータをジャーナルデータとして、カメラユニット部２に転送する（ステップＢ１４）。この場合、カメラユニット部２側では、この一取引分のデイベントータを電子ジャーナルファイルＹ６に追加登録する処理を行う。そして、客側カメラ２５を停止させた後（ステップＢ１５）、図９のフローから抜ける。

このような登録処理（図８のステップＡ２）が終ると、図８のステップＡ１に戻る。以下、登録モードに切り換えられている状態において（ステップＡ１でＹＥＳ）、操作に応じて上述の登録処理を繰り返す。これによって一日の営業が終り、モードスイッチＭＳを「Ｚ（精算）」モードに切り換えられると（ステップＡ３でＹＥＳ）、顧客の特定とその登録を指示する操作が行われたかを調べ（ステップＡ４）、その指示操作が行われなければ（ステップＡ４でＮＯ）、取引別合計ファイルＸ３などの内容を更新する精算処理を実行した後（ステップＡ５）、上述のステップＡ１に戻る。

また、顧客特定とその登録を指示する操作が行われた場合に（ステップＡ４でＹＥＳ）、ＥＣＲ本体ユニット部１は、カメラユニット部２に対してその操作に応じた指示を行って顧客特定登録処理（後述する）を開始させた後（ステップＡ６）、上述の精算処理に移る（ステップＡ５）。なお、モードスイッチＭＳによりその他のモード、例えば、設定モードなどに切り換えられている場合には（ステップＡ７でＹＥＳ）、その他のモードに応じた処理として、各種のデータを設定する処理などを行った後（ステップＡ８）、上述のステップＡ１に戻る。また、電源オフ操作が行われた場合には（ステップＡ９でＹＥＳ）、所定の電源オフ処理（ステップＡ１０）を実行した後、図８のフローの終了となる。

図１０は、顧客特定登録処理（図８のステップＡ６）を詳述するためのフローチャートである。
先ず、カメラユニット部２のＣＰＵ２１は、電子ジャーナルファイルＹ６内の１レコードを指定してそのレコードを取得し（図１０のステップＣ１）、この取得レコード内の「イベントの種類」は、小計キーＫ２あるいは現金／預かり金などの締めキーＫ３であるかを調べる（ステップＣ２）。ここで、「イベントの種類」が小計キーＫ２あるいは締めキーＫ３でなければ（ステップＣ２でＮＯ）、この取得レコードを処理対象外とするためにステップＣ１に戻って次のレコードを指定しながらそのレコードを取得する動作を小計キーＫ２あるいは締めキーＫ３が検索されるまで繰り返す。

これによって「イベントの種類」が小計キーＫ２あるいは締めキーＫ３であるレコードを取得した場合には（ステップＣ２でＹＥＳ）、そのレコードから「動画ファイル名」及び「イベント時刻」を取得し（ステップＣ３）、この「動画ファイル名」をキーとして客側動画ファイルＹ１を検索して、該当する動画ファイルを抽出すると共に、その動画ファイルの中から「イベント時刻」に相当する位置の１フレーム分の静止画像を抽出する（ステップＣ４）。そして、この抽出画像をデジタルズーム処理により所定の大きさに拡大処理したり、顔部分を抽出したりした後、その顔画像の解析を行って顔の特徴点データを抽出する顔検出処理を行って顧客特定用画像データＹ２を生成する（ステップＣ５）。

すなわち、カメラユニット部２側では、抽出画像を解析しながら顧客の顔の輪郭や顔を形成するパーツ（目、口、鼻、額など）の形や位置関係などを総合的に判断して、顧客の顔の特徴点を抽出するが、その際、抽出画像内に複数の被写体（顧客）が含まれているときには、その中から顔が最も大きく写っている顔を選択してその特徴点を抽出する。なお、顔の特徴点を抽出する機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

そして、カメラユニット部２は、顔検出処理の結果、その顔が正面に向いている度合いを数値化したデータとして検出スコアを取得し（ステップＣ６）、この検出スコアが基準値（例えば、７）以上かを調べる（ステップＣ７）。いま、検出スコアが基準値以上であれば（ステップＣ７でＹＥＳ）、顔を正確に認識できたものと判断して、後述するステップＣ９に移るが、検出スコアが基準値未満であれば（ステップＣ７でＮＯ）、顔が横向きであったなどの理由で正確に顔を認識することができなかった場合であると判断して、ステップＣ８に移り、「イベント時刻」を所定時間分ずらす。

例えば、「イベント時刻」の前後の時刻、つまり、「イベント時刻」に“０．５秒”を加算あるいは“０．５秒”を減算することにより設定イベント時刻をずらした時刻を算出する。そして、上述のステップＣ４に移り、新たに算出したイベント時刻に相当する位置の１フレーム分の静止画像を抽出した後、上述の顔認識処理及び検出スコア判定処理を行う（ステップＣ５〜Ｃ７）。なお、設定されている「イベント時刻」よりも前の時刻及び後の時刻を算出するようにしてもよく、また、所定時間（例えば、０．５秒）ずつ段階的にずらすようにしてもよい。これによって、設定されている「イベント時刻」に対して０．５秒前、１秒前、１．５秒前、２秒前あるいは０．５秒後、１秒後、１．５秒後、２秒後の時刻を算出するようにしてもよい。

いま、検出スコアが基準値以上であれば（ステップＣ７でＹＥＳ）、顔の特徴点データＹ２に基づいて顔認識用データファイルＹ３を検索し（ステップＣ９）、今回抽出した顔の特徴点データは、既に登録されている人物の顔の特徴点データに該当するか、つまり、特徴的に一致するかを調べる（ステップＣ１０）。その結果、特徴的に一致し、登録されている人物に該当していれば（ステップＣ１０でＹＥＳ）、顧客を特定することができたものとして、顔認識用データファイルＹ３から該当する「顔認識出力ＩＤ」を取得して（ステップＣ１１）、電子ジャーナルファイルＹ６に記録する処理を行う（ステップＣ１６）。そして、電子ジャーナルファイルＹ６の内容をその最終レコードまで全て指定し終ったかを調べるが（ステップＣ１７）、指定レコードが最終レコードまで達していなければ（ステップＣ１７でＮＯ）、最初のステップＣ１に戻り、電子ジャーナルファイルＹ６から次の１レコードを読み出し取得する。

また、登録されている人物に該当していなければ（ステップＣ１０でＮＯ）、「顔認識出力ＩＤ」、「登録日」を新たに生成すると共に（ステップＣ１２）、この「顔認識出力ＩＤ」、「登録日」のほか、「検出スコア」を含む新規レコードを生成し（ステップＣ１３）、顧客データベースＹ４に新規登録（追加登録）する（ステップＣ１４）。また、顔の特徴点データ顧客特定用画像データＹ２を「顔認識出力ＩＤ」と共に顔認識用データファイルＹ３に追加登録する（ステップＣ１５）。そして、「顔認識出力ＩＤ」を電子ジャーナルファイルＹ６に記録した後（ステップＣ１６）、電子ジャーナルファイルＹ６の内容をその最終レコードまで指定し終るまで（ステップＣ１７）、最初のステップＣ１に戻り、次の１レコードを読み出し取得して上述の動作を繰り返す。

以上のように、第１実施形態においては、一取引分の売上データを登録する一連の操作のうち、所定の操作が行われた場合に、客側カメラ２５により撮影された撮影画像に基づいて、顧客特定用の画像データを生成するようにしたので、顧客特定用の画像を適切なタイミングで生成することができ、顧客を撮影した顧客画像から顧客を特定する場合に、その顧客を高い確率で特定することができ、信頼性及び実用性に富んだものとなる。

客側カメラ２５は、登録待ち顧客が視認する客側表示部２４に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されるようにしたので、顧客が金額を確認するタイミングで顧客の顔を正面から撮影された撮影画像に基づいて、顧客特定用の画像データを生成することができる。

所定の操作は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キーＫ２、一取引の登録を締める締めキーＫ３のうち、少なくともそのいずれかのキーを操作するキー操作であるので、客側表示部２４の表示内容（金額）を顧客が目視確認するタイミングで顧客の顔を正面から撮影された撮影画像に基づいて、顧客特定用の画像データを生成することができ、顔認識にとって良好なものとなる。

電子ジャーナルファイルＹ６に記憶されている操作タイミングを示すデータ「イベント時刻」を読み出し、そのタイミングで撮影された画像を客側動画ファイルＹ１内の動画像の中から抽出し、この抽出画像に基づいて顧客特定用画像データＹ２を生成するようにしたので、所定の操作時における顧客特定用の画像データを動画ファイルの中から何時でも自由に生成することができる。

電子ジャーナルファイルＹ６に記憶されている操作タイミングを示すデータ「イベント時刻」を読み出し、そのタイミングの前後に撮影された画像を客側動画ファイルＹ１に記憶されている動画像の中から抽出し、この抽出画像に基づいて顧客特定用画像データＹ２を生成するようにしたので、操作時の画像が顔認識する上で不良な画像であってもその前後の画像に基づいて顧客特定用画像データＹ２を生成することができる。

生成した顧客特定用画像データＹ２に基づいて顔認識用データファイルＹ３を検索することにより顧客を特定するようにしたので、顔認識により顧客を容易に特定することができる。

なお、上述した第１実施形態においては、所定の操作として小計キーＫ２、締めキーＫ３とした場合を例示したが、それ以外に商品キー、部門キーなどの登録キーＫ１、入力データの訂正を指示する訂正キー、入力データをキャンセルする戻しキーなどであってもよい。

（第２実施形態）
以下、この発明の第２実施形態について図１１及び図１２を参照して説明する。
なお、上述した第１実施形態においては、精算モードにおいて顧客特定登録を指示する操作が行われた際に、顧客特定登録処理を一括して実行開始するようにしたが、この第２実施形態においては、登録モードにおいて一取引の登録中にその顧客を認識して特定する顧客特定登録処理を取引毎に個々に実行するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図１１は、第２実施形態において、登録処理（図８のステップＡ２）を詳述するためのフローチャートである。なお、図９のフローチャートで示した場合と同様にＥＣＲ本体ユニット部１は、必要に応じてカメラユニット部２と協動して各種の処理を行うようにしている。以下、図１１において図９と基本的に同様の処理については、その説明を簡単に行うものとする。
先ず、ＥＣＲ本体ユニット部１のＣＰＵ１１は、売上データを登録する登録操作が行われたかを調べたり（図１１のステップＢ２１）、小計キーＫ２が操作されたかを調べたり（ステップＢ２９）、締めキーＫ３が操作されたかを調べたり（ステップＢ３２）、その他のキーが操作されたかを調べたりする（ステップＢ３７）。

いま、売上データを登録する登録操作が行われたときには（ステップＢ２１でＹＥＳ）、上述した図９のステップＢ２〜Ｂ８と同様に、客側カメラ２５が停止中であって（ステップＢ２２でＹＥＳ）、かつ、一取引の最初の操作であることを条件に（ステップＢ２３でＹＥＳ）、カメラユニット部２側において「動画ファイル名」を設定するための処理を実行させた後（ステップＢ２４）、客側カメラ２５を起動させてその撮影画像を逐次記録する録画動作を開始させる（ステップＢ２５）。そして、商品登録処理（ステップＢ２６）を行って、一取引分の小計金額を更新する（ステップＢ２７）。そして、今回のイベントデータをジャーナルデータとして一時保持させた後（ステップＢ２８）、上述のステップＢ２１に戻る。

また、小計キーＫ２が操作されたときには（ステップＢ２９でＹＥＳ）、上述した図９のステップＢ１０と同様に、小計金額を表示させるが（ステップＢ３０）、第２実施形態では、カメラユニット部２に対して顧客特定登録処理（後述する）の開始を指示した後（ステップＢ３１）、ステップＢ２８に移る。なお、以下、図１１のステップＢ３２〜Ｂ３８で示した処理は、上述した図９のステップＢ１１〜Ｂ１７の処理と同様である。すなわち、その他のキーが操作されたときには（ステップＢ３７でＹＥＳ）、操作に応じた処理を実行し（ステップＢ３８）、その操作に関するイベントデータをジャーナルデータとして一時保持する（ステップＢ２８）。また、締めキーＫ３が操作されたときには（ステップＢ３２でＹＥＳ）、締め処理（ステップＢ３３）を行ったり、その操作に関するイベントデータをジャーナルデータとして一時保持したり（ステップＢ３４）、一時保持させた一取引分のデイベントータをジャーナルデータとしてカメラユニット部２に転送したりする（ステップＢ３５）。そして、客側カメラ２５を停止させた後（ステップＢ３６）、図１１のフローから抜ける。

図１２は、顧客特定登録処理（図１１のステップＢ３１）を詳述するためのフローチャートである。なお、以下、図１２において図１０と基本的に同様の処理は、その説明を簡単に行うものとする。
先ず、カメラユニット部２のＣＰＵ２１は、現在動画撮影中の１フレーム分の画像を抽出し（ステップＣ２１）、この抽出画像（静止画像）を解析することにより顔の特徴点データを抽出して顧客特定用画像データＹ２を生成する（ステップＣ２２）。そして、この特徴点データＹ２に基づいて顔認識用データファイルＹ３を検索する（ステップ２３）。その結果、今回抽出した顔の特徴点データが、既に登録されている人物の顔の特徴点データに該当していることを検出した場合（特徴的に一致している場合）、つまり、登録されている人物に該当している場合には（ステップＣ２４でＹＥＳ）、顧客を特定することができたものとして判断して、顔認識用データファイルＹ３から該当する「顔認識出力ＩＤ」を取得する（ステップＣ２５）。そして電子ジャーナルファイルＹ６に記録した後（ステップＣ３０）、図１２のフローから抜ける。

また、登録されている人物に該当していなければ（ステップＣ２４でＮＯ）、「顔認識出力ＩＤ」、「登録日」を新たに生成すると共に（ステップＣ２６）、この「顔認識出力ＩＤ」、「登録日」を含む新規レコードを生成し（ステップＣ２７）、顧客データベースＹ４に新規登録（追加登録）する（ステップＣ２８）。また、顔の特徴点データ、つまり、顧客特定用画像データＹ２を「顔認識出力ＩＤ」と共に顔認識用データファイルＹ３に追加登録する（ステップＣ２９）。そして、「顔認識出力ＩＤ」を電子ジャーナルファイルＹ６に記録した後（ステップＣ３０）、図１２のフローから抜ける。

以上のように、第２実施形態においては、登録モードにおいて一取引の登録中に、その顧客を認識して特定する顧客特定登録処理を実行するようにしたので、一取引の登録中にその取引の顧客を特定することができ、その結果、その場で顧客サービスを実施することが可能となる。例えば、取引の終了時に顧客の種類（例えば、購入実績や来店実績に応じた優良顧客か否か）に応じてレシートにクーポンを印字するサービスなどを実施することが可能となる。更に、顧客特定登録処理を一取引の登録中に行うことにより、後で一括して行うバッチ処理よりも時間や作業面の点で有利なものとなる。

なお、上述した第２実施形態においては、一取引の最初の登録操作で客側カメラ２５を起動させて録画動作を開始させた後、小計キーＫ２が操作された際に、現在動画撮影中の１フレーム分の画像を抽出し、この抽出画像（静止画像）を解析して顔の特徴点データを抽出して顧客特定用画像データＹ２を生成するようにしたが、小計キーＫ２が操作された際に、客側カメラ２５を起動させてその撮影画像に基づいて顧客特定用画像データＹ２を生成するようにしてもよい。この場合、短時間に複数枚の連続撮影（速写）を行い、その中から正面向きの画像など認識に良好な画像を選択して、顧客特定用画像データＹ２を生成するようにしてもよい。これによって長時間の動画動作が不要とすることができる。

上述した第２実施形態においては、小計キーＫ２が操作された際に、顧客特定用画像データＹ２を生成するようにしたが、現金預かり金キーなどの締めキーＫ３が操作された際に、顧客特定用画像データＹ２を生成するようにしてもよい。更に、小計キーＫ２、締めキーＫ３のいずれが操作されたときでも、顧客特定用画像データＹ２を生成するようにしてもよい。この場合、検出スコアの良い方を顧客特定用として採用するようにしてもよい。

また、上述した第２実施形態においては、登録モードにおいて、一取引の登録中にその取引の顧客特定用の画像データＹ２を生成するようにしたが、登録待ちしている顧客がいない空き時間（ＥＣＲの非稼働時間）を利用して、顧客特定用画像データＹ２を生成するようにしてもよい。

また、上述した各実施形態は、ＥＣＲ側で顧客特定用画像データＹ２を生成する顧客特定登録処理を実行するようにしたが、カードインターフェイス部２７に挿入接続されているＳＤカード２８内に、客側動画ファイルＹ１、顔認識用データファイルＹ３、顧客データベースＹ４、電子ジャーナルファイルＹ６を格納しておき、このＳＤカード２８を外部機器のＰＣに挿入接続することによりＰＣ側で顧客特定登録処理を実行するようにしてもよい。すなわち、売上データ処理装置とは、ＥＣＲ、ＰＣを含めた売上データ処理システムであってもよい。

また、上述した各実施形態においては、客側カメラ２５による動画撮影は、一取引の開始から終了するまで行うようにしたが、モードスイッチＭＳにより登録モードに切り換えられてその登録モードが解除されるまでの間、客側カメラ２５による動画撮影を継続するようにしてもよい。

また、上述した各実施形態においては、ＥＣＲ（売上データ処理装置）をＥＣＲ本体ユニット部１とカメラユニット部２とに分離した構成としたが、それらを統合した構成であってもよい。また、売上データ処理装置としてＥＣＲに適用した場合を示したが、構内専用回線に接続したＰＯＳ端末に適用するようにしてもよい。また、インターネットを介して本部のＰＣに接続した売上データ処理システムに適用するようにしてもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明のいくつかの実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
売上データを取引毎に登録処理する売上データ処理装置であって、
登録待ちの顧客を撮影する撮像手段と、
一取引分の売上データを登録する一連の操作のうち、所定の操作が行われたか否かを判別する操作判別手段と、
前記操作判別手段により所定の操作が行われたと判別された場合に、前記撮像手段により撮影された撮影画像に基づいて、顧客特定用の画像データを生成する生成手段と、
を具備したことを特徴とする売上データ処理装置である。
（請求項２）
請求項２に記載の発明は請求項１に記載の売上データ処理装置において、
前記撮像手段は、登録待ち顧客が視認する客用表示部に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されている、
ことを特徴とする売上データ処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の売上データ処理装置において、
前記所定の操作は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キー、一取引の登録を締める締めキーのうち、少なくともそのいずれかのキーを操作するキー操作である、
ことを特徴とする売上データ処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の売上データ処理装置において、
前記撮像手段により登録待ちの顧客を撮影した動画像を記憶する動画記憶手段と、
一取引分の売上データを登録する一連の操作のうち少なくとも前記所定の操作が行われた場合に、その操作タイミングを示すデータを記憶する操作状況記憶手段と、
を更に備え、
前記生成手段は、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいて前記顧客特定用の画像データを生成する、
ようにしたことを特徴とする売上データ処理装置である。
（請求項５）
請求項５に記載の発明は、請求項４に記載の売上データ処理装置において、
前記操作状況記憶手段は、一取引毎にその登録操作に関するデータを営業記録データとして記憶する、
ようにしたことを特徴とする請求項４に記載の売上データ処理装置である。
（請求項６）
請求項６に記載の発明は、請求項４に記載の売上データ処理装置において、
前記生成手段は、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングの前後に撮影された画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいて前記顧客特定用の画像データを生成する、
ようにしたことを特徴とする売上データ処理装置である。
（請求項７）
請求項７に記載の発明は、請求項６に記載の売上データ処理装置において、
前記生成手段は、前記動画記憶手段に記憶されている動画像の中から、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像を抽出した場合に、その抽出画像に含まれている顔が正面に向いている度合いが基準値以下の場合に、そのタイミングの前後に撮影された画像を再抽出し、その抽出画像に基づいて前記顧客特定用の画像データを生成する、
ようにしたことを特徴とする売上データ処理装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載の売上データ処理装置において、
顧客毎にその顔認識用の画像データを記憶管理する顔認識用データ記憶手段と、
前記生成手段により生成された顧客特定用の画像データに基づいて前記顔認識用データ記憶手段を検索することにより顧客を特定する顧客特定手段と、
を更に備える、
ようにしたことを特徴とする売上データ処理装置。
（請求項９）
請求項９に記載の発明は、請求項１に記載の売上データ処理装置において、
顧客毎にその顔認識用の画像データを記憶管理する顔認識用データ記憶手段と、
前記生成手段により生成された顧客特定用の画像データに基づいて前記顔認識用データ記憶手段を検索することにより顧客を特定する顧客特定手段と、
を更に備え、
前記生成手段は、一取引分の売上データを登録する一連の操作を行う登録中において、前記判別手段により所定の操作が行われたことが判別された際に、前記撮影手段により登録待ちの顧客を撮影した画像を取得して前記顧客特定用の画像データを生成し、
前記顧客特定手段は、一取引分の売上データを登録する一連の操作を行う登録中において、前記生成手段により生成された顧客特定用の画像データに基づいてその顧客を特定する、
ようにしたことを特徴とする売上データ処理装置。
（請求項１０）
請求項１０に記載の発明は、請求項９に記載の売上データ処理装置において、
前記生成手段は、前記判別手段により所定の操作が行われたことが判別された際に、前記撮影手段を起動させることにより撮影された静止画像を取得して前記顧客特定用の画像データを生成する、
ようにしたことを特徴とする売上データ処理装置。
（請求項１１）
請求項１１に記載の発明は、
コンピュータに対して、
売上データを取引毎に登録処理する機能と、
一取引分の売上データを登録する一連の操作のうち、所定の操作が行われたか否かを判別する機能と、
前記所定の操作が行われたと判別された場合に、登録待ちの顧客を撮影する撮像手段により撮影された撮影画像に基づいて、顧客特定用の画像データを生成する機能と、
を実現させるためのプログラムである。

１ ＥＣＲ本体ユニット部
２ カメラユニット部
１１、２１ ＣＰＵ
１２、２２ 記憶部
１４ 操作部
１５ スキャナ
１６ 操作者用表示部
１９、２９ ＣＯＭポート
２４ 客用表示部
２５ 客側カメラ
２６ 操作側カメラ
２７ カードインターフェイス部
Ｂ１ 客側動画ファイル
Ｂ２ 抽出顔画像
Ｂ３ 顔認識用データファイル
Ｂ６ 電子ジャーナルファイル

本発明は、各種データ処理を行うデータ処理装置に関する。

本発明の課題は、ユーザを撮影した画像からユーザを特定する場合に、そのユーザを高い確率で特定できるようにすることである。

請求項１は、各種データ処理を行うデータ処理装置であって、ユーザを撮影する撮像手段と、前記撮像手段により撮影した動画像を記憶する動画記憶手段と、データを処理する一連の操作のうち、少なくとも所定の特定操作が行われた場合に、その操作タイミングを示すデータを記憶する操作状況記憶手段と、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像の中で所定基準を満たす画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいてユーザ特定用の画像データを生成する生成手段と、を具備したことを特徴とするを特徴とする。

請求項３は、各種データ処理を行うデータ処理装置であって、一まとまりのデータ処理時に、撮像手段で撮影された動画像を、そのデータ処理単位の履歴情報と対応付けて記憶手段に記憶制御する第１制御手段と、前記記憶手段に記憶されたデータ処理単位での動画像の中で、所定画像を抽出する抽出手段と、前記抽出手段で抽出された画像に基づいて、そのデータ処理時でのユーザを特定する特定手段と、前記特定手段で特定されたユーザを識別する識別情報を前記データ処理の前記履歴情報に対応付けて記憶制御する第２制御手段と、を具備したことを特徴とする。
請求項４は、各種データ処理を行うデータ処理装置であって、撮像手段で撮影された動画像の中で、所定画像を抽出する抽出手段と、前記抽出手段で抽出された画像に基づいて、そのデータ処理時でのユーザを特定する特定手段と、前記特定手段で特定されたユーザに対して所定のサービス処理を行う処理制御手段と、を具備したことを特徴とする。

本発明によれば、ユーザを撮影した画像からユーザを特定する場合に、そのユーザを高い確率で特定することができる。

Claims (11)

1. 売上データを取引毎に登録処理する売上データ処理装置であって、
   登録待ちの顧客を撮影する撮像手段と、
   一取引分の売上データを登録する一連の操作のうち、所定の操作が行われたか否かを判別する操作判別手段と、
   前記操作判別手段により所定の操作が行われたと判別された場合に、前記撮像手段により撮影された撮影画像に基づいて、顧客特定用の画像データを生成する生成手段と、
   を具備し、
   前記所定の操作は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キー、あるいは一取引の登録を締める締めキー、を操作するキー操作である、
   ことを特徴とする売上データ処理装置。
2. 売上データを取引毎に登録処理する売上データ処理装置であって、
   登録待ちの顧客を撮影する撮像手段と、
   前記撮像手段により登録待ちの顧客を撮影した動画像を記憶する動画記憶手段と、
   一取引分の売上データを登録する一連の操作のうち少なくとも所定の操作が行われた場合に、その操作タイミングを示すデータを記憶する操作状況記憶手段と、
   前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいて顧客特定用の画像データを生成する生成手段と、
   を具備したことを特徴とする売上データ処理装置。
3. 前記撮像手段は、登録待ち顧客が視認する客用表示部に搭載されていると共に登録待ちの顧客の顔を対面撮影することが可能な向きに設置されている、
   ことを特徴とする請求項１あるいは２に記載の売上データ処理装置。
4. 前記操作状況記憶手段は、一取引毎にその登録操作に関するデータを営業記録データとして記憶する、
   ようにしたことを特徴とする請求項２あるいは３に記載の売上データ処理装置。
5. 前記生成手段は、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングの前後に撮影された画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいて前記顧客特定用の画像データを生成する、
   ようにしたことを特徴とする請求項２あるいは３に記載の売上データ処理装置。
6. 前記生成手段は、前記動画記憶手段に記憶されている動画像の中から、前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像を抽出した場合に、その抽出画像に含まれている顔が正面に向いている度合いが基準値以下の場合に、そのタイミングの前後に撮影された画像を再抽出し、その抽出画像に基づいて前記顧客特定用の画像データを生成する、
   ようにしたことを特徴とする請求項５に記載の売上データ処理装置。
7. 顧客毎にその顔認識用の画像データを記憶管理する顔認識用データ記憶手段と、
   前記生成手段により生成された顧客特定用の画像データに基づいて前記顔認識用データ記憶手段を検索することにより顧客を特定する顧客特定手段と、
   を更に備える、
   ようにしたことを特徴とする請求項１〜請求項６のいずれかに記載の売上データ処理装置。
8. 顧客毎にその顔認識用の画像データを記憶管理する顔認識用データ記憶手段と、
   前記生成手段により生成された顧客特定用の画像データに基づいて前記顔認識用データ記憶手段を検索することにより顧客を特定する顧客特定手段と、
   を更に備え、
   前記生成手段は、一取引分の売上データを登録する一連の操作を行う登録中において、前記操作判別手段により所定の操作が行われたことが判別された際に、前記撮像手段により登録待ちの顧客を撮影した画像を取得して前記顧客特定用の画像データを生成し、
   前記顧客特定手段は、一取引分の売上データを登録する一連の操作を行う登録中において、前記生成手段により生成された顧客特定用の画像データに基づいてその顧客を特定する、
   ようにしたことを特徴とする請求項１に記載の売上データ処理装置。
9. 前記生成手段は、前記操作判別手段により所定の操作が行われたことが判別された際に、前記撮像手段を起動させることにより撮影された静止画像を取得して前記顧客特定用の画像データを生成する、
   ようにしたことを特徴とする請求項８に記載の売上データ処理装置。
10. 売上データを取引毎に登録処理する売上データ処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    登録待ちの顧客を撮影する撮像手段、
    一取引分の売上データを登録する一連の操作のうち、所定の操作が行われたか否かを判別する操作判別手段、
    前記操作判別手段により所定の操作が行われたと判別された場合に、前記撮像手段により撮影された撮影画像に基づいて、顧客特定用の画像データを生成する生成手段、
    として機能させ、
    前記所定の操作は、一取引中において現時点まで登録した売上データの合計金額を小計として表示させる小計キー、あるいは一取引の登録を締める締めキー、を操作するキー操作である、
    ことを特徴とするコンピュータ読み取り可能なプログラム。
11. 売上データを取引毎に登録処理する売上データ処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    登録待ちの顧客を撮影する撮像手段、
    前記撮像手段により登録待ちの顧客を撮影した動画像を記憶する動画記憶手段、
    一取引分の売上データを登録する一連の操作のうち少なくとも所定の操作が行われた場合に、その操作タイミングを示すデータを記憶する操作状況記憶手段、
    前記操作状況記憶手段に記憶されている操作タイミングを示すデータに基づいて、そのタイミングで撮影された画像を前記動画記憶手段内の動画像の中から抽出し、この抽出画像に基づいて顧客特定用の画像データを生成する生成手段、
    として機能させるコンピュータ読み取り可能なプログラム。

Images