JP2011141586A - 返品処理装置、返品処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】返品された商品が、自店舗で販売した商品であるのか否かを容易に判断できると共に、返品処理を円滑に行い得る返品処理装置、返品処理装置の制御方法およびプログラムを提供する。
【解決手段】顧客を含むレジカウンター１０周りの状況を撮像する撮像部３１，３２，３３と、商品の購入時における撮像部３１，３２，３３の撮像結果である撮像画像と、商品の精算情報と、を関連付けた購入時情報を記憶する購入時情報記憶部６１と、顧客から商品の返品申請があった場合、購入時情報記憶部６１から、返品対象となる対象商品の購入時情報を検索する購入時情報検索部１７と、購入時情報検索部１７の検索結果を出力する検索結果出力部１８と、を備えた。
【選択図】図１

Description

本発明は、スーパーマーケット等の小売店やファミリーレストラン等の飲食店内において、顧客による不正行為を防止するための返品処理装置、返品処理装置の制御方法およびプログラムに関するものである。

従来、顧客による不正行為の防止策として、特許文献１が提案されている。当該特許文献１は、顧客に付与するポイントを累計管理して、累計ポイント数に応じたサービスを提供するポイント管理システムに関する。このサービスを利用した不正行為として、商品購入に対して付与されたポイントを用いてサービスを受けた後、故意に商品の返品処理を行う、といった手口が知られている。そこで、当該ポイント管理システムでは、このような不正行為を繰り返す顧客を特定し、店舗が被る損害を未然に防ぐことを課題としている。

特開２００９−１８１５００号公報

ところで、上記の手口に類似した顧客の不正行為として、ディスカウントショップなどで安価に購入した商品を、定価販売している他の店舗に返品し、その差額による利益を得る手口が知られている。この不正行為では、レシートを偽造して、あたかもその店舗で購入したように見せかける巧妙な手口が用いられることもあり、返品された商品が、自店舗で販売した商品であるのか、他店舗で購入された商品であるのかの判断が非常に困難であった。また、紛失などによってレシートが存在しない場合は、膨大な販売履歴を記録した記録データーベースから該当商品の販売履歴を検索する必要があり、返品処理に時間を要するといった問題もあった。

本発明は、上記の問題に鑑み、返品された商品が、自店舗で販売した商品であるのか否かを容易に判断できると共に、返品処理を円滑に行い得る返品処理装置、返品処理装置の制御方法およびプログラムを提供することを目的とする。

本発明の返品処理装置は、顧客を含むレジカウンター周りの状況を撮像する撮像部と、商品の購入時における撮像部の撮像結果である撮像画像と、商品の精算情報と、を関連付けた購入時情報を記憶する購入時情報記憶部と、顧客から商品の返品申請があった場合、購入時情報記憶部から、返品対象となる対象商品の購入時情報を検索する購入時情報検索部と、購入時情報検索部の検索結果を出力する検索結果出力部と、を備えたことを特徴とする。

本発明の返品処理装置の制御方法は、商品の購入時において顧客を含むレジカウンター周りを撮像した撮像画像と、商品の精算情報と、を関連付けた購入時情報を記憶する購入時情報記憶部を備えた返品処理装置の制御方法であって、返品処理装置が、顧客から商品の返品申請があった場合、購入時情報記憶部から、返品対象となる対象商品の購入時情報を検索する購入時情報検索ステップと、購入時情報検索ステップによる検索結果を出力する検索結果出力ステップと、を実行することを特徴とする。

これらの構成によれば、顧客から商品の返品申請があった場合、返品対象となる対象商品の購入時情報（顧客を含むレジカウンター周りの状況を撮像した撮像画像と、商品の精算情報）を出力するため、店員（オペレーター）は、当該購入時情報に含まれる撮像画像から、購入時の状況を確認することができる。また、店員は、例えば購入時情報を検索できなかった場合、返品された商品が他店舗で販売された商品である可能性が高いと判断することができる。また、例えば撮像画像に記録された購入者と返品申請者が異なる場合は、不正返品の可能性が高い（例えば、拾ったレシートを利用して返品申請を行った場合など）と判断することができる。さらに、購入時情報を検索でき、且つ購入者と返品申請者が一致するような場合は、不正行為の可能性が低いと判断し、購入時情報に含まれる精算情報に基づいて、迅速に返品処理を行うことができる。
なお、検索結果出力部（検索結果出力ステップ）は、ディスプレイへの表示、印刷媒体への印刷、電子メールやＷｅｂアプリケーションを用いた送信、などの方法により検索結果を出力することが考えられる。

上記に記載の返品処理装置において、返品処理の取引が開始されたことを検出する返品処理検出部をさらに備え、購入時情報検索部は、返品処理検出部の検出をトリガーとして、返品処理の対象となる対象商品の購入時情報を検索することが好ましい。

上記に記載の返品処理装置において、返品処理装置が、返品処理の取引が開始されたことを検出する返品処理検出ステップをさらに実行し、購入時情報検索ステップでは、返品処理検出ステップによる検出をトリガーとして、返品処理の対象となる対象商品の購入時情報を検索することが好ましい。

これらの構成によれば、返品処理の取引開始をトリガーとして購入時情報の検索を行うため、返品申請時おいて、店員の特別な操作を必要としない。これにより、店員のオペレーション負荷を軽減することができると共に、誤操作の問題もない。

上記に記載の返品処理装置において、撮像部は、購入された商品を含めて撮像することが好ましい。

この構成によれば、返品申請時に出力される撮像画像に、購入商品が含まれるため、返品された商品と見比べて、自店舗で販売した商品であるのか否かを判断することができる。

上記に記載の返品処理装置において、商品ごとに、その撮像結果から得られる商品特徴量を記憶する商品特徴量記憶部をさらに備え、購入時情報検索部は、返品された商品の撮像結果と、商品特徴量記憶部との照合によって、対象商品を特定し、特定した当該対象商品に該当する購入時情報を、購入時情報記憶部から検索することが好ましい。

この構成によれば、返品された商品を撮像した撮像結果から得られる商品特徴量を検索キーとして、購入時情報を検索することができる。これにより、例えば返品された商品に商品タグが残っておらず、購入時のレシートも存在しないような場合でも、返品処理を円滑に行うことができる。
なお、「商品特徴量」としては、商品の輪郭を示す形状データー、商品の色特徴量、光学特徴量（反射率、コントラスト、輝度スペクトルの分布など）などが挙げられる。

上記に記載の返品処理装置において、購入時情報記憶部は、撮像部の撮像結果から得られる顧客の顔特徴量を、撮像画像および精算情報と関連付けて記憶し、購入時情報検索部は、返品申請者の撮像結果から得られる顔特徴量と一致する顔特徴量が関連付けられた購入時情報を、購入時情報記憶部から検索することが好ましい。

この構成によれば、返品申請者の顔を撮像した撮像結果から得られる顔特徴量を検索キーとして、購入時情報を検索することができる。これにより、例えば返品された商品に商品タグが残っておらず、購入時のレシートも存在しないような場合でも、返品処理を円滑に行うことができる。

上記に記載の返品処理装置において、顧客の音声を取得する音声取得部をさらに備え、購入時情報記憶部は、音声取得部により取得した音声の解析結果から得られる顧客の声紋を、撮像画像および精算情報と関連付けて記憶し、購入時情報検索部は、返品申請者の音声から得られる声紋と一致する声紋が関連付けられた購入時情報を、購入時情報記憶部から検索することが好ましい。

この構成によれば、返品申請者から取得した音声の解析結果から得られる声紋を検索キーとして、購入時情報を検索することができる。これにより、例えば返品された商品に商品タグが残っておらず、購入時のレシートも存在しないような場合でも、返品処理を円滑に行うことができる。また、購入時と返品申請時とで、顧客の服装や髪型が変化したことにより、撮像結果からは同一人物と判定されないような場合でも、声紋を用いることで、同一人物であるか否かを正確に判定することができる。

上記に記載の返品処理装置において、購入時情報検索部は、精算処理番号、購入日時、商品名、商品コード、商品価格、顧客情報、レジ番号、オペレーター情報のうち、少なくとも１の情報を検索キーとして、購入時情報を検索することが好ましい。

この構成によれば、精算処理番号（レシート番号）、購入日時、商品名、商品コード、商品価格、顧客情報（顧客氏名、ロイヤリティカードのカード番号、クレジットカードのカード番号など）、レジ番号（ＰＯＳ端末のＩＤ）、オペレーター情報（オペレーター氏名、オペレーターＩＤなど）を検索キーとして用いることができる。

本発明のプログラムは、コンピューターに、上記に記載の返品処理装置の制御方法における各ステップを実行させることを特徴とする。

このプログラムを用いることにより、返品された商品が、自店舗で販売した商品であるのか否かを容易に判断できると共に、返品処理を円滑に行い得る返品処理装置の制御方法を実現することができる。

第１実施形態に係る店舗監視システムのブロック図である。 購入時情報記憶部および商品特徴量記憶部の説明図である。 検索キーとして利用可能な情報の一例を示す図である。 購入時情報の表示例を示す図である。 店舗監視システムの購入処理を示すフローチャートである。 店舗監視システムの返品処理を示すフローチャートである。 第２実施形態に係る店舗監視システムのブロック図である。 第３実施形態に係る店舗監視システムのブロック図である。 第３実施形態に係る店舗監視システムの一部を示すブロック図である。

以下、添付の図面を参照し、本発明の返品処理装置、返品処理装置の制御方法およびプログラムについて説明する。なお、以下に示す各実施形態では、本発明の返品処理装置を、店舗監視システムに適用した場合について例示する。当該店舗監視システムは、スーパーマーケット等の小売店内において、顧客による不正行為を検出するべく構築されたものである。

［第１実施形態］
図１は、第１実施形態に係る店舗監視システムＳＹ１のブロック図である。同図に示すように、店舗監視システムＳＹ１は、会計処理を行うＰＯＳ端末１と、商品に貼付または印刷された商品バーコードを読み取るハンディスキャナー２と、レジカウンター１０周りを監視する監視カメラ３と、顧客の音声を取得するマイク４と、レシートを発行するレシートプリンター５と、店舗監視システムＳＹ１を統括する店舗管理サーバー６と、から成る。ＰＯＳ端末１とハンディスキャナー２、監視カメラ３、マイク４およびレシートプリンター５は、それぞれシリアルインターフェース（例えば、ＵＳＢ（Universal Serial Bus）インターフェース）により接続されている。また、ＰＯＳ端末１および店舗管理サーバー６は、店舗内ＬＡＮ７（有線ＬＡＮまたは無線ＬＡＮ）により接続されている。

なお、図１では、ＰＯＳ端末１が１台の場合を示しているが、店舗内に複数のレジカウンター１０が設置されている場合、レジカウンター１０ごとに、ＰＯＳ端末１等が設けられる。また、請求項における「返品処理装置」は、上記の構成要素のうち、ＰＯＳ端末１、監視カメラ３、マイク４および店舗管理サーバー６から成る。

本実施形態では、商品購入時において、ＰＯＳ端末１により購入時情報が生成される。購入時情報とは、精算情報および監視カメラ３による撮像画像などを含む情報であり、店舗管理サーバー６内の購入時情報記憶部６１に格納される（図２（ａ）参照）。また、ＰＯＳ端末１は、顧客から返品申請があった場合、返品された商品の購入時情報を購入時情報記憶部６１から検索して、その検索結果をオペレーター用ディスプレイ１９に表示する（図４参照）。これにより、オペレーターは、当該購入時情報に含まれる撮像画像から、購入時の状況を確認することができる。また、例えば購入時情報を検索できなかった場合、他店舗で販売された商品である可能性が高いと判断することができる。さらに、例えば購入時の顧客（撮像画像に記録されている人物）と返品申請時の顧客が目視上異なる場合は、不正返品の可能性が高い（例えば、拾ったレシートを利用して返品申請を行った場合など）と判断することができる。このように、返品申請時において、購入時情報の検索結果が表示されることで、オペレーターは、返品された商品が、自店舗で販売した商品であるのか否かを容易に判断することができる。また、当該判断に基づいて、不正返品を未然に防止するための対策を講じることができる。以下、各装置の機能について詳細に説明する。

まず、監視カメラ３は、主な機能構成として、全体撮像部３１、顧客撮像部３２および商品撮像部３３を有している。全体撮像部３１は、例えば天井に取り付けられたカメラにより、レジカウンター１０の周囲を撮像する。また、顧客撮像部３２は、例えばＰＯＳ端末１のカスタマーディスプレイ（図示省略）に設けられたカメラにより、レジカウンター１０前の顧客（特に上半身）を撮像する。また、商品撮像部３３は、例えば天井やＰＯＳ端末１の本体側面に設けられたカメラにより、精算対象となる商品を撮像する。なお、各撮像部３１，３２，３３を実現するために、それぞれ専用のカメラを設けるのではなく、１のカメラの撮像方向やズームを切り替え、各撮像部３１，３２，３３として機能できるようにしても良い。

マイク４は、主な機能構成として、音声取得部４１を有している。音声取得部４１は、例えばＰＯＳ端末１のカスタマーディスプレイに、レジカウンター１０前の顧客に向けて設けられた集音マイク（マイク４）により、顧客の音声を取得する。

レシートプリンター５は、主な機能構成として、会計情報取得部５１およびレシート印刷部５２を有している。会計情報取得部５１は、ＰＯＳ端末１から出力された会計情報（トランザクションデーター）を取得する。また、レシート印刷部５２は、会計情報取得部５１が取得した会計情報をレシート用紙に印刷し、レシートを発行する。

店舗管理サーバー６は、主な機能構成として、購入時情報記憶部６１および商品特徴量記憶部６２を有している。購入時情報記憶部６１は、商品購入時においてＰＯＳ端末１により生成された購入時情報を不揮発に記憶する。図２（ａ）は、購入時情報記憶部６１の記憶内容を示す図である。同図に示すように、購入時情報としては、会計処理（精算処理）ごとに、「精算情報」、「撮像画像」、「顔特徴量」および「声紋」を関連付けたものを記憶する。「精算情報」とは、購入された１以上の商品に関する情報であり、トランザクションデーター（精算日時、精算処理番号、商品名、商品コード、商品価格、合計金額などの情報を含む）、顧客ＩＤ、ＰＯＳ端末１のＩＤおよびオペレーターＩＤを含む。このうち、顧客ＩＤは、会員カードなどのロイヤリティカードの他、クレジットカード、電子マネーなどの利用結果から特定可能である。

また、「撮像画像」としては、上記の全体撮像部３１、顧客撮像部３２および商品撮像部３３によってそれぞれ撮像された全体撮像画像、顧客撮像画像および商品撮像画像を記憶する。なお、各撮像画像は、静止画であっても良いし、動画（精算処理の開始から終了までを記録した映像）であっても良い。また、「顔特徴量」は、顧客撮像部３２の撮像結果から得られる情報であり、「声紋」は、音声取得部４１によって取得した音声から得られる情報である。これら「顔特徴量」および「声紋」は、いずれも顧客を特定するための情報である。

一方、商品特徴量記憶部６２は、商品ごとの商品特徴量を不揮発に記憶する。ここでは、各商品について様々な角度から撮像し、その撮像結果から得られる商品特徴量を、予めデーターベース化しておくことを想定している。図２（ｂ）は、商品特徴量記憶部６２の記憶内容を示す図である。同図に示すように、「商品特徴量」は、「商品コード」に関連付けて記憶される。なお、「商品特徴量」とは、商品を特定するための情報であり、具体的には、商品の輪郭を示す形状データーや色特徴量を指す。その他、「商品特徴量」としては、商品の光学特徴量（反射率、コントラスト、輝度スペクトルの分布など）を記憶しても良い。

続いて、ＰＯＳ端末１の機能構成について説明する。図１に示すように、ＰＯＳ端末１は、主な機能構成として、会計処理部１１、画像処理部１２、音声処理部１３、返品処理検出部１４、購入時情報生成部１５、検索キー入力部１６、購入時情報検索部１７および検索結果出力部１８を有している。

会計処理部１１は、ＰＯＳアプリケーション（図示省略）を主要部とするものであり、精算処理や返品処理等の会計処理を実行する。また、それらの処理結果を、会計情報としてレシートプリンター５に出力する。

画像処理部１２は、監視カメラ３の撮像結果を取得して画像処理を行い、顧客の顔特徴量や商品特徴量を抽出する。具体的には、顧客撮像部３２の撮像結果である撮像画像を解析して顔領域を検出し、当該顔領域の画像を正規化して顔特徴量を抽出する。また、商品撮像部３３の撮像結果である撮像画像を解析して輪郭検出を行い、その輪郭を示す形状データーや商品の色特徴量を抽出する。また、音声処理部１３は、音声取得部４１によって取得された顧客の音声を分析して、声紋を抽出する。

返品処理検出部１４は、会計処理部１１において、返品処理の取引が開始されたことを検出する。具体的には、返品時に操作される返品キー（ＰＯＳ端末１に設けられた操作キーの一つ，図示省略）の押下を検出する。また、購入時情報生成部１５は、精算処理時において、上記の購入時情報を生成し、店舗管理サーバー６に出力する。

検索キー入力部１６は、顧客から返品申請があった場合、返品された商品の購入時情報を購入時情報記憶部６１から検索するための検索キーを入力する。図３に示すように、検索キー入力部１６によって入力可能な検索キーとしては、精算処理番号（レシート番号）、購入日時、商品名、商品コード、商品価格、顧客情報（顧客氏名ＩＤ、ロイヤリティカードのカード番号、クレジットカードのカード番号など）、レジ番号（ＰＯＳ端末１のＩＤ）、オペレーター情報（オペレーターＩＤなど）が挙げられる。なお、その他検索キーとしては、同図に示すように、商品撮像部３３の撮像結果から得られる商品特徴量、顧客撮像部３２の撮像結果から得られる顔特徴量、音声取得部４１によって取得した音声から得られる声紋などがある。これらを検索キーとして用いた場合の返品処理については、図６にて後述する。

購入時情報検索部１７は、検索キー入力部１６によって入力された検索キーと、返品処理時における商品撮像部３３、顧客撮像部３２および音声取得部４１の情報取得結果から得られる検索キーと、の少なくとも一方を用いて、購入時情報記憶部６１から、返品された商品に関する購入時情報を検索する。また、検索結果出力部１８は、購入時情報検索部１７の検索結果を、オペレーター用ディスプレイ１９に出力する。

図４は、オペレーター用ディスプレイ１９に表示された購入時情報検索部１７の検索結果（購入時情報）の一例を示す図である。同図に示すように、検索結果には、レジカウンター１０周りを全体的に撮像した全体撮像画像の表示領域１１０と、購入された商品を中心に撮像された商品撮像画像の表示領域１２０と、商品購入者である顧客を中心に撮像された商品撮像画像の表示領域１３０と、精算情報の表示領域１４０と、が含まれる。なお、購入時情報検索部１７の検索結果として複数の購入時情報が抽出された場合、その一覧表が表示され（図示省略）、その中から１の購入時情報を選択することにより、同図に示すような画面を表示させることができる。

次に、図５のフローチャートを参照し、店舗監視システムＳＹ１の購入処理について説明する。なお、同図および図６では、ＰＯＳ端末１を主体として説明する。ＰＯＳ端末１は、精算処理を実行すると（Ｓ１１，会計処理部１１）、監視カメラ３から顧客の撮像結果を取得すると共に、マイク４から顧客の音声を取得し（Ｓ１２）、顧客の顔特徴量および顧客の声紋を抽出する（Ｓ１３，画像処理部１２および音声処理部１３）。その後、抽出した顔特徴量および声紋を含む購入時情報を生成し（Ｓ１４，購入時情報生成部１５）、当該購入時情報を店舗管理サーバー６内の購入時情報記憶部６１に記録する（Ｓ１５）。

次に、図６のフローチャートを参照し、店舗監視システムＳＹ１の返品処理について説明する。ここでは、検索キー入力部１６による検索キーの入力を必要としない場合（商品特徴量、顔特徴量および声紋を検索キーとして用いる場合）を示す。ＰＯＳ端末１は、会計処理部１１による返品処理の開始を検出すると（Ｓ２１，返品処理検出部１４）、監視カメラ３から、返品された商品の撮像結果および顧客の撮像結果を取得すると共に、マイク４から顧客の音声を取得し（Ｓ２２）、商品の商品特徴量、顧客の顔特徴量および顧客の声紋を抽出する（Ｓ２３，画像処理部１２および音声処理部１３）。

ここで、抽出した商品特徴量が一致する商品特徴量の商品を含む購入時情報が購入時情報記憶部６１に存在するか否かを判別する（Ｓ２４）。つまり、当該工程では、商品特徴量記憶部６２を参照して、抽出した商品特徴量と一致する商品を特定し、当該商品を含む購入時情報を購入時情報記憶部６１から検索することにより判別する。ここで、商品特徴量が一致する商品特徴量の商品を含む購入時情報が存在する場合は（Ｓ２４：Ｙｅｓ）、続いて、抽出した顔特徴量が一致する顔特徴量を含む購入時情報が、Ｓ２４：Ｙｅｓの条件を満たす１以上の購入時情報内に存在するか否かを判別する（Ｓ２５）。ここで、抽出した顔特徴量が一致する顔特徴量を含む購入時情報が存在する場合は（Ｓ２５：Ｙｅｓ）、該当する購入時情報を抽出し（Ｓ２６）、抽出した購入時情報をオペレーター用ディスプレイ１９に表示させる（Ｓ２７，検索結果出力部１８）。

また、抽出した顔特徴量が一致する顔特徴量を含む購入時情報が存在しない場合は（Ｓ２５：Ｎｏ）、続いて、抽出した声紋が一致する声紋を含む購入時情報が、Ｓ２４：Ｙｅｓの条件を満たす１以上の購入時情報内に存在するか否かを判別する（Ｓ２８）。ここで、抽出した声紋が一致する声紋を含む購入時情報が存在する場合は（Ｓ２８：Ｙｅｓ）、該当する購入時情報を抽出して（Ｓ２６）、オペレーター用ディスプレイ１９に表示させる（Ｓ２７）。一方、Ｓ２４：ＮｏおよびＳ２８：Ｎｏの場合は、該当する購入時情報が存在しない旨を、オペレーター用ディスプレイ１９に表示させる（Ｓ２９，検索結果出力部１８）。なお、上記工程のうち、Ｓ２４ないしＳ２６およびＳ２８は、購入時情報検索部１７により実行される工程である。

このように、本実施形態の返品処理によれば、オペレーターがわざわざ検索キーを入力する手間を必要とすることなく、返品対象となる商品の購入時情報を検索して、オペレーター用ディスプレイ１９に表示させることができる。また、検索キーを入力する必要がないため、返品された商品に商品タグが残っておらず、購入時のレシートも存在しないような場合でも、対応可能である。但し、Ｓ２６において抽出された購入時情報が多数存在する場合は、オペレーターが、検索キー入力部１６を用いて検索キーを入力することにより、購入時情報を絞り込むことも可能である。

以上説明したとおり、第１実施形態に係る店舗監視システムＳＹ１によれば、顧客から商品の返品申請があった場合、返品対象となる商品の購入時情報を表示するため、オペレーターは、当該購入時情報に含まれる撮像画像から、購入時の状況を確認することができる。また、購入時情報には精算情報も含まれるため、当該精算情報に基づいて、迅速に返品処理を行うことができる。また、オペレーターは、例えば購入時情報を検索できなかった場合や購入者と返品申請者が異なる場合は、不正返品の可能性が高いと判断することができる。

また、購入時情報の検索では、返品処理の開始検出をトリガーとして行うため、返品申請時おいて、オペレーターの特別な操作を必要としない。また、返品された商品を撮像した撮像結果から得られる商品特徴量、返品申請者の顔を撮像した撮像結果から得られる顔特徴量および返品申請者から取得した音声の解析結果から得られる声紋、を検索キーとして、購入時情報を検索することができるため、オペレーターが検索キーを入力する手間を軽減することができる。また、返品申請時に商品だけが持ち込まれた場合でも（例えば、顧客が購入時のレシートを紛失してしまった場合でも）、返品処理を円滑に行うことができる。

なお、上記の実施形態において、検索結果出力部１８は、オペレーター用ディスプレイ１９に対して出力を行うものとしたが、プリンターへの出力、電子メールウィザードやＷｅｂアプリケーションへの出力を行っても良い。つまり、印刷媒体、電子メール、Ｗｅｂ上で、検索結果を確認できるようにしても良い。

また、上記の実施形態では、検索結果としてオペレーター用ディスプレイ１９に精算情報を表示したが（表示領域１４０参照）、これを利用して、精算情報の一部を修正することにより返品操作を行えるようにしても良い。この構成によれば、取消処理後に新たな精算情報を入力するといった手間を必要としないため、迅速に返品処理を行うことができる。

また、図６に示したフローチャートでは、商品特徴量が一致し、且つ顔特徴量または声紋が一致した場合に、該当する購入時情報を抽出したが、これらのａｎｄ条件やｏｒ条件を入れ替えても良い。例えば、全てａｎｄ条件に設定し、商品特徴量、顔特徴量および声紋が全て一致する購入時情報のみを抽出しても良い。また、使用する検索キーや条件（ａｎｄ条件またはｏｒ条件）を、ＰＯＳ端末１等の操作によって、ユーザーが設定可能としても良い。

［第２実施形態］
次に、図７を参照し、本発明の第２実施形態について説明する。上記の第１実施形態では、ＰＯＳ端末１を主体とした店舗監視システムＳＹ１を示したが、本実施形態は、レシートプリンター５を主体とする点で異なる。そこで、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図７は、第２実施形態に係る店舗監視システムＳＹ２のブロック図である。本実施形態は、レシートプリンター５が店舗内ＬＡＮ７に接続され、当該レシートプリンター５と、監視カメラ３、マイク４、ディスプレイ８およびキーボード９が、シリアル接続されている。

ここで、ディスプレイ８は、第１実施形態のオペレーター用ディスプレイ１９に相当し、検索結果表示部８１を主な構成要素とする。また、キーボード９は、第１実施形態の検索キー入力部１６に相当する検索キー入力部９１を主な構成要素とする。また、本実施形態のレシートプリンター５は、第１実施形態の画像処理部１２、音声処理部１３、返品処理検出部１４、購入時情報生成部１５、購入時情報検索部１７および検索結果出力部１８にそれぞれ相当する画像処理部５３、音声処理部５４、返品処理検出部５５、購入時情報生成部５６、購入時情報検索部５７および検索結果出力部５８を有している。

ここで、返品処理検出部５５は、レシートへの印刷データーとして用いられる会計情報に基づいて、返品処理の開始を検出する。具体的には、ＰＯＳ端末１から出力された印刷データーをタップしてテキストデーターに変換し、意味解析を行ってＰＯＳ端末１の処理内容を判定する。なお、レシートプリンター５が、カスタマーディスプレイ（図示省略）と接続されている場合は、ＰＯＳ端末１から出力されたカスタマーディスプレイへの表示データーをタップして、返品処理の開始を検出しても良い。また、返品処理時に操作される返品キー（ＰＯＳ端末１に搭載された操作キー）の操作結果を取得することによって返品処理の開始を検出することも可能である。この場合、ＰＯＳ端末１にＰＯＳキーボード用のフックドライバーをインストールすることにより、ＰＯＳキーボードの操作結果（キーコード）を会計情報取得部５１経由で返品処理検出部５５へ送信し、返品処理検出部５５により返品キーのキーコードを検出可能である。

以上説明したとおり、第２実施形態に係る店舗監視システムＳＹ２によれば、レシートプリンター５を主幹とすることで、ＰＯＳ基幹ネットワーク（ＰＯＳ端末１を主幹としたネットワーク）のトラフィックに影響を与えることがない。また、既存のＰＯＳシステムに本発明を適用する際、ＰＯＳ基幹ネットワーク自体の変更が不要となる。

［第３実施形態］
次に、図８および図９を参照し、本発明の第３実施形態について説明する。本実施形態は、上記の第２実施形態に対し、レシートプリンター５を主体として構成した点は一致するが、返品専用カウンター２００を設けた点が異なる。そこで、第２実施形態と異なる点のみ説明する。なお、本実施形態において、上記の各実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、上記の各実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。

図８は、第３実施形態に係る店舗監視システムＳＹ３のブロック図である。本実施形態において、各レジカウンター１０に設けられるレシートプリンター５は、第２実施形態と比較して、返品処理検出部５５、購入時情報検索部５７および検索結果出力部５８が省略されている。また、レシートプリンター５に、ディスプレイ８およびキーボード９が接続されていない点も異なる。

図９は、返品専用カウンター２００に含まれる構成要素のブロック図である。返品専用カウンター２００は、ＰＯＳ端末２０１と、レシートプリンター５０５と、監視カメラ２０３と、マイク２０４と、ディスプレイ２０８と、キーボード２０９と、から成る。ここでレシートプリンター５０５は、第２実施形態のレシートプリンター５の、会計情報取得部５１、画像処理部５３、音声処理部５４、返品処理検出部５５、購入時情報検索部５７、検索結果出力部５８およびレシート印刷部５２にそれぞれ相当する会計情報取得部２５１、画像処理部２５３、音声処理部２５４、返品処理検出部２５５、購入時情報検索部２５７、検索結果出力部２５８およびレシート印刷部２５２を有している。

また、ＰＯＳ端末２０１は、第２実施形態の会計処理部１１に相当する会計処理部２１１を有し、監視カメラ２０３は、第２実施形態の顧客撮像部３２および商品撮像部３３に相当する顧客撮像部２３２および商品撮像部２３３を有している。このように、返品専用カウンター２００では、全体撮像部３１が不要となる（購入時におけるレジカウンター１０周りの全体的な状況を撮像する必要がないため）。また、マイク２０４は、第２実施形態の音声取得部４１に相当する音声取得部２４１を有している。なお、監視カメラ２０３およびマイク２０４は、返品処理時において、顧客および商品を特定するために設けられたものである。また、ディスプレイ２０８は、第２実施形態の検索結果表示部８１に相当する検索結果表示部２８１を有し、キーボード２０９は、第２実施形態の検索キー入力部９１に相当する検索キー入力部２９１を有している。

以上説明したとおり、第３実施形態に係る店舗監視システムＳＹ３によれば、レシートプリンター５を主幹とすることで、第２実施形態と同様の効果を奏することができる。また、返品専用カウンター２００を設けたことで、各レジカウンター１０の構成を簡素化することができるため、レジカウンター１０が多数設けられた大型スーパーなどにおいては、システム導入の際のイニシャライズコストを軽減することができる。

以上、第１実施形態〜第３実施形態を示したが、上記の各実施形態で実行可能な店舗監視システムＳＹ１，ＳＹ２，ＳＹ３の処理工程をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供することも可能である。すなわち、コンピューターを、店舗監視システムＳＹ１，ＳＹ２，ＳＹ３の各構成要素として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれるものである。

また、上記の各実施形態では、本発明の返品処理装置を、店舗内における顧客の不正防止のために用いたが、他の用途（顧客サービス）を目的としても良い。また、店舗管理サーバー６の各部を、ＰＯＳシステムやＷＷＷサーバーで実現しても良い。その他、上述した実施例によらず、店舗監視システムＳＹ１，ＳＹ２，ＳＹ３のシステム構成や処理工程等について、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

１…ＰＯＳ端末 ２…ハンディスキャナー ３…監視カメラ ４…マイク ５…レシートプリンター ６…店舗管理サーバー ７…店舗内ＬＡＮ ８…ディスプレイ ９…キーボード １０…レジカウンター １１…会計処理部 １２…画像処理部 １３…音声処理部 １４…返品処理検出部 １５…購入時情報生成部 １６…検索キー入力部 １７…購入時情報検索部 １８…検索結果出力部 １９…オペレーター用ディスプレイ ３１…全体撮像部 ３２…顧客撮像部 ３３…商品撮像部 ４１…音声取得部 ５１…会計情報取得部 ５２…レシート印刷部 ２００…返品専用カウンター ＳＹ１，ＳＹ２，ＳＹ３…店舗監視システム

Claims (10)

1. 顧客を含むレジカウンター周りの状況を撮像する撮像部と、
   商品の購入時における前記撮像部の撮像結果である撮像画像と、前記商品の精算情報と、を関連付けた購入時情報を記憶する購入時情報記憶部と、
   顧客から前記商品の返品申請があった場合、前記購入時情報記憶部から、返品対象となる対象商品の前記購入時情報を検索する購入時情報検索部と、
   前記購入時情報検索部の検索結果を出力する検索結果出力部と、を備えたことを特徴とする返品処理装置。
2. 返品処理の取引が開始されたことを検出する返品処理検出部をさらに備え、
   前記購入時情報検索部は、前記返品処理検出部の検出をトリガーとして、前記返品処理の対象となる対象商品の購入時情報を検索することを特徴とする請求項１に記載の返品処理装置。
3. 前記撮像部は、購入された商品を含めて撮像することを特徴とする請求項１または２に記載の返品処理装置。
4. 前記商品ごとに、その撮像結果から得られる商品特徴量を記憶する商品特徴量記憶部をさらに備え、
   前記購入時情報検索部は、返品された商品の撮像結果と、前記商品特徴量記憶部との照合によって、前記対象商品を特定し、特定した当該対象商品に該当する前記購入時情報を、前記購入時情報記憶部から検索することを特徴とする請求項３に記載の返品処理装置。
5. 前記購入時情報記憶部は、前記撮像部の撮像結果から得られる前記顧客の顔特徴量を、前記撮像画像および前記精算情報と関連付けて記憶し、
   前記購入時情報検索部は、返品申請者の撮像結果から得られる顔特徴量と一致する顔特徴量が関連付けられた前記購入時情報を、前記購入時情報記憶部から検索することを特徴とする請求項１ないし３のいずれか１項に記載の返品処理装置。
6. 顧客の音声を取得する音声取得部をさらに備え、
   前記購入時情報記憶部は、前記音声取得部により取得した音声の解析結果から得られる前記顧客の声紋を、前記撮像画像および前記精算情報と関連付けて記憶し、
   前記購入時情報検索部は、返品申請者の音声から得られる声紋と一致する声紋が関連付けられた前記購入時情報を、前記購入時情報記憶部から検索することを特徴とする請求項１ないし３のいずれか１項に記載の返品処理装置。
7. 前記購入時情報検索部は、精算処理番号、購入日時、商品名、商品コード、商品価格、顧客情報、レジ番号、オペレーター情報のうち、少なくとも１の情報を検索キーとして、前記購入時情報を検索することを特徴とする請求項１ないし６のいずれか１項に記載の返品処理装置。
8. 商品の購入時において顧客を含むレジカウンター周りを撮像した撮像画像と、前記商品の精算情報と、を関連付けた購入時情報を記憶する購入時情報記憶部を備えた返品処理装置の制御方法であって、
   前記返品処理装置が、
   顧客から前記商品の返品申請があった場合、前記購入時情報記憶部から、返品対象となる対象商品の前記購入時情報を検索する購入時情報検索ステップと、
   前記購入時情報検索ステップによる検索結果を出力する検索結果出力ステップと、を実行することを特徴とする返品処理装置の制御方法。
9. 前記返品処理装置が、
   返品処理の取引が開始されたことを検出する返品処理検出ステップをさらに実行し、
   前記購入時情報検索ステップでは、前記返品処理検出ステップによる検出をトリガーとして、前記返品処理の対象となる対象商品の購入時情報を検索することを特徴とする請求項８に記載の返品処理装置の制御方法。
10. コンピューターに、請求項８または９に記載の返品処理装置の制御方法における各ステップを実行させるためのプログラム。

Images