JP2015106380A - セルフチェックアウト端末 - Google Patents

Abstract

【課題】商品のすり替えを防止できるセルフチェックアウト端末を提供すること。【解決手段】顧客による商品名の入力により会計登録を行う会計登録部３８と、スケール２２により計量される商品重量を処理する重量処理部４４と、前記顧客により前記スケールに移動される商品が撮影された商品画像を画像処理する画像処理部４２と、前記商品重量及び前記商品画像を前記会計登録された商品と対比して、一致する場合に前記会計登録を確定する会計登録確定部４６と、を備え、前記会計登録確定部は、前記撮影された商品画像の中から、前記商品が前記スケールに近接する位置で撮影された特定の商品画像を、前記会計登録された商品と対比する。【選択図】図４

Description

本発明は、セルフチェックアウト端末における商品の会計登録処理に関する。

セルフチェックアウトシステム（以下ＳＣＯとも略す）は、スーパーマーケットなどの小売店に買い物に来た顧客が、購入する商品のバーコードを自分で読み取らせ、精算まで行うセルフレジのことである。人件費の削除効果があることから、市場への普及が期待されている。

セルフチェックアウトシステム（セルフレジシステム）では、顧客が自ら商品の登録（会計登録）を行う。通常の商品については、顧客はスキャナで商品のバーコードを読取って商品コードを入力する。しかし、果物や野菜のようにバーコードが貼付されていないものについては、顧客がレジの端末から商品種類を入力する。そして、顧客の入力した商品が正しいものであるかが、レジに設けられたカメラにより撮影された商品画像及びレジに設けられた秤による重量により確認される（例えば、特許文献１）。

特表２００５−５２６３２３号公報

上述のようにセルフレジシステムでは、バーコードが貼付されていない商品の登録につき、カメラによる画像と秤による重量とを、端末に入力された商品種類に基づく情報と照合することで、顧客の端末への入力ミスや不正の防止を図っている。

しかし、顧客の入力ミスは防止できても、商品のすり替えを防止するに十分とは言えない。例えば、レジ端末で安価な商品を入力し、かつカメラによる撮影画像でその安価な商品を撮影させておき、秤に乗せる途中で安価な商品を同等な重量の高価な商品にすり替えるような行為を防止することは、簡単にはできない。

本願発明は、上記課題に鑑み、商品のすり替えを防止できるセルフチェックアウト端末を提供することを目的とする。

上記目的を達成するために、セルフチェックアウト端末は、顧客による商品名の入力により会計登録を行う会計登録部と、スケールにより計量される商品重量を処理する重量処理部と、前記顧客により前記スケールに移動される商品が撮影された商品画像を画像処理する画像処理部と、前記商品重量及び前記商品画像を前記会計登録された商品と対比して、一致する場合に前記会計登録を確定する会計登録確定部と、を備え、前記会計登録確定部は、前記撮影された商品画像の中から、前記商品が前記スケールに近接する位置で撮影された特定の商品画像を、前記会計登録された商品と対比する。

本発明によれば、商品のすり替えを防止できるセルフチェックアウト端末を提供することができる。

セルフレジシステムの全体構成を示す図である セルフチェックアウト端末を正面から見た外観図である。 顧客がセルフチェックアウト端末を利用している様子を示す図である。 ストアサーバとセルフチェックアウト端末のハードウェア構成を示すブロック図である。 非バーコード商品における会計登録の処理の流れを説明する図である。 ディスプレイへの会計登録の様子を示す図である。 会計登録の確定処理の手順を説明するフローチャートである。 カメラにより撮影される画面例である。 商品を移動させる顧客の様子と商品画像を対比して示す図である。 重量変化に対応して選択される商品画像の関係を示すタイミングチャートである。

以下、図面に従って本発明の実施形態を説明する。図１は、セルフレジシステム１の全体構成を示す図である。セルフレジシステム（セルフチェックアウトシステム）１は、小売り店舗内で運用されるもので、顧客自身が商品の精算をおこなうことで、レジ待ち時間の短縮や人的コストの低減を図ることが可能な商品精算システムである。

セルフレジシステム１は、商品を販売する小売店舗において、セルフチェックアウト端末１０を運用するシステムである。セルフレジシステム１は、セルフチェックアウト端末（ＳＣＯとも略す）１０、ストアサーバ３、従業員用監視端末５、これらを通信可能に接続するネットワーク７を備えて構成される。セルフレジシステム１は、店舗内のセルフレジエリアに、１つ以上（例えば、図１では４台）のセルフチェックアウト端末１０と１つの従業員用監視端末５を備え、バックヤード（売り場外）にストアサーバ３を備える。

セルフチェックアウト端末１０は、顧客によるセルフチェックアウトを可能とするサービスを提供する。従業員用監視端末５は、セルフチェックアウト端末１０を利用する顧客による不正の監視と、不案内な顧客への操作案内や、顧客の誤操作の訂正などの顧客サービスをおこなう。

ストアサーバ３は、セルフチェックアウト端末１０により登録された販売情報を一元管理する。ストアサーバ３は、サーバ本体３ａ、商品情報ＤＢ(データベース)３ｂや売上情報ＤＢ（データベース）３ｃを備え、セルフチェックアウト端末１０と通信して、セルフチェックアウト端末１０に商品情報等を提供し、セルフチェックアウト端末１０から送られる商品の売上情報を記憶し管理する。

図２は、セルフチェックアウト端末１０を正面から見た外観図である。図３は、顧客がセルフチェックアウト端末１０を利用している様子を示す図である。セルフチェックアウト端末１０は、顧客が自分自身で商品の精算をおこなうための端末装置である。

セルフチェックアウト端末１０は、向かって右側のラック１１ａと左側のラック１１ｂから構成される。ラック１１ａは、セルフチェックアウト端末１０を統括的に制御する制御装置や、外部との通信装置、電源装置などを有する。ラック１１ｂは、会計登録した商品が載置される置台で、置台には商品重量を計測するためのスケール２４が設けられる。

ラック１１ａの上部には、ディスプレイ１２、磁気カードリーダ１３、バーコードスキャナ１４、タッチスキャナ１５、プリンタ１６およびカメラ２３が設けられる。バーコードスキャナ１４およびタッチスキャナ１５は、レーザ走査線を商品に照射して、商品に付されたバーコードを読み取る。バーコードスキャナ１４は、セルフチェックアウト端末１０に固定して設けられる。タッチスキャナ１５は、セルフチェックアウト端末１０に有線で接続して設けられる。図３に示すように、顧客はバーコードが貼付された商品について、自らバーコードスキャナ１４及びタッチスキャナ１５を操作して登録を行う。セルフチェックアウト端末１０は、読み取った情報にもとづいて商品を精算対象として会計登録する。

ディスプレイ１２は、所要の情報の表示出力をおこなう。ディスプレイ１２は、セルフチェックアウト端末１０の操作案内や操作メニューの表示、読み取ったバーコードにもとづいて商品名、商品単価、商品重量などの商品の精算に伴う情報、精算時の預かり金額、買い物合計金額、釣銭額などの情報を表示する。また、ディスプレイ１２には、タッチパネル機能が備わっていて、ディスプレイ１２のガイド表示にしたがった顧客のタッチ操作による入力も受け付ける。

また、商品の中には、野菜や果物のようにバーコードが貼付されていない商品（以下、非バーコード商品と称す）もあり、このような非バーコード商品については、顧客がディスプレイ１２で該当する商品を指定することで、会計登録を行う。

磁気カードリーダ１３は、支払い（精算）の際に、磁気カード（たとえば、クレジットカード）の磁気ストライプに記録された情報を読み取る。プリンタ１６は、精算処理後に精算内容を印字したレシートを顧客に発券する。カメラ２３は、バーコードスキャナ１４等で登録あるいはディスプレイ１２で登録された商品を撮影する。

ラック１１ａには、中央に商品１００を一時的に乗せるためのテーブル２２、右側に商品精算時に顧客の進入方向となる位置に買い物かご載置台１７が設けられる。買い物かご載置台１７は、客が会計登録前の商品１００を入れた買い物かご１１０を載置する台である。

また、ラック１１ａには、テーブル２２の下部に、硬貨投入口１８、紙幣入出口１９、硬貨返金口２０、硬貨出金口２１が設けられる。ラック１１ａの内部に設けられる釣札機と釣銭機と、硬貨投入口１８、紙幣入出口１９、硬貨返金口２０、硬貨出金口２１が連結される。硬貨投入口１８は、釣銭機に入金される硬貨の投入口である。紙幣入出口１９は、釣札機に入金される紙幣の投入口、及び釣札機から出金される紙幣の取り出し口である。硬貨返金口２０は、釣銭機から返金される硬貨の取り出し口である。硬貨出金口２１は、釣銭機から出金される硬貨の取り出し口である。

スケール２４は、会計登録された商品の重量（以下、商品重量と呼ぶ）を一品ずつ計量する。通常、スケール２４には買い物かご１１０が置かれて、会計登録された商品は次々に買い物かご１１０に入れられていき、増加した重量が各商品重量としてカウントされていく。セルフチェックアウト端末１０は、バーコードで会計登録された商品については、商品情報ＤＢ３ｂによる商品重量と、スケール２４により計量された実際の重量との差が所定の許容範囲内にあれば、精算対象として商品登録を確定する。

また、セルフチェックアウト端末１０は、ディスプレイ１２で商品名を入力した非バーコード商品については、商品重量の確認に加えて、カメラ２３により撮影された商品画像によるチェックを行って、会計登録を確定する。商品画像による確認については、後述する。

全ての商品の会計登録が完了すると、顧客は、精算処理を行う。顧客は、磁気カードリーダ１３にクレジットカードを読み取らせるか、あるいは紙幣入出口１９への紙幣投入や硬貨投入口１８への硬貨投入により商品の精算を行う。セルフチェックアウト端末１０は、釣銭が生じた場合、釣銭機からの硬貨払い出し、釣札機からの紙幣払い出しにより釣銭を払い出す。セルフチェックアウト端末１０は、プリンタ１６により精算内容を印字したレシートを発券する。

図４は、ストアサーバ３とセルフチェックアウト端末１０のハードウェア構成を示すブロック図である。ストアサーバ３は、サーバ本体３ａ、商品情報ＤＢ３ｂ、売上情報ＤＢ３ｃを有する。サーバ本体３ａは、ストアサーバ３を統括的に制御する制御部で、プログラムに従って処理を実行するＣＰＵ（不図示）と、その処理プログラムが格納される記憶部（不図示）を有する。商品情報ＤＢ３ｂや売上情報ＤＢ３ｃは、不図示のメモリ（例えばハードディスク）に格納される。

商品情報ＤＢ３ｂは、商品情報として、商品を識別するための商品コード（商品コード情報）、商品名や価格などが登録された商品マスタ（商品マスタ情報）、重量マスタ（商品重量情報）、および商品の形態が記述された商品形態情報を有する。商品重量情報は、予め登録された商品の重量で、一定の幅があってもよい。商品重量情報は、会計登録された商品と現に計量された商品とが同一であるかを、重量の観点から判断するための基準である。

商品形態情報は、会計登録された商品と現に計量された商品とが同一であるかを、カメラ２３で現に撮影された画像から判断するための基準である。商品形態情報は、特に、非バーコード商品の登録に際して不正を防止するための情報である。商品形態情報は、例えば、商品がリンゴの場合には、色：赤、形状：丸、サイズ：直径８０〜１２０ｍｍというような内容である。なお、商品形態情報としては、カメラ２３で撮影される商品画像と比較するための、該当する商品の画像（参照画像）そのものであってもよい。

各セルフチェックアウト端末１０は、前述のようにストアサーバ３とネットワーク７で接続される。セルフチェックアウト端末１０は、ＰＯＳ３０を有する。ＰＯＳ３０は、プログラムに従って処理を実行するＣＰＵ（不図示）とそのプログラムが格納される記憶部（不図示）を有する。ＰＯＳ３０は、データベースアクセス部３２、スキャン処理部３４、入力／表示処理部３６、会計登録部３８、カメラ制御部４０、画像処理部４２、重量処理部４４、会計登録確定部４６及び精算処理部４８を有する。データベースアクセス部３２〜精算処理部４８の各機能は、ＰＯＳ３０のＣＰＵにより実現される機能部である。

データベースアクセス部３２は、ストアサーバ３の商品情報ＤＢ３ｂまたは売上情報ＤＢ３ｃにアクセスして、商品情報ＤＢ３ｂから必要な商品情報を取得し、あるいは売上情報ＤＢ３に売上情報を送信する。スキャン処理部３４は、バーコードスキャナ１４またはタッチスキャナ１５によりスキャンされた商品のバーコード情報を読込んで、商品コードに変換する処理を行う。

入力／表示処理部３６は、ディスプレイ１２に、セルフチェックアウト端末１０の操作案内や操作メニューの表示、読み取ったバーコードにもとづいて商品名、商品単価、商品重量などの商品の精算に伴う情報、精算時の預かり金額、買い物合計金額、釣銭額などの情報を表示する処理を行う。また、入力／表示処理部３６は、ディスプレイ１２への顧客のタッチ入力を処理し、非バーコード商品に対して顧客により入力された商品名を受け付ける。

会計登録部３８は、バーコード商品についてはバーコードスキャナ１４等で読みこまれたバーコード情報により会計登録を行い、非バーコード商品については顧客によりディスプレイ１２に入力された商品名で会計登録を行う。

カメラ制御部４０は、カメラ２３の撮影開始・終了の制御、あるいは画角・明るさ等の撮影条件の制御を行う。画像処理部４２は、カメラ２３で撮影された画像または画像から商品画像の部分を切出した画像を内部のメモリに記憶する。画像処理部４２は、さらに、メモリに記憶された画像から商品部分の輪郭抽出や色成分の抽出を行い、抽出した輪郭から実際の商品サイズや形状を決定し、また色成分から商品の色を決定する。重量処理部４４は、スケール２４に載置された商品の重量を計測して処理する。

会計登録確定部４６は、バーコード商品の場合には、バーコードで会計登録された商品の重量情報と重量処理部４４で計測された実際の商品の重量を比較して、合致すれば、会計登録を確定する。また、会計登録確定部４６は、非バーコード商品の場合には、顧客により入力されて会計登録された商品について、商品重量だけではなく、カメラ２３で撮影され画像処理部４２で処理された商品画像との照合を行って、一致する場合に会計登録を確定する。特に、会計登録確定部４６は、撮影された商品画像の中から、商品がスケール２４に近接する位置で撮影された特定の商品画像を、会計登録された商品の商品形態情報と対比して、一致する場合に会計登録を確定する。

精算処理部４８は、全商品の会計登録確定終了後に、会計登録が確定された商品を合算して精算を行う。精算処理部４８は、クレジットカード払いの場合には、ストアサーバ３と通信して処理を行い、現金で支払いされた場合には、計算して釣銭機・釣札機２７から釣銭を支払う。

図５は、非バーコード商品における会計登録の処理の流れを説明する図である。セルフチェックアウト端末（ＳＣＯ）側処理を左列に、顧客側処理を右列にして、両者の関係を示す。なお、セルフチェックアウト端末（ＳＣＯ）による処理をステップＱ、顧客による処理をステップＰで示す。

顧客がディスプレイ１２に入力操作を開始する（ステップＰ１）。図６は、顧客がディスプレイ１２に会計登録をしている様子を示す図である。ディスプレイ１２には、非バーコード商品が例えばアイコンで表示され、顧客はアイコン列から登録するアイコンを選択してタッチする。顧客がディスプレイ１２に表示された商品（アイコン）をタッチすることで、入力操作が終了し（ステップＰ２）、入力された商品で会計登録が行われる（ステップＱ１）。

入力操作（会計登録）が終了すると、商品撮影が開始される（ステップＱ２）。顧客は商品を手に持って、スケール２４への移動を開始する（ステップＰ３）。顧客は商品をスケール２４に接近させて（ステップＰ４）、商品をスケール２４に載置する（ステップＰ５）。

商品がスケール２４に載置されて、商品重量が計測され確定される（ステップＱ３）。あわせて、商品撮影が終了する（ステップＱ４）。顧客により商品が正しく登録されたかの商品チェックが行われる（ステップＱ５）。ステップＱ１で会計登録された商品に対応する商品情報と、実際の商品重量と商品画像とを比較することで、商品チェックが行われる。商品チェックで正しいと判断された場合には、会計登録が確定される（ステップＱ６）。

図７は、会計登録から確定処理までの手順を具体的に説明するフローチャートである。なお、図７は、非バーコード商品の会計登録の処理で、バーコード商品の会計登録は含まない。

会計登録部３８は、非バーコード商品（バーコードなし商品）が会計登録されたかを判断する（ステップＳ１０）。会計登録部３８は、顧客からのタッチ操作入力をディスプレイ１２から通知されて、非バーコード商品が会計登録されたことを判断する。会計登録部３８は、非バーコード商品が会計登録されるまで（ステップＳ１０Ｎｏ）、ステップＳ１０をループする。

会計登録部３８は、非バーコード商品が会計登録されたと判断すると（ステップＳ１０Ｙｅｓ）、会計登録部３８は、商品情報を取得する（ステップＳ１２）。会計登録部３８は、データベースアクセス部３２により、ストアサーバ３の商品情報ＤＢ３ｂから、ディスプレイ１２で顧客により選択された商品の商品情報を取得する。取得される商品情報には、商品マスタ情報、商品重量情報及び商品形態情報が含まれる。

会計登録後に商品撮影を開始する（ステップＳ１４）。カメラ制御部４０は、カメラ２３の撮影を開始する。図８は、カメラ２３により撮影される画面例である。商品として果物を例にするが、商品を持つ顧客の手の部分は省略して示す。また、図８では、顧客によりスケール２４まで移動される商品１００につき、商品の３つの位置（１００ａ、１００ｂ、１００ｃ）を１画面にまとめて示す。また、スケール２４には商品を入れるための買い物かご１１０が載置される。

図９は、セルフチェックアウト端末１０に向かって商品を移動させる顧客の様子（後ろ姿）とその時点の商品画像を対比して示す図である。図９（Ａ）から図９（Ｄ）は、時系列の順番である。また、図９（Ａ）、（Ｃ）、（Ｄ）の下に、対応するタイミングで撮影された画像を示す。ここでは、商品画像の部分を切出して示す。以降、図７のフローチャートを、図８、図９を参照しながら説明する。

画像処理部４２は、撮影画像を不図示のメモリに記録していく。図９（Ａ）は、商品撮影開始時の顧客の様子である。顧客は、ディスプレイ１２での会計登録後に、テーブル２２の上で手に商品１００ａを持つ。商品撮影開始時の商品１００ａは、図８では左側に位置する。図９（Ａ−２）は、図８の商品１００ａを含む破線で囲まれた部分画像Ｒ１である。

画像処理部４２は、商品がスケール２４付近に移動したかを判断する（ステップＳ１６）。画像処理部４２は、撮影画像を解析して、画面の中でスケール２４に対する商品１００の位置関係から、商品１００がスケール２４付近に移動したかを判断する。画像処理部４２は、商品がスケール２４付近に移動したと判断するまで（ステップＳ１６Ｎｏ）、ステップＳ１６をループする。図９（Ｂ）は、商品１００をスケール２４に移動する途中の顧客の状態である。

画像処理部４２は、商品１００がスケール２４付近に移動したと判断すると（ステップＳ１６Ｙｅｓ）、撮影開始からスケール２４付近に移動するまでに撮影されて記録された画像を、前半商品画像として区分する。図９（Ｃ）は、顧客が商品１００をスケール２４付近まで移動した様子である。スケール２４付近に移動された商品画像１００ｂは、図８では中央に位置する。図９（Ｃ−２）は、図８の商品１００ｂを含む破線で囲まれた部分画像Ｒ２である。

画像処理部４２により商品１００がスケール２４付近に移動したと判断されると（ステップＳ１６Ｙｅｓ）、画像処理部４２は、後半商品撮影を開始する（ステップＳ１８）。カメラ２３による撮影は連続して行われているが、画像処理部４２は、商品１００がスケール２４付近に移動した後に撮影されて記録された画像を、後半商品画像として区分する。

重量処理部４４が、商品１００の重量が確定したかを判断する（ステップＳ２０）。重量処理部４４が、商品１００がスケール２４に載置されて重量変動が一定以内に収斂した場合に重量が確定したと判断する。重量処理部４４によって商品１００の重量が確定したと判断されるまで（ステップＳ２０Ｎｏ）、ステップＳ２０をループする。

重量処理部４４によって商品１００の重量が確定したと判断されると（ステップＳ２０Ｙｅｓ）、カメラ制御部４０は、商品撮影を終了する（ステップＳ２２）。図８で、商品１００ｃは、スケール２４上の買い物かご１１０に入れられる直前の状態である。図９（Ｄ−２）は、図８の商品１００ｃを含む破線で囲まれた部分画像Ｒ３である。商品撮影終了後、商品チェックが開始される。

会計登録確定部４６は、前半商品画像と後半商品画像が一致するかを判断する（ステップＳ２４）。これは、スケール２４に乗せる直前に、低価格商品から同等な重量の高価格商品にすり替えられるのを防止するためである。

画像処理部４２は、前半商品画像の中から選択した１枚以上の画像（例えば、商品１００aの画像）と、後半商品画像の中から選択した１枚以上の画像（例えば、商品１００ｃの画像）について、輪郭抽出や色成分の抽出を行い、抽出した輪郭から実際の商品サイズや形状をそれぞれ決定し、また色成分から商品の色をそれぞれ決定する。会計登録確定部４６は、画像処理部４２によって決定された前半商品画像と後半商品画像のサイズ・形状・色等を比較して、前半と後半での商品の同一性を判断する。なお、同一性の判断についても、画像処理部４２が行ってもよい。

会計登録確定部４６は、前半商品画像と後半商品画像が一致しないと判断すると（ステップＳ２４Ｎｏ）、ディスプレイ１２への表示や音声によって、商品撮影についてリトライを行うよう顧客に指示して(ステップＳ３０)、ステップＳ１４に戻る。なお、前半商品画像と後半商品画像との比較を、抽出した特徴点で比較すると説明したが、抽出した前後半の商品画像の差分をとって、同一性を比較するようにしてもよい。

会計登録確定部４６は、前半商品画像と後半商品画像が一致すると判断すると（ステップＳ２４Ｙｅｓ）、次に、会計登録確定部４６は、商品画像が商品情報と一致するかを判断する（ステップＳ２６）。ステップＳ１０で会計登録された商品が、実際にスケール２４に載置されたかを判断するためである。

具体的には、まず会計登録確定部４６は、会計登録された商品の商品情報をデータベースアクセス部３２を介して商品情報ＤＢ３ｂから取得する。会計登録確定部４６は、商品情報の商品形態情報を利用する。商品形態情報は、前述のように例えば商品がリンゴの場合には、「色：赤、形状：丸、サイズ：直径８０〜１２０ｍｍ」というような内容である。

画像処理部４２は、照合用の商品画像として、撮影された商品画像の中から、スケール２４に商品が近接した位置にある特定の商品画像を照合用画像として選択する。比較用の商品画像としては、スケール２４上の買い物かご１１０に入れられる直前の商品画像が、適しているからである。なぜなら、買い物かご１１０に入れられるより何秒も前の商品画像であるとその後に商品がすり替えられるおそれがあるし、逆に、買い物かご１１０に入れられた後の画像であると、当該商品が他の商品と紛れてしまい、画像から当該商品を認定することが難しくなるからである。画像処理部４２は、重量処理部４４による重量の変動から商品が載置されるタイミングに基づいて、照合用画像を選択する。

図１０は、重量処理部４４により計測される重量の時間変化と対応して選択される商品画像の関係を示すタイミングチャートである。図１０（Ａ）はステップＳ１０の会計登録のタイミングを示すチャートで、図１０（Ｂ）は商品重量Ｗｇの変化を示すチャートで、図１０（Ｃ）は画像の撮影タイミングを示すチャートである。

図１０（Ａ）のｔ１で会計登録がされたとすると、会計登録の通知を受けてカメラ制御部４０は撮影を開始する。撮影は、例えば１／３０ｓｅｃ間隔で行われ、撮影される画像を順番にＦ１、Ｆ２・・・とする。商品１００がスケール２４上の買い物かご１１０に乗せられると、商品重量が変化し（ｔ２）、その後収斂して商品重量は一定になる（ｔ３）。重量処理部４４から一定になったことの通知を受けて、カメラ制御部４０は撮影を終了する。最後に撮影される画像が、Ｆｍである。

画像処理部４２は、商品重量が一定になったタイミングｔ３より所定時間（ΔＴ）前の画像Ｆｉを照合用の画像とし、メモリから画像Ｆｉを読み出す。ΔＴは、例えば１．５秒である。なお、照合画像は、１枚には限らず、Ｆｉの前後の複数枚としてもよい。また、画像処理部４２は、商品重量が大きく変化したタイミングｔ２として、ｔ２より所定時間（ΔＴ´）前の画像Ｆｉを照合画像としてもよい。ΔＴ´は、例えば１秒である。なお、照合画像は、後半商品画像に含まれる画像である。

また、照合画像の選択は、スケール２４による重量変化を利用せずに、画像を解析して、商品とスケール２４の相対位置関係から直接判断するようにしてもよい。例えば、スケール２４の真上まで商品１００が移動した場合に、前記スケールに近接した位置と判断する。

画像処理部４２は、選択してメモリから読み出した照合画像から輪郭抽出や色成分の抽出を行い、抽出した輪郭から実際の商品サイズや形状を決定し、また色成分から商品の色を決定する。ただし、画像処理部４２は、商品の大部分を顧客の手が覆ったりあるいはぶれて撮影されたことによって、選択した照合画像が商品サイズ・形状や色の情報を得るに十分でないと判断する場合には、代りにその前後（例えば、０．５秒程度）に撮影された他の画像を照合画像として選択してもよい。

会計登録確定部４６は、会計登録された商品の商品形態情報の商品サイズ・形状や色と、画像処理部４２で決定された照合画像の商品サイズ・形状や色を比較して、一致するかを判断する。

会計登録確定部４６は、商品画像が商品情報の商品形態情報と一致しないと判断すると（ステップＳ２６Ｎｏ）、ステップＳ３０に進み、前述のようにリトライ指示をした後、ステップＳ１４に進む。会計登録確定部４６は、商品画像が商品情報の商品形態情報と一致すると判断すると（ステップＳ２６Ｙｅｓ）、会計登録確定部４６は、商品重量が商品情報に適合するかを判断する（ステップＳ２８）。会計登録確定部４６は、重量処理部４４から通知される商品重量が商品情報の商品重量情報に規定された重量の範囲内であるかを判断する。

会計登録確定部４６は、商品重量が商品情報に適合しないと判断する（ステップＳ２８Ｎｏ）、ステップＳ３０に進み、前述のようにリトライ指示（ステップＳ３０）をした後、ステップＳ１４に進む。

会計登録確定部４６は、商品重量が商品情報に適合すると判断すると（ステップＳ２８Ｙｅｓ）、会計登録を確定する（ステップＳ３２）。以上で、商品チェックが終了する。精算処理部４８は、顧客からのディスプレイ１２での終了指示により、バーコード商品も含めて、全ての商品の会計登録が終了したかを判断する（ステップＳ３４）。精算処理部４８は、全ての商品の会計登録が終了していないと判断すると（ステップＳ３４Ｎｏ）、ステップＳ１０に戻る。

精算処理部４８は、全ての商品の会計登録が終了したと判断すると（ステップＳ３４Ｙｅｓ）、精算処理を行う（ステップＳ３６）。前述のように、精算処理部４８は、クレジットカード払いの場合にはストアサーバ３と通信して処理を行い、現金が入金された場合には現金処理を行う。精算処理部４８は、プリンタ１６からレシートを発行し、必要に応じて計算して釣銭機・釣札機２７からお釣りを返却する（ステップＳ３８）。以上により、セルフレジシステム１における会計処理が終了する。

これにより、非バーコード商品の会計登録時に、重量と併せて画像識別を用いて商品の色や形についても確認することによって商品のすり替え行為を防止することができる。
また、会計登録して商品をスケールに載せるまでの画像を前後半に二分し、両方の撮影画像と比較して商品チェックを行うことによって、途中での商品のすり替えを防止することができる。

さらに、チェック用の照合画像として、スケール上の買い物かごに乗せられる直前の画像を用いるので、途中での商品のすり替えを防止することができるとともに、商品が買い物かごに隠れて、判断ができなくなるおそれもない。
スケールの重量変化のタイミングを利用してスケール上の買い物かごに乗せられる直前の画像を選択するので、画像解析に比べて簡単に直前の画像を選択することができる。

また、上述した実施形態は、種種の変形が可能である。
なお、画角が固定された状態で撮影される例を説明したが、カメラは、その方向が商品の移動に応じて変化するタイプであってもよい。

なお、スケール上の買い物かごに乗せられる直前の画像を選択する手段として、スケール変化のタイミングや画像解析による例を説明したが、スケール上の買い物かごの近傍に、商品の通過を検知する近接センサを配置して、このセンサのタイミングで照合画像を選択するようにしてもよい。

また、上記説明では、会計登録確定部４６や画像処理部４２を、ＰＯＳ装置３０のＣＰＵによるソフトウエア処理して説明したが、一部あるいは全部をハードウェア処理とすることも可能である。

なお、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能である。

１ セルフレジシステム
３ ストアサーバ
３ａ サーバ本体
３ｂ 商品情報ＤＢ
３ｃ 売上情報ＤＢ
１０ セルフチェックアウト端末
１２ ディスプレイ
１４ バーコードスキャナ
１５ タッチスキャナ
１６ プリンタ
１７ 買い物かご載置台
２２ テーブル
２３ カメラ
２４ スケール
３０ ＰＯＳ装置
３２ データベースアクセス部
３４ スキャン処理部
３６ 入力／表示処理部
３８ 会計登録部
４０ カメラ制御部
４２ 画像処理部
４４ 重量処理部
４６ 会計登録確定部
４８ 精算処理部
１００ 商品
１１０ 買い物かご

Claims (6)

1. 顧客による商品名の入力により会計登録を行う会計登録部と、
   スケールにより計量される商品重量を処理する重量処理部と、
   前記顧客により前記スケールに移動される商品が撮影された商品画像を画像処理する画像処理部と、
   前記商品重量及び前記商品画像を前記会計登録された商品と対比して、一致する場合に前記会計登録を確定する会計登録確定部と、を備え、
   前記会計登録確定部は、前記撮影された商品画像の中から、前記商品が前記スケールに近接する位置で撮影された特定の商品画像を、前記会計登録された商品と対比する
   ことを特徴とするセルフチェックアウト端末。
2. 前記会計登録確定部は、前記顧客による商品名の入力により前記撮影が開始されてから前記商品が前記スケール付近に移動されるまでの間に撮影された前半画像と、前記スケール付近に移動された商品が前記スケールに載置されるまでの間に撮影された後半画像とを比較して、前記前半画像の商品と前記後半画像の商品が同一である場合に、前記会計登録を確定する
   ことを特徴とする請求項1に記載のセルフチェックアウト端末。
3. 前記画像処理部は、前記重量処理部により検知される前記商品重量の変化のタイミングよりも所定時間前の画像を、前記特定の商品画像として選択する
   ことを特徴とする請求項1に記載のセルフチェックアウト端末。
4. 前記画像処理部は、前記商品画像における前記商品と前記スケールとの相対位置関係から、前記撮影された商品画像の中から前記特定の商品画像を選択する
   ことを特徴とする請求項1に記載のセルフチェックアウト端末。
5. 前記商品は、バーコードが貼付されていない商品である
   ことを特徴とする請求項1乃至４のいずれか１項に記載のセルフチェックアウト端末。
6. セルフチェックアウト端末における会計登録確定方法において、
   顧客による商品名の入力により会計登録を行う会計登録ステップと、
   前記顧客によりスケールに移動される商品の商品画像を撮影する撮影ステップと、
   前記スケールにより商品重量を計量する計量ステップと、
   前記商品重量及び前記商品画像を前記会計登録された商品と対比して、一致する場合に前記会計登録を確定する会計登録確定ステップと、を備え、
   前記会計登録確定ステップは、前記撮影された商品画像の中から、前記スケールに近接する位置で撮影された特定の商品画像を、前記会計登録された商品と対比するステップを含む
   ことを特徴とする会計登録確定方法。