JP2016062547A - 商品登録装置、商品登録装置の商品登録/取消方法および商品登録/取消プログラム - Google Patents

商品登録装置、商品登録装置の商品登録/取消方法および商品登録/取消プログラム Download PDF

Info

Publication number
JP2016062547A
JP2016062547A JP2014192528A JP2014192528A JP2016062547A JP 2016062547 A JP2016062547 A JP 2016062547A JP 2014192528 A JP2014192528 A JP 2014192528A JP 2014192528 A JP2014192528 A JP 2014192528A JP 2016062547 A JP2016062547 A JP 2016062547A
Authority
JP
Japan
Prior art keywords
product
area
registration
image
product registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014192528A
Other languages
English (en)
Other versions
JP6369258B2 (ja
Inventor
典嘉 勝村
Noriyoshi Katsumura
典嘉 勝村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2014192528A priority Critical patent/JP6369258B2/ja
Priority to US14/856,825 priority patent/US10169752B2/en
Priority to CN201510594363.7A priority patent/CN105448000B/zh
Publication of JP2016062547A publication Critical patent/JP2016062547A/ja
Application granted granted Critical
Publication of JP6369258B2 publication Critical patent/JP6369258B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/407Cancellation of a transaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

【課題】直感的で誤操作の少ない商品登録操作と、その取消操作とが可能な商品登録装置等を提供する。
【解決手段】商品登録装置1は、商品識別装置2における商品の認識領域の一方の側である第1領域における物体の有無を検知する左光電センサ26Lと、この認識領域の他方の側である第2領域における物体の有無を検知する右光電センサ26Rと、この認識領域の画像を撮像するカメラ27とを備える。カメラ27が撮像した認識領域の画像から物体を検知して商品を特定すると共に、左光電センサ26L、右光電センサ26R、カメラ27による各領域の検知結果の時系列に応じて、POS端末3に商品登録処理と商品の仮登録の取消処理のいずれかを行わせる
【選択図】図1

Description

本発明は、商品を売上登録する商品登録装置、商品登録装置の商品登録/取消方法および商品登録/取消プログラムに関する。
従来、電子式キャッシュレジスタ(商品登録装置)は、バーコード読み取り部によって、商品に付与されたバーコードなどのデータコードを読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことで、キャッシュレジスタのオペレータの負担を軽減することができる。
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、オペレータが商品コードや金額をキーボードで入力するという運用がなされていた。
近年では、青果品などをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている。この商品登録装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、予め用意された特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。
ところでスーパーマーケットにおいて顧客が商品を購入するときには、買物カゴなどに商品を入れた後、キャッシュレジスタのオペレータに精算を依頼する。
キャッシュレジスタのオペレータは、商品を売上登録する際、この顧客に係る第1の買物カゴに入っている各商品を順番に商品登録装置に読み込ませ、第2の買物カゴに入れる。ここで顧客が、いずれかの商品の購入をキャンセルしたいと申し出たとき、オペレータは、商品の登録を訂正するためキーボード操作を必要としていた。この操作は非定常的な操作であるため、オペレータがこの操作を習得していない場合が多い。よって、オペレータのチーフなどが呼ばれて、このキャンセル作業を行わなければならず、キャンセルまでに多くの作業工数と時間とを要するという問題があった。これは、バーコード読み取り機能を有する商品登録装置と、オブジェクト認識機能を有する商品登録装置に共通する問題である。
特許文献1の解決手段には、「撮像手段が撮像した物体の画像を含むフレーム画像に含まれる前記物体の画像と、辞書に登録された各登録商品の基準画像とが、どの程度類似しているかを示す類似度を算出する類似度算出手段と、前記類似度に基づいて前記物体に対応する前記登録商品の候補を抽出する商品候補抽出手段と、前記登録商品の候補が一の場合は当該登録商品の候補を仮確定商品とし、または、前記登録商品の候補が複数の場合は選択された一の登録商品の候補を仮確定商品とし、当該仮確定商品を前記物体に対応する前記登録商品として確定する確定手段と、前記確定手段による確定前に、前記フレーム画像の色の属性が所定の基準値を超えたと判断した場合、または当該色の属性の単位時間当たりの変化量が所定の基準値を超えたと判断した場合には、前記仮確定商品に対して予め定められた特殊処理を実行する特殊処理実行手段と、を備える。」と記載されている。
特許文献2の課題には、「オブジェクト認識の結果に関する何らかの処理のための操作の効率化を図る。」と記載され、その解決手段には、「実施形態の商品読取装置は、認識手段、識別手段、判定手段、処理手段および確定手段を含む。認識手段は、撮像手段が撮像した画像からその画像に含まれるオブジェクトを認識する。識別手段は、前記認識手段が認識した前記オブジェクトから買上商品の候補となる候補商品を識別する。判定手段は、前記認識手段が認識した前記オブジェクトのうちの特定のオブジェクトの前記画像内での変化パターンを判定する。処理手段は、前記判定手段が判定した変化パターンに関連付けられた処理を前記識別手段による識別の結果に関連して行う。確定手段は、予め定められた確定条件が成立した場合、前記候補商品のうちで選択候補となっている商品を識別する商品コードを買上商品の商品コードとして確定する。」と記載されている。
特開2013−182323号公報 特開2013−182457号公報
特許文献1に記載の発明によれば、オペレータは、キーボード操作をすることなしに商品登録をキャンセルすることができる。しかし、特許文献1に記載の発明は、商品登録のキャンセル操作として、オブジェクト認識用のカメラに手をかざすという操作が必要である。このカメラに手をかざす操作は、キャンセル操作としては直感的でなく、習熟しにくいという問題がある。また、オペレータがこの操作を知らないときには、商品登録をキャンセルできないことに代わりはない。
特許文献2に記載の発明によれば、オペレータは、キーボード操作をすることなしに商品登録をキャンセルすることができる。しかし、特許文献1に記載の発明は、商品登録のキャンセルの際には、認識したオブジェクトの変化を利用している。よって、オブジェクトの誤認識により、誤って各種操作を実行するおそれがあった。
また、バーコード読み取り機能を有する商品登録装置は、上記操作を認識できないため、商品登録のキャンセルを実現できない。
そこで、本発明は、直感的で誤操作の少ない商品登録操作と、その取消操作とが可能な商品登録装置、商品登録装置の商品登録/取消方法および商品登録/取消プログラムを提供することを課題とする。
第1の発明は、上記目的を達成するため、
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置である。
第2の発明は、
商品の認識領域、および当該認識領域に隣接した検知領域を含んだ画像を撮像する撮像手段と、
前記撮像手段が撮像した画像のうち前記検知領域から物体の有無を検知し、前記認識領域の画像によって物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置である。
第3の発明は、
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
商品登録処理または取消処理を行う制御手段と、
を備える商品登録装置の商品登録方法であって、
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像から物体を検知し、
前記物体である商品を特定し、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする商品登録装置の商品登録/取消方法である。
第4の発明は、
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
を備える商品登録装置に、
前記撮像手段が撮像した前記認識領域の画像から物体を検知させ、
前記物体である商品を特定させ、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行わせるための商品登録/取消プログラムである。
本発明によれば、直感的で誤操作の少ない商品登録操作と、その取消操作とが可能な商品登録装置、商品登録装置の商品登録/取消方法および商品登録/取消プログラムを提供することができる。
第1の実施形態における商品登録装置の外観を示す斜視図である。 第1の実施形態における商品登録装置の概略を示す構成図である。 第1の実施形態における商品登録装置の概略を示す機能ブロック図である。 第1の実施形態における商品識別装置の正面図である。 第1の実施形態における商品登録操作と商品登録の取消操作を示す説明図である。 第1の実施形態における商品登録処理を示すフローチャートである。 第1の実施形態における商品登録の取消処理を示すフローチャートである。 第1の実施形態の第1変形例の商品登録処理を示すフローチャートである。 第1の実施形態の第2変形例の商品登録方向決定処理を示すフローチャートである。 第2の実施形態における商品識別装置の正面図である。 第2の実施形態における商品登録の取消処理を示すフローチャートである。 第3の実施形態における商品登録装置の概略を示す構成図である。 第3の実施形態における商品登録操作とその訂正操作を示す説明図である。 第3の実施形態における商品登録訂正操作と再登録操作を示す説明図である。 第3の実施形態における商品登録/訂正処理を示すフローチャート(その1)である。 第3の実施形態における商品登録/訂正処理を示すフローチャート(その2)である。 第3の実施形態の変形例の商品登録/取消処理を示すフローチャートである。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、同一の要素が異なる図に示されていても同一の符号を付与して、その重複する説明を省略することがある。
(第1の実施形態)
図1は、第1の実施形態における商品登録装置1の外観を示す斜視図である。
図1に示すように、商品登録装置1は、各商品を登録する商品識別装置2と、各取引に係る商品の売上登録と精算とを行うPOS端末3とを備える。この商品識別装置2は、商品に関する情報を読み取って登録するPOS接続用スキャナである。
商品識別装置2は、横長テーブル状のカウンタ台5の長手方向の中央に設置されている。商品識別装置2は、薄型の矩形状のハウジング51を備える。このハウジング51の正面には、読取窓52を介してカメラ27(図2参照)が配置されている。読取窓52の左側には、左光電センサ26Lが配置されている。読取窓52の右側には、右光電センサ26Rが配置されている。
ハウジング51の上部には、表示・操作部22が取り付けられている。表示・操作部22には、ディスプレイ221が設けられている。このディスプレイ221の表面には、タッチパネル222(図2参照)が積層されている。ディスプレイ221の右隣には、キーボード23が配置されている。キーボード23の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部22の左奥側には、顧客に情報を提供するための顧客用ディスプレイ24が裏向きに設置されている。
POS端末3は、チェックアウト台6上のドロワ37の上面に載置されている。このドロワ37は、POS端末3によって開放動作の制御を受ける。
POS端末3の上面には、オペレータ(店員)が操作するためのキーボード33が配置されている。このオペレータから見てキーボード33の上部奥側には、情報を表示するディスプレイ321が設けられている。このディスプレイ321の表面には、タッチパネル322(図2参照)が積層されている。ディスプレイ321よりもさらに奥側には、情報を表示する顧客用ディスプレイ34が左右方向に回転可能に設置されている。なお、図1に示す顧客用ディスプレイ34は、図の手前側に向いている。この顧客用ディスプレイ34は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
POS端末3が載置されているチェックアウト台6とL字を形成するようにして、横長テーブル状のカウンタ台5が配置されている。カウンタ台5の上面には、荷受け面が形成されている。顧客は、図1の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台5の荷受け面には、商品を収納する第1の買物カゴ4Lと、第2の買物カゴ4Rとが載置される。以下、第1の買物カゴ4Lと、第2の買物カゴ4Rとを特に区別しないときには、単に買物カゴ4と記載する場合がある。これら買物カゴ4は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ4は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。
第1の買物カゴ4Lは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第2の買物カゴ4Rは、第1の買物カゴ4Lから商品識別装置2を挟んだ位置に載置される。第1の買物カゴ4L内の商品は、商品識別装置2を操作するオペレータにより取り出され、第2の買物カゴ4Rに移動される。この移動過程で、商品が商品識別装置2の読取窓52にかざされる。このとぎ、読取窓52内に配置されたカメラ27(図2参照)は商品を撮像する。
商品識別装置2では、カメラ27により撮像された画像に含まれる商品が、後記する特徴量ファイル361(図2参照)に記録されたどの商品に対応するかを指定させるための画面をディスプレイ221に表示する。商品識別装置2は更に、指定された商品の商品IDをPOS端末3に通知する。POS端末3は、商品識別装置2から通知される商品IDに基づき、当該商品IDに対応する商品の商品分類、商品名、単価などの売上登録に係る情報を、売上マスタファイル(不図示)などに記録して、売上登録を行う。
図2は、第1の実施形態における商品登録装置1の概略を示す構成図である。
商品登録装置1は、商品識別装置2とPOS端末3とを含んで構成される。
商品識別装置2は、マイクロコンピュータ21と、表示・操作部22と、インタフェース25と、左光電センサ26Lと、右光電センサ26Rと、カメラ27と、スピーカ28と、電源29とを含んで構成される。
マイクロコンピュータ21は、CPU(Central Processing Unit)211にROM(Read Only Memory)212とRAM(Random Access Memory)213とがバス接続されて構成されている。ROM212には、CPU211によって実行されるプログラムが記憶される。
CPU211には、表示・操作部22と、インタフェース25と、右光電センサ26Rと、左光電センサ26Lと、カメラ27、スピーカ28とが、内部バスや各入出力回路(不図示)を介して接続される。
表示・操作部22は、ディスプレイ221と、タッチパネル222と、顧客用ディスプレイ24と、キーボード23とを含んで構成され、CPU211によって動作が制御される。
ディスプレイ221は、CPU211の指示により、オペレータに対する情報を表示する。タッチパネル222は、ディスプレイ221により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ24は、CPU211の指示により、顧客に対する情報を表示する。
キーボード23は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。
左光電センサ26Lと右光電センサ26Rとは、例えば、拡散反射形の光電センサであり、投光器と受光器とが一体で形成される。この投光部から出た光が検出対象の物体(商品)にあたると、この物体から反射した光が受光部に入射して光量が増加し、この物体の検出が行える。
カメラ27は、カラーCCDイメージセンサやカラーCMOSイメージセンサなどであり、CPU211の制御の下で、読取窓52(図1参照)からの撮像を行う撮像手段である。カメラ27は、例えば30[fps]の動画像の撮像を行う。カメラ27が所定のフレームレートで順次撮像したフレーム画像(撮像画像)は、RAM213に保存される。
スピーカ28は、予め設定された警告音などを発生する。スピーカ28は、CPU211の制御の下で警告音や音声による報知を行う。
電源29は、この商品識別装置2の各部に電力を供給する。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。
POS端末3は、マイクロコンピュータ31と、ディスプレイ321と、タッチパネル322と、キーボード33と、顧客用ディスプレイ34と、インタフェース35と、HDD36と、ドロワ37と、プリンタ38と、電源39とを含んで構成される。
マイクロコンピュータ31は、情報処理を実行する。このマイクロコンピュータ31は、各種演算処理を実行し各部を制御するCPU311に、ROM312とRAM313とがバス接続されて構成される。CPU311には、ドロワ37と、キーボード33と、ディスプレイ321と、タッチパネル322と、顧客用ディスプレイ34と、HDD36(Hard Disk Drive)とが、内部バスや各入出力回路を介して接続されている。これらは、CPU311による制御を受ける。
ディスプレイ321は、CPU311の指示により、オペレータに対する情報を表示する。タッチパネル322は、ディスプレイ321により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ34は、CPU311の指示により、顧客に対する情報を表示する。
キーボード33は、仮締めキー331と、締めキー332と、テンキー333とを含んで構成され、オペレータの操作入力を受け付ける。テンキー333は、0から9までの数字キーと各種演算子キーとで構成される。
HDD36には、プログラムや各種ファイルが記憶されている。HDD36に記憶されているプログラムや各種ファイルは、POS端末3の起動時に、その全部または一部がRAM313にコピーされてCPU311により実行される。HDD36には、例えば特徴量ファイル361が記録されるが、商品販売データ処理用のプログラムが記録されてもよい。特徴量ファイル361は、店舗に陳列して販売する取扱商品の各々について、商品の売上登録にかかる情報と、その商品の画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する。
インタフェース35は、商品識別装置2に接続され、商品識別装置2との間でデータ送受信を可能とする。
プリンタ38は、レシートなどに印字を行う。POS端末3は、CPU311の制御のもとで、各取引の取引内容をレシートに印字する。
電源39は、このPOS端末3の各部に電力を供給する。
図3は、第1の実施形態における商品登録装置1の概略を示す機能ブロック図である。以下の説明では、適宜図1と図2とを参照する。
商品識別装置2のCPU211は、ROM212に格納されるプログラムを実行することにより、画像取得部90と、物体検出部91、時系列判断部92、類似度演算部93、類似度判断部94、確定通知部95、候補商品提示部96、入力取得部97、情報出力部98の各部を具現化する。また、同様に、POS端末3のCPU311は、HDD36に格納されるプログラムを実行することにより、売上登録部991、売上取消部992の各部を具現化する。POS端末3のHDD36には更に、特徴量ファイル361が格納される。
画像取得部90は、カメラ27に撮像オン信号を出力して、このカメラ27に撮像動作を開始させる。更に画像取得部90は、カメラ27が撮像してRAM213に保存されたフレーム画像を順次取り込む。画像取得部90によるフレーム画像の取り込みは、RAM213に保存された順に行われる。
物体検出部91は、画像取得部90によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓52に向けると、画像取得部90は、カメラ27によって、この商品の画像を撮影する。物体検出部91は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部91は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出する。
別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓52に向けると、画像取得部90は、カメラ27によって、この商品および手の画像を撮影する。物体検出部91は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、店員の手が検出された場合に、物体検出部91は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部91は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。
時系列判断部92は、右光電センサ26Rの物体の検知結果と、カメラ27の撮影画像による物体の検知結果と、左光電センサ26Lの物体の検知結果との時系列により、対応する処理を判断する。
類似度演算部93は、カメラ27が撮像した商品の画像から、この商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。類似度演算部93は、この商品の輪郭や大きさは考慮しない。これにより類似度演算部93は、処理時間を短縮することができる。
類似度演算部93は更に、特徴量ファイル361に記録された各商品(以下、取扱商品という)の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル361に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル361に記録されている各商品が想定する商品画像を100%の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部93は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
このように、画像中に含まれる物体を認識することは一般物体認識(generic object recognition)と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成26年9月8日検索],インターネット
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on,[平成26年9月8日検索],インターネット
なお、撮像された商品の画像と、特徴量ファイル361に記録された取扱商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル361に記録された各取扱商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル361に記録された各取扱商品とを1対1で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が1.0(100%)となるよう算出する。例えば、特徴量ファイル361に4つの商品#1〜#4が記録されていたとする。このとき撮像された商品は、例えば、商品#1に対して類似度が0.65、商品#2に対しては類似度が0.2、商品#3に対しては類似度が0.1、商品#4に対しては類似度が0.05などのように算出する。
類似度判断部94は、画像取得部90が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル361に記録されている商品画像との類似度を比較する。本実施形態では、取扱商品の商品画像と、商品の撮影画像との類似度は、複数の条件が設けられている。類似度判断部94は、これら満たされる条件に応じて取扱商品の確定あるいは商品の候補を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件X,Y,Zを用いる場合について説明する。
ここで、条件Xおよび条件Yは、フレーム画像上の物体を、特徴量ファイル361に記録された取扱商品のうちの一つとして確定するための条件である。また、条件Zは、フレーム画像上の物体から、特徴量ファイル361に記録された取扱商品の候補を抽出するための条件である。
類似度判断部94は、例えば、条件Xまたは/および条件Yを満たす取扱商品を、フレーム画像上の物体に一対一で対応する商品であると判定する。また、類似度判断部94は、条件Zを満たす取扱商品については、確定商品ではなく、カメラ27が撮像した商品の候補であると判定する。そして、類似度判断部94は、特徴量ファイル361に記録された複数の取扱商品から条件Zを満たす取扱商品を抽出することにより、撮影した商品に対する取扱商品の候補を抽出する。
条件X〜Zは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値によって条件X〜Zを設けることができる。ここでは、閾値Tx〜Tzによって条件X〜Zを設定する場合について説明する。なお、閾値Tx〜Tzの順に小さくなるものとする。
類似度判断部94は、取扱商品との類似度が予め定められた閾値Tx以上となった回数をカウントし、この回数が所定回数以上となった場合に条件Xが満たされたと判定する。
また、類似度判断部94は、取扱商品との類似度が閾値Tx未満、かつ、閾値Ty以上となった場合に、条件Yが満たされたと判定する。そして、条件Yを満たした取扱商品は、確定商品ではあるがオペレータによる確認操作を要すると判定する。
更に、類似度判断部94は、取扱商品との類似度が閾値Ty未満、かつ、閾値Tz以上である場合に、条件Zが満たされたと判定する。
なお、各条件X〜Zは、類似度の大きさなどに応じて適宜設定可能であり、前記した例に限定されるものではない。
確定通知部95は、カメラ27によって撮像された商品が、条件Xまたは/および条件Yを満たした取扱商品であるとして一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。
より詳細には、確定通知部95は、条件Xを満たした取扱商品が、カメラ27によって撮像された商品(確定商品)として一意的に確定されたことを示す確定画面をディスプレイ221に表示させ、確定商品に関する情報をスピーカ28に出力する。スピーカ28は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。
また、確定通知部95は、条件Yを満たした取扱商品(確定商品)が、カメラ27によって撮像された商品であるか否かの最終確認操作を受け付ける確認画面をディスプレイ221に表示する。
なお、確定通知部95は、確認画面が表示されるタイミングに合わせて、確定商品に関する情報をスピーカ28に音声を出力する。
候補商品提示部96は、条件Zを満たした取扱商品に関する情報を、商品候補としてディスプレイ221に表示させる。より詳細には、候補商品提示部96は、条件Zを満たした取扱商品の写真画像および商品名を特徴量ファイル361から読み出し、類似度演算部93が算出した類似度の高いものから、ディスプレイ221に順次出力する。ディスプレイ221には、商品候補の写真画像および商品名が類似度の高いものから順に表示される。
なお、ディスプレイ221に商品候補の写真画像が表示されていても、これら商品候補に対する選択操作を受け付けない場合には、画像取得部90による画像の取得処理と、物体検出部91による物体の検出処理と、および類似度演算部93による類似度の演算処理とは継続される。
入力取得部97は、タッチパネル222またはキーボード23を介してディスプレイ221の表示に対応する各種入力操作を受け付ける。例えば入力取得部97は、表示された写真画像に係る商品が確定商品であることを最終確認した旨の入力操作(確認操作)を受け付ける。確定通知部95は、入力取得部97が確認操作を受け付けた場合に確定画面をディスプレイ221に表示する。
入力取得部97は、ディスプレイ221に表示された商品候補の写真画像の中からいずれか1つの写真画像に対する選択操作を受け付ける。入力取得部97は、選択された写真画像の取扱商品を、商品に対する確定商品であるとして受け付ける。なお、物体検出部91が複数の商品を検出可能である場合には、入力取得部97は商品候補の中から、複数の商品候補の選択操作を受け付けてもよい。確定通知部95は、入力取得部97が選択操作を受け付けた場合に、受け付けた商品候補を確定商品として表示させた確定画面をディスプレイ221に表示させる。
情報出力部98は、上述のようにして確定された確定商品について、その商品を示す情報(例えば、商品IDや商品名や値引き情報など)を、インタフェース25を介してPOS端末3に出力する。
なお、情報出力部98は、タッチパネル222またはキーボード23を介して別途入力された販売個数を、商品IDなどと共にPOS端末3に出力してもよい。また、情報出力部98がPOS端末3に出力する情報としては、情報出力部98が特徴量ファイル361から読み出した商品IDを直接通知してもよいし、商品IDを特定することが可能な商品名、または、商品画像、写真画像のファイル名をPOS端末3に通知してもよい。
POS端末3の売上登録部991は、情報出力部98から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録を行う。具体的にいうと、売上登録部991は、特徴量ファイル361を参照して、通知された商品IDおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルなどに記録して売上登録(仮登録)を行う。
POS端末3の売上取消部992は、情報出力部98から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録の取消を行う。具体的にいうと、売上取消部992は、特徴量ファイル361を参照して、通知された商品IDおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルから検索して削除する。これにより、売上取消部992は、1取引内における売上登録(仮登録)を取り消すことができ、取引後(精算後)における返品を処理することもできる。
図4は、第1の実施形態における商品識別装置2の正面図である。
商品識別装置2は、カウンタ台5に設置されている。商品識別装置2は、薄型の矩形状のハウジング51と、このハウジング51の上部に取り付けられた表示・操作部22と、表示・操作部22の左奥側に裏向きに設置された顧客用ディスプレイ24とを含んで構成される。
このハウジング51の正面には、読取窓52が設けられる。
読取窓52には、照明271とカメラ27(撮像手段)とが配置される。認識領域8Mは、カメラ27が物体を撮影し、この物体を検知して商品を特定する領域である。
読取窓52の左側には、左光電センサ26L(第1検知手段)が配置されている。読取窓52の右側には、右光電センサ26R(第2検知手段)が配置されている。領域8L(第1領域)は、認識領域8Mの一方の側であり、左光電センサ26Lが物体を検知する領域である。領域8R(第2領域)は、認識領域8Mの他方の側であり、右光電センサ26Rが物体を検知する領域である。
左光電センサ26L(第1検知手段)は、商品の認識領域8Mの一方の側である領域8Lにおける物体の有無を検知する。左光電センサ26Lは、所定の奥行きの範囲で物体の有無を検知する。
右光電センサ26R(第2検知手段)は、この認識領域8Mの他方の側である領域8Rにおける物体の有無を検知する。右光電センサ26Rは、所定の奥行きの範囲で物体の有無を検知する。なお、左光電センサ26Lが第2検知手段であり、右光電センサ26Rが第1検知手段であってもよい。
オペレータが第1の買物カゴ4Lの商品を読取窓52にかざすとき、オペレータは、直感的で自然な操作で商品を左光電センサ26Lに検知させることができる。オペレータが商品識別装置2が認識した商品を第2の買物カゴ4Rに移動するとき、オペレータは、直感的で自然な操作で商品を右光電センサ26Rに検知させることができる。
この商品識別装置2は、左光電センサ26Lと、右光電センサ26Rと、カメラ27とによる物体の検知結果の時系列に応じて、POS端末3に商品登録処理と商品登録の取消処理のいずれかを行わせる。
図5(a),(b)は、第1の実施形態における商品登録操作と商品登録の取消操作を示す説明図である。
図5(a)は、商品登録操作の説明図である。
商品登録操作にあたり、オペレータは、第1の買物カゴ4Lの商品を取り出して、読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに入れる。この操作は、従来の商品登録装置と同様であり、直感的で自然な操作である。
このとき、商品識別装置2は、左光電センサ26Lが物体を検知したのちカメラ27の撮影画像から物体を検知して商品を特定する。このとき商品識別装置2は、商品を特定する直前に左光電センサ26Lが物体を検知しているので、この商品の仮登録を行う。
このように、商品識別装置2は、右光電センサ26Rの検知結果と、カメラ27の撮影画像による物体の検知結果と、左光電センサ26Lの検知結果との時系列により、商品登録操作を特定することができる。
図5(b)は、商品登録の取消操作の説明図である。
商品登録の取消操作にあたり、オペレータは、第2の買物カゴ4Rの商品を取り出して、読取窓52のカメラ27にかざしたのち、第1の買物カゴ4Lに戻す。この操作は、商品登録操作の逆順であり、直感的で自然な操作である。
このとき、商品識別装置2は、右光電センサ26Rが物体を検知したのちカメラ27の撮影画像から物体を検知して商品を特定する。このとき商品識別装置2は、商品を特定する直前に右光電センサ26Rが物体を検知しているので、この商品登録の取消を行う。
このように、商品識別装置2は、右光電センサ26Rの検知結果と、カメラ27の撮影画像による物体の検知結果と、左光電センサ26Lの検知結果との時系列により、商品登録の取消操作を特定することができる。
なお、商品識別装置2は、カメラ27による商品特定と、光電センサによる物体の移動方向の判別で、商品登録操作と商品登録の訂正操作とを区別して特定し、商品登録処理と商品登録の取消処理とを切り替えてもよい。
図6は、第1の実施形態における商品登録処理を示すフローチャートである。
第1の実施形態の商品登録処理は、例えば、オペレータ(店員)が、第1の買物カゴ4L(図1参照)の商品を取り出して、読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに入れるまでの一連の処理である。
ステップS10において、商品識別装置2のCPU211は、左光電センサ26Lがオンしたか否かを判断する。CPU211は、左光電センサ26Lがオンしたと判断しなかったならば(No)、ステップS10の処理に戻り、左光電センサ26Lがオンしたと判断したならば(Yes)、ステップS11の処理に進む。具体的にいうと、左光電センサ26Lのオンは、認識領域8Mの一方の側である領域8Lにおける物体の検知であり、オペレータが第1の買物カゴ4Lから商品を取って、読取窓52のカメラ27にかざそうとしていることを意味する。
ステップS11において、画像取得部90は、カメラ27に撮像オン信号を出力してカメラ27による商品画像のキャプチャ(撮像)を開始する。画像取得部90は、カメラ27が撮像してRAM213に保存したフレーム画像(撮像画像)を取り込む。
ステップS12において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。
ステップS13において、物体検出部91は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS14の処理に進み、商品である物体の認識に成功しなかったならば(No)、ステップS11の処理に戻る。ステップS11〜S13を具体的にいうと、オペレータが商品を読取窓52のカメラ27にかざし、商品識別装置2が、この商品である物体の検出に成功する一連の処理である。
ステップS14において、類似度演算部93は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部94が、類似度が所定閾値以上となる取扱商品が特徴量ファイル361にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置2は、この商品を確定することができる。
ステップS15において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDに基づき、商品を仮登録する。このとき確定通知部95は、確定商品の写真画像を含む確定画面をディスプレイ221に表示させるとともに、確定商品の商品名を音声で通知する。ステップS15の処理が終了すると、図6の処理が終了する。
この商品登録処理により、オペレータは、キーボード操作をすることなしに商品登録できる。また商品識別装置2は、各領域での物体の有無の検知結果で判断しているので、画像によるオブジェクト認識と比べて誤検出が少なく、安定して操作可能である。
図7は、第1の実施形態における商品登録の取消処理を示すフローチャートである。
第1の実施形態の商品登録の取消処理は、例えば、オペレータ(店員)が、第2の買物カゴ4R(図1参照)に移動した仮登録済みの商品を取り出して、読取窓52のカメラ27にかざしたのち、第1の買物カゴ4Lに戻すまでの一連の処理である。またはオペレータが、精算済みの商品を読取窓52のカメラ27にかざして返品を行う処理である。
ステップS20において、商品識別装置2のCPU211は、右光電センサ26Rがオンしたか否かを判断する。CPU211は、右光電センサ26Rがオンしたと判断しなかったならば(No)、ステップS20の処理に戻り、右光電センサ26Rがオンしたと判断したならば(Yes)、ステップS21の処理に進む。具体的にいうと、右光電センサ26Rのオンは、認識領域8M(図4参照)の他方の側である領域8Rにおける物体の検知であり、オペレータが、第2の買物カゴ4Rから商品を取り出して、読取窓52のカメラ27にかざそうとしていることを意味する。
ステップS21において、画像取得部90は、カメラ27に撮像オン信号を出力してカメラ27による商品画像のキャプチャ(撮像)を開始する。画像取得部90は、カメラ27が撮像してRAM213に保存したフレーム画像(撮像画像)を取り込む。
ステップS22において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。
ステップS23において、物体検出部91は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS24の処理に進み、商品である物体の認識に成功しなかったならば(No)、ステップS21の処理に戻る。ステップS21〜S23を具体的にいうと、オペレータが商品を読取窓52のカメラ27にかざし、商品識別装置2が、この商品である物体の検出に成功するまでの一連の処理である。
ステップS24において、類似度演算部93は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部94が、類似度が所定閾値以上となる取扱商品が特徴量ファイル361にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置2は、この商品を確定することができる。
ステップS25において、確定通知部95は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部95は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば(Yes)、ステップS26の処理に進み、一致すると判断しなかったならば(No)、ステップS27の処理に進む。
ステップS26において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、商品の仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDに基づき、商品の仮登録を訂正(キャンセル)する。このとき確定通知部95は、確定商品の写真画像を含む画面をディスプレイ221に表示させるとともに、確定商品の商品名と、これをキャンセルする旨を音声で通知する。ステップS26の処理が終了すると、図7の処理が終了する。
ステップS27において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、商品の返品処理を行わせる。POS端末3の売上取消部992は、この商品IDに基づき、商品の返品処理を行う。このとき確定通知部95は、確定商品の写真画像を含む画面をディスプレイ221に表示させるとともに、確定商品の商品名と、これを返品する旨を音声で通知する。ステップS27の処理が終了すると、図7の処理が終了する。
この商品登録の取消処理により、オペレータは、キーボード操作をすること無しに商品登録を取り消すことができる。また、商品識別装置2は、各領域での物体の有無の検知結果で判断しているので、画像によるオブジェクト認識と比べて誤検出が少なく、安定して操作可能である。
図8は、第1の実施形態の第1変形例の商品登録処理を示すフローチャートである。
第1の実施形態の第1変形例の商品登録処理は、例えば、オペレータが、第1の買物カゴ4L(図1参照)の商品を読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに移動する一連の処理である。このとき、商品に赤値札が付与されていたならば、自動で値引き処理を実行する。
ステップS30において、商品識別装置2のCPU211は、左光電センサ26Lが商品に貼られた赤値札を検出したか否かを判断する。CPU211は、左光電センサ26Lが赤色を検知したとき、赤値札を検出したと判断する。CPU211は、左光電センサ26Lが赤値札を検出したならば(Yes)、ステップS31の処理に進み、左光電センサ26Lが赤値札を検出しなかったならば(No)、ステップS32の処理に進む。
ステップS31において、商品識別装置2のCPU211は、値引きフラグをオンする。このとき、商品には赤値札が貼られており、値引き対象となっている。
ステップS32において、商品識別装置2のCPU211は、左光電センサ26Lがオンしたか否かを判断する。CPU211は、左光電センサ26Lがオンしたと判断しなかったならば(No)、ステップS30の処理に戻り、左光電センサ26Lがオンしたと判断したならば(Yes)、ステップS33の処理に進む。具体的にいうと、左光電センサ26Lのオンは、認識領域8Mの一方の側である領域8Lにおける物体の検知であり、オペレータが第1の買物カゴ4Lから商品を取り出して、読取窓52のカメラ27にかざそうとしていることを意味する。
ステップS33〜S36の処理は、図6に示したステップS11〜S14の処理と同様である。
ステップS37において、商品識別装置2のCPU211は、値引きフラグがオンであるか否かを判断する。CPU211は、値引きフラグがオンでないならば(No)、ステップS38の処理に進み、値引きフラグがオンであるならば(Yes)、ステップS39の処理に進む。
ステップS38において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDに基づき、商品を仮登録する。このとき確定通知部95は、確定商品の写真画像を含む確定画面をディスプレイ221に表示させるとともに、確定商品の商品名を音声で通知する。このステップS38の処理が終了すると、図8の処理が終了する。
ステップS39において、情報出力部98は、確定した取扱商品の商品IDなどと値引き情報とをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDにもとづき、商品7を値引きして仮登録する。このとき確定通知部95は、確定商品の写真画像を含む確定画面をディスプレイ221に表示させるとともに、確定商品の商品名と、値引きした旨とを音声で通知する。このステップS39の処理が終了すると、図8の処理が終了する。
このように、左光電センサ26Lは、物体の有無と共に色を検知できる。商品識別装置2は、商品に貼り付けた値引きシールなどを特徴的な色として、この色を検知することで、商品登録処理に伴う値引き処理などを、キーボード操作なしに実行することができる。
図9は、第1の実施形態の第2変形例の商品登録方向決定処理を示すフローチャートである。
顧客は、図1の右側から左側に移動しつつ、商品の登録処理を受けることが考えられる。つまり、未精算の買物カゴ4を右側に配置し、仮登録された商品または売上登録済の商品に係る買物カゴ4を左側に配置する場合である。これを実現するには、例えば、各取引における最初の商品が、左光電センサ26Lと右光電センサ26Rのうちいずれで検出されたかを判断すればよい。
ステップS50において、商品識別装置2のCPU211は、右光電センサ26Rがオンしたか否かを判断する。CPU211は、右光電センサ26Rがオンしたと判断しなかったならば(No)、ステップS56の処理に進み、右光電センサ26Rがオンしたと判断したならば(Yes)、ステップS51の処理に進む。
ステップS51において、CPU211は、この取引の最初の商品であるか否かを判断する。CPU211は、この取引の最初の商品であると判断したならば(Yes)、ステップS52の処理に進み、この取引の最初の商品であると判断なかったならば(No)、ステップS54の処理に進む。
ステップS52において、CPU211は、右から左を商品の登録方向と定義する。以降、この取引において、最初に右光電センサ26Rがオンしたのちに、フレーム画像でオブジェクト認識された商品は、商品登録処理が行われる。
ステップS53において、CPU211は、この商品に係る商品登録処理を行う。商品登録処理とは、例えば図6のステップS11以降で示したような処理であり、現取引において、この商品を仮登録する処理である。CPU211は、ステップS53の商品登録処理が終了すると、図9の処理を終了する。
ステップS54において、CPU211は、商品の登録方向が右から左と定義されているか否かを判断する。CPU211は、商品の登録方向が右から左と定義されていたならば(Yes)、ステップS53の処理に進み、商品の登録方向が右から左と定義されていなかったならば(No)、ステップS55の処理に進む。
ステップS55において、CPU211は、この商品に係る取消処理を行う。取消処理とは、例えば図7のステップS21以降で示したような処理であり、例えば、現取引において、この商品が仮登録中の商品と一致するならば、その仮登録をキャンセルする処理である。CPU211は、ステップS55の取消処理が終了すると、図9の処理を終了する。
ステップS56において、商品識別装置2のCPU211は、左光電センサ26Lがオンしたか否かを判断する。CPU211は、左光電センサ26Lがオンしたと判断しなかったならば(No)、ステップS50の処理に戻り、右光電センサ26Rがオンしたと判断したならば(Yes)、ステップS57の処理に進む。
ステップS57において、CPU211は、この取引の最初の商品であるか否かを判断する。CPU211は、この取引の最初の商品であると判断したならば(Yes)、ステップS58の処理に進み、この取引の最初の商品であると判断なかったならば(No)、ステップS60の処理に進む。
ステップS58において、CPU211は、左から右を商品の登録方向と定義する。以降、この取引において、最初に左光電センサ26Lがオンしたのちに、フレーム画像でオブジェクト認識された商品は、商品登録処理が行われる。
ステップS59において、CPU211は、この商品に係る商品登録処理を行う。商品登録処理とは、例えば図6のステップS11以降で示したような処理であり、現取引において、この商品を仮登録する処理である。このときの商品の移動方向は、ステップS53における商品の移動方向とは逆となる。
CPU211は、ステップS59の商品登録処理が終了すると、図9の処理を終了する。
ステップS60において、CPU211は、商品の登録方向が左から右と定義されているか否かを判断する。CPU211は、商品の登録方向が左から右と定義されていたならば(Yes)、ステップS59の処理に進み、商品の登録方向が左から右と定義されていなかったならば(No)、ステップS61の処理に進む。
ステップS61において、CPU211は、この商品に係る取消処理を行う。取消処理とは、例えば図7のステップS21以降で示したような処理であり、例えば、現取引において、この商品が仮登録中の商品と一致するならば、その仮登録をキャンセルする処理である。このときの商品の移動方向は、ステップS55における商品の移動方向とは逆となる。CPU211は、ステップS61の取消処理が終了すると、図9の処理を終了する。
このように処理することで、商品識別装置2は、各取引における最初の商品の移動方向で商品登録処理を行い、その反対方向で商品登録の取消処理を行うように動作可能である。これにより、商品識別装置2の向きに制約されず、店舗をレイアウトすることができる。
なお、ステップS51,S57では、各取引における最初の商品を検知したセンサにより、商品登録方向を定義しているが、商品登録装置1の電源オン後の最初の商品の移動方向や、この商品登録装置1の使用開始時の最初の商品の移動方向であってもよく、限定されない。
(第2の実施形態)
図10は、第2の実施形態における商品識別装置2Aの正面図である。図4に示した第1の実施形態の商品識別装置2と同一の要素には同一の符号を付与している。
第2の実施形態の商品識別装置2Aは、第1の実施形態の商品識別装置2とは異なり、右光電センサ26R(第2検知手段)が配置されていない。それ以外は、第1の実施形態の商品識別装置2と同様に構成されている。
第2の実施形態の商品登録処理は、第1の実施形態と同様である。しかし、第2の実施形態の商品登録の取消処理は、例えば、オペレータ(店員)が、第2の買物カゴ4R(図1参照)に移動した登録済みの商品を取り出して、読取窓52のカメラ27にかざしたのち、左光電センサ26Lに検知させてキャンセルし、第1の買物カゴ4Lに戻すまでの一連の処理である。
図11は、第2の実施形態における商品登録の取消処理を示すフローチャートである。
ステップS40〜S42の処理は、第1実施形態のステップS21〜S23(図7参照)の処理と同様に、商品を撮影してオブジェクト認識する処理である。
ステップS43において、商品識別装置2のCPU211は、左光電センサ26Lがオンしたか否かを判断する。CPU211は、左光電センサ26Lがオンしたと判断しなかったならば(No)、ステップS43の処理に戻り、左光電センサ26Lがオンしたと判断したならば(Yes)、ステップS44の処理に進む。具体的にいうと、左光電センサ26Lのオンは、認識領域8M(図4参照)に隣接する領域8Lにおける物体の検知であり、オペレータが、第2の買物カゴ4Rから商品を取り出して、読取窓52のカメラ27にかざしたのち、第1の買物カゴ4Lに戻そうとしていることを意味する。
ステップS44において、類似度演算部93は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部94が、類似度が所定閾値以上となる取扱商品が特徴量ファイル361にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置2は、この商品を確定することができる。
ステップS45において、確定通知部95は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部95は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば(Yes)、ステップS46の処理に進み、一致すると判断しなかったならば(No)、ステップS47の処理に進む。
ステップS46において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、商品の仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDに基づき、商品の仮登録を訂正(キャンセル)する。このとき確定通知部95は、確定商品の写真画像を含む画面をディスプレイ221に表示させるとともに、確定商品の商品名と、これをキャンセルする旨を音声で通知する。ステップS46の処理が終了すると、図11の処理が終了する。
ステップS47において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、商品の返品処理を行う。POS端末3の売上取消部992は、この商品IDに基づき、商品を返品処理(キャンセル)する。このとき確定通知部95は、確定商品の写真画像を含む画面をディスプレイ221に表示させるとともに、確定商品の商品名と、これを返品処理する旨を音声で通知する。ステップS47の処理が終了すると、図11の処理が終了する。ここで商品の返品処理とは、仮登録された商品が本登録されて精算されたのちに、この商品に係る取引を取り消す処理のことをいう。
このように、2つの光電センサを設置することなく、片側に1つの光電センサを設置することによっても、オペレータは、キーボード操作をすること無しに商品を登録でき、この商品登録を取り消すことができる。
(第3の実施形態)
図12は、第3の実施形態における商品登録装置1Bの概略を示す構成図である。図2に示した第1の実施形態の商品登録装置1と同一の要素には、同一の符号を付与している。
第3の実施形態の商品登録装置1Bは、第1の実施形態とは異なる商品識別装置2Bを備えている。この商品識別装置2Bは、第1の実施形態の商品識別装置2(図2参照)とは異なり、右光電センサ26Rと左光電センサ26Lとを備えていない。それ以外は、第1の実施形態の商品識別装置2と同様に構成されている。
第3の実施形態の商品識別装置2Bは、読取窓52の左右の領域で物体を検知し、読取窓52の中央の認識領域で、この物体を認識して商品を特定する。これにより、右光電センサ26Rと左光電センサ26Lとが不要となる。すなわち、第3の実施形態におけるカメラ27は、商品の認識領域と、この認識領域の一方の側である第1領域と、この認識領域の他方の側である第2領域を含んだ画像を撮像する撮像手段である。
CPU211は、カメラ27が撮像した画像のうち、左右の領域から物体の有無を検知し、中央の認識領域の画像によって物体を検知して商品を特定する。CPU211は更に、これら検知結果の時系列に応じて、POS端末3に商品登録処理と商品登録の取消処理のいずれかを行わせる。
なお、第3の実施形態の商品識別装置2Bは、左側領域で物体を検知し、読取窓52の中央の認識領域で、この物体を認識して商品を特定したとき、この商品を仮登録する。その反対に、右側領域で物体を検知し、読取窓52の中央の認識領域で、この物体を認識して商品を特定したとき、この商品の仮登録を訂正(キャンセル)する。
図13(a),(b)は、第3の実施形態における商品登録操作とその訂正操作を示す説明図である。
図13(a)は、商品登録操作の説明図である。
図13に示すように、読取窓52の前方は、左側の領域8L(第1領域)と、中央の認識領域8Mと、右側の領域8R(第2領域)とに区分される。商品識別装置2Bは、領域8L,8Rの物体を検知可能である。
商品登録操作にあたり、オペレータは、第1の買物カゴ4Lの商品を読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに移動する。この操作は、従来の商品登録装置と同様であり、直感的で自然な操作である。
このとき、商品識別装置2Bは、カメラ27の撮影画像から物体を検知する。商品識別装置2Bは、左側の領域8Lで物体を検知したのち、認識領域8Mで物体を検知して商品を特定し、その後は右側の領域8Rで物体を検知する。
このように、領域8L,8Rにおける物体の検知結果と、認識領域8Mにおける物体の検知結果との時系列により、商品登録操作を特定することができる。
図13(b)は、商品の仮登録直後の訂正操作の説明図である。
商品の仮登録操作にあたり、オペレータは、第1の買物カゴ4Lの商品を読取窓52のカメラ27にかざして商品を特定する。その直後にオペレータは、この商品を第1の買物カゴ4Lに戻して仮登録をキャンセルする。この操作は、直感的で自然な操作である。
このとき、商品識別装置2Bは、カメラ27の撮影画像から物体を検知する。商品識別装置2Bは、左側の領域8Lで物体を検知したのち、認識領域8Mで物体を検知して商品を特定し、再び左側の領域8Lで物体を検知する。
このように、領域8L,8Rにおける物体の検知結果と、認識領域8Mにおける物体の検知結果との時系列により、商品の仮登録直後の訂正操作を特定することができる。
図14は、第3の実施形態における商品登録訂正操作と再登録操作を示す説明図である。
図14(a)は、商品登録訂正操作の説明図である。
ここでいう商品登録訂正操作とは、第2の買物カゴ4Rに入れた仮登録済みの商品を訂正(キャンセル)する操作である。登録の直後に訂正する図13(b)に示した操作とは異なる。
商品登録訂正操作にあたり、オペレータは、第2の買物カゴ4Rの商品を読取窓52のカメラ27にかざしたのち、第1の買物カゴ4Lに戻す。この操作は、商品の仮登録操作の逆順であり、直感的で自然な操作である。
このとき、商品識別装置2Bは、カメラ27の撮影画像から物体を検知する。商品識別装置2Bは、右側の領域8Rで物体を検知したのち、認識領域8Mで物体を検知して商品を特定し、その後は左側の領域8Lで物体を検知する。
このように、領域8L,8Rにおける物体の検知結果と、認識領域8Mにおける物体の検知結果との時系列により、商品登録訂正操作を特定することができる。
図14(b)は、商品登録訂正操作直後の再登録操作の説明図である。
商品登録訂正操作にあたり、オペレータは、第2の買物カゴ4Rの商品を読取窓52のカメラ27にかざす。オペレータは、この訂正を取りやめて第2の買物カゴ4Rに戻して、この商品を再び仮登録する。この操作は、商品仮登録操作のキャンセルの逆順であり、直感的で自然な操作である。
このとき、商品識別装置2Bは、カメラ27の撮影画像から物体を検知する。商品識別装置2Bは、右側の領域8Rで物体を検知したのち、認識領域8Mで物体を検知して商品を特定し、再び右側の領域8Rで物体を検知する。
このように、領域8L,8Rにおける物体の検知結果と、認識領域8Mにおける物体の検知結果との時系列により、商品登録訂正操作後の再登録操作を特定することができる。
図15は、第3の実施形態における商品登録/訂正処理を示すフローチャート(その1)である。
ステップS70において、画像取得部90は、カメラ27に撮像オン信号を出力してカメラ27による商品画像のキャプチャ(撮像)を開始する。画像取得部90は、カメラ27が撮像してRAM213に保存したフレーム画像(撮像画像)を取り込む。
ステップS71において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。
ステップS72において、物体検出部91は、領域8L,8Rで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、左側の領域8Lで物体の認識に成功したならば(左領域)、ステップS73の処理に進み、右側の領域8Rで物体の認識に成功したならば(右領域)、ステップS74の処理に進み、物体の認識に成功しなかったならば(非検知)、ステップS70の処理に戻る。
ステップS73において、CPU211は、この物体を左側の領域8Lで最初に検知したことを記憶し、ステップS75の処理に進む。このときオペレータは、第1の買物カゴ4Lの商品を取り出して、左側の領域8Lに移動させている。
ステップS74において、CPU211は、この物体を右側の領域8Rで最初に検知したことを記憶する。このときオペレータは、第2の買物カゴ4Rの商品を取り出して、右側の領域8Rに移動させている。
ステップS75,S76の処理は、ステップS70,S71の処理と同様である。
ステップS77において、物体検出部91は、認識領域8Mで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS78の処理に進み、物体の認識に成功しなかったならば(No)、ステップS75の処理に戻る。
ステップS78において、類似度演算部93は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部94が、類似度が所定閾値以上となる取扱商品が特徴量ファイル361にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置2Bは、この商品を確定することができる。
ステップS79において、CPU211は、この物体を最初に検知した領域が、領域8L,8Rのうちいずれかを判断する。CPU211は、この物体を最初に検知した領域が左側の領域8Lならば(左領域)、ステップS80の処理に進み、この物体を最初に検知した領域が右側の領域8Rならば(右領域)、ステップS81の処理に進む。
ステップS80において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDにもとづき、商品を仮登録する。このときオペレータは、第1の買物カゴ4Lの商品を取り出して、左側の領域8Lを介して認識領域8Mに移動させ、カメラ27にかざしている。
ステップS80の処理の後、ノードAを介して図16(a)のステップS83の処理に進む。
ステップS81において、確定通知部95は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部95は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば(Yes)、ステップS82の処理に進み、一致すると判断しなかったならば(No)、図15の処理を終了する。
ステップS82において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDにもとづき、商品の仮登録を訂正(キャンセル)する。このときオペレータは、第2の買物カゴ4Rの商品を取り出して、右側の領域8Rを介して認識領域8Mに移動させ、カメラ27にかざしている。
ステップS82の処理の後、ノードBを介して図16(b)のステップS87の処理に進む。
図16(a),(b)は、第3の実施形態における商品登録/訂正処理を示すフローチャート(その2)である。
図16(a)は、図15のステップS80の処理後の一連の処理を示している。
ステップS83,S84の処理は、ステップS70,S71(図15参照)の処理と同様である。
ステップS85において、物体検出部91は、領域8L,8Rで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、左側の領域8Lで物体の認識に成功したならば(左領域)、ステップS86の処理に進み、右側の領域8Rで物体の認識に成功したならば(右領域)、図16(a)の処理を終了し、物体の認識に成功しなかったならば(非検知)、ステップS83の処理に戻る。
ステップS86において、情報出力部98は、ステップS78(図15参照)で確定した取扱商品の商品IDなどをPOS端末3に出力して、仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDにもとづき、商品の仮登録を訂正(キャンセル)する。このときオペレータは、第1の買物カゴ4Lの商品を取り出して、左側の領域8Lを介して認識領域8Mに移動させてカメラ27にかざしたのち、再び第1の買物カゴ4Lに戻している(図13(b)参照)。
ステップS86の処理が終了すると、図16(a)の処理を終了する。
図16(b)は、図15のステップS81の処理後の一連の処理を示している。
ステップS87,S88の処理は、ステップS70,S71(図15参照)の処理と同様である。
ステップS89において、物体検出部91は、領域8L,8Rで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、左側の領域8Lで物体の認識に成功したならば(左領域)、ステップS90の処理に進み、右側の領域8Rで物体の認識に成功したならば(右領域)、図16(b)の処理を終了し、物体の認識に成功しなかったならば(非検知)、ステップS87の処理に戻る。
ステップS90において、情報出力部98は、ステップS78(図15参照)で確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDにもとづき、商品を仮登録する。このときオペレータは、第2の買物カゴ4Rの商品を取り出して、右側の領域8Rを介して認識領域8Mに移動させてカメラ27にかざしたのち、再び第2の買物カゴ4Rに戻している(図14(b)参照)。
ステップS90の処理が終了すると、図16(b)の処理を終了する。
図17は、第3の実施形態の変形例の商品登録/取消処理を示すフローチャートである。
この変形例は、オペレータが、認識領域8Mで商品を特定したのち、この商品を左右いずれの買物カゴ4に入れるかにより、商品登録処理と商品登録の取消処理のいずれかを実行するものである。この変形例では、商品を左右いずれの側から認識領域8Mに移動させるかを問わない。
ステップS100,S101の処理は、ステップS70,S71(図15参照)の処理と同様である。
ステップS102において、物体検出部91は、認識領域8Mで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS103の処理に進み、物体の認識に成功しなかったならば(No)、ステップS100の処理に戻る。
ステップS103において、物体検出部91は、認識領域8Mにおける物体の認識結果を記憶する。
ステップS104,S105の処理は、ステップS70,S71(図15参照)の処理と同様である。
ステップS106において、物体検出部91は、領域8L,8Rで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、右側の領域8Rで物体の認識に成功したならば(右領域)、ステップS107の処理に進み、左側の領域8Lで物体の認識に成功したならば(左領域)、ステップS109の処理に進み、物体の認識に成功しなかったならば(非検知)、ステップS104の処理に戻る。
ステップS107において、類似度演算部93は、ステップS102で認識成功したときの画像から商品の特徴量を読み取る。更に類似度判断部94が、類似度が所定閾値以上となる取扱商品が特徴量ファイル361にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置2Bは、この商品を確定することができる。
ステップS108において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDにもとづき、商品を仮登録する。ステップS108の処理が終了すると、図17の処理を終了する。
ステップS109の処理は、ステップS107の処理と同様である。
ステップS110において、確定通知部95は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部95は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば(Yes)、ステップS111の処理に進み、一致すると判断しなかったならば(No)、図17の処理を終了する。
ステップS111において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDにもとづき、商品の仮登録を訂正(キャンセル)する。ステップS111の処理が終了すると、図17の処理を終了する。
このように、オペレータは、商品識別装置2Bに商品を認識させた後に、左右の領域8L,8Rのいずれかに商品を通過させることによっても、商品登録処理と商品登録訂正処理(取消処理)のいずれかを実行することができる。よって、商品識別装置2Bは、キーボード操作なしに、直感的で誤操作の少ない商品登録処理と、その取消処理とを実行可能である。
(変形例)
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の(a)〜(d)のようなものがある。
(a) 商品の特定は、オブジェクト認識に限定されない。例えば、読取窓にバーコードスキャナやバーコードリーダなどを組み込んで、商品に印刷されたバーコードなどを読み取って商品を特定してもよい。
(b) センサの位置は、認識領域(読取窓)の左右に限定されず、例えば上下に設置されていてもよい。また、読取窓(カメラ)に近い位置と遠い位置に設置されてもよい。このとき、両センサの検知領域に挟まれた領域が、カメラによる商品の認識領域となる。
(c) 左右の領域の検知手段は、光電センサに限定されず、物体が検知可能な任意のセンサであればよく、例えば超音波センサ、レーザセンサ、赤外線センサなどであってもよい。
(d) 各領域での商品の検知結果の時系列と、商品登録処理と商品登録の取消処理との対応は任意でよい、例えば、最初に右側の領域で物体検知したのちに、認識領域で商品を認識したときに、POS端末に商品登録処理を行わせてもよい。最初に左側の領域で物体検知したのちに、認識領域で商品を認識したときに、POS端末に商品登録の取消処理を行わせてもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置。
<請求項2>
前記検知手段は更に、所定の色を検知可能であり、
前記制御手段は、前記検知手段が所定の色を検知したならば、商品登録処理の際に、併せて商品を値引きする、
ことを特徴とする請求項1に記載の商品登録装置。
<請求項3>
前記検知手段は、
前記認識領域の一方の側である第1領域における物体の有無を検知する第1検知手段と、
前記認識領域の他方の側である第2領域における物体の有無を検知する第2検知手段と、
を含んで構成されることを特徴とする請求項1に記載の商品登録装置。
<請求項4>
商品の認識領域、および当該認識領域に隣接した検知領域を含んだ画像を撮像する撮像手段と、
前記撮像手段が撮像した画像のうち前記検知領域から物体の有無を検知し、前記認識領域の画像によって物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置。
<請求項5>
前記検知領域は、
当該認識領域の一方の側である第1領域と、当該認識領域の他方の側である第2領域と、
を含んで構成されることを特徴とする請求項4に記載の商品登録装置。
<請求項6>
前記制御手段は、前記第1、第2領域のいずれかで物体を検知したのちに前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したならば、前記第1領域、前記第2領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項7>
前記制御手段は、前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したのちに前記第1、第2領域のいずれかで物体を検知したならば、前記第1領域、前記第2領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項8>
前記取消処理は、一取引内における登録のキャンセル、または取引終了後における返品処理である、
ことを特徴とする請求項1ないし請求項5のいずれか1項に記載の商品登録装置。
<請求項9>
前記制御手段は、前記物体を前記第1領域で検知したのちに前記認識領域で検知したならば、前記第1領域と前記認識領域の検知結果の時系列に応じて商品登録処理または商品登録訂正処理を行い、
その後、前記第1領域で再び物体を検知したならば、前記第1領域と前記認識領域の検知結果の時系列に応じて実施した商品登録処理または商品登録訂正処理を取り消す、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項10>
前記制御手段は、最初の商品の移動方向と同一方向商品に対しては、商品登録処理を行い、当該移動方向とは反対に移動する商品に対しては、商品登録訂正処理を行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項11>
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像からオブジェクトを認識することによって物体を検出し、
前記撮像手段が撮像した前記認識領域の画像と、辞書に記録された各取扱商品の基準画像とが、との程度類似しているかを示す類似度によって当該物体がいずれの商品であるかを特定する、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項12>
前記制御手段は、前記撮像手段が撮像した前記認識領域の画像に含まれるデータコードによって前記物体である商品を検知して特定する、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項13>
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
商品登録処理または取消処理を行う制御手段と、
を備える商品登録装置の商品登録方法であって、
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像から物体を検知し、
前記物体である商品を特定し、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする商品登録装置の商品登録/取消方法。
<請求項14>
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
を備える商品登録装置に、
前記撮像手段が撮像した前記認識領域の画像から物体を検知させ、
前記物体である商品を特定させ、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行わせるための商品登録/取消プログラム。
1,1B 商品登録装置
2,2A,2B 商品識別装置
21 マイクロコンピュータ
211 CPU (制御手段)
212 ROM
213 RAM
22 表示・操作部
221 ディスプレイ
222 タッチパネル
23 キーボード
24 顧客用ディスプレイ
25 インタフェース
26L 左光電センサ (第1検知手段または第2検知手段)
26R 右光電センサ (第2検知手段または第1検知手段)
27 カメラ (撮像手段)
271 照明
28 スピーカ
29 電源
3 POS端末
31 マイクロコンピュータ
311 CPU
312 ROM
313 RAM
33 キーボード
321 ディスプレイ
322 タッチパネル
34 顧客用ディスプレイ
35 インタフェース
36 HDD
361 特徴量ファイル (辞書)
37 ドロワ
38 プリンタ
39 電源
4 買物カゴ
5 カウンタ台
51 ハウジング
52 読取窓
6 チェックアウト台
7 商品
8L 領域 (第1領域または第2領域)
8M 認識領域
8R 領域 (第2領域または第1領域)
90 画像取得部
91 物体検出部
92 時系列判断部
93 類似度演算部
94 類似度判断部
95 確定通知部
96 候補商品提示部
97 入力取得部
98 情報出力部
991 売上登録部
992 売上取消部

Claims (14)

  1. 商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
    前記認識領域の画像を撮像する撮像手段と、
    前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
    を備えることを特徴とする商品登録装置。
  2. 前記検知手段は更に、所定の色を検知可能であり、
    前記制御手段は、前記検知手段が所定の色を検知したならば、商品登録処理の際に、併せて商品を値引きする、
    ことを特徴とする請求項1に記載の商品登録装置。
  3. 前記検知手段は、
    前記認識領域の一方の側である第1領域における物体の有無を検知する第1検知手段と、
    前記認識領域の他方の側である第2領域における物体の有無を検知する第2検知手段と、
    を含んで構成されることを特徴とする請求項1に記載の商品登録装置。
  4. 商品の認識領域、および当該認識領域に隣接した検知領域を含んだ画像を撮像する撮像手段と、
    前記撮像手段が撮像した画像のうち前記検知領域から物体の有無を検知し、前記認識領域の画像によって物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
    を備えることを特徴とする商品登録装置。
  5. 前記検知領域は、
    当該認識領域の一方の側である第1領域と、当該認識領域の他方の側である第2領域と、
    を含んで構成されることを特徴とする請求項4に記載の商品登録装置。
  6. 前記制御手段は、前記第1、第2領域のいずれかで物体を検知したのちに前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したならば、前記第1領域、前記第2領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
    ことを特徴とする請求項3または請求項5に記載の商品登録装置。
  7. 前記制御手段は、前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したのちに前記第1、第2領域のいずれかで物体を検知したならば、前記第1領域、前記第2領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
    ことを特徴とする請求項3または請求項5に記載の商品登録装置。
  8. 前記取消処理は、一取引内における登録のキャンセル、または取引終了後における返品処理である、
    ことを特徴とする請求項1ないし請求項5のいずれか1項に記載の商品登録装置。
  9. 前記制御手段は、前記物体を前記第1領域で検知したのちに前記認識領域で検知したならば、前記第1領域と前記認識領域の検知結果の時系列に応じて商品登録処理または商品登録訂正処理を行い、
    その後、前記第1領域で再び物体を検知したならば、前記第1領域と前記認識領域の検知結果の時系列に応じて実施した商品登録処理または商品登録訂正処理を取り消す、
    ことを特徴とする請求項3または請求項5に記載の商品登録装置。
  10. 前記制御手段は、最初の商品の移動方向と同一方向商品に対しては、商品登録処理を行い、当該移動方向とは反対に移動する商品に対しては、商品登録訂正処理を行う、
    ことを特徴とする請求項3または請求項5に記載の商品登録装置。
  11. 前記制御手段は、
    前記撮像手段が撮像した前記認識領域の画像からオブジェクトを認識することによって物体を検出し、
    前記撮像手段が撮像した前記認識領域の画像と、辞書に記録された各取扱商品の基準画像とが、との程度類似しているかを示す類似度によって当該物体がいずれの商品であるかを特定する、
    ことを特徴とする請求項3または請求項5に記載の商品登録装置。
  12. 前記制御手段は、前記撮像手段が撮像した前記認識領域の画像に含まれるデータコードによって前記物体である商品を検知して特定する、
    ことを特徴とする請求項3または請求項5に記載の商品登録装置。
  13. 商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
    前記認識領域の画像を撮像する撮像手段と、
    商品登録処理または取消処理を行う制御手段と、
    を備える商品登録装置の商品登録方法であって、
    前記制御手段は、
    前記撮像手段が撮像した前記認識領域の画像から物体を検知し、
    前記物体である商品を特定し、
    前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
    ことを特徴とする商品登録装置の商品登録/取消方法。
  14. 商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
    前記認識領域の画像を撮像する撮像手段と、
    を備える商品登録装置に、
    前記撮像手段が撮像した前記認識領域の画像から物体を検知させ、
    前記物体である商品を特定させ、
    前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行わせるための商品登録/取消プログラム。
JP2014192528A 2014-09-22 2014-09-22 商品登録装置、商品登録方法およびプログラム Active JP6369258B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014192528A JP6369258B2 (ja) 2014-09-22 2014-09-22 商品登録装置、商品登録方法およびプログラム
US14/856,825 US10169752B2 (en) 2014-09-22 2015-09-17 Merchandise item registration apparatus, and merchandise item registration method
CN201510594363.7A CN105448000B (zh) 2014-09-22 2015-09-17 商品登录装置、商品登录方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014192528A JP6369258B2 (ja) 2014-09-22 2014-09-22 商品登録装置、商品登録方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018130775A Division JP6610724B2 (ja) 2018-07-10 2018-07-10 商品登録装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016062547A true JP2016062547A (ja) 2016-04-25
JP6369258B2 JP6369258B2 (ja) 2018-08-08

Family

ID=55526094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014192528A Active JP6369258B2 (ja) 2014-09-22 2014-09-22 商品登録装置、商品登録方法およびプログラム

Country Status (3)

Country Link
US (1) US10169752B2 (ja)
JP (1) JP6369258B2 (ja)
CN (1) CN105448000B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6428240B2 (ja) * 2014-12-17 2018-11-28 カシオ計算機株式会社 商品登録装置、商品認識方法、およびプログラム
JP6193897B2 (ja) * 2015-01-05 2017-09-06 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6302849B2 (ja) * 2015-01-23 2018-03-28 東芝テック株式会社 物品認識装置、販売データ処理装置および制御プログラム
JP6316245B2 (ja) * 2015-07-22 2018-04-25 東芝テック株式会社 情報処理装置およびプログラム
JP6272810B2 (ja) * 2015-09-30 2018-01-31 東芝テック株式会社 情報処理装置およびプログラム
ES2946192T3 (es) * 2015-11-30 2023-07-13 Signify Holding Bv Distinción de dispositivos que tienen posiciones y direcciones
US20170193290A1 (en) * 2016-01-06 2017-07-06 Toshiba Tec Kabushiki Kaisha Commodity registration apparatus and commodity registration method
US10824873B2 (en) * 2016-01-21 2020-11-03 Nec Corporation Information processing apparatus, control method, and program
US10331969B2 (en) * 2016-10-28 2019-06-25 Ncr Corporation Image processing for scale zero validation
JP6873711B2 (ja) * 2017-01-16 2021-05-19 東芝テック株式会社 商品認識装置
JP6938293B2 (ja) * 2017-09-08 2021-09-22 東芝テック株式会社 読取装置及びプログラム
JP7085393B2 (ja) * 2018-04-12 2022-06-16 東芝テック株式会社 読取装置およびプログラム
JP6847317B2 (ja) * 2018-08-30 2021-03-24 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP7221722B2 (ja) * 2019-02-19 2023-02-14 東芝テック株式会社 物品情報読取装置およびプログラム
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
JP2022139457A (ja) * 2021-03-12 2022-09-26 東芝テック株式会社 情報処理システム、情報端末、及び情報処理装置並びにその制御プログラム
US11928660B2 (en) * 2022-03-18 2024-03-12 Toshiba Global Commerce Solutions Holdings Corporation Scanner swipe guidance system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243282A (ja) * 1993-02-19 1994-09-02 Casio Comput Co Ltd 読取データ処理装置
US5965861A (en) * 1997-02-07 1999-10-12 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout terminal
JP2010026745A (ja) * 2008-07-18 2010-02-04 Ishida Co Ltd Pos端末装置
JP2012053598A (ja) * 2010-08-31 2012-03-15 Toshiba Tec Corp 情報コード読取装置、商品販売情報処理装置、およびプログラム
JP2013156939A (ja) * 2012-01-31 2013-08-15 Toshiba Tec Corp 情報処理装置及びプログラム
JP2014089669A (ja) * 2012-10-31 2014-05-15 Toshiba Tec Corp 商品読取装置、商品販売データ処理装置および商品読取プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369709B1 (en) * 1998-04-10 2002-04-09 3M Innovative Properties Company Terminal for libraries and the like
JP4460084B2 (ja) * 1999-06-04 2010-05-12 富士通株式会社 バーコード読取装置及び計量方法
JP4436872B2 (ja) * 2008-01-24 2010-03-24 東芝テック株式会社 データコード読み取り装置
JP5579202B2 (ja) * 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP5518918B2 (ja) 2012-02-29 2014-06-11 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP5572651B2 (ja) 2012-03-02 2014-08-13 東芝テック株式会社 商品読取装置および商品読取プログラム
JP5553866B2 (ja) * 2012-07-23 2014-07-16 東芝テック株式会社 商品認識装置及び認識辞書追加プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06243282A (ja) * 1993-02-19 1994-09-02 Casio Comput Co Ltd 読取データ処理装置
US5965861A (en) * 1997-02-07 1999-10-12 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout terminal
JP2010026745A (ja) * 2008-07-18 2010-02-04 Ishida Co Ltd Pos端末装置
JP2012053598A (ja) * 2010-08-31 2012-03-15 Toshiba Tec Corp 情報コード読取装置、商品販売情報処理装置、およびプログラム
JP2013156939A (ja) * 2012-01-31 2013-08-15 Toshiba Tec Corp 情報処理装置及びプログラム
JP2014089669A (ja) * 2012-10-31 2014-05-15 Toshiba Tec Corp 商品読取装置、商品販売データ処理装置および商品読取プログラム

Also Published As

Publication number Publication date
JP6369258B2 (ja) 2018-08-08
US10169752B2 (en) 2019-01-01
CN105448000B (zh) 2018-12-11
US20160086148A1 (en) 2016-03-24
CN105448000A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
JP6369258B2 (ja) 商品登録装置、商品登録方法およびプログラム
JP6274097B2 (ja) 商品識別装置および商品認識ナビゲーション方法
US11494573B2 (en) Self-checkout device to which hybrid product recognition technology is applied
JP6555866B2 (ja) 商品登録装置及びプログラム
JP6348827B2 (ja) 情報処理装置、店舗システムおよびプログラム
US10482447B2 (en) Recognition system, information processing apparatus, and information processing method
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
JP2014052800A (ja) 情報処理装置及びプログラム
JP6428240B2 (ja) 商品登録装置、商品認識方法、およびプログラム
JP6547856B2 (ja) 情報表示装置、誘導表示方法およびプログラム
JP6409637B2 (ja) 商品登録装置、およびその商品登録方法
US20190385141A1 (en) Check-out system with merchandise reading apparatus and pos terminal
JP6375924B2 (ja) 商品登録装置、商品特定方法及びプログラム
JP2017211880A (ja) 情報処理装置及びプログラム
JP2020064331A (ja) 読取装置およびプログラム
JP6503670B2 (ja) 商品登録装置、商品登録方法、および商品登録プログラム
JP6610724B2 (ja) 商品登録装置、およびプログラム
JP6295944B2 (ja) 商品識別装置および商品認識ナビゲーション方法
JP2016177433A (ja) 商品登録装置および商品登録方法
US20190370774A1 (en) Information processing apparatus and method of controlling an information processing apparatus
US20170083891A1 (en) Information processing apparatus and information processing method
US10360475B2 (en) Object recognition apparatus
JP6384309B2 (ja) 商品識別装置、商品認識ナビゲーション方法及びプログラム
US20180174126A1 (en) Object recognition apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180612

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180625

R150 Certificate of patent or registration of utility model

Ref document number: 6369258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150