JP2016062547A - 商品登録装置、商品登録装置の商品登録/取消方法および商品登録/取消プログラム - Google Patents
商品登録装置、商品登録装置の商品登録/取消方法および商品登録/取消プログラム Download PDFInfo
- Publication number
- JP2016062547A JP2016062547A JP2014192528A JP2014192528A JP2016062547A JP 2016062547 A JP2016062547 A JP 2016062547A JP 2014192528 A JP2014192528 A JP 2014192528A JP 2014192528 A JP2014192528 A JP 2014192528A JP 2016062547 A JP2016062547 A JP 2016062547A
- Authority
- JP
- Japan
- Prior art keywords
- product
- area
- registration
- image
- product registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/407—Cancellation of a transaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
【解決手段】商品登録装置1は、商品識別装置2における商品の認識領域の一方の側である第1領域における物体の有無を検知する左光電センサ26Lと、この認識領域の他方の側である第2領域における物体の有無を検知する右光電センサ26Rと、この認識領域の画像を撮像するカメラ27とを備える。カメラ27が撮像した認識領域の画像から物体を検知して商品を特定すると共に、左光電センサ26L、右光電センサ26R、カメラ27による各領域の検知結果の時系列に応じて、POS端末3に商品登録処理と商品の仮登録の取消処理のいずれかを行わせる
【選択図】図1
Description
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、オペレータが商品コードや金額をキーボードで入力するという運用がなされていた。
キャッシュレジスタのオペレータは、商品を売上登録する際、この顧客に係る第1の買物カゴに入っている各商品を順番に商品登録装置に読み込ませ、第2の買物カゴに入れる。ここで顧客が、いずれかの商品の購入をキャンセルしたいと申し出たとき、オペレータは、商品の登録を訂正するためキーボード操作を必要としていた。この操作は非定常的な操作であるため、オペレータがこの操作を習得していない場合が多い。よって、オペレータのチーフなどが呼ばれて、このキャンセル作業を行わなければならず、キャンセルまでに多くの作業工数と時間とを要するという問題があった。これは、バーコード読み取り機能を有する商品登録装置と、オブジェクト認識機能を有する商品登録装置に共通する問題である。
また、バーコード読み取り機能を有する商品登録装置は、上記操作を認識できないため、商品登録のキャンセルを実現できない。
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置である。
商品の認識領域、および当該認識領域に隣接した検知領域を含んだ画像を撮像する撮像手段と、
前記撮像手段が撮像した画像のうち前記検知領域から物体の有無を検知し、前記認識領域の画像によって物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置である。
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
商品登録処理または取消処理を行う制御手段と、
を備える商品登録装置の商品登録方法であって、
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像から物体を検知し、
前記物体である商品を特定し、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする商品登録装置の商品登録/取消方法である。
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
を備える商品登録装置に、
前記撮像手段が撮像した前記認識領域の画像から物体を検知させ、
前記物体である商品を特定させ、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行わせるための商品登録/取消プログラムである。
図1は、第1の実施形態における商品登録装置1の外観を示す斜視図である。
図1に示すように、商品登録装置1は、各商品を登録する商品識別装置2と、各取引に係る商品の売上登録と精算とを行うPOS端末3とを備える。この商品識別装置2は、商品に関する情報を読み取って登録するPOS接続用スキャナである。
商品識別装置2は、横長テーブル状のカウンタ台5の長手方向の中央に設置されている。商品識別装置2は、薄型の矩形状のハウジング51を備える。このハウジング51の正面には、読取窓52を介してカメラ27(図2参照)が配置されている。読取窓52の左側には、左光電センサ26Lが配置されている。読取窓52の右側には、右光電センサ26Rが配置されている。
POS端末3の上面には、オペレータ(店員)が操作するためのキーボード33が配置されている。このオペレータから見てキーボード33の上部奥側には、情報を表示するディスプレイ321が設けられている。このディスプレイ321の表面には、タッチパネル322(図2参照)が積層されている。ディスプレイ321よりもさらに奥側には、情報を表示する顧客用ディスプレイ34が左右方向に回転可能に設置されている。なお、図1に示す顧客用ディスプレイ34は、図の手前側に向いている。この顧客用ディスプレイ34は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
第1の買物カゴ4Lは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第2の買物カゴ4Rは、第1の買物カゴ4Lから商品識別装置2を挟んだ位置に載置される。第1の買物カゴ4L内の商品は、商品識別装置2を操作するオペレータにより取り出され、第2の買物カゴ4Rに移動される。この移動過程で、商品が商品識別装置2の読取窓52にかざされる。このとぎ、読取窓52内に配置されたカメラ27(図2参照)は商品を撮像する。
商品登録装置1は、商品識別装置2とPOS端末3とを含んで構成される。
商品識別装置2は、マイクロコンピュータ21と、表示・操作部22と、インタフェース25と、左光電センサ26Lと、右光電センサ26Rと、カメラ27と、スピーカ28と、電源29とを含んで構成される。
マイクロコンピュータ21は、CPU(Central Processing Unit)211にROM(Read Only Memory)212とRAM(Random Access Memory)213とがバス接続されて構成されている。ROM212には、CPU211によって実行されるプログラムが記憶される。
CPU211には、表示・操作部22と、インタフェース25と、右光電センサ26Rと、左光電センサ26Lと、カメラ27、スピーカ28とが、内部バスや各入出力回路(不図示)を介して接続される。
ディスプレイ221は、CPU211の指示により、オペレータに対する情報を表示する。タッチパネル222は、ディスプレイ221により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ24は、CPU211の指示により、顧客に対する情報を表示する。
キーボード23は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース25は、POS端末3のインタフェース35に接続して、POS端末3との間でデータ送受信を可能にする。
カメラ27は、カラーCCDイメージセンサやカラーCMOSイメージセンサなどであり、CPU211の制御の下で、読取窓52(図1参照)からの撮像を行う撮像手段である。カメラ27は、例えば30[fps]の動画像の撮像を行う。カメラ27が所定のフレームレートで順次撮像したフレーム画像(撮像画像)は、RAM213に保存される。
電源29は、この商品識別装置2の各部に電力を供給する。
マイクロコンピュータ31は、情報処理を実行する。このマイクロコンピュータ31は、各種演算処理を実行し各部を制御するCPU311に、ROM312とRAM313とがバス接続されて構成される。CPU311には、ドロワ37と、キーボード33と、ディスプレイ321と、タッチパネル322と、顧客用ディスプレイ34と、HDD36(Hard Disk Drive)とが、内部バスや各入出力回路を介して接続されている。これらは、CPU311による制御を受ける。
キーボード33は、仮締めキー331と、締めキー332と、テンキー333とを含んで構成され、オペレータの操作入力を受け付ける。テンキー333は、0から9までの数字キーと各種演算子キーとで構成される。
プリンタ38は、レシートなどに印字を行う。POS端末3は、CPU311の制御のもとで、各取引の取引内容をレシートに印字する。
電源39は、このPOS端末3の各部に電力を供給する。
商品識別装置2のCPU211は、ROM212に格納されるプログラムを実行することにより、画像取得部90と、物体検出部91、時系列判断部92、類似度演算部93、類似度判断部94、確定通知部95、候補商品提示部96、入力取得部97、情報出力部98の各部を具現化する。また、同様に、POS端末3のCPU311は、HDD36に格納されるプログラムを実行することにより、売上登録部991、売上取消部992の各部を具現化する。POS端末3のHDD36には更に、特徴量ファイル361が格納される。
具体的には、オペレータが売上登録のために商品を読取窓52に向けると、画像取得部90は、カメラ27によって、この商品の画像を撮影する。物体検出部91は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部91は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出する。
類似度演算部93は更に、特徴量ファイル361に記録された各商品(以下、取扱商品という)の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル361に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル361に記録されている各商品が想定する商品画像を100%の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部93は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
柳井啓司,「一般物体認識の現状と今後」,[online]、情報処理学会論文誌,2007年11月15日,Vol.48,No.SIG16、1-24頁,[平成26年9月8日検索],インターネット
Jamie Shottonら,“Semantic Texton Forests for Image Categorization and Segmentation”, Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on,[平成26年9月8日検索],インターネット
更に、類似度判断部94は、取扱商品との類似度が閾値Ty未満、かつ、閾値Tz以上である場合に、条件Zが満たされたと判定する。
POS端末3の売上取消部992は、情報出力部98から出力された商品IDと販売個数とに基づいて、対応する商品の売上登録の取消を行う。具体的にいうと、売上取消部992は、特徴量ファイル361を参照して、通知された商品IDおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルから検索して削除する。これにより、売上取消部992は、1取引内における売上登録(仮登録)を取り消すことができ、取引後(精算後)における返品を処理することもできる。
商品識別装置2は、カウンタ台5に設置されている。商品識別装置2は、薄型の矩形状のハウジング51と、このハウジング51の上部に取り付けられた表示・操作部22と、表示・操作部22の左奥側に裏向きに設置された顧客用ディスプレイ24とを含んで構成される。
このハウジング51の正面には、読取窓52が設けられる。
読取窓52には、照明271とカメラ27(撮像手段)とが配置される。認識領域8Mは、カメラ27が物体を撮影し、この物体を検知して商品を特定する領域である。
読取窓52の左側には、左光電センサ26L(第1検知手段)が配置されている。読取窓52の右側には、右光電センサ26R(第2検知手段)が配置されている。領域8L(第1領域)は、認識領域8Mの一方の側であり、左光電センサ26Lが物体を検知する領域である。領域8R(第2領域)は、認識領域8Mの他方の側であり、右光電センサ26Rが物体を検知する領域である。
左光電センサ26L(第1検知手段)は、商品の認識領域8Mの一方の側である領域8Lにおける物体の有無を検知する。左光電センサ26Lは、所定の奥行きの範囲で物体の有無を検知する。
右光電センサ26R(第2検知手段)は、この認識領域8Mの他方の側である領域8Rにおける物体の有無を検知する。右光電センサ26Rは、所定の奥行きの範囲で物体の有無を検知する。なお、左光電センサ26Lが第2検知手段であり、右光電センサ26Rが第1検知手段であってもよい。
オペレータが第1の買物カゴ4Lの商品を読取窓52にかざすとき、オペレータは、直感的で自然な操作で商品を左光電センサ26Lに検知させることができる。オペレータが商品識別装置2が認識した商品を第2の買物カゴ4Rに移動するとき、オペレータは、直感的で自然な操作で商品を右光電センサ26Rに検知させることができる。
この商品識別装置2は、左光電センサ26Lと、右光電センサ26Rと、カメラ27とによる物体の検知結果の時系列に応じて、POS端末3に商品登録処理と商品登録の取消処理のいずれかを行わせる。
図5(a)は、商品登録操作の説明図である。
商品登録操作にあたり、オペレータは、第1の買物カゴ4Lの商品を取り出して、読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに入れる。この操作は、従来の商品登録装置と同様であり、直感的で自然な操作である。
このとき、商品識別装置2は、左光電センサ26Lが物体を検知したのちカメラ27の撮影画像から物体を検知して商品を特定する。このとき商品識別装置2は、商品を特定する直前に左光電センサ26Lが物体を検知しているので、この商品の仮登録を行う。
このように、商品識別装置2は、右光電センサ26Rの検知結果と、カメラ27の撮影画像による物体の検知結果と、左光電センサ26Lの検知結果との時系列により、商品登録操作を特定することができる。
商品登録の取消操作にあたり、オペレータは、第2の買物カゴ4Rの商品を取り出して、読取窓52のカメラ27にかざしたのち、第1の買物カゴ4Lに戻す。この操作は、商品登録操作の逆順であり、直感的で自然な操作である。
このとき、商品識別装置2は、右光電センサ26Rが物体を検知したのちカメラ27の撮影画像から物体を検知して商品を特定する。このとき商品識別装置2は、商品を特定する直前に右光電センサ26Rが物体を検知しているので、この商品登録の取消を行う。
このように、商品識別装置2は、右光電センサ26Rの検知結果と、カメラ27の撮影画像による物体の検知結果と、左光電センサ26Lの検知結果との時系列により、商品登録の取消操作を特定することができる。
なお、商品識別装置2は、カメラ27による商品特定と、光電センサによる物体の移動方向の判別で、商品登録操作と商品登録の訂正操作とを区別して特定し、商品登録処理と商品登録の取消処理とを切り替えてもよい。
第1の実施形態の商品登録処理は、例えば、オペレータ(店員)が、第1の買物カゴ4L(図1参照)の商品を取り出して、読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに入れるまでの一連の処理である。
ステップS10において、商品識別装置2のCPU211は、左光電センサ26Lがオンしたか否かを判断する。CPU211は、左光電センサ26Lがオンしたと判断しなかったならば(No)、ステップS10の処理に戻り、左光電センサ26Lがオンしたと判断したならば(Yes)、ステップS11の処理に進む。具体的にいうと、左光電センサ26Lのオンは、認識領域8Mの一方の側である領域8Lにおける物体の検知であり、オペレータが第1の買物カゴ4Lから商品を取って、読取窓52のカメラ27にかざそうとしていることを意味する。
ステップS12において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。
ステップS13において、物体検出部91は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS14の処理に進み、商品である物体の認識に成功しなかったならば(No)、ステップS11の処理に戻る。ステップS11〜S13を具体的にいうと、オペレータが商品を読取窓52のカメラ27にかざし、商品識別装置2が、この商品である物体の検出に成功する一連の処理である。
ステップS15において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDに基づき、商品を仮登録する。このとき確定通知部95は、確定商品の写真画像を含む確定画面をディスプレイ221に表示させるとともに、確定商品の商品名を音声で通知する。ステップS15の処理が終了すると、図6の処理が終了する。
第1の実施形態の商品登録の取消処理は、例えば、オペレータ(店員)が、第2の買物カゴ4R(図1参照)に移動した仮登録済みの商品を取り出して、読取窓52のカメラ27にかざしたのち、第1の買物カゴ4Lに戻すまでの一連の処理である。またはオペレータが、精算済みの商品を読取窓52のカメラ27にかざして返品を行う処理である。
ステップS20において、商品識別装置2のCPU211は、右光電センサ26Rがオンしたか否かを判断する。CPU211は、右光電センサ26Rがオンしたと判断しなかったならば(No)、ステップS20の処理に戻り、右光電センサ26Rがオンしたと判断したならば(Yes)、ステップS21の処理に進む。具体的にいうと、右光電センサ26Rのオンは、認識領域8M(図4参照)の他方の側である領域8Rにおける物体の検知であり、オペレータが、第2の買物カゴ4Rから商品を取り出して、読取窓52のカメラ27にかざそうとしていることを意味する。
ステップS22において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。
ステップS23において、物体検出部91は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS24の処理に進み、商品である物体の認識に成功しなかったならば(No)、ステップS21の処理に戻る。ステップS21〜S23を具体的にいうと、オペレータが商品を読取窓52のカメラ27にかざし、商品識別装置2が、この商品である物体の検出に成功するまでの一連の処理である。
ステップS25において、確定通知部95は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部95は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば(Yes)、ステップS26の処理に進み、一致すると判断しなかったならば(No)、ステップS27の処理に進む。
ステップS26において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、商品の仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDに基づき、商品の仮登録を訂正(キャンセル)する。このとき確定通知部95は、確定商品の写真画像を含む画面をディスプレイ221に表示させるとともに、確定商品の商品名と、これをキャンセルする旨を音声で通知する。ステップS26の処理が終了すると、図7の処理が終了する。
ステップS27において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、商品の返品処理を行わせる。POS端末3の売上取消部992は、この商品IDに基づき、商品の返品処理を行う。このとき確定通知部95は、確定商品の写真画像を含む画面をディスプレイ221に表示させるとともに、確定商品の商品名と、これを返品する旨を音声で通知する。ステップS27の処理が終了すると、図7の処理が終了する。
第1の実施形態の第1変形例の商品登録処理は、例えば、オペレータが、第1の買物カゴ4L(図1参照)の商品を読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに移動する一連の処理である。このとき、商品に赤値札が付与されていたならば、自動で値引き処理を実行する。
ステップS30において、商品識別装置2のCPU211は、左光電センサ26Lが商品に貼られた赤値札を検出したか否かを判断する。CPU211は、左光電センサ26Lが赤色を検知したとき、赤値札を検出したと判断する。CPU211は、左光電センサ26Lが赤値札を検出したならば(Yes)、ステップS31の処理に進み、左光電センサ26Lが赤値札を検出しなかったならば(No)、ステップS32の処理に進む。
ステップS31において、商品識別装置2のCPU211は、値引きフラグをオンする。このとき、商品には赤値札が貼られており、値引き対象となっている。
ステップS37において、商品識別装置2のCPU211は、値引きフラグがオンであるか否かを判断する。CPU211は、値引きフラグがオンでないならば(No)、ステップS38の処理に進み、値引きフラグがオンであるならば(Yes)、ステップS39の処理に進む。
ステップS38において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDに基づき、商品を仮登録する。このとき確定通知部95は、確定商品の写真画像を含む確定画面をディスプレイ221に表示させるとともに、確定商品の商品名を音声で通知する。このステップS38の処理が終了すると、図8の処理が終了する。
顧客は、図1の右側から左側に移動しつつ、商品の登録処理を受けることが考えられる。つまり、未精算の買物カゴ4を右側に配置し、仮登録された商品または売上登録済の商品に係る買物カゴ4を左側に配置する場合である。これを実現するには、例えば、各取引における最初の商品が、左光電センサ26Lと右光電センサ26Rのうちいずれで検出されたかを判断すればよい。
ステップS51において、CPU211は、この取引の最初の商品であるか否かを判断する。CPU211は、この取引の最初の商品であると判断したならば(Yes)、ステップS52の処理に進み、この取引の最初の商品であると判断なかったならば(No)、ステップS54の処理に進む。
ステップS52において、CPU211は、右から左を商品の登録方向と定義する。以降、この取引において、最初に右光電センサ26Rがオンしたのちに、フレーム画像でオブジェクト認識された商品は、商品登録処理が行われる。
ステップS53において、CPU211は、この商品に係る商品登録処理を行う。商品登録処理とは、例えば図6のステップS11以降で示したような処理であり、現取引において、この商品を仮登録する処理である。CPU211は、ステップS53の商品登録処理が終了すると、図9の処理を終了する。
ステップS55において、CPU211は、この商品に係る取消処理を行う。取消処理とは、例えば図7のステップS21以降で示したような処理であり、例えば、現取引において、この商品が仮登録中の商品と一致するならば、その仮登録をキャンセルする処理である。CPU211は、ステップS55の取消処理が終了すると、図9の処理を終了する。
ステップS56において、商品識別装置2のCPU211は、左光電センサ26Lがオンしたか否かを判断する。CPU211は、左光電センサ26Lがオンしたと判断しなかったならば(No)、ステップS50の処理に戻り、右光電センサ26Rがオンしたと判断したならば(Yes)、ステップS57の処理に進む。
ステップS58において、CPU211は、左から右を商品の登録方向と定義する。以降、この取引において、最初に左光電センサ26Lがオンしたのちに、フレーム画像でオブジェクト認識された商品は、商品登録処理が行われる。
ステップS59において、CPU211は、この商品に係る商品登録処理を行う。商品登録処理とは、例えば図6のステップS11以降で示したような処理であり、現取引において、この商品を仮登録する処理である。このときの商品の移動方向は、ステップS53における商品の移動方向とは逆となる。
CPU211は、ステップS59の商品登録処理が終了すると、図9の処理を終了する。
ステップS60において、CPU211は、商品の登録方向が左から右と定義されているか否かを判断する。CPU211は、商品の登録方向が左から右と定義されていたならば(Yes)、ステップS59の処理に進み、商品の登録方向が左から右と定義されていなかったならば(No)、ステップS61の処理に進む。
このように処理することで、商品識別装置2は、各取引における最初の商品の移動方向で商品登録処理を行い、その反対方向で商品登録の取消処理を行うように動作可能である。これにより、商品識別装置2の向きに制約されず、店舗をレイアウトすることができる。
なお、ステップS51,S57では、各取引における最初の商品を検知したセンサにより、商品登録方向を定義しているが、商品登録装置1の電源オン後の最初の商品の移動方向や、この商品登録装置1の使用開始時の最初の商品の移動方向であってもよく、限定されない。
図10は、第2の実施形態における商品識別装置2Aの正面図である。図4に示した第1の実施形態の商品識別装置2と同一の要素には同一の符号を付与している。
第2の実施形態の商品識別装置2Aは、第1の実施形態の商品識別装置2とは異なり、右光電センサ26R(第2検知手段)が配置されていない。それ以外は、第1の実施形態の商品識別装置2と同様に構成されている。
図11は、第2の実施形態における商品登録の取消処理を示すフローチャートである。
ステップS40〜S42の処理は、第1実施形態のステップS21〜S23(図7参照)の処理と同様に、商品を撮影してオブジェクト認識する処理である。
ステップS43において、商品識別装置2のCPU211は、左光電センサ26Lがオンしたか否かを判断する。CPU211は、左光電センサ26Lがオンしたと判断しなかったならば(No)、ステップS43の処理に戻り、左光電センサ26Lがオンしたと判断したならば(Yes)、ステップS44の処理に進む。具体的にいうと、左光電センサ26Lのオンは、認識領域8M(図4参照)に隣接する領域8Lにおける物体の検知であり、オペレータが、第2の買物カゴ4Rから商品を取り出して、読取窓52のカメラ27にかざしたのち、第1の買物カゴ4Lに戻そうとしていることを意味する。
ステップS44において、類似度演算部93は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部94が、類似度が所定閾値以上となる取扱商品が特徴量ファイル361にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置2は、この商品を確定することができる。
ステップS45において、確定通知部95は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部95は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば(Yes)、ステップS46の処理に進み、一致すると判断しなかったならば(No)、ステップS47の処理に進む。
ステップS46において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、商品の仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDに基づき、商品の仮登録を訂正(キャンセル)する。このとき確定通知部95は、確定商品の写真画像を含む画面をディスプレイ221に表示させるとともに、確定商品の商品名と、これをキャンセルする旨を音声で通知する。ステップS46の処理が終了すると、図11の処理が終了する。
ステップS47において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、商品の返品処理を行う。POS端末3の売上取消部992は、この商品IDに基づき、商品を返品処理(キャンセル)する。このとき確定通知部95は、確定商品の写真画像を含む画面をディスプレイ221に表示させるとともに、確定商品の商品名と、これを返品処理する旨を音声で通知する。ステップS47の処理が終了すると、図11の処理が終了する。ここで商品の返品処理とは、仮登録された商品が本登録されて精算されたのちに、この商品に係る取引を取り消す処理のことをいう。
このように、2つの光電センサを設置することなく、片側に1つの光電センサを設置することによっても、オペレータは、キーボード操作をすること無しに商品を登録でき、この商品登録を取り消すことができる。
図12は、第3の実施形態における商品登録装置1Bの概略を示す構成図である。図2に示した第1の実施形態の商品登録装置1と同一の要素には、同一の符号を付与している。
第3の実施形態の商品登録装置1Bは、第1の実施形態とは異なる商品識別装置2Bを備えている。この商品識別装置2Bは、第1の実施形態の商品識別装置2(図2参照)とは異なり、右光電センサ26Rと左光電センサ26Lとを備えていない。それ以外は、第1の実施形態の商品識別装置2と同様に構成されている。
第3の実施形態の商品識別装置2Bは、読取窓52の左右の領域で物体を検知し、読取窓52の中央の認識領域で、この物体を認識して商品を特定する。これにより、右光電センサ26Rと左光電センサ26Lとが不要となる。すなわち、第3の実施形態におけるカメラ27は、商品の認識領域と、この認識領域の一方の側である第1領域と、この認識領域の他方の側である第2領域を含んだ画像を撮像する撮像手段である。
CPU211は、カメラ27が撮像した画像のうち、左右の領域から物体の有無を検知し、中央の認識領域の画像によって物体を検知して商品を特定する。CPU211は更に、これら検知結果の時系列に応じて、POS端末3に商品登録処理と商品登録の取消処理のいずれかを行わせる。
なお、第3の実施形態の商品識別装置2Bは、左側領域で物体を検知し、読取窓52の中央の認識領域で、この物体を認識して商品を特定したとき、この商品を仮登録する。その反対に、右側領域で物体を検知し、読取窓52の中央の認識領域で、この物体を認識して商品を特定したとき、この商品の仮登録を訂正(キャンセル)する。
図13(a)は、商品登録操作の説明図である。
図13に示すように、読取窓52の前方は、左側の領域8L(第1領域)と、中央の認識領域8Mと、右側の領域8R(第2領域)とに区分される。商品識別装置2Bは、領域8L,8Rの物体を検知可能である。
商品登録操作にあたり、オペレータは、第1の買物カゴ4Lの商品を読取窓52のカメラ27にかざしたのち、第2の買物カゴ4Rに移動する。この操作は、従来の商品登録装置と同様であり、直感的で自然な操作である。
このとき、商品識別装置2Bは、カメラ27の撮影画像から物体を検知する。商品識別装置2Bは、左側の領域8Lで物体を検知したのち、認識領域8Mで物体を検知して商品を特定し、その後は右側の領域8Rで物体を検知する。
このように、領域8L,8Rにおける物体の検知結果と、認識領域8Mにおける物体の検知結果との時系列により、商品登録操作を特定することができる。
商品の仮登録操作にあたり、オペレータは、第1の買物カゴ4Lの商品を読取窓52のカメラ27にかざして商品を特定する。その直後にオペレータは、この商品を第1の買物カゴ4Lに戻して仮登録をキャンセルする。この操作は、直感的で自然な操作である。
このとき、商品識別装置2Bは、カメラ27の撮影画像から物体を検知する。商品識別装置2Bは、左側の領域8Lで物体を検知したのち、認識領域8Mで物体を検知して商品を特定し、再び左側の領域8Lで物体を検知する。
このように、領域8L,8Rにおける物体の検知結果と、認識領域8Mにおける物体の検知結果との時系列により、商品の仮登録直後の訂正操作を特定することができる。
図14(a)は、商品登録訂正操作の説明図である。
ここでいう商品登録訂正操作とは、第2の買物カゴ4Rに入れた仮登録済みの商品を訂正(キャンセル)する操作である。登録の直後に訂正する図13(b)に示した操作とは異なる。
商品登録訂正操作にあたり、オペレータは、第2の買物カゴ4Rの商品を読取窓52のカメラ27にかざしたのち、第1の買物カゴ4Lに戻す。この操作は、商品の仮登録操作の逆順であり、直感的で自然な操作である。
このとき、商品識別装置2Bは、カメラ27の撮影画像から物体を検知する。商品識別装置2Bは、右側の領域8Rで物体を検知したのち、認識領域8Mで物体を検知して商品を特定し、その後は左側の領域8Lで物体を検知する。
このように、領域8L,8Rにおける物体の検知結果と、認識領域8Mにおける物体の検知結果との時系列により、商品登録訂正操作を特定することができる。
商品登録訂正操作にあたり、オペレータは、第2の買物カゴ4Rの商品を読取窓52のカメラ27にかざす。オペレータは、この訂正を取りやめて第2の買物カゴ4Rに戻して、この商品を再び仮登録する。この操作は、商品仮登録操作のキャンセルの逆順であり、直感的で自然な操作である。
このとき、商品識別装置2Bは、カメラ27の撮影画像から物体を検知する。商品識別装置2Bは、右側の領域8Rで物体を検知したのち、認識領域8Mで物体を検知して商品を特定し、再び右側の領域8Rで物体を検知する。
このように、領域8L,8Rにおける物体の検知結果と、認識領域8Mにおける物体の検知結果との時系列により、商品登録訂正操作後の再登録操作を特定することができる。
ステップS70において、画像取得部90は、カメラ27に撮像オン信号を出力してカメラ27による商品画像のキャプチャ(撮像)を開始する。画像取得部90は、カメラ27が撮像してRAM213に保存したフレーム画像(撮像画像)を取り込む。
ステップS71において、物体検出部91は、画像取得部90が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識(検出)を試みる。
ステップS73において、CPU211は、この物体を左側の領域8Lで最初に検知したことを記憶し、ステップS75の処理に進む。このときオペレータは、第1の買物カゴ4Lの商品を取り出して、左側の領域8Lに移動させている。
ステップS74において、CPU211は、この物体を右側の領域8Rで最初に検知したことを記憶する。このときオペレータは、第2の買物カゴ4Rの商品を取り出して、右側の領域8Rに移動させている。
ステップS77において、物体検出部91は、認識領域8Mで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS78の処理に進み、物体の認識に成功しなかったならば(No)、ステップS75の処理に戻る。
ステップS78において、類似度演算部93は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部94が、類似度が所定閾値以上となる取扱商品が特徴量ファイル361にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置2Bは、この商品を確定することができる。
ステップS79において、CPU211は、この物体を最初に検知した領域が、領域8L,8Rのうちいずれかを判断する。CPU211は、この物体を最初に検知した領域が左側の領域8Lならば(左領域)、ステップS80の処理に進み、この物体を最初に検知した領域が右側の領域8Rならば(右領域)、ステップS81の処理に進む。
ステップS80の処理の後、ノードAを介して図16(a)のステップS83の処理に進む。
ステップS81において、確定通知部95は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部95は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば(Yes)、ステップS82の処理に進み、一致すると判断しなかったならば(No)、図15の処理を終了する。
ステップS82において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDにもとづき、商品の仮登録を訂正(キャンセル)する。このときオペレータは、第2の買物カゴ4Rの商品を取り出して、右側の領域8Rを介して認識領域8Mに移動させ、カメラ27にかざしている。
ステップS82の処理の後、ノードBを介して図16(b)のステップS87の処理に進む。
図16(a)は、図15のステップS80の処理後の一連の処理を示している。
ステップS83,S84の処理は、ステップS70,S71(図15参照)の処理と同様である。
ステップS85において、物体検出部91は、領域8L,8Rで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、左側の領域8Lで物体の認識に成功したならば(左領域)、ステップS86の処理に進み、右側の領域8Rで物体の認識に成功したならば(右領域)、図16(a)の処理を終了し、物体の認識に成功しなかったならば(非検知)、ステップS83の処理に戻る。
ステップS86において、情報出力部98は、ステップS78(図15参照)で確定した取扱商品の商品IDなどをPOS端末3に出力して、仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDにもとづき、商品の仮登録を訂正(キャンセル)する。このときオペレータは、第1の買物カゴ4Lの商品を取り出して、左側の領域8Lを介して認識領域8Mに移動させてカメラ27にかざしたのち、再び第1の買物カゴ4Lに戻している(図13(b)参照)。
ステップS86の処理が終了すると、図16(a)の処理を終了する。
ステップS87,S88の処理は、ステップS70,S71(図15参照)の処理と同様である。
ステップS89において、物体検出部91は、領域8L,8Rで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、左側の領域8Lで物体の認識に成功したならば(左領域)、ステップS90の処理に進み、右側の領域8Rで物体の認識に成功したならば(右領域)、図16(b)の処理を終了し、物体の認識に成功しなかったならば(非検知)、ステップS87の処理に戻る。
ステップS90において、情報出力部98は、ステップS78(図15参照)で確定した取扱商品の商品IDなどをPOS端末3に出力して仮登録させる。POS端末3の売上登録部991は、この商品IDにもとづき、商品を仮登録する。このときオペレータは、第2の買物カゴ4Rの商品を取り出して、右側の領域8Rを介して認識領域8Mに移動させてカメラ27にかざしたのち、再び第2の買物カゴ4Rに戻している(図14(b)参照)。
ステップS90の処理が終了すると、図16(b)の処理を終了する。
この変形例は、オペレータが、認識領域8Mで商品を特定したのち、この商品を左右いずれの買物カゴ4に入れるかにより、商品登録処理と商品登録の取消処理のいずれかを実行するものである。この変形例では、商品を左右いずれの側から認識領域8Mに移動させるかを問わない。
ステップS100,S101の処理は、ステップS70,S71(図15参照)の処理と同様である。
ステップS102において、物体検出部91は、認識領域8Mで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、商品である物体の認識に成功したならば(Yes)、ステップS103の処理に進み、物体の認識に成功しなかったならば(No)、ステップS100の処理に戻る。
ステップS103において、物体検出部91は、認識領域8Mにおける物体の認識結果を記憶する。
ステップS106において、物体検出部91は、領域8L,8Rで商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部91は、右側の領域8Rで物体の認識に成功したならば(右領域)、ステップS107の処理に進み、左側の領域8Lで物体の認識に成功したならば(左領域)、ステップS109の処理に進み、物体の認識に成功しなかったならば(非検知)、ステップS104の処理に戻る。
ステップS107において、類似度演算部93は、ステップS102で認識成功したときの画像から商品の特徴量を読み取る。更に類似度判断部94が、類似度が所定閾値以上となる取扱商品が特徴量ファイル361にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。これにより、商品識別装置2Bは、この商品を確定することができる。
ステップS109の処理は、ステップS107の処理と同様である。
ステップS110において、確定通知部95は、確定した商品が現取引で仮登録中の商品と一致するか否かを判断する。確定通知部95は、確定した商品が現取引で仮登録中の商品と一致すると判断したならば(Yes)、ステップS111の処理に進み、一致すると判断しなかったならば(No)、図17の処理を終了する。
ステップS111において、情報出力部98は、確定した取扱商品の商品IDなどをPOS端末3に出力して、仮登録を訂正させる。POS端末3の売上取消部992は、この商品IDにもとづき、商品の仮登録を訂正(キャンセル)する。ステップS111の処理が終了すると、図17の処理を終了する。
このように、オペレータは、商品識別装置2Bに商品を認識させた後に、左右の領域8L,8Rのいずれかに商品を通過させることによっても、商品登録処理と商品登録訂正処理(取消処理)のいずれかを実行することができる。よって、商品識別装置2Bは、キーボード操作なしに、直感的で誤操作の少ない商品登録処理と、その取消処理とを実行可能である。
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の(a)〜(d)のようなものがある。
(a) 商品の特定は、オブジェクト認識に限定されない。例えば、読取窓にバーコードスキャナやバーコードリーダなどを組み込んで、商品に印刷されたバーコードなどを読み取って商品を特定してもよい。
(b) センサの位置は、認識領域(読取窓)の左右に限定されず、例えば上下に設置されていてもよい。また、読取窓(カメラ)に近い位置と遠い位置に設置されてもよい。このとき、両センサの検知領域に挟まれた領域が、カメラによる商品の認識領域となる。
(c) 左右の領域の検知手段は、光電センサに限定されず、物体が検知可能な任意のセンサであればよく、例えば超音波センサ、レーザセンサ、赤外線センサなどであってもよい。
(d) 各領域での商品の検知結果の時系列と、商品登録処理と商品登録の取消処理との対応は任意でよい、例えば、最初に右側の領域で物体検知したのちに、認識領域で商品を認識したときに、POS端末に商品登録処理を行わせてもよい。最初に左側の領域で物体検知したのちに、認識領域で商品を認識したときに、POS端末に商品登録の取消処理を行わせてもよい。
〔付記〕
<請求項1>
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置。
<請求項2>
前記検知手段は更に、所定の色を検知可能であり、
前記制御手段は、前記検知手段が所定の色を検知したならば、商品登録処理の際に、併せて商品を値引きする、
ことを特徴とする請求項1に記載の商品登録装置。
<請求項3>
前記検知手段は、
前記認識領域の一方の側である第1領域における物体の有無を検知する第1検知手段と、
前記認識領域の他方の側である第2領域における物体の有無を検知する第2検知手段と、
を含んで構成されることを特徴とする請求項1に記載の商品登録装置。
<請求項4>
商品の認識領域、および当該認識領域に隣接した検知領域を含んだ画像を撮像する撮像手段と、
前記撮像手段が撮像した画像のうち前記検知領域から物体の有無を検知し、前記認識領域の画像によって物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置。
<請求項5>
前記検知領域は、
当該認識領域の一方の側である第1領域と、当該認識領域の他方の側である第2領域と、
を含んで構成されることを特徴とする請求項4に記載の商品登録装置。
<請求項6>
前記制御手段は、前記第1、第2領域のいずれかで物体を検知したのちに前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したならば、前記第1領域、前記第2領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項7>
前記制御手段は、前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したのちに前記第1、第2領域のいずれかで物体を検知したならば、前記第1領域、前記第2領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項8>
前記取消処理は、一取引内における登録のキャンセル、または取引終了後における返品処理である、
ことを特徴とする請求項1ないし請求項5のいずれか1項に記載の商品登録装置。
<請求項9>
前記制御手段は、前記物体を前記第1領域で検知したのちに前記認識領域で検知したならば、前記第1領域と前記認識領域の検知結果の時系列に応じて商品登録処理または商品登録訂正処理を行い、
その後、前記第1領域で再び物体を検知したならば、前記第1領域と前記認識領域の検知結果の時系列に応じて実施した商品登録処理または商品登録訂正処理を取り消す、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項10>
前記制御手段は、最初の商品の移動方向と同一方向商品に対しては、商品登録処理を行い、当該移動方向とは反対に移動する商品に対しては、商品登録訂正処理を行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項11>
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像からオブジェクトを認識することによって物体を検出し、
前記撮像手段が撮像した前記認識領域の画像と、辞書に記録された各取扱商品の基準画像とが、との程度類似しているかを示す類似度によって当該物体がいずれの商品であるかを特定する、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項12>
前記制御手段は、前記撮像手段が撮像した前記認識領域の画像に含まれるデータコードによって前記物体である商品を検知して特定する、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。
<請求項13>
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
商品登録処理または取消処理を行う制御手段と、
を備える商品登録装置の商品登録方法であって、
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像から物体を検知し、
前記物体である商品を特定し、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする商品登録装置の商品登録/取消方法。
<請求項14>
商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
を備える商品登録装置に、
前記撮像手段が撮像した前記認識領域の画像から物体を検知させ、
前記物体である商品を特定させ、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行わせるための商品登録/取消プログラム。
2,2A,2B 商品識別装置
21 マイクロコンピュータ
211 CPU (制御手段)
212 ROM
213 RAM
22 表示・操作部
221 ディスプレイ
222 タッチパネル
23 キーボード
24 顧客用ディスプレイ
25 インタフェース
26L 左光電センサ (第1検知手段または第2検知手段)
26R 右光電センサ (第2検知手段または第1検知手段)
27 カメラ (撮像手段)
271 照明
28 スピーカ
29 電源
3 POS端末
31 マイクロコンピュータ
311 CPU
312 ROM
313 RAM
33 キーボード
321 ディスプレイ
322 タッチパネル
34 顧客用ディスプレイ
35 インタフェース
36 HDD
361 特徴量ファイル (辞書)
37 ドロワ
38 プリンタ
39 電源
4 買物カゴ
5 カウンタ台
51 ハウジング
52 読取窓
6 チェックアウト台
7 商品
8L 領域 (第1領域または第2領域)
8M 認識領域
8R 領域 (第2領域または第1領域)
90 画像取得部
91 物体検出部
92 時系列判断部
93 類似度演算部
94 類似度判断部
95 確定通知部
96 候補商品提示部
97 入力取得部
98 情報出力部
991 売上登録部
992 売上取消部
Claims (14)
- 商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置。 - 前記検知手段は更に、所定の色を検知可能であり、
前記制御手段は、前記検知手段が所定の色を検知したならば、商品登録処理の際に、併せて商品を値引きする、
ことを特徴とする請求項1に記載の商品登録装置。 - 前記検知手段は、
前記認識領域の一方の側である第1領域における物体の有無を検知する第1検知手段と、
前記認識領域の他方の側である第2領域における物体の有無を検知する第2検知手段と、
を含んで構成されることを特徴とする請求項1に記載の商品登録装置。 - 商品の認識領域、および当該認識領域に隣接した検知領域を含んだ画像を撮像する撮像手段と、
前記撮像手段が撮像した画像のうち前記検知領域から物体の有無を検知し、前記認識領域の画像によって物体を検知して商品を特定すると共に、前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う制御手段と、
を備えることを特徴とする商品登録装置。 - 前記検知領域は、
当該認識領域の一方の側である第1領域と、当該認識領域の他方の側である第2領域と、
を含んで構成されることを特徴とする請求項4に記載の商品登録装置。 - 前記制御手段は、前記第1、第2領域のいずれかで物体を検知したのちに前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したならば、前記第1領域、前記第2領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。 - 前記制御手段は、前記撮像手段が撮像した前記認識領域の画像から物体を検知して商品を特定したのちに前記第1、第2領域のいずれかで物体を検知したならば、前記第1領域、前記第2領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。 - 前記取消処理は、一取引内における登録のキャンセル、または取引終了後における返品処理である、
ことを特徴とする請求項1ないし請求項5のいずれか1項に記載の商品登録装置。 - 前記制御手段は、前記物体を前記第1領域で検知したのちに前記認識領域で検知したならば、前記第1領域と前記認識領域の検知結果の時系列に応じて商品登録処理または商品登録訂正処理を行い、
その後、前記第1領域で再び物体を検知したならば、前記第1領域と前記認識領域の検知結果の時系列に応じて実施した商品登録処理または商品登録訂正処理を取り消す、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。 - 前記制御手段は、最初の商品の移動方向と同一方向商品に対しては、商品登録処理を行い、当該移動方向とは反対に移動する商品に対しては、商品登録訂正処理を行う、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。 - 前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像からオブジェクトを認識することによって物体を検出し、
前記撮像手段が撮像した前記認識領域の画像と、辞書に記録された各取扱商品の基準画像とが、との程度類似しているかを示す類似度によって当該物体がいずれの商品であるかを特定する、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。 - 前記制御手段は、前記撮像手段が撮像した前記認識領域の画像に含まれるデータコードによって前記物体である商品を検知して特定する、
ことを特徴とする請求項3または請求項5に記載の商品登録装置。 - 商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
商品登録処理または取消処理を行う制御手段と、
を備える商品登録装置の商品登録方法であって、
前記制御手段は、
前記撮像手段が撮像した前記認識領域の画像から物体を検知し、
前記物体である商品を特定し、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行う、
ことを特徴とする商品登録装置の商品登録/取消方法。 - 商品の認識領域に隣接した検知領域における物体の有無を検知する検知手段と、
前記認識領域の画像を撮像する撮像手段と、
を備える商品登録装置に、
前記撮像手段が撮像した前記認識領域の画像から物体を検知させ、
前記物体である商品を特定させ、
前記検知領域、前記認識領域の各検知結果の時系列に応じて、商品登録処理と取消処理のいずれかを行わせるための商品登録/取消プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014192528A JP6369258B2 (ja) | 2014-09-22 | 2014-09-22 | 商品登録装置、商品登録方法およびプログラム |
US14/856,825 US10169752B2 (en) | 2014-09-22 | 2015-09-17 | Merchandise item registration apparatus, and merchandise item registration method |
CN201510594363.7A CN105448000B (zh) | 2014-09-22 | 2015-09-17 | 商品登录装置、商品登录方法以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014192528A JP6369258B2 (ja) | 2014-09-22 | 2014-09-22 | 商品登録装置、商品登録方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018130775A Division JP6610724B2 (ja) | 2018-07-10 | 2018-07-10 | 商品登録装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016062547A true JP2016062547A (ja) | 2016-04-25 |
JP6369258B2 JP6369258B2 (ja) | 2018-08-08 |
Family
ID=55526094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014192528A Active JP6369258B2 (ja) | 2014-09-22 | 2014-09-22 | 商品登録装置、商品登録方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10169752B2 (ja) |
JP (1) | JP6369258B2 (ja) |
CN (1) | CN105448000B (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6428240B2 (ja) * | 2014-12-17 | 2018-11-28 | カシオ計算機株式会社 | 商品登録装置、商品認識方法、およびプログラム |
JP6193897B2 (ja) * | 2015-01-05 | 2017-09-06 | 東芝テック株式会社 | 情報処理装置、店舗システム及びプログラム |
JP6302849B2 (ja) * | 2015-01-23 | 2018-03-28 | 東芝テック株式会社 | 物品認識装置、販売データ処理装置および制御プログラム |
JP6316245B2 (ja) * | 2015-07-22 | 2018-04-25 | 東芝テック株式会社 | 情報処理装置およびプログラム |
JP6272810B2 (ja) * | 2015-09-30 | 2018-01-31 | 東芝テック株式会社 | 情報処理装置およびプログラム |
ES2946192T3 (es) * | 2015-11-30 | 2023-07-13 | Signify Holding Bv | Distinción de dispositivos que tienen posiciones y direcciones |
US20170193290A1 (en) * | 2016-01-06 | 2017-07-06 | Toshiba Tec Kabushiki Kaisha | Commodity registration apparatus and commodity registration method |
US10824873B2 (en) * | 2016-01-21 | 2020-11-03 | Nec Corporation | Information processing apparatus, control method, and program |
US10331969B2 (en) * | 2016-10-28 | 2019-06-25 | Ncr Corporation | Image processing for scale zero validation |
JP6873711B2 (ja) * | 2017-01-16 | 2021-05-19 | 東芝テック株式会社 | 商品認識装置 |
JP6938293B2 (ja) * | 2017-09-08 | 2021-09-22 | 東芝テック株式会社 | 読取装置及びプログラム |
JP7085393B2 (ja) * | 2018-04-12 | 2022-06-16 | 東芝テック株式会社 | 読取装置およびプログラム |
JP6847317B2 (ja) * | 2018-08-30 | 2021-03-24 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
JP7221722B2 (ja) * | 2019-02-19 | 2023-02-14 | 東芝テック株式会社 | 物品情報読取装置およびプログラム |
CN110956459A (zh) * | 2019-11-28 | 2020-04-03 | 浙江由由科技有限公司 | 一种商品处理方法及系统 |
JP2022139457A (ja) * | 2021-03-12 | 2022-09-26 | 東芝テック株式会社 | 情報処理システム、情報端末、及び情報処理装置並びにその制御プログラム |
US11928660B2 (en) * | 2022-03-18 | 2024-03-12 | Toshiba Global Commerce Solutions Holdings Corporation | Scanner swipe guidance system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06243282A (ja) * | 1993-02-19 | 1994-09-02 | Casio Comput Co Ltd | 読取データ処理装置 |
US5965861A (en) * | 1997-02-07 | 1999-10-12 | Ncr Corporation | Method and apparatus for enhancing security in a self-service checkout terminal |
JP2010026745A (ja) * | 2008-07-18 | 2010-02-04 | Ishida Co Ltd | Pos端末装置 |
JP2012053598A (ja) * | 2010-08-31 | 2012-03-15 | Toshiba Tec Corp | 情報コード読取装置、商品販売情報処理装置、およびプログラム |
JP2013156939A (ja) * | 2012-01-31 | 2013-08-15 | Toshiba Tec Corp | 情報処理装置及びプログラム |
JP2014089669A (ja) * | 2012-10-31 | 2014-05-15 | Toshiba Tec Corp | 商品読取装置、商品販売データ処理装置および商品読取プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6369709B1 (en) * | 1998-04-10 | 2002-04-09 | 3M Innovative Properties Company | Terminal for libraries and the like |
JP4460084B2 (ja) * | 1999-06-04 | 2010-05-12 | 富士通株式会社 | バーコード読取装置及び計量方法 |
JP4436872B2 (ja) * | 2008-01-24 | 2010-03-24 | 東芝テック株式会社 | データコード読み取り装置 |
JP5579202B2 (ja) * | 2012-01-16 | 2014-08-27 | 東芝テック株式会社 | 情報処理装置、店舗システム及びプログラム |
JP5518918B2 (ja) | 2012-02-29 | 2014-06-11 | 東芝テック株式会社 | 情報処理装置、店舗システム及びプログラム |
JP5572651B2 (ja) | 2012-03-02 | 2014-08-13 | 東芝テック株式会社 | 商品読取装置および商品読取プログラム |
JP5553866B2 (ja) * | 2012-07-23 | 2014-07-16 | 東芝テック株式会社 | 商品認識装置及び認識辞書追加プログラム |
-
2014
- 2014-09-22 JP JP2014192528A patent/JP6369258B2/ja active Active
-
2015
- 2015-09-17 US US14/856,825 patent/US10169752B2/en active Active
- 2015-09-17 CN CN201510594363.7A patent/CN105448000B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06243282A (ja) * | 1993-02-19 | 1994-09-02 | Casio Comput Co Ltd | 読取データ処理装置 |
US5965861A (en) * | 1997-02-07 | 1999-10-12 | Ncr Corporation | Method and apparatus for enhancing security in a self-service checkout terminal |
JP2010026745A (ja) * | 2008-07-18 | 2010-02-04 | Ishida Co Ltd | Pos端末装置 |
JP2012053598A (ja) * | 2010-08-31 | 2012-03-15 | Toshiba Tec Corp | 情報コード読取装置、商品販売情報処理装置、およびプログラム |
JP2013156939A (ja) * | 2012-01-31 | 2013-08-15 | Toshiba Tec Corp | 情報処理装置及びプログラム |
JP2014089669A (ja) * | 2012-10-31 | 2014-05-15 | Toshiba Tec Corp | 商品読取装置、商品販売データ処理装置および商品読取プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6369258B2 (ja) | 2018-08-08 |
US10169752B2 (en) | 2019-01-01 |
CN105448000B (zh) | 2018-12-11 |
US20160086148A1 (en) | 2016-03-24 |
CN105448000A (zh) | 2016-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6369258B2 (ja) | 商品登録装置、商品登録方法およびプログラム | |
JP6274097B2 (ja) | 商品識別装置および商品認識ナビゲーション方法 | |
US11494573B2 (en) | Self-checkout device to which hybrid product recognition technology is applied | |
JP6555866B2 (ja) | 商品登録装置及びプログラム | |
JP6348827B2 (ja) | 情報処理装置、店舗システムおよびプログラム | |
US10482447B2 (en) | Recognition system, information processing apparatus, and information processing method | |
US20180068534A1 (en) | Information processing apparatus that identifies an item based on a captured image thereof | |
JP2014052800A (ja) | 情報処理装置及びプログラム | |
JP6428240B2 (ja) | 商品登録装置、商品認識方法、およびプログラム | |
JP6547856B2 (ja) | 情報表示装置、誘導表示方法およびプログラム | |
JP6409637B2 (ja) | 商品登録装置、およびその商品登録方法 | |
US20190385141A1 (en) | Check-out system with merchandise reading apparatus and pos terminal | |
JP6375924B2 (ja) | 商品登録装置、商品特定方法及びプログラム | |
JP2017211880A (ja) | 情報処理装置及びプログラム | |
JP2020064331A (ja) | 読取装置およびプログラム | |
JP6503670B2 (ja) | 商品登録装置、商品登録方法、および商品登録プログラム | |
JP6610724B2 (ja) | 商品登録装置、およびプログラム | |
JP6295944B2 (ja) | 商品識別装置および商品認識ナビゲーション方法 | |
JP2016177433A (ja) | 商品登録装置および商品登録方法 | |
US20190370774A1 (en) | Information processing apparatus and method of controlling an information processing apparatus | |
US20170083891A1 (en) | Information processing apparatus and information processing method | |
US10360475B2 (en) | Object recognition apparatus | |
JP6384309B2 (ja) | 商品識別装置、商品認識ナビゲーション方法及びプログラム | |
US20180174126A1 (en) | Object recognition apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180612 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180625 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6369258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |