JP2023016799A - 無人決済システム - Google Patents
無人決済システム Download PDFInfo
- Publication number
- JP2023016799A JP2023016799A JP2022118169A JP2022118169A JP2023016799A JP 2023016799 A JP2023016799 A JP 2023016799A JP 2022118169 A JP2022118169 A JP 2022118169A JP 2022118169 A JP2022118169 A JP 2022118169A JP 2023016799 A JP2023016799 A JP 2023016799A
- Authority
- JP
- Japan
- Prior art keywords
- article
- area
- volume
- identification information
- occupied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 30
- 230000005856 abnormality Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 21
- 230000007423 decrease Effects 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 8
- 230000002250 progressing effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005303 weighing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/203—Inventory monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/14—Payment architectures specially adapted for billing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
【課題】無人決済システムの提供。【解決手段】本明細書は、無人決済システムに関する。一実施形態に係る無人決済システムは、物品に関する識別情報を入力するための物品スキャン部と、識別情報の入力前の物品が置かれる第1領域、識別情報の入力が行われる第2領域及び識別情報の入力後の物品が置かれる第3領域からなる棚を撮影して距離情報を含む画像を出力するための3Dカメラと、物品スキャン部が出力する識別情報をサーバに伝送し、該物品の価格と名前を含む物品情報を受信するための通信部と、画像に基づいて棚の第1~第3領域に置かれる1つ以上の物品の占有体積を計算し、第1~第3領域における1つ以上の物品の占有体積の変動及び物品スキャン部を介した物品の識別情報入力に基づいて物品スキャンの異常有無を判断するための制御部を含むように構成されることができる。【選択図】図4
Description
本明細書は、無人決済システムに関し、さらに具体的には、無人決済システム(Unmanned payment system)における物品の損失を防止する装置及び方法に関する。
最近、大型マートに決済待ちラインを減らし、顧客の利便性を向上させるために無人決済窓口が設置されている。また、管理者がいない無人決済システムだけで運営される無人店も増加している。
このような無人決済システムがユーザに利便性を提供する一方、購買者が物品の一部を欠落させて損失が発生する余地が多い。このような損失をなくしたり減らそうとする努力が進んでいる。例えば、物品の重量を連携させるシステムや物品の映像を利用するシステムなどが試みられている。
しかし、物品の重量を利用するシステムは、重量測定のための秤装置を、物品を購買前に置く棚と購買後に置く棚などに設置しなければならない困難、物品の重量を事前に測定して貯蔵しなければならない問題、物品の重量範囲が広く正確な重量測定が容易ではなく、正確な重量測定のためには、秤装置の価格が上がる問題、重量測定装置を周期的にキャリブレーションしなければならず、容易に故障する問題などがある。また、農水産物や食料品のように物品ごとに重量が一定でない物品には適用できない問題がある。
また、カメラを用いて物品の映像を撮影するシステムにおいては、物品をよく認識するために、各物品に対して予め複数の方向で画像を撮影し、撮影した画像をラーニングモデルで学習しなければならない。しかし、照明や撮影角度によって物品が正しく認識されないかまたは認識するのに時間が多くかかり、物品を正しく適期に識別することができず、また、物品の数が増えるほど、物品ごとにラーニングモデルを訓練するのに費用が多くかかり、効率性の観点から妥当ではなく、カメラを利用した方法は無人決済システムに実際に適用されていない。
また、映像を録画して事後に録画した映像を分析して損失を把握することもできる。この場合でも損失が発生した後にのみ損失を確認することができ、また録画した映像を分析するのに時間と費用が多くかかる問題がある。
本明細書はこの状況に鑑みて、本明細書の目的は、無人決済システムにおいて効果的に損失を確認及び防止する方法を提供することにある。
前記課題を実現するための本発明の一実施形態に係る無人決済システムは、物品に関する識別情報を入力するための物品スキャン部と、識別情報の入力前の物品が置かれる第1領域、識別情報の入力が行われる第2領域、識別情報の入力後の物品が置かれる第3領域からなる棚を撮影して距離情報を含む画像を出力するための3Dカメラと、物品スキャン部が出力する識別情報をサーバに伝送し、その物品の価格と名前を含む物品情報を受信するための通信部と、画像に基づいて棚の第1~第3領域に置かれる1つ以上の物品の占有体積を計算し、第1~第3領域における1つ以上の物品の占有体積の変動と物品スキャン部を介した物品の識別情報入力に基づいて物品スキャンの異常有無を判断するための制御部を含むことを特徴とする。
本発明の他の実施形態に係る無人決済システムは、識別情報入力前の物品が置かれる第1領域、識別情報の入力が行われる第2領域及び識別情報の入力後の物品が置かれる第3領域からなる棚を撮影して距離情報を含むように出力される画像を分析するステップと、画像分析を介して第1~第3領域における物品の占有体積を計算するステップと、第1~第3領域の内、少なくとも1つの領域において物品の占有体積に変動が生じる場合、占有体積の変動と、物品スキャン部を介した物品の識別情報入力に基づいて物品スキャンの異常有無を判断するステップを含むことを特徴とする。
したがって、無人決済システムにおいて決済のためのスキャンなしで物品が搬出されることを容易かつ簡便に感知することになり、これにより売上の損失を低減することができる。
また、物品認識のための別途の事前学習を必要とせず、実際の現場に直接適用することができる。
また、カメラ映像を用いてラーニングモデルを学習させる方法に比べて低コストでもさらに高い認識率でシステムを実現することができる。
以下、無人決済システムの実施形態を添付する図面に基づいて詳細に説明する。
図1は、無人決済システムを構成する棚の領域を示したものであり、図2は、無人決済システムで物品をスキャンして決済する各段階における購買者の行動を示す図であり、図3a~図3cは、購買者が物品計算前の積置領域Z1からスキャン領域Z2を経てスキャン後、積置領域Z3に移動させる過程を示す。
購入した物品を購買者自身で決済するための決済システムは、購買した物品を載置する第1領域(Z1)、購買した物品の識別情報、すなわち物品の包装紙に印刷されたバーコードやQRコード(登録商標)をスキャンする第2領域(Z2)及び識別情報がスキャンされた物品を、決済が完了する前まで載せる第3領域Z3からなる棚及び第2領域Z2で物品をスキャンするためのスキャナSCANNERを購買者インターフェースとして含む。
また、決済システムは、識別情報をスキャンした物品の名前と価格を表示するためのディスプレイと、物品スキャンが終了した物品を決済するための決済手段とをさらに含むことができる。
購買者は、該当店で購買した物品を無人決済システムを通じて決済するためにシステムに接近し(Entrance)、図3aのように購買するためにカートやバスケットに入れた物品を棚の第1領域Z1に積み重ね(Loading)、図3bのように第1領域Z1に積み重ねられた物品を1つずつ第2領域Z2に移して物品の包装紙に印刷されたバーコード等をスキャナでスキャンし(Scanning)、図3cのようにスキャンが完了した物品を第3領域Z3に積み重ねる。購買者は、第1領域Z1に積み重ねた各物品についてスキャン動作を繰り返して物品を全てスキャンして第3領域Z3に積み重ねると、スキャンした物品に対する代金を決済し、代金決済が完了した物品を全て第3領域(Z3)からバスケットまたはカートに移した(Unloading)後、システムから退場する(Exit)。
無人決済システムが摘発しようとする購買者の不正行為は、第1領域Z1に積み重ねた物品を第2領域Z2からスキャンせずに第3領域Z3に移動することである。すなわち、購買者が第1領域Z1にある物品を初めからスキャンせずに第3領域Z3に直接移すか、または第1領域Z1にある2つ以上の物品を同時に移動しながら1つ以上の物品に対してスキャンをせずに2つ以上の物を第3領域Z3に移しながら不正行為をすることができる。
前述したように、物品の重量を利用するシステムやカメラで物品の画像で撮影するシステムの全てにこのような問題があり、実際のシステムに適用されない。特に最近、物品のイメージでディープラーニングモデルを学習させて利用しようとする試みが続いているが、物品の種類が多く、新物品が絶えずに流入されるマートなどで物品認識率が落ち、認識速度が低く、また認識率を上げ、認識速度を高めるためには高価なカメラ、サーバなどを使用しなければならずコストが非常に増加するため、実際の製品では発売されないでいる。
一般RBGカメラは、高解像度で2次元の映像データをキャプチャし、これを既に学習された人工知能モデルに入力するため、大容量の映像データを処理しなければならないので、システムに負荷が多くかかる。
一方、TOFカメラや3Dステレオカメラは、一般RGBカメラよりは解像度が低いが、画像の各ポイントまでの距離情報を得ることができるため、連続するポイントの距離情報を用いて物品の面、エッジ、頂点などの形状に関連する特徴を抽出することができ、それに基づいて当該物品が占める体積を計算または推定することができる。
本明細書の無人決済システムは、3Dカメラの特性を用いて物品の体積を計算し、スキャン前の物品の体積変動とスキャン後の物品の体積変動の違い及びスキャン動作に同期して、物品に対するスキャン動作なしで物品を搬出する購買者の不正行為を検出することができる。
無人決済システムは、購買者が第1領域Z1にある物品を移して第3領域Z3に積み重ねる過程を一つのイベントで管理し、第2領域Z2でのスキャン動作とイベントを同期して購買者の不正行為の可否を判断することができる。
図4は、本明細書に係る無人決済システムの構成を機能ブロックで示したものであり、図5は、無人決済システムの映像分析部の具体的な構成を機能ブロックで示したものである。
無人決済システム1は、距離情報を含む画像で物品を撮影し、物品のバーコードをスキャンし、及び支払い情報の入力を受けるための入力部10、入力部10が撮影した物品について画像を分析し物品の占有体積を計算し、棚から物品の体積の変動を検出し、これをバーコードスキャンと連携して不正行為による物品の盗難を判断するための制御部20、スキャンした物品の名前と価格及び決済する物品全体の価格などを画面や音声で出力するための出力部30と、スキャンした物品の名前と価格をサーバに問い合わせて受信し、支払情報を決済サーバに伝送して決済認証に関する情報を受け取るための通信部40を含めて構成することができる。
入力部10は、棚に置いた物品を3Dで撮影するためのカメラ110、物品を識別するために識別情報をスキャンするための物品スキャン部120、及び購買した物品に対する代金を支払うための支払い情報を入力するための支払情報入力部130を含むように構成することができる。入力部10は、無人決済システム1を用いて購買物品に対する決済を進行する購買者の行動を撮影するための2Dカメラをさらに含むことができる。
カメラ110としては、画像を構成する各点までの距離情報を2次元の画像データとともに提供する3Dデプスカメラを採用することができ、3DステレオカメラやTOFカメラがこれに該当することができる。
物品スキャン部120は、物品の包装紙や物品に印刷された識別情報やコード、例えばバーコード、QRコード、データメトリクスなどを読み取るための装置であり、購買者が手で持ってコードをスキャンする形態や棚の第2領域Z2の底部に設けられる形態で実現することができる。あるいは、物品スキャン部120は、RF信号を利用することができるが、RF信号を放出して放出されたRF信号に対応して物品が反射信号でRF信号を出力すると、それを物品の識別情報として検出することもできる。
制御部20は、カメラ110が棚の第1~第3領域Z1、Z2、Z3を撮影した画像を分析し、棚の上に置かれた物品が占める占有体積を計算し、物品の移動に伴う体積の変動を検出するための映像分析部210及び映像分析部210が分析した物品の体積変動を物品スキャン部120と連携して、物品がスキャンなしで棚の第1領域Z1において第3領域Z3または購買者のバスケットまたはカートに直接移動するかどうかを判断するスキャン異常判断部220を含むことができる。
出力部30は、購買者が物品をスキャンするたびに、当該物品の名前と価格を表示し、全物品の総決済価格を表示し、物品スキャンに異常が発生するときにこれを知らせる警告文句を表示するためのディスプレイ310、及び物品スキャンに対応する音を出力し、物品スキャンに異常が発生するときにこれを警告する音を出力するためのスピーカ320を含むように構成することができる。
映像分析部210は、カメラ110が撮影して出力する、距離情報を含む画像を用いて棚を構成する各領域、すなわち第1~第3領域Z1、Z2、Z3のそれぞれで物品が占める占有体積を計算する体積計算部211、カメラ110が出力する2以上の画像を用いて第1~第3領域Z1、Z2、Z3で発生する動きを検出する動き検出部212、及び動き検出部212により動きが検出されるとき、体積計算部211が出力する各領域における物品の占有体積に基づいて、各領域における物品の占有体積の変動を計算し、物品の移動に該当するイベントであるか否かを決定し、イベントを生成するためのイベント生成部213を含むことができる。
図2と図3を参照して説明したように、購買者は、無人決済システムに入場して物品を第1領域Z1に積置し、各物品について第2領域Z2における当該物品のバーコードやQRコードをスキャンした後、第3領域Z3に積み重ねる動作を行い、第1領域Z1にある最後の物品までこれを繰り返し、第1領域Z1が空状態になり、第3領域Z3に購買したすべての物品が積み重ねられたらクレジットカードなどを用いて決済を行い、決済が完了されると第3領域(Z3)の物品を購買者のかごやカートに移す。
イベント生成部213は、無人決済システムにおける購買者の正常な行動パターンに応じていくつかのイベントを生成することができるが、無人決済システムで発生するイベントについて図6と図7を参照して説明する。
図6は、購買者が物品を決済する過程で発生するイベントを区分して各イベントの発生条件を具体的に説明した表であり、図7は、図6に説明した各イベントの発生を無人決済システムを構成する棚の各領域における空間占有率の変化で表現したものである。
購買者の無人決済は、購買者が無人決済システムに登場する登場イベント(EVT-E)から始めることができる。映像分析部210の動き検出部212が棚付近に人が登場して(Entrance)カメラ110が撮影した映像で動きを検出すると、イベント生成部213は登場イベント(EVT-E)を生成できる。すなわち、イベント生成部213は、棚の第1領域Z1と第3領域Z3が空であり、第2領域Z2には何の変化もない状態で棚外で動きが検出されると、登場イベント(EVT-E)を生成できる。
登場イベント(EVT-E)が生成された状態で、動き検出部212が棚の第1領域Z1で動きを検出し、体積計算部211が第1領域Z1で物品が占める占有体積を計算するが時間が経過しながら占有体積が増加すると、イベント生成部213は、購買者が購買した物品を棚の第1領域Z1、すなわちスキャン前領域に積置する動作を指すローディングイベントEVT-Lを生成することができる。このとき、棚の第2領域Z2には何の変化もなく(No Change)、第3領域Z3は空の状態でなければならない。イベント生成部213は、棚の第1領域Z1において物品の占有体積の増加が止まるまでローディングイベントEVT-Lを維持することができる。ローディングイベントEVT-Lが終了するとき第1領域Z1で計算される体積は、購買者が購買した物品の体積に該当する。図7において、第1領域Z1に積置された物品全体の占有体積はAに該当する。
ローディングイベント(EVT-L)の進行中に棚の第3領域Z3に占有体積が計算されると、スキャン異常判断部220は、これをスキャン異常、すなわち不正行為とみなし、出力部30を介して警告することができる。
ローディングイベント(EVT-L)が進行する間に、購買者は店で選択した物品を収納したかごやカートから物品を棚の第1領域Z1に順次移すが、体積計算部211は購買者がかごから第1領域Z1に物品を移動するたびに当該物品の体積を計算することができる。
また、体積計算部211は、ローディングイベントEVT-Lが進行しながら物品が第1領域Z1に順次積み重ねられている間に第1領域Z1で計算される体積の変動を考慮して、ローディングイベントEVT-Lが終了するときに第1領域Z1に積み重なる物品全体の占有体積を計算することができる。
また、体積計算部211は、ローディングイベントEVT-Lが終了するときに第1領域Z1に積み重なる物品全体の占有体積を計算するが、ローディングイベントEVT-Lの内、物品を移動しながら計算した各物品の体積を用いて、物品全体の占有体積を補正することができる。また、体積計算部211は、購買者が物品を移動している間に物品の体積を計算する際に物品を移す購買者の手の体積を考慮して物品の占有体積を補正することができる。
ローディングイベントEVT-Lが終了した後、購買者は棚の第1領域Z1に積み重ねられた物品を順次第2領域Z2で物品スキャナ120を通してスキャンし、それを再び第3領域Z3に移動させるが、イベント生成部213は、各物品をスキャンして第3領域Z3に移動する動作をスキャンイベントEVT-Sで生成することができる。
スキャンイベントEVT-Sにおいて、第1領域Z1に積み重ねられた物品の体積は、スキャンする物品の体積分ほど減少し、第2領域Z2では、購買者がスキャナ120を操作して物品をスキャンし、スキャンした物品を第3領域Z3に移動させるので体積の変化が発生し(Change)、第3領域Z3には新たな物品が加わるため物品の体積が増加する。
イベント生成部213は、カメラ110が棚を撮影して出力する連続画像を用いて、体積計算部211が第1及び第3領域Z1,Z3での計算する体積と動き検出部212が第2領域Z2で検出する動きに基づいてスキャンイベントEVT-Sと判定し、各物品の移動に対してスキャンイベントEVT-Sを生成することができる。
図6と図7において、第1の物品のスキャンに対してスキャン1イベント(EVT-S1)が生成され、最後の物品のスキャンに対してスキャンFイベント(EVT-SF)が生成されるが、スキャンFイベント(EVT-SF)の結果として第3領域Z3の物品の占有体積Aは、ローディングイベントEVT-L以降第1領域Z1の物品の占有体積Aと等しいか、所定の基準値以下の差があるはずである。
スキャンイベント(EVT-S1~EVT-SF)が進行される間、図7に示すように、第1領域Z1における物品の占有体積は階段状に減少し、第2領域Z2においてはスキャンが進行する間にちょっと体積が感知され、第3領域Z3では、物品の占有体積が階段形態で増加する。
スキャンイベント(EVT-S1~EVT-SF)が進行される間、すなわち第1領域Z1で体積が減少し、第3領域Z3で体積が増加するが、物品スキャン部120でバーコードやQRコードのような該当物品の識別情報の入力がなくて、何の出力も生じない場合、スキャン異常判断部220は、購買者が決済のための物品スキャン動作をせず、物品をスキャン後の空間、すなわち第3領域Z3に移動したとみなし、スキャン異常または購買者の不正行為と判断して出力部30を介して警告メッセージや警告音を出力することができる。
また、スキャン異常判断部220は、各スキャンイベント後の第1及び第3領域Z1,Z3における体積変動の差、すなわち第1領域Z1における体積減少と第3領域Z3における体積増加の差が基準値以上であるときも、スキャン異常または購買者の不正行為と判断して出力部30を介して警告メッセージや警告音を出力することができる。
最後のスキャンイベント(EVT-SF)が終了した後、購買者が支払情報入力部130にクレジットカードやスマートフォンのNFC機能を用いて決済を進行して決済サーバから決済が認証されると、無人決済システム1は、決済完了を知らせる内容を出力部30に出力し、またプリンタ(図示せず)を介して紙で出力したり、購買者のスマートフォンに決済内容をメッセージで伝達することができる。
その後、購買者が第3領域Z3に積み重ねた物品をバスケットやカートに移すアンロード動作を行うと、イベント生成部213はアンローディングイベントEVT-Uを生成する。イベント生成部213は、体積計算部211と動き検出部212から第1領域Z1の占有体積がなく(Empty)第2領域Z2に変化がなく、第3領域Z3占有体積が減少することを確認し、アンローディングイベントEVT-Uを生成するが、第3領域Z3で占有体積がなくなるまでアンローディングイベントEVT-Uを維持することができる。
以後、イベント生成部213は、動き検出部212を介して購買者がカメラ110が出力する画像から消えた(Exit)ことを検出する際に、退場イベント(EVT-X)を生成し、一人の購買者による物品の支払い手続きを完了することができる。
図8a~図8cは、実際の3Dデプスカメラを用いて棚を撮影した画像を、無人決済に関するイベントを構成する各動作毎に区分して示したものである。
図8aには、購買者が2つの物品を第1領域(Z1)に載せており、図8bにおいては、購買者が第1領域(Z1)にある物品の内の1つを第2領域(Z2)に移してバーコードスキャン動作を行い、図8cにおいては、購買者がスキャンが完了した物品を第3領域Z3に移している。
3Dデプスカメラ110は撮影する画像を構成する各点までの距離情報を提供する。図8a~図8cにおいては、カメラ110は撮影した画像を再構成して表示しているが、固定された背景については距離に関する情報を画像に表示せず、背景と分離されたオブジェクトについてのみ等高線や格子状に距離情報を表示している。
映像分析部210は、3Dデプスカメラ110が出力する画像から背景と分離される対象に関する距離情報を用いて、対象の形状に関する特徴を抽出し、それを用いて当該対象の体積を計算することができる。
図9は、本明細書による無人決済方法の動作フロー図を示すものである。
カメラ110が無人決済システムの棚を撮影した画像を出力すると、制御部20の映像分析部210(以降、便宜を考慮して映像分析部210やスキャン異常判断部220の動作は、制御部20が動作することと説明する)は、棚の第1~第3領域(Z1、Z2、Z3)の画像を分析する(S910)。
制御部20は、カメラ110が出力する画像に含まれる距離情報を用いて、第1~第3領域Z1、Z2、Z3における物品の占有体積を計算する(S920)。
制御部20は、第1~第3領域Z1、Z2、Z3に占有体積の変動があるか否かを確認する(S930)。
制御部20は、第1~第3領域Z1、Z2、Z3において占有体積の変動があると(S930でYES)、各領域における占有変動に対応するイベントを生成または設定するが(S940)。図6と図7を参照して説明したように、第1~第3領域(Z1、Z2、Z3)における占有体積の条件に応じて、登場イベント(EVT-E)、ローディングイベント(EVT-L)、スキャンイベント(EVT-S)、アンローディングイベント(EVT-U)、及び退場イベント(EVT-X)の内、いずれか1つを生成することができる。
制御部20は、設定または生成されたイベントを物品スキャン部120での物品スキャン動作と連携して物品スキャンに異常があるか否かを判断し、物品スキャンに異常がある場合、出力部30を介して知らせることができる(S950)。
制御部20は、第1領域Z1の占有体積が0であることを確認して物品スキャンが終了したか判断し(S960)、物品スキャンが終了したと判断した場合(S960でYES)、購買者が決済を進めるように案内することができる(S970)。
図10は、物品スキャン異常を判断する方法の動作フローチャートを示しており、図10は、スキャンイベント(EVT-S)の時発生するスキャン異常に対する動作を説明する。
制御部20は、スキャンイベントEVT-Sが進行する間に物品スキャン部120を介して物品の識別情報をスキャンする動作があったことを確認する(S1010)。
スキャンイベントEVT-Sは、第1領域Z1の占有体積が減少し、第3領域Z3の占有体積が増加するとき設定または生成されるが、当該スキャンイベントEVT-Sの時物品スキャンが発生しない場合(S1010でNO)、制御部20は、物品スキャン異常または購買者の不正行為であると判断し、これを警告するメッセージまたは警告音を出力部30を介して出力することができる(S1040)。
制御部20は、スキャンイベント(EVT-S)時に物品スキャンが発生する場合であっても(S1010でYES)、スキャンイベント後の第1及び第3領域Z1,Z3における体積変動の差、すなわち第1領域Z1での体積減少と第3領域Z3での体積増加との差が基準値以上であるか否かを確認する(S1020)。
第1及び第3領域Z1、Z3における体積変動の差が基準値以上である場合(S1020でYES)、制御部20は、物品スキャン異常又は購買者の不正行為と判断し、これを警告するメッセージ又は警告音を出力部30を介して出力することができる(S1040)。
第1及び第3領域Z1、Z3における体積変動の差が基準値より小さい場合(S1020でNO)、制御部20は、物品スキャンが正常に行われたと判断して次のイベントに進むことができる。
このように、無人決済システムに3Dカメラを適用して物品の占有体積を計算し、占有体積の変動とスキャン動作を連携して、購買者が物品スキャンなしで物品を搬出する不正行為を効果的に摘発できるようになる。
2Dカメラを使用して学習モデルを適用するシステムに比べて少ないコストで実現でき、また物品ごとに事前学習をする必要がなくて、現場に直接適用することができる。
本明細書に記載の無人決済システム及び無人決済方法は、以下のように説明することができる。
一実施形態に係る無人決済システムは、物品に関する識別情報を入力するための物品スキャン部と、識別情報の入力前の物品が置かれる第1領域、識別情報の入力が行われる第2領域及び識別情報の入力後の物品が置かれる第3領域からなる棚を撮影して距離情報を含む画像を出力するための3Dカメラと、物品スキャン部が出力する識別情報をサーバに伝送し、該当物品の価格と名前を含む物品情報を受信するための通信部と、画像に基づいて棚の第1~第3領域に置かれる1つ以上の物品の占有体積を計算し、第1~第3領域における1つ以上の物品の占有体積の変動と物品スキャン部を介した物品の識別情報入力に基づいて物品スキャンの異常有無を判断するための制御部を含むように構成することができる。
一実施形態において、制御部は、第1領域が空の空間で物品で満たされ、第2領域で識別情報の入力がなく、第3領域が空の空間である状況をロードイベントとして生成し、第1領域で物品の占有体積が減少し、第2領域で体積変動が発生し、第3領域で物品の占有体積が増加する状況をスキャンイベントとして生成し、第1領域が空き空間であり第2領域で体積変動がなく、第3領域にある物品が空になる状況をアンロードイベントで生成できる。
一実施形態において、制御部は、スキャンイベントに識別情報の入力がない場合、物品スキャンに異常があると判断することができる。
一実施形態において、制御部は、スキャンイベントにおける第1領域における占有体積の変動と第3領域における占有体積の変動との差が基準値以上の場合に物品スキャンに異常があると判断することができる。
一実施形態において、制御部は、ロードイベントの進行中に第1領域で撮影される画像の変動に基づいて購入者が購入した物品全体の占有体積を計算することができる。
一実施形態において、制御部は、ロードイベントが進行中に順次第1領域に移動する各物品の占有体積を計算し、ロードイベントが終了した後に第1領域で撮影される画像に基づいて計算した物品全体の占有体積を計算された各物品の占有体積の和を用いて補正することができる。
一実施形態において、識別情報は、物品の表面に表示されるバーコードまたはQRコード及び物品スキャン部から放射されるRF信号に対する応答として物品が出力するRF信号の内、1つから検出することができる。
一実施形態において、購買した商品の代金を支払うための支払情報を入力するための支払情報入力部と、購買者が物品スキャン部を通じて識別情報を入力した物品の価格と物品情報を表示し、制御部から伝送される物品スキャンの異常を知らせる警告を画面や音で出力するための出力部をさらに含み、通信部は支払情報入力部を介して入力される支払情報を支払サーバに伝送し、支払サーバから支払情報に対応して支払確認情報を受信することができる。
他の実施形態に係る無人決済方法は、識別情報入力前の物品が置かれる第1領域、識別情報の入力が行われる第2領域及び識別情報の入力後の物品が置かれる第3領域からなる棚を撮影して距離情報を含むように出力される画像を分析するステップと画像分析に介して第1~第3領域における物品の占有体積を計算するステップと、第1~第3領域の内、少なくとも1つの領域において物品の占有体積に変動が生じた場合、占有体積の変動と物品スキャン部を介した物品の識別情報の入力とに基づいて物品スキャンの異常有無を判断するステップを含むことができる。
一実施形態において、無人決済方法は、第1領域が空の空間で物品で満たされ、第2領域で識別情報の入力がなく、第3領域が空の空間である状況をローディングイベントとして生成し、第1領域で物品の占有体積が減少し、第2領域で体積変動が発生し、第3領域で物品の占有体積が増加する状況をスキャンイベントとして生成し、第1領域が空き空間であり、第2領域で体積変動がなく、第3領域にある物品が空になる状況をアンローディングイベントとして生成するステップをさらに含むことができる。
一実施形態において、判断するステップは、スキャンイベントに識別情報の入力がない場合、物品スキャンに異常があると判断することができる。
一実施形態において、判断するステップは、スキャンイベントに第1領域における占有体積の変動と第3領域における占有体積の変動との差が基準値以上の場合に物品スキャンに異常があると判断することができる。
一実施形態において、計算するステップは、ローディングイベントの進行する間に第1領域で撮影される画像の変動に基づいて購買者が購買した物品全体の占有体積を計算することができる。
一実施形態において、計算するステップは、ローディングイベントが進行する間に順次第1領域に移動する各物品の占有体積を計算し、ローディングイベントが終了した後に第1領域で撮影される画像に基づいて計算した物品全体の占有体積を計算された各物品の占有体積の合計を用いて補正することができる。
一実施形態において、無人決済方法は、スキャンイベント時に物品スキャン部を介して識別情報が入力された物品の価格と物品情報を表示するステップと物品のスキャンに異常が発生したと判断されたときにそれを画面または音に出力するステップと物品のスキャンに異常が生じていない状態で第1領域が空の領域に変わる時、決済を進めるステップをさらに含むことができる。
本発明は記載された実施形態に限定されず、本発明の思想及び範囲から逸脱することなく様々に修正及び変形することができることは、当技術分野において通常の知識を有する者に自明である。したがって、そのような修正例または変形例は、本発明の特許請求の範囲に属すべきである。
1:無人決済システム 10:入力部
20:制御部 30:出力部
40:通信部 110:カメラ
120:物品スキャン部 130:支払情報入力部
210:画像分析部 211:体積計算部
212:動き検出部 213:イベント生成部
220:スキャン異常判断部 310:ディスプレイ
320: スピーカ
20:制御部 30:出力部
40:通信部 110:カメラ
120:物品スキャン部 130:支払情報入力部
210:画像分析部 211:体積計算部
212:動き検出部 213:イベント生成部
220:スキャン異常判断部 310:ディスプレイ
320: スピーカ
Claims (15)
- 物品に関する識別情報を入力するための物品スキャン部と
前記識別情報の入力前の物品が置かれる第1領域、前記識別情報の入力がなされる第2領域、及び前記識別情報の入力後の物品が置かれる第3領域から構成される棚を撮影し、距離情報を含む画像を出力するための3Dカメラと
前記物品スキャン部が出力する識別情報をサーバに伝送し、該物品の価格と名前を含む物品情報を受信するための通信部と、
前記画像に基づいて前記棚の第1~第3領域に置かれる1つ以上の物品の占有体積を計算し、前記第1~第3領域における前記1つ以上の物品の占有体積の変動と物品スキャン部を介した物品の識別情報入力に基づいて前記物品スキャンの異常有無を判断するための制御部を含むように構成される無人決済システム。 - 前記制御部は、前記第1領域が空き空間で物品で満たされ、前記第2領域で前記識別情報の入力がなく、前記第3領域が空き空間である状況をローディングイベントとして生成し、前記第1領域において物品の占有体積が減少し、前記第2領域で体積変動が発生し、前記第3領域で物品の占有体積が増加する状況をスキャンイベントとして生成し、前記第1領域が空き空間であり、前記第2領域で体積変動無し、前記第3領域にある物品が空になる状況をアンローディングイベントとして生成することを特徴とする、請求項1に記載の無人決済システム。
- 前記制御部は、前記スキャンイベントに前記識別情報の入力がない場合、前記物品スキャンに異常があると判断することを特徴とする、請求項2に記載の無人決済システム。
- 前記制御部は、前記スキャンイベントにおける前記第1領域における占有体積の変動と前記第3領域における占有体積の変動との差が基準値以上の場合、前記物品スキャンに異常があると判断することを特徴とする、請求項2に記載の無人決済システム。
- 前記制御部は、前記ローディングイベントの進行する間に前記第1領域で撮影される画像の変動に基づいて購買者が購買した物品全体の占有体積を計算することを特徴とする、請求項2に記載の無人決済システム。
- 前記制御部は、前記ローディングイベントの進行する間に順次前記第1領域に移動する各物品の占有体積を計算し、前記ローディングイベントが終了した後に前記第1領域で撮影される画像に基づいて計算した前記全物品の占有体積を、前記計算された各物品の占有体積の和を用いて補正することを特徴とする、請求項5に記載の無人決済システム。
- 前記識別情報は、物品の表面に表示されるバーコードまたはQRコードと、前記物品スキャン部から放射されるRF信号の応答として物品が出力するRF信号の内の1つから検出されることを特徴とする、請求項1に記載の無人決済システム。
- 購買した物品の代金を支払うための支払情報を入力するための支払情報入力部と、
購買者が前記物品スキャン部を通じて識別情報を入力した物品の価格と物品情報を表示し、前記制御部から伝送される物品スキャンの異常を知らせる警告を画面や音で出力するための出力部をさらに含み、
前記通信部は、前記支払情報入力部を介して入力される支払情報を支払サーバに伝送し、前記支払サーバから前記支払情報に対応して支払確認情報を受信することを特徴とする、請求項1に記載の無人決済システム。 - 識別情報入力前の物品が置かれる第1領域、前記識別情報の入力が行われる第2領域、及び前記識別情報の入力後の物品が置かれる第3領域からなる棚を撮影して距離情報を含むように出力される画像を、分析するステップと
前記画像分析を通じて、前記第1~第3領域における物品の占有体積を計算するステップと、
前記第1~第3領域の内、少なくとも1つの領域において物品の占有体積に変動が生じる場合、前記占有体積の変動と、物品スキャン部を介した物品に対する識別情報入力に基づいて、前記物品スキャンの異常有無を判断するするステップからなる無人決済方法。 - 前記第1領域が空の空間で物品で満たされ、前記第2領域で前記識別情報の入力がなく、前記第3領域が空き空間である状況をローディングイベントとして生成し、前記第1領域で物品の占有体積が減り、前記第2領域で体積変動が発生し、前記第3領域で物品の占有体積が増加する状況をスキャンイベントとして生成し、前記第1領域が空き空間であり、前記第2領域で体積変動がなく、前記第3領域にある物品が空になる状況をアンローディングイベントとして生成するステップをさらに含むことを特徴とする、請求項9に記載の無人決済方法。
- 前記判断するステップは、前記スキャンイベントに前記識別情報の入力がない場合、前記物品スキャンに異常があると判断することを特徴とする、請求項10に記載の無人決済方法。
- 前記判断するステップは、前記スキャンイベントにおける前記第1領域における占有体積の変動と前記第3領域における占有体積の変動との差が基準値以上である場合、前記物品スキャンに異常があると判断することを特徴とする、請求項10に記載の無人決済方法。
- 前記計算するステップは、前記ローディングイベントの進行する間に前記第1領域で撮影される画像の変動に基づいて購買者が購買した物品全体の占有体積を計算することを特徴とする、請求項10に記載の無人決済方法。
- 前記計算するステップは、ローディングイベントが進行する間に順次第1領域に移動する各物品の占有体積を計算し、前記ローディングイベントが終了した後に前記第1領域で撮影される画像に基づいて計算した、前記全物品の占有体積を、前記計算された各物品の占有体積の和を用いて補正することを特徴とする、請求項13に記載の無人決済方法。
- 前記スキャンイベント時に、前記物品スキャン部を介して識別情報が入力された物品の価格と物品情報を表示するステップと
前記物品のスキャンに異常が発生したと判断されたときにそれを画面または音に出力するステップと、
前記物品スキャンに異常が発生しない状態で前記第1領域が空き領域に変わるとき、決済を進めるステップをさらに含むことを特徴とする、請求項9に記載の無人決済方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210096967A KR102655145B1 (ko) | 2021-07-23 | 2021-07-23 | 무인 결제 시스템 |
KR10-2021-0096967 | 2021-07-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023016799A true JP2023016799A (ja) | 2023-02-02 |
Family
ID=85109066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022118169A Pending JP2023016799A (ja) | 2021-07-23 | 2022-07-25 | 無人決済システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023016799A (ja) |
KR (1) | KR102655145B1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101586445B1 (ko) * | 2015-03-26 | 2016-01-18 | (주)아이비허브 | 무인 물품 판매를 위한 전자 장치 및 그를 이용한 무인 물품 판매 시스템 |
KR101807205B1 (ko) * | 2017-06-28 | 2017-12-08 | 주식회사 코리아세븐 | 무인 계산 장치, 그 제어 방법 및 컴퓨터 프로그램, 무인 계산 장치의 제어 장치 |
KR102233126B1 (ko) * | 2020-08-11 | 2021-03-26 | 주식회사 신세계아이앤씨 | 바코드 스캔 여부 검증 방법 및 시스템 |
-
2021
- 2021-07-23 KR KR1020210096967A patent/KR102655145B1/ko active IP Right Grant
-
2022
- 2022-07-25 JP JP2022118169A patent/JP2023016799A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230015618A (ko) | 2023-01-31 |
KR102655145B1 (ko) | 2024-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6709320B2 (ja) | 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備 | |
CN108320404B (zh) | 基于神经网络的商品识别方法、装置、自助收银台 | |
US11908288B2 (en) | Imaging used to reconcile cart weight discrepancy | |
JP7163604B2 (ja) | 精算システム、精算方法及びプログラム | |
JP2004535030A (ja) | 自動清算システム | |
CN105448000A (zh) | 商品登录装置以及商品登录方法 | |
WO2021125357A1 (ja) | 情報処理システム | |
JP6400555B2 (ja) | 情報処理装置およびプログラム | |
CN112567419A (zh) | 使用计算机视觉和人工智能进行的自助产品退还 | |
JP7264401B2 (ja) | 会計方法、装置及びシステム | |
WO2019165895A1 (zh) | 自动售货方法和系统以及自动售货装置和自动贩售机 | |
JP2015106380A (ja) | セルフチェックアウト端末 | |
CN107798790A (zh) | 信息处理装置及控制方法、终端设备 | |
US20190385141A1 (en) | Check-out system with merchandise reading apparatus and pos terminal | |
EP3557547A1 (en) | Log-in control apparatus, control method of log-in control apparatus, and information terminal | |
JP6073017B2 (ja) | セルフレジ端末、セルフレジシステム、重量エラーの通知方法、及びプログラム | |
JP2023016799A (ja) | 無人決済システム | |
JP6375926B2 (ja) | 商品認識装置及び商品登録装置 | |
EP3379477A1 (en) | Point-of-sale terminal having a dynamically set user interface | |
KR20230077629A (ko) | 결제자 감시 장치 및 그 프로그램, 결제자 감시 방법 | |
JP2016062548A (ja) | 商品登録装置、商品登録方法、および商品登録プログラム | |
US20210049575A1 (en) | Self-checkout terminal, method and non-transitory computer-readable medium | |
JP2020077275A (ja) | 商品決済システム、商品運搬カート及び商品決済方法 | |
JP2020042463A (ja) | 販売処理システム | |
JP2020042462A (ja) | 販売処理システム |