JP2017157216A - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP2017157216A JP2017157216A JP2017037792A JP2017037792A JP2017157216A JP 2017157216 A JP2017157216 A JP 2017157216A JP 2017037792 A JP2017037792 A JP 2017037792A JP 2017037792 A JP2017037792 A JP 2017037792A JP 2017157216 A JP2017157216 A JP 2017157216A
- Authority
- JP
- Japan
- Prior art keywords
- product
- unit
- camera
- moving object
- shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 44
- 238000003384 imaging method Methods 0.000 abstract description 20
- 238000000034 method Methods 0.000 description 105
- 230000006870 function Effects 0.000 description 55
- 238000001514 detection method Methods 0.000 description 52
- 238000007726 management method Methods 0.000 description 51
- 238000010586 diagram Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 46
- 238000012545 processing Methods 0.000 description 31
- 238000012546 transfer Methods 0.000 description 28
- 238000003860 storage Methods 0.000 description 26
- 238000004891 communication Methods 0.000 description 22
- 238000012795 verification Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 239000003550 marker Substances 0.000 description 13
- 238000005286 illumination Methods 0.000 description 11
- 239000002245 particle Substances 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 10
- 239000008280 blood Substances 0.000 description 8
- 210000004369 blood Anatomy 0.000 description 8
- 230000000172 allergic effect Effects 0.000 description 7
- 208000010668 atopic eczema Diseases 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 239000003973 paint Substances 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000001931 thermography Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 206010020751 Hypersensitivity Diseases 0.000 description 3
- 235000013334 alcoholic beverage Nutrition 0.000 description 3
- 230000007815 allergy Effects 0.000 description 3
- 210000000554 iris Anatomy 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 210000003462 vein Anatomy 0.000 description 3
- 241000208125 Nicotiana Species 0.000 description 2
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 1
- 239000005977 Ethylene Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000013566 allergen Substances 0.000 description 1
- 208000026935 allergic disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 125000000325 methylidene group Chemical group [H]C([H])=* 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 235000012046 side dish Nutrition 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/201—Price look-up processing, e.g. updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
- G06Q20/40145—Biometric identity checks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
- G07G1/14—Systems including one or more distant stations co-operating with a central processing unit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
Abstract
【解決手段】本情報処理システムは、移動物体追跡手段と、棚商品認識手段と、精算手段とを備える。移動物体追跡手段は、店舗内を移動する買い物客やカゴ類等の移動物体を発見し、当該移動物体を領域定義し、前記移動物体の移動を追跡しながら撮像する。棚商品認識手段は、棚内の状態を常時撮像し、棚内から物体が取り出された前後の撮像画像を比較し、認識される対象の商品を撮像画像から領域定義し、当該定義された画像領域から商品を特定する。精算手段は、特定された商品を精算する。
【選択図】図1
Description
また、購入者が商店で購入したい商品を購入するときに、他にも多数の購入者がいる場合には、購入者は買い物を諦めてしまう場合が存在する。
したがって、上記のような事情を考慮すると、購入者が商店に陳列されている商品を購入する際に、商品の代金の精算の自動化及び商品の代金の精算にかかる時間の短縮を図ることができるシステムが要求されている。
さらにまた、従来の店舗では買い物客やレジ担当者による万引き等の不正も問題となっており、このような不正防止が可能になるシステムも要求されている。
店舗内を移動する人やカゴ類等の移動物体を発見し、当該移動物体を領域定義し、前記移動物体の動きを追跡し続けながら撮像する移動物体追跡手段と、
店舗内の棚内の状態を常時、撮像し、棚内から物体が取り出された前後の撮像画像を比較し、認識される対象の商品を撮像画像から領域定義し、当該定義された画像領域から商品を特定する棚商品認識手段と、
特定された前記商品を精算する精算手段と、
を備える。
以下、本発明の情報処理システムの実施形態の概要について説明する。
本発明の情報処理システムは、商品を自動精算する商品認識システムとして適用される。以下、図1に示す実施形態1乃至実施形態4について、その順番で夫々説明する。
図1中の「実施店舗」欄には、実施形態1乃至4の夫々の実施店舗が記載されている。例えば、実施形態1は、主としてコンビニエンスストアでの適用を想定する情報処理システムである。
ただし、この実施店舗は、あくまで例示に過ぎず、実施形態1乃至4の夫々の適用先は特に限定されない。例えば、実施形態1の実施店舗をスーパーマーケット等の小売店舗や食堂、精算が行われる店舗としてもよい。
図1中の「精算場所」欄には、実施形態1乃至4の夫々において、買い物客が精算を行う場所が記載されている。実施形態1,2での精算場所は、レジ端末を例示している。レジ端末は、物体を商品として特定し、その商品を精算する機能を有している。実施形態3での精算場所は、レジ台である。レジ台は、物体から商品として既に特定されたものが置かれ、その商品を精算する機能を有している。実施形態4での精算場所は、精算ゲートを例示している。精算ゲートは、物体から商品として既に特定されたものをレジ台に置かずに、その商品を精算する機能を有している。
図1中の「詳細」欄には、各実施形態の詳細が記載されている。つまり、例えば、実施形態1の情報処理システムは、レジ端末に設置されたレジカメラによってレジ端末に置かれた手持ち商品を認識し、その商品の自動精算を行う。
また、実施形態1乃至4の商品認識システムは、物体を撮像する1台以上のセンシングデバイスを備えている。センシングデバイスは、画像センサー(カメラ等)の他、温度センサーや距離センサー等種々のものを採用することができる。
また、本明細書では、商品撮像画像及び物体撮像画像に対して各種画像処理を施す場合、実際にはデータの形態で取り扱うが、以下においては説明の便宜上、データは省略して説明する。
具体的には例えば、実施形態1では、レジ端末はセンシングデバイスの一例として、1台以上のレジカメラを備えている。レジカメラは、レジ端末の所定エリアを撮像する。具体的には、レジカメラは、物体が置かれる前の所定エリアを撮像する。また、レジカメラは、物体が所定エリアに置かれた後の所定エリアを撮像する。 そこで、実施形態1の商品認識システムのうちレジ端末は、物体がレジ端末の所定エリアに置かれる前の撮像画像と、物体がレジ端末の所定エリアに置かれた後の物体撮像画像とを対比することで、物体の存在を認識する。
また、物体がレジ端末の所定エリアに置かれる前の撮像画像と、物体がレジ端末の所定エリアに置かれた後の物体撮像画像とを対比する以外の画像認識におけるセグメンテーション技術を用いて、物体がレジ端末の所定エリアに置かれた後の物体撮像撮像のみから物体の存在を認識してもよい。
実施形態1では、レジ端末は、この認識された物体のそれぞれがいずれの商品であるかを画像認識による物体認識手法によって特定する。ここでは、例えば、ディープラーニング(Deep Learning)により、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する手法が採用される。そして、実施形態1では、レジ端末は、次に特定された商品の数量を認識する。実施形態1では、次に特定された商品の精算をする。
実施形態1の情報処理システムは、図2に示すようなコンビニエンスストア等の店舗に採用される図3に示すようなレジ端末2を有する商品認識システムである。実施形態1の情報処理システムは、商品がレジ端末に置かれることで、自動精算することができるようにしてある。
店舗10内の出入口11付近には、レジカウンター12が設置されている。レジカウンター12上には、商品を自動精算するための無人のレジ端末2が設置されている。このレジ端末2の隣には、有人のレジスター13が設置されている。
店舗10内には、商品を陳列する複数台の棚ラック14が設置され、向き合った棚ラック14間が、買い物客が移動する通路15とされている。
棚内の商品は、通路15を移動してきた買い物客によって取られ、レジ端末2の所定エリア(後述の図3の所定エリアA等)に置かれる。所定エリアに置かれた商品は、買い物客のレジ端末2に対する所定の操作をトリガーとして、レジ端末2により複数商品が一括で特定されて自動精算される。
なお、有人のレジスター13は、従来通り、店員が商品を1個ずつバーコードで認識し、精算する。
図3は、レジ端末2の外観の構成例を示す概略透視図である。
レジ端末2は、物体が載置される所定エリアAを囲む囲繞部270を備えている。囲繞部270は、天板部271と、底板部272と、一対の側板部273と、を備えている。
なお、図3において、レジカメラ211は、3台のみ描画されているが、後述のように5台でもよく、少なくとも1台以上存在すれば足り、台数は限定されない。また、図示しないが、レジ端末2は、買い物客の顔や手などを撮像するカメラも備える。
筐体部275上には物体を載せる半透明のプレート276が設置される。プレート276の上面の盤面が所定エリアAとされる。プレート276の盤面は、波形状に形成されている。波形状は、正弦波形状だけでなく、矩形波であってもよく、さらに、ピッチや振幅は、均等だけでなく、不均等であってもよい。
プレート276は、このように所定エリアAが凹部と凸部とを繰り返して形成したものとされることで、円柱状や球状の物体の少なくとも一部を凸部と凸部との間に挟み、転がらないようにすることができる。
照明部208は、白色だけでなく、青色や赤色その他限定しない種々の色で発光する。照明部208が発光することで、所定エリアAに置かれた物体の影が所定エリアAに生じない又は減少するようにされている。
囲繞部270のうち少なくとも天板部271と側板部273は、透明になる透明状態と、不透明になる不透明状態とに切り替えられるように、瞬間調光シートで構成されていてもよい。
その場合、囲繞部270が透明状態とされることで、所定エリアAの視認性を確保することができる。囲繞部270が不透明状態とされることで、撮影時において外部光の影響を抑制しつつ、物体撮像画像を取得することができる。
図4は、本発明の情報処理システムの実施形態1としての商品認識システムの構成を示す構成図である。
実施形態1の商品認識システムは、サーバ1と、n台(nは1以上の任意の整数値)のレジ端末2−1乃至2−nと、を有している。
サーバ1と、n台のレジ端末2−1乃至2−nとの夫々は、インターネット等のネットワークNを介して相互に接続されている。
また、以下、レジ端末2−1乃至2−nを個々に区別する必要がない場合、これらをまとめて「レジ端末2」と呼ぶ。
サーバ1は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、バス104と、入出力インターフェース105と、出力部106と、入力部107と、記憶部108と、通信部109と、ドライブ110と、を備えている。
RAM103には、CPU101が各種の処理を実行する上において必要なデータ等も適宜記憶される。
入力部107は、キーボードやマウス等で構成され、各種情報を入力する。
通信部109は、図4に示すように、インターネットを含むネットワークNを介してレジ端末2との間で通信を行う。
また、リムーバブルメディア120は、記憶部108に記憶されている各種データも、記憶部108と同様に記憶することができる。
レジ端末2は、CPU201と、ROM202と、RAM203と、バス204と、入出力インターフェース205と、出力部206と、入力部207と、照明部208と、遮光部209と、提示部210と、レジカメラ211と、記憶部212と、通信部213と、ドライブ214と、を備えている。
ドライブ214には、リムーバブルメディア220が適宜装着される。
入力部207は、図3に示した筐体部275に備えられる。入力部207は、タッチパネル(図示せず)やカードリーダー部Cを備えている。
提示部210は、レジ端末2の状態が正常待機中の状態であるか、精算中の状態であるか、店員が操作中の状態であるか、さらに異常事態が発生しているか等がわかるように、図3に示した提示部210が異なる色で発光するように切り替える。なお、提示部210は、前面だけでなく、背面にも備えている。
レジカメラ211は、所定エリアAに置かれた物体を撮像し、その結果として得られる1以上の撮像画像を物体撮像画像として出力する。
サーバ1のCPU101においては、DB管理部141が機能する。
サーバ1の記憶部108の一領域には、商品DB131が設けられている。商品DB131は、商品に関する情報を記憶するDB(Data Base)である。
なお、レジ端末2は、個人情報及び商品情報を保持するDB情報保持部241を備えている。
遮光制御部229は、囲繞部270が瞬間調光シートで構成されている場合に、囲繞部270を不透明状態と透明状態とに切り替える。即ち、遮光制御部229は、囲繞部270に備えられた遮光部209が所定エリアAに置かれた物体を撮影するタイミングでの不透明状態と、撮像しないタイミングでの透明状態とのうち一方から他方に切り替える制御を実行する。
提示制御部230は、提示部210がレジ端末2の状態を提示する発光色を変化させるように制御を実行する。
画像取得部232は、物体が所定エリアAに置かれてレジカメラ211によって撮像された物体撮像画像を図8に示すように取得する。
図8(a)は、レジ端末2の天板部271に固定されたレジカメラ211によって物体X,Y,Z,Z’が撮像された結果得られる物体撮像画像の例を示している。この物体撮像画像には、6個の物体が含まれている。この物体撮像画像は、物体の影になる物体X,Y,Z,Z’がないため、所定エリアAに置かれたすべての物体X,Y,Z,Z’が撮像されている。
図8(b)は、レジ端末2の一方の側板部273に固定されたレジカメラ211によって物体X,Y,Z,Z’が撮像された結果得られる物体撮像画像の例を示している。この物体撮像画像には、2個の物体が含まれている。この物体撮像画像は、レジカメラ211側の物体X,Y,Z,Z’が奥側の物体を隠した状態となっている。
図8(c)は、レジ端末2の他方の側板部273に固定されたレジカメラ211によって物体X,Y,Z,Z’が撮像された結果得られる撮像画像を示している。この物体撮像画像には、2個の物体が含まれている。この物体撮像画像は、レジカメラ211側の物体X,Y,Z,Z’が奥側の物体を隠した状態となっている。
図8(b)と図8(c)の夫々の物体撮像画像に含まれる2つの物体Zのうち、一方は同一物体Z’であるが、他方は異なる物体である。
なお、物体認識部233は、背景差分処理以外の方法を用い、所定エリアAに物体が置かれる前の背景画像と、物体が置かれた後の物体撮像画像を比較せず、物体撮像画像のみから物体領域を定義することで、物体の存在を認識するようにしてもよい。
精算数量は、精算対象の商品の数量である。
物体認識数量は、図8に示すように、レジカメラ211によって異なることがある。すなわち、図8(a)では、6個の物体が撮像されているが、図8(b)(c)では、2個の物体が撮像されている。
このような場合、物体数量認識部234は、図9に示すような論理和を取ることで、物体の数量を認識する。
図9は、図8で示した物体X,Y,Z,Z’についてレジ端末2(図3)に備えられた第1乃至第5のレジカメラ211が撮像し、撮像できた場合は「1」、撮像できなかった場合は「0」で表している。なお、物体Zと物体Z’は、同じ物体であるものの、撮像したレジカメラ211が異なることから、異なる状態に撮像されていることを表すものである。
図9において、第1のレジカメラ211は「レジ台カメラ1」と表され、同様に、第2乃至第5のレジカメラ211は「レジ台カメラ2」乃至「レジ台カメラ5」と表されている。
図9の例では、物体Xは第1、第4及び第5のレジカメラ211に撮像されている。物体Yは第2、第4及び第5のレジカメラ211に撮像されている。物体Zは第2、第3及び第5のレジカメラ211に撮像されている。物体Z’は第1及び第3のレジカメラ211に撮像されている。
このことを踏まえ、物体数量認識部234は、論理和を用いた手法によって商品の数量を認定する。すなわち、物体が重なって所定エリアAに置かれたり、ある物体が他の物体の影になるように所定エリアAに置かれても、いずれかのレジカメラ211が撮像した物体については、論理和を用いることで所定エリアAに置かれたと認識される。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、DB情報保持部241やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する(閾値を超える)と、物体認識部233によって存在が認識された物体が、DB情報保持部241に登録されている商品であるため、商品特定部235は、そのDB情報保持部241に登録された商品であると特定する。
なお、売買制限商品としては、(A)タバコ、酒類等のような一定の年齢に達しないと購入できない商品、(B)消費期限切れ・賞味期限切れの商品、(C)アレルギー成分を含むため、体質によって、摂取すべきでない商品、(D)ハラル食品以外の商品等、宗教による制限のある商品、が該当する。
売買制限商品判定部236において物体が売買制限商品であると認定され、その旨の警告が提示部210や出力部206から提示される。この提示に気づいた店員が売買制限商品を販売してよいかどうかを判断する。売買制限商品を販売してよいと判断されたときは、店員によってその提示が解除される。
本商品認識システムは、この解除を指示するための遠隔操作部17を備えている。遠隔操作部17は、レジ端末2から離れた店員が所持したり、店舗のバックヤードに備えられる。
遠隔操作部17からの信号は、レジ端末2通信部213に入力される。遠隔操作部17は、1台で複数台のレジ端末2を遠隔操作することも可能とされている。
この商品登録システムは、図示しない登録画像生成部と、商品マスタ登録部と、撮像画像取得部と、認識部と、を備える。
商品マスタ登録部は、登録画像生成部により生成された商品登録画像と、当該商品登録画像に被写体として含まれる商品に対して一意に付与された商品識別子とを関連付けて登録する。
撮像画像取得部は、レジ端末2の所定エリアAに置かれた物体の撮像画像を、物体撮像画像として取得する。この物体撮像画像と商品登録画像とに基づいて、商品特定部235は、存在を認識した物体がいずれの商品かを特定する。
物体認識部233は、取得された物体撮像画像に基づいて、所定エリアAに置かれた物体の存在を認識する。
この商品認識システムは、存在が認識された物体の物体撮像画像とDB情報保持部241又はサーバ1の記憶部108に保持されている商品の画像を上述したようにマッチングさせることで、商品特定部235によっていずれの商品であるかが特定される。
図10は、図7のサーバとレジ端末が実行する商品の精算処理を説明するフローチャートである。
この商品の自動精算処理に先立って、レジ端末2の所定エリアAに物体が置かれていない状態で予め撮像された所定エリアAの画像が画像取得部232に保存されている。
この予め撮像された所定エリアAの画像は、所定のタイミングで更新され、買い物客がレジ端末2を使用するたびに更新されず、買い物客が変わっても共用されてもよい。
そして、買い物客がレジ端末の操作ボタンを押すことで、自動精算処理が開始される。
この物体撮像画像は、レジ端末2内が照明部208によって照明されることで、物体の影が生じない又は減少するようにされている。
物体撮像画像は、表示制御部238に入力され、出力部206から出力されてもよい。
また、レジ端末2のレジカメラ211が買い物客を撮像することで、個人認証部231が買い物客を個人認証する。
商品不特定によるエラー状態となった場合、物体を置き直し、レジ端末2において、所定の操作をすることで、ステップS101に戻り、再度、物体が撮像し直される。置き直しは、エラー状態を発見した店員が行ってもよく、買い物客自身で行ってもよい。
ステップS103において商品特定部235が商品を特定できた場合(ステップS103においてYES)は、商品特定部235は、DB情報保持部241又はサーバ1の記憶部に保持された商品名や価格、売買制限商品であるなどの情報を含めて商品を特定する。これにより、処理はステップS104へ進む。特定された商品情報は、表示制御部238に出力されてもよい。
なお、ステップS104まで(ステップS101以前を含む)の任意のタイミングで個人認証が事前に取得されることで、売買制限商品判定部236は、買い物客ごとに売買制限商品の処理を実行することができる。
具体的には、精算部237は、ステップS103において特定された商品の価格を個々に取得し、合計することにより、所定エリアAに置かれているすべての商品を精算する。
精算された商品の商品名や価格などの商品情報は、表示制御部238から出力部206に出力され、出力部206の表示部Dに表示され、レシート出力部Rからレシートに印刷されて出力される。
また、このレジ端末2は、通信部213を介してサーバ1に接続されていることから、POS(Point Of Sale)として活用することができる。即ち、レジ端末2によって、精算された商品の購買情報及び年齢性別推定情報がPOSシステムに連携される。
なお、S105において、レジ端末2の提示部210は、物体数量認識部234が特定した物体の数量と、商品特定部235が特定した商品の数量と精算数量とが異なる場合に、その旨を提示してもよい。レジ端末2は、キャンセル機能を備えることで、精算処理を中止することができる。
図11は、図7のサーバとレジ端末が実行する売買制限商品の処理を説明するフローチャートである。
ステップS112において、表示制御部238は、レジ端末2の表示部Dに年齢確認のための画面を表示させる。ただし、買い物客の個人情報が取得され、ここで年齢確認する必要がない場合は、ステップS112はスキップされ、処理はステップS114へ進む。
ステップS113において、売買制限商品判定部236が売買制限を解除する指示を受け付けたか否かを判定する。
ステップS113において売買制限を解除する解除指示を受け付けた判定されると、即ちYESと判定されると、処理はステップS114へ進む。
ステップS114において、売買制限商品判定部236は、売買制限を解除する。
このようにしてステップS114が終了されるか、又はステップS111において年齢制限商品でないと判定された場合(NOであると判定された場合)、処理はステップS115へ進む。
売買制限商品判定部236が、ハラル商品以外の商品(許されていない商品)である、又はアレルギー商品であると判定した場合は、ステップS116へ進む。
売買制限を解除する指示を受けていないと判定した場合は、処理はステップS117に戻される。すなわち、ハラル商品以外の商品でない、又はアレルギー商品でないとして売買制限を解除する指示が受け付けられるまでの間、ステップ117の判定処理が繰り返される。
売買制限を解除する指示を受けたと判定した場合は、ステップS118へ進む。
このようにしてステップS118が終了されるか、またはステップS115においてハラル商品以外の商品でない、又はアレルギー商品でない場合(NOであると判定された場合)、処理はステップS119へ進む。
売買制限商品判定部236が消費期限切れの商品を含んでいると判定した場合は、ステップS119においてYESと判定され、処理はステップS120へ進む。
ステップS121において、売買制限を解除する指示を受け付けていないと判定された場合は、NOと判定され、ステップS121の処理が繰り返される。すなわち、消費期限切れの商品の制限を解除する指示が受け付けられるまでの間、ステップS121の判定処理が繰り返される。
ステップ122において、売買制限商品判定部236は、売買制限を解除する。
売買制限商品判定部236が消費期限切れの商品を含んでいないと判定した場合は、ステップS119においてNOと判定され、処理は終了する。
このようにして、本情報処理システムは、レジ端末に置かれた商品を認識し、自動精算することができる。
例えば、図3に示されたレジ端末2の外観構成は、例示であり、この外観に限定されない。レジ端末2は、少なくとも所定エリアA、レジカメラ211のような撮像部、出力部206が含まれていればよく、他の構成要素を追加してもよい。
また、実施形態1の商品認識システムは、1以上の物品を上流側から下流側へ搬送する搬送機構(例えばベルトコンベア)を設けてもよい。上流側には、撮像部を有する所定エリアが配置される。下流側には、精算エリアが配置される。
所定エリアでは、撮像部によって撮像された物体の数量が計数される。この商品認識システムは、計数された物体の数量と精算エリアで精算された商品の数量が異なる場合に、エラーとして検知する。
実施形態2の情報処理システムは、図12に示すような書店等の店舗20において、図3及び図13に示すようなレジ端末2を含む商品認識システムである。実施形態2の情報処理システムは、商品である書籍がレジ台に置かれることで、自動精算することができるようにしてある。
図12は、実施形態2の情報処理システムを採用する書店のレイアウト例を示す図である。
そして、店舗20は、書籍を陳列する複数の棚ラック23を設置している。棚ラック23は、鉛直方向に複数の棚を、間隔をあけて並べ、書籍を陳列する。水平方向に向き合った棚ラック23と棚ラック23との間が通路24とされる。
また、各棚ラック23には、各棚ラック23内を常時撮像する複数(図面では1台のみ描かれている)の棚カメラ311が設置されてもよい。棚カメラ311は、棚内の状態を死角なく撮像し、棚ラック43の前に立つ買い物客も撮像できるように複数台配置されている。
通路24やレジカウンター25内等において、店員Mtが作業している。店員Mtは、情報端末9を所持している。なお、情報端末9は、店舗20のバックヤードや店舗20外の統括本部等にも設置される。
実施形態2では、買い物客を「移動物体Mo」として説明する。
図13は、実施形態2で採用するレジ端末2の概観構成を示す概略斜視図であって、書籍(採番せず)を精算している状態を示している。
したがって、レジ端末2は、書籍が載置される所定エリアAを囲む囲繞部270を備えている。囲繞部270は、天板部271と、底板部272と、一対の側板部273と、を備えている。この囲繞部270は、図3に示す実施形態1の囲繞部270と同様に構成されている。
図14は、本発明の情報処理システムの実施形態2としての商品認識システムの構成を示す構成図である。
商品認識システムは、サーバ1と、レジ端末2−1乃至2−nと、売場装置3と、を有している。売場装置3は、天井カメラ310によって撮像された書籍の撮像画像から書籍の冊数を認識する機能を備えている。
なお、サーバ1は、レジ端末2−1乃至2−nや売場装置3を管理するため、店舗20のバックヤード又は店舗外に設置される。また、売場装置3は、図12に示す店舗20内での移動物体Moを発見し、追跡するため、店舗20内に設置された天井カメラ310を制御する。
サーバ1と、レジ端末2−1乃至2−nと、売場装置3と夫々は、インターネット(Internet)回線等のネットワークNを介して相互に接続されている。
また、以下、レジ端末2−1乃至2−nを個々に区別する必要がない場合、これらをまとめて「レジ端末2」と呼ぶ。
サーバ1は、CPU101と、ROM102と、RAM103と、バス104と、入出力インターフェース105と、出力部106と、入力部107と、記憶部108と、通信部109と、ドライブ110と、を備えている。これらは、図5に示した実施形態1で説明したサーバ1と同様に構成されている。
図15は、図14の商品認識システムのうち売場装置3のハードウェア構成を示すブロック図である。
棚カメラ311は、魚眼カメラ等の広角を撮像できるカメラを採用してもよい。
また、棚カメラ311は、USBケーブルによってネットワークと接続されている。
店舗内におけるエラー状態としては、例えば、天井カメラ310が棚内から取られた書籍の冊数を認識できなかった場合や精算されていない書籍が店舗外に持ち出されようとした場合などがある。また、レジ端末におけるエラー状態としては、レジ端末2において、書籍を特定できなかったり、冊数を認識できなかった場合、年齢制限商品が精算されようとした場合、レジ端末2内に書籍が置き忘れられている場合などである。
また、サーバ1は、このようなエラーを表示するエラー表示部151と、エラー状態を解除するエラー解除部152とを設けている。
レジ端末2は、図6に示す実施形態1のレジ端末と同様に構成されている。
したがって、実施形態2のレジ端末2は、CPU201と、ROM202と、RAM203と、バス204と、入出力インターフェース205と、出力部206と、入力部207と、照明部208と、遮光部209と、提示部210と、レジカメラ211と、記憶部212と、通信部213と、ドライブ214と、を備えている。
サーバ1のCPU101は、エラー判定部150を備えている。
サーバ1の記憶部108の一領域には、商品DB131と、位置情報管理DB132とが設けられている。
商品DB131は、書籍に関する書名、価格、著者名、出版社などの情報を記憶するDB(Data Base)である。位置情報管理DB132は、移動物体Moの位置を管理する。
遮光制御部229は、囲繞部270に備えられた遮光部209が所定エリアAに置かれた書籍を撮影するタイミングでの不透明状態と,撮像しないタイミングでの透明状態とに切り替える制御を実行する。
提示制御部230は、提示部210がレジ端末2の状態を提示する発光色を変化させるように制御を実行する。
物体認識部233は、上述した所定の画像認識手法を用いて、所定エリアAに置かれた物体の存在を認識する。
検証機能は前述の商品候補をリストアップする手法と異なるアルゴリズムによって「商品候補リストP」をリストアップする。商品候補リストS,Pの結果をマッチングさせて、所定の閾値を超える場合、商品を特定する。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、DB情報保持部241やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する(閾値を超える)と、物体認識部233によって存在が認識された物体が、DB情報保持部241に登録されている商品であるため、商品特定部235は、そのDB情報保持部241に登録された商品であると特定する。
しかし、対面販売ではない、自動精算を採用する本システムでは、店員が買い物客の年齢を確認できる仕組みが必要となる。売買制限商品を特定したレジ端末2は、売買制限商品である旨を提示し、精算処理を中断する。エラー表示部151により、エラー状態を受け取った店員が買い物客の年齢を確認し、レジ端末2を操作し、制限状態を解除する。それにより、精算処理が再開される。また、レジ端末2は、買い物客の顔や手などを写すレジカメラ211を備え、買い物客の年齢を推定することで、所定の年齢に達していないと判断される買い物客には売買制限商品を販売しないようにしてもよい。
売買制限商品判定部236は、個人認証に得られる買い物客の情報と紐づけ、売買制限してもよい。当該書籍が売買制限商品であると判定されると、表示部Dが売買制限商品である旨を提示する。
個人認証部320は、個人情報取得部321によって取得された買い物客の個人情報から、サーバ1のDB管理部141において登録されている買い物客が誰であるかを個人認証する。なお、個人認証部320と個人情報取得部321は、実施形態1と同様にレジ端末2に備えてもよい。
個人情報取得部321は、例えば出入口22に設置されたゲート21に備えられる。この個人情報取得部321は、買い物客のICカードやスマートフォン、タブレット等の携帯情報端末をタッチする読取装置や、指紋や静脈、虹彩等の生体情報を読み取る読取装置等が採用される。
取得された個人情報は、売買制限(解除含む)や購買分析に活用される。
移動物体追跡部330は、図17に示すように、天井カメラ310によって撮像された画像から移動物体Moを発見し、移動する移動物体Moを追跡するため、天井カメラによる移動物体発見部3302と、天井カメラによる移動物体領域定義部3304と、天井カメラによる移動物体領域追跡部3305とを備える。
そこで、天井カメラ310は、距離センサー等を用いて移動物体Moの高さ情報を取得することで、精度の高い位置情報を取得してもよい。
位置情報管理部340は、カメラ間情報受け渡し部341と、各カメラの位置定義部342と、移動物体表示部343と、を備える。
カメラ間情報受け渡し部341は、各天井カメラ310に撮像された画像情報を他の天井カメラ310に撮像された画像情報と共有するようにすることにより、移動物体Moがある天井カメラ310の撮像画像から別の天井カメラ310に撮像されるようになっても、移動物体領域を追跡し続けることができる。
他の例として、天井カメラ310の台数が多いことに鑑み、カメラ間情報受け渡し部341は、サーバ1を通じることなく各天井カメラ310で撮像された画像を各天井カメラ310間で例えばP2Pによって受け渡すようにしてもよい。
この各カメラの位置定義部342は、各天井カメラ310の撮像画像を合成し、1枚の店舗マップを作成する。また、この各カメラの位置定義部342は、各天井カメラ310、棚カメラ311の座標を店舗マップ上の座標に置き換える。また、各カメラの位置定義部342は、各天井カメラ310によって撮像された撮像画像について、透視変換により、計算上、店舗内床面に正対した撮像画像となるように補正する。
移動物体表示部343は、各カメラの位置定義部342によって写されている位置情報を、店舗30内の移動物体Moを表示する。移動物体表示部343は、店員Mtが保持する情報端末9、あるいは店舗のバックヤードの画面等として採用されてもよい。
冊数カウント部350は、冊数認識部351と、人と冊数紐づけ部352と、冊数不特定判定部353と、人と紐づく冊数管理部354と、天井カメラによる移動物体領域間受け渡し認識部355と、天井カメラによる受け渡された冊数認識部356を備える。
冊数不特定判定部353は、冊数が認識できなかった場合、冊数が認識できなかったことを移動物体Moに紐づける。
なお、この天井カメラによる移動物体領域間受け渡し認識部355は、ディープラーニング等の物体認識手法を用いて、人の動きを分析し、受け渡し認識してもよく、受け渡しの際に移動物体領域の中の手を認識しても良く、移動物体領域(手を含んでも良い)間の重なりを認識してもよい。天井カメラによる移動物体領域間受け渡し認識部355は、天井カメラ310に替えて棚カメラ311を使用してもよい。その際の棚カメラ311は、広範囲にわたって撮像できるカメラでもよい。
天井カメラによる受け渡された冊数認識部356は、ズーム機能を有する天井カメラを備えることにより、受け渡しが行われたと推定される箇所をズームアップし、書籍の数を認識してもよい。
天井カメラによる受け渡された冊数認識部356は、天井カメラ310に替えて広範囲を撮像できる棚カメラ311を使用することで、書籍の数を認識してもよい。
また、天井カメラによる受け渡された冊数認識部356は、天井カメラによる移動物体領域間受け渡し認識部355によって特定されたそれぞれの移動物体Moと、ここで認識された書籍の数とを紐づけ、冊数リストを更新する。
図20は、実施形態2において書籍の精算処理を説明するフローチャートである。
買い物客が通路24を進むと、奥側の天井カメラ310がその買い物客を撮像する。このようにして、複数の天井カメラ310が買い物客を常時撮像する。出入口22付近にゲート21を設けてもよい。
出入口22にゲート21が備えられている場合、ゲート21は、常時、閉じられているが、買い物客が入店するタイミングで開けられ、入店後に閉じられる。なお、ステップS201の前に、個人認証部320が買い物客の個人認証し、買い物客の個人情報を取得してもよい。
なお、ステップS205において、取られた書籍の冊数をカウントできなかった場合は、図示していない冊数不特定判定部がエラーを出力する。
移動物体Moに紐づく冊数情報と、レジ端末2の所定エリアAに置かれた書籍の冊数情報とが一致しない場合は、エラー表示部151にエラーが表示され、精算することができない。また、その状態で退店を試みると、出入口22付近に設置されたエラー表示部151が音、光等により警告が発せられる。ゲート21が設置されている場合は、閉じられた状態を維持する。
ステップS210において、レジ端末2に置かれた書籍が制限有無に該当するかどうかを売買制限商品判定部236が判定してもよい。ステップS207まで(ステップS201以前を含む)の任意のタイミングで個人情報が事前に取得されることで、売買制限商品判定部236は、制限のある書籍を購入できない買い物客が購入しようとしているときに、エラー表示部151がエラー表示する。
なお、精算が完了すると、DB管理部141は、人に紐づく冊数カウントリストを「精算済」の状態に更新する。
エラー表示部151やレジ端末2の提示部210は、エラー状態に応じて異なる色で発光するようにもされてもよい。
ステップS221において、レジ端末2の入力部207の読取開始ボタンが押下されると、レジ端末2の画像取得部232がレジ端末2の所定エリアAに置かれた物体撮像画像を取得した後、存在が認識された物体について、商品特定部235がいずれの商品かを特定し、商品の冊数をも認識する。
ステップS222において、売場装置3の冊数カウント部350の人と冊数紐づけ部362が、レジ端末2に置かれた書籍の冊数の情報を移動物体MoのIDから照会する。
レジ端末2に置かれた書籍の冊数と、人と紐づく冊数管理部でカウントされた書籍の冊数とが一致しない場合(NO)は、レジ端末2のエラー表示部151がエラーを表示し、警告を発する。なお、この状態のまま退店を試みると、出入口22付近のエラー表示部151が音や光等により警告を発する。ゲート21が設置されている場合は、ゲート21は閉じた状態を維持し、買い物客は退店できない。これにより、万引きを防止することができる。
図22は、実施形態3の商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。
実施形態3の商品認識システムは、図22に示すようなスーパーマーケット等の店舗30に対して適用するシステムである。
通路34や精算エリア35等において、店員Mtが見回り等をしている。店員Mtは、情報端末9aを所持している。情報端末9aは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する画面等を備えている。
図22において、雲形で描かれた線図の内側には、店舗30内でなく、店舗30外や店舗30のバックヤードの様子が描画されている。店舗30外には、サーバ1(図5)が設置されている。店舗30外に存在する管理センターや店舗30バックヤードなどでは、店員Mtが大型モニターの画面(図示せず)や情報端末9bの画面を通じて店舗30内を監視している。また、以下、情報端末9aと情報端末9bとを区別する必要がない場合、これらをまとめて、「情報端末9」と呼ぶ。
カゴ類の夫々には、センシングデバイスの一例としてカゴカメラ312(図22において図示せず)が取り付けられていてもよい。
その場合、売場装置3のカゴカメラ312は、カゴ類に1台以上設置され、カゴ類に入れられた物体を常時撮像する。カゴカメラ312は、カゴ類の内側を死角なく撮像できるように設置されている。カゴカメラ312は、カゴ類に入れられた物体の少なくとも正面等の特徴がある部位を撮像する。
実施形態3の商品認識システムは、カゴ類に入れられた物体がいずれの商品であるかを、カゴカメラ312によって撮像された撮像画像から特定する機能を備えていてもよい。
実施形態3の商品認識システムは、棚内の物体がいずれの商品であるかが特定され、さらに、その商品が精算機4において自動精算する機能を備えている。この自動精算に際して、精算機4において移動物体Moと紐づけられていた商品の情報とが読み出され、自動精算が可能となる。
精算機4は、購入商品の合計金額、点数、明細の表示、売買制限商品判定の表示、決済機能等、買い物を完結するために必要な機能を含んでいる。
実施形態3の商品認識システムは、サーバ1と、売場装置3と、精算機4と、を有している。実施形態3では、物体がいずれの商品であるかを売場装置3が特定するために、実施形態1,2で説明したレジ端末2に替えて精算機4を備えている。
図23において、サーバ1及び売場装置3は、1台しか描画されていないが、実際には複数台の場合もある。また、以下、精算機4を個々に区別する必要がない場合、これらをまとめて、「精算機4」と呼ぶ。
サーバ1と売場装置3とは、インターネット等のネットワークNを介して相互に接続されている。
サーバ1は、実施形態1のサーバ1(図5)と同様に構成される。
売場装置3は、CPU301と、ROM302と、RAM303と、バス304と、入出力インターフェース305と、天井カメラ310と、棚カメラ311と、カゴカメラ312と、通信部315と、情報端末9と、を備える。
売場装置3の天井カメラ310、棚カメラ311、通信部315、情報端末9は、実施形態2において説明した売場装置3(図15)のこれらと同様に構成される。
これらは、図16に示した実施形態2と同様に構成されている。
個人認証部320及び個人情報取得部321は、図16に示した実施形態2と同様に構成されている。
移動物体追跡部330は、図26に示すように、天井カメラによる移動物体発見部3302と、天井カメラによるカゴ発見部3303と、天井カメラによるカゴ領域定義部3306と、天井カメラによるカゴ領域追跡部3307と、グルーピング部3308天井カメラによるカゴ領域間受け渡し認識部3310と、天井カメラによる受け渡された物体認識部3312と、天井カメラによる受け渡された商品特定部3313と、を備えている。
ただし、実施形態3の移動物体追跡部330は、買い物客を移動物体として扱う実施形態2と異なり、システム上把握(発見・追跡等)されるカゴ類を移動物体Moとして扱う。
この店舗30内を移動する物体から移動物体Moを発見する手法としては、例えば、個体識別可能な情報を保持したマーカーを各カゴ類に1か所以上付けておき、天井カメラによるカゴ発見部3303は、このマーカーを目印として移動物体Moを発見する。マーカーは、例えば2次元コードや特徴的な形状のような、移動物体Moを特定できればよく、限定されない。
店舗30内を移動する物体から移動物体Moを発見する他の手法として、天井カメラによるカゴ発見部3303は、カゴ類の色情報や形状情報などのカゴ特有の情報を利用してもよい。その際、天井カメラによるカゴ発見部3303は、カゴ類の色や形状が床面などから区別できることから、移動物体Moを発見することができる。
店舗30内を移動する物体から移動物体Moを発見する手法として、カゴ類から無害なガスを発生させ、サーモグラフィ等を使用してもよい。その際、天井カメラによるカゴ発見部3303は、カゴ類から発生した無害なガスの発生に伴う温度変化をサーモグラフィ等で検知し、移動物体Moを発見する。
店舗30内を移動する物体から移動物体Moを発見する手法として、不可視の塗料をカゴ類に塗布し、不可視の塗料を認識できるセンサーを使用してもよい。その際、天井カメラによるカゴ発見部3303は、カゴ類に塗布された不可視の塗料をセンサーが認識することによって移動物体Moを発見する。
店舗30内を移動する物体から移動物体Moを発見する手法として、天井カメラ310からカゴ類に可視光や赤外線などを照射してもよい。その際、天井カメラによるカゴ発見部3303は、カゴ類に照射された可視光や赤外線の反射光を受信することで移動物体Moを発見する。
カゴ類に複数のマーカーが付けられている場合において、天井カメラによるカゴ領域定義部3306は、天井カメラ310がすべてのマーカーを撮像できなくても、各マーカーが移動物体Moの領域における自らの位置情報を保持していることから、1つ以上のマーカーから移動物体Moの領域を定義してもよい。
別の補完的手法としては、上述のようにカゴ類から無害のガスを発生させる場合において、ガスの発生に伴う温度変化をサーモグラフィ等で検知し、画像認識技術をも駆使することで、温度変化のあった領域を移動物体Moの領域と定義する。
さらに別の補完的手法としては、天井カメラによるカゴ領域定義部3306は、上述のように天井カメラ310から可視光や赤外線等を照射する場合において、その反射の測定結果から移動物体Moの領域を定義する。
天井カメラによるカゴ領域追跡部3307は、マーカーを撮像画像から発見し、移動物体Moの位置情報を取得することで、移動物体Moが移動しても、移動物体Moを追跡し続けることができる。
あるいは、天井カメラによるカゴ領域追跡部3307は、カゴ類が持つ色や形状等の特徴データをもとに、同じ特徴データを取得した移動物体Moは同一の移動物体Moである、と推定しながら移動物体Moを追跡してもよい。その際、天井カメラによるカゴ領域追跡部3307は、追跡対象の特徴データを収集し続ける。
そこで、天井カメラによるカゴ領域追跡部3307は、距離センサー等を用いて移動物体Moの高さ情報を取得することで、精度の高い位置情報を取得する。このようにして天井カメラによるカゴ領域追跡部3307は、移動物体Moを追跡し続けてもよい。
天井カメラによる受け渡された物体認識部3312は、天井カメラ310をズーム可能なカメラにし、受け渡しが行われたと推定される箇所をズームアップし、物体の領域定義をしてもよい。
天井カメラによる受け渡された物体認識部3312、天井カメラによる受け渡された商品特定部3313は、天井カメラ310の代わりに、広範囲を撮像可能な棚カメラ311等で実現してもよい。
即ち、位置情報管理部340は、図18に示すように、カメラ間情報受け渡し部341と、各カメラの位置定義部342と、移動物体表示部343と、を備えている。
棚商品認識部360は、棚カメラによる物体認識部3602と、棚カメラによる商品特定部3603と、カゴと商品紐づけ部3605と、カゴと紐づく商品リスト管理部3607と、棚カメラによる物体入出検知部3608と、商品不特定判定部3609と、ラベル認識部3610と、値引きシール認識部3611と、棚カメラ又は天井カメラによるカゴ入出検知部3612と、を備える。
棚商品認識部360は、棚カメラ311とUSBケーブルやネットワークを通じ、他のカメラやパーソナルコンピュータ等と連携される。
すなわち、棚カメラによる物体認識部3602は、物体が棚内から取られた又は棚に置かれた前の物体撮像画像と、物体が棚内から取られた又は棚に置かれた後の物体撮像画像の変化前後の物体撮像画像を比較し、変化のあった画像領域を特定する。棚カメラによる物体認識部3602は、画像領域を特定する際にRGBデータそれぞれで変化を確認する。
物体の色データが同じであるため、入出等の変化があっても変化がなかったと判定されないようにするため、棚カメラによる物体認識部3602は、物体の影を利用することによっても領域を定義してもよい。
認識した物体領域の情報は、棚カメラによる商品特定部3603に引き渡される。
「商品候補リスト」のリストアップ手法として、例えば、存在が認識された物体から得られる物体の画像情報と、商品DB131やメモリ上に保持されている画像情報とマッチングさせる方法により実現されてもよい。即ち、両画像の特徴情報が一致する(閾値を超える)と、棚カメラによる物体認識部3602によって存在が認識された物体が、商品DB131に登録されている商品であるため、棚カメラによる商品特定部3603は、その商品DB131に登録された商品であると特定する。ディープラーニングにより、商品候補を作成し、その後、検証機能を発揮させることで、商品を高い精度で特定する。
さらに別の前提として、1台の棚カメラ311が撮像する所定エリア内に移動物体Moが1台も存在しないとされる場合であれば、少なくとも1台以上の棚カメラ311または少なくとも1台以上のカゴカメラ312によって、移動物体Moへの入出を検知し、その移動物体Moを特定したうえで、その特定された移動物体Moと商品情報とを紐づける。
物体が棚内から取られた際、カゴと紐づく商品リスト管理部3607は、取得された商品数分加算される。反対に、商品が棚内に戻された際、カゴと紐づく商品リスト管理部3607は、戻された商品数分を減算する。
例えば、棚カメラによる物体入出検知部3608は、棚内への物体の進入を、各棚カメラ311の撮像画像に設定した「進入検知領域」における画像データの変化から検知する。また、棚カメラによる物体入出検知部は、入ってきた物体を画像内で追跡することで、物体が領域外に退出したことも検知する。
ただし、同じ領域に複数の物体が進入しないことを前提とすれば、棚カメラによる物体入出検知部3608は、既に物体が存在する領域にかかる進入検知領域にはパーティクルをまかない。
一度になるべく少ない量の物体の領域が推定されるように、棚カメラによる物体入出検知部は、商品が進入される都度、入出を検知する。
変化前後の画像は、推定領域で利用できるようにサーバ1の記憶部108に記憶される。
図28は、図25の売場装置3に備えられたカゴ商品認識部370の詳細な機能的構成例を示す機能ブロック図である。
カゴ商品認識部370は、カゴカメラによるカゴ入出検知部372と、カゴカメラによる物体認識部373と、カゴカメラによる商品特定部374と、カゴ商品の不特定判定部375と、カゴ商品のラベル認識部376と、カゴ商品の値引きシール認識部377と、を備える。
カゴカメラによるカゴ入出検知部372は、複数の移動物体Moを同時に追跡するため、一つ目の物体が進入した後、進入検知領域に再度、パーティクルをまき、次の物体の進入に備える。
カゴカメラによるカゴ入出検知部372は、所定領域内において、一定の尤度を持つパーティクルの占める割合が閾値以上である場合に「物体入」と判定し、閾値未満である場合に「物体出」と判定する。カゴカメラによるカゴ入出検知部は、一度になるべく少ない量の物体の領域を推定するように、物体が入出するたびに入出を検出する。
カゴカメラによる物体認識部373は、物体の撮像画像から得られるスペクトル(波長)データ、重量センサー、圧力センサー、赤外線センサー、メチレンガスセンサー等から物体を認識してもよい。
商品候補のリストアップの手法として、例えば、存在が認識された物体から得られる物体撮像画像の情報と、商品DB131や記憶部108によって保持されている画像情報とをマッチングさせる方法により、実現してもよい。即ち、両画像の特徴情報が一致する、即ち、閾値を超えると、カゴカメラによる物体認識部373によって存在が認識された物体は、その商品DB131に登録された商品であると特定する。
カゴカメラによる商品特定部374は、撮像画像の1フレームで商品を特定せず、複数フレームにわたる撮像画像から商品を特定してもよい。その際、カゴカメラによる商品特定部374は、商品候補に対し、パーセンテージを持たせ、購入履歴、時間、場所、人の嗜好等の情報をもとにパーセンテージを加算し、一定の閾値を超えたときに商品を特定してもよい。
カゴ商品のラベル認識部376は、カゴカメラによる商品特定部374によって、カゴに入れられて特定された商品に応じて、貼付されたラベルを認識する。カゴ商品のラベル認識部は、画像認識や文字認識の手法を駆使し、ラベルに記載された文字、バーコード等を含む多次元コードを読み取り、商品特定を補完する。
カゴ商品の値引きシール認識部377は、画像認識や文字認識の手法を駆使し、カゴカメラによる商品特定部374によって特定された商品に貼付された値引きシールの値引き額や、割引率を特定する。カゴ商品の値引きシール認識部は、カゴカメラによる商品特定部が処理中に値引き額等の特定を実行する。
売買制限商品判定部380は、実施形態1において説明したように、特定された商品が売買制限商品であるか否かを判定する。売買制限商品判定部は、売買制限商品を検知すると、その情報をエラー表示部151に表示されるようにする。
遠隔操作部390は、情報端末38やサーバ1に備えられ、例えば、エラー状態が通知されたときに、エラー状態を解消する機能を有している。
そのため、精算機4は、図25に示すように、CPU401と、入力部406と、出力部407と、通信部409と、を備えている。
CPU401においては、精算部435と、入力制御部436と、出力制御部437と、が機能する。
出力部407は、精算商品を表示する画面やレシートを出力する機能等を備えている。
精算部435は、精算金額及び精算対象品を確定する。
入力制御部436は、入力部406からの信号を入力し、CPU401を作動させる。
出力制御部437は、精算部435の演算結果を出力部407に出力する。
精算機4は、移動物体Moの位置情報と予め定められた精算エリア35の位置関係を比較し、移動物体Moの位置情報が精算エリア35内に入ったこと、あるいは、移動物体Moが精算機4に置かれたことをトリガーに精算する。
精算機4は、現金だけでなく、商品券や金券、仮想通貨などでも支払いができるようにされている。
このような精算機4においては、エラー状態が起こり得る。エラー状態とは、(A)システム処理異常、(B)商品不特定の物体が移動物体Moに紐づいている場合、(C)売買制限商品が移動物体Moに紐づいている場合、などが例として挙げられる(当然これらに限定されない)。
(A)の場合は、システム処理異常の旨を精算機4、情報端末38a、情報端末38b、サーバ1に提示する。これにより、店員がエラー状態を解消することが可能となる。エラー状態の解消は、遠隔操作部390により、行われてもよい。
(B)の場合は、商品不特定の物体が移動物体Moに紐づいている旨が精算機4、情報端末38a、情報端末38b、サーバ1に提示される。これにより、店員がエラー状態を解消することが可能となる。エラー状態の解消は、遠隔操作部390により、行われてもよい。
(C)の場合、売買制限商品が移動物体Moに紐づいている旨が精算機4、情報端末38a、情報端末38b、サーバ1に提示する。これにより、例えば年齢制限による売買制限商品の場合であれば、店員が買い物客の年齢を確認することができ、消費・賞味期限切れの商品による売買制限商品の場合であれば、店員が商品の交換対応等が可能となり、アレルギー・ハラル食品以外による売買制限商品の場合であれば、買い物客が確認することができるようになり、エラー状態を解消することができる。エラー状態の解消は、遠隔操作部390により、行われてもよい。
図29は、図25のサーバ1と売場装置3と精算機4が実行する自動精算処理の基本的な流れを説明するフローチャートである。
撮像画像には、店舗30内を移動する物体だけでなく、静止物体も撮像されているため、天井カメラによる移動物体発見部3302は、静止物体を除去した店舗30内を移動する物体のみ発見する。
棚カメラによる物体入出検知部3608は、棚内に進入した物体を追跡し続けることで物体が棚内から退出したことを検知する。
商品候補のリストアップの手法として、例えば、存在が認識された物体から得られる物体撮像画像の情報と、商品DB131や記憶部108によって保持されている画像情報とをマッチングさせる方法により、実現してもよい。即ち、両画像の特徴情報が一致する、即ち、閾値を超えると、棚カメラによる物体認識部3602によって存在が認識された物体は、その商品131保持された商品であると特定する。
なお、商品不特定判定部3609は、商品を特定することができなかった場合に、エラー情報をサーバ1へ送信する。このエラー情報は、エラー表示部151や情報端末38に表示される。
また、棚から商品または物体を取った・戻した時に商品不特定判定部3609によって商品を特定できなかった場合、商品不特定の情報(エラー情報)を移動物体MoのIDと紐づける。
実施形態3の自動精算処理は、棚カメラによって撮像された画像に基づいて商品を特定するため、カゴに入れられた物体について商品を特定する必要はない。
しかし、その商品が間違って特定されていないかを検証するため、カゴに入れられた物体についても商品を特定することが好ましい。
ステップS322において、カゴカメラによるカゴ入出検知部372は、パーティクルの尤度によって物体(買い物客の手等)がカゴ内の進入検知領域に進入したことを検知する。なお、複数物体の進入に備えるため、物体がカゴ内の進入検知領域に進入したのち、カゴカメラによるカゴ入出検知部372は、新たなパーティクルを設置する。
ステップS323において、カゴカメラ312は、物体(買い物客の手等)が進入検知領域に進入した時点のカゴ内の状態を撮像する。カゴカメラ312は、進入検知領域外も撮像している。
例えば、撮像された画像(前画像)には、3個の商品が撮像されていたとする。なお、前画像に撮像されている商品は、すでに物体から特定されているため、商品となる。
ステップS326において、カゴカメラによる商品特定部374は、増加した1個の物体がいずれの商品であるかを特定する。この商品の特定は、棚商品認識部360がした特定の手法と同じ手法を採用することができる。
そして、本情報処理システムは、上述のステップS308において特定した商品とステップS326において特定した商品とが一致しているかどうかを検証することができる。商品が不特定の場合、エラー状態の旨がエラー表示部151、情報端末38a、情報端末38bに表示される。これにより、誤って精算されないようにすることができる。また、商品が不特定の旨が情報端末38a、情報端末38bに表示されると、店員がこのカゴが位置している売場まで行き、商品を検証してもよく、店内外の店員等が遠隔操作でエラー状態を解除してもよい。
図31は、実施形態4における商品認識システムを採用するスーパーマーケットのレイアウト例を示す図である。
実施形態4の情報処理システムは、図31に示すようなスーパーマーケット等の店舗40に対して適用する商品認識システムである。実施形態4の情報処理システムは、商品がレジ台に置かれることなく精算ゲート5−1乃至5−3を通過するだけでも自動精算できるようになされている。
通路44や精算エリア45等において、店員Mtが見回り等をしている。店員Mtは、情報端末9aを所持している。情報端末9aは、スマートフォン等の携帯型情報処理端末であり、店内の状態を表示する機能、店内で発生したエラー状態を表示する機能、遠隔操作機能等を備えている。
なお、買い物カゴ、ショッピングカート及びマイバッグを含めてカゴ類と呼ぶ。精算ゲート5−1乃至5−3を含む通路44が精算エリア45とされる。また、カゴ類等と買い物客を含めて移動物体Moと呼ぶ。
なお、図31において、雲形で描かれた線図の内側には、店舗40内でなく、店舗40外や店舗40のバックヤードの様子が描画されている。店舗40外には、サーバ1(図5)が設置されている。バックヤードでは、店員Mtが大型モニターの画面(図示せず)や情報端末9bの画面を通じて店舗30内を監視している。
実施形態4の商品認識システムは、図33に示すような構成を有している。
商品認識システムは、サーバ1と、売場装置3と、n台(nは任意の整数)の精算ゲート5−1乃至5−nと、を有している。なお、実施形態1及び2において採用したレジ端末2は、実施形態4において採用されない。
サーバ1と、売場装置3と、精算ゲート5−1乃至5−nとの夫々は、インターネット(Internet)回線等のネットワークNを介して相互に接続されている。
なお、説明の便宜上、図32のサーバ1は、1台しか描画されていないが、実際には複数台の場合もある。
また、以下、精算ゲート5−1乃至5−nを個々に区別する必要がない場合、これらをまとめて「精算ゲート5」と呼ぶ。
精算ゲート5は、精算機5aを用いた精算ゲート5−1、電子マネー等を利用する精算ゲート5−2、通過するだけで精算できる精算ゲート5−3に区分されている。
有人の精算レジ6以外の精算ゲート5−1〜5−3には、常時閉じている開閉部材(採番せず)が備えられていてもよい。
この精算機5aを用いた精算ゲート5−1にあっては、決済する人が、精算ボタンを押下すると、この押下がトリガーとなって後述する移動物体領域に紐づく商品情報が読み出され、精算金額が確定し、精算ゲート5−1を通過可能となる。開閉部材が備えられている場合は、開閉部材が開く。そして、決済する人が精算機5aによって決済すると、退店可能となる。
電子マネー等には、決済可能なICカードだけでなく、クレジットカード、いわゆるポイントカード、プリペイドカードなどの狭義のカードだけでなく、情報携帯端末も含まれるが、以下、各種カードとして説明する。
決済する人がこの精算ゲート5−2の精算エリア45に進入し、各種カードがカード読取部に読み取られると、後述する移動物体領域に紐づく商品情報が読み出され、精算及び決済が完了し、精算ゲート5−2を通過可能となる。
図33は、図32の商品認識システムのうち精算ゲート5のハードウェア構成を示すブロック図である。
精算ゲート5は、CPU501と、ROM502と、RAM503と、バス504と、入出力インターフェース505と、入力部506と、出力部507と、記憶部508と、通信部409と、を備えている。
サーバ1は、実施形態3のサーバ1と同様に構成されている。
売場装置3のCPU301においては、図35に示すように、個人認証部320と、移動物体追跡部330と、位置情報管理部340と、棚商品認識部360と、カゴ商品認識部370と、売買制限商品判定部380と、を備える。
個人認証部320と、移動物体追跡部330と、位置情報管理部340と、カゴ商品認識部370と、売買制限商品判定部380は、実施形態3と同様に構成されている。
天井カメラによる移動物体発見部3302は、天井カメラ310によって撮像された撮像画像に基づいて状態空間モデル(ベイジアンフィルタ等)を用いて移動物体Mo(買い物客、カゴ、カートなど)を発見する。
天井カメラによる移動物体領域定義部3304は、天井カメラによる移動物体発見部3302により発見された移動物体Moの領域を移動物体領域として定義する。天井カメラによる移動物体領域定義部3304は、移動物体Moを中心として、変化のあった領域を連続的に見つけることで、移動物体領域を定義する。即ち、天井カメラによる移動物体領域定義部3304は、発見した移動物体Moと、その移動物体Mo及びその移動物体Moの周辺のうち一定の範囲内を移動物体領域として定義する。
ここで、人を中心とした領域を人領域と呼ぶと、人領域は移動物体領域の下位概念となる。
また、カゴ類を中心とした領域をカゴ領域と呼ぶと、カゴ領域は移動物体領域の下位概念となる。
また、カートを中心とした領域をカート領域と呼ぶと、カート領域は移動物体領域の下位概念となる。
あるいは、天井カメラによる移動物体領域追跡部3305は、ベイジアンフィルタ、高速フーリエ変換、TLD(Tracking−Learning−Detection)等の画像内における物体追跡の技術を用いて、移動物体Moの移動を追跡する。
また、グルーピング部3308は、移動物体Mo同士の距離感(重なり、くっついている等)、移動方向(ベクトル)等の情報を用い、複数人をグルーピングしてもよい。
グルーピング部3308は、人領域とカゴ領域・カート領域を紐づけてもよい。
このようにグルーピング部3308が機能することにより、精算ゲート5において、一人によって精算することができる。
さらに、天井カメラによる受け渡された商品特定部が受け渡された物体が、物体領域定義後の画像から、読み込まれた受け渡しを行った移動物体Moに紐づく商品リストのうちいずれの商品かを特定し、天井カメラによる移動物体領域間受け渡し認識部3311で特定した各移動物体Moと、受け渡しで特定された商品を紐づけ、夫々の商品のリストを更新する。
天井カメラによる移動物体領域間受け渡し認識部3111は、ディープラーニング等の物体認識手法を用いて、買い物客(移動物体Mo)の動きを分析し、受け渡し認識してもよく、受け渡しの際に人領域の中の手を認識してもよく、受け渡しの認識は人領域(手を含んでも良い)間の重なりを認識してもよい。
天井カメラによる移動物体領域間受け渡し認識部3311は、天井カメラの代わりに、広範囲を撮像可能な棚カメラ等で実現されてもよい。
天井カメラによる移動物体領域間受け渡し認識部3311、天井カメラによる受け渡された物体認識部3312、天井カメラによる受け渡された商品特定部3313は、天井カメラの代わりに、広範囲を撮像可能な棚カメラ等で実現されてもよい。
棚商品認識部360は、図36に示す棚カメラによる物体認識部3602と、棚カメラによる商品特定部3603と、移動物体と商品紐づけ部3504と、移動物体と紐づく商品リスト管理部3606と、棚カメラによる物体入出検知部3608と、商品不特定判定部3609と、ラベル認識部3610と、値引きシール認識部3611と、を備えている。
入力制御部536は、ゲート本体に備えられた精算ボタンや情報読取部などの入力部506からの信号を入力する。
出力制御部437は、出力部507に精算金額を表示させたり、精算機5aに情報を出力したり、開閉部材を開閉させたりする。
また例えば、父親が財布を持って決済する場合において、同伴者である母親と子供に紐づく商品情報(商品のリスト)をも、グルーピングを活用し、父親が決済できるようにしてもよい。
また、移動物体Moにいずれの商品か特定できない物体(不特定の物体)が紐づいている場合も、年齢制限商品の際と同様の流れとなる。なお、この不特定の物体を、有人の精算レジ6において、店員Mtが対応し、商品を特定してもよい。
精算対象商品が売買制限限商品であったり、移動物体Moに不特定の物体が紐づいている場合は、上述の精算ゲート5−1と同じ動作となる。
精算ゲート5−3は、決済する人が精算ゲート5−3の精算エリア45に進入すると、エラーがない限り、自動精算され、精算ゲート5−3を通過可能となる。
精算対象商品が売買制限限商品であったり、移動物体Moに不特定の物体が紐づいている場合は、上述の精算ゲート5−1と同じ動作となる。
また、売買制限商品判定部380は、当該商品が売買制限商品であると判定した場合、売買制限商品である旨を提示する。また、売買制限商品判定部380は、個人認証から得られた個人情報から売買制限を行ってもよい。また、売買制限商品判定部380は、顔や手認識から年齢性別を推定し、売買制限を行ってもよい。
当然、店内の有人レジにてエラー状態を解除してもよく、店員Mt等がエラー状態の発生している場に赴きエラー状態を解除してもよい。
図37は、図34のサーバ1と売場装置3と精算ゲート5が実行する自動精算処理を説明するフローチャートである。
また、ステップS406に際して、天井カメラによる物体取得認識部が棚内等から移動物体Moが物体を取得したことを認識してもよい。
また、ステップS407に際して、ラベル認識部が、特定された商品に応じて紐づけされたラベルを認識してもよい。
また、ステップS407に際して、値引きシール認識部が、特定された商品に応じて、貼付された値引きシールを認識してもよい。
また、ステップS407に際して、天井カメラによる商品特定部が、天井カメラによる物体取得認識部が取得した物体領域について、いずれの商品かを特定してもよい。
ステップS410において、移動物体Moに紐づく商品情報に基づき、精算ゲート5が精算乃至決済する。
なお、ステップS410までの途中、又はステップS410の際に、エラー表示部151、情報端末9a、情報端末9bや精算ゲート5の出力部507が、何かしらのエラー状態を店員等に通知してもよい。
また、ステップS410において、売買制限商品が移動物体Moに紐づいている場合、ゲートを開けずに閉じたままとし、エラー状態を表示してもよい。
本発明は、上述の実施形態に限定されるものでなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本情報処理システムは、棚在庫管理機能を備えてもよい。棚在庫管理機能は、店員判別手段と在庫情報更新手段とを備える。
店員判別手段は、店員と買い物客とを判別する。例えば、店員判別部は、店員を識別できる物理的なマーカーを帽子や服など、店員が身に着けているものに付与する。この物理的なマーカーを天井カメラ及び棚カメラが撮像することで、店員を判別する。この店員判別手段は、特に実施形態3,4において有効に利用することができる。
在庫情報の更新手段は、商品が購入された場合に、当該商品が存在する棚の在庫及び店舗全体の在庫情報を更新する。
在庫情報の更新手段は、棚の在庫及び店舗全体の在庫情報を管理し、在庫数が閾値を下回ると、遠隔操作部に通知する、又は自動発注する。
また、図示したハードウェア構成やブロック図は、本発明の目的を達成するための例示に過ぎず、本発明は図示された例に限定されない。
また、機能ブロックの存在場所は、図示されたものに限定されず、任意でよい。例えば、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらを組み合せで構成してもよい。各機能ブロックの処理をソフトウェアにより実行される場合には、そのソフトウェアを構成するプログラムがコンピュータ等にネットワークや記録媒体からインストールされる。
また、実施形態1において説明した売買制限商品の処理は、実施形態2乃至4においても適用することができる。ただし、実施形態2での売買制限商品は、年齢制限商品に適用される。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものである。
2,2−1,2−n・・・レジ端末
3・・・売場装置
4・・・精算機
5,5−1,5−2,5−3・・・精算ゲート
10・・・店舗
11・・・出入口
14,23・・・棚ラック
15,24・・・通路
22・・・出入口
101,201,301・・・CPU
108・・・記憶部
109,213,315・・・通信部
131・・・商品DB
141・・・DB管理部
151・・・エラー表示部
208・・・照明部
210・・・提示部
211・・・レジカメラ
235・・・商品特定部
236・・・売買制限商品判定部
241・・・DB情報保持部
270・・・囲繞部
276・・・プレート
310・・・天井カメラ
311・・・棚カメラ
312・・・カゴカメラ
320・・・個人認証部
330・・・移動物体追跡部
3302・・・天井カメラによる移動物体発見部
3303・・・天井カメラによるカゴ発見部
3304・・・天井カメラによる移動物体領域追跡部
3305・・・天井カメラによる移動物体領域定義部
3306・・・天井カメラによるカゴ領域定義部
3307・・・天井カメラによるカゴ領域追跡部
3308・・・グルーピング部
3309・・・血縁関係判定部
340・・・位置情報管理部
341・・・カメラ間情報受け渡し部
342・・・各カメラの位置定義部
350・・・冊数カウント部
351・・・冊数認識部
352・・・人と冊数紐づけ部
354・・・冊数不特定判定部
355・・・人から人への受け渡し認識部
360・・・棚商品認識部
3602・・・棚カメラによる物体認識部
3603・・・棚カメラによる商品特定部
3609・・・商品不特定判定部
3610・・・ラベル認識部
3612・・・棚カメラ又は天井カメラによるカゴ入出検知部
370・・・カゴ商品認識部
372・・・カゴ入出検知部
373・・・カゴカメラによる物体認識部
374・・・カゴカメラによる商品特定部
375・・・カゴ商品の不特定判定部
376・・・カゴ商品のラベル認識部
377・・・カゴ商品の値引きシール認識部
380・・・売買制限商品判定部
390・・・遠隔操作部
Mo・・・移動物体
Claims (1)
- 店舗内を移動する買い物客やカゴ類等の移動物体を発見し、当該移動物体を領域定義し、前記移動物体の動きを追跡し続けながら撮像する移動物体追跡制御手段と、
店舗内の棚内の状態を常時、撮像し、棚内から商品が取り出された前後の画像及び棚内に商品が戻し置かれた前後の画像を比較し、認識される対象の商品を画像から領域定義し、当該定義された画像領域から商品を特定する棚商品認識制御手段と、
特定された前記商品を精算する精算手段と、
を備える情報処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016037532 | 2016-02-29 | ||
JP2016037532 | 2016-02-29 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017157216A true JP2017157216A (ja) | 2017-09-07 |
JP2017157216A5 JP2017157216A5 (ja) | 2020-04-16 |
JP6968399B2 JP6968399B2 (ja) | 2021-11-17 |
Family
ID=59744106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017037792A Active JP6968399B2 (ja) | 2016-02-29 | 2017-02-28 | 情報処理システム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11030604B2 (ja) |
EP (2) | EP3422309A4 (ja) |
JP (1) | JP6968399B2 (ja) |
CN (1) | CN108780596B (ja) |
SG (1) | SG11201807291PA (ja) |
WO (1) | WO2017150590A1 (ja) |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107578291A (zh) * | 2017-09-15 | 2018-01-12 | 泾县麦蓝网络技术服务有限公司 | 一种货物配送服务提供方法和系统 |
CN107705129A (zh) * | 2017-09-15 | 2018-02-16 | 泾县麦蓝网络技术服务有限公司 | 一种应用于实体零售店的购物结算方法和系统 |
CN108171496A (zh) * | 2017-12-01 | 2018-06-15 | 运鼎科技(北京)有限公司 | 一种购物关联方法、服务器及系统 |
JP2019079153A (ja) * | 2017-10-20 | 2019-05-23 | ソフトバンク株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム及び物品提供システム |
JP2019117473A (ja) * | 2017-12-26 | 2019-07-18 | トヨタ自動車株式会社 | 車両用決済システム |
WO2019151068A1 (ja) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | 情報処理方法、情報処理装置、および記録媒体 |
CN110135439A (zh) * | 2019-05-09 | 2019-08-16 | 上海木木聚枞机器人科技有限公司 | 一种自动识别货架的方法及装置、移动机器人 |
JP2019145054A (ja) * | 2018-02-23 | 2019-08-29 | ソフトバンク株式会社 | 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム |
CN110223144A (zh) * | 2019-05-31 | 2019-09-10 | 北京百度网讯科技有限公司 | 无人购物的信息处理系统及方法、计算机设备及可读介质 |
WO2019171572A1 (ja) * | 2018-03-09 | 2019-09-12 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
WO2020023795A1 (en) * | 2018-07-26 | 2020-01-30 | Standard Cognition, Corp. | Realtime inventory tracking using deep learning |
WO2020023798A1 (en) * | 2018-07-26 | 2020-01-30 | Standard Cognition, Corp. | Deep learning-based store realograms |
KR20200037833A (ko) * | 2017-12-18 | 2020-04-09 | 상하이 클라우드픽 스마트 테크놀로지 컴퍼니 리미티드 | 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법 |
WO2020075837A1 (ja) * | 2018-10-12 | 2020-04-16 | サインポスト株式会社 | 情報処理システム |
JP2020060889A (ja) * | 2018-10-09 | 2020-04-16 | 東芝テック株式会社 | 無人店舗システムおよびサーバ |
JP2020061164A (ja) * | 2019-11-27 | 2020-04-16 | サインポスト株式会社 | 情報処理システム |
JP2020077275A (ja) * | 2018-11-09 | 2020-05-21 | グローリー株式会社 | 商品決済システム、商品運搬カート及び商品決済方法 |
US10853965B2 (en) | 2017-08-07 | 2020-12-01 | Standard Cognition, Corp | Directional impression analysis using deep learning |
JP2021511599A (ja) * | 2018-02-26 | 2021-05-06 | 合肥美的智能科技有限公司Hefei Midea Intelligent Technologies Co.,Ltd. | 無人販売機器、販売方法及び無人販売システム |
JP2021081892A (ja) * | 2019-11-18 | 2021-05-27 | 株式会社デンソーウェーブ | 決済システム |
US11023850B2 (en) | 2017-08-07 | 2021-06-01 | Standard Cognition, Corp. | Realtime inventory location management using deep learning |
JP2021515333A (ja) * | 2018-03-02 | 2021-06-17 | 北京京▲東▼尚科信息技▲術▼有限公司Beijing Jingdong Shangke Information Technology Co., Ltd. | ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システム |
JPWO2021125357A1 (ja) * | 2019-12-19 | 2021-06-24 | ||
JP2021124894A (ja) * | 2020-02-04 | 2021-08-30 | Necプラットフォームズ株式会社 | 商品登録装置、精算システム、精算方法及び精算プログラム |
US11195146B2 (en) | 2017-08-07 | 2021-12-07 | Standard Cognition, Corp. | Systems and methods for deep learning-based shopper tracking |
US11200692B2 (en) | 2017-08-07 | 2021-12-14 | Standard Cognition, Corp | Systems and methods to check-in shoppers in a cashier-less store |
JP2022500783A (ja) * | 2018-09-21 | 2022-01-04 | ポジション イメージング, インコーポレイテッドPosition Imaging, Inc. | 機械学習支援による自己改善型オブジェクト識別システム及び方法 |
JP2022508808A (ja) * | 2018-10-20 | 2022-01-19 | ザ・ノーダム・グループ・エルエルシー | ニューラル自動販売機 |
US11232687B2 (en) | 2017-08-07 | 2022-01-25 | Standard Cognition, Corp | Deep learning-based shopper statuses in a cashier-less store |
US11232575B2 (en) | 2019-04-18 | 2022-01-25 | Standard Cognition, Corp | Systems and methods for deep learning-based subject persistence |
US11250376B2 (en) | 2017-08-07 | 2022-02-15 | Standard Cognition, Corp | Product correlation analysis using deep learning |
US11295270B2 (en) | 2017-08-07 | 2022-04-05 | Standard Cognition, Corp. | Deep learning-based store realograms |
US11303853B2 (en) | 2020-06-26 | 2022-04-12 | Standard Cognition, Corp. | Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout |
JP2022069468A (ja) * | 2018-03-09 | 2022-05-11 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
US11361468B2 (en) | 2020-06-26 | 2022-06-14 | Standard Cognition, Corp. | Systems and methods for automated recalibration of sensors for autonomous checkout |
US11538186B2 (en) | 2017-08-07 | 2022-12-27 | Standard Cognition, Corp. | Systems and methods to check-in shoppers in a cashier-less store |
JP2023007363A (ja) * | 2021-06-30 | 2023-01-18 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
WO2023175765A1 (ja) * | 2022-03-16 | 2023-09-21 | 日本電気株式会社 | 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体 |
JP7416594B2 (ja) | 2019-09-24 | 2024-01-17 | 東芝テック株式会社 | 店舗管理装置、店舗管理システム及び店舗管理方法 |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
US11216905B2 (en) * | 2016-12-27 | 2022-01-04 | Fordaq SA | Automatic detection, counting, and measurement of lumber boards using a handheld device |
US10586321B2 (en) * | 2016-12-27 | 2020-03-10 | Fordaq SA | Automatic detection, counting, and measurement of lumber boards using a handheld device |
JP7130355B2 (ja) * | 2017-03-06 | 2022-09-05 | 東芝テック株式会社 | チェック装置、及びチェックプログラム |
WO2018179361A1 (ja) * | 2017-03-31 | 2018-10-04 | 日本電気株式会社 | 画像処理装置、画像処理方法、および記録媒体 |
US11080976B2 (en) * | 2017-06-15 | 2021-08-03 | Ncr Corporation | Real time bypass detection in scanner |
CN107833083B (zh) * | 2017-09-25 | 2020-09-04 | 阿里巴巴集团控股有限公司 | 一种货物订单处理方法、装置、服务器、购物终端及系统 |
JP6961443B2 (ja) * | 2017-09-29 | 2021-11-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN107705317A (zh) * | 2017-09-30 | 2018-02-16 | 石道松 | 基于视觉跟踪识别的控制系统 |
CN107782316B (zh) * | 2017-11-01 | 2019-07-12 | 北京旷视科技有限公司 | 目标对象的轨迹确定方法、装置及系统 |
EP3483780A1 (en) * | 2017-11-10 | 2019-05-15 | Skidata Ag | Classification and identification systems and methods |
JP7049809B2 (ja) * | 2017-11-10 | 2022-04-07 | 東芝テック株式会社 | 情報提供装置及びプログラム |
CN108051777B (zh) * | 2017-12-01 | 2020-06-02 | 北京迈格威科技有限公司 | 目标的追踪方法、装置及电子设备 |
US11562614B2 (en) * | 2017-12-25 | 2023-01-24 | Yi Tunnel (Beijing) Technology Co., Ltd. | Method, a device and a system for checkout |
JP7327458B2 (ja) * | 2018-03-09 | 2023-08-16 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
WO2019171573A1 (ja) * | 2018-03-09 | 2019-09-12 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
FR3081587A1 (fr) * | 2018-05-28 | 2019-11-29 | Comerso | Procede de valorisation des produits non conformes |
SE543102C2 (en) * | 2018-06-20 | 2020-10-06 | Itab Scanflow Ab | An automatic in-store registration system |
US11394927B2 (en) | 2018-07-16 | 2022-07-19 | Accel Robotics Corporation | Store device network that transmits power and data through mounting fixtures |
US10535146B1 (en) * | 2018-07-16 | 2020-01-14 | Accel Robotics Corporation | Projected image item tracking system |
US11069070B2 (en) | 2018-07-16 | 2021-07-20 | Accel Robotics Corporation | Self-cleaning autonomous store |
US11106941B2 (en) | 2018-07-16 | 2021-08-31 | Accel Robotics Corporation | System having a bar of relocatable distance sensors that detect stock changes in a storage area |
CA3109571A1 (en) | 2018-07-16 | 2020-01-23 | Accel Robotics Corporation | Autonomous store tracking system |
US10909694B2 (en) | 2018-07-16 | 2021-02-02 | Accel Robotics Corporation | Sensor bar shelf monitor |
US11176686B2 (en) * | 2019-10-25 | 2021-11-16 | 7-Eleven, Inc. | Image-based action detection using contour dilation |
US10891586B1 (en) | 2018-11-23 | 2021-01-12 | Smart Supervision System LLC | Systems and methods of detecting, identifying and classifying objects positioned on a surface |
US10805556B1 (en) * | 2019-01-22 | 2020-10-13 | Amazon Technologies, Inc. | Storage units with shifted-lens cameras |
US11558539B2 (en) | 2019-03-13 | 2023-01-17 | Smart Supervision System LLC | Systems and methods of detecting and identifying an object |
CN109948515B (zh) * | 2019-03-15 | 2022-04-15 | 百度在线网络技术(北京)有限公司 | 物体的类别识别方法和装置 |
CN109977826B (zh) * | 2019-03-15 | 2021-11-02 | 百度在线网络技术(北京)有限公司 | 物体的类别识别方法和装置 |
JP7408300B2 (ja) * | 2019-06-04 | 2024-01-05 | 東芝テック株式会社 | 店舗管理装置、電子レシートシステム及び制御プログラム |
JP2019204551A (ja) * | 2019-08-26 | 2019-11-28 | 東芝テック株式会社 | サーバ装置、サーバ装置の制御プログラム、及びサーバ装置の制御方法 |
JP2021077096A (ja) * | 2019-11-08 | 2021-05-20 | 東芝テック株式会社 | 取引処理システム、取引支援装置、情報処理プログラム及び取引処理方法 |
CN112926617A (zh) * | 2019-12-06 | 2021-06-08 | 顺丰科技有限公司 | 包装变更检测方法、装置、云端计算机设备和存储介质 |
US11521248B2 (en) * | 2019-12-13 | 2022-12-06 | AiFi Inc. | Method and system for tracking objects in an automated-checkout store based on distributed computing |
US20210248889A1 (en) * | 2020-02-06 | 2021-08-12 | Toshiba Tec Kabushiki Kaisha | Article display system |
JP7483400B2 (ja) * | 2020-02-18 | 2024-05-15 | 京セラ株式会社 | 情報処理システム、情報処理装置、情報処理方法 |
US11049170B1 (en) * | 2020-03-15 | 2021-06-29 | Inokyo, Inc. | Checkout flows for autonomous stores |
JP7444652B2 (ja) * | 2020-03-17 | 2024-03-06 | 東芝テック株式会社 | 商品管理装置及び商品管理システム |
JP7314091B2 (ja) * | 2020-03-31 | 2023-07-25 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
CN111488564B (zh) * | 2020-04-13 | 2023-07-18 | 佛山职业技术学院 | 一种基于nfc的显示方法、系统及互动墙 |
CN111507401A (zh) * | 2020-04-16 | 2020-08-07 | 四川博源科技有限责任公司 | 基于人脸识别终端的柜台业务处理系统和方法 |
DE102020205699A1 (de) * | 2020-05-06 | 2021-11-11 | Robert Bosch Gesellschaft mit beschränkter Haftung | Überwachungsanlage, Verfahren, Computerprogramm, Speichermedium und Überwachungseinrichtung |
US11216793B2 (en) | 2020-05-29 | 2022-01-04 | Zebra Technologies Corporation | Self-checkout kiosk |
JP7438879B2 (ja) * | 2020-07-22 | 2024-02-27 | 東芝テック株式会社 | システム、棚装置およびカートpos |
US11829990B2 (en) * | 2020-09-11 | 2023-11-28 | Sensormatic Electronics, LLC | Method and system for self-checkout in a retail environment |
CN112529127B (zh) * | 2020-12-16 | 2022-03-15 | 上海阿法迪智能数字科技股份有限公司 | 图书自动盘点装置和方法 |
CN112700312A (zh) * | 2021-03-24 | 2021-04-23 | 浙江口碑网络技术有限公司 | 物品对象的结算方法、服务器、客户端及系统 |
US20230005267A1 (en) * | 2021-06-30 | 2023-01-05 | Fujitsu Limited | Computer-readable recording medium, fraud detection method, and fraud detection apparatus |
JP7318683B2 (ja) * | 2021-07-30 | 2023-08-01 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
JP7318684B2 (ja) * | 2021-07-30 | 2023-08-01 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
JP7318680B2 (ja) * | 2021-07-30 | 2023-08-01 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
JP2023121485A (ja) * | 2022-02-21 | 2023-08-31 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
JP2023122059A (ja) * | 2022-02-22 | 2023-09-01 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
US20240095718A1 (en) * | 2022-09-20 | 2024-03-21 | Amazon Technologies, Inc. | Customized retail environments |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012174154A (ja) * | 2011-02-24 | 2012-09-10 | Fujitsu Frontech Ltd | 在庫状況管理方法および在庫状況管理装置 |
JP2015001879A (ja) * | 2013-06-17 | 2015-01-05 | キヤノン株式会社 | 情報処理装置、情報処理システム及びプログラム |
JP5704279B1 (ja) * | 2014-10-14 | 2015-04-22 | 富士ゼロックス株式会社 | 関連付プログラム及び情報処理装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6236736B1 (en) | 1997-02-07 | 2001-05-22 | Ncr Corporation | Method and apparatus for detecting movement patterns at a self-service checkout terminal |
JP2000123086A (ja) * | 1998-10-16 | 2000-04-28 | Nippon Signal Co Ltd:The | 電子決済システム |
JP2001076261A (ja) | 1999-08-31 | 2001-03-23 | Hitachi Ltd | セルフレジシステム |
US8448858B1 (en) * | 2004-06-21 | 2013-05-28 | Stoplift, Inc. | Method and apparatus for detecting suspicious activity using video analysis from alternative camera viewpoint |
US8494909B2 (en) | 2009-02-09 | 2013-07-23 | Datalogic ADC, Inc. | Automatic learning in a merchandise checkout system with visual recognition |
US10438194B2 (en) * | 2009-10-27 | 2019-10-08 | Ncr Corporation | Methods and apparatus for stored value token creation |
JP5614370B2 (ja) * | 2011-05-23 | 2014-10-29 | 富士通株式会社 | 取引承認システム、および取引承認方法 |
US9129277B2 (en) * | 2011-08-30 | 2015-09-08 | Digimarc Corporation | Methods and arrangements for identifying objects |
ES2413905B1 (es) * | 2011-12-30 | 2014-08-14 | Antonio RIBAS PAÑELLA | Procedimiento para transportar personas salvando un desnivel con pendiente, y dispositivo correspondiente |
US9183583B2 (en) * | 2013-05-13 | 2015-11-10 | A9.Com, Inc. | Augmented reality recommendations |
US10290031B2 (en) * | 2013-07-24 | 2019-05-14 | Gregorio Reid | Method and system for automated retail checkout using context recognition |
US9473747B2 (en) * | 2013-07-25 | 2016-10-18 | Ncr Corporation | Whole store scanner |
US10129507B2 (en) | 2014-07-15 | 2018-11-13 | Toshiba Global Commerce Solutions Holdings Corporation | System and method for self-checkout using product images |
JP7060230B2 (ja) * | 2016-01-21 | 2022-04-26 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
-
2017
- 2017-02-28 EP EP17760054.1A patent/EP3422309A4/en not_active Withdrawn
- 2017-02-28 CN CN201780013708.2A patent/CN108780596B/zh active Active
- 2017-02-28 SG SG11201807291PA patent/SG11201807291PA/en unknown
- 2017-02-28 JP JP2017037792A patent/JP6968399B2/ja active Active
- 2017-02-28 WO PCT/JP2017/008032 patent/WO2017150590A1/ja active Application Filing
- 2017-02-28 US US16/079,386 patent/US11030604B2/en active Active
- 2017-02-28 EP EP20191318.3A patent/EP3761281A1/en active Pending
-
2021
- 2021-05-27 US US17/332,207 patent/US20210304176A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012174154A (ja) * | 2011-02-24 | 2012-09-10 | Fujitsu Frontech Ltd | 在庫状況管理方法および在庫状況管理装置 |
JP2015001879A (ja) * | 2013-06-17 | 2015-01-05 | キヤノン株式会社 | 情報処理装置、情報処理システム及びプログラム |
JP5704279B1 (ja) * | 2014-10-14 | 2015-04-22 | 富士ゼロックス株式会社 | 関連付プログラム及び情報処理装置 |
Cited By (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11200692B2 (en) | 2017-08-07 | 2021-12-14 | Standard Cognition, Corp | Systems and methods to check-in shoppers in a cashier-less store |
US10853965B2 (en) | 2017-08-07 | 2020-12-01 | Standard Cognition, Corp | Directional impression analysis using deep learning |
US11023850B2 (en) | 2017-08-07 | 2021-06-01 | Standard Cognition, Corp. | Realtime inventory location management using deep learning |
US11195146B2 (en) | 2017-08-07 | 2021-12-07 | Standard Cognition, Corp. | Systems and methods for deep learning-based shopper tracking |
US11538186B2 (en) | 2017-08-07 | 2022-12-27 | Standard Cognition, Corp. | Systems and methods to check-in shoppers in a cashier-less store |
US11544866B2 (en) | 2017-08-07 | 2023-01-03 | Standard Cognition, Corp | Directional impression analysis using deep learning |
US11270260B2 (en) | 2017-08-07 | 2022-03-08 | Standard Cognition Corp. | Systems and methods for deep learning-based shopper tracking |
US11810317B2 (en) | 2017-08-07 | 2023-11-07 | Standard Cognition, Corp. | Systems and methods to check-in shoppers in a cashier-less store |
US11295270B2 (en) | 2017-08-07 | 2022-04-05 | Standard Cognition, Corp. | Deep learning-based store realograms |
US11250376B2 (en) | 2017-08-07 | 2022-02-15 | Standard Cognition, Corp | Product correlation analysis using deep learning |
US11232687B2 (en) | 2017-08-07 | 2022-01-25 | Standard Cognition, Corp | Deep learning-based shopper statuses in a cashier-less store |
CN107705129A (zh) * | 2017-09-15 | 2018-02-16 | 泾县麦蓝网络技术服务有限公司 | 一种应用于实体零售店的购物结算方法和系统 |
CN107578291A (zh) * | 2017-09-15 | 2018-01-12 | 泾县麦蓝网络技术服务有限公司 | 一种货物配送服务提供方法和系统 |
JP2019079153A (ja) * | 2017-10-20 | 2019-05-23 | ソフトバンク株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理装置の制御プログラム及び物品提供システム |
CN108171496A (zh) * | 2017-12-01 | 2018-06-15 | 运鼎科技(北京)有限公司 | 一种购物关联方法、服务器及系统 |
KR102454854B1 (ko) * | 2017-12-18 | 2022-10-14 | 상하이 클라우드픽 스마트 테크놀로지 컴퍼니 리미티드 | 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법 |
US11501523B2 (en) | 2017-12-18 | 2022-11-15 | Shanghai Cloudpick Smart Technology Co., Ltd. | Goods sensing system and method for goods sensing based on image monitoring |
JP7078275B2 (ja) | 2017-12-18 | 2022-05-31 | 上海云拿智能科技有限公司 | 映像モニタリングに基づく商品検知システムおよび商品検知方法 |
KR20200037833A (ko) * | 2017-12-18 | 2020-04-09 | 상하이 클라우드픽 스마트 테크놀로지 컴퍼니 리미티드 | 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법 |
JP2021511554A (ja) * | 2017-12-18 | 2021-05-06 | 上海云拿智能科技有限公司Shanghai Cloudpick Smart Technology Co., Ltd. | 映像モニタリングに基づく商品検知システムおよび商品検知方法 |
EP3745296A4 (en) * | 2017-12-18 | 2021-03-24 | Shanghai Cloudpick Smart Technology Co., Ltd. | PRODUCT DETECTION SYSTEM BASED ON IMAGE MONITORING AND PRODUCT DETECTION METHOD |
JP2019117473A (ja) * | 2017-12-26 | 2019-07-18 | トヨタ自動車株式会社 | 車両用決済システム |
US11574294B2 (en) | 2018-01-31 | 2023-02-07 | Nec Corporation | Information processing method, information processing device, and recording medium |
JP7135329B2 (ja) | 2018-01-31 | 2022-09-13 | 日本電気株式会社 | 情報処理方法、情報処理装置、および情報処理プログラム |
JP2019133431A (ja) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | 情報処理方法、情報処理装置、および情報処理プログラム |
WO2019151068A1 (ja) * | 2018-01-31 | 2019-08-08 | 日本電気株式会社 | 情報処理方法、情報処理装置、および記録媒体 |
JP2019145054A (ja) * | 2018-02-23 | 2019-08-29 | ソフトバンク株式会社 | 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム |
JP2021511599A (ja) * | 2018-02-26 | 2021-05-06 | 合肥美的智能科技有限公司Hefei Midea Intelligent Technologies Co.,Ltd. | 無人販売機器、販売方法及び無人販売システム |
JP2021515333A (ja) * | 2018-03-02 | 2021-06-17 | 北京京▲東▼尚科信息技▲術▼有限公司Beijing Jingdong Shangke Information Technology Co., Ltd. | ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システム |
JP7311524B2 (ja) | 2018-03-02 | 2023-07-19 | 北京京▲東▼尚科信息技▲術▼有限公司 | ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システム |
US11430047B2 (en) | 2018-03-09 | 2022-08-30 | Nec Corporation | Self-checkout system, purchased product management method, and purchased product management program |
JP2022069468A (ja) * | 2018-03-09 | 2022-05-11 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
JPWO2019171572A1 (ja) * | 2018-03-09 | 2021-02-04 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
WO2019171572A1 (ja) * | 2018-03-09 | 2019-09-12 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
JP7040596B2 (ja) | 2018-03-09 | 2022-03-23 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
JP7315046B2 (ja) | 2018-03-09 | 2023-07-26 | 日本電気株式会社 | セルフレジシステム、購入商品管理方法および購入商品管理プログラム |
WO2020023798A1 (en) * | 2018-07-26 | 2020-01-30 | Standard Cognition, Corp. | Deep learning-based store realograms |
WO2020023795A1 (en) * | 2018-07-26 | 2020-01-30 | Standard Cognition, Corp. | Realtime inventory tracking using deep learning |
JP2022500783A (ja) * | 2018-09-21 | 2022-01-04 | ポジション イメージング, インコーポレイテッドPosition Imaging, Inc. | 機械学習支援による自己改善型オブジェクト識別システム及び方法 |
US11961279B2 (en) | 2018-09-21 | 2024-04-16 | Position Imaging, Inc. | Machine-learning-assisted self-improving object-identification system and method |
US11763567B2 (en) * | 2018-10-09 | 2023-09-19 | Toshiba Tec Kabushiki Kaisha | Automated store system and server |
JP2020060889A (ja) * | 2018-10-09 | 2020-04-16 | 東芝テック株式会社 | 無人店舗システムおよびサーバ |
US20220284709A1 (en) * | 2018-10-09 | 2022-09-08 | Toshiba Tec Kabushiki Kaisha | Automated store system and server |
JP7267709B2 (ja) | 2018-10-09 | 2023-05-02 | 東芝テック株式会社 | 無人店舗システムおよびサーバ |
WO2020075837A1 (ja) * | 2018-10-12 | 2020-04-16 | サインポスト株式会社 | 情報処理システム |
JP2020061044A (ja) * | 2018-10-12 | 2020-04-16 | サインポスト株式会社 | 情報処理システム |
JP2022508808A (ja) * | 2018-10-20 | 2022-01-19 | ザ・ノーダム・グループ・エルエルシー | ニューラル自動販売機 |
JP2020077275A (ja) * | 2018-11-09 | 2020-05-21 | グローリー株式会社 | 商品決済システム、商品運搬カート及び商品決済方法 |
JP7181766B2 (ja) | 2018-11-09 | 2022-12-01 | グローリー株式会社 | 商品決済システム、商品運搬カート及び商品決済方法 |
US11232575B2 (en) | 2019-04-18 | 2022-01-25 | Standard Cognition, Corp | Systems and methods for deep learning-based subject persistence |
US11948313B2 (en) | 2019-04-18 | 2024-04-02 | Standard Cognition, Corp | Systems and methods of implementing multiple trained inference engines to identify and track subjects over multiple identification intervals |
CN110135439B (zh) * | 2019-05-09 | 2021-05-04 | 上海木木聚枞机器人科技有限公司 | 一种自动识别货架的方法及装置、移动机器人 |
CN110135439A (zh) * | 2019-05-09 | 2019-08-16 | 上海木木聚枞机器人科技有限公司 | 一种自动识别货架的方法及装置、移动机器人 |
CN110223144A (zh) * | 2019-05-31 | 2019-09-10 | 北京百度网讯科技有限公司 | 无人购物的信息处理系统及方法、计算机设备及可读介质 |
JP7416594B2 (ja) | 2019-09-24 | 2024-01-17 | 東芝テック株式会社 | 店舗管理装置、店舗管理システム及び店舗管理方法 |
JP7276089B2 (ja) | 2019-11-18 | 2023-05-18 | 株式会社デンソーウェーブ | 決済システム |
JP2021081892A (ja) * | 2019-11-18 | 2021-05-27 | 株式会社デンソーウェーブ | 決済システム |
JP2020061164A (ja) * | 2019-11-27 | 2020-04-16 | サインポスト株式会社 | 情報処理システム |
JP7225434B2 (ja) | 2019-12-19 | 2023-02-20 | 株式会社Touch To Go | 情報処理システム |
JPWO2021125357A1 (ja) * | 2019-12-19 | 2021-06-24 | ||
WO2021125357A1 (ja) * | 2019-12-19 | 2021-06-24 | 株式会社Touch To Go | 情報処理システム |
JP2021124894A (ja) * | 2020-02-04 | 2021-08-30 | Necプラットフォームズ株式会社 | 商品登録装置、精算システム、精算方法及び精算プログラム |
US11361468B2 (en) | 2020-06-26 | 2022-06-14 | Standard Cognition, Corp. | Systems and methods for automated recalibration of sensors for autonomous checkout |
US11303853B2 (en) | 2020-06-26 | 2022-04-12 | Standard Cognition, Corp. | Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout |
US11818508B2 (en) | 2020-06-26 | 2023-11-14 | Standard Cognition, Corp. | Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout |
JP2023007363A (ja) * | 2021-06-30 | 2023-01-18 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
JP7318753B2 (ja) | 2021-06-30 | 2023-08-01 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
WO2023175765A1 (ja) * | 2022-03-16 | 2023-09-21 | 日本電気株式会社 | 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
EP3761281A1 (en) | 2021-01-06 |
US20190172039A1 (en) | 2019-06-06 |
EP3422309A4 (en) | 2020-02-26 |
CN108780596A (zh) | 2018-11-09 |
CN108780596B (zh) | 2022-01-25 |
WO2017150590A1 (ja) | 2017-09-08 |
JP6968399B2 (ja) | 2021-11-17 |
EP3422309A1 (en) | 2019-01-02 |
US11030604B2 (en) | 2021-06-08 |
US20210304176A1 (en) | 2021-09-30 |
SG11201807291PA (en) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6968399B2 (ja) | 情報処理システム | |
JP7093783B2 (ja) | 自動化買物環境における動的な顧客チェックアウト体験のためのシステム及び方法 | |
US11532161B2 (en) | Portable computing device installed in or mountable to a shopping cart | |
JP6653813B1 (ja) | 情報処理システム | |
RU2727084C1 (ru) | Устройство и способ определения информации о заказе | |
JP7225434B2 (ja) | 情報処理システム | |
US9589433B1 (en) | Self-checkout anti-theft device | |
JP6283806B2 (ja) | 情報処理システム | |
US10383461B2 (en) | System of control and identification of goods in a shop | |
JP2015106380A (ja) | セルフチェックアウト端末 | |
KR102120939B1 (ko) | 무인결제 시스템 및 방법 | |
JP6836256B2 (ja) | 情報処理システム | |
US20130338823A1 (en) | Vending system and method of selling commercial products | |
JP2023174863A (ja) | 情報処理装置、情報処理システム、情報処理プログラム、商品管理方法及び情報処理方法 | |
TWM570489U (zh) | 智慧商店購物系統 | |
JP2023162229A (ja) | 監視装置及びプログラム | |
TW202006628A (zh) | 智慧商店購物系統及使用其之購物方法 | |
EP4125019A1 (en) | Information processing program, information processing method, and information processing apparatus | |
WO2023187993A1 (ja) | 商品数特定装置、商品数特定方法、及び記録媒体 | |
JP2024037466A (ja) | 情報処理システム、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200228 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200228 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200722 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201119 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201119 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201201 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20201208 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20201225 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210106 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210209 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210413 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210810 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210907 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20211012 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211020 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6968399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |