JP2019101507A - 認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム - Google Patents

認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム Download PDF

Info

Publication number
JP2019101507A
JP2019101507A JP2017228448A JP2017228448A JP2019101507A JP 2019101507 A JP2019101507 A JP 2019101507A JP 2017228448 A JP2017228448 A JP 2017228448A JP 2017228448 A JP2017228448 A JP 2017228448A JP 2019101507 A JP2019101507 A JP 2019101507A
Authority
JP
Japan
Prior art keywords
container
product
transfer operation
state
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017228448A
Other languages
English (en)
Inventor
相田 和俊
Kazutoshi Aida
和俊 相田
昭仁 坂中
Akihito Sakanaka
昭仁 坂中
將高 江島
Shiyouko Ejima
將高 江島
木村 雅之
Masayuki Kimura
雅之 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017228448A priority Critical patent/JP2019101507A/ja
Priority to US16/200,921 priority patent/US20190164307A1/en
Priority to CN201811449324.8A priority patent/CN109840761A/zh
Publication of JP2019101507A publication Critical patent/JP2019101507A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/204Point-of-sale [POS] network systems comprising interface for record bearing medium or carrier for electronic funds transfer or payment credit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/208Input by product or record sensing, e.g. weighing or scanner processing
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0081Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being a portable scanner or data reader
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/0036Checkout procedures
    • G07G1/0045Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/009Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being an RFID reader
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30112Baggage; Luggage; Suitcase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】機械によって商品を容器から他の容器に移し替える作業に支障をきたしにくくすること。【解決手段】認識システム1は、認識部11と、判定部12と、を備える。認識部11は、商品8が収容される容器2内の状態を認識する。判定部12は、移し替え動作における認識部11の認識結果に基づいて、移し替え動作が正常であるか否かを判定する。移し替え動作は、商品8を移動させる移動機構(支持部311、ガイド部312、及び昇降部313)により商品8を容器2から袋(他の容器)10へ移し替える動作である。【選択図】図1

Description

本開示は、一般に認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラムに関する。より詳細には、本開示は、客による商品の購入を支援するための認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラムに関する。
特許文献1には、店舗における店員の無人化を狙ったシステム(POSシステム)が記載されている。特許文献1に記載されたシステムは、商品を収納するかごと、取引端末装置とから構成されている。かごは、商品情報(商品データ)を読み取るスキャナ、及び商品情報を外部に送信する送信回路を有している。取引端末装置は、商品情報を受信する受信回路、かごが収納した商品の重量を計量する計量器、及び商品情報に対応する重量データと計量器の計量値とを比較する制御部を有している。取引端末装置は、計量器の計量値が重量データの合計重量に一致した場合に、精算処理を行う。
特開平5−89364号公報
しかし、特許文献1に記載の構成では、かご(容器)に商品が入っている場合、精算処理後に、店舗の従業員(店員)又は客が商品を買物袋などの他の容器に移し替える必要がある。結果として、精算処理の開始から、商品が客に渡るまでに掛かる時間が長くなって、買物に掛かる時間の増加につながる可能性がある。
上記の問題を解決すべく、商品を容器から他の容器に移し替える作業を機械に実行させる場合、容器に商品が留まってしまう等して、上記の作業に支障をきたす可能性がある。
本開示は、上記の点に鑑みてなされており、機械によって商品を容器から他の容器に移し替える作業に支障をきたしにくい認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラムを提供することを目的とする。
本開示の一態様に係る認識システムは、認識部と、判定部と、を備える。前記認識部は、商品が収容される容器内の状態を認識する。前記判定部は、移し替え動作における前記認識部の認識結果に基づいて、前記移し替え動作が正常であるか否かを判定する。前記移し替え動作は、前記商品を移動させる移動機構により前記商品を前記容器から他の容器へ移し替える動作である。
本開示の一態様に係る収容システムは、上記の認識システムと、収容装置と、を備える。前記収容装置は、前記移し替え動作を行う。
本開示の一態様に係る買物支援システムは、上記の収容システムと、前記容器に収容された前記商品の販売処理を行うための販売システムと、を備える。
本開示の一態様に係る収容制御方法は、商品が収容される容器内の状態を認識する。また、前記収容制御方法は、移し替え動作における認識結果に基づいて、前記移し替え動作が正常であるか否かを判定する。前記移し替え動作は、前記商品を移動させる移動機構により前記商品を前記容器から他の容器へ移し替える動作である。また、前記収容制御方法は、判定結果に基づいて、前記移動機構を制御する。
本開示の一態様に係るプログラムは、コンピュータシステムに、認識処理と、判定処理と、収容制御処理と、を実行させるためのプログラムである。前記認識処理は、商品が収容される容器内の状態を認識する処理である。前記判定処理は、移し替え動作における認識結果に基づいて、前記移し替え動作が正常であるか否かを判定する処理である。前記移し替え動作は、前記商品を移動させる移動機構により前記商品を前記容器から他の容器へ移し替える動作である。前記収容制御処理は、前記判定処理での判定結果に基づいて、前記移動機構を制御する処理である。
本開示は、機械によって商品を容器から他の容器に移し替える作業に支障をきたしにくい、という利点がある。
図1は、本開示の一実施形態に係る認識システムを含む収容システムの概略構成を示す概念図である。 図2は、同上の収容システムを含む買物支援システムの概略構成を示すブロック図である。 図3は、同上の買物支援システムを適用したカウンタ台の外観斜視図である。 図4は、同上の認識システムの有する測距センサと容器との位置関係を示す概念図である。 図5A〜図5Cは、それぞれ同上の収容システムの有する収容装置の動作の説明図である。 図6A〜図6Cは、それぞれ同上の収容装置の動作の説明図である。 図7は、同上の認識システムの第1判定処理を説明するフローチャートである。 図8Aは、同上の第1判定処理において、商品が取出口に引っ掛からない場合の第1画像の一例を示す概念図である。図8Bは、同上の第1判定処理において、商品が取出口に引っ掛からない場合の第2画像の一例を示す概念図である。図8Cは、同上の第1判定処理において、商品が取出口に引っ掛かる場合の第1画像の一例を示す概念図である。図8Dは、同上の第1判定処理において、商品が取出口に引っ掛かる場合の第2画像の一例を示す概念図である。 図9は、同上の第1判定処理において、商品が取出口に引っ掛かる場合の収容装置の状態を示す断面図である。 図10は、同上の第1判定処理における是正の一例を示す概念図である。 図11は、同上の認識システムの第2判定処理を説明するフローチャートである。 図12Aは、同上の第2判定処理において、商品が容器内に留まらない場合の第3画像の一例を示す概念図である。図12Bは、同上の第2判定処理において、商品が容器内に留まる場合の第3画像の一例を示す概念図である。 図13は、同上の第2判定処理において、商品が容器内に留まる場合の収容装置の状態を示す断面図である。 図14は、同上の第2判定処理における是正の一例を示す概念図である。
(1)概要
本実施形態に係る認識システム1は、図1に示すように、移し替え動作を行う収容装置31と共に、商品8の移し替え動作を行う収容システム3を構成する。本開示でいう「移し替え動作」は、商品8を移動させる移動機構(後述する支持部311、ガイド部312、及び昇降部313)により、商品8を容器2から他の容器10へ移し替える動作である。本実施形態では、容器2は買物かごである。また、本実施形態では、他の容器10は、ポリエチレン製の袋体、いわゆる買物袋(又はレジ袋)である。以下、他の容器10は、「袋10」ともいう。「袋」は、商品8が入る大きさで、かつ商品8を出し入れするための袋口を有する袋であればよい。
収容システム3は、図2に示すように、販売システム4と共に、客の買物を支援するための買物支援システム100を構成する。言い換えれば、買物支援システム100は、収容システム3と、販売システム4と、を備えている。買物支援システム100は、例えばコンビニエンスストア、スーパーマーケット、百貨店、ドラッグストア、家電量販店、又はホームセンター等の小売店の店舗に導入される。
販売システム4は、容器2と直接又は間接的に通信可能であって、容器2に収容された商品8の販売処理を行うためのシステムである。ここでいう「販売処理」は、売主(店舗)から買主(客)に商品の所有権を移転し、これに対する対価(代金)を買主が売り主に支払う行為(売買)に必要な種々の処理を意味する。例えば、客が店内でピックアップした商品8の商品情報を取得する取得処理、及び客から購入を希望する商品8の指定を受け付ける注文処理等が、販売処理に含まれる。
このような買物支援システム100が導入された店舗では、客は、商品8を店内でピックアップして容器2に収容し、精算を行った後、自動的に袋10に収容された商品8を受け取る、という一連の処理で、商品8の購入を済ませることができる。したがって、買物支援システム100によれば、店員及び客の手間を軽減しつつ、例えば精算処理の開始から、商品8が客に渡るまでに掛かる時間を短縮でき、客の買物に掛かる時間を短縮できる。
認識システム1は、図1に示すように、認識部11と、判定部12と、を備えている。本実施形態では、認識システム1は、規定位置(本実施形態では、後述するカウンタ台7の凹所72の底面上)に置かれた容器2に対して用いられる。なお、認識システム1は、例えば店舗の入口付近に設定されている、かご置場にストックされている容器2に対しては用いられない。つまり、規定位置には、かご置場は含まれない。
認識部11は、商品8が収容される容器2内の状態を認識する。本開示でいう「容器内の状態」は、規定位置に置かれた容器2内に商品8が収容されている状態の他、規定位置に置かれた容器2内に商品8が収容されていない状態を含む。
判定部12は、移し替え動作における認識部11の認識結果に基づいて、移し替え動作が正常であるか否かを判定する。つまり、移し替え動作においては、容器2から他の容器10へと商品8が移し替えられるため、容器2の状態は、移し替え動作に伴って変化する。そして、商品8が滞りなく容器2から他の容器10へと正常に移し替えられる場合と、商品8が容器2内に留まる等して、商品8が容器2から他の容器10へと移し替えられる過程に異常が生じる場合とでは、容器2の状態が異なる。このため、判定部12は、移し替え動作における認識部11の認識結果、つまり移し替え動作における容器2の状態に基づいて、移し替え動作が正常であるか否かを判定することが可能である。
上述のように、本実施形態では、商品8が滞りなく容器2から他の容器10へと正常に移し替えられているか、及び商品8が容器2から他の容器10へと移し替えられる過程に異常が生じているか、を判定することが可能である。このため、本実施形態では、判定結果に基づいて、例えば移し替え動作に異常があれば、客又は店員などが移し替え動作を正常に行えるように是正することが可能である。したがって、本実施形態では、移し替え動作の正常・異常を判定しない場合と比較して、機械(ここでは、移動機構)による商品8を容器2から他の容器10に移し替える作業に支障をきたしにくい、という利点がある。
(2)詳細
以下、本実施形態に係る認識システム1、それを用いた収容システム3、及び買物支援システム100について詳細に説明する。本実施形態では、買物支援システム100が導入される店舗としてコンビニエンスストアを例に説明する。つまり、本開示でいう「ユーザ」は、コンビニエンスストアの客、及び/又はコンビニエンスストアの従業員(店員)である。
(2.1)買物支援システム
ここではまず、本実施形態に係る買物支援システム100の全体構成について説明する。買物支援システム100は、図2に示すように、容器2、認識システム1を含む収容システム3、販売システム4、及び精算システム5を備えている。ただし、容器2及び精算システム5が買物支援システム100の構成要素に含まれていることは必須ではない。容器2については、後述する「(2.2)容器」にて詳細に説明する。また、認識システム1及び収容システム3については、後述する「(2.3)収容システム」にて詳細に説明する。
販売システム4は、管理装置41、供給ユニット42、表示装置43、入力装置44、音声出力装置45、及び撮像装置46を有している。供給ユニット42、表示装置43、入力装置44、音声出力装置45、及び撮像装置46は、いずれも管理装置41の周辺装置であって、管理装置41に接続されている。
管理装置41は、容器2から送信された商品情報(後述する)を受信する。また、管理装置41は、精算処理を行う精算システム5に接続されている。さらに、管理装置41は、例えば、POS(Point Of Sales)端末からなる店舗端末と通信可能に構成されている。管理装置41は、容器2から受信した商品情報に基づいて、精算システム5での精算処理に必要な情報を精算システム5に送信する送信処理等、所定の処理を実行する。また、管理装置41は、収容システム3及び携帯端末6とも通信を行うことにより、これらを制御可能に構成されている。
精算システム5は、主構成となるコンピュータシステムと、現金の受け渡しを行う現金ユニット等の周辺機器とを含んでいる。精算システム5は、コンピュータシステムのメモリに記録されたプログラムを、コンピュータシステムのプロセッサで実行することにより、販売システム4から受け取った商品情報に基づいて、精算金額の計算等の精算処理を行う。精算システム5は、カードリーダ、及びレシートを発行するプリンタを有している。カードリーダでは、例えば決済に用いられるクレジットカード、電子マネー決済用のカード、携帯電話端末、会員カード及びポイントカード等の読み取りが可能である。レシートには、例えば明細や精算金額、購入日時などの情報が記入される。
本実施形態では、商品情報に対応する価格データは精算システム5に記憶されている。また、商品情報に対応する広告、割引情報、生産者情報、及びレシピ情報などの情報、さらには、客情報に対応する客の性別、年齢、嗜好、及び客の過去の購買履歴などについても、精算システム5、店舗サーバ又はセンタサーバに記憶されている。販売システム4に記憶されていないこれらの情報についても、販売システム4が精算システム5、店舗サーバ又はセンタサーバと通信することで、販売システム4にて利用可能である。
供給ユニット42は、特定商品(例えば煙草)を客に供給する装置である。表示装置43は、客に向けて各種の表示を行う装置である。入力装置44は、例えばジェスチャ検出等により、客の操作を受け付ける装置である。さらに、入力装置44は、マイクロホンを含み、マイクロホンから出力された音声信号に対して音声認識及び意味解析の処理を施す機能を有している。そのため、客においては音声による操作(音声入力)も可能である。音声出力装置45は、スピーカを含み、音声によって客に向けて各種の情報を提示する装置である。
つまり、販売システム4は、表示装置43、入力装置44及び音声出力装置45をユーザインタフェースとして用いることにより、表示又は音声によって各種の情報を客に提示したり、客の操作(音声入力を含む)を受け付けたりすることができる。ただし、販売システム4による情報の提示は、表示と音声との少なくとも一方で実現されればよく、表示と音声とのいずれか一方で実現されてもよいし、表示と音声との組み合わせで実現されてもよい。
一例として、販売システム4は、来客検知時及び精算処理の完了時に、「いらっしゃいませ。」、「ありがとうございました。」等のメッセージを客に提示することができる。これにより、客に対して、店員が接客するのに近い親近感を与えることができる。また、客は、例えば、入力装置44を操作して支払方法を選択し、表示装置43に表示される精算金額を支払うことにより精算を行う。さらに、販売システム4は、表示装置43及び音声出力装置45にて、買物支援システム100の利用手順を客に提示することも可能である。この場合に、表示装置43及び音声出力装置45は、例えば容器2が規定位置(カウンタ台7の凹所72の底面上)に置かれると、次にファストフード又は煙草等の購入の有無を確認するなど、順を追って、利用手順を説明することが好ましい。
また、撮像装置46は、客を撮像するカメラである。撮像装置46は、例えば、管理装置41及び携帯端末6と共に年齢確認システム9を構築する。言い換えれば、年齢確認システム9は、管理装置41と、撮像装置46と、携帯端末6と、を備えている。年齢確認システム9は、店員(確認者)による客(対象者)の年齢確認を支援するシステムである。
携帯端末6は店員によって携帯される端末である。携帯端末6は、電波を媒体とする無線通信により、管理装置41との間で双方向の通信が可能である。管理装置41は、年齢確認の対象となる対象者(客)を撮像した画像の画像データを含む要求信号を携帯端末6に送信する。携帯端末6は、受信した要求信号に含まれる画像データを用いて、対象者を撮像した画像を含む年齢確認画面を表示する。この状態において、確認者(店員)は、携帯端末6に表示されている年齢確認画面を見て対象者の年齢確認を行う。携帯端末6は、このようにして確認者が行った年齢確認の結果を確認者の操作として受け付けると、年齢確認の結果を含む応答信号を管理装置41に送信する。
(2.2)容器
次に、容器2について詳細に説明する。容器2は、買物かごであって、図1及び図3に示すように、かご本体201と、底板202と、を有し、商品8を収容する。かご本体201には、客が手に持つための一対の取っ手204が取り付けられている。また、かご本体201は、底面が開放されている。底板202は、かご本体201の底面(下開口部)を塞ぐ位置と開放する位置との間でスライド可能に構成されている。すなわち、底板202は、かご本体201の底面を開閉可能にかご本体201に取り付けられている。これにより、容器2内に収容された商品8を、かご本体201の底面から排出可能となる。
つまり、本実施形態では、かご本体201の底面は、移し替え動作において商品8を容器2から取り出すための開口(取出口)203である。そして、容器2は、底板202が開閉することにより、取出口203が開閉するように構成されている。
容器2は、図2に示すように、取得部21、送信部22、メモリ23、及びかご制御部24、を有している。
取得部21は、かご本体201に収容される商品8から商品情報を読み取って、商品8についての商品情報を取得する。本開示でいう「商品情報」は、商品8を識別するための情報(情報識別コード)であって、例えば日本国で用いられているJAN(Japanese Article Number)コード等である。この種の商品識別コードには、JANコードの他、欧州等で用いられているEAN(European Article Number)コード、及び米国等で用いられているUPC(Universal Product Code)等がある。取得部21は、例えばかご本体201の外側面から露出するように設けられている。取得部21は、バーコードリーダであって、商品8に付されたバーコードを光学的に読み取って、商品情報を取得する。したがって、客が、ピックアップした商品8を取得部21にかざしてから、かご本体201に収容すれば、かご本体201に収容された商品8については、取得部21で商品情報の取得が完了することになる。取得部21は、バーコードリーダに限らず、例えば二次元コードを読み取るリーダや、RFID(Radio Frequency Identification)から商品情報を非接触で読み取るタグリーダであってもよい。
また、取得部21は、例えば商品8の画像からも商品情報を読み取るように構成されていてもよい。この場合、取得部21は、かご本体201の内部又は外部にある商品8を撮像するイメージセンサを有する。取得部21は、商品8の画像に画像認識処理を施し、輪郭、色、テクスチャ情報などの特徴量を抽出し、商品8ごとに予め記憶されているテンプレートと照合することにより、商品情報を特定する。この場合においては、取得部21は、バーコードリーダで読み取った情報を、商品8の画像からの商品情報の読み取りの補助に用いることができる。あるいは、商品8の画像のみからでも商品情報の読み取りが十分に可能であれば、バーコードリーダは省略されていてもよい。
送信部22は、取得部21で取得された商品情報を、販売システム4に送信する。本実施形態では、送信部22は、販売システム4との間で双方向に通信を行う通信モジュールにて構成されている。送信部22は、赤外線又は可視光などの光を媒体とする光無線通信にて、販売システム4との通信を行う。送信部22は、かご本体201がカウンタ台7に置かれた状態で商品情報を送信するので、無線通信の中でも、とくに通信エリアの狭い近接場型の通信(近距離無線通信)を採用可能である。
メモリ23は、1以上の商品情報を記憶する。つまり、取得部21が商品情報を読み取る度に、この商品情報がメモリ23に記憶される。送信部22は、メモリ23に記憶されている1以上の商品情報を、一括して、又は複数のパケットに分割して販売システム4に送信する。本実施形態では、メモリ23には、取得部21が取得した商品情報と、個数(つまり取得部21が商品情報を取得した回数)の情報とが記憶される。例えば、1以上の商品情報が、「A」という商品8が2個と、「B」という商品8が1個の計3個の商品8についての商品情報である場合、メモリ23には「A」の商品情報及びその個数「2」と、「B」の商品情報及びその個数「1」とが記憶される。例えば、送信部22から販売システム4に対して1以上の商品情報が正常に送信されると、メモリ23に記憶されている商品情報は消去される。
かご制御部24は、マイクロコンピュータを主構成とし、マイクロコンピュータのメモ
リに記録されたプログラムを、マイクロコンピュータのプロセッサで実行することにより、取得部21等の各部の制御を行う。プログラムはメモリに予め記録されていてもよいし、インターネットなどの電気通信回線を通して提供されてもよく、メモリカードなどの記録媒体に記録されて提供されてもよい。
(2.3)収容システム
次に、収容システム3について詳細に説明する。収容システム3は、図2に示すように、収容装置31と、袋供給装置32と、認識システム1と、を備えている。
収容装置31は、容器2に入った状態の商品8について、商品8を容器2から袋10へ移し替える移し替え動作により、商品8を袋(他の容器)10に収容することが可能である。つまり、客は、店内でピックアップした商品8を容器2に入れ、規定位置(カウンタ台7の凹所72の底面上)に、商品8を容器2ごと置くことにより、収容装置31に商品8の移し替えを行わせることができる。したがって、客においては、移し替えのために商品8を容器2から取り出す必要がなく、収容装置31を用いた商品8の移し替えを簡単に行うことができる。容器2に複数の商品8が収容されている場合には、収容装置31は、これら複数の商品8を一括して移し替えることが可能である。
本実施形態では、客が精算システム5にて精算処理等を行っている間に、商品8の移し替えが行われるように、管理装置41が、販売システム4と連動させて収容システム3を制御する。例えば、収容システム3は、精算システム5で精算処理が開始したことをトリガにして、商品8の移し替えを開始する。
袋供給装置32は、収容装置31に袋10を供給する装置である。袋供給装置32は、複数枚の袋10をストックしている袋ストッカから、袋10を1枚ずつ取り出して、取り出した袋10を収容装置31に供給する。本実施形態では、収容装置31には常に1枚の袋10がセット(配置)されるように、管理装置41が、収容装置31と連動させて袋供給装置32を制御する。すなわち、収容装置31は、袋供給装置32から供給された1枚の袋10を使用して移し替えを行うように構成されており、収容装置31が1回の移し替えを行う度に、次回の移し替えに備えて新たな袋10が1枚ずつ、袋供給装置32から収容装置31に供給される。言い換えれば、袋供給装置32は、収容装置31で移し替えが完了したことをトリガにして、収容装置31への袋10の供給を開始する。
次に、収容装置31についてさらに詳しく説明する。収容装置31は、図1に示すように、支持部311と、ガイド部312と、昇降部313(駆動部)と、を有している。支持部311、ガイド部312、及び昇降部313は、商品8を移動させる移動機構を構成している。
支持部311は、矩形板状に形成されている。支持部311の上面は、商品8を載せるための載置面314を構成する。ここでは、載置面314は角部が丸く形成された長方形状である。
ガイド部312は、上面及び下面のうち少なくとも上面が開口した筒状に形成されている。本実施形態では、ガイド部312は、上面及び下面の両方が開口した角筒状に形成されている。ガイド部312の開口面は載置面314より一回り大きく形成されており、ガイド部312は載置面314の外周縁に沿って支持部311の周囲に配置される。ここで、ガイド部312の上端面の内周縁の形状と、載置面314の外周縁の形状とは相似の関係にある。
昇降部313は、支持部311とガイド部312との相対的な位置関係を、第1状態から第2状態を経て、第3状態へ変化させる。ここでは、支持部311がガイド部312の上端部に位置する状態を、第1状態とする(図5A及び図5B参照)。支持部311とガイド部312との相対的な位置関係が第1状態にあるとき、支持部311の上面(載置面314)はガイド部312の上端面よりやや上方に位置する。そのため、第1状態においては、支持部311はガイド部312の上面側の開口を塞ぐような配置になる。第2状態は、支持部311のガイド部312に対する相対的な位置が第1状態よりも下方になる状態である(図5C参照)。第3状態は、支持部311のガイド部312に対する相対的な位置が第2状態よりもさらに下方になる状態である(図6A参照)。
本実施形態において、第1状態から第2状態に至るまでの支持部311の移動距離は、第1状態から第3状態に至るまでの支持部311の移動距離の数〔%〕〜数十〔%〕(例えば、10〔%〕〜20〔%〕)であるのが好ましい。例えば、第1状態から第3状態に至るまでの支持部311の移動距離が30〔cm〕であれば、第1状態から第2状態に至るまでの支持部311の移動距離は、3〔cm〕〜6〔cm〕であるのが好ましい。後述するように、第1状態にて商品8が容器2の取出口203に引っ掛かる場合があり、仮に第2状態にて商品8が取出口203から外れて支持部311に衝突したとしても、商品8に対する影響が比較的小さくなるからである。
昇降部313は、電動機(モータ)を含み、パンタグラフ式やラックピニオン式等、電動機で発生する駆動力により支持部311を上下方向に直進移動させることが可能な適宜の機構で実現される。昇降部313は、支持部311及びガイド部312のうち支持部311のみを下方に移動させることにより、支持部311とガイド部312との相対的な位置関係を、第1状態から第2状態を経て、第3状態へと変化させる。すなわち、支持部311は、定位置に固定された筒状のガイド部312内を、昇降部313により上下方向に移動するように構成されている。
本実施形態では、収容装置31は、支持部311、ガイド部312、及び昇降部313に加えて、袋10の底部102を載置面314に保持するための保持機構を有している。保持機構は、袋10の底部102を摘むことにより、底部102を保持する。収容装置31は、少なくとも支持部311とガイド部312との相対的な位置関係が第1状態から第3状態へと変化する間、保持機構により、袋10の底部102を載置面314に保持し続ける。
図5A〜図5C、及び図6Aに示すように、支持部311とガイド部312との相対的な位置関係が第1状態から第3状態に至ると、容器2の取出口203から排出された商品8が、袋10の内側へと移動する。つまり、本実施形態では、収容装置31による商品8を容器2から袋(他の容器)10へ移し替える移し替え動作は、支持部311とガイド部312との相対的な位置関係が第1状態から第3状態に至ることで終了する。そして、本実施形態では、移し替え動作は、容器2の取出口203が開いた状態で商品8を容器2に対して下降させることにより商品8の容器2に対する相対的な位置関係を変化させ、取出口203を通して商品8を容器2から袋(他の容器)10へ移し替える動作である。移し替え動作を含めた収容装置31の動作については、後述する「(3.1)収容装置の動作」にて詳細に説明する。
次に、認識システム1について説明する。認識システム1は、図1に示すように、認識部11と、判定部12と、通知部13と、を備えている。後述するように、認識部11(測距センサ111)は、カウンタ台7の外部に設置されているが、判定部12及び通知部13は、カウンタ台7に内蔵されていてもよいし、カウンタ台7の上面71に設置されていてもよい。なお、図1に示す破線の矢印は、測距センサ111から発せられて容器2内の対象物に向かう電磁波を模擬的に表している。
認識部11は、容器2内の状態を認識する。本実施形態では、認識部11は、測距センサ111を有している。測距センサ111は、例えば赤外線を用いた測距イメージセンサであって、TOF(Time-of-Flight)方式で測距センサ111から対象物までの距離を計測するように構成されている。本開示でいう「対象物」は、容器2内の対象物であって、容器2内に収容されている商品8の他、底板202が開放された状態にて取出口203を介して容器2内に臨む収容装置31の支持部311を含む。
本実施形態では、測距センサ111は、図3及び図4に示すように、カウンタ台7の上面71に設置されたアーチ14に取り付けられている。つまり、認識部11(測距センサ111)は、カウンタ台7の外部(さらに言えば、容器2の外部)に設置されている。アーチ14は、一対の支柱141と、梁142と、を有している。一対の支柱141は、凹所72を挟むようにしてカウンタ台7の上面71に設置されており、上面71から上方に起立している。梁142は、一対の支柱141の各々の上端部を繋いでいる。測距センサ111は、梁142の長手方向の中間部に取り付けられている。
アーチ14は、カウンタ台7を正面から見て、奥行き方向の中間位置よりも奥側に設置されている。このため、測距センサ111は、鉛直方向(カウンタ台7の上面71の垂直方向)から見て、水平面内での容器2の中心からずれた位置に配置されている。したがって、本実施形態では、測距センサ111は、規定位置(カウンタ台7の凹所72の底面上)に置かれた容器2内の対象物までの距離を、容器2の真上からではなく、容器2の斜め上方から計測する。
測距センサ111は、容器2内の対象物までの距離を計測することにより、距離画像を取得する。距離画像を構成する複数の画素の各々は、距離情報を含んでいる。本開示でいう「距離情報」は、測距センサ111から対象物までの距離を示す情報である。距離情報は、例えば輝度(色)により表されるが、本実施形態では、距離情報は、輝度(色)に代えて、濃淡により表されている。そして、色が薄ければ薄い程、測距センサ111から対象物までの距離は短くなり、色が濃ければ濃い程、測距センサ111から対象物までの距離は長くなる。
距離画像の一例を図8Aに示す。図8Aに示す距離画像は、商品8が飲料を収容した瓶(以下、単に「瓶」という)であり、瓶が載置面314に横たわっている状態を表す画像である。この場合、瓶のボディは、瓶のネックよりも測距センサ111に近くなる。このため、距離画像において瓶のボディに対応する領域は、瓶のネックに対応する領域よりも色が薄くなっている。また、載置面314は、瓶よりも測距センサ111から遠い位置にあるため、距離画像において載置面314に対応する領域B2は、瓶に対応する領域B1よりも色が濃くなっている。
ここで、上述のように、本実施形態では、測距センサ111が容器2の斜め上方に配置されている。このため、距離画像は、例えば台形補正などの適宜の画像処理により、規定位置に置かれた容器2の真上から容器2内の対象物までの距離を計測した場合の距離画像と同等の画像に補正される。以下では、画像処理後の距離画像のことを単に「距離画像」ともいう。この画像処理は、認識部11で実行されてもよいし、判定部12で実行されてもよい。なお、測距センサ111と、規定位置に置かれた容器2との相対的な位置関係は、殆ど固定されている。このため、上記の画像処理に用いるパラメータは、認識システム1を用いる前に予め設定しておけば、測距センサ111にて計測するごとに求める必要はない。
上述のように、測距センサ111は、容器2の外部に設置されて容器2内に存在する対象物までの距離を計測する。そして、認識部11(測距センサ111)は、測距センサ111の計測結果に基づいて、つまり測距センサ111から容器2内の対象物までの距離に基づいて、容器2内の状態を認識する。
判定部12は、1以上のプロセッサ及びメモリを備えており、メモリに記録されたプログラムを1以上のプロセッサで実行することにより、判定処理を実行する。判定処理は、移し替え動作における認識部11の認識結果(ここでは、測距センサ111から容器2内の対象物までの距離)に基づいて、移し替え動作が正常であるか否かを判定する処理である。つまり、判定処理は、収容装置31により商品8を容器2から袋(他の容器)10へ移し替えるときに実行される。プログラムはメモリに予め記録されていてもよいし、インターネットなどの電気通信回線を通して提供されてもよく、メモリカードなどの記録媒体に記録されて提供されてもよい。
本実施形態では、判定部12は、判定処理として、第1判定処理と、第2判定処理と、を実行する。第1判定処理は、容器2の取出口203に商品8が引っ掛かっているか否かを判定することにより、移し替え動作が正常であるか否かを判定する処理である。第2判定処理は、支持部311とガイド部312との相対的な位置関係が第3状態にあるときに、商品8が容器2内に留まっているか否かを判定することにより、移し替え動作が正常であるか否かを判定する処理である。判定部12による判定処理については、後述する「(3.3)認識システムの動作」にて詳細に説明する。
通知部13は、判定部12にて移し替え動作が異常と判定されたときに、通知信号を出力する。本開示でいう「移し替え動作の異常」とは、主として、容器2の取出口203に商品8が引っ掛かっていること、又は支持部311とガイド部312との相対的な位置関係が第3状態にあるときに、商品8が容器2内に留まっていることである。本実施形態では、通知部13は、通知信号を販売システム4(ここでは、管理装置41)へ出力する。本実施形態では、通知部13は、販売システム4に対して一方向に通信を行う通信モジュールにて構成されている。通知部13は、例えばWi−Fi(登録商標)又はBluetooth(登録商標)等の電波を媒体とする無線通信にて、販売システム4との通信を行う。通知部13は、通知信号を無線通信にて販売システム4へ送信する。
ところで、買物支援システム100は、図3に示すように、例えば、店舗のレジカウンタに設置される1つのカウンタ台7周辺に設けられている。つまり、カウンタ台7周辺には、買物支援システム100が設けられている。このようなカウンタ台7は、1つの店舗に対して複数設置されていてもよい。
カウンタ台7には、上面71の長手方向(左右方向)の略中央部に開口する凹所72が形成されている。凹所72は、容器2のかご本体201を置くためのスペースを形成する。凹所72は、カウンタ台7を正面から見て手前から奥に向けて開放されている。したがって、客は、容器2のかご本体201を凹所72の底面に沿って水平方向からスライドさせることで、かご本体201を凹所72に置くことが可能である。
凹所72の下方には収容装置31及び袋供給装置32が設置されている。凹所72の底面において、容器2のかご本体201を置くためのスペース(つまり、規定位置)には、収容装置31の支持部311の載置面314が露出している。このため、収容装置31により規定位置に置かれた容器2の底板202が開放されれば、容器2内の商品8は、載置面314上に排出される。そして、収容装置31は、載置面314上に置かれた商品8について移し替えを行う。
供給ユニット42は、カウンタ台7の上方に位置するように、天井に吊り下げられている。管理装置41は、カウンタ台7に内蔵されている。精算システム5は、カウンタ台7を正面から見て収容装置31の右側に配置されている。表示装置43は、供給ユニット42の下面に固定されており、例えばプロジェクションマッピング技術により、スクリーン431に対して映像を投影するように構成されている。ここでは、表示装置43は、カウンタ台7の上面71のうち、カウンタ台7を正面から見て収容装置31の右側の領域に映像を投影する。つまり、カウンタ台7の上面71のうち収容装置31の右側の領域が、表示装置43のスクリーン431となる。入力装置44は、カウンタ台7の上面71上であって、カウンタ台7を正面から見てスクリーン431の奥に設置されている。入力装置44には、音声出力装置45が一体に設けられている。
上述した買物支援システム100の各部の位置関係及び形状等は、一例に過ぎず、適宜変更が可能である。例えば、収容装置31及び凹所72は、カウンタ台7の幅方向(左右方向)の一端部(左端部又は右端部)に配置されていてもよい。さらに、カウンタ台7に凹所72が形成されていることも買物支援システム100に必須の構成ではなく、例えば、カウンタ台7の上面71上に、容器2のかご本体201を置くためのスペース(規定位置)が設定されていてもよい。
(3)動作
以下、本実施形態に係る買物支援システム100の動作について説明する。
(3.1)基本動作
まず、客の来店から商品8の移し替えが完了するまでの間における、買物支援システム100の基本動作について説明する。
来店した客は、まず、かご置場から容器2を取る。その後、客は、容器2を持ったまま店内を移動し、購入を希望する商品8を1つずつ、容器2のかご本体201に収容する。このとき、客は、ピックアップした商品8を取得部21にかざしてから、商品8をかご本体201に収容する。これにより、取得部21は、商品8についての商品情報を取得する。
その後、客は、購入を希望する商品8を全て収容した容器2を、規定位置(カウンタ台7の凹所72の底面上)に置く。このとき、容器2が規定位置に置かれたことを、例えばカウンタ台7の凹所72の底面に設置されている検知部が検知する。販売システム4は、検知部の検知結果を受けて、容器2との通信を開始し、容器2から商品情報を取得する。
商品情報を取得すると、販売システム4は、商品情報を精算システム5に送信(転送)する。販売システム4は、商品情報に対する返信(応答)として、精算システム5から送信される価格データを取得する。さらに、販売システム4は、取得した価格データを用いて、商品8についての情報の一覧である購入リストを作成する。
このとき、販売システム4は、販売に際して年齢確認を必要とする特定商品が、購入リストに含まれているか否かを判断する。本実施形態では、酒類(酒類商品)を、このような特定商品の一例とする。つまり、販売システム4は、容器2に収容されている商品8の中に酒類が含まれているか否かを、購入リストを参照して判断する。そして、購入リストに酒類が有れば、販売システム4は、開始信号を年齢確認システム9に送信する。開始信号を受けた年齢確認システム9は、年齢確認のための一連の処理を開始する。
年齢確認システム9での年齢確認に成功した場合、又は購入リストに酒類が含まれていない場合、販売システム4は、特定商品である煙草の購入の有無を確認する煙草確認画面を、表示装置43に表示させる。この煙草確認画面において「煙草の購入有り」が選択されると、販売システム4は、開始信号を年齢確認システム9に送信する。年齢確認システム9での年齢確認に成功すると、販売システム4は、煙草の銘柄を選択するための煙草メニュー画面を、表示装置43に表示させる。ただし、購入リストに酒類が有って、既に年齢確認に成功している場合には、販売システム4は、煙草確認画面で「煙草の購入有り」が選択された後、直ちに煙草メニュー画面を表示装置43に表示させてもよい。
煙草メニュー画面において、特定の煙草が選択されると、販売システム4は、特定の煙草の商品情報を、供給ユニット42に送信する。供給ユニット42は、供給ユニット42にストックされている複数の煙草の中から、特定の煙草を選択して、排出口421(図3参照)から排出する。これにより、客は、排出口421から排出された煙草を受け取ることができる。また、販売システム4は、精算システム5から煙草の価格データを取得し、購入リストに追加する。
供給ユニット42からの煙草の供給が完了するか、又は煙草確認画面で「煙草の購入無し」が選択されると、販売システム4は、精算処理に移行する。このとき、販売システム4は、購入リストを含む精算確認画面を、表示装置43に表示させる。この精算確認画面で精算開始が選択されると、販売システム4は、精算システム5に精算処理を開始させる。
また、年齢確認システム9での年齢確認に失敗した場合、販売システム4は、特定商品(ここでは酒類及び煙草)の販売処理を中止する。煙草の販売処理において年齢確認に失敗した場合には、販売システム4は、煙草の販売処理を中止して精算処理に移行する。酒類の販売処理において年齢確認に失敗した場合には、販売システム4は、煙草確認画面を表示せず、酒類の販売処理を中止する。
精算処理の開始後、販売システム4は、収容システム3に移し替えを実行させる。つまり、販売システム4は、精算システム5に精算処理を開始させた後、収容システム3に対して、収容処理を開始させるための制御信号を送信する。これにより、収容システム3の収容装置31は、商品8についての精算処理中に、商品8を容器2から袋10に移し替える移し替え動作を開始する。ただし、収容装置31での収容処理が完了して商品8が収容された袋10を客が受け取り可能となるのは、精算処理が完了した後であることが好ましい。
(3.2)収容装置の動作
次に、収容装置31の動作について図5A〜図5C、及び図6A〜図6Cを参照して説明する。図5A〜図6Cでは、収容装置31の動作を模式的に表しており、袋供給装置32等の図示を適宜省略している。また、図5A〜図5C、及び図6Aでは、商品8が容器2の取出口203に引っ掛かっておらず、また、支持部311とガイド部312との相対的な位置関係が第3状態にあるときに商品8が容器2内に留まらない。つまり、図5A〜図5C、及び図6Aに示す例では、収容装置31による移し替え動作が正常に行われている。
まず、支持部311とガイド部312との相対的な位置関係が第1状態にあるとき、図5Aに示すように、袋口101を下向きとする袋(他の容器)10が支持部311及びガイド部312に被せられ、袋10の底部102が載置面314にて支持されている。収容装置31は、図5Aに示す状態を待機状態とし、管理装置41からの制御信号を受信するまで、待機状態で待機する。
そして、収容装置31が、管理装置41からの制御信号を受信すると、収容処理を開始する。収容処理が開始すると、図5Bに示すように、容器2の底板202が開放されることにより、容器2内の商品8が、取出口203を通して収容装置31の載置面314上に排出される。これにより、商品8が袋10を間に介して載置面314上に載せられることになる。このとき、底板202は、商品8の重量に加えて、保持機構の保持力により載置面314に保持されている。つまり、移し替え動作には、底板202を開閉することにより、取出口203を開閉する動作が含まれている。
この状態(第1状態)から、昇降部313にて、ガイド部312に対して支持部311が相対的に下方に移動することで、支持部311とガイド部312との相対的な位置関係が第2状態へと変化する。第2状態においては、商品8が容器2の取出口203に引っ掛かっていないため、支持部311の移動に伴って商品8も下方に移動している。そして、商品8は、袋10を間に介して載置面314に載せられた状態を維持する。第2状態は、後述する認識システム1による第1判定処理の実行期間において、維持される。
さらに、この状態(第2状態)から、昇降部313にて、ガイド部312に対して支持部311が相対的に下方に移動することで、袋10がガイド部312の内側に徐々に引き込まれる。このとき、袋10の底部102に連続する袋10の側周部103は、ガイド部312の上端面にてしごかれながら、ガイド部312の内側に引き込まれる。したがって、袋10の側周部103は、支持部311の周囲にあるガイド部312によって底部102の外周縁から上方に立ち上げられる。
そして、支持部311とガイド部312との相対的な位置関係が第3状態になると、図6Aに示すように、ガイド部312に囲まれた空間において、袋10は図5Aの状態から裏返った状態となり、商品8は袋10に収容されることになる。このとき、側周部103はガイド部312の内周面に沿って立ち上がった状態となる。ここで、収容装置31は、第2状態において、載置面314からガイド部312の上端面までの高低差が、袋10の上下方向の全長以上となるように構成されている。ここでいう「袋10の上下方向の全長」は、袋10の一対の持ち手104を含む全長、つまり袋10の底部102から持ち手104の先端までの寸法である。これにより、袋10は持ち手104の先端まで、ガイド部312で囲まれた空間に収まる。そのため、袋10は側周部103だけでなく、持ち手104まで含めて立ち上がった状態となる。図6Aに示す状態(つまり、第3状態であって、かつ、容器2の底板202が開放された状態)は、後述する認識システム1による第2判定処理の実行期間において、維持される。
次に、収容装置31は、図6Bに示すように、容器2の底板202を閉じる。そして、容器2が収容装置31上から撤去された後に、収容装置31は、昇降部313にて支持部311を駆動し、支持部311とガイド部312との相対的な位置関係を第2状態から第1状態へと変化させる。これにより、ガイド部312に囲まれた空間から、袋10が排出される。
すなわち、載置面314上の袋10は、支持部311が上方に移動するのに伴って、ガイド部312の上面側の開口から上方にせり出す。さらに、支持部311が上方に移動することで、袋10は、図6Cに示すように、ガイド部312に囲まれた空間から完全に排出される。このとき、袋10は、持ち手104を含め自立した姿勢を維持する。また、袋10は、袋供給装置32にて供給された図6Aの状態から、裏返されて商品8を収容するので、袋10に文字等が印刷されている場合、反転印刷した袋10を用いることが好ましい。これにより、客は、袋10に移し替えられた状態の商品8を受け取ることが可能になる。
(3.3)認識システムの動作
次に、認識システム1の動作について図5A〜図14を用いて説明する。認識システム1は、収容装置31の収容処理の開始後において、例えば管理装置41を介して収容装置31からの状態信号を受信することにより、支持部311とガイド部312との相対的な位置関係、及び容器2の底板202の開閉の状態を把握する。
まず、判定部12による第1判定処理について、主として図7を用いて説明する。支持部311とガイド部312との相対的な位置関係が第1状態であり、容器2の底板202が開放されると(図5B参照)、認識部11の測距センサ111は、距離画像を取得する(S1)。このときの距離画像を、以下では「第1画像A1」という(図8A及び図8C参照)。次に、支持部311とガイド部312との相対的な位置関係が第2状態になると(図5C参照)、測距センサ111は、距離画像を再び取得する(S2)。このときの距離画像を、以下では「第2画像A2」という(図8B及び図8D参照)。
そして、判定部12は、第1画像A1と第2画像A2とを用いて、商品8が容器2の取出口203に引っ掛かっているか否かを判定することにより、移し替え動作が正常であるか否かを判定する(S3)。言い換えれば、判定部12は、移し替え動作によって生じる容器2内の状態の変化に基づいて、移し替え動作が正常であるか否かを判定する。ここでいう「容器内の状態の変化」は、第1画像A1で表される容器2内の状態から、第2画像A2で表される容器2内の状態への変化である。特に、本実施形態では、判定部12は、移動機構の動作の開始時点より前の容器2内の状態(図5B参照)と、開始時点より後の容器2内の状態(図5C参照)との差分により、移し替え動作が正常であるか否かを判定する。また、本実施形態では、開始時点より後の容器2内の状態は、移動機構の動作の終了時点より前の容器2内の状態である。
本実施形態では、判定部12は、第1画像A1の距離情報と第2画像A2の距離情報との差分(ここでは、濃淡の差)を求め、差分が所定範囲を超えていれば、移し替え動作が正常であると判定する(S4:Yes)。一方、判定部12は、差分が所定範囲内に収まっていれば、移し替え動作が異常であると判定する(S4:No)。例えば、判定部12は、第1画像A1の複数の画素の距離情報と、第2画像A2の複数の画素の距離情報との差分を求め、距離情報の差分が所定範囲を超える画素が一定数以上存在する場合、移し替え動作が正常であると判定する。一方、判定部12は、距離情報の差分が所定範囲を超える画素が一定数存在しない場合、移し替え動作が異常であると判定する。
すなわち、商品8が取出口203に引っ掛かっていない場合、支持部311とガイド部312との相対的な位置関係が第1状態から第2状態に変化するときに、支持部311と共に商品8も下方に移動する(図5C参照)。したがって、この場合、図8A及び図8Bに示すように、第2画像A2での瓶(商品8)に対応する領域B1の色は、全体的に第1画像A1での瓶に対応する領域B1の色よりも濃くなる。この場合、第1画像A1の距離情報と第2画像A2の距離情報との差分が所定範囲を超える画素が一定数以上存在するため、判定部12は、移し替え動作が正常であると判定する。
一方、図9に示すように、商品8が取出口203に引っ掛かっている場合、支持部311とガイド部312との相対的な位置関係が第1状態から第2状態に変化するときに、支持部311と共に商品8が移動しない。したがって、この場合、図8C及び図8Dに示すように、第2画像A2での瓶(商品8)に対応する領域B1の色は、第1画像A1での瓶に対応する領域B1の色から殆ど変化しない。この場合、第1画像A1の距離情報と第2画像A2の距離情報との差分が所定範囲内に収まるため、判定部12は、移し替え動作が異常であると判定する。
移し替え動作が異常であると判定され(S4:No)、かつ、第1判定処理の開始時点から所定時間(例えば、数秒)が経過していない場合(S5:No)、判定部12は、一定時間(例えば、数百ミリ秒)、待機する(S6)。一定時間が経過すると、認識部11の測距センサ111は、距離画像を再び取得する(S7)。このとき、支持部311とガイド部312との相対的な位置関係は第2状態のままであるため、測距センサ111が取得する距離画像は、第2画像A2である。つまり、測距センサ111が距離画像を再び取得することにより、第2画像A2が更新される。そして、判定部12は、第1画像A1と更新された第2画像A2とを用いて、移し替え動作が正常であるか否かを再び判定する(S3)。上記の処理は、第1判定処理の開始時点から所定時間が経過するまで、又は所定時間が経過する前に商品8が取出口203から外れるまで、繰り返される。
商品8が取出口203に引っ掛かっていない場合、又は第1判定処理の開始時点から所定時間が経過する前に商品8が取出口203から外れた場合、判定部12は、管理装置41を介して収容装置31に対して、移し替え動作が正常である旨を表す信号を出力する。これにより、収容装置31は、支持部311とガイド部312との相対的な位置関係を第2状態から第3状態に変化させる(図6A参照)。つまり、収容装置31は、判定部12による判定結果に基づいて移し替え動作を行う。そして、判定部12は、第2判定処理を開始する。
一方、依然として移し替え動作が異常であると判定され(S4:No)、かつ、第1判定処理の開始時点から所定時間が経過した場合(S5:Yes)、判定部12は、管理装置41を介して精算システム5による精算処理を中断させる(S8)。そして、通知部13は、管理装置41に通知信号を出力する(S9)。
通知信号を受信した管理装置41は、例えば「容器の取出口に商品が引っ掛かっています。商品を取出口から外してください。」といった是正を促すメッセージを、表示装置43に表示させたり、音声出力装置45に再生させたりする。このメッセージを見た(又は聞いた)客は、例えば図10に示すように、取出口203から商品8を外して載置面314上に載せるなどして、是正を試みることが可能である。
通知信号を出力してから一定時間が経過した場合、又は入力装置44にて是正が完了したことを表す操作を受け付けた場合、判定部12は、管理装置41を介して精算システム5による精算処理を再開させる(S10)。そして、判定部12は、管理装置41を介して収容装置31に対して、移し替え動作が正常である旨を表す信号を出力し、第2判定処理を開始する。
次に、判定部12による第2判定処理について、主として図11を用いて説明する。支持部311とガイド部312との相対的な位置関係が第3状態になると(図6A参照)、認識部11の測距センサ111は、距離画像を取得する(S11)。このときの距離画像を、以下では「第3画像A3」という(図12A及び図12C参照)。
そして、判定部12は、第3画像A3を用いて、商品8が容器2内に留まっているか否かを判定することにより、移し替え動作が正常であるか否かを判定する(S12)。言い換えれば、判定部12は、移動機構の動作の終了時点の容器2内の状態(図6A参照)に基づいて、移し替え動作が正常であるか否かを判定する。本実施形態では、判定部12は、距離情報が所定距離(測距センサ111から取出口203までの距離)よりも近いことを示している画素が第3画像A3に含まれていなければ、移し替え動作が正常であると判定する(S13:Yes)。一方、判定部12は、距離情報が所定距離よりも近いことを示している画素が第3画像A3に含まれていれば、移し替え動作が異常であると判定する(S13:No)。
すなわち、商品8が容器2内に留まっていない場合、図12Aに示すように、第3画像A3での瓶(商品8)に対応する領域B1の色は、上記の所定距離に対象物が存在する場合の色よりも濃くなる。この場合、距離情報が所定距離よりも近いことを示している画素が第3画像A3に含まれないので、判定部12は、移し替え動作が正常であると判定する。
一方、例えば複数の商品8が積み重なることにより、複数の商品8のうちの一部の商品8が容器2内に留まる場合、図12Bに示すように、領域B1の一部の色は、上記の所定距離に対象物が存在する場合の色よりも薄くなる。この場合、距離情報が所定距離よりも近いことを示している画素が第3画像A3に含まれるので、判定部12は、移し替え動作が異常であると判定する。
移し替え動作が異常であると判定された場合(S13:No)、判定部12は、管理装置41を介して精算システム5による精算処理を中断させる(S14)。そして、通知部13は、管理装置41に通知信号を出力する(S15)。
通知信号を受信した管理装置41は、例えば「容器内に商品が残っています。容器内に商品が残らないように商品を動かしてください。」といった是正を促すメッセージを、表示装置43に表示させたり、音声出力装置45に再生させたりする。このメッセージを見た(又は聞いた)客は、例えば図14に示すように、容器2内に商品8が残らないように商品8を動かすなどして、是正を試みることが可能である。
通知信号を出力してから一定時間が経過した場合、又は入力装置44にて是正が完了したことを表す操作を受け付けた場合、判定部12は、管理装置41を介して精算システム5による精算処理を再開させる(S16)。そして、判定部12は、管理装置41を介して収容装置31に対して、移し替え動作が正常である旨を表す信号を出力し、判定処理を終了する。その後、収容装置31は、支持部311とガイド部312との相対的な位置関係を第3状態から第1状態に変化させ、収容処理を完了する(図6A〜図6C参照)。
(4)変形例
上述の実施形態は、本開示の様々な実施形態の一つに過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、収容システム3と同様の機能は、収容制御方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
一態様に係る収容制御方法は、商品8が収容される容器2内の状態を認識する。また、収容制御方法は、移し替え動作における認識結果に基づいて、移し替え動作が正常であるか否かを判定する。移し替え動作は、商品8を移動させる移動機構(支持部311、ガイド部312、及び昇降部313)により商品8を容器2から袋(他の容器)10へ移し替える動作である。また、収容制御方法は、判定結果に基づいて、移動機構を制御する。
一態様に係るプログラムは、コンピュータシステムに、認識処理と、判定処理と、収容制御処理と、を実行させるためのプログラムである。認識処理は、商品8が収容される容器2内の状態を認識する処理である。判定処理は、移し替え動作における認識結果に基づいて、移し替え動作が正常であるか否かを判定する処理である。移し替え動作は、商品8を移動させる移動機構(支持部311、ガイド部312、及び昇降部313)により商品8を容器2から袋(他の容器)10へ移し替える動作である。収容制御処理は、判定処理での判定結果に基づいて、移動機構を制御する処理である。
以下、上述の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示における買物支援システム100は、例えば、認識システム1、収容システム3、及び販売システム4等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における買物支援システム100としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1乃至複数の電子回路で構成される。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
また、買物支援システム100における複数の機能が、1つの筐体内に集約されていることは買物支援システム100に必須の構成ではなく、買物支援システム100の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、買物支援システム100の少なくとも一部の機能は、例えば、クラウド(クラウドコンピューティング)等によって実現されてもよい。反対に、上述の実施形態において、複数の装置に分散されている買物支援システム100の少なくとも一部の機能が、1つの筐体内に集約されていてもよい。
上述の実施形態において、測距センサ111は、規定位置に置かれた容器2の真上に配置されていてもよい。この場合、測距センサ111は、容器2の真上から容器2内の対象物までの距離を計測するので、台形補正などの画像処理は不要である。
上述の実施形態において、認識部11は、容器2内の状態を認識する構成として、測距センサ111以外の構成を有していてもよい。例えば、認識部11は、測距センサ111の代わりに、又は測距センサ111に加えて、イメージセンサ、透過型の光センサ(フォトインタラプタ)、反射型の光センサなどを有していてもよい。その他、認識部11は、測距センサ111の代わりに、又は測距センサ111に加えて、透過型(又は反射型)の超音波センサを有していてもよい。
上述の実施形態では、判定部12は、第2判定処理において、移動機構の動作の終了時点の容器2内の状態に基づいて、移し替え動作が正常であるか否かを判定しているが、これに限定する趣旨ではない。例えば、判定部12は、第2判定処理において、移し替え動作中に容器2の取出口203を商品8が通過するか否かにより、移し替え動作が正常であるか否かを判定してもよい。この場合、認識部11は、上述の光センサ又は超音波センサを用いて、取出口203を商品8が通過しているか否かを検知する構成を有しているのが好ましい。例えば、支持部311とガイド部312との相対的な位置関係が第3状態にあるときに、商品8が容器2に留まっている場合、光センサ又は超音波センサは、取出口203を商品8が通過していることを検知する。この場合、判定部12は、移し替え動作が異常であると判定する。一方、商品8が容器2に留まっていない場合、光センサ又は超音波センサは、取出口203を商品8が通過していないことを検知する。この場合、判定部12は、移し替え動作が正常であると判定する。
上述の実施形態では、第1判定処理の実行期間においては、支持部311は停止しており、支持部311とガイド部312との相対的な位置関係が第2状態に維持されているが、これに限定する趣旨ではない。例えば、第1判定処理は、支持部311を下方に移動させている間に実行されてもよい。この場合、第1判定処理により移し替え動作に異常があると判定された時点で、支持部311を停止させればよい。
上述の実施形態では、判定部12は、第1判定処理にて精算システム5による精算処理を中断させた場合(図7のS8)、再度の第1判定処理を行わずに精算を再開させている(図7のS10)が、これに限定する趣旨ではない。例えば、判定部12は、上記の場合に、客が取出口203から商品8を外し忘れた状態で、入力装置44にて是正が完了したことを表す操作を受け付ける場合を想定して、第2画像A2の更新(図7のS7)から再開してもよい。この態様では、客が取出口203から商品8を外し忘れた場合でも、移し替え動作に依然として異常があることを早期に判定することが可能である、という利点がある。なお、この態様では、再度の判定により移し替え動作が正常と判定されれば、判定部12は、精算システム5による精算を再開させた上で、第2判定処理を開始する。
上述の実施形態では、判定部12は、第2判定処理にて精算システム5による精算処理を中断させた場合(図11のS14)、再度の第2判定処理を行わずに精算を再開させている(図11のS16)が、これに限定する趣旨ではない。例えば、判定部12は、上記の場合に、客が容器2から商品8を動かすのを忘れた状態で、入力装置44にて是正が完了したことを表す操作を受け付ける場合を想定して、第3画像A3の取得(図11のS11)から再開してもよい。この態様では、客が容器2から商品8を動かすのを忘れた場合でも、移し替え動作に依然として異常があることを早期に判定することが可能である、という利点がある。なお、この態様では、再度の判定により移し替え動作が正常と判定されれば、判定部12は、精算システム5による精算を再開させる。
上述の実施形態では、判定部12は、判定処理として、第1判定処理及び第2判定処理の両方を実行しているが、これに限定する趣旨ではない。例えば、判定部12は、判定処理として、第1判定処理及び第2判定処理のいずれか一方のみを実行する構成であってもよい。つまり、判定部12は、容器2の取出口203に商品8が引っ掛かっているか否か、及び、支持部311とガイド部312との相対的な位置関係が第3状態にあるときに、商品8が容器2内に留まっているか否か、の少なくとも一方を判定する構成であればよい。
上述の実施形態において、容器2は取得部21を有していなくてもよい。例えば、容器2が取得部21を有する代わりに、収容装置31が商品8についての商品情報を取得する情報取得装置を有していてもよい。情報取得装置は、商品8に付されたRF(Radio Frequency)タグから商品情報を読み取ることにより、商品情報を取得する。この場合、情報取得装置は、収容装置31が商品8の移し替えを行う際に、商品情報の読み取りを行う。すなわち、情報取得装置は、収容処理の開始後、商品8が収容された状態の袋(他の容器)10が収容装置31から排出されるまでの読取期間において、商品情報の読み取りを行う。また、この場合、情報取得装置は、取得した商品情報を、販売システム4に送信する。
上述の実施形態では、取出口203は容器2のかご本体201の底面であるが、これに限定する趣旨ではない。例えば、取出口203は、容器2のかご本体201の側部に設けられていてもよい。この場合、収容装置31は、例えばカウンタ台7の凹所72の隣に配置され、適宜の移動機構(例えば、ベルトコンベア)により、取出口を通して容器2から他の容器10へと商品8が移し替えられる。この場合、判定部12は、認識部11の認識結果により、商品8が容器2内に残っているか否かを判定することで、移し替え動作が正常であるか否かを判定することが可能である。その他、取出口203は、容器2のかご本体201の上開口部であってもよい。
上述の実施形態では、通知部13は、判定部12にて移し替え動作が異常と判定されると、販売システム4に通知信号を出力しているが、これに限定する趣旨ではない。例えば、通知部13は、判定部12にて移し替え動作が異常と判定されると、店員の携帯する携帯端末6に通知信号を出力するように構成されていてもよい。この場合、店員は、通知信号を受信した携帯端末6を確認することにより、客に移し替え動作に異常が発生したことを知らせる、又はカウンタ台7に赴いて客の代わりに是正を行う等の適宜の対応を図ることが可能になる。
上述の実施形態において、是正は、客の代わりに、認識システム1が機械的に行ってもよい。例えば、認識システム1は、容器2に振動を与える機構を有し、この機構により容器2に振動を与えることで、商品8を容器2の取出口203から外したり、容器2内に留まっている商品8を下方へと移動したりすることを試みてもよい。
上述の実施形態において、容器2は、買物かごに限定されず、例えば買物カート等であってもよい。
上述の実施形態では、商品8は瓶であるが、これに限定する趣旨ではない。例えば、商品8は、ペットボトル飲料、缶入り飲料、紙パック入り飲料、箱入り菓子、及び袋入り菓子などの飲食品に限らず、ボールペン等の日用品、その他の商品であってもよい。
(まとめ)
以上述べたように、第1の態様に係る認識システム(1)は、認識部(11)と、判定部(12)と、を備える。認識部(11)は、商品(8)が収容される容器(2)内の状態を認識する。判定部(12)は、移し替え動作における認識部(11)の認識結果に基づいて、移し替え動作が正常であるか否かを判定する。移し替え動作は、商品(8)を移動させる移動機構(支持部(311)、ガイド部(312)、及び昇降部(313))により商品(8)を容器(2)から他の容器(10)へ移し替える動作である。
この態様によれば、商品(8)が滞りなく容器(2)から他の容器(10)へと正常に移転されているか、及び商品(8)が容器(2)から他の容器(10)へと移転される過程に異常が生じているか、を判定することが可能である。仮に、移し替え動作に異常が発生したまま放置すると、容器(2)内に商品(8)が残ったまま容器(2)が撤去される等の不具合が生じ得る。この場合、店員が不具合を解消する必要があり、店員にとって煩わしいという問題がある。一方、この態様によれば、判定結果に基づいて、例えば移し替え動作に異常があれば、客又は店員などが移し替え動作を正常に行えるように是正することが可能である。したがって、この態様によれば、移し替え動作の正常・異常を判定しない場合と比較して、機械(ここでは、移動機構)による商品(8)を容器(2)から他の容器(10)に移し替える作業に支障をきたしにくい、という利点がある。
第2の態様に係る認識システム(1)では、第1の態様において、容器(2)は、開閉可能な開口(取出口)(203)を有している。移し替え動作は、容器(2)の開口(203)が開いた状態で商品(8)を容器(2)に対して相対的に下降させ、開口(203)を通して商品(8)を容器(2)から他の容器(10)へ移し替える動作である。
この態様によれば、商品(8)が開口(203)に引っ掛かる等の移し替え動作の異常を判定部(12)にて判定することが可能になる、という利点がある。
第3の態様に係る認識システム(1)では、第1又は第2の態様において、移し替え動作は、容器(2)の開口(取出口)(203)が開いた状態で商品(8)を容器(2)に対して下降させることにより商品(8)の容器(2)に対する相対的な位置関係を変化させ、開口(203)を通して商品(8)を容器(2)から他の容器(10)へ移し替える動作である。
第4の態様に係る認識システム(1)では、第1〜第3のいずれかの態様において、判定部(12)は、移し替え動作によって生じる容器(2)内の状態の変化に基づいて、移し替え動作が正常であるか否かを判定する。
この態様によれば、移し替え動作における任意の時点での容器(2)内の状態のみで判定する場合と比較して、移し替え動作が正常であるか否かを判定しやすい、という利点がある。
第5の態様に係る認識システム(1)では、第4の態様において、判定部(12)は、移動機構の動作の開始時点より前の容器(2)内の状態と、開始時点より後の容器(2)内の状態との差分により、移し替え動作が正常であるか否かを判定する。
この態様によれば、移動機構の動作中における2つの容器(2)内の状態の差分により判定する場合と比較して、早い段階で移し替え動作が正常であるか否かを判定することが可能である、という利点がある。
第6の態様に係る認識システム(1)では、第5の態様において、開始時点より後の容器(2)内の状態は、移動機構の動作の終了時点より前の容器(2)内の状態である。
この態様によれば、移し替え動作が終了する前に、移し替え動作が正常であるか否かを判定しやすい、という利点がある。
第7の態様に係る認識システム(1)では、第1〜第3のいずれかの態様において、判定部(12)は、移動機構の動作の終了時点の容器(2)内の状態に基づいて、移し替え動作が正常であるか否かを判定する。
この態様によれば、商品(8)を容器(2)から他の容器(10)に移し替える作業において、移し替え動作の次の動作がある場合に、判定部(12)での判定結果に基づいて、次の動作を開始してもよいか否かを判定しやすい、という利点がある。
第8の態様に係る認識システム(1)では、第1〜第3のいずれかの態様において、容器(2)は、開閉可能な開口(取出口)(203)を有している。判定部(12)は、移し替え動作中に容器(2)の開口(203)を商品(8)が通過するか否かにより、移し替え動作が正常であるか否かを判定する。
この態様によれば、商品(8)が容器(2)内に留まる等の移し替え動作の異常を判定部(12)にて判定することが可能になる、という利点がある。
第9の態様に係る認識システム(1)では、第1〜第8のいずれかの態様において、認識部(11)は、測距センサ(111)を有する。測距センサ(111)は、容器(2)の外部に設置されて容器(2)内の対象物までの距離を計測する。認識部(11)は、上記距離に基づいて容器(2)内の状態を認識する。
この態様によれば、容器(2)内の状態の変化を認識しやすい、という利点がある。
第10の態様に係る認識システム(1)では、第9の態様において、測距センサ(111)は、鉛直方向において容器(2)よりも上方であって、水平面内での容器(2)の中心からずれた位置に配置される。
この態様によれば、測距センサ(111)が水平面内での容器(2)の中心(つまり、容器(2)の真上)に配置される場合と比較して、容器(2)内の対象物までの距離を計測しやすい、という利点がある。すなわち、例えば容器(2)が取っ手(204)を有する買物かごである場合、測距センサ(111)が容器(2)の真上に配置されていると、取っ手(204)が計測の妨げとなる。これに対して、測距センサ(111)が水平面内での容器(2)の中心からずれた位置に配置されていれば、測距センサ(111)は、取っ手(204)を避けて容器(2)の対象物までの距離を計測しやすい。
第11の態様に係る認識システム(1)は、第1〜第10のいずれかの態様において、通知部(13)をさらに備える。通知部(13)は、判定部(12)にて移し替え動作が異常と判定されたときに通知信号を出力する。
この態様によれば、通知信号を出力することにより、例えば、客、又は店員などに移し替え動作の異常を是正させるための施策を実行させやすい、という利点がある。
第12の態様に係る収容システム(3)は、第1〜第11のいずれかの認識システム(1)と、収容装置(31)と、を備える。収容装置(31)は、移し替え動作を行う。
この態様によれば、機械によって商品(8)を容器(2)から他の容器(10)に移し替える作業に支障をきたしにくい、という利点がある。
第13の態様に係る収容システム(3)では、第12の態様において、収容装置(31)は、判定部(12)による判定結果に基づいて移し替え動作を行う。
この態様によれば、例えば移し替え動作に異常が発生した場合に移し替え動作を停止させたり、異常を解消したときに移し替え動作を再開させたり等、状況に応じた移し替え動作を実行しやすい、という利点がある。
第14の態様に係る収容システム(3)では、第12又は第13の態様において、移し替え動作には、容器(2)に設けられた開閉可能な開口(取出口)(203)を開閉する動作が含まれる。
この態様によれば、商品(8)が開口(203)に引っ掛かる等の移し替え動作の異常を判定部(12)にて判定することが可能になる、という利点がある。
第15の態様に係る買物支援システム(100)は、第12〜第14のいずれかの収容システム(3)と、容器(2)に収容された商品(8)の販売処理を行うための販売システム(4)と、を備える。
この態様によれば、機械によって商品(8)を容器(2)から他の容器(10)に移し替える作業に支障をきたしにくい、という利点がある。
第16の態様に係る収容制御方法は、商品(8)が収容される容器(2)内の状態を認識する。また、収容制御方法は、移し替え動作における認識結果に基づいて、移し替え動作が正常であるか否かを判定する。移し替え動作は、商品(8)を移動させる移動機構(支持部(311)、ガイド部(312)、及び昇降部(313))により商品(8)を容器(2)から他の容器(10)へ移し替える動作である。また、収容制御方法は、判定結果に基づいて、移動機構を制御する。
この態様によれば、機械によって商品(8)を容器(2)から他の容器(10)に移し替える作業に支障をきたしにくい、という利点がある。
第17の態様に係るプログラムは、コンピュータシステムに、認識処理と、判定処理と、収容制御処理と、を実行させるためのプログラムである。認識処理は、商品(8)が収容される容器(2)内の状態を認識する処理である。判定処理は、移し替え動作における認識結果に基づいて、移し替え動作が正常であるか否かを判定する処理である。移し替え動作は、商品(8)を移動させる移動機構(支持部(311)、ガイド部(312)、及び昇降部(313))により商品(8)を容器(2)から他の容器(10)へ移し替える動作である。収容制御処理は、判定処理での判定結果に基づいて、移動機構を制御する処理である。
この態様によれば、機械によって商品(8)を容器(2)から他の容器(10)に移し替える作業に支障をきたしにくい、という利点がある。
第2〜第11の態様に係る構成については、認識システム(1)に必須の構成ではなく、適宜省略可能である。また、第13及び第14の態様に係る構成については、収容システム(3)に必須の構成ではなく、適宜省略可能である。
100 買物支援システム
1 認識システム
11 認識部
111 測距センサ
12 判定部
13 通知部
2 容器
203 取出口(開口)
3 収容システム
31 収容装置
311 支持部(移動機構)
312 ガイド部(移動機構)
313 昇降部(移動機構)
4 販売システム
8 商品
10 袋(他の容器)

Claims (17)

  1. 商品が収容される容器内の状態を認識する認識部と、
    前記商品を移動させる移動機構により前記商品を前記容器から他の容器へ移し替える移し替え動作における前記認識部の認識結果に基づいて、前記移し替え動作が正常であるか否かを判定する判定部と、を備える
    認識システム。
  2. 前記容器は、開閉可能な開口を有しており、
    前記移し替え動作は、前記容器の前記開口が開いた状態で前記商品の前記容器に対する相対的な位置関係を変化させ、前記開口を通して前記商品を前記容器から前記他の容器へ移し替える動作である
    請求項1記載の認識システム。
  3. 前記移し替え動作は、前記容器の前記開口が開いた状態で前記商品を前記容器に対して下降させることにより前記商品の前記容器に対する相対的な位置関係を変化させ、前記開口を通して前記商品を前記容器から前記他の容器へ移し替える動作である
    請求項1又は2に記載の認識システム。
  4. 前記判定部は、前記移し替え動作によって生じる前記容器内の状態の変化に基づいて、前記移し替え動作が正常であるか否かを判定する
    請求項1〜3のいずれか1項に記載の認識システム。
  5. 前記判定部は、前記移動機構の動作の開始時点より前の前記容器内の状態と、前記開始時点より後の前記容器内の状態との差分により、前記移し替え動作が正常であるか否かを判定する
    請求項4記載の認識システム。
  6. 前記開始時点より後の前記容器内の状態は、前記移動機構の動作の終了時点より前の前記容器内の状態である
    請求項5記載の認識システム。
  7. 前記判定部は、前記移動機構の動作の終了時点の前記容器内の状態に基づいて、前記移し替え動作が正常であるか否かを判定する
    請求項1〜3のいずれか1項に記載の認識システム。
  8. 前記容器は、開閉可能な開口を有しており、
    前記判定部は、前記移し替え動作中に前記容器の前記開口を前記商品が通過するか否かにより、前記移し替え動作が正常であるか否かを判定する
    請求項1〜3のいずれか1項に記載の認識システム。
  9. 前記認識部は、前記容器の外部に設置されて前記容器内の対象物までの距離を計測する測距センサを有し、前記距離に基づいて前記容器内の状態を認識する
    請求項1〜8のいずれか1項に記載の認識システム。
  10. 前記測距センサは、鉛直方向において前記容器よりも上方であって、水平面内での前記容器の中心からずれた位置に配置される
    請求項9記載の認識システム。
  11. 前記判定部にて前記移し替え動作が異常と判定されたときに通知信号を出力する通知部をさらに備える
    請求項1〜10のいずれか1項に記載の認識システム。
  12. 請求項1〜11のいずれか1項に記載の認識システムと、
    前記移し替え動作を行う収容装置と、を備える
    収容システム。
  13. 前記収容装置は、前記判定部による判定結果に基づいて前記移し替え動作を行う
    請求項12記載の収容システム。
  14. 前記移し替え動作には、前記容器に設けられた開閉可能な開口を開閉する動作が含まれる
    請求項12又は13に記載の収容システム。
  15. 請求項12〜14のいずれか1項に記載の収容システムと、
    前記容器に収容された前記商品の販売処理を行うための販売システムと、を備える
    買物支援システム。
  16. 商品が収容される容器内の状態を認識し、
    前記商品を移動させる移動機構により前記商品を前記容器から他の容器へ移し替える移し替え動作における認識結果に基づいて、前記移し替え動作が正常であるか否かを判定し、
    判定結果に基づいて、前記移動機構を制御する
    収容制御方法。
  17. コンピュータシステムに、
    商品が収容される容器内の状態を認識する認識処理と、
    前記商品を移動させる移動機構により前記商品を前記容器から他の容器へ移し替える移し替え動作における認識結果に基づいて、前記移し替え動作が正常であるか否かを判定する判定処理と、
    前記判定処理での判定結果に基づいて、前記移動機構を制御する収容制御処理と、を実行させるための
    プログラム。
JP2017228448A 2017-11-28 2017-11-28 認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム Pending JP2019101507A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017228448A JP2019101507A (ja) 2017-11-28 2017-11-28 認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム
US16/200,921 US20190164307A1 (en) 2017-11-28 2018-11-27 Recognition system, storage system including recognition system, shopping assistance system including storage system, storage control method, and non-transitory storage medium
CN201811449324.8A CN109840761A (zh) 2017-11-28 2018-11-28 识别系统、收纳系统、购物辅助系统、以及收纳控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017228448A JP2019101507A (ja) 2017-11-28 2017-11-28 認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2019101507A true JP2019101507A (ja) 2019-06-24

Family

ID=66633400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017228448A Pending JP2019101507A (ja) 2017-11-28 2017-11-28 認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム

Country Status (3)

Country Link
US (1) US20190164307A1 (ja)
JP (1) JP2019101507A (ja)
CN (1) CN109840761A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6806045B2 (ja) * 2017-12-11 2021-01-06 株式会社ダイフク 物品搬送設備
JP7350566B2 (ja) * 2019-08-22 2023-09-26 東芝テック株式会社 商品販売処理システム、商品販売処理装置及び方法、制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065189B1 (en) * 2008-01-15 2011-11-22 SciQuest Inc. Method, medium, and system for automatically moving items from a first shopping cart to a second shopping cart
CN103999103B (zh) * 2011-03-17 2017-09-22 伊普若沃讷恩斯有限公司 用于保护动产的方法和系统
JP6141207B2 (ja) * 2014-01-07 2017-06-07 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
US10123634B2 (en) * 2014-04-23 2018-11-13 Innerworkings, Inc. Display unit configured for quick assembly
US9242799B1 (en) * 2014-10-20 2016-01-26 Amazon Technologies, Inc. Dynamically reconfigurable inventory pods
US10332331B2 (en) * 2016-10-14 2019-06-25 Pepsico, Inc. Modular vending machine
US10902377B2 (en) * 2018-01-24 2021-01-26 Amazon Technologies, Inc. Robotic item handling using a variable area manipulator
US10943128B2 (en) * 2018-11-01 2021-03-09 Ncr Corporation Constructing shopper carts using video surveillance

Also Published As

Publication number Publication date
CN109840761A (zh) 2019-06-04
US20190164307A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
US11532161B2 (en) Portable computing device installed in or mountable to a shopping cart
US8239268B2 (en) Self-checkout terminal
JP2019121251A (ja) 無線読取システム及びそれを備える買物支援システム
WO2017150226A1 (ja) 買物支援システム
US20070255665A1 (en) Self-checkout terminal
LT5774B (lt) Pirkimo sistema savitarnos būdu
GB2522291A (en) Shopping cart and system
JP2019164539A (ja) 袋詰システム、買物支援システム、袋詰システムの制御方法及びプログラム
KR101742067B1 (ko) 물품의 자동인식이 가능한 카트 및 상기 카트를 활용한 결제시스템
KR102384332B1 (ko) 화장품 판매를 위한 자동 결제 장치 및 이를 포함하는 화장품 무인 매장 운영 시스템
EP3557547B1 (en) Log-in control apparatus, control method of log-in control apparatus, and information terminal
JP2023158126A (ja) 情報処理装置及び情報処理システム
KR102082988B1 (ko) 무게검증이 가능한 바코드 인식 쇼핑 카트
JP2019101507A (ja) 認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム
JP6908455B2 (ja) 情報処理システム及びプログラム
US20190156317A1 (en) Container, shopping assistance system for use with same, shopping assistance method for use with same
WO2019049953A1 (ja) 買物支援システム及び買物支援方法
EP4064162A1 (en) Information processing system, information processing method, and non-transitory computer readable medium
RU204817U1 (ru) Терминал самообслуживания торгового предприятия
US20210248881A1 (en) Transaction terminal with vertical weigh scale and methods of operation
JP6735888B2 (ja) 商品データ処理システム、商品データ処理方法
JP2018028788A (ja) 店舗内清算システム
JP2020071549A (ja) 買物支援システム及び買物支援方法
JP2019204452A (ja) 買物支援システム及び買物支援方法
JP2019156486A (ja) 袋詰システム、それを備えた買物支援システム、及び袋詰システムの制御方法