JP2020078856A - 商品取出装置 - Google Patents

商品取出装置 Download PDF

Info

Publication number
JP2020078856A
JP2020078856A JP2018213763A JP2018213763A JP2020078856A JP 2020078856 A JP2020078856 A JP 2020078856A JP 2018213763 A JP2018213763 A JP 2018213763A JP 2018213763 A JP2018213763 A JP 2018213763A JP 2020078856 A JP2020078856 A JP 2020078856A
Authority
JP
Japan
Prior art keywords
product
arm
processor
shelf
take
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018213763A
Other languages
English (en)
Inventor
嘉幸 平原
Yoshiyuki Hirahara
嘉幸 平原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2018213763A priority Critical patent/JP2020078856A/ja
Priority to CN201910656692.8A priority patent/CN111185913A/zh
Priority to US16/535,791 priority patent/US20200147814A1/en
Priority to EP19192629.4A priority patent/EP3654304A1/en
Publication of JP2020078856A publication Critical patent/JP2020078856A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/08Gripping heads and other end effectors having finger members
    • B25J15/10Gripping heads and other end effectors having finger members with three or more finger members
    • B25J15/103Gripping heads and other end effectors having finger members with three or more finger members for gripping the object in three contact points
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F11/00Coin-freed apparatus for dispensing, or the like, discrete articles
    • G07F11/02Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines
    • G07F11/38Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines in which the magazines are horizontal
    • G07F11/42Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines in which the magazines are horizontal the articles being delivered by motor-driven means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/0009Gripping heads and other end effectors comprising multi-articulated fingers, e.g. resembling a human hand
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00Gripping heads and other end effectors
    • B25J15/02Gripping heads and other end effectors servo-actuated
    • B25J15/0206Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/20Point-of-sale [POS] network systems
    • G06Q20/203Inventory monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F11/00Coin-freed apparatus for dispensing, or the like, discrete articles
    • G07F11/02Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines
    • G07F11/04Coin-freed apparatus for dispensing, or the like, discrete articles from non-movable magazines in which magazines the articles are stored one vertically above the other
    • G07F11/16Delivery means
    • G07F11/165Delivery means using xyz-picker or multi-dimensional article picking arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Finance (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Specific Conveyance Elements (AREA)

Abstract

【課題】 人手によらずに利用者が希望する商品を確実に取り出すことができる商品取出装置を提供する。【解決手段】 実施形態によれば、商品取出装置は、アームと傾け機構と保持機構とを有する。アームは、前面から奥行方向に向かって同一商品を並べて配置する棚に対して、前記棚に配置される各商品の配置位置に応じた取出位置に先端部が移動する。傾け機構は、アームの先端部に設けられ、棚に配置された取出対象の商品の上面に接して取出対象の商品を手前方向に傾ける。保持機構は、傾け機構によって手前方向に傾けた取出対象の商品を保持する。【選択図】図1

Description

本発明の実施形態は、商品取出装置に関する。
近年、人手不足などから店舗において顧客に商品を販売するための業務を省力化または無人化することが要望されている。従来、特定の種類の商品については、顧客が店員に購入を希望する商品を伝え、顧客が希望する商品を店員が手作業で渡す販売形態がある。例えば、煙草や酒類などの商品は、未成年者への販売防止などの観点から、店員が顧客の年齢などを確認しつつ顧客に商品を手渡しする運用とする店舗が多い。また、煙草などの商品は、レジ奥の棚などの顧客が直接ふれられない場所に配置されることも多い。
このような商品の購入の希望を顧客から受けた場合、店員は、必要に応じて顧客の年齢などを確認し、レジ奥の棚から顧客が希望する商品を取り出す。また、店員が、レジ奥の棚から取り出した商品の情報を精算対象の商品情報として精算装置に入力する運用としている店舗もある。このような運用の店舗では、店員は、商品情報を入力した精算装置での精算処理が完了した後に当該商品を顧客に渡す。上記のように、顧客(利用者)からの要望に応じて取り出す商品を販売する作業は、不慣れな店員にとっては大きな負担であるという問題がある。
特開2016−167246号公報
本発明は、上記した課題を解決するために、人手によらずに利用者が希望する商品を確実に取り出すことができる商品取出装置を提供することを目的とする。
実施形態によれば、商品取出装置は、アームと傾け機構と保持機構とを有する。アームは、前面から奥行方向に向かって同一商品を並べて配置する棚に対して、前記棚に配置される各商品の配置位置に応じた取出位置に先端部が移動する。傾け機構は、アームの先端部に設けられ、棚に配置された取出対象の商品の上面に接して取出対象の商品を手前方向に傾ける。保持機構は、傾け機構によって手前方向に傾けた取出対象の商品を保持する。
図1は、実施形態に係る商品取出装置としてのロボットの設置例を概略的に示す図である。 図2は、実施形態に係る商品取出装置としてのロボットのアームに設けた把持機構の構成例を示す図である。 図3は、実施形態に係る商品取出装置としてのロボットの制御系の構成例を示すブロック図である。 図4は、実施形態に係る商品取出装置としてのロボットが参照する商品管理データベースの構成例を示す図である。 図5は、実施形態に係る商品取出装置としてのロボットが参照する棚管理データベースの構成例を示す図である。 図6は、実施形態に係る商品取出装置としてのロボットの動作例を説明するためのフローチャートである。 図7は、実施形態に係る商品取出装置としてのロボットの動作例を説明するためのフローチャートである。 図8は、実施形態に係る商品取出装置としてのロボットの動作例を説明するためのフローチャートである。 図9は、実施形態に係る商品取出装置としてのロボットの把持機構が商品を前方に傾ける状態を説明するための図である。 図10は、実施形態に係る商品取出装置としてのロボットの把持機構が傾けた商品を把持した状態を説明するための図である。
以下、図面を参照しながら実施形態について説明する。
図1は、実施形態に係る商品取出装置(ロボット)1および商品取出装置1と精算装置2とを含む取引システムの外観構成を概略的に示す模式図である。
商品取引装置(以下、単にロボットとも称する)1は、顧客(利用者)に指示された商品を所定の配置位置から取り出す装置である。図1に示す構成例において、ロボット1は、精算装置(レジ)2が設置されるレジ台3とレジ台3の奥側に設置された棚4との間に配置されるものとする。例えば、ロボット1は、顧客が親しみやすいような人物を模した人型の外観を有し、顧客が発する音声から顧客が購入を希望する商品を認識する。ロボット1は、認識した商品を棚4から取り出す。
ロボット1を配置するレジ台3の奥側には、特定の種類の商品を配置する棚4が設置される。棚4に配置される商品としては、煙草、或は、酒類などが想定される。棚4は、前面(正面)をレジ台3側に向けて配置される。棚4には、同一の商品が手前(前面側)から奥側に一列に並べて配置される。棚4の正面には、商品を一列に並べて配置する配置位置(列)に対応する位置ごとにプレートPが設けられる。言換えると、棚4における各プレートPの後ろには、プレートPに対応する同一の商品が並べて配置される。
棚4における各プレートPを設けた各配置位置は、手前(最前面)の商品を取り去るごとに後ろ側の商品が手前に押し出される押し出し機構を有する。押し出し機構によって、各配置位置における列の先頭にある商品(最前面の商品)は、プレートPに押し付けられた状態で保持される。押し出し機構は、弾性部材によって列の最も後ろの商品を前方に押し出す機構であっても良いし、各商品の自重によって各商品が前方に移動する機構であっても良い。
なお、以下に説明する本実施形態では、主として、図1に示すような箱型の形状を有する煙草が商品として棚4に配置される場合を想定して説明するものとする。ただし、棚4に配置する商品は、ロボット1が取出し可能な商品であれば良い。例えば、棚4に配置する商品は、缶、瓶、ペットボトルなどの円筒形の形状を含む商品であっても良い。
精算装置2は、顧客が購入する商品の代金を精算する装置である。図1に示す構成例において、レジ台3に設置される精算装置2は、ロボット1に接続する。ロボット1と精算装置2とは、商品の精算業務を行う取引システムを構成する。例えば、ロボット1が棚4から取り出した商品をレジ台3上に置く場合、精算装置2は、ロボット1からレジ台3に置いた商品を示す情報(商品情報)を取得する。レジ台3に置いた商品の商品情報を取得すると、精算装置2は、取得した商品情報に基づいて精算処理を行う。
図1に示す構成例において、ロボット1は、本体10、センサ11、カメラ12、第1アーム13A、第2アーム13B、アームカメラ16、スピーカ17、マイク18、表示器19、および、情報入力器20などを有する。
本体10は、センサ11、カメラ12、スピーカ17、マイク18、および、表示器19、および、情報入力器20などを正面に設ける。また、本体10は、左右に第1アーム13Aおよび第2アーム13Bを設ける。本体10は、向きを変えられるように機構を具備しても良い。例えば、本体10は、正面をレジ台3側に向けたり、正面を棚4に向けたりできるようにしても良い。また、本体10は、移動する機構を設けても良い。例えば、本体10は、レジ台3または棚4に向かって左右方向に移動するようにしても良い。
センサ11は、本体10の正面に存在する人物を検知する。図1に示すように本体10がレジ台3側に向いていれば、センサ11は、レジ台3に接近してきた人物を検知する。センサ11は、人物の有無を検知できるセンサであれば良い。例えば、センサ11は、赤外線を用いて人物または商品を検知する赤外線センサである。
カメラ12は、本体10の正面における画像を撮影する。本体10の正面がレジ台3側に向いていれば、カメラ12は、レジ台3周辺の画像を撮影する。また、本体10の正面を棚4に向けた場合、カメラ12は、棚4の画像を撮影するようにしても良い。また、カメラ12は、撮影方向あるいは撮影距離などを調整することにより撮影領域を変更する機能を具備するようにしても良い。
第1アーム13Aおよび第2アーム13Bは、それぞれアーム部14と把持機構15とを有する。アーム部14は、ロボット1の本体10に取り付けられた多関節のアームである。把持機構15は、商品を把持する機構である。アーム部14は、把持機構15による把持位置を3次元的に自在に移動させるものであれば良い。例えば、把持機構15は、それぞれアーム部14の先端部に設ける。第1アーム13Aおよび第2アーム13Bは、把持機構15が商品を把持した状態でアーム部14を動かす。これにより、第1アーム13Aおよび第2アーム13Bは、棚4に配置される商品を取り出す動作を行う。
図2は、把持機構15の構成例を示す図である。
図2に示す構成例において、把持機構15は、複数の多関節の指15a、15b、15cを有する。各指15a、15b、15cは、複数の関節を支点に動作する。各指15a、15b、15cは、棚4にある取出対象の商品を前方に傾けながら当該商品を保持するように動作する。把持機構15の指15aは、商品の上方を前方に傾けるための傾け機構である。指15aは、商品の上面(上部)を手前に動かすことで当該商品の上方を前方(手前)に傾ける。また、指15bおよび15cは、指15aが前方に傾けた商品を保持する保持機構である。指15bおよび指15cは、指15aが商品の上方を前方に傾けた状態で当該商品の側面を挟持する。すなわち、図2に示す把持機構15は、棚4に置かれた商品を前方に傾ける傾け機構としての指15aと商品を保持(把持)する保持機構としての指15b、15cとを具備する。
ただし、把持機構15は、複数の指で構成するものに限定されるものではない。把持機構15は、商品の上方を前方に傾ける傾け機構と前方に傾けた商品を保持する保持機構とを含むものであれば良い。例えば、把持機構15の傾け機構は、商品に吸着する吸着機構を具備し、商品の上面に吸着した状態で商品を前方に傾けるものであっても良い。この場合、吸着機構は、商品の外面と接する吸着部における空気圧を変化させて商品に吸着および開放を制御するように構成するものであっても良い。
また、保持機構は、商品の側面に吸着することで商品を把持するものであっても良い。また、保持機構は、棚4に置いた状態での商品の側面の形に応じた形状の挟持機構を有するものであっても良い。具体例として、把持機構15に用いる挟持機構は、商品が円筒形の缶または瓶などであれば、商品の側面の形状に応じた半円状の挟持部材で商品を挟持するように構成しても良い。また、保持機構は、傾け機構が前方に倒す商品を捕らえることにより保持するものであっても良い。
さらに、第1アーム13Aと第2アーム13Bとは、協働して棚4に配置された商品を取り出すようにしても良い。例えば、一方のアーム13A(又は13B)の把持機構15が商品を前方に引き倒し、他方のアーム13B(又は13A)の把持機構15が倒される商品をキャッチ(保持)するようにしても良い。この場合、アーム13Aの把持機構15は、商品を傾けて前方に引き倒す構成とし、アーム13Bの把持機構15は、引き倒された商品をキャッチする構成とすれば良い。引き倒した商品をキャッチする把持機構15は、トレイ、袋、ネット、お椀などで形成した受け部で構成することが考えられる。この場合、引き倒した商品をキャッチする把持機構15は、受け部を反転させてキャッチした商品をレジ台3上などに所定位置に置くことができるようにすれば良い。
アームカメラ16は、3次元空間において撮影位置が移動自在なカメラである。図1に示す構成例では、アームカメラ16は、第1アーム13Aの先端部分に設けられ、第1アーム13Aの動作によって撮影位置が移動する。ただし、アームカメラ16は、第2アーム13Bに設けても良いし、第1アーム13Aおよび第2アーム13Bの両方に設けても良い。また、アームカメラ16は、第1アーム13A又は第2アーム13Bに設けずに、撮影位置の移動自在なカメラとして別途設けても良い。本実施形態において、アームカメラ16は、指定された商品(又は商品の配置位置)を含む画像を撮影する。アームカメラ16が撮影する画像は、商品が実際に存在(実在)する位置を確定するために用いられる。また、アームカメラ16が撮影する画像は、商品を特定する商品特定情報またはプレートに表示された情報を抽出する画像としても用いられる。
なお、商品特定情報は、商品の外観から読み取れる情報であれば良い。例えば、商品特定情報は、商品のパッケージに印刷されているバーコードである。また、商品特定情報は、商品を識別可能な数字や文字などの文字列でも良いし、商品に添付されたラベルの画像でも良いし、商品全体のシルエットなどであっても良い。第1アーム13A又は第2アーム13Bには、商品特定情報としてのバーコードを読取るアームスキャナを設けても良い。バーコードを読み取るアームスキャナは、第1アーム13A又は第2アーム13Bによって移動される読取位置においてバーコードを読み取るようにすれば良い。
スピーカ17、マイク18、表示器19および情報入力器20は、ユーザインターフェースとして機能する。
スピーカ17は、音声を出力する。スピーカ17は、利用者に対して案内などの音声を出力する。マイク18は、音声を入力する。マイク18は、利用者が発した音声を入力する。スピーカ17およびマイク18は、利用者と対話形式で音声の入出力を行う対話装置を構成するものとしても良い。
表示器19は、画像を表示する。例えば、表示器19は、画像またはテキストなどによる利用者への案内などを表示する。
情報入力器20は、情報を入力するための機器である。例えば、情報入力器20は、利用者の年齢を確認するためのボタンである。また、情報入力器20は、利用者の年齢または利用者が有する資格などを確認するための記憶媒体(IDカートなど)を読取るものであっても良い。
次に、実施形態に係る商品取出装置としてのロボット1における制御系の構成について説明する。
図3は、実施形態に係る商品取出装置としてのロボット1の制御系の構成例を示すブロック図である。
図3に示す構成例において、ロボット1は、システムコントローラ(制御装置)21、アーム装置22およびユーザインターフェース23を有するシステムとして構成する。
システムコントローラ(コントローラ)21は、ロボット1における各装置を統括的に制御する。図2に示す構成例において、システムコントローラ21は、プロセッサ31、メモリ32、インターフェース(I/F)33、通信部34、画像メモリ35、センサ11およびカメラ12を有する。
プロセッサ31は、プログラムを実行することにより各種の処理を実現する。プロセッサ31は、たとえば、CPUである。メモリ32は、ROM、RAMおよび書換え可能な不揮発性メモリなどのメモリを含む。例えば、メモリ32は、プログラムおよび制御データなどを記憶する不揮発性のメモリを含む。また、メモリ32は、データを一時的に格納するためのRAMなどのワーキングメモリを含む。
メモリ32が記憶するプログラムには、基本プログラムの他、各種のアプリケーションプログラムが含まれる。アプリケーションプログラムには、後述する各種の処理を実行するためのプログラムなどが含まれる。プロセッサ31は、メモリ32が記憶する各種のプログラムを実行することにより後述する各種の処理を実現する。
インターフェース(I/F)33は、ロボット1にける各装置と通信するためのインターフェースである。
通信部34は、外部装置と通信するための通信インターフェースである。図3に示す構成例において、通信部34は、精算装置2と通信するためのインターフェースを含む。また、通信部34は、各種のデータベース(DB)にアクセスするためのインターフェースも含む。図3に示す構成例において、通信部34は、商品管理データベース41、および、棚管理データベース42などに通信接続するためのインターフェースを有するものとする。商品管理データベース41は、当該店舗で取り扱っている商品に関する情報を記憶するためのデータベースである。棚管理データベース42は、棚4に配置された商品に関する情報を記憶するためのデータベースである。なお、商品管理データベース41、棚管理データベース42などのデータベースは、ロボット1内に具備した記憶装置に設けても良い。
センサ11は、人物を検知する。センサ11は、プロセッサ31に接続される。センサ11は、検知範囲における人物の有無を検知するものであれば良く、人物の検知結果を示す検知信号をプロセッサ31へ供給する。
カメラ12は、画像を撮影する。カメラ12は、プロセッサ31に接続される。カメラ12が撮影する画像は、画像メモリ35に記憶される。カメラ12は、画像の撮影範囲を制御する機能として、プロセッサ31からの制御に応じて向き(撮影方向)などを変えるカメラ駆動機構を具備するものでも良い。
なお、ロボット1は、カメラ12に代えて、ロボット1の外部に設けられるカメラが撮影する画像を取得するカメラインターフェースを設けても良い。さらに、ロボット1は、商品に記載されたバーコードなどの商品特定情報を読取るスキャナを具備しても良い。
システムコントローラ21において、プロセッサ31は、メモリ32に記憶するプログラムを実行することにより種々の処理を実現する。例えば、メモリ32は、プロセッサ31が各装置に制御指示を与えたり、各装置から情報を取得したりするためのプログラムを記憶する。プロセッサ31は、プログラムを実行することにより各装置に制御指示を与えたり、各装置からの情報を取得したりする。例えば、プロセッサ31は、第1アーム13Aまたは第2アーム13Bを用いて棚4にある商品を取り出すことをアーム装置22へ指示する。
また、メモリ32は、商品を特定する商品特定処理を実行するためのプログラムを記憶する。プロセッサ31は、メモリ32が記憶するプログラムを実行することにより商品特定処理などを実現する。プロセッサ31は、商品特定処理として、アームカメラ16が撮影する画像に基づいてアームカメラ16の撮影範囲内にある商品を特定する商品特定処理を行う。
また、メモリ32は、商品を特定する商品特定処理およびプレートに表示された情報(番号)を認識する情報認識処理を実行するためのプログラムを記憶しても良い。これにより、プロセッサ31は、アームカメラ16が撮影する画像からバーコードなどの商品特定情報を検出して商品を特定(認識)する商品特定処理を実行する。また、プロセッサ31は、アームカメラ16が撮影する画像から棚4に設置されるプレートに記載された情報を認識する情報認識処理も実行する。また、プロセッサ31は、カメラ12が撮影する画像からレジ台3の手前(レジ2の手前)にいる利用者の特徴(年齢など)を推測する処理を行うようにしても良い。
次に、ロボット1におけるアーム装置22の制御系の構成例について説明する。
図3に示す構成例において、アーム装置22は、プロセッサ51、メモリ52、インターフェース(I/F)53、アーム駆動機構54、第1アーム13A、第2アーム13Bおよびアームカメラ16などを有する。
プロセッサ51は、プログラムを実行することにより各種の処理を実現する。プロセッサ51は、例えば、CPUである。メモリ52は、ROM、RAMおよび書換え可能な不揮発性メモリなどのメモリで構成する。例えば、メモリ52は、プログラムおよび制御データなどを記憶する不揮発性のメモリを含む。また、メモリ52は、データを一時的に格納するためのRAMなどのワーキングメモリを含む。
インターフェース(I/F)53は、システムコントローラ21と通信するためのインターフェースである。本実施形態において、プロセッサ51は、インターフェース53を介してシステムコントローラ21のプロセッサ31から供給される制御指示に応じて各部を制御するものとする。
アーム駆動機構54は、アーム部14および把持機構15を動作させる。第1アーム13Aおよび第2アーム13Bは、アーム駆動機構54、アーム部14および把持機構15により構成する。例えば、アーム駆動機構54は、システムコントローラ21からの動作指示に応じてアーム部14を動かして把持機構15を把持位置へ移動させる。また、アーム駆動機構54は、システムコントローラ21からの指示に応じて把持機構15を動作させて商品を把持する動作を実行する。
また、アーム駆動機構54は、システムコントローラ21からの指示に応じてアーム部14を動作させて把持機構15が把持する商品を引渡位置(レジ台3の上)へ移動させる。これにより、アーム駆動機構54は、システムコントローラ21からの指示に応じて棚4に配置された商品を把持する。
また、アーム駆動機構54は、システムコントローラ21からの指示に応じてアーム部14を動作させてアーム部14の先端部に設けたアームカメラ16の位置を移動させる。
次に、ロボット1におけるユーザインターフェース(UI)23の制御系の構成例について説明する。
ユーザインターフェース23は、利用者に対して音声あるいは画像などで情報を提供する。また、ユーザインターフェース23は、利用者からの情報を入力し、入力した情報に対する応答としての情報を出力する。ユーザインターフェース(UI)23は、利用者が発する音声を認識し、音声による案内を出力する対話装置としても機能する。
図3に示す構成例において、ユーザインターフェース23は、プロセッサ61、メモリ62、インターフェース(I/F)63、スピーカ17、マイク18、表示器19、情報入力器20などを有する。
プロセッサ61は、プログラムを実行することにより各種の処理を実現する。プロセッサ61は、たとえば、CPUである。メモリ62は、ROM、RAMおよび書換え可能な不揮発性メモリなどのメモリで構成する。インターフェース(I/F)63は、システムコントローラ21と通信するためのインターフェースである。
プロセッサ61は、システムコントローラ21からの指示などに応じてスピーカ17から音声を出力する。また、プロセッサ61は、マイク18に入力された音声情報をシステムコントローラ21へ供給する。これにより、プロセッサ61は、スピーカ17およびマイク18を用いて利用者との対話形式による音声の入出力を行う。また、プロセッサ61は、システムコントローラ21からの指示などに応じて表示器19に情報を表示する。また、プロセッサ61は、情報入力器20に入力された情報を取得する。
なお、商品取出装置としてのロボット1は、精算装置2と一体的に構成しても良い。また、ロボット1は、商品の代金を精算する機能を具備しても良い。さらに、ロボット1には、クレジットカードあるいは電子マネーなどによる決済機能を設けても良い。この場合、ロボット1は、商品の取出しだけでなく、取り出した商品の代金をクレジットカードあるいは電子マネー等で決済することが可能となる。例えば、ロボット1は、顧客が指定する商品を取り出し、決済が完了したら当該商品を顧客に手渡すようにしても良い。また、ロボット1は、顧客が指定する商品の決済を完了してから当該商品の取出しを行うようにしても良い。
次に、商品管理データベース41と棚管理データベース42とについて説明する。
図4は、商品管理データベース41の構成例を示す図である。
商品管理データベース41は、棚4が設置される店舗で取り扱う商品に関する情報を記憶するためのものである。図4に示す例において、商品管理データベース41は、棚4が設置される店舗で取り扱う各商品について、種別、商品ID、商品名(銘柄)、販売条件、価格、店舗在庫などの情報を記憶する。
種別は、商品の種別を示す情報である。商品IDは、商品の識別情報を示す情報である。商品名(銘柄)は、商品の名称を示す情報である。販売条件は、当該商品を販売するための条件を示す。例えば、年齢制限のある商品は、販売条件として販売可能な年齢が記憶される。価格は、商品の代金を示す情報である。店舗在庫は、店舗内にある在庫を示す情報である。店舗在庫は、例えば、在庫の個数を示す情報である。
図5は、棚管理データベース42の構成例を示す図である。
棚管理データベース42は、棚4に配置する商品に関する情報を記憶するものである。図5に示す例において、棚管理データベース42は、棚4が配置する各商品について、種別、商品ID、商品名(銘柄)、棚番号、棚在庫、販売条件、サイズ、配置位置、移動ルートなどの情報を記憶する。
種別は、商品の種別を示す情報である。商品IDは、商品の識別情報を示す情報である。商品名(銘柄)は、商品の名称を示す情報である。棚番号は、商品が配置される場所に設定された番号を示す。棚番号は、商品ごとに設定される番号である。また、棚番号は、当該商品を配置する配置位置に対応して設置されるプレートPに表示される番号(プレートの番号)もある。棚在庫は、棚4に当該商品があるか否かを示す情報である。また、棚在庫は、棚4にあるべき商品の個数を示す情報であっても良い。
販売条件は、当該商品を販売するための条件を示す。例えば、年齢制限のある商品は、販売条件として販売可能な年齢が記憶される。サイズは、商品の大きさを示す情報である。例えば、サイズは、棚4に置いた状態での高さ、幅、奥行きを示す。配置位置は、商品が配置される位置を示す情報である。配置位置は、3次元空間における座標であっても良いし、棚4の前面(正面)における2次元の座標であっても良い。移動ルートは、アーム13Aを待機位置から配置位置に対応する取出位置(後述する)へ移動させるためのルートを示す情報である。移動ルートは、取出処理を実行するごとに追記するようにしても良いし、最新のルートに更新していくようにしても良い。
次に、実施形態に係る商品取出装置としてのロボット1の動作について説明する。
図6乃至図8は、実施形態に係る商品取出装置としてのロボット1の動作例を説明するためのフローチャートである。
待機状態において、ロボット1におけるシステムコントローラ21のプロセッサ31は、レジ台3の近傍を検知範囲とするセンサ11を用いて人物の有無を監視する(ACT11)。センサ11により人物を検知すると(ACT11、YES)、プロセッサ31は、レジ台3周辺を撮影領域(人物検出用の撮影領域)としたカメラ12で画像を撮影する(ACT12)。人物検出用の撮影領域は、センサ11が検知した人物、または、商品の精算などでレジ台3の手前に現れた人物を撮影できるような撮影領域であれば良い。
例えば、プロセッサ31は、レジ台3の手前の空間を含む領域を人物検出用の撮影範囲とするようにカメラ12に設定する。また、プロセッサ31は、センサ11が検知した人物の位置を推定し、推定した人物の位置に応じてカメラ12の向きや位置などを制御しても良い。なお、プロセッサ31は、カメラ12が撮影した画像を画像メモリ35に保存するようにしても良い。また、プロセッサ31は、連続的に複数の画像をカメラ12で撮影し、撮影した複数の画像を画像メモリ35に保存しても良い。
カメラ12によりレジ台3周辺の画像を撮影すると、プロセッサ31は、カメラ12が撮影した撮影画像に利用者としての人物が存在するかを判断する(ACT13)。これにより、プロセッサ31は、カメラ12が撮影する撮影画像からレジ台3の近傍にいる利用者を検出できる。プロセッサ31は、撮影画像からの利用者の検出結果に基づいてレジ台3の近傍に利用者がいるか否かを判断する。利用者がいると判断できない場合(ACT13、NO)、プロセッサ31は、ACT11へ戻り、上述の処理を再度実行する。
利用者がいると判断した場合(ACT13、YES)、プロセッサ31は、ユーザインターフェース23を用いて当該利用者に対する案内を行う(ACT14)。例えば、プロセッサ31は、ユーザインターフェース23のスピーカ17により「いらっしゃいませ」などの挨拶を音声で出力する。
さらに、プロセッサ31は、スピーカ17により棚4にある商品の注文を受付ける旨の注文受付案内を音声で出力するようにしても良い。例えば、プロセッサ31は、「棚にある商品(煙草)の注文を受付けます。希望の商品名または商品に対応するプレート(ネームプレート)の番号を言って下さい」などの音声案内を出力する。また、プロセッサ31は、ユーザインターフェース23の表示器19に注文受付案内を表示するようにしても良い。
利用者に対する注文受付案内を行うと、プロセッサ31は、利用者からの商品の注文を受付ける(ACT15)。注文を受付け可能な状態において、プロセッサ31は、マイク18で取得する音声を解析することにより、利用者が発した商品の注文を受付ける。例えば、プロセッサ31は、マイク18で取得する音声から「商品名」、「番号(プレートの番号)」または「商品名と番号」などのキーワードを認識する。利用者が「10番のたばこを下さい」と発声した場合、プロセッサ31は、「たばこ」、「10番」、「下さい」などのワードを音声認識によって取得する。「たばこ」と「10番」とを音声認識によって取得すると、プロセッサ31は、プレートが10番のたばこが注文されたものと認識する。
商品の注文を受けると、プロセッサ31は、注文された商品が当該ロボット1で取り扱う商品であるかを判断する(ACT17)。例えば、商品名での注文を受けると、プロセッサ31は、棚管理データベース42を参照して、注文を受けた商品(音声で認識した商品名の商品)が棚4に配置されている商品(ロボットが取り扱う商品)であるかを判断する。また、プレートの番号での注文を受けた場合、プロセッサ31は、注文を受けた番号のプレートが棚4に設置されているかを判断するようにしても良い。
注文された商品が取り扱ってない商品である場合(ACT17、NO)、プロセッサ31は、取り扱っていない商品である旨を音声などで案内する(ACT18)。例えば、プロセッサ31は、「申し訳ございませんが、注文された商品は取り扱っておりません」との音声案内をスピーカ17から出力する。また、プロセッサ31は、音声案内だけでなく、取り扱っていない旨の案内を表示器19に表示しても良い。取扱い無しの案内を行った場合、プロセッサ31は、注文された商品に対する一連の処理を終了する。この場合、プロセッサ31は、ACT14へ戻り、次の注文を受けるようにして良い。
注文された商品(注文商品)の取り扱いがある場合(ACT17、YES)、プロセッサ31は、棚4に注文商品の在庫(棚在庫)があるか否かを判断する(ACT19)。例えば、プロセッサ31は、棚管理データベース42を参照して、注文商品(音声認識した商品名の商品)の棚在庫があるかを判断する。また、プロセッサ31は、商品管理データベース41を参照して注文商品の在庫があるかを判断するようにしても良い。
注文商品の在庫がないと判断した場合(ACT19、NO)、プロセッサ31は、注文商品が在庫なし(品切れ状態)であることを案内する(ACT20)。例えば、プロセッサ31は、「申し訳ございませんが、現在品切れとなっております」などの商品の棚在庫がない旨の音声案内をスピーカ17から出力する。また、プロセッサ31は、音声案内だけでなく、在庫がない旨の案内を表示器19に表示しても良い。在庫なしの案内を行った場合、プロセッサ31は、注文された商品に対する一連の処理を終了する。この場合、プロセッサ31は、ACT14へ戻り、次の注文を受けるようにして良い。
注文商品の在庫があると判断した場合(ACT19、YES)、プロセッサ31は、注文商品に販売条件(例えば、年齢制限)があるかを確認する(ACT21)。例えば、プロセッサ31は、棚管理データベース42を参照して注文商品に販売条件があるかを確認する。本実施形態では、棚4に配置する商品として煙草を想定している。煙草は、20歳未満への販売が禁止される商品であり、注文商品に販売条件(年齢制限)がある商品である。
注文商品に販売条件がある場合(ACT21、YES)、プロセッサ31は、当該利用者に注文商品を販売しても良いかを確認する処理を実行する(ACT22)。ここでは、注文商品が20歳未満への販売が禁止される煙草であることを想定して説明する。すなわち、プロセッサ31は、煙草の注文を受けた場合、利用者が20歳以上であるかを確認する処理(年齢確認処理)を実行する。
年齢確認処理は、利用者の申告に基づいて年齢を確認する処理であっても良いし、利用者が提示するIDカードに基づいて年齢を確認する処理であっても良い。前者の場合、プロセッサ31は、情報入力器20において20歳以上であることを申告する申告ボタンへの入力を利用者に要求する。プロセッサ31は、20歳以上であることを申告するボタンへの入力を検知すると、当該利用者へ当該商品(煙草)を販売可能と判断する。この場合、プロセッサ31は、利用者を確認のための顔画像をカメラ12で撮影して保存するようにしても良い。
また、IDカードに基づいて年齢を確認する場合、ロボット1には、情報入力器20としてカードリーダを設置する。この場合、プロセッサ31は、カードリーダによって利用者が提示するIDカードから読取る情報に基づいて利用者の年齢を取得する。利用者の年齢が20歳以上であれば、プロセッサ31は、当該利用者へ当該商品(煙草)を販売可能と判断する。また、プロセッサ31は、カメラ12を用いて利用者が提示するIDカードの券面を撮影し、撮影画像から券面に記載の利用者の年齢を認識(取得)するようにしても良い。
なお、利用者が年齢などを登録済みの登録者(顧客)であることを前提する運用であれば、プロセッサ31は、利用者がどの登録者であるかを特定して年齢を確認しても良い。この場合、プロセッサ31は、利用者が提示するカード等の記憶媒体から読み取る情報、または、利用者から取得する生体情報(例えば、カメラ12が撮影する顔画像)によって個人認証を行うようにすれば良い。
注文商品の利用者への販売が可能であることが確認できない場合(ACT23、NO)、プロセッサ31は、注文商品が販売できない旨を案内する(ACT24)。煙草の注文を受けた場合、プロセッサ31は、利用者が20歳以上であることが確認できなければ、煙草の販売が不可であると判断して販売不可の案内を行う。例えば、プロセッサ31は、「20歳以上であることが確認できないため、販売できません」などの商品が販売不可である旨の音声案内をスピーカ17から出力する。また、プロセッサ31は、音声案内だけでなく、販売不可である旨の案内を表示器19に表示しても良い。販売不可の案内を行うと、プロセッサ31は、当該利用者に対する一連の処理を終了する。
注文商品の利用者への販売可能であることが確認できた場合(ACT23、YES)、プロセッサ31は、注文商品を棚4から取り出す処理を開始する。まず、プロセッサ31は、棚4において注文商品が配置される配置位置に関する情報(配置情報)を棚管理データベース42から取得する(ACT31)。
注文商品の配置情報を取得すると、プロセッサ31は、商品を把持する把持機構15を設けたアーム13A(又は13B)の先端部を移動させる位置(取出位置)を決定する(ACT32)。取出位置を決定すると、プロセッサ31は、決定した取出位置へアーム13A(13B)の先端部を移動させる(ACT33)。例えば、プロセッサ31は、棚4における注文商品の配置位置の正面から所定距離となる位置を取出位置としてアーム13Aの先端部を取出位置へ移動させる。なお、以下の説明では、アーム13Aのアーム部14および把持機構15が注文商品を取り出すものとして説明する。ただし、以下に説明するアーム13Aの動作は、アーム13Bが行うようにしても良い。
また、棚管理データベース42には、棚4に配置する商品ごとにアーム13Aの移動ルートを記憶しても良い。この場合、プロセッサ31は、棚管理データベース42に記憶する移動ルートに基づいてアーム13Aを移動させる。棚管理データベース42には、商品の取出しを実施するごとに実際にアーム13Aを移動させた移動ルートを記録(更新または追記)するようにしても良い。
アーム13Aを移動させると、プロセッサ31は、アームカメラ16で注文商品の配置位置を含む撮影範囲の画像を撮影する(ACT34)。アームカメラ16が画像を撮影すると、プロセッサ31は、アームカメラ16が撮影した画像に基づいて取出可能な注文商品が実在することを確認する(ACT35)。例えば、商品名で注文を受けた場合、プロセッサ31は、注文された商品名の注文商品が棚4に実在すること確認する。
注文商品が棚4に実在することが確認できない場合(ACT36、NO)、プロセッサ31は、注文商品が取出し不可である旨を利用者に報知する(ACT37)。例えば、プロセッサ31は、「申し訳ございませんが、商品が確認できませんでした」などの音声案内をスピーカ17から出力し、一連の注文商品に関する処理を終了する。
また、注文商品が棚4に実在することが確認できた場合(ACT36、YES)、プロセッサ31は、確認した注文商品に対応する位置のプレートPの番号が合っているかを確認する(ACT38)。プロセッサ31は、アームカメラ16の撮影画像から当該注文商品に対応する位置のプレートPに表示された番号を認識する。プレートPに表示された番号を認識すると、プロセッサ31は、認識した番号と当該注文商品のプレートPに設定されるべき番号(注文商品の番号)とが一致するかを確認する。プロセッサ31は、注文商品に対応するプレートの番号が棚管理データベース42に記憶する情報(注文商品に設定されている番号)と一致するかを判断する。
例えば、利用者から「×××(商品名、銘柄)を下さい」という注文を受けて棚4に商品名が「×××」の注文商品が実在することを確認したものとする。この場合、プロセッサ31は、商品名が「×××」の注文商品が配置されている位置を含む撮影範囲をアームカメラ16で撮影する。プロセッサ31は、撮影画像から当該注文商品に対応して設置されるプレートの番号が当該注文商品に設定されている番号と一致するかを確認する。
注文商品に対応するプレートPの番号が合っていない場合(ACT38、NO)、プロセッサ31は、プレートの番号が正しくないことを管理者または店員に報知する(ACT39)。例えば、プロセッサ31は、注文された商品名の商品に対応するプレートの番号に誤りがある旨のメール或はメッセージを管理者又は店員に送る。ここでは、注文された商品名の注文商品が棚4に実在することを確認している。このため、プロセッサ31は、当該注文商品に対応するプレートの番号が正しくないことを管理者に報知した後、ACT40へ進み、当該注文商品の取出しを行う。
なお、商品名の指定無しでプレートの番号での注文を受けた場合、プロセッサ31は、プレートの番号に応じた配置位置にある商品を注文商品とする。この場合、プロセッサ31は、ACT38及び39の処理を省略するようにしても良い。
また、プレートの番号と商品名との両方を含む注文を受けた場合、プロセッサ31は、プレートの番号に応じた配置位置をアームカメラ16で撮影するようにしても良い。この場合、プロセッサ31は、撮影画像から注文された番号(注文番号)のプレートに対応する配置位置に注文された商品名の商品が実在するかを確認するようにしても良い。注文番号のプレートに対応する配置位置に注文商品がなければ、プロセッサ31は、利用者に対して注文商品が無い旨の案内を行うようにしても良い。
例えば、「10番の×××(商品名、銘柄)を下さい」という注文を受けた場合、プロセッサ31は、「10」番のプレートに対応する位置に商品名が「×××」の商品が実在するかを確認する。「10」番のプレートに対応する位置に商品名が「×××」の商品が実在しなければ、プロセッサ31は、「申し訳ございませんが、「×××」は現在品切れとなっております」などの音声案内をスピーカ17から出力するようにしても良い。
また、プレートの番号と商品名との両方を含む注文を受けた場合、プロセッサ31は、棚管理データベース42に基づいてプレートの番号と商品名との整合を確認しても良い。例えば、10番の×××(商品名、銘柄)を下さい」という注文を受けた場合、プロセッサ31は、棚管理データベース42において、「10」番のプレートに配置される商品が「×××」に設定されているかを確認する。「10」番のプレートの配置位置に配置されるべき商品が「×××」で無ければ、プロセッサ31は、「申し訳ございませんが、「×××」は現在品切れとなっております」などの音声案内をスピーカ17から出力するようにしても良い。
注文商品のプレートが合っていると判断した場合(ACT38、NO)、プロセッサ31は、アームカメラ16の撮影画像から注文商品(取出対象の商品)が実在する位置を確認する(ACT40)。棚4には同一商品が手前(正面)から奥に向かって並べて配置されるため、取出対象となる商品は最も先頭(最前面)にある商品となる。ただし、最前面にある取出対象の商品が常に同じ位置および向きにあるとは限らず、所定の配置位置から多少ずれた位置にある可能性がある。このため、プロセッサ31は、実際の撮影画像に基づいて取出対象とする商品が実在する位置を確定する。
取出対象の商品が実在する位置が確定すると、プロセッサ31は、実在する商品の位置に基づいてアーム13Aの位置(取出位置)を調整する(ACT41)。本実施形態において、棚4には手前から奥に向かって一列に並べて配置する商品の直前にプレートPが設けられる。このため、最も手前にある取出対象の商品は、アーム13A側から見みて下方の領域部分がプレートPに隠れる。アーム13Aの把持機構15は、プレートPよりも上部の領域において取出対象の商品を把持する。プロセッサ31は、撮影画像から取出対象の商品のプレートPよりも上方にある領域に応じて取出位置を決めてアーム13Aの把持機構15の位置を調整する。
取出対象の商品が実在する位置に応じてアーム13Aの位置を調整すると、プロセッサ31は、把持機構15が取出対象の商品を把持するための動作を実行する。プロセッサ31は、撮影画像から確定した商品の位置に基づいて棚4に実在する取出対象の商品の上面の位置を特定する。さらに、プロセッサ31は、撮影画像から確定する取出対象の商品の位置および当該商品のサイズなどに基づいて当該商品の両側面の位置を特定する。
商品の上面の位置を特定すると、プロセッサ31は、アーム13Aに設けた傾け機構としての指15aを動作させて取出対象の商品を前方へ傾ける(ACT42)。商品が前方に傾いた状態において、プロセッサ31は、アーム13Aに設けた保持機構としての指15b、15cにより商品を把持(保持)する(ACT43)。保持機構としての指15b、15cが商品を把持すると、プロセッサ31は、アーム13Aのアーム部14を駆動させて指15b、15cが把持する商品を棚4からピックアップする(ACT44)。
図9は、アーム13Aの把持機構15によって商品を前方へ傾けた状態を示す図である。図10は、アーム13Aの把持機構15によって前方へ傾けた商品を把持した状態を示す図である。
図9に示すように、アーム13Aの把持機構15は、傾け機構としての指15aの先端部で商品の上面を押さえながら指15aの先端部を前方(図中に示す矢印a方向)に移動させる。これにより、商品は、上面が前方に動くため、プレートPの上端部Ptを支点として商品の上方が前方に傾く。
また、指15aが商品を前方に傾ける場合、指15bおよび15cは、図9に示すように、指15aによって前方に傾く商品を支える位置で待機する。指15bおよび15cが前方に傾く商品を支える位置は、プレートPの上端部Ptから商品の上面までの高さに設定される。ただし、指15bおよび15cが前方に傾く商品を支える位置は、商品の配置状態、商品の重さ、商品の外形の固さ等の商品ごとの特徴に応じて設定される。
また、図9に示すように、指15aによって上面が前方に動かされる商品は、プレートPの上端部Ptを支点に前方に傾く。このため、プレートPの上端部Ptから商品の上面までの中間よりも高い位置であれば、指15bおよび15cは、前方に傾いた商品の側面を挟持しやすくなると考えられる。従って、指15bおよび15cが前方に傾く商品を支える位置は、プレートPの上端部Ptから商品の上面までの中間よりも高い位置に設定しても良い。
指15aが所定の角度まで商品を前方に傾けると、保持機構としての指15bおよび15cは、図10に示すように、前方に傾いた状態の商品の側面を把持(挟持)する。指15bの先端部と指15cの先端部とは、互いに商品の両側面を押さえることにより商品を挟持する。商品を把持(挟持)した指15bの先端部と指15cの先端部とは、上方(図10中に示す矢印bの方向)に動くことにより当該商品を棚4から取り出す。なお、棚4において、取り出された商品の列は、取り出した商品の分だけ後方から押し出され、取り出した商品の次に並んでいた商品がプレートPに接した状態となる。
また、ACT42−44の処理は、一方のアームの把持機構で商品を手前に倒し、他方のアームの把持機構で手前に倒れる商品を保持するようにしても良い。例えば、プロセッサ31は、一方のアーム13Aの把持機構15によって取出対象の商品の上面を前方へ移動させて当該商品を前方へ倒す。また、アーム13Aの把持機構15が商品を倒す前に、プロセッサ31は、他方のアーム13Bの把持機構15を前方に倒れてくる商品をキャッチする位置に移動させておく。これにより、アーム13Aの把持機構15が商品を前方に倒すと、アーム13Bの把持機構15は、前方に倒れる商品をキャッチ(保持)することができる。
さらに、把持機構15は、商品を手前に傾けても把持できない場合、指15aを商品の上面に乗せ、指15b、15cで商品の両側面の上部を挟むように挟持しても良い。この場合、アーム部14は、指15b、15cで両側面の上部を挟持した商品を真上に上げてから手前に引っぱるように動作させるようにしても良い。また、アーム部14は、指15b、15cで両側面の上部を挟持した商品を斜め上方に引き上げるように動作させても良い。
プロセッサ31は、把持機構15が把持する商品をピックアップ(保持)すると、アーム13Aのアーム部14を駆動させて当該商品を引渡位置に移動させる(ACT51)。例えば、プロセッサ31は、アーム13Aの把持機構15が把持する商品を引渡位置としてのレジ台3上に運ぶように制御する。この場合、アーム13Aは、把持機構15が把持して棚4からピックアップした商品をレジ台3へ移動させる。これにより、棚4にあった注文商品は、アーム13Aによって取り出されてレジ台3上に運ばれる。
なお、棚4から取出した商品を移動させる引渡位置は、レジ台3の上に限定されるものではない。例えば、プロセッサ31は、アーム13Aの把持機構15が把持する商品を利用者に直接手渡すような制御を行うようにしても良い。
商品を引渡位置に運ぶと、プロセッサ31は、取り出した商品(レジ台3に置いた商品)に関する情報を棚管理データベース42に記憶する(ACT52)。例えば、プロセッサ31は、当該商品の取出しを実行した取出位置を示す情報をメモリ32に記憶する。また、プロセッサ31は、取出処理を行った商品に対応づけて当該商品の取出しを実行した取出位置などの情報を棚管理データベース42に記憶しても良い。
プロセッサ31は、商品を引渡位置へ移動させた後、取り出した商品(レジ台3に置いた商品)を示す情報を精算装置2へ通知する(ACT53)。これにより、精算装置2は、ロボット1が棚4から取り出してレジ台3に置いた商品の情報を精算対象の商品の情報として取得する。精算装置2は、プロセッサ31からの商品の情報に基づいてロボット1が棚4から取り出した商品を含む商品代金の精算処理が実行できる。
なお、プロセッサ31は、精算装置2での精算が完了するまで、把持機構15が把持する商品(棚4から取り出した商品)を開放しないようにしても良い。つまり、把持機構15は、棚4から取り出した商品をすぐにレジ台3に置かずに、精算装置2での精算が完了した後に当該商品をレジ台3に置くように制御しても良い。
商品を引渡位置へ移動させた後、プロセッサ31は、商品を取り出した後の棚の状態などを確認する棚チェック処理を行うようにしても良い。例えば、センサ11が検知する利用者が居なくなった場合、利用者から次の商品の注文を直に受けることがないと予測される。このため、プロセッサ31は、センサ11が検知する利用者が居なくなった場合に、棚チェック処理を行うようにしても良い。この場合、プロセッサ31は、センサ11が利用者を検知している間は在庫チェック処理を実行しないようにしても良い。
棚チェック処理を実行する場合(ACT54、YES)、プロセッサ31は、取り出した商品があった位置を含む領域の画像を撮影するためにアームカメラ16を移動させる(ACT55)。図1に示す構成例では、アームカメラ16は、把持機構15とともにアーム13Aの先端部に設けられている。このため、プロセッサ31は、商品の取出しを実行した取出位置にアームカメラ16(アーム13Aの先端部)を移動させる。つまり、アーム13Aの先端部にあるアームカメラ16は、取出した商品があった位置を撮影するために商品の取出しを行った取出位置へ移動させるものとする。
アームカメラ16が取出位置に移動すると、プロセッサ31は、アームカメラ16で商品があった位置を含む領域の画像を撮影する(ACT56)。アームカメラ16が画像を撮影すると、プロセッサ31は、アームカメラ16が撮影した画像に基づいて取り出した商品があった位置に次の商品が存在するかを判定する(ACT57)。
取出した商品があった位置に次の商品が無ければ(ACT57、YES)、プロセッサ31は、棚4に補充すべき取り出した商品と同一の商品の在庫(以下、店舗在庫と称する)があるかを判定する(ACT58)。例えば、プロセッサ31は、商品管理データベース41を参照して取り出した商品に対する店舗在庫があるかを判定する。
店舗在庫があると判定した場合(ACT58、YES)、プロセッサ31は、棚4に当該商品を補充すべき旨を管理者または店員に報知する(ACT59)。例えば、プロセッサ31は、棚4に商品を補充すべきこと、あるいは、棚4に補充すべき商品を示す情報をメール或はメッセージで管理者または店員に通知する。具体例として、プロセッサ31は、「商品棚に×××がありません。補充をお願いします」などのメール或はメッセージを管理者または店員に通知する。
店舗在庫がないと判定した場合(ACT58、NO)、プロセッサ31は、取出した商品に対する店舗在庫がない旨を管理者または店員に報知する(ACT60)。例えば、プロセッサ31は、当該商品が棚4に無く、店舗在庫も無いことをメール或はメッセージで管理者または店員に通知する。具体例として、プロセッサ31は、「商品棚にも在庫にも×××がありません。発注をお願いします」などのメール或はメッセージを管理者または店員に通知する。
また、プロセッサ31は、棚4における当該商品の有無を示す情報を棚在庫として棚管理データベース42に記憶する(ACT61)。例えば、取出した商品があった位置に次の商品が有れば、プロセッサ31は、取出した商品に対する棚在庫が有ることを棚管理データベース42に記憶(更新)する。また、取出した商品があった位置に次の商品が無ければ、プロセッサ31は、取出した商品に対する棚在庫が無いことを棚管理データベース42に記憶(更新)する。
さらに、プロセッサ31は、商品があった位置をアームカメラ16で撮影した後、アーム13Aを取出位置から所定の待機位置へ移動させる(ACT62)。例えば、プロセッサ31は、アーム13Aが取出位置から待機位置へ移動するためのルート(アーム13Aの駆動手順)を算出する。プロセッサ31は、算出したルートでアーム13Aを待機位置へ移動させる。また、プロセッサ31は、アーム13Aを取出位置から待機位置へ移動させるルートを棚管理データベース42に記憶する(ACT63)。
ロボット1は、待機状態においてアーム13Aを所定の待機位置で待機させる。このため、次に利用者から注文を受けた場合、ロボットは、アーム13Aを待機位置から次の注文商品の取出位置へ移動させることとなる。同一商品(同一の商品名の商品)がほぼ同じ取出位置であれば、取出位置から待機位置へ移動するルートの逆ルートは、待機位置から取出位置へ移動するための移動ルートとなり得る。このような取出位置から待機位置への移動ルートを棚管理データベース42が記憶しておく。これにより、次に同一商品の取出しを行う場合、ロボット1は、過去に使用したルートに基づいてアーム13Aを移動させる移動ルートを決めることが可能となる。
以上のように、実施形態に係る商品取出装置は、一列に並べた同一商品が前面に詰めて配置される棚から最前面にある1つの商品を取り出すロボットである。ロボットは、アーム、把持機構およびコントローラなどを有する。アームは、把持機構を設け、空間にける把持機構の位置を移動させる。コントローラは、アームを動作させることにより棚に配置された取出対象の商品の位置に応じた取出位置に把持機構を移動させる。把持機構は、取出位置において取出対象の商品を手前方向に傾けながら側面を把持する。アームは、把持機構が把持した商品を棚から取り出して引渡位置へ移動させる。これにより、商品取出装置は、棚に配置された商品の両側にスペースが無くても、把持機構が前方に傾けた商品の両側面を把持することでき、確実な商品の取出しが実現できる。
また、上述したように、実施形態に係る商品取出装置は、2つのアームを具備するようにしても良い。一方のアームに設けた傾け機構が取出対象の商品を手前方向に傾けて前方に倒し、他方のアームに設けた把持機構が前方に倒れる商品を保持する構成しても良い。これにより、簡易な構成で棚の最前面にある1つの商品を取り出すことが可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…商品取出装置(ロボット)、2…精算装置(レジ)、3…レジ台、11…センサ、12…カメラ、13A、13B…アーム、14…アーム部、15…把持機構、15a…指(傾け機構)、15b、15c…指(保持機構、挟持機構)、16…アームカメラ、18…マイク、21…システムコントローラ(制御装置)、22…アーム装置、23…ユーザインターフェース。

Claims (5)

  1. 前面から奥行方向に向かって同一商品を並べて配置する棚に対して、前記棚に配置される各商品の配置位置に応じた取出位置に先端部が移動するアームと、
    前記アームの先端部に設けられ、前記棚に配置された取出対象の商品の上面に接して前記取出対象の商品を手前方向に傾ける傾け機構と、
    前記傾け機構によって手前方向に傾けた前記取出対象の商品を保持する保持機構と、
    を有する商品取出装置。
  2. 前記傾け機構は、前記アームの先端部に設けられた多関節の指である、
    請求項1に記載の商品取出装置。
  3. 前記保持機構は、前記傾け機構によって前記取出対象の商品の上面を手前方向に傾けた状態において前記取出対象の商品の側面を挟持する、
    請求項1または2の何れか1項に記載の商品取出装置。
  4. 前記傾け機構は、前記取出対象の商品を傾けて前方に倒し、
    前記保持機構は、前記傾け機構によって前方に倒れる前記取出対象の商品を保持する、
    請求項1または2の何れか1項に記載の商品取出装置。
  5. さらに、利用者が発生する音声を入力するマイクと、
    前記マイクによって入力する音声から取出対象の商品を認識し、前記取出対象の商品の配置位置に応じた取出位置を特定するコントローラと、を有する、
    請求項1乃至4の何れか1項に記載の商品取出装置。
JP2018213763A 2018-11-14 2018-11-14 商品取出装置 Pending JP2020078856A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018213763A JP2020078856A (ja) 2018-11-14 2018-11-14 商品取出装置
CN201910656692.8A CN111185913A (zh) 2018-11-14 2019-07-19 商品取出装置
US16/535,791 US20200147814A1 (en) 2018-11-14 2019-08-08 Commodity take-out apparatus
EP19192629.4A EP3654304A1 (en) 2018-11-14 2019-08-20 Commodity take-out apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018213763A JP2020078856A (ja) 2018-11-14 2018-11-14 商品取出装置

Publications (1)

Publication Number Publication Date
JP2020078856A true JP2020078856A (ja) 2020-05-28

Family

ID=67659512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018213763A Pending JP2020078856A (ja) 2018-11-14 2018-11-14 商品取出装置

Country Status (4)

Country Link
US (1) US20200147814A1 (ja)
EP (1) EP3654304A1 (ja)
JP (1) JP2020078856A (ja)
CN (1) CN111185913A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155479B2 (ja) * 2017-05-15 2022-10-19 Thk株式会社 ハンド機構、把持システム、および把持プログラム
US11628561B2 (en) * 2019-08-19 2023-04-18 The Hong Kong University Of Science And Technology System and methods for robotic precision placement and insertion

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09323281A (ja) * 1996-05-31 1997-12-16 Shinko Electric Co Ltd 書籍取出し用のロボットハンド
JP3395061B2 (ja) * 2000-02-21 2003-04-07 学校法人金沢工業大学 図書館の蔵書自動出納システムと図書館の蔵書出納ロボットならびに図書館の蔵書出納ロボットのハンド機構
ITMO20020050A1 (it) * 2002-02-28 2003-08-28 Ferrari & Cigarini Srl Dispositivo per la depalletizzazione di pacchi di piastrelle
WO2007130529A2 (en) * 2006-05-02 2007-11-15 Munroe Chirnomas Automated store for selling articles
JP5516366B2 (ja) * 2010-06-11 2014-06-11 株式会社安川電機 サービス提供システム及びサービス提供方法
JP5366031B2 (ja) * 2011-10-17 2013-12-11 株式会社安川電機 ロボット仕分けシステム、ロボット装置、及び仕分け済み物品の製造方法
CN206011103U (zh) * 2016-08-29 2017-03-15 昆山塔米机器人有限公司 仿人型机器人自动售卖机

Also Published As

Publication number Publication date
CN111185913A (zh) 2020-05-22
US20200147814A1 (en) 2020-05-14
EP3654304A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
JP7248689B2 (ja) 自動販売方法および装置、ならびにコンピュータ可読記憶媒体
JP6916015B2 (ja) 販売データ処理装置およびプログラム
JP6369258B2 (ja) 商品登録装置、商品登録方法およびプログラム
JP6730076B2 (ja) 商品販売データ処理装置、商品販売データ処理システムおよびプログラム
JP2015018506A (ja) 商品認識装置及び商品認識プログラム
JP2020078856A (ja) 商品取出装置
US20190220690A1 (en) Systems and methods of object identification and database creation
US20120037699A1 (en) Code reading apparatus and code reading method
JP7156916B2 (ja) 商品取出装置
JP2017091394A (ja) 商品読取装置、店舗会計システム及びプログラム
JP2016057813A (ja) 商品管理システムおよび商品管理方法
JP6547856B2 (ja) 情報表示装置、誘導表示方法およびプログラム
JP6873711B2 (ja) 商品認識装置
US10210361B1 (en) Systems and methods for checkouts, scan portal, and pay station environments with improved attendant work stations
JP7106331B2 (ja) 商品読取システム
JP2019101507A (ja) 認識システム、それを用いた収容システム、及び買物支援システム、並びに収容制御方法及びプログラム
JP2019185564A (ja) 商品読取システム
JP2023077805A (ja) 決済者監視装置及びそのプログラム、決済者監視方法
TWI706754B (zh) 菸草商品陳列架
JP2019001622A (ja) ピッキングシステム
US20220388777A1 (en) Picking trolley, picking system, and picking program
JP2019185562A (ja) 商品読取システム
JP6708775B2 (ja) 商品読取装置、店舗会計システム及びプログラム
US20230169577A1 (en) Transaction session for wearable processing device
JP5863861B2 (ja) 商品認識装置およびプログラム