JP2017515176A - 出入り口における認証システム - Google Patents

出入り口における認証システム Download PDF

Info

Publication number
JP2017515176A
JP2017515176A JP2016552290A JP2016552290A JP2017515176A JP 2017515176 A JP2017515176 A JP 2017515176A JP 2016552290 A JP2016552290 A JP 2016552290A JP 2016552290 A JP2016552290 A JP 2016552290A JP 2017515176 A JP2017515176 A JP 2017515176A
Authority
JP
Japan
Prior art keywords
robot
depth sensor
target
article
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016552290A
Other languages
English (en)
Inventor
カズンズ,スティーブ
ビニー,ジョナサン
ロッキー,チャド
カノソ,アドリアン
Original Assignee
サビオーク インク
サビオーク インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サビオーク インク, サビオーク インク filed Critical サビオーク インク
Publication of JP2017515176A publication Critical patent/JP2017515176A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

システムは、第1の位置から目標領域まで自律運転するように構成された少なくとも1つのロボットを含むことができ、少なくとも1つの前記ロボットが一般的に円筒形状を有し、そして、前記ロボットが、少なくとも1つの搬送物品を保管するための保管容器と、前記ロボットの頂部に近接して取り付けられている少なくとも1つの画像ベースの深度センサと、目標領域まで運転し、前記搬送物品の搬送目標を認証するように構成された制御装置と、を含んでいる。【選択図】 図1C

Description

本開示は一般的に、搬送用移動ロボットのための所定の場所における人及び/又は物体の認証に関し、戸口及び/又は出入り口のような特定の場所における人の認証を含むものである。
自律移動ロボットを使用して小荷物の搬送又は受取を促進することは、ホテル、養護施設、アパート、又はオフィスビルを含む接客場所におけるスタッフ及び入居者へのサービスを改善することができる。例えば、宿泊客はルームサービスを注文することができ、そして、自律型ロボット搬送サービスが宿泊客の注文を宿泊客の部屋のドアまで直接搬送することができる。搬送物受領者の認証後に、小荷物は宿泊客に利用可能となることができる。
認証は、典型的には、宿泊客が自分自身を識別する意図的な行動をとることが必要となる。例えば、受領者は、身元を確認して小荷物の引き渡しを可能にするために、その搬送のために署名することができ、提供されている無線自動識別(RFID)ドングル又はキーカードを使用することができ、又はパスコードを入力することができる。ホテルのような環境において、受領者は、認証のために彼らのルームキーをカードリーダーに通すことができる。その代わりに、ホテル利用見込み客が、チェックイン時に、顔画像、指紋、又は声紋サンプルのような生体データを提供することもできる。全てのこれらの機構は、彼ら自身を認証するために受領者が意図的な行動をとることを必要とし、このことは多くの人にとっては不当なプライバシーの侵害であると考えられ、又は習得して実施することが困難な特殊な使用者動作を必要とするものである。
実施形態は、特定の場所における指定された人の認証のためのシステム、方法及び装置を含むことができる。いくつかの実施形態において、システムは、低費用センサシステムを有するロボットを含むことができ、そして、出入り口又は地理的場所と相互作用することができる。特定の実施形態においては、物品を引渡す前に、開放された戸口又は出入り口の敷居のような領域又は人を認証することをセンサシステムが補助するように構成することもできる。
様々な実施形態による人への物品の搬送及び認証を示す図である。 様々な実施形態による人への物品の搬送及び認証を示す図である。 様々な実施形態による人への物品の搬送及び認証を示す図である。 様々な実施形態による人への物品の搬送及び認証を示す図である。 複数の実施形態によるロボットの様々な図である。 複数の実施形態によるロボットの様々な図である。 複数の実施形態によるロボットの様々な図である。 複数の実施形態によるロボットの様々な図である。 複数の実施形態によるロボットの様々な図である。 複数の実施形態によるロボットの様々な図である。 ある環境内で操作されるロボットに取り付けられた深度センサを示す漫画図である。 実施形態による回転可能な、一般的に円筒形のロボットに取り付けられた複数の深度センサを有するロボットの一例を示す図である。 複数の実施形態によるロボットのセンサの視野を示す図である。 複数の実施形態によるロボットのセンサの視野を示す図である。 1つの特定の実施形態によるロボットの斜視図である。 実施形態によるロボット運転のフロー図である。 もう1つの実施形態によるロボット運転のフロー図である。 更なる実施形態によるロボット運転のフロー図である。 実施形態によるロボット運転を示す一連の図である。 実施形態によるロボット運転を示す一連の図である。 実施形態によるロボット運転を示す一連の図である。 特定の実施形態によるロボット運転のフロー図である。
図1Aは、特定の実施形態によるシステム及び方法を示す一連のパネルを図示している。図示される実施形態において、システムは、人に物品を搬送して認証するための方法を実施することができる。
方法101は、所定の領域内に位置する人が1つ以上の物品を注文することを含むことができる。第1のパネル103に図示されているように、特定の実施形態において、このことは、宿泊客が食べ物、飲み物、お菓子、洗面道具、雑誌、本、又は他の雑貨のような物品を注文することを含むことができる。注文はどんな適切な方法を使用して達成してもよく、電話又はタブレットのための移動アプレット、ウェブページ交流、ケーブルテレビインタフェースを使用することができ、又は単純にコンシェルジュ又は他のホテル従業員に電話することもできるが、限定されるものではない。
方法101はさらに、注文が受領されるとロボットの保護可能な保管容器内に特定の物品が配置されることを含むことができる。そのような動作は完全に自動化されたシステムにより実行することができ、又は、一部は人の補助が必要なシステムにより実行することができる。図示された実施形態においては、第2のパネル105に示されているように、注文はホテル内の特定の場所で人(例えば、コンシェルジュ)により受領されることもでき、(例えば、ホテル内の店又は商品倉庫において)所望の物品107が見つかったら、その後、移動ロボット100の上部からアクセス可能である保護可能な容器116内に配置される。ロボットの保護可能な保管容器116内に物品が配置されると、容器は保護されることができる(例えば、閉鎖されて施錠される)。そのような閉鎖及び施錠は、自動操作であることができ、人により実施されることもでき、又は、その組み合わせであることもできる。
方法101はさらに、搬送物品を安全に収容して、搬送場所に向かうロボットを含むことができる。いくつかの実施形態において、そのような動作は、適切な手段によりロボット100が目的地情報を受信し、注文に対応する部屋(指定された部屋)へ向かうことを含むことができる。いくつかの実施形態において、このことも自動化された工程とすることができ、有線又は無線接続を介して、指定された部屋の情報がロボット100に送信される。特定の実施形態においては、人(例えば、コンシェルジュ)がロボット100に取り付けられたインタフェースに手動で部屋番号を入力することにより、ロボット100を指定された部屋に向かわせることができる。該インタフェースは、タブレット型インタフェース又はキーボードを含むが、限定されるものではない。
方法101はさらに、搬送物品を受け取った場所から指定された搬送位置まで自律運転するロボットを含むこともできる。そのような動作は、移動中に固定された物体及び移動している物体を回避することを含むこともできる。いくつかの実施形態において、このことは、ビル内、複数のビルからなるキャンパス内、又はより大きな地理的地域内を運転することを含むこともできる。図示される実施形態において、第3のパネル109から分かるように、ロボット100は、指定された部屋への経路を潜在的に妨害している物体又は他の宿泊客を避けながら、環境122(例えば、ホテル)の廊下を通って自律運転することができる。
方法101はさらに、搬送場所に到着して、搬送場所に関連付けされた特定の領域に停止するロボットを含むことができる。いくつかの実施形態において、物品の到着を知らせる通知を発生させることができる。認証動作後に、保護可能な保管容器は物品を取り出すことを可能にする。このことは、保管容器が開放され、又は開錠されることを含むことができるが、限定されるものではない。図示される実施形態において、第4のパネル111に図示されているように、ロボット100は、注文した宿泊客のドアの前であることができる目標領域132に到着することができる。物品の到着を知らせるために宿泊客に通知をすることができる。いくつかの実施形態においては、このことは、人(例えば、コンシェルジュ)が宿泊客に(例えば、電話、電子メッセージ等で)連絡をしてドアにロボットが存在することを知らせること、又は、宿泊客に自動メッセージを送信する(例えば、移動アプレット又は他の電子インタフェースにより宿泊客にロボットの到着を知らせることができる)ことを含むことができる。特定の実施形態においては、追加的に又は代替的に、ロボット100は、ロボットに取り付けられたスピーカーを有するタブレット、ロボットの内蔵スピーカー等により生成される音声信号又は視覚信号を含む適切な通知を提供することができる。他の実施形態においては、ロボット100は、通知を提供するために、物理的にドアをノックするように操作されることができる。ドアが開いたら、ロボット100は、認証を完了して宿泊客が物品107を取り出すことを可能にすることができる(例えば、物品を事前設定し、開錠し、そして蓋を開ける等)。認証は、追加的な電子又は生体識別技術と併用して、又は単独で、ドアが開いたことを識別することを含むことができるが、限定されるものではない。
図1B、図1C及び図1Dは、実施形態による、障害物を含む領域を通って搬送領域に至るロボットの移動を示し、同様に、搬送を完了するための容器の開放を示す一連の上から下に見る漫画図である。
いくつかの実施形態において、搬送する物品を収容するロボットは、固定された障害物及び移動している障害物を回避して、搬送領域に到達することができる。図1Bの実施形態において、ロボット100は、様々な障害物を有する廊下122(環境)を通ってドア113に隣接して位置している搬送領域134まで運転することができる。そのような運転は、ドア113の前の目標領域134内にロボット自体を配置するために、ロボット100が廊下122を通り抜けて、カート115及び人126のような障害物を回避して運転することを含むことができる。図1Bには、ドアの開く角度117として図示されているように、内側に開くドア113に適切な目標領域が図示されている。
いくつかの実施形態において、搬送場所における特徴は搬送領域を識別及び/又は確認するために使用することができる。図1Cの実施形態において、ロボット100は、ドア113に隣接した搬送領域134まで移動することができる。図1Cに図示されているように、廊下122(環境)は、室内へのドア113を有する壁170により一方の側の境界をつけられることができる。保護された容器116を有するロボット100は、矢印132により示される方向に、点線で輪郭が描かれている搬送領域134まで自律運転することができ、該搬送領域134はドア113の正面の少し横側に配置されている。
いくつかの実施形態において、ロボットは搬送領域に到着して搬送物品の回収を可能にすることができる。特定の実施形態において、ロボットは、物品への容易なアクセスを提供するために所定の方法でロボット自体を適切な方向に向けることができる。図1Dの実施形態においては、ロボットが注文した宿泊客の部屋に対応するドア113に隣接した搬送領域134に到着すると、ロボット100はドア113の開放に伴い引き渡しを完了することができる。いくつかの実施形態において、このことは容器116の開錠を含むことができる。特定の実施形態においては、ロボット100は搬送領域134まで移動し、宿泊客による回収が容易な位置に容器が存在するように(矢印133により示されているように)その場で回転することができる。ドア113が開くと、ロボット100は認証を完了し(事前に選択されたドアの開放を認証工程の一部として使用し)、宿泊客による容器116内に配置された物品の取り出しを可能にすることができる。いくつかの実施形態において、このことは容器116の蓋の開錠及び開放を含むことができる。
実施形態は、ホテル内のドアに関連した搬送領域を示しているが、あらゆる適切な場所を搬送領域とすることができる。例えば、出入り口又は玄関領域、定義された搬送領域、指定されたレストランのテーブル、客で占められた受付又は会議室の椅子、プールサイドのラウンジ、又は生体認証された客を搬送領域にする、又は利用して搬送領域を導き出すこともできる。
実施形態は、ロボットが客に物品を搬送することを図示しているが、搬送は他のあらゆる仕事のためであることができる。例えば、ロボットは、清掃員のカートに清掃用品又は洗浄剤を搬送することに使用することができ、他の実施形態においては、ロボットは、その後の集荷のために他のロボットに物品を搬送することもできる。
搬送領域を識別するために、又は、搬送領域を識別することを補助するために、ロボットは、画像センサ、深度(depth)センサ、位置センサ等を使用することができる。該センサは、部屋番号を識別し、ドアの開放が発生したかを判定するために使用されることができる。能動的又は受動的識別システムを使用することができ、無線自動識別(RFID)タグ、Bluetoothビーコン、QRコードマーキング、超音波エミッタ、又は他の適切な領域又は目標識別メカニズム又はマーキングシステムを含むが、限定されるものではない。そのようなセンサはロボット自体に取り付けることができるが、いくつかの実施形態においては、センサの一部又は全てをロボットと分離することができ、そして、ロボットにデータを送信することができる、又はそのようなデータをロボットが取得することができる。
指定された搬送領域を測定し、認証を補助するための1つの使用可能な実施形態においては、ロボットは、(ドアの寸法が標準的であれば)事前に計算された、又は局所的に決定された三次元(3D)ドア開放モデルを使用することができる。例えば、ロボット100がドアの前に配置されるとすぐに、深度センサ又は他の適切な3Dセンサを使用してドアの寸法及び位置を測定することにより、ドアの状態(開いているか閉じているか)を検出することができる。典型的に、ドアは床から垂直な平面上に配置され、ヒンジ上で回転する。ドアが開閉すると、床に沿って弧が描かれる。3Dセンサデータは、このモデルのドア及びその周りの壁に適している。検出されたドアの平面の方位と検出された壁及び地図とを比較することにより、ロボットはドアの角度を推定し、開いている状態か閉じている状態かを判断し、そして、ドアの開放によりドアがロボットに接触するか否かを判断することができる。ロボットは、開かれたドアに接触することを防止しながら、引き渡しを容易にする位置にロボット自体を配置するモデルを使用することができる。特定の実施形態において、ロボットは、引き渡し時においても戸口を通る宿泊客の出入りを可能にする妨害しない位置にロボット自体を配置することができる。
ホテルのような、いくつかの型のビルにおいては、ドアは通常施錠されており、多くの場合、ドアは内向きに開かれる。室内にいる人、又はドアを開けられる人は、ホテルによりある程度認証されている。ホテル内の安価な物品の搬送においては、この程度の認証は多くの場合において十分なものである。実際には、ロボットがドアの開放を検出したら人が荷物を取り出せるように、ロボットは容器又は荷物運搬装置を開錠するようにプログラムされることができる。個々のホテル又は施設は、ホテル従業員とのタブレットを介したビデオインタフェースの使用により、搬送品を受け取る人にタブレット上で署名してもらうこと、磁気帯又は無線自動識別(RFID)による宿泊客のキーカードの検出、チェックイン時に宿泊客のために作成される暗証番号(PIN)、又は他の適切な手段により、必要であればこの認証技術を他の技術で向上させることができる。より高度な生体認証を使用することもでき、生体認証には指紋認証、声紋分析、又は顔画像認証が含まれるが、限定されるものではない。
いくつかの実施形態においては、搬送された物品を取り出したことが推定されると、蓋は自動的に閉じられ、再度施錠される。他の実施形態においては、物品が取り出されたことを確認するために能動的手段を使用することができ、能動的手段には、物品の取り出しを検出するために取り付けられた重量又は圧力センサ、無線自動識別(RFID)タグ、撮像装置、超音波センサが含まれるが、限定されるものではない。
理解されるように、搬送には様々な手段を使用することができる。例えば、いくつかの実施形態においては、1つ以上の型の搬送には施錠された容器は不要であり、ロボットに単に物品が積み込まれ、搬送領域まで自律運転し、認証し(即ち、ドアの開放を検出し)、そして引き渡しのために物品を提示することができる。
もう1つの搬送工程においては、物品はロボットの内部の、又は一方の側(例えば、後方)の施錠可能な容器内に配置され、ロボットは搬送領域(例えば、ドア)まで移動し、認証し(例えば、宿泊客と相互作用し)、引き渡しのために物品を保持している側部又は後部容器を提示するために回転する。
図2Aは実施形態に含まれるロボット200の側方図であり、図2Bは実施形態に含まれるロボット200の上方図である。ロボット200は、1つ以上の深度センサ202、本体204及び移動システム206を含むことができる。深度センサ202は、ロボット本体204内部及び/又はロボット本体204上に取り付けることができる。深度センサ202は、比較的低い視野(FOV)を有することができる。いくつかの実施形態においては、比較的低い視野とは一方向において180度より下であり、特定の実施形態においては、一方向において90度より下であり、更なる特定の実施形態においては、一方向において65度よりも下である。図2Aに図示されているように、深度センサ202は、ロボット200のすぐ前の領域を含む視野208のために下向きの角度を有することができる。特定の実施形態において、視野208はロボット200自体の一部を含むことができる。複数の深度センサ202を有する実施形態において、そのような深度センサ202は異なる視野角度を有することができ、又は同じ視野角度を有することができる。
追加的に又は代替的に、深度センサ202は比較的低い視野を有することができ、そして、ロボット200の前方の領域を含む視野208’のために(ロボットの前方移動に対して)前向きの角度を有することができる。いくつかの実施形態において、ロボット200は、図示される視野(208又は208’)の1つを有する1つの深度センサ202を含むことができる。代替的に、ロボット200は、複数の視野方向(例えば208及び208’)の間で移動可能な深度センサ202を含むことができる。他の実施形態において、ロボット200は、異なる視野を有する(例えば、1つが視野208を有し、もう1つが視野208’を有する)複数の深度センサ202を含むことができる。
いくつかの実施形態において、深度センサ202は、ビーム放射装置による画像取込を組み合わせることにより動作することができる。特定の実施形態において、深度センサ202は、画像センサ及びいくつかのスペクトルの光(例えば、赤外線、可視光線、又は紫外線)を放射する放射装置を含むことができる。画像センサは物体により反射された放射光により物体を検出することができる。
1つ以上の深度センサ202は本体204に固定的に取り付けられることができる。そのような実施形態において、視野よりも広い領域をスキャンするために、ロボット200は、固定されたセンサで周囲をスキャンすることを可能にするために回転運動が可能である。他の実施形態において、1つ以上の深度センサ202は本体204に可動に取り付けられることができる。特定の実施形態において、そのような可動な取付部は、深度センサ202に限定的な移動のみを可能にする。更なる特定の実施形態において、深度センサ取付部の限定的な移動は、深度センサの現在の視野に45度以下の視野を加えることができる。
実施形態によると、ロボット本体204は、一般的に円筒形状又は細長い形状を有することができる。ロボット本体204は、幅210よりも大きな高さ212を有することができる。いくつかの実施形態において、高さ212は、幅210の1.5倍以上であることができる。さらに、ロボット本体204は、人々と相互作用することを促す縦寸法を有することができる。したがって、いくつかの実施形態によると、ロボットの高さ212は0.8〜2mの間であることができ、特定の実施形態においては、1.2〜1.5mの間であることができる。追加的に又は代替的に、ロボット200は搬送物品を保管するのに十分な幅を有することができ、同時に、環境内における移動を容易に可能にするのに十分な小ささであることができる。したがって、いくつかの実施形態によると、ロボットの直径又は最大幅は1mよりも下であることができ、いくつかの実施形態においては、30〜60cmの間であることができ、特定の実施形態においては、40〜50cmの間であることができる。
一般的に円筒形の/細長い本体204は、ロボットの移動中には低側面表面を有することができる。即ち、ロボット200が移動する時には、横方向に外側に著しく突出する構造物を有していないものである。いくつかの実施形態において、低側面本体表面は、本体の幅の1/3よりも大きく本体表面から外側に伸びている構造物がないものであり、特定の実施形態においては、本体の幅の1/4よりも大きく本体表面から外側に伸びている構造物がないものである。そのような一般的に円筒形の/細長い本体は、ロボット200により占められる空間が横方向に実質的に均一であるから、環境内におけるより効果的な移動を可能にする。
いくつかの実施形態において、ロボット200は移動している時も静止している時も低側面形状を維持することができる。しかしながら、他の実施形態において、ロボット200が静止している時は、構造物が本体から外側に伸びていることができる。1つの実施例としては、ロボット200は、保管容器及び/又は本体内部の他の位置へのアクセス(例えば、保守管理上のアクセス)を可能にするために、本体204から外側に回転するドアを含むことができる。他の実施形態においては、ロボットが静止している時に展開可能な他の構造物を有することができる。
実施形態によると、深度センサ202は本体204の頂部に取り付けることができる。いくつかの実施形態において、頂部とはロボットの高さ212の上部1/3であることができる。特定の実施形態において、深度センサ202は、ロボットの高さ212の上部20%に取り付けることができる。
移動システム206は、運転環境においてロボット200が移動することを可能にするのに適しているどんな移動システムも含むことができ、車輪システム、無限軌道システム、ローラシステム、又はその組み合わせを含むが、限定されるものではない。特定の実施形態において、移動システム206は、ロボット200に直線運動及び回転運動の両方を可能にすることができる。1つの特定に実施形態において、移動システム206は、互いに離れて配置されている少なくとも2つの車輪を含むことができ、それぞれの車輪はいずれの方向にも独立して回転可能である。
まだ図2A及び図2Bを参照にして、いくつかの実施形態において、ロボット200はさらに、ユーザインタフェース(I/F)214を含むことができる。ユーザインタフェース214は、ロボット200が他の人々と相互作用する、及び/又は、様々な仕事を実施するように指示される又はプログラムされることを可能にする。特定の実施形態において、ユーザインタフェース214は、低側面タッチスクリーンインタフェースであることができる。特定の実施形態によると、ロボット200は搬送ロボットであることができ、ユーザインタフェース214は、指定された目的地及び/又は人への搬送を認証するために使用することができる。
同様に、ロボット200は、容器216を含むこともできる。容器216は、低側面形状を維持するために、本体204内に形成されることができる。いくつかの実施形態において、容器216は保護可能であり、保管された内容物へのアクセスを限定する何らかの構造を有する。特定の実施形態において、ロボット200は、容器216を保護するためのドア/蓋218を含むことができる。ドア/蓋218は、施錠可能であることができ、施錠可能でないこともできる。
実施形態によると、ロボットは一般的に円筒形の又は細長い本体を有することができる。いくつかの実施形態において、そのような形状は、横断面において一般的に閉曲線形状を維持する形状であることができる。しかしながら、そのような形状は垂直位置によって変化することができる。一般的に円筒形の本体は、円形又は楕円形の断面を必要としないものである。図2Bの上面図に図示されているように、一般的に円筒形の本体204は曲線的な構造を有するが、円形又は楕円形ではない。いくつかの実施形態において、横断面として見た場合、一般的に円筒形の本体は、点線で表された円又は楕円領域の大部分を占めることができる。したがって、図2Bに図示されているように、本体204は内接円220の大部分を占めている。
図2C〜図2Fは、一般的に円筒形の本体に含むことができる様々な他の断面形状を示す図である。図2C〜図2Fのそれぞれは、内接円220領域の大部分を占めている本体204−C〜204−Fを図示している。図2B〜図2Fの様々な本体断面形状は、単なる例として示されているものであり、構成を限定しているものと解釈されるべきではない。
これまで様々な実施形態によるセンサ構造及び対応するロボットが記載されており、これから実施形態によるロボットの運転方法を記載する。
図3の漫画図に示されているように、ロボット300は、潜在的な障害物又は領域内を移動している人が存在していても、廊下又は部屋のような環境322内を移動することができる。特定の実施形態において、ロボット300はここに記載のロボットのいずれかであることができ、又はその同等物であることができる。複数の固定物体324−0及び324−1を含むことができ、同様に、矢印330で示されている方向にドア328に向かって移動している人のような1つ以上の可動物体326を含むことができる環境322内を、ロボット300は自律移動可能である。
環境322内の床に沿った並進運動に加えて、ロボット300は360度回転することができ、それにより、固定取り付けされた又は限定的に移動できる1つ以上のセンサ302による環境内のスキャンを可能にする。センサ302は少なくとも1つの画像ベースの深度センサであることができる。ロボット300は矢印332で示されている方向にドア328の前の目標領域334まで移動することができる。目標領域334に到達する時、特定の実施形態に示されている保護可能な容器316内に保持された搬送物はロボット300の頂部に内蔵されていることができる。保護可能な容器316内の搬送物は図示されていない部屋の占有者により取り出されることができる。
センサ302は、ロボット300の頂部又は頂部の近くに固定して又は移動可能に取り付けられることができる。いくつかの実施形態において、障害物回避中に検知すべき重要な領域は、ロボット300の移動経路(例えば332)内に直接存在する領域、特にロボット300の真正面の領域であることができる。したがって、いくつかの実施形態において、1つ以上の深度センサを含むセンサ302は、ロボット300がこれから移動する領域が含まれる視野が典型的に維持されるように、一般的に下向き又は外向きの1つ以上のセンサを含むことができる。
いくつかの実施形態において、センサ302は、直接下方に向けられて取り付けられた深度(depth)カメラを含むことができ、視野の約半分がロボット300の本体により占められ、視野の残り半分を障害物の検出に使用することができる。いくつかの実施形態において、センサ302内の深度センサは、障害物検出のためにより大きな可視領域を提供するために垂直から正面の1/2の角度で下向きに外側に取り付けることができる。
特定の実施形態において、深度センサは、3次元検出を可能にするビデオゲーム技術と同様の又はビデオゲーム技術に由来する要素を含むことができる。そのような深度センサは、慣習的なシステムで採用されている広視野レーザーベースセンサよりも費用効率が良いものである。この型のセンサの特定の実施例は、Microsoft Corporationにより製造されているKinect、Apple Computerにより所有されているPrimsenseによるCarmine、又はSoftKineticによるDepthSense 325を含むことができるが、限定されるものではない。そのような深度センサは、より費用効率が良いものであり、典型的に物品から反射するように赤外光を向けて、センサからこれらの物品がどれくらい離れているか測定するために画像センサにより反射された赤外光を捉え、さらに、RGBビデオカメラのようなビデオカメラを内蔵しており、深度画像をビデオ画像と組み合わせることを可能にする。
一般に入手可能なレーザーセンサと比べると、実施形態によるロボットに備えられた深度センサは、典型的に90度であるより狭い視野を有しており、約1〜3mであるより短い深度検出の有効範囲を有しており、そして、深度センサから約1/2m内の範囲において限定的な又は欠如した深度の死角を有することができる。
いくつかの実施形態によると、ここで記載の1つ以上の深度センサを取り付けることにより、典型的に狭い視野に関連する制限及びそのような深度センサの他の制限を克服することができる。特定の実施形態において、深度センサは、ヒンジ連結されたレール油圧ピストンにより、又は深度センサを回転させ、上昇され、押し下げさせ、振動させ、又は横方向にスキャンするために使用される他の適切な作動メカニズムにより、移動可能であることができる。他の実施形態において、複数の深度センサを使用することができ、複数の深度センサは、前方、後方、上方及び下方領域が監視されるように一般的に向けられている。特定の実施形態においては、単独で、又は、狭帯域、広帯域、偏光又は他のスペクトルフィルタと組み合わせて、慣習的なRGB相補型MOS又はCCDセンサを使用することができる。実施形態は、ハイパースペクトル画像処理を可能にするために、赤外線、紫外線、又は他の画像焦点面アレイ装置を含むこともできる。このことは、例えば、人には可視できない、又は人は容易には可視できないガイド、マーカー、又は経路の監視及び追跡を可能にすることができる。
いくつかの実施形態において、太陽光、白色光、ハロゲン、LED、蛍光灯又は他の一般に入手可能な人工光源のような周辺光は、ロボット(例えば、100、200、300)が移動する環境を照らすことができ、ロボットの深度センサは、障害物を検出するためにそのような光を利用することができる。追加的又は代替的に、ロボットは、障害物検出のための光源として機能する又は光を増大する、1つ以上の(移動可能に又は固定的に)取り付けられた光源を有することができる。そのような光源は、周辺光の明度を増大することができ、及び/又は、周辺光源からは得られない波長の光を提供することができ、及び/又は、暗い環境下で周辺光の代わりとなることができる。
ロボット(例えば、100、200、300)がそのような光源を含んでいる時に、光源は深度センサと共に、又は深度センサから分離して取り付けられることができ、そして、レーザー、発光ダイオード(LED)又は有機発光ダイオード(OLED)のような単色又は単色に近い光源を含むことができる。いくつかの実施形態において、広帯域光源は、(赤外線又は紫外線LEDを含む)可変波長の複数のLED、ハロゲンランプ又は他の適切な慣習的な光源により提供されることができる。様々な遮光体、レンズ、鏡、反射面、又は他の光学素子が、領域照明のための幅広な光線又は改善された局所的照度のための強く集束された光線を提供することができる。
ロボット(例えば、100、200、300)との相互作用は、局所的入力又はネットワークインタフェースにより提供されることができる。いくつかの単なる実施例として、局所的入力は、タッチパッドを通して、声又はジェスチャー制御により、又は専用リモコンにより入力することができる。状態、機能、及びエラーメッセージ等の局所的表示は、タッチパッドディスプレイにより提供されることができる。ディスプレイは、慣習的な液晶ディスプレイ、電子ペーパー等のような双安定ディスプレイ、OLEDディスプレイ、又は他の適切なディスプレイであることができる。ユーザ入力、音声制御、カメラ媒介ユーザジェスチャー制御を提供するために、局所的ユーザ入力は、ロボットに取り付けられたパッド、ハードウェア又はソフトウェアキーボード、随意的なディスプレイの一部として統合することができるタッチセンサー式素子等を含むことができる。
特定の実施形態において、有線又は無線接続サブシステムは、図示されていないノートパソコン、タブレット、又はスマートフォンのような、もう1つのユーザ相互作用装置に接続するために使用することができる。随意的に、データ及び制御信号は、無線ネットワーク、パーソナルエリアネットワーク、セルラーネットワーク、インターネット、又はクラウド媒介データ源のような、様々な外部データ源との間で受信、生成、又は伝送されることができる。また、ロボット(例えば、100、200、300)は、ユーザ指定選択又はプロトコルの局所的データ保管を可能にする局所的データ源(例えば、ハードドライブ、半導体ドライブ、フラッシュメモリ、又は、SRAM又はDRAMのようなダイナミックメモリを含む他の適切なメモリ)を含むことができる。
1つの特定の実施形態において、複数の通信システムを提供することができる。例えば、ロボット(例えば、100、200、300)は、直接Wi−Fi接続(802.11b/g/n)を提供することができ、同様に、(例えば、インタフェースタブレットコンピュータに含まれるような)バックアップ通信経路として提供される分離した4G携帯電話接続を提供することができる。同様に、事前に配置された無線標識を識別するために、又は、使用者のスマートフォン又はタブレットを介してユーザインタフェースの一部を形成するために、タブレット又はロボットに取り付けられたBluetooth又は他の局所的通信システムを使用することができる。
実施形態によると、ロボット(例えば、100、200、300)が仕事を実行するために自律的に移動すると、その現在の位置を追跡するために位置決めに頼ることができる。位置決め技術の典型例は、同時位置決め地図作成(SLAM)技術である。したがって、移動ロボット(例えば、100、200、300)は同時位置決め地図作成を使用して、ロボットが仕事を実行する作業空間の周囲の情報を検出することができ、そして、検出した情報を処理して、同時にロボットの絶対位置を推定しながら、作業空間に対応する地図を構成することができる。
特定の実施形態において、ロボットの運転を補助する特定の物品又は場所に、Bluetoothビーコン、無線標識、発光装置、及び/又は、可視模様を配置することができる。
いくつかの実施形態において、ロボット(例えば、100、200、300)は、様々な随意のロッカー、搬送容器、又は棚内に、食料及び飲料を含む広範囲の嗜好品及び消耗品を持ち運ぶことができる。これらの消耗品(特に飲料)のいくつかは、ロボットが滑らかに静かに移動しないとこぼれてしまう、又は壊れてしまうものである。そのような問題は特にロボットが始動する時及び停止する時、特に(例えば誰かがロボットの経路に飛び出して)緊急停止する時に深刻である。1つの実施形態において、ロボット(例えば、100、200、300)は、有効加重により加わる力を最小化するために、徐々に加速及び減速するように制御されることができる。そのような反応を可能にするために、ロボット(例えば、100、200、300)は、同時に複数のモータ(車輪)を滑らかに減速するために十分な忠実度のモータ制御システムを有することができる。特定の実施形態において、ロボット(例えば、100、200、300)は、高周波(例えば、1000Hz)モータ制御ループシステムを含むことができる。
まだ図3を参照にして、運転中に、ロボット(例えば、100、200、300)は、可動物体326を検出することができ、そして、可動物体を回避するために新しい経路を計画することができ、又は、ロボット(例えば、100、200、300)の所望の移動経路332から可動物体がいなくなるまで減速又は一時停止することができる。固定物体324−0/1は、局所的移動計画によって回避することができる。固定物体324−0/1は、既知であることができ、そして、位置検出により検証されることができ、又はロボットにより新たに検出されることができる。
図4は1つの特定の実施形態によるロボットを図示しており、同様に、ロボット400の選択された部品を示す分解図である。いくつかの実施形態において、ロボット400は、図1A〜図3に図示されているロボット100の1つの特定の実施であることができる。
ロボット400は、一般的に垂直中央線434の周りの円筒形状を有することができる。有利なことに、この形状は、外側に伸びているアーム等を有する物体の位置及び潜在的相互作用を測定する必要がないので、移動計算を容易にし、その場での回転を容易にする。タッチ式タブレット計算装置(タブレット)414をユーザ入力及び/又はメッセージ送受信のために含むことができ、該タブレット414は、ユーザ入力及び表示に便利な角度でロボットの頂部に取り付けられることができる。可視ディスプレイに加えて、タブレット414は、音声入力/出力のために使用することができ、及び/又は、ロボット400を処理及び制御するために使用することができる。
いくつかの実施形態において、音声指示又は通知を提供するために、タブレット414とは分離したスピーカー436を含むこともできる。
いくつかの実施形態において、ロボットの本体内にタブレット414の後方に位置する保管容器416を含むことができる。いくつかの実施形態において、保管容器416は保護可能である。特定の実施形態において、保管容器416は施錠可能であり、そして、目的地に到着して開錠のための認証を受領した時にのみ受取人への引き渡しのために開錠されるように制御されることができる。
図4の実施形態において、ロボット400は、互いに隣接して取り付けられた前向きの深度センサ402−0及び下向きの深度センサ402−1を含む複数の固定深度センサを保持することができる。開示された実施形態において、深度センサ(402−0/1)は、タレット又は可動アクチュエータを必要としない方法で固定的に取り付けられることができる。特定の実施形態において、それぞれの深度センサ402−0/1は、光線放射装置及び物体から反射する光線を検出する画像センサを含むことができる。特定の実施形態において、深度センサ402−0/1は、赤外線(IR)ビデオカメラのような赤外線(IR)画像センサ及び赤外線(IR)放射体を含むことができる。いくつかの実施形態において、ロボット400は、追加的な撮像能力を提供するビデオカメラ402−2を含むことができる。特定の実施形態において、ビデオカメラ402−2は、RGB相補型MOS型ビデオカメラであることができる。
深度センサに加えて、ロボット400は1つ以上の他のセンサを含むことができる。まだ図4を参照にして、ロボット400はさらに、底部に取り付けられたソナーアレイ438及びロボット400の頂部近くに取り付けられた広角度ソナー440を含むことができる。
ロボット400は、センサ入力及び/又は伝送入力に対応する記憶された指示を実行する1つ以上の処理装置により制御されることができる。特定の実施形態においては、ロボット400の移動の局所的制御のための1つ以上のマイクロコントローラ444及びモータ制御装置446と共に、x86又は同様の中央処理装置442を使用することができる。
図示されている実施形態においては、電池450によって動く差動駆動モータ448が、ロボット400を支える図示されていない車輪を駆動することにより移動を提供することができる。特定の実施形態において、電池450は、リチウムイオン電池であることができ、又は、他の型の充電池システムが好ましい。駆動機構は、差動駆動構成において、それぞれが各々の車輪に取り付けられている分離した駆動モータ448を含む。いくつかの実施形態において、そのような駆動機構は、ロボットの1.5m/秒の速度を可能にし、平地と同様に斜面を上り下りすることを可能にする。特定の実施形態において、ロボット400は、10.16〜20.32cm(4〜8インチ)の間の直径の、好ましくは約15.24cm(6インチ)の直径の2つの駆動輪を含むことができる。
実施形態によると、ロボット400は、0.8〜2mの間の、好ましくは1.2〜1.5mの間の高さ及び30〜60cmの間の、好ましくは40〜50cmの間の直径を有するような大きさであることができる。そのような物理的寸法は、ロボット400が廊下及び戸口を通って容易に移動することを可能にすることができる。
図5A及び図5Bは、実施形態による深度検出視野構成を示す図である。そのような視野構成は、ここに記載のどのロボットにも備えさせることができる。
図5Aは、ロボット500及び2つの対応する視野508及び508’を示す斜視図である。図5Bは、ロボット500の頂部を示す側面図である。図示されている実施形態において、ロボット500は、ロボット500の頂部近くに固定的に取り付けられた2つの深度センサ502−0/1を有することができる。深度センサ502−0/1は、どんな適切な深度センサでもよいが、特定の実施形態においては、ここに記載の放射装置及び画像センサ、又は同等物を含むことができる。いくつかの実施形態において、深度センサ502−0/1の1つ又は両方が、RGB相補型MOS型ビデオカメラを含むことができる。図示されている実施形態において、深度センサ502−0/1は、互いに隣接して配置されることができる。いくつかの実施形態において、深度センサ502−0/1は、互いに数cm内の距離に配置されることができる。いくつかの実施形態において、両方の深度センサ502−0/1は、対応する深度情報によりカラー画像を生成することができる。即ち、両方の深度センサ502−0/1は、ビデオカメラを含むことができる。
深度センサ502−0/1は、ロボットの前方進行方向(即ち、前方)向きに、ロボット500の頂部に取り付けられることができる。1つの特定の実施形態において、深度センサ502−0/1は、床の上方80〜85cmの位置に取り付けられることができる。1つの深度センサ502−1は、まっすぐ前に向けられることができ、一方他の深度センサ502−0は、ロボットのすぐ前の床を撮像するために下向きに角度を付けられていることができる。そのような角度は、図5Bに角度536として図示されている。特定の実施形態において、そのような角度は、垂直方向において50〜80度の間であることができ、好ましくは60〜70度の間であることができ、そして1つの特定実施形態においては約65度であることができる。それぞれの深度センサ502−0/1の垂直視野角度は、図5Aに角度538及び538’として図示されている。いくつかの実施形態において、そのような視野角度は180度未満であることができ、他の実施形態において、そのような視野角度は90度未満であることができ、そして更なる実施形態において、そのような視野角度は60度未満であることができる。1つの特定実施形態において、それぞれの深度センサ502−0/1の視野は、水平方向に57度であり、垂直方向に45度であることができる。
まだ図5Aを参照にして、いくつかの実施形態において、下向きの深度センサ502−0の視野508の近接辺は、ロボット本体504の下部(即ち、底部)と交わることができる。このことは、ロボット500の湾曲した本体504と交わる視野508の辺を示すロボット500の前部の梨状の点線508’’により図5Aに図示されている。ロボット500の前の床上の台形508は、下向きの深度センサ502−0の可視領域を示している。ロボット500の前方の垂直な台形508’は、前向きの深度センサ502−1の可視領域を示している。
図5A及び図5Bのロボット500は、ここに記載のいずれかの実施形態による移動システム506、ユーザインタフェース514、又は保管容器516、又はその同等物をも含むことができる。
図6を参照にすると、更なる実施形態によるロボット600の斜視図が図示されている。ロボット600は、一般的に円筒形の又は細長い形状の本体604を有することができる。1つ以上の深度センサ602は、下向き及び前向きの深度センサを可能にするために、本体604の上部に取り付けられることができる。深度センサ602は、ここに実施形態として記載されているいずれかの構成及び/又は要素、又はその同等物を有することができる。ロボット600は、同様に本体604の上部に取り付けられている、ユーザインタフェース614を含むことができる。1つの実施形態において、ユーザインタフェース614は、タッチスクリーンを有するタブレット計算装置であることができる。ロボット600は、保管容器616を含むことができ、図示される実施形態において保管容器616は、ロボット本体604の上面内に伸びていることができる。図示される実施形態において、保管容器616は保護可能であることができ、閉じることができるドア/蓋618を含んでいる。特定の実施形態において、ドア/蓋618は施錠可能であり、搬送作業における認証時に開錠され、及び/又は、開放されることができる。
ロボット600は、追加的な本体取り付け部品640を含むことができ、該部品640は、通知照明を提供する照明構造、センサ602により使用される照明、又は1つ以上の追加的なセンサを含むことができるが、限定されるものではない。
上記において様々なロボット、ロボットのセンサ取り付け構成、及び関連する方法を記載しているが、参照図の図番と共に追加的な方法を以下に記載する。
図7は、実施形態による方法750のフロー図である。方法750は、局所的物体/障害物の存在を検出するための、画像ベースの深度センサ走査を含むことができる(752)。そのような動作は、非可視又は可視スペクトルの光のような深度センサから放射される光線を検出する、ロボット本体の頂部に又は頂部に向かって取り付けられている1つ以上の画像ベースの深度センサを含むことができる。特定の実施形態において、そのような動作は、局所的物体/障害物の存在及び距離を測定するために、赤外線放射体と共に動作する赤外線ビデオカメラを含んでいる(752)。
局所的物体及び/又はロボットの局所的位置を測定するための追加的なセンサ走査をも含むことができる(754)。ブロック752及び754により生成されたデータに基づいて、局所的占有グリッド(local occupancy grid)を導き出すことができる(756)。1つの実施例として、新しい物体/障害物を検出すると、局所的占有グリッドが更新されて物体/障害物の存在を含むことができ、同様にそのような物体/障害物が動いているか静止しているかを含むことができる。方法750は、ロボットが局所的占有グリッドと共に地図情報758を使用して局所的運転制御を作成することを含むこともできる(758)。いくつかの実施形態において、地図情報は、局所的計画を作成する前に、運転の全体的計画を作成するために使用されることができる(760)。
図8は、実施形態によるもう1つの方法850を示す図である。方法850は、局所的計画によるロボット運転を含むことができる(860)。ロボットは、放射信号及び画像センサを有するセンサを使用して、局所的物体/障害物を検出することができる(862)。局所的物体/障害物が検出されなかった場合(862→いいえ)、方法850は、局所的計画による運転(860)に戻ることができる。局所的物体/障害物が検出された場合(862→はい)、方法850は、検出された局所的物体/障害物から成るロボット内に記憶されている局所的占有グリッドを修正することができ(864)、そして、それに応じてその局所的計画を修正することができる(866)。その後、方法850は、局所的計画による運転(860)に戻ることができる。
図9は、実施形態によるもう1つの方法950を示す図である。方法950は、図8と同様の動作を含むことができる。そのような同様の動作は、同様の参照番号により参照されているが、先頭の数字が「8」の代わりに「9」になっている。
方法950は、動作962が、局所的物体/障害物を検出するために、ロボットが前向き及び下向きの低視野深度センサを使用することを含むことができる(962)点で図8と相違する。低視野深度センサは、いくつかの実施形態においては180度未満の視野を有することができ、他の実施形態においては90度未満の視野を有することができ、特定の実施形態においては60度未満の視野を有することができる。
図10A〜図10Cは、特定の実施形態によるロボット運転を示す一連の図である。図10A〜図10Cには、目標領域(1034−A〜1034−D)(ドアの前の領域)を含むことができる環境1022(廊下)が図示されている。環境の境界又は既知の物体は、1070−A(壁)及び1070−B(既知の家具)として図示されている。これらの地物は地図データ、全体的占有グリッド(global occupancy grid)、又は局所的占有グリッドから得ることができる。ロボット1000は、局所的占有グリッド、地図データ、又は全体的計画から得られる局所的計画に従うことができる。環境1022は新たな物体1072を含むこともできる。新たな物体1072は、地図データ、全体的計画又は局所的計画からは知られていない、又は、これらには含まれていないものである。
図10A〜図10Cにおいて、ロボット1000は、局所的計画1074に従って目標領域1034−Cへ運転すると推定される。さらに、センサ(又はセンサ群)の視野は、1008として図示されている。ロボット1000及び対応するセンサは、ここに記載のいずれかのロボット及びセンサ、又はその同等物を含むことができる。
図10Aを参照にすると、ロボット1000は、既知の物体の存在を考慮に入れ、障害物1070−Bを回避することを含む、局所的計画1074に従って移動することができる。
図10Bを参照にすると、ロボット1000が局所的計画1074に沿って移動を継続するとそのセンサの視野1008内に新たな物体1072が現れ、そして検知される。ロボット1000は、新たな物体1072を含むようにその局所的占有グリッドを更新することができる。
図10Cを参照にすると、新たな局所的占有グリッドに基づいて、ロボット1000は、新たな物体1072を回避しながら、目標領域1034−Cへ到着することを可能にする新たな局所的計画1074’を作成することができる。
図11は、実施形態による自律ロボット運転のための処理工程を示すフロー図である。図11において、ロボットは、様々な位置に配置された可動及び固定物体と同様に目標領域を含む環境を通って運転することができる。
図11を参照にすると、ロボットの一組のセンサは1つ以上のソナー1180、1つ以上の突起センサ1182、及び、(1184により示されている)走行距離計、慣性測定装置(IMU)、又は、光又は無線信号を放射するビーコンを含むビーコンと共に作用するように構成された他のセンサのいずれかを含むことができる。一組のセンサは、ビデオ画像又は複数の静止画像を提供することができる1つ以上のカメラシステム1152を含むこともできる。
カメラ画像(1152)からのセンサデータ及び/又は走行距離計及び位置ビーコン(1184)は、ロボットの位置を特定する1186ために使用することができる。いくつかの実施形態においては、位置特定1186に地図データ1158を使用することもできる。位置特定1186は、局所的環境内におけるロボットの位置及び向きを含む、ロボット姿勢1188にたどり着くために使用されることができる。図示される実施形態において、カメラ画像(1152)、ソナー1180及び突起センサ1182からのセンサデータは、ロボットの周りの環境内における物体位置の局所的知識を提供することができる(局所的占有グリッド)1156。
地図データ1158と組み合わせた一組のセンサ(例えば、1152)からのデータは、全体的占有グリッド1190にたどり着くために使用することができる。
図示されている実施形態において、ロボットの目的地を示すデータを入力/受信するためにユーザインタフェース1114を使用することができる。そのようなデータは、目標領域の位置を含むことができる、目標姿勢1192にたどり着くために使用することができる。いくつかの実施形態において、そのようなユーザインタフェース1114のデータは、目標姿勢1192にたどり着くために、地図データ1158と共に使用することができる。
得られたロボット姿勢1188、目標姿勢1192及び全体的占有グリッド1190は、全体的計画(距離地図)(1160)を作成するために、全体的計画作成部(global planner)1194により使用されることができる。いくつかの実施形態において、地図データ1158は、地図領域内の既知の物体の位置を統合する全体的占有グリッド1190と共に使用されることができ、ロボット姿勢1188入力及び目標姿勢1192と共に、ロボット運転のための全体的計画1160を作成することができる。全体的計画1160は距離地図に縮小することができる。
まだ図11を参照にして、局所的計画作成部(local planner)1196は、局所的占有グリッド1156からの局所的物体位置の統合データ及びロボット姿勢1188と全体的計画1160を組み合わせることができる。そのようなデータにより、局所的計画作成部1196は、ロボットの経路内の障害物又は妨害物を回避する又はその周りを回るように局所的計画を調整することができる。ロボットの局所的検出及び再配向(回転)1158は、局所的経路を検証することができ、ロボットの部分的又は完全な回転のために、又は所望の目的地へ移動中に物体又は人を回避する後方又は前方移動のために、車輪に制御入力を提供する(1198)。
本発明の範囲又は主旨から逸脱することなく様々な改良及び変更を加えることができることは当業者には明らかである。したがって、開示されている実施形態は、この出願に基づき結果的に特許された場合の特許請求の範囲の範囲内の様々な改良及び変更並びにその同等物を含むことを意図している。特に、2つ以上の実施形態の一部又は全部及び上述のそれらの改良は全体的に又は部分的に組み合わせることができると明確に理解される。また、この発明の他の実施形態は、ここに具体的に開示されていないが、要素/工程が欠如しても実施することができると理解される。
100 ロボット
101 方法
103 第1のパネル
105 第2のパネル
107 物品
109 第3のパネル
111 第4のパネル
113 ドア
115 カート
116 容器
117 ドア開放角度
122 環境、廊下
126 人
132 目標領域、矢印
133 矢印
134 搬送領域
170 壁
200 ロボット
202 深度センサ
204 ロボット本体
204−C〜F ロボット本体
206 移動システム
208、208’ 視野
210 ロボットの幅
212 ロボットの高さ
214 ユーザインタフェース
216 容器
218 ドア/蓋
220 内接円
300 ロボット
316 容器
322 環境
324−0、324−1 固定物体
326 可動物体
328 ドア
330 矢印
332 矢印
334 目標領域
400 ロボット
402−0、402−1 深度センサ
402−2 ビデオカメラ
414 タブレット
416 保管容器
434 垂直中央線
436 スピーカー
438 ソナーアレイ
440 広角度ソナー
442 中央処理装置
444 マイクロコントローラ
446 モータ制御装置
448 駆動モータ
450 電池
500 ロボット
502−0、502−1 深度センサ
504 ロボット本体
506 移動システム
508、508’ 視野
508” 梨状の点線
514 ユーザインタフェース
516 保管容器
536 角度
538、538’ 垂直視野角度
600 ロボット
602 深度センサ
604 ロボット本体
614 ユーザインタフェース
616 保管容器
618 ドア/蓋
640 本体取り付け部品
750 方法
850 方法
950 方法
1000 ロボット
1008 視野
1022 環境
1034−A〜D 目標領域
1070−A 環境の境界
1070−B 既知の物体
1072 新たな物体
1074 局所的計画
1074’ 新たな局所的計画

Claims (20)

  1. 第1の位置から目標領域まで自律運転するように構成された少なくとも1つのロボットを有するシステムであって、
    少なくとも1つの前記ロボットが一般的に円筒形状を有し、
    前記ロボットが、
    少なくとも1つの搬送物品を保管するための保管容器と、
    前記ロボットの頂部に近接して取り付けられている少なくとも1つの画像ベースの深度センサと、
    目標領域まで運転し、前記搬送物品の搬送目標を認証するように構成された制御装置と、
    を含むことを特徴とするシステム。
  2. 前記制御装置が、前記目標領域におけるドアの開放に少なくとも反応して前記搬送目標を認証するように構成されていることを特徴とする請求項1に記載のシステム。
  3. 前記搬送目標が人であり、そして、
    前記制御装置がさらに、ヒューマンインタフェースにより前記搬送目標を認証するように構成されていることを特徴とする請求項2に記載のシステム。
  4. 前記制御装置がさらに、前記ロボットに含まれるビデオインタフェースを介して前記搬送目標を認証するように構成されていることを特徴とする請求項2に記載のシステム。
  5. 前記搬送目標が識別物品を与えられた人であり、そして、
    前記制御装置がさらに、前記識別物品を介して前記搬送目標を認証するように構成されていることを特徴とする請求項2に記載のシステム。
  6. 前記保管容器が施錠可能であり、そして、
    前記制御装置がさらに、認証が完了すると前記保管容器を開錠するように構成されていることを特徴とする請求項1に記載のシステム。
  7. 前記少なくとも1つの画像ベースの深度センサが前記ロボットの一方の側部に取り付けられ、
    前記保管容器が、前記少なくとも1つの画像ベースの深度センサとは異なる側の側部に配置され、
    前記制御装置がさらに、前記目標領域に対して特定の向きに前記保管容器が向くように回転するように構成されていることを特徴とする請求項1に記載のシステム。
  8. 前記ロボットが作業空間内で運転するように構成され、そして、
    前記作業空間内に配置された物体を示す複数の位置を含み、
    前記制御装置が、少なくとも部分的に、物体を示す前記位置の検出に基づいて、ロボットの位置を測定するように構成されていることを特徴とする請求項1に記載のシステム。
  9. 前記深度センサが180度以下の視野を有し、そして、
    駆動機構が、前記ロボットの直線運動及び回転運動を提供するように構成されていることを特徴とする請求項1に記載のシステム。
  10. 少なくとも1つの前記深度センサが、画像センサと共に放射装置を有し、前記放射装置が物体から反射する信号を放射して前記画像センサにより反射光を検出し、前記ロボットからそのような物体の距離を測定するように構成されていることを特徴とする請求項1に記載のシステム。
  11. 少なくとも1つの前記深度センサが視野を有し、前記深度センサがその垂直な視野から1/2の角度まで下向きに取り付けられていることを特徴とする請求項1に記載の移動ロボット。
  12. 少なくとも1つの前記深度センサが、複数の深度センサを有し、
    第1の深度センサ、及び、
    前記第1の深度センサに近接して取り付けられ、前記第1の深度センサとは異なる向きの視野を有する第2の深度センサ、
    を含むことを特徴とする請求項1に記載の移動ロボット。
  13. 一般的に円筒形状を有するロボットの保管容器内に少なくとも1つの物品を保管し、
    前記ロボットの自律運転により目標領域へ少なくとも1つの前記物品を搬送し、
    前記物品の搬送目標の認証を試み、
    前記搬送目標が認証されると、前記搬送目標に前記物品を提示する、
    ことを含む方法であって、
    前記自律運転が、少なくとも1つの前向きの画像ベースの深度センサにより前記ロボットの経路内の障害物の存在を測定することを含むことを特徴とする方法。
  14. 前記搬送目標の認証の試みが、前記目標領域におけるドアの開放を検出することを含むことを特徴とする請求項13に記載の方法。
  15. 前記搬送目標の認証の試みが、前記ロボット上のヒューマンインタフェースにおいて人から所定の入力を受領すること、ビデオインタフェース処理、前記ロボットの運転場所において人に与えられた識別の入力、から成る群から選択された動作を含むことを特徴とする請求項14に記載の方法。
  16. 前記保管容器が施錠可能であり、
    制御装置が、認証が完了すると前記保管容器が開錠するように構成されていることを特徴とする請求項14に記載の方法。
  17. 目標領域に物品を搬送するためのロボットであって、
    一般的に円筒形状と、
    施錠可能な保管容器と、
    前記ロボットの頂部に近接して取り付けられた少なくとも1つの画像ベースの深度センサと、
    前記ロボットの前のドアが開放されたかどうかを測定するように構成された制御装置と、
    前記目標領域におけるドアの開放の検出に反応して、前記物品の搬送目標を認証する認証システムと、
    を含むことを特徴とするロボット。
  18. 人からの入力を受領するためのヒューマンインタフェース装置をさらに含み、
    前記認証システムがさらに、前記ヒューマンインタフェース装置からの入力に反応して前記搬送目標を認証することを特徴とする請求項17に記載のロボット。
  19. 前記認証システムがさらに、前記ロボットを運転する施設により人に与えられた個人識別物品に反応して前記搬送目標を認証することを特徴とする請求項17に記載のロボット。
  20. 少なくとも1つの前記深度センサが、複数の深度センサを有し、
    第1の深度センサ、及び、
    前記第1の深度センサに近接して取り付けられ、前記第1の深度センサとは異なる向きの視野を有する第2の深度センサ、
    を含むことを特徴とする請求項17に記載のロボット。
JP2016552290A 2014-02-10 2015-02-10 出入り口における認証システム Pending JP2017515176A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201461938135P 2014-02-10 2014-02-10
US61/938,135 2014-02-10
US201461944524P 2014-02-25 2014-02-25
US61/944,524 2014-02-25
PCT/US2015/015264 WO2015120473A1 (en) 2014-02-10 2015-02-10 Entryway based authentication system
US14/618,720 2015-02-10
US14/618,720 US9563205B2 (en) 2014-02-10 2015-02-10 Sensor configurations and methods for mobile robot

Publications (1)

Publication Number Publication Date
JP2017515176A true JP2017515176A (ja) 2017-06-08

Family

ID=53778552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016552290A Pending JP2017515176A (ja) 2014-02-10 2015-02-10 出入り口における認証システム

Country Status (3)

Country Link
US (1) US9563205B2 (ja)
JP (1) JP2017515176A (ja)
WO (1) WO2015120473A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116913A1 (ja) * 2017-12-13 2019-06-20 ソニー株式会社 移動装置、情報処理装置、および方法、並びにプログラム
CN110968089A (zh) * 2018-09-28 2020-04-07 财团法人工业技术研究院 自动引导车及其控制系统和控制方法
JP2020149665A (ja) * 2019-03-12 2020-09-17 ベアー ロボティックス コリア,インコーポレイテッド 食べ物および/または飲み物のサービングのためのロボット
KR20200110143A (ko) * 2019-03-12 2020-09-23 주식회사 베어로보틱스코리아 음식 및/또는 음료의 서빙을 위한 로봇
JP2021523496A (ja) * 2018-11-19 2021-09-02 炬星科技(深▲せん▼)有限公司Syrius Robotics Co., Ltd. ロボットのセンサ配置システム
JP2022018717A (ja) * 2020-07-16 2022-01-27 株式会社スポーツレジャーシステムズ 配送ロボット及び配送システム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10809071B2 (en) * 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
US11835343B1 (en) 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
US9535421B1 (en) * 2014-02-28 2017-01-03 Savioke, Inc. Mobile delivery robot with interior cargo space
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
US9475195B2 (en) * 2014-09-12 2016-10-25 Toyota Jidosha Kabushiki Kaisha Anticipatory robot navigation
US9928474B1 (en) 2014-12-12 2018-03-27 Amazon Technologies, Inc. Mobile base utilizing transportation units for delivering items
GB2535804B (en) * 2015-02-27 2021-01-06 Guidance Automation Ltd Determining a position of an agent
AU2016348568A1 (en) 2015-11-02 2018-06-14 Starship Technologies Oü Device and method for autonomous localisation
JP6664948B2 (ja) * 2015-12-10 2020-03-13 グローリー株式会社 本人確認システム、及び、ロボット
US10782686B2 (en) 2016-01-28 2020-09-22 Savioke, Inc. Systems and methods for operating robots including the handling of delivery operations that cannot be completed
US10216188B2 (en) 2016-07-25 2019-02-26 Amazon Technologies, Inc. Autonomous ground vehicles based at delivery locations
US10237137B2 (en) 2016-09-12 2019-03-19 Edward Linn Helvey Remotely assigned, bandwidth-limiting internet access apparatus and method
US10248120B1 (en) 2016-09-16 2019-04-02 Amazon Technologies, Inc. Navigable path networks for autonomous vehicles
US10303171B1 (en) 2016-09-29 2019-05-28 Amazon Technologies, Inc. Autonomous ground vehicles providing ordered items in pickup areas
US10245993B1 (en) 2016-09-29 2019-04-02 Amazon Technologies, Inc. Modular autonomous ground vehicles
US10241516B1 (en) * 2016-09-29 2019-03-26 Amazon Technologies, Inc. Autonomous ground vehicles deployed from facilities
US10222798B1 (en) 2016-09-29 2019-03-05 Amazon Technologies, Inc. Autonomous ground vehicles congregating in meeting areas
USD817313S1 (en) 2016-12-22 2018-05-08 Michael Horito Network access point
KR102012550B1 (ko) * 2017-02-20 2019-08-20 엘지전자 주식회사 돌발 장애물을 식별하는 방법 및 이를 구현하는 로봇
US20180333860A1 (en) * 2017-05-18 2018-11-22 Translogic Corporation System and method for prescription medicine delivery
US11579298B2 (en) * 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
CN111511416B (zh) 2017-10-23 2023-07-04 史赛克公司 自主废物收集组件和医疗废物收集系统和方法
US10612934B2 (en) 2018-01-12 2020-04-07 General Electric Company System and methods for robotic autonomous motion planning and navigation
CN112041126B (zh) * 2018-03-29 2023-06-13 捷普有限公司 用于自主机器人导航的感测认证装置、系统和方法
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
EP3802016B1 (en) * 2018-06-11 2024-05-01 Jabil Inc. Apparatus, system, and method of docking for autonomous robot navigation
US11200765B2 (en) 2018-08-09 2021-12-14 Lingdong Technology (Beijing) Co. Ltd Luggage delivery system
CN111103875B (zh) * 2018-10-26 2021-12-03 科沃斯机器人股份有限公司 避让的方法、设备及存储介质
US11392130B1 (en) 2018-12-12 2022-07-19 Amazon Technologies, Inc. Selecting delivery modes and delivery areas using autonomous ground vehicles
US11260970B2 (en) 2019-09-26 2022-03-01 Amazon Technologies, Inc. Autonomous home security devices
US10796562B1 (en) 2019-09-26 2020-10-06 Amazon Technologies, Inc. Autonomous home security devices
CN118161087A (zh) * 2020-11-20 2024-06-11 余姚舜宇智能光学技术有限公司 用于扫地机器人的tof光学系统和扫地机器人

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001287183A (ja) * 2000-01-31 2001-10-16 Matsushita Electric Works Ltd 自動搬送ロボット
JP2006260105A (ja) * 2005-03-16 2006-09-28 Matsushita Electric Works Ltd 移動装置
JP2012068895A (ja) * 2010-09-24 2012-04-05 Toyota Motor Corp ロボット

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0004465D0 (sv) * 2000-12-04 2000-12-04 Abb Ab Robot system
US6690997B2 (en) * 2001-09-13 2004-02-10 M.A. Rivalto, Inc. System for automated package-pick up and delivery
US7689318B2 (en) * 2005-08-19 2010-03-30 Lonnie Draper Inventory control and prescription dispensing system
CA2864027C (en) * 2005-10-14 2017-05-02 Aldo Zini Robotic ordering and delivery apparatuses, systems and methods
US9079315B2 (en) * 2011-08-29 2015-07-14 Neil Davey Banking automation using autonomous robot

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001287183A (ja) * 2000-01-31 2001-10-16 Matsushita Electric Works Ltd 自動搬送ロボット
JP2006260105A (ja) * 2005-03-16 2006-09-28 Matsushita Electric Works Ltd 移動装置
JP2012068895A (ja) * 2010-09-24 2012-04-05 Toyota Motor Corp ロボット

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116913A1 (ja) * 2017-12-13 2019-06-20 ソニー株式会社 移動装置、情報処理装置、および方法、並びにプログラム
US11720109B2 (en) 2017-12-13 2023-08-08 Sony Corporation Moving apparatus, information processing apparatus, and method
CN110968089A (zh) * 2018-09-28 2020-04-07 财团法人工业技术研究院 自动引导车及其控制系统和控制方法
CN110968089B (zh) * 2018-09-28 2023-07-07 财团法人工业技术研究院 自动引导车及其控制系统和控制方法
JP2021523496A (ja) * 2018-11-19 2021-09-02 炬星科技(深▲せん▼)有限公司Syrius Robotics Co., Ltd. ロボットのセンサ配置システム
KR102286825B1 (ko) * 2019-03-12 2021-08-11 베어 로보틱스, 인크. 음식 및/또는 음료의 서빙을 위한 로봇
KR102251175B1 (ko) * 2019-03-12 2021-05-14 베어 로보틱스, 인크. 음식 및/또는 음료의 서빙을 위한 로봇
KR20200110143A (ko) * 2019-03-12 2020-09-23 주식회사 베어로보틱스코리아 음식 및/또는 음료의 서빙을 위한 로봇
JP6997159B2 (ja) 2019-03-12 2022-01-17 ベアー ロボティックス,インコーポレイテッド 食べ物および/または飲み物のサービングのためのロボット
US11279042B2 (en) 2019-03-12 2022-03-22 Bear Robotics, Inc. Robots for serving food and/or drinks
US11660758B2 (en) 2019-03-12 2023-05-30 Bear Robotics, Inc. Robots for serving food and/or drinks
KR20200109235A (ko) * 2019-03-12 2020-09-22 주식회사 베어로보틱스코리아 음식 및/또는 음료의 서빙을 위한 로봇
JP2020149665A (ja) * 2019-03-12 2020-09-17 ベアー ロボティックス コリア,インコーポレイテッド 食べ物および/または飲み物のサービングのためのロボット
JP2022018717A (ja) * 2020-07-16 2022-01-27 株式会社スポーツレジャーシステムズ 配送ロボット及び配送システム
JP7055443B2 (ja) 2020-07-16 2022-04-18 株式会社スポーツレジャーシステムズ 配送ロボット及び配送システム

Also Published As

Publication number Publication date
US9563205B2 (en) 2017-02-07
WO2015120473A1 (en) 2015-08-13
US20150253777A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
JP2017515176A (ja) 出入り口における認証システム
US9436926B2 (en) Entryway based authentication system
US9535421B1 (en) Mobile delivery robot with interior cargo space
US11772270B2 (en) Inventory management by mobile robot
US11782452B2 (en) Surveillance prevention by mobile robot
US11209832B2 (en) Elevator interactions by mobile robot
US11433544B2 (en) Latency control in human operated mobile robot
US11819997B2 (en) Mobile robot map generation
US10570000B2 (en) Shopping facility assistance object detection systems, devices and methods
JP2018190379A (ja) 移動する目標の間のロボット配送のシステムおよび方法
US20150205297A1 (en) Infrastructure for robots in human-centric environments
GB2542470A (en) Shopping facility assistance systems, devices, and methods to dispatch and recover motorized transport units that effect remote deliveries
US10664788B2 (en) Ad-hoc parcel delivery drop zone and hotspot
Mishra et al. IoT impact and challenges on robotic waiters in automation of restaurants and hotels
WO2020049978A1 (ja) 移動装置、移動装置制御システム、および方法、並びにプログラム
EP3105696A1 (en) Entryway based authentication system
WO2017132695A1 (en) Systems and methods for operating robots including the handling of delivery operations that cannot be completed
CA2938587A1 (en) Shopping facility track system and method of routing motorized transport units
JP7138618B2 (ja) 運搬システム、制御装置、及び、方法
US20230282026A1 (en) Monitoring package pickups using video
KR20220002552U (ko) 다양한 종류와 형태의 물품을 적재할 수 있는 rfid 인증 연동제어형 실내 자율주행로봇

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190806