JP2022514157A - 人間相互作用無人搬送車 - Google Patents

人間相互作用無人搬送車 Download PDF

Info

Publication number
JP2022514157A
JP2022514157A JP2021518914A JP2021518914A JP2022514157A JP 2022514157 A JP2022514157 A JP 2022514157A JP 2021518914 A JP2021518914 A JP 2021518914A JP 2021518914 A JP2021518914 A JP 2021518914A JP 2022514157 A JP2022514157 A JP 2022514157A
Authority
JP
Japan
Prior art keywords
agv
mode
human operator
self
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021518914A
Other languages
English (en)
Other versions
JP7178061B2 (ja
Inventor
リャン スイ
チャンリン チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingdong Technology Beijing Co Ltd
Original Assignee
Lingdong Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingdong Technology Beijing Co Ltd filed Critical Lingdong Technology Beijing Co Ltd
Publication of JP2022514157A publication Critical patent/JP2022514157A/ja
Application granted granted Critical
Publication of JP7178061B2 publication Critical patent/JP7178061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45C—PURSES; LUGGAGE; HAND CARRIED BAGS
    • A45C13/00—Details; Accessories
    • A45C13/38—Luggage carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0297—Fleet control by controlling means in a control room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Structural Engineering (AREA)
  • Geology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Civil Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

無人搬送車（ＡＧＶ）は、人間オペレータと相互作用することができる。ＡＧＶは、人間オペレータに追従したり、人間オペレータを誘導したり、人間オペレータからのジェスチャを受信して反応したりすることができる。ＡＧＶは、移動の方向を切り替えて、人間オペレータがＡＧＶ上のユーザインタフェースのコンポーネントに簡単にアクセスできるようにする。ＡＧＶは、より高い優先度レベルを有するＡＧＶに道を譲ることによって、他のＡＧＶとの衝突を回避することもできる。

Description

本明細書に開示される実施形態は、人を誘導したり、人に追従したり、人からの指示を受信したりすることによって人間と相互作用することができる無人搬送車（ａｕｔｏｍａｔｉｃ ｇｕｉｄｅｄ ｖｅｈｉｃｌｅ）に関する。
ロボットカートや無人搬送車（ＡＧＶ）は、施設内の指定された１つ又は複数のピックアップエリアから物品又は在庫品を１つ又は複数の荷揚げエリアに搬送することができる、ドライブレスでプログラマブル制御車両である。これらの車両は、磁気テープ、光学、又は経路案内及び衝突回避のための他の適切なシステムによって案内される作業環境のような作業環境において自己ナビゲートすることができる。ＡＧＶは、作業者、在庫品、及び正確に制御された動きを有する機器のためのより安全な環境を提供することができる。
作業者は、通常、ＡＧＶと作業環境内に存在し、ＡＧＶが指定されたエリアで在庫品を荷積み、荷下ろし、又は移動することを支援する。従って、人間相互作用ロボットカートが必要とされている。
本開示の実施形態は、人間オペレータと対話することができ、動作中の衝突を回避することができる無人搬送車（ＡＧＶ）、及びＡＧＶを操作する方法を含む。
一実施形態は、自己駆動システムを提供する。自己駆動システムは、移動ベースと、コンソールと、カメラとを含む。前記移動ベースは、電動式車輪を含み、第１端及び第２端を有する。前記コンソールは、起立構成で前記移動ベースの前記第１端に結合され、前記移動ベースを前後に移動させるように前記電動式車輪を制御するように構成され、前記第１端が誘導端であるときに前記移動ベースは前方に移動し、前記第２端が誘導端であるときに前記移動ベースは後方に移動する。前記カメラは、前記コンソールに結合され、動作中の人間オペレータを検出し、前記移動ベースが前記人間オペレータに追従することを可能にするように構成されている。
別の実施形態は、倉庫管理システムを提供する。この倉庫管理システムは、システムコントローラーと、ネットワークを介して前記システムコントローラーに接続された複数の無人搬送車（ＡＧＶ）とを含む。前記ＡＧＶの少なくとも１つは、人間オペレータに追従するか又は人間オペレータを誘導することによって人間オペレータと相互作用するように構成されている。
また別の実施形態は、無人搬送車（ＡＧＶ）を操作する方法を提供する。前記方法は、前記ＡＧＶを自己ナビゲート／誘導モード又は追従モードで移動させ、前記ＡＧＶが自己ナビゲート／誘導モードで予め選択されたルートに従って移動し、前記ＡＧＶが前記ＡＧＶ上のカメラの視線内の人間オペレータの後に移動することと、前記動作モードが前記自己ナビゲート／誘導モードから前記追従モードに切り替えられたとき、及び動作モードが前記追従モードから前記自己ナビゲート／誘導モードに切り替えられたときに、前記ＡＧＶの移動方向を切り替えることとを含む。
一実施形態による無人搬送車（ＡＧＶ）の斜視図である。 図１のＡＧＶの別の斜視図である。 図１のＡＧＶの上面図である。 コンソールの正面図を示す図１のＡＧＶの部分図である。 図４のコンソールのディスプレースクリーンの図である。 誘導モードでのＡＧＶの模式図である。 追従モードでのＡＧＶの模式図である。 人と相互作用するＡＧＶの模式図である。 本開示によるＡＧＶの平面図である。 本開示による倉庫システムの平面図である。 パッケージの輸送にＡＧＶを使用している倉庫の図である。 衝突回避操作を示す倉庫通路の模式図である。 衝突回避操作を示す倉庫通路の模式図である。
理解を容易にするために、可能な場合は、図に共通する同一の要素を示すために同一の参照番号が使用されている。一実施形態で開示された要素は、特定の列挙なしに他の実施形態で有益に利用され得ると見られている。
本開示の実施形態は、人間オペレータと対話することができ、動作中の衝突を回避することができる無人搬送車（ＡＧＶ）を含む。本開示によるＡＧＶは、移動ベースに結合されたコンソールを含む。移動ベースは、施設内の負荷を搬送しながら、所与の指示で移動することができる。コンソール及び移動ベースは、１つ又は複数のセンサー又はカメラを使用して、施設内において、ドッキング、自己駆動、及び／又は、搬送される負荷、固定具、及び人間オペレータとの相互作用を可能にする。ＡＧＶという用語が使用されているが、本開示の概念は、自律ナビゲート移動ロボット、慣性誘導ロボット、遠隔制御移動ロボット、及びレーザーターゲティング、ビジョンシステム、又はロードマップによって誘導されるロボットなどの任意の移動ロボットに適用することができる。
図１～５は、本開示の一実施形態によるＡＧＶを示す。図１は、一実施形態による無人搬送車（ＡＧＶ）１００の斜視図である。図２は、ＡＧＶ１００の別の斜視図である。図３は、ＡＧＶ１００の上面図である。図４は、ＡＧＶ１００のコンソールの部分図である。図５は、図４のコンソールの例示的なディスプレースクリーンのである。
ＡＧＶ１００は、オペレータなしで自身を駆動するように適合されている。ＡＧＶ１００は、一般に、移動ベース１０２及びコンソール１０４を含む。移動ベース１０２は、後端１０３及び前端１０５を有する。ＡＧＶ１００は、前方または後方に移動することができる。本開示では、前方への移動は、前端１０５が誘導端であるときの状況を指し、後方への移動は、後端１０３が誘導端であるときの状況を指す。コンソール１０４は、上部１３８及び本体１４０を有する。コンソール１０４の本体１４０は、起立又は直立構成で移動ベース１０２の前端１０５に結合される。
幾つかの実施形態では、ＡＧＶ１００は、後方に移動し、後端１０３を誘導端として方向１０１に沿って移動し、人間オペレータにコンソール１０４への容易なアクセスを提供する。コンソール１０４はディスプレー１０８を有する。ディスプレー１０８は、必要に応じて、外向き又は任意の向きを向くことができる。ＡＧＶ１００が、後端１０３を誘導端として方向１０１に沿って後方に移動している間、ディスプレー１０８は、後ろ向きであると見なされる。人間オペレータは、ＡＧＶ１００の後にある後ろ向きのディスプレー１０８にアクセスすることができるので、ＡＧＶ１００との衝突を回避することができる。ディスプレー１０８は、コマンド、施設のマップ、ルーティング情報、在庫情報、及び在庫保有者／在庫保管などに関連する情報を提供するための任意の適切なデバイスであり得る。幾つかの実施形態では、ディスプレー１０８は、人間オペレータからの入力を受信し、人間オペレータがＡＧＶ１００の動作を制御することを可能にするタッチスクリーンである。ＡＧＶ１００の手動使用が望まれる場合、オペレータは、ディスプレー１０８を介して更新されたコマンドを入力することにより、ＡＧＶ１００の自動操作を無効にすることができる。図５は、人間オペレータがＡＧＶ１００の動作モードを選択及び設定することができるディスプレー１０８のスクリーンショットを示す。
ＡＧＶ１００は、ＡＧＶ１００の周囲の画像及び／又はビデオをキャプチャするための１つ又は複数のカメラをさらに含む。幾つかの実施形態では、ＡＧＶ１００は、ディスプレー１０８に隣接するコンソール１０４に配置されたカメラ１３４を含む。カメラ１３４は、ＡＧＶ１００の近くの画像及び／又はビデオをキャプチャするためにコンソール１０４に取り付けられ得る。カメラ１３４は、正しい人間オペレータに追従又は誘導するために、顔認識、身体認識、及びジェスチャ認識のようなターゲット認識のための人間オペレータの画像をキャプチャするように構成されている。幾つかの実施形態では、ＡＧＶ１００は、ＡＧＶ１００の他の側に画像及び／又はビデオをキャプチャするように構成されている追加のカメラを含む。例えば、ＡＧＶ１００は、ディスプレー１０８の反対側のコンソール１０２上に配置された１つ又は複数のカメラを含み得る。図２に示すように、ＡＧＶ１００は、コンソール１０４上に配置された２つのカメラ１４６、１４８を含む。幾つかの実施形態では、ＡＧＶ１００は、近くの物体の存在を検出し、及び／又は近くの物体からの距離を測定するように構成されている１つ又は複数のセンサーをさらに含む。例えば、１つ又は複数のセンサーは、移動ベース１０２上に置かれ得る。センサーは、近接センサー、ソナーセンサー、超音波センサー、赤外線センサー、レーダーセンサー、ＬｉＤＡＲ、及びそれらの任意の組み合わせなど、近くの物体の存在を検出するように構成できる任意の適切なセンサーを含み得る。図１に示すように、ＡＧＶ１００は、移動ベース１０２の側に配置された複数の超音波センサー１５０を含む。ＡＧＶ１００は、例えば、移動ベース１０２のコーナーで移動ベース１０２上に配置された１つ又は複数のＬｉＤＡＲセンサー１５２をさらに含み得る。ＬｉＤＡＲセンサー１５２は、パルスレーザー光でターゲットを照らし、ターゲットの反射パルスを測定して、ターゲットまでの距離を測定する。レーザーの戻り時間と波長の違いを使用して、ターゲットのデジタル３Ｄ表現を作成することができる。動作中、超音波センサー１５０及びＬｉＤＡＲセンサー１５２は、衝突を回避するために、人間オペレータ及び障害物との適切な距離を維持するために使用される。
動作中、センサー又はカメラによって記録され、検出され、かつ／又は測定された情報の組み合わせは、近くの障害物を回避しながらＡＧＶ１００を所定方向に自律的に移動させることに役立ちたせ、人間オペレータからのアイデンティティーと指示を検出し、かつ認識することによって人間オペレータとの相互作用を可能にし、器具および移動物体を検出し、かつ認識するため、並びにその他の適切なアクションのために使用される。
ＡＧＶ１００は、ＡＧＶ１００の手動停止を可能にするように構成されている緊急停止ボタン１４２をさらに含む。一実施形態では、緊急停止ボタン１４２はコンソール１０４上に配置される。緊急停止ボタン１４２は、操作安全性を向上させるために外向きを向いている。
移動ベース１０２は、複数の電動式車輪１１０及び複数の安定車輪１１２を有する。一実施形態では、移動ベース１０２は、２つの電動式車輪１１０及び４つの安定車輪１１２を有する。安定車輪１１２は、キャスター式車輪であってもよく、移動ベース１０２の４つのコーナーに配置されてもよい。電動式車輪１１０は、前安定車輪１１２と後安定車輪１１２の間に移動ベース１０２の下に配置されてもよい。電動式車輪１１０のそれぞれは、任意の所定方向に回転及び転がるように構成されている。例えば、電動式車輪１１０は、ｙ軸の周りを回転し、ｘ軸又はｚ軸に沿ってなど、任意の方向に沿って、そのアクセルスピンドルの周りで地面上を前後に転がることができる。電動式車輪１１０は、異なる速度で転がるように制御することができる。必要に応じて、安定車輪１１２のいずれか又はすべてを電動化することができる。
移動ベース１０２は、倉庫内の在庫パッケージなどの負荷を支持するために使用することができる上面１０６を有する。幾つかの実施形態では、移動ベース１０２は、動作中に負荷が滑り落ちるのを防止するために、上面１０６の縁部から立ち上がった１つ又は複数のガードレール１０８を含む。
ＡＧＶ１００は、ＡＧＶ１００の状態を示すように構成されている信号灯１４４をさらに含む。各信号灯１４４は、色及び／又は点滅パターンによってＡＧＶ１００の状態を示すように構成されている。一実施形態では、ＡＧＶ１００は、移動ベース１０２の４つのコーナーに配置された４つの信号灯１４４を含む。幾つかの実施形態では、信号灯１４４はＬＥＤ（発光ダイオード）ＬＥＤである。各信号灯１４４は、以下でより詳細に論じられるように、ＡＧＶ１００の複数の状態を示すための複数の色のＬＥＤ灯を含み得る。
本開示によるＡＧＶ１００は、人間オペレータと相互作用し複数のモードで動作するように構成されている。人間オペレータは、ディスプレー１０８や緊急停止ボタン１４２などのコンソール１０４上のユーザインタフェースを使用すること、ＡＧＶ１００の視線内にあるときにジェスチャを使用すること、モバイルデバイスを使用すること、又は音声コマンドを使用することなどの他の適切な方法を含む複数のチャネルを介して、ＡＧＶ１００と相互作用することができる。ＡＧＶ１００は、信号灯１４４及びディスプレー１０８を使用して人間オペレータと通信して、現在の動作モード、状態を示し、及び／又は人間オペレータからのコマンドの認識及び受け入れを認めることができる。ＡＧＶ１００は、自己ナビゲートモード、誘導モード、追従モード、待ち受けモード、及び待機モードで動作することができる。動作モードは、ＡＧＶ１００と相互作用する人間オペレータによって選択され、又は倉庫管理システム（ＷＭＳ）からのコントローラーなどのコントローラーによって指示されてもよい。幾つかの実施形態では、ＡＧＶ１００は、すべて又はほとんどの動作モードで人間オペレータと相互作用することができる。
自己ナビゲートモード
自己ナビゲートモードで、ＡＧＶ１００は独立して動作を行う。ＡＧＶ１００は、目的地、及び目的地に到着した後に実行されるタスクを知っている。
幾つかの実施形態では、ＡＧＶ１００は、自己ナビゲートモードで後方に移動する。後方に移動することにより、人間オペレータは、移動中のＡＧＶ１００の後ろに、コンソール１０４上のディスプレー１０８のタッチスクリーン、カメラ１３４、緊急停止ボタン１４４、又は他のユーザインタフェースコンポーネントと相互作用することができ、それによりＡＧＶ１００との衝突を回避する。あるいは、ＡＧＶ１００は、適切な状況において、例えば、前端１０５を誘導端として移動するなど、自己ナビゲートモードで前方に移動することができる。
誘導モード
誘導モードで、ＡＧＶ１００は、１人又は複数の人間オペレータを誘導しながら、操作又は一連の操作を実行する。自己ナビゲートモードと同様に、ＡＧＶ１００は、目的地、及び目的地に到着した後に実行されるタスクを知っている。幾つかの実施形態では、ＡＧＶ１００は、誘導モードで後方に移動する。必要に応じて、ＡＧＶ１００は誘導モードで前方に移動してもよい。幾つかの実施形態では、ＡＧＶ１００は、誘導モードで動作しながら、移動速度を調整し、及び／又は人間オペレータを待つことができる。
図６は、誘導モードでのＡＧＶ１００の模式図である。ＡＧＶ１００は、システムコントローラーから、又はコンソール１０４などのユーザインタフェースからの指示を受信すると、誘導モードに切り替えることができる。ＡＧＶ１００が誘導モードに切り替えられると、ＡＧＶ１００は、コンソール１０４上のカメラ１３４など、１つ又は複数のカメラを使用して、誘導される人間オペレータを検索して識別し、その後、実行されるタスクに従って人間オペレータを目的地に誘導する。幾つかの実施形態では、人間オペレータは、顔の特徴、骨の構造、衣服の特徴、又はそれらの組み合わせによって識別することができる。ＡＧＶ１００が例えば追従モードでそれまで前方に移動していた場合、誘導モードに切り替えられた後に、ＡＧＶ１００は後方に移動するように変わる。
幾つかの実施形態では、誘導モードに切り替えられたときに、ＡＧＶ１００は既にタスクに関連付けられている。ＡＧＶ１００は、人間オペレータが見て、人間オペレータがＡＧＶ１００に追従するか否かを決定することを可能にするために、ディスプレー１０８上にタスク情報を表示してもよい。人間オペレータがＡＧＶ１００に追従することを決定した場合、人間オペレータは、ＡＧＶ１００が進むことを可能にして、ＡＧＶ１００のパスに従う。図６に示すように、誘導モードの間、ＡＧＶ１００は後方に移動する。この場合、ディスプレー１０８及びカメラ１３４は、人間オペレータがディスプレー１０８上の内容を見ることができ、ＡＧＶ１００が人間オペレータを視線に保つことができるように、後方を向いている。人間オペレータがＡＧＶ１００に追従せずに自分で目的地に向かうことを決定した場合、人間オペレータは、ディスプレー１０８上のタッチスクリーンを操作して、ＡＧＶ１００を誘導モードから自己ナビゲートモードに戻すように切り替えることができる。
幾つかの実施形態では、誘導モードでのＡＧＶ１００によって実行されるタスクは、ＡＧＶ１００に追従している人間オペレータの専門によって確定される。例えば、異なる人間オペレータは、操作設定において異なるタスクに関連付けられ得る。異なるオペレータは、ＡＧＶ１００のための異なるタスク及び／又はルートに繋がる。ＡＧＶ１００が人間オペレータの画像をキャプチャした後、ＡＧＶ１００は、人間オペレータの画像をＷＭＳサーバーに送信する。ＷＭＳサーバーは、画像内の人間オペレータを識別し、人間オペレータに関連付けられたタスク情報を取得し、次にタスク情報をＡＧＶ１００に送信し、ＡＧＶ１００にタスクを実行するように指示する。タスク情報を受信した後、ＡＧＶ１００は、タスク情報をディスプレー１０８に表示し、人間オペレータをタスクに関連付けられた目的地に誘導することができる。
幾つかの実施形態では、図６に示すように、ＡＧＶ１００は誘導モードで後方に移動し、この場合、コンソール１０４は後方を向いている。後方を向いているコンソール１０４は、ディスプレー１０８のタッチスクリーン、カメラ１３４、緊急停止ボタン１４４、又は他のユーザインタフェースコンポーネントを介してＡＧＶ１００と簡単に相互作用するように、ＡＧＶ１００に追従している人間オペレータに簡単なアクセスを提供する。
追従モード
追従モードで、ＡＧＶ１００は人間オペレータの後ろに移動する。ＡＧＶ１００は、コンソール１０４上のカメラ１３４が追従されている人間オペレータを向くように、追従モードで前方に移動する。前方に移動することによって、追従されている人間オペレータは、追従モードの間、コンソール１０４上のディスプレー１０８及び他のユーザインタフェースコンポーネントに容易にアクセスすることができる。ＡＧＶ１００は、人間オペレータに焦点を合わせ、移動速度を調整して、人間オペレータからの予め決められた距離を維持する。
図７は、追従モードでのＡＧＶ１００の模式図である。ＡＧＶ１００は、システムコントローラーから、又はコンソール１０２などのユーザインタフェースからの指示を受信すると、追従モードに切り替えることができる。ＡＧＶ１００が追従モードに切り替えられると、ＡＧＶ１００は、コンソール１０８上の前向きカメラ１３４など、１つ又は複数のカメラを使用して、追従される人間オペレータを検索して識別し、その後、前方に移動しながら、目的地へ人間オペレータに追従する。ＡＧＶ１００が例えば自己ナビゲートモード又は誘導モードでそれまで後方に移動していた場合、追従モードに切り替えられた後に、ＡＧＶ１００は前方に移動するように変わる。幾つかの実施形態では、人間オペレータは、顔の特徴、骨の構造、衣服の特徴、又はそれらの組み合わせによって識別することができる。
状態表示
本開示の実施形態によれば、ＡＧＶ１００は、信号灯１４４を使用して、環境中の人間オペレータ及び／又は他のＡＧＶに対して、現在の状態を示すことができる。一実施形態では、４つの信号灯１４４は動作中に同期され、その結果、ＡＧＶ１００の状態を異なる側から見ることができる。幾つかの実施形態では、信号灯１４４は、異なる色を使用して異なる状態を示す。例えば、第１色は、ＡＧＶ１００が操作を実行して目的地に向かっていることを示し、第２色は、ＡＧＶ１００が目的地に到着して荷積みを待っていることを示し、第３色は、荷下ろしを待っていることを示す。信号灯１４４が単色灯である場合、異なる点滅パターンを使用して異なる状態を示すことができる。
ジェスチャ制御
幾つかの実施形態では、人間オペレータはジェスチャを使用してＡＧＶ１００を制御することができる。例えば、人間オペレータは、移動中のＡＧＶを停止するためにジェスチャを使用することができる。ジェスチャ制御により、タッチスクリーン又はユーザインタフェースコンポーネントが人間オペレータの届かないところにある場合、人間オペレータはＡＧＶと相互作用することができる。
図８は、人間オペレータがジェスチャを介してＡＧＶと相互作用する模式図である。ジェスチャを介してＡＧＶ１００を制御するために、人間オペレータ２００は、カメラ１３４など、ＡＧＶ１００上のカメラの視線内にいる必要がある。カメラが人間オペレータ２００をキャプチャしジェスチャを認識すると、ＡＧＶ１００は適切な行動をとる。幾つかの実施形態では、ＡＧＶ１００は、人間オペレータの全身画像（又はビデオ）をキャプチャし、四肢の相対位置を分析して、ジェスチャを抽出する。幾つかの実施形態では、ＡＧＶ１００は、ジェスチャを認識すると、指示信号を提供する。例えば、ＡＧＶ１００は、信号灯を使用して、ジェスチャが認識されること及び／又は行動が取られることを示すことができる。図８では、人間オペレータ２００は、入ってくるＡＧＶ１００の邪魔になる障害物２０２のそばに立っている。人間オペレータ２００は、ＡＧＶ１００が停止するためのジェスチャを行う。ＡＧＶ１００上のカメラ１３４は、ジェスチャのある人間オペレータ２００の画像をキャプチャし、画像を分析する。ジェスチャを認識した後、ＡＧＶ１００は、例えば、信号灯１４４を点滅させることにより、ジェスチャの検出を示す。幾つかの実施形態では、ＡＧＶ１００は、障害物２０２及び人間オペレータ２００との衝突を回避するように停止する。別の実施形態では、ＡＧＶ１００は、経路変更又は迂回などの障害物回避行動をとる。幾つかの実施形態では、ＡＧＶ１００は、異なる信号及び／又は効果音を送信して、人間オペレータ２００に、それが停止するか、又は回避行動をとるか否かを知らせることができる。
図９は、一実施形態によるＡＧＶ１００の動作ブロック図である。ＡＧＶ１００は、ＡＧＶ１００の動作を制御するように構成されているコントローラー１６０を含む。コントローラー１６０は、マップ情報、ルーティング情報、人間オペレータ情報、在庫情報など、操作を実行するためのデータを含む記憶装置１６２と通信している。コントローラー１６０はまた、ＡＧＶ１００の操作を制御するように構成されている幾つかのモジュールと通信している。幾つかの実施形態では、モジュールは、追従モジュール１６４、誘導モジュール１６６、自己ナビゲートモジュール１６８、衝突回避モジュール１７０、ジェスチャ解釈モジュール１７２、状態表示モジュール１７４、及びマップ更新モジュール１７６を含む。
コントローラー１６０、モジュール、及び／又は記憶装置１６２に含まれるデータは、近接センサー、カメラ１３４から受信された情報、ユーザインタフェースコンポーネントからのユーザー入力、及び倉庫管理システムのためのコントローラーなどのシステムコントローラーからのユーザー入力に少なくとも部分的に基づいて、車輪１１０、１１２、信号灯１４４、及び／又はディスプレー１０８に表示される情報を制御するように構成されている。コントローラー１６０は、カメラ、近接センサー、記憶装置１６２におけるデータ、及び／又はモジュールのいずれかから受信又は検索された情報を分析し、それに応じて、電動式車輪１１０、１１２、信号灯１４４、及び／又はディスプレー１０８に表示される情報を含むＡＧＶ１００の操作を制御するように構成されている。
倉庫システム
本開示によるＡＧＶは、倉庫、病院、空港、及び自動パッケージ輸送を使用する可能性がある他の環境などの様々な動作システムにおけるパッケージキャリアとして使用することができる。図１０は、本開示による複数のＡＧＶを有する倉庫システム３００の平面図である。倉庫システム３００は、システムコントローラー３０２を含む。システムコントローラー３０２は、ネットワーク３０４を介して倉庫に配置された複数のＡＧＶ１００と通信する。複数のＡＧＶ１００は、倉庫内の人間オペレータ２００と相互作用し得る。システムコントローラー３０２は、指示、及びオペレータ情報、在庫情報などの情報を複数のＡＧＶ１００に送信する。ＡＧＶ１００は、キャプチャされた画像及びセンサー測定値をシステムコントローラー３０２に送信する。ＡＧＶ１００及び人間オペレータ２００は、人間オペレータを作業現場に誘導すること、作業現場へ人間オペレータに追従すること、人間オペレータに荷積み／荷下ろしの必要を信号で知らせること、人間オペレータからのジェスチャに反応すること、及び他のＡＧＶとの衝突を回避することなどの様々な操作を実行するために、直接相互作用するか、又は関与するシステムコントローラー３０２と相互作用する。
図１１は、パッケージの輸送にＡＧＶを使用している倉庫４００の図である。倉庫４００は、受け取りステーション４０２、待機／充電エリア４０４、復元エリア４０６、ピッキング／パッキングステーション４０８、及び出荷ステーション４１０を含み得る。複数のＡＧＶ及び１つ又は複数の人間オペレータは一緒に倉庫４００におけるパッケージを輸送及びプロセスする。図１１は、ＡＧＶ１００ａ及びＡＧＶ１００ｂによって実行される２つの例示的なタスクを模式的に示す。
倉庫タスク例１
ＡＧＶ１００ａには、まず受け取りステーション４０２でパッケージが荷積みされる。パッケージの荷積みが完了すると、ＡＧＶ１００ａは、図１０のシステムコントローラー３０２などのシステムコントローラーから、パッケージを復元エリア４０６に輸送するように指示を受け取ることができる。幾つかの実施形態では、ＡＧＶ１００ａは、自己ナビゲートモードでルート４１２を介して、受け取りステーション４０２から復元エリア４０６にパッケージを輸送する。ルート４１２は、記憶装置内のマップ情報に基づいて、システムコントローラーによって選出され得るか、又はＡＧＶ１００ａによって選択され得る。自己ナビゲートモードで、ＡＧＶ１００ａは、後方に、即ち、後端１０３を誘導端として移動し得る。ルート４１２にある間、ＡＧＶ１００ａの信号灯１４４は、ＡＧＶ１００ａが自己ナビゲートモードにあり且つ動作を実行していることを示すように信号を送信する。
復元エリア４０６に到着すると、ＡＧＶ１００ａは、人間オペレータ２００ａと相互作用する。幾つかの実施形態では、ＡＧＶ１００ａは、復元エリア４０６に到着すると停止してもよく、一方、信号灯１４４は、ＡＧＶ１００ａが荷下ろしを待っていることを示す。人間オペレータ２００ａは、タッチスクリーンを介してＡＧＶ１００ａと相互作用するために、待っているＡＧＶ１００ａに至ることができる。幾つかの実施形態では、人間オペレータ２００ａは、ジェスチャを使用してＡＧＶ１００ａを停止させて、ＡＧＶ１００ａとさらに相互作用することができる。人間オペレータ２００ａは、ディスプレー１０８上のタッチスクリーンを介してＡＧＶ１００ａを追従モードに設定する。ＡＧＶ１００ａは、カメラ１３４を使用して人間オペレータ２００ａの画像をキャプチャし、人間オペレータ２００ａに追従する目的で、顔の特徴や骨の構造などの人間オペレータ２００ａの特徴を抽出する。人間オペレータ２００ａに追従するために、ＡＧＶ１００ａは、前端１０５を誘導端として、コンソール１０４が人間オペレータ２００ａを向くように、向きを変えて前方に移動する。必要に応じて、ＡＧＶ１００ａは、人間オペレータ２００ａに追従しながら後方に移動してもよい。ルート４１４にある間、ＡＧＶ１００ａの信号灯１４４は、ＡＧＶ１００ａが追従モードで動作を実行していることを示すように信号を送信する。
ＡＧＶ１００ａは、ＡＧＶ１００ａが知らないルート４１４に沿って、人間オペレータ２００ａがパッケージを荷下ろしする場所まで人間オペレータ２００ａに追従する。幾つかの実施形態では、ＡＧＶ１００ａ及び人間オペレータ２００ａは、すべてのパッケージを荷下ろしするために２つ以上の停止を行うことができる。
パッケージを荷下ろしした後、人間オペレータ２００ａは、ＡＧＶ１００ａを自己ナビゲートモードに設定してもよい。ＡＧＶ１００ａは、向きを変えて、ルート４１６に沿って待機／充電エリア４０４へ後方に移動する。ルート４１６は、記憶装置内のマップ情報に基づいて、システムコントローラーによって選出され得るか、又はＡＧＶ１００ａによって選択され得る。ルート４１６にある間、ＡＧＶ１００ａの信号灯１４４は、ＡＧＶ１００ａが自己ナビゲートモードにあり且つ負荷がないことを示すように信号を送信する。ＡＧＶ１００ａは充電され、システムコントローラーからの更なる指示を待つ。
あるいは、ルート４１４は誘導モードで実行されてもよい。例えば、人間オペレータ２００ａと相互作用すると、ＡＧＶ１００ａは、人間オペレータ２００ａの画像をキャプチャし、画像を、図１０のコントローラー３０２などのシステムコントローラーに送信する。システムコントローラーは、システムに記憶されている情報に従って画像に基づいて人間オペレータ２００ａを識別し、人間オペレータ２００ａの役割及びＡＧＶ１００ａ上のパッケージに基づいて、タスク指示をＡＧＶ１００ａに送信する。ＡＧＶ１００ａは、タスク情報を受信しディスプレー１０８に表示する。ディスプレー１０８上のタスク情報を見た後、人間オペレータ２００ａは、ＡＧＶ１００ａに追従するか、又はＡＧＶ１００ａを誘導するかを決定し得る。人間オペレータ２００ａがＡＧＶ１００ａに追従することを決定する場合、人間オペレータ２００ａは、ＡＧＶ１００ａを誘導モードに設定する。ＡＧＶ１００ａは、タスク指示及び記憶されているマップ情報に従ってルート４１４を選択し、パッケージを荷下ろしするための場所に人間オペレータ２００ａを誘導する。ルート４１４にある間、ＡＧＶ１００ａの信号灯１４４は、ＡＧＶ１００ａが誘導モードにあり且つ負荷があることを示すように信号を送信する。
倉庫タスク例２
復元エリア４０６に行くように指示を受信すると、待機／充電ステーション４０４で待っているＡＧＶ１００ｂは、自己ナビゲートモードで、ルート４１８を介して、待機／充電エリア４０４から復元エリア４０６に走行する。自己ナビゲートモードで、ＡＧＶ１００ａは、後方に、即ち、後端１０３を誘導端として移動し得る。ルート４１８にある間、ＡＧＶ１００ｂの信号灯１４４は、ＡＧＶ１００ａが自己ナビゲートモードにあり且つ負荷がないことを示すように信号を送信する。
復元エリア４０６に到着すると、ＡＧＶ１００ｂは、人間オペレータ２００ｂと相互作用する。幾つかの実施形態では、ＡＧＶ１００ｂは、復元エリア４０６に到着すると停止してもよく、一方、信号灯１４４は、ＡＧＶ１００ｂが荷積みを待っていることを示す。人間オペレータ２００ｂは、タッチスクリーンを介してＡＧＶ１００ｂと相互作用するために、待っているＡＧＶ１００ｂに至ることができる。幾つかの実施形態では、人間オペレータ２００ｂは、ジェスチャを使用してＡＧＶ１００ｂを停止させて、ＡＧＶ１００ｂとさらに相互作用することができる。人間オペレータ２００ａは、ディスプレー１０８上のタッチスクリーンを介してＡＧＶ１００ｂを追従モードに設定する。ＡＧＶ１００ｂは、カメラ１３４を使用して人間オペレータ２００ｂの画像をキャプチャし、人間オペレータ２００ｂに追従する目的で、顔の特徴や骨の構造などの人間オペレータ２００ｂの特徴を抽出する。人間オペレータ２００ｂに追従するために、ＡＧＶ１００ｂは、前端１０５を誘導端として、コンソール１０４が人間オペレータ２００ｂを向くように、向きを変えて前方に移動する。ルート４２０にある間、ＡＧＶ１００ｂの信号灯１４４は、ＡＧＶ１００ｂが追従モードにあり且つ負荷がないことを示すように信号を送信する。
ＡＧＶ１００ｂは、ＡＧＶ１００ｂが知らないルート４２０に沿って、人間オペレータ２００ｂがパッケージをＡＧＶ１００ｂに荷積みする場所まで人間オペレータ２００ｂに追従する。幾つかの実施形態では、ＡＧＶ１００ｂ及び人間オペレータ２００ｂは、異なるパッケージを荷積みするために２つ以上の停止を行うことができる。
パッケージを荷積みした後、人間オペレータ２００ｂは、ＡＧＶ１００ｂを自己ナビゲートモードに設定してもよい。ＡＧＶ１００ｂは、向きを変えて、ルート４２２に沿ってピッキング・パッキングステーション４０８へ後方に移動する。ルート４２０は、記憶装置内のマップ情報に基づいて、ＡＧＶ１００ｂによって選択され得る。ルート４２２にある間、ＡＧＶ１００ｂの信号灯１４４は、ＡＧＶ１００ｂが自己ナビゲートモードにあり且つタスクを実行していることを示すように信号を送信する。ＡＧＶ１００ｂはピッキング・パッキングステーション４０８で荷下ろしされ、そこでパッケージが処理されて出荷ステーション４１０に送られ倉庫４００を出る。
あるいは、ルート４２０は誘導モードで実行されてもよい。例えば、人間オペレータ２００ｂと相互作用すると、ＡＧＶ１００ｂは、人間オペレータ２００ｂの画像をキャプチャし、画像を、図１０のコントローラー３０２などのシステムコントローラーに送信する。システムコントローラーは、システムに記憶されている情報に従って画像に基づいて人間オペレータ２００ｂを識別し、人間オペレータ２００ｂの役割に基づいて、タスク指示をＡＧＶ１００ｂに送信する。ＡＧＶ１００ｂは、タスク情報を受信してディスプレー１０８に表示する。ディスプレー１０８上のタスク情報を見た後、人間オペレータ２００ｂは、ＡＧＶ１００ｂに追従するか、又はＡＧＶ１００ｂを誘導するかを決定し得る。人間オペレータ２００ｂがＡＧＶ１００ｂに追従することを決定する場合、人間オペレータ２００ｂは、ＡＧＶ１００ｂを誘導モードに設定する。ＡＧＶ１００ｂは、タスク指示及び記憶されているマップ情報に従ってルート４２０を選択し、パッケージを荷積みするための場所に人間オペレータ２００ｂを誘導する。ルート４２０にある間、ＡＧＶ１００ｂの信号灯１４４は、ＡＧＶ１００ｂが誘導モードにあり且つ負荷がないことを示すように信号を送信する。
倉庫環境においては、棚間のパスが狭い場合がある。本開示の実施形態は、ＡＧＶ間及び／又はＡＧＶと人間オペレータとの間の衝突を防止するためのメカニズムをさらに含む。本開示の一実施形態によれば、ＡＧＶの動作は、例えば、ＡＧＶが既知のルートに沿って移動しているか否か、ＡＧＶが負荷を搬送しているか否か、負荷の重量、ＡＧＶの速度、ＡＧＶに関連するタスクの緊急性、又はその他の関連要因などの様々な要因に基づいて、異なる優先度レベルで指定される。幾つかの実施形態では、図１０のコントローラー３０２などのシステムコントローラーは、その時点でＡＧＶに関連する様々な要因に基づいて、各ＡＧＶに常に優先度レベルを割り当てる。システムコントローラーは、移動中のすべてのＡＧＶのリアルタイムの位置を監視し、２つのＡＧＶが互いに交差しようとするときに、優先度の低いＡＧＶを停止するように指示を送信する。様々な要因は組み合わせて使用され、様々な重みが付けられる。
一実施形態では、負荷のあるＡＧＶは、負荷のないＡＧＶよりも優先度が高い。これは、荷積みされたＡＧＶよりも空のＡＧＶを停止させる方が簡単かつ効率的であるためである。さらに、荷積みされたＡＧＶによる急激なブレークにより、パッケージが慣性で落下する可能性がある。幾つかの実施形態では、荷積みされた２つのＡＧＶが互いに交差する場合、より重い負荷を有するＡＧＶは、より軽い重量を有するＡＧＶよりも高い優先度を有し得る。
一実施形態では、自己ナビゲートモード又は誘導モードで移動しているＡＧＶなど、予め選択されたルートを有するＡＧＶ、追従モードでのＡＧＶなどの未知のルートを有するＡＧＶよりも高い優先度を有する。これは、不明なルートを有するＡＧＶの移動は予測不能であり、そのために回避することがより難しいためである。既知のルートに沿って移動するＡＧＶと未知のルートに沿って移動するＡＧＶの場合、衝突が発生しないように、未知のルートでＡＧＶを停止させる方が安全である。
衝突回避例１
図１２は、本開示の一実施形態による衝突回避操作を示す倉庫通路の模式図である。パッケージの負荷を有するＡＧＶ１００ｃは、自己ナビゲートモードで既知のルートに沿って移動している。空のＡＧＶ１００ｄは、不明なルートにおいて追従モードで人間オペレータの後ろに移動している。倉庫システムコントローラーは、負荷の存在とルートの予測可能性のために、ＡＧＶ１００ｄよりも高い優先度をＡＧＶ１００ｃに割り当てる。ＡＧＶ１００ｃとＡＧＶ１００ｄの両方が同じ倉庫通路で近接すると、システムコントローラーは、ＡＧＶ１００ｄを停止させるようにＡＧＶ１００ｄに指示を送信する。自己ナビゲートモードで、ＡＧＶ１００ｃは、ＡＧＶ１００ｄが障害物であるように、移動しないＡＧＶ１００ｄを回避して通過できる。ＡＧＶ１００ｃがＡＧＶ１００ｄを通過した後、システムコントローラーは別の指示をＡＧＶ１００ｄに送信して、その追従モードでの動作を再開する。
衝突回避例２
図１３は、本開示の別の実施形態による衝突回避操作を示す倉庫通路の模式図である。パッケージの負荷を有するＡＧＶ１００ｅは、自己ナビゲートモードで既知のルートに沿って移動している。負荷のない空のＡＧＶ１００ｆは、自己ナビゲートモードで既知のルートに沿って移動している。倉庫システムコントローラーは、負荷の存在のために、ＡＧＶ１００ｆよりも高い優先度をＡＧＶ１００ｅに割り当てる。ＡＧＶ１００ｅとＡＧＶ１００ｆの両方が同じ交差点４３０で接近すると、システムコントローラーは、ＡＧＶ１００ｆを停止させるようにＡＧＶ１００ｆに指示を送信する。ＡＧＶ１００ｅは、交差点４３０を通過するように進む。ＡＧＶ１００ｅが交差点４３０を通過した後、システムコントローラーは別の指示を１００ｆに送信して、その動作を再開する。幾つかの実施形態では、システム内のＡＧＶがシステムコントローラーを経由せずにピアツーピアプロトコルによって互いに通信できるように、指示が各ＡＧＶに事前にインストールされ得る。
以上は、本開示の実施形態に向けられているが、本開示の他の及び更なる実施形態は、その基本的な範囲から逸脱することなく考え出すことができ、その範囲は、以下の特許請求の範囲によって決定される。
ＡＧＶ１００は、ＡＧＶ１００の周囲の画像及び／又はビデオをキャプチャするための１つ又は複数のカメラをさらに含む。幾つかの実施形態では、ＡＧＶ１００は、ディスプレー１０８に隣接するコンソール１０４に配置されたカメラ１３４を含む。カメラ１３４は、ＡＧＶ１００の近くの画像及び／又はビデオをキャプチャするためにコンソール１０４に取り付けられ得る。カメラ１３４は、正しい人間オペレータに追従又は誘導するために、顔認識、身体認識、及びジェスチャ認識のようなターゲット認識のための人間オペレータの画像をキャプチャするように構成されている。幾つかの実施形態では、ＡＧＶ１００は、ＡＧＶ１００の他の側に画像及び／又はビデオをキャプチャするように構成されている追加のカメラを含む。例えば、ＡＧＶ１００は、ディスプレー１０８の反対側のコンソール１０４上に配置された１つ又は複数のカメラを含み得る。図２に示すように、ＡＧＶ１００は、コンソール１０４上に配置された２つのカメラ１４６、１４８を含む。幾つかの実施形態では、ＡＧＶ１００は、近くの物体の存在を検出し、及び／又は近くの物体からの距離を測定するように構成されている１つ又は複数のセンサーをさらに含む。例えば、１つ又は複数のセンサーは、移動ベース１０２上に置かれ得る。センサーは、近接センサー、ソナーセンサー、超音波センサー、赤外線センサー、レーダーセンサー、ＬｉＤＡＲ、及びそれらの任意の組み合わせなど、近くの物体の存在を検出するように構成できる任意の適切なセンサーを含み得る。図１に示すように、ＡＧＶ１００は、移動ベース１０２の側に配置された複数の超音波センサー１５０を含む。ＡＧＶ１００は、例えば、移動ベース１０２のコーナーで移動ベース１０２上に配置された１つ又は複数のＬｉＤＡＲセンサー１５２をさらに含み得る。ＬｉＤＡＲセンサー１５２は、パルスレーザー光でターゲットを照らし、ターゲットの反射パルスを測定して、ターゲットまでの距離を測定する。レーザーの戻り時間と波長の違いを使用して、ターゲットのデジタル３Ｄ表現を作成することができる。動作中、超音波センサー１５０及びＬｉＤＡＲセンサー１５２は、衝突を回避するために、人間オペレータ及び障害物との適切な距離を維持するために使用される。
移動ベース１０２は、倉庫内の在庫パッケージなどの負荷を支持するために使用することができる上面１０６を有する。幾つかの実施形態では、移動ベース１０２は、動作中に負荷が滑り落ちるのを防止するために、上面１０６の縁部から立ち上がった１つ又は複数のガードレール１０９を含む。
幾つかの実施形態では、ＡＧＶ１００は、自己ナビゲートモードで後方に移動する。後方に移動することにより、人間オペレータは、移動中のＡＧＶ１００の後ろに、コンソール１０４上のディスプレー１０８のタッチスクリーン、カメラ１３４、緊急停止ボタン１４２、又は他のユーザインタフェースコンポーネントと相互作用することができ、それによりＡＧＶ１００との衝突を回避する。あるいは、ＡＧＶ１００は、適切な状況において、例えば、前端１０５を誘導端として移動するなど、自己ナビゲートモードで前方に移動することができる。
幾つかの実施形態では、図６に示すように、ＡＧＶ１００は誘導モードで後方に移動し、この場合、コンソール１０４は後方を向いている。後方を向いているコンソール１０４は、ディスプレー１０８のタッチスクリーン、カメラ１３４、緊急停止ボタン１４２、又は他のユーザインタフェースコンポーネントを介してＡＧＶ１００と簡単に相互作用するように、ＡＧＶ１００に追従している人間オペレータに簡単なアクセスを提供する。
図７は、追従モードでのＡＧＶ１００の模式図である。ＡＧＶ１００は、システムコントローラーから、又はコンソール１０２などのユーザインタフェースからの指示を受信すると、追従モードに切り替えることができる。ＡＧＶ１００が追従モードに切り替えられると、ＡＧＶ１００は、コンソール１０４上の前向きカメラ１３４など、１つ又は複数のカメラを使用して、追従される人間オペレータを検索して識別し、その後、前方に移動しながら、目的地へ人間オペレータに追従する。ＡＧＶ１００が例えば自己ナビゲートモード又は誘導モードでそれまで後方に移動していた場合、追従モードに切り替えられた後に、ＡＧＶ１００は前方に移動するように変わる。幾つかの実施形態では、人間オペレータは、顔の特徴、骨の構造、衣服の特徴、又はそれらの組み合わせによって識別することができる。

Claims (21)

  1. 自己駆動システムであって、移動ベースと、コンソールと、カメラとを含み、前記移動ベースは、電動式車輪を含み、第１端及び第２端を有し、前記コンソールは、起立構成で前記移動ベースの前記第１端に結合され、前記移動ベースを前後に移動させるように前記電動式車輪を制御するように構成され、前記第１端が誘導端であるときに前記移動ベースは前方に移動し、前記第２端が誘導端であるときに前記移動ベースは後方に移動し、前記カメラは、前記コンソールに結合され、動作中の人間オペレータを検出し、前記移動ベースが前記人間オペレータに追従することを可能にするように構成されている、自己駆動システム。
  2. 前記移動ベースは、自己ナビゲートモードで後方に移動するように動作可能である、請求項１に記載のシステム。
  3. 前記移動ベースは、前記移動ベースが前記人間オペレータに追従する追従モードで、前方に移動するように動作可能である、請求項２に記載のシステム。
  4. 前記コンソールに取り付けられたタッチスクリーンをさらに含み、前記タッチスクリーン及び前記カメラは、前記コンソールの同じ側に取り付けられる、請求項３に記載のシステム。
  5. コントローラーをさらに含み、前記コントローラーは前記タッチスクリーン及び前記カメラに接続され、前記コントローラーは、前記人間オペレータが動作モードを選択することを可能にするために、前記タッチスクリーンに表示情報を送信するように動作可能である、請求項４に記載のシステム。
  6. 前記コントローラーは、前記人間オペレータが前記自己ナビゲートモード、前記追従モード、及び誘導モードの中から選択することを可能にするために、前記タッチスクリーンに表示情報を送信する、請求項５に記載のシステム。
  7. 前記コントローラーは、動作モードが前記自己ナビゲートモード又は前記誘導モードから前記追従モードに切り替えられたときに、後方への移動から前方への移動に向きを変えるように前記移動ベースに指示するように動作可能である、請求項６に記載のシステム。
  8. 前記コントローラーは、前記カメラから前記人間オペレータの画像を受信し、前記画像を分析してジェスチャの形態の指示を識別し、識別された指示に従って前記移動ベースを制御するように動作可能である、請求項５に記載のシステム。
  9. 前記システムの動作状態を示すように構成されている１つ又は複数の信号灯をさらに含む、請求項１に記載のシステム。
  10. コンソールに結合され、前記人間オペレータが前記移動ベースを手動で停止させることを可能にするように構成されている緊急停止ボタンをさらに含む、請求項１に記載のシステム。
  11. 倉庫管理システムであって、システムコントローラーと、ネットワークを介して前記システムコントローラーに接続された複数の無人搬送車（ＡＧＶ）とを含み、
    前記ＡＧＶの少なくとも１つが人間オペレータに追従するか又は人間オペレータを誘導することによって人間オペレータと相互作用するように構成されている、ことを特徴とする倉庫管理システム。
  12. 前記システムコントローラーは、前記ＡＧＶによって実行されている動作モード及びタスクに従って各ＡＧＶに優先度レベルを割り当て、前記複数のＡＧＶの移動を監視し、２つのＡＧＶが交差して通過しようとするときに優先度レベルの低いＡＧＶを停止させるように指示を送信するように動作可能である、請求項１に記載のシステム。
  13. 無人搬送車（ＡＧＶ）を操作する方法であって、前記ＡＧＶを自己ナビゲート／誘導モード又は追従モードで移動させ、ここで、前記ＡＧＶが自己ナビゲート／誘導モードで予め選択されたルートに従って移動し、前記ＡＧＶが前記ＡＧＶ上のカメラの視線内の人間オペレータの後ろに移動することと、前記動作モードが前記自己ナビゲート／誘導モードから前記追従モードに切り替えられたとき、及び前記動作モードが前記追従モードから前記自己ナビゲート／誘導モードに切り替えられたときに、前記ＡＧＶの移動方向を切り替えることとを含む、ことを特徴とする方法。
  14. 前記人間オペレータが動作モードを選択することを可能にするように前記ＡＧＶのタッチスクリーンに動作モードの選択肢を表示することをさらに含み、前記タッチスクリーン及び前記カメラは、同じ方向を向く、請求項１３に記載の方法。
  15. 前記タッチスクリーンが前記ＡＧＶの後端にあり且つ後方を向いているとともに、前記ＡＧＶは前記自己ナビゲートモード／誘導モードで後方に移動し、前記タッチスクリーンが前記ＡＧＶの頭端にあり且つ前方を向いているとともに、前記ＡＧＶは前記追従モードで前方に移動する、請求項１４に記載の方法。
  16. 前記カメラで前記人間オペレータの画像をキャプチャすることと、ネットワークを介して前記画像をシステムコントローラーに送信して、タスク情報を得ることと、前記タスク情報を前記タッチスクリーンに表示することとをさらに含む、請求項１３に記載の方法。
  17. 前記ＡＧＶ上の信号灯を使用して、前記ＡＧＶの現在の動作状態を示すことをさらに含む、請求項１３に記載の方法。
  18. 前記現在の動作状態を示すことは、異なる色又は点滅パターンを使用して異なる動作状態を示すことを含む、請求項１７に記載の方法。
  19. 前記カメラからの画像を監視して、人間オペレータからのジェスチャを識別することと、識別されたジェスチャに反応することとをさらに含む、請求項１３に記載の方法。
  20. 前記ＡＧＶによって実行されている動作モード及びタスクに従って、前記ＡＧＶに優先度レベルを割り当てることと、優先度レベルのより高いＡＧＶに道を譲ることとをさらに含む、請求項１３に記載の方法。
  21. 前記ＡＧＶが既知のルートに従って移動しているか否か、前記ＡＧＶが負荷を運んでいるか否か、前記負荷の重量、前記ＡＧＶの速度、前記ＡＧＶに関連する前記タスクの緊急性、又はそれらの組み合わせに基づいて、前記優先度レベルを割り当てる、請求項２０に記載の方法。
JP2021518914A 2018-10-10 2018-10-10 人間相互作用無人搬送車 Active JP7178061B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/109649 WO2020073232A1 (en) 2018-10-10 2018-10-10 Human interacting automatic guided vehicle

Publications (2)

Publication Number Publication Date
JP2022514157A true JP2022514157A (ja) 2022-02-10
JP7178061B2 JP7178061B2 (ja) 2022-11-25

Family

ID=69905373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518914A Active JP7178061B2 (ja) 2018-10-10 2018-10-10 人間相互作用無人搬送車

Country Status (5)

Country Link
US (1) US11188088B2 (ja)
EP (1) EP3863463A4 (ja)
JP (1) JP7178061B2 (ja)
CN (2) CN114779757A (ja)
WO (1) WO2020073232A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166734A (ja) * 2019-03-29 2020-10-08 日本電産シンポ株式会社 搬送車
KR102477763B1 (ko) * 2022-04-26 2022-12-15 주식회사 더하트컴퍼니 엄마 종합 유형 검사 시스템

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7379814B2 (ja) * 2018-11-21 2023-11-15 富士フイルムビジネスイノベーション株式会社 自律移動装置およびプログラム
AT523767A1 (de) * 2020-04-20 2021-11-15 S A M Tech Gmbh Vorrichtung zur Führung eines selbstfahrenden Fahrzeuges
JP7450481B2 (ja) * 2020-07-14 2024-03-15 本田技研工業株式会社 移動体制御装置、移動体、移動体制御方法、およびプログラム
CN111924269A (zh) * 2020-07-30 2020-11-13 五邑大学 一种多功能智能跟随底盘
CN111820822B (zh) * 2020-07-30 2022-03-08 广东睿住智能科技有限公司 扫地机器人及其照明方法和计算机可读存储介质
US20220043443A1 (en) * 2020-08-04 2022-02-10 Passion Mobility Ltd. Smart Navigation System
JP7415869B2 (ja) * 2020-10-19 2024-01-17 トヨタ自動車株式会社 無人搬送システム
CN112319153B (zh) * 2020-11-05 2022-07-12 广州赛特智能科技有限公司 一种自动对接装置
TWI770990B (zh) * 2021-05-06 2022-07-11 東元電機股份有限公司 跟隨使用者移動之充電車
JP7320565B2 (ja) * 2021-07-06 2023-08-03 株式会社関電工 建築資材運搬ロボットおよび建築資材運搬システム
CN115729226A (zh) * 2021-09-01 2023-03-03 灵动科技（北京）有限公司 根据调度信息控制机器人的方法、系统和相应的机器人
CN113772599A (zh) * 2021-09-15 2021-12-10 湖南星邦智能装备股份有限公司 一种剪叉式高空作业平台及其控制系统及方法
WO2024129981A1 (en) * 2022-12-15 2024-06-20 Bastian Solutions, Llc Hands free advance control for material handling vehicle
CN117289704A (zh) * 2023-09-07 2023-12-26 新石器慧通（北京）科技有限公司 一种车辆遥控控制方法、装置及无人车

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393739A (zh) * 2011-05-27 2012-03-28 严海蓉 智能手推车及其应用方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564906A (ja) 1991-09-09 1993-03-19 Seiko Epson Corp サーマルプリントヘツド
JP2566453Y2 (ja) * 1992-01-23 1998-03-25 三菱農機株式会社 作業用走行車の自動操向制御装置
EP1941411B1 (en) * 2005-09-30 2011-09-14 iRobot Corporation Companion robot for personal interaction
JP5109098B2 (ja) * 2007-06-14 2012-12-26 本田技研工業株式会社 運動制御システム、運動制御方法および運動制御プログラム
EP2385435A1 (en) * 2010-04-22 2011-11-09 Danaher Motion Särö AB A method and a system for gathering data
US8165718B2 (en) 2010-07-30 2012-04-24 Toyota Motor Engineering & Manufacturing North America, Inc. Robotic transportation devices and systems
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
CA2885630C (en) * 2012-09-19 2020-09-29 Follow Inspiration Unipessoal, Lda. Self tracking system and its operation method
US9623561B2 (en) * 2012-10-10 2017-04-18 Kenneth Dean Stephens, Jr. Real time approximation for robotic space exploration
DE102013110456A1 (de) * 2013-09-21 2015-03-26 Still Gmbh Verfahren zur Steuerung eines Kommissionierflurförderzeugs
US9395723B2 (en) * 2013-09-30 2016-07-19 Five Elements Robotics, Inc. Self-propelled robot assistant
US9283674B2 (en) * 2014-01-07 2016-03-15 Irobot Corporation Remotely operating a mobile robot
EP3216745B1 (de) * 2016-03-07 2018-04-11 STILL GmbH Steuerungsverfahren für flurförderzeug
CN106741028B (zh) 2016-12-05 2018-11-02 四川西部动力机器人科技有限公司 一种机场智能行李车
JP6652084B2 (ja) * 2017-02-09 2020-02-19 株式会社ダイフク 物品搬送設備
US10642282B2 (en) * 2017-04-12 2020-05-05 X Development Llc Roadmap annotation for deadlock-free multi-agent navigation
US10733739B2 (en) * 2017-09-29 2020-08-04 Nanjing Avatarmind Robot Technology Co., Ltd. Method and system for displaying target image based on robot
CN207374107U (zh) * 2017-10-27 2018-05-18 灵动科技（北京）有限公司 基于万向轮的智能移动底盘和包括该底盘的智能移动装置
CN107807652A (zh) 2017-12-08 2018-03-16 灵动科技（北京）有限公司 物流机器人、用于其的方法和控制器及计算机可读介质
CN108549386A (zh) * 2018-05-22 2018-09-18 汇专科技集团股份有限公司 Agv小车管控系统及方法
KR102175298B1 (ko) * 2018-06-14 2020-11-06 엘지전자 주식회사 이동 로봇의 동작 방법
US10948907B2 (en) * 2018-08-24 2021-03-16 Ford Global Technologies, Llc Self-driving mobile robots using human-robot interactions
WO2020041965A1 (en) * 2018-08-28 2020-03-05 Lingdong Technology (Beijing) Co., Ltd Self-driving systems with inventory holder
US11059506B2 (en) * 2018-10-04 2021-07-13 Target Brands, Inc. Physical shopping cart having features for use in customer checkout of items placed into the shopping cart

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393739A (zh) * 2011-05-27 2012-03-28 严海蓉 智能手推车及其应用方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020166734A (ja) * 2019-03-29 2020-10-08 日本電産シンポ株式会社 搬送車
KR102477763B1 (ko) * 2022-04-26 2022-12-15 주식회사 더하트컴퍼니 엄마 종합 유형 검사 시스템

Also Published As

Publication number Publication date
EP3863463A4 (en) 2022-05-25
CN110945450A (zh) 2020-03-31
US20210232148A1 (en) 2021-07-29
JP7178061B2 (ja) 2022-11-25
CN110945450B (zh) 2022-04-05
EP3863463A1 (en) 2021-08-18
CN114779757A (zh) 2022-07-22
US11188088B2 (en) 2021-11-30
WO2020073232A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
JP7178061B2 (ja) 人間相互作用無人搬送車
US11312030B2 (en) Self-driving vehicle system with steerable camera and indicator
US11086328B2 (en) Autonomous cart for manufacturing and warehouse applications
Culler et al. A prototype smart materials warehouse application implemented using custom mobile robots and open source vision technology developed using emgucv
US11345032B2 (en) Autonomous moving body and control program for autonomous moving body
US11480953B2 (en) Autonomous broadcasting system for self-driving vehicle
WO2021109890A1 (zh) 具有追踪功能的自动驾驶系统
US11241790B2 (en) Autonomous moving body and control program for autonomous moving body
US20220291685A1 (en) Method and system to improve autonomous robotic systems responsive behavior
US11353880B2 (en) Autonomous moving body and control program for autonomous moving body
JP2022552335A (ja) 自律移動装置及び倉庫物流システム
US11215990B2 (en) Manual direction control component for self-driving vehicle
JP2023177532A (ja) 誘導システム
KR102171934B1 (ko) 양방향 선도 추미 대차
JP7301409B2 (ja) 搬送システム、及び搬送制御方法
JP7510942B2 (ja) 自動運転車用自律放送システム
JP2023113943A (ja) 搬送システム、及び搬送制御方法
JP2022115296A (ja) 自律移動システム、自律移動方法及び自律移動プログラム
KR20240054014A (ko) 스마트 팩토리의 관제 방법 및 관제 장치
JPWO2019064913A1 (ja) 移動体及び生産システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221104

R150 Certificate of patent or registration of utility model

Ref document number: 7178061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350