JP2023151177A - 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体 - Google Patents

移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP2023151177A
JP2023151177A JP2022060640A JP2022060640A JP2023151177A JP 2023151177 A JP2023151177 A JP 2023151177A JP 2022060640 A JP2022060640 A JP 2022060640A JP 2022060640 A JP2022060640 A JP 2022060640A JP 2023151177 A JP2023151177 A JP 2023151177A
Authority
JP
Japan
Prior art keywords
mode
control
mobile
user
traveling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022060640A
Other languages
English (en)
Inventor
美紗 小室
Misa Komuro
晃太郎 藤村
Kotaro Fujimura
豊 西▲崎▼
Yutaka Nishizaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2022060640A priority Critical patent/JP2023151177A/ja
Priority to CN202310228972.5A priority patent/CN116893669A/zh
Priority to US18/121,115 priority patent/US20230315117A1/en
Publication of JP2023151177A publication Critical patent/JP2023151177A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/686Maintaining a relative position with respect to moving targets, e.g. following animals or humans
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/30Specific applications of the controlled vehicles for social or care-giving applications
    • G05D2105/315Specific applications of the controlled vehicles for social or care-giving applications for guiding or for guest attention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/60Open buildings, e.g. offices, hospitals, shopping areas or universities
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】敷地内の人の移動をより適切に支援することが可能な技術を実現する。【解決手段】移動体の制御装置であって、移動体の周囲の物体を認識するための、移動体の周囲を撮像した撮像画像を含むセンサ情報を取得する取得手段と、複数の制御モードのうちの1つの制御モードを設定する設定手段と、設定されている制御モードと、センサ情報に基づく特定の人物の検出結果に基づいて、移動体の走行を制御する制御手段と、を有し、制御手段は、複数の制御モードのうちの第1モードが設定されると、歩行する特定の人物と共に走行するように移動体の走行を制御し、制御手段は、複数の制御モードのうちの第2モードが設定されると、第1モードを開始する前に、特定の人物が指定した地点まで移動するように移動体の走行を制御する。【選択図】図1

Description

本発明は、移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体に関する。
近年、ユーザの荷物を搬送するロボットや空港内でユーザを先導する自走車両が知られている(特許文献1及び2)。特許文献1は、ユーザの荷物を持った搬送ロボットがユーザと適切な距離をとってユーザを追従する技術を提案している。また、特許文献2では、自走車両が、ユーザが航空機に搭乗する搭乗場所までの走行経路を導出し、ユーザとの間の距離が所定距離以上離れないようにしながら、走行経路に従って搭乗場所までユーザを先導する技術を提案している。更に、特許文献3では、移動体が、ユーザの前方にて、ユーザに対して斜め前方などの適切な位置に移動して、ユーザに追従する技術を開示している。
特開2021-64214号公報 特開2021-22108号公報 国際公開WO2017/115548
ところで、アミューズメント施設、大型商業施設、空港、公園、駐車場などでは広い敷地内を様々な人が移動する。それらの人々の中には、荷物を運ぶ負担を軽減して移動したい者もいれば、所望の場所への誘導を望む者や、自身の前を移動して人混み内の移動の負担を軽減することを望む者もいる。
人の移動を支援する移動ロボットなどの移動体には、上記のような様々な移動態様での支援や、使い勝手、安全性等をより向上させた移動支援が望まれつつある。
本発明は、上記課題に鑑みてなされ、その目的は、敷地内の人の移動をより適切に支援することが可能な技術を実現することである。
本発明によれば、
移動体の制御装置であって、
前記移動体の周囲の物体を認識するための、前記移動体の周囲を撮像した撮像画像を含むセンサ情報を取得する取得手段と、
複数の制御モードのうちの1つの制御モードを設定する設定手段と、
設定されている制御モードと、前記センサ情報に基づく特定の人物の検出結果に基づいて、前記移動体の走行を制御する制御手段と、を有し、
前記制御手段は、前記複数の制御モードのうちの第1モードが設定されると、歩行する前記特定の人物と共に走行するように前記移動体の走行を制御し、
前記制御手段は、複数の制御モードのうちの第2モードが設定されると、前記第1モードを開始する前に、前記特定の人物が指定した地点まで移動するように前記移動体の走行を制御する、ことを特徴とする移動体の制御装置が提供される。
本発明によれば、敷地内の人の移動をより適切に支援することが可能になる。
本発明の実施形態に係る移動支援システムの一例を示す図 実施形態に係る移動体の一例としてのロボットの外観構成例を示す図 実施形態に係る移動体の機能構成例を示すブロック図 実施形態に係る情報処理装置の一例としてのサーバの機能構成例を示すブロック図 実施形態に係る移動体の制御モードの遷移の一例を示す図 実施形態に係る大型商業施設において移動体を使用する際の一例を示す図 実施形態に係る移動体のいくつかの制御モードを説明する図 実施形態に係る移動体のそれぞれの制御モードの特性を説明する表(1) 実施形態に係る移動体のそれぞれの制御モードの特性を説明する表(2) 実施形態に係る移動体の状態制御に関する処理の一例を示すフローチャート 実施形態に係る移動体の先導モードに関する処理の一例を示すフローチャート 実施形態に係る移動体の追従モードに関する処理の一例を示すフローチャート 実施形態に係る移動体の誘導モードに関する処理の一例を示すフローチャート 実施形態に係る移動体の配達モードに関する処理の一例を示すフローチャート
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
<移動支援システムの構成>
図1を参照して、本実施形態に係る移動支援システム10の構成について説明する。移動体100は、例えば自律走行の可能なロボットである。例えば、移動体100は、バッテリを搭載しており、主にモータの動力で移動する。移動体100は、アミューズメント施設、大型商業施設、空港、公園、歩道、駐車場などの敷地内を走行する。
移動体100は、特定の人物(ユーザともいう)を空間の特定の場所に案内したり、ユーザの荷物を筐体内に格納してユーザの後を追従したり、空間の特定の場所からユーザの位置へ(或いはユーザの位置から特定の場所へ)荷物を配達したりすることができる。空間内では、複数の移動体100がそれぞれ自律的に動作する。なお、それぞれの移動体を区別して説明する場合には100a、100bなどと異なる参照番号を付して説明するが、個々の移動体を区別しない場合には、単に移動体100として説明する。
なお、本実施形態では、移動体100に人が乗車しない構成を例に説明するが、移動体が歩くユーザと並走する際に他の人物を乗車させてもよい。また、本実施形態では、移動体が車輪を駆動して移動する場合を例に説明するが、2以上の足で歩行可能な他の自律移動可能な移動体(例えば歩行型ロボットなど)を含んでもよい。
移動体100は、例えば、第5世代移動体通信、無線LAN、移動体同士の通信などの無線通信を介してネットワーク130に接続することができる。移動体100は、管理サーバ120からの指示に応じて、後述するステーション間を自律的に移動したり、ユーザ110から指定された地点に移動したりする。移動体100は、後述する様々なセンサによって(移動体の位置、走行状態、周囲の物体の物標などの)移動体の内外の状態を計測し、計測したデータを蓄積することができる。移動体100は、蓄積するデータの少なくとも一部を管理サーバ120に送信してもよい。移動体100に関する情報が管理サーバ120に送信される場合、移動体100に関する情報は、一定の間隔でまたは特定のイベントが発生したことに応じて、送信される。
通信端末140は、例えばスマートフォンであるが、これに限らず、イヤフォン型の通信端末であってもよいし、パーソナルコンピュータ、タブレット端末、ゲーム機、スマートグラス、スマートウォッチなどであってもよい。通信端末140は、例えば、第5世代移動体通信や無線LANなどの無線通信を介してネットワーク130に接続する。
ネットワーク130は、例えばインターネットや携帯電話網などの通信網を含み、移動体100、管理サーバ120、通信端末140などの間の情報を伝送する。
<移動体の外観構成>
次に、図2を参照して、本実施形態に係る移動体の外観構成例について説明する。図2の図中矢印Xは移動体100の前後方向を示しFが前をRが後を示す。矢印Y、Zは移動体100の幅方向(左右方向)、上下方向を示す。
移動体100は、後述する走行ユニット304に含まれる、例えば、左右一対の前輪201と、後輪202とを備える。走行ユニット304は四輪車或いは二輪車の形態等、他の形態であってもよい。
移動体100は、荷物を収容可能な筐体210を有する。筐体の前面211には、荷物を収容するために開閉可能な蓋が備えられ、蓋はロック機構を備えている。ロック機構は、移動体100によって制御される。例えば、移動体100は、ユーザの認証が成功した場合にロック状態を解除する。筐体の上面212には、タッチパネルを備えたモニタ220が配置され、ユーザは、例えば移動体100の制御モードを選択したり、所望の目的地を指定したり、施設に関する情報を確認したりすることができる。
センサボックス230は、その内部に、センサボックス230の前面231や側面等を通して移動体100の周囲に存在する物体やユーザを認識するためのデータを生成する検知ユニット306を含んでいる。また、センサボックス230の底面部232には、移動体100を使用するユーザ(特定の人物)を認証するための静脈センサが配置されている。本実施形態では、静脈センサを用いて、ユーザの手のひらの静脈の特徴量を検出、認識することにより、ユーザを識別する。
<移動体の機能構成例>
次に、図3Aを参照して、本実施形態の移動体100の機能構成例について説明する。
移動体100は、走行ユニット304を備え、バッテリ305を主電源とした電動自律式移動体である。バッテリ305は例えばリチウムイオンバッテリ等の二次電池であり、バッテリ305から供給される電力を利用して、走行ユニット304が移動体100を自走させる。
走行ユニット304は操舵機構を備える。操舵機構は第1のモータを駆動源として一対の前輪20の舵角を変化させる機構である。一対の前輪201の舵角を変化させることで移動体100の進行方向を変更することができる。走行ユニット304は、また、駆動機構を備える。駆動機構は第2のモータを駆動源として後輪202を回転させる機構である。後輪202を回転させることで移動体100を前進又は後進させることができる。走行ユニット304は、移動体100の走行速度、加速度、操舵角、移動体100のボディの回転加速度などの移動体100の運動を表す物理量を検知して出力することができる。
移動体100は、検知ユニット306を備える。検知ユニット306は、移動体100の周囲に存在する物体(移動体の周囲に存在する物および人物を含むものとする)を認識するためのデータを生成する。検知ユニット306は、移動体100の周辺を検知範囲とする撮像装置、レーダ装置、ライダ(Light Detection and Ranging)、超音波センサなどのセンサを含み、センサ情報を出力する。撮像装置は、魚眼レンズを用いた構成であってもよいし、ステレオ撮影が可能な複数の撮像装置のセットを複数の方向に向けて配置してもよい。更に、検知ユニット306は、GNSS(Global Navigation Satellite system)センサを含み、GNSS信号を受信して移動体100の現在位置を検知する。検知ユニット306は、無線LANやBluetooth(登録商標)の信号を用いて現在位置を検知してもよい。
移動体100は、制御ユニット(ECU)301を備える。制御ユニット301は、移動体(移動体)の制御装置として機能する。制御ユニット301は、CPUに代表される1つ以上のプロセッサ302、半導体メモリ等の記憶デバイスであるメモリ303を含む。メモリ303には、プロセッサ302が実行するプログラムやプロセッサ302が処理に使用するデータ等が格納される。プロセッサ302、メモリ303は、移動体100の機能別に複数組設けられて互いに通信可能に構成されてもよい。
制御ユニット301は、走行ユニット304が出力する運動を表す物理量、検知ユニット306の検知結果、操作パネル31の入力情報、音声入力装置307から入力された音声情報などを取得して、対応する処理を実行する。例えば、制御ユニット301は、走行ユニットのモータの制御(走行ユニット304の走行制御)、操作パネル31の表示制御、音声による周囲の人物への報知、管理サーバ120への情報の送信等を行う。制御ユニット301は、プロセッサとして、CPUのほか、GPU、或いは、ニューラルネットワーク等の機械学習モデルの処理の実行に適した専用のハードウェアを更に含んでよい。その他、制御ユニット301は、後述する本実施形態に係る状態制御に関する処理等を実行する。
音声入力装置307は、移動体100の周囲の音声を収音する。制御ユニット301は、入力された音声を認識して、対応する処理を実行可能である。記憶装置308は、移動体100が走行可能な走路、進入が制限される領域、ランドマーク、店舗等の情報を含む地図情報等を記憶する不揮発性の大容量記憶デバイスである。記憶装置35にも、プロセッサ302が実行するプログラムやプロセッサ302が処理に使用するデータ等が格納されてよい。記憶装置308は、制御ユニット301によって実行される音声認識や画像認識用の機械学習モデルの各種パラメータ(例えばディープニューラルネットワークの学習済みパラメータやハイパーパラメータなど)を格納してもよい。
通信装置309は、例えば、第5世代移動体通信や無線LANなどの無線通信を介してネットワーク130に接続可能な通信装置である。
提示装置310は、ユーザに対するユーザインタフェース画面をモニタ220に表示(提示)したり、マイクを介して発話音声を移動体100の周囲に対して出力(提示)したりする。なお、移動体100は、ユーザに対して提示する情報がある場合、提示装置310から情報を出力する代わりに、又は併用して、提示する情報を通信装置309を介してユーザ(特定の人物)の所持する通信端末140に送信してもよい。提示する情報を受信した当該通信端末140は、例えば通信端末140のアプリケーションを介して受信した提示情報を出力することができる。このような提示を実現するために、例えば、ユーザは自身の通信端末140を、移動体100の利用を開始する際に移動体100とペアリングしたり、ネットワーク経由で相互通信可能に設定しておいてよい。入力装置311は、例えばタッチパネルを含み、モニタ220と一体として構成されてよい。入力装置311は、タッチパネルを介してユーザからの操作入力を受け付ける。
ユーザ認証部312は、非接触でユーザを認証する静脈センサを備え、ユーザがセンサボックス230の底面部232に手のひらをかざすと、ユーザの手のひらの静脈の特徴量を抽出してユーザを識別する。移動体100の使用開始時に登録した静脈の特徴量と一致するかを判定し、特徴量が一致する場合には、使用開始時に登録したユーザ本人であると判定する。
制御ユニット301は、メモリ303又は記憶装置308に格納されたプログラムを実行することにより、ユーザ同定部321、検知情報処理部322、音声情報処理部323、モード制御部324の機能を実現する。
検知情報処理部322は、検知ユニット306から入力された情報に基づいて、移動体100の周囲に存在する物体(移動体を使用する特定の人物(ユーザ)を含む)を認識する。検知情報処理部322は、画像を含むセンサ情報を処理する機械学習モデルを含み、学習済みの機械学習モデルが推論段階の処理を実行する。検知情報処理部322の機械学習モデルは、例えば、ディープニューラルネットワーク(DNN)を用いた深層学習アルゴリズムの演算を行って、センサ情報から物体を認識する処理を行う。物体は、画像内に含まれるユーザ、他の人物、看板、標識、設備、窓や入口などの建物の構成要素、道路、移動体、二輪車、などを含んでよい。そのほか、検知情報処理部322の機械学習モデルは、画像情報に含まれる人物の顔、人物のジェスチャなどを認識することができる。なお、本実施形態では、移動体100がセンサ情報を処理する場合を例に説明するが、不図示の外部のサーバでセンサ情報処理を実行し、認識結果をサーバから受信するようにしてもよい。
また、検知情報処理部322は、物体の位置、速度、加速度等の状態を認識する。物体の位置は、例えば、移動体100の座標系における相対的な位置として認識され、その後、必要に応じて地図情報で用いる座標系における絶対的な位置に変換されてもよい。更に、検知情報処理部322は、現在の物体の位置の認識結果に基づき、機械学習モデル(例えば深層学習アルゴリズム)を用いた行動予測により、周囲の物体について予測位置を算出する。例えば、物体の予測位置は、現在時刻t+Δt*n(n=1、・・・3)の各未来時刻における物体の予測位置である。ここで、nの数を増やせば、予測期間が長くなり、nを減らせば、予測期間が短くなる。なお、物体の行動予測を用いた移動体の走行軌道生成は、既知の方法を用いることができるが、例えば、周囲の物体の予測位置と、移動体100と物体との干渉度合いを表すリスクポテンシャルを評価して生成することができる。
ユーザ同定部321は、センサ情報からユーザを検出できるかを継続的に判定する。例えば、ユーザを最後に検出したときから所定の時間にわたって検出できない場合、ユーザをロストしたと判定する。また、ユーザが再び移動体100に接近した場合、センサ情報からユーザを再び検出したと判定する。
音声情報処理部323は、移動体100とその周囲の物体(例えばユーザや他の人物)との位置関係等に応じて、発話情報を生成する。音声情報処理部323は、音声情報を処理する機械学習モデルを含み、当該機械学習モデルの推論段階の処理を実行する。音声情報処理部323の機械学習モデルは、例えば、ディープニューラルネットワーク(DNN)を用いた深層学習アルゴリズムの演算を行って、ユーザの発話内容を認識したり、移動体100の周囲の人物に対する発話情報を生成したりする。ユーザの発話内容の認識と、発話情報の生成とは別個の機械学習アルゴリズムが用いられてもよい。
ユーザの発話内容の認識では、例えば、ユーザの発話が場所の指示を含む場合に、発話情報に含まれる場所名等を識別してもよい。ユーザの発話内容の認識では、例えば、発話情報に含まれる場所名、建造物などのランドマーク名、店舗名、物体の名称などを認識する。DNNは、学習段階の処理を行うことにより学習済みの状態となり、発話情報を学習済みのDNNに入力することにより当該発話情報に対する認識処理(推論段階の処理)を行うことができる。なお、本実施形態では、移動体100が音声認識処理を実行する場合を例に説明するが、不図示の外部のサーバで音声認識処理を実行し、認識結果をサーバから受信するようにしてもよい。
モード制御部324は、後述する状態制御に関する処理、及び後述する各制御モード(例えば追従モード、誘導モード等)の処理を実行して、移動体を制御モードの特性に従って走行させる。
<情報処理装置の構成>
更に、本実施形態に係る情報処理装置の一例としての管理サーバ120の構成について、図3Bを参照して説明する。管理サーバ120は、1つ以上のサーバ装置で構成される。なお、説明する機能ブロックの各々は、統合されまたは分離されてもよく、また説明する機能が別のブロックで実現されてもよい。また、ハードウェアとして説明するものがソフトウェアで実現されてもよく、その逆であってもよい。
制御部351は、CPUに代表される1つ以上のプロセッサ352、半導体メモリ等の記憶デバイスであるメモリ353を含む。メモリ353には、プロセッサ352が実行するプログラムやプロセッサ352が処理に使用するデータ等が格納される。制御部351は、メモリ353又は記憶部356に記憶されたプログラムをメモリ353に展開し、プロセッサによって実行することにより、制御部351内部の各部の動作を制御したり、管理サーバ120の各部の動作を制御したりする。
電源部354は、管理サーバ120の各部に電力を供給する電源である。通信部355は、ネットワーク130を介して通信端末140や移動体100と通信する通信回路を含む。記憶部356は、例えば半導体メモリ等の不揮発性の記憶媒体を含み、管理サーバ120の動作に必要な設定値やプログラムを記憶する。記憶部356は、通信部355を介して複数の移動体から受信した、移動体に関する情報を記憶する。移動体に関する情報は、例えば、移動体の運動に関するデータ、バッテリ残量に関するデータ、移動体の位置、現在の制御モードのデータ等が含まれる。
移動体データ取得部371は、上記の移動体に関する情報を、複数の移動体のそれぞれから取得して、記憶部356に記憶させる。走行データ取得部371は、移動体に関する情報に対して、移動体を識別する情報を関連付けて記憶させる。
予約制御部372は、通信端末140から、指定した地点で移動体100を利用するための予約を受け付ける。予約制御部372は、それぞれの移動体100の位置情報のうち指定された地点の近傍に存在する移動体100のうち、後述のアイドル状態等の利用可能な状態の移動体100を特定する。予約制御部372は、特定した移動体100に、上記指定された位置を含む予約を設定する。予約は、例えば、移動体100によって定期的に照会され、移動体100は予約が設定されていると制御モードを予約状態に設定して、指定された地点に移動する。
予約設定部371は、設定された予約をキャンセルする要求を通信端末140から受け付ける。予約をキャンセルする要求を受け付けた場合、予約のキャンセルに関する情報を、移動体100に送信して、移動体100の制御モードを巡回モードに変更させる。
移動体配置部373は、移動体100の充電が可能なステーション(別途後述する)が施設内の複数存在する場合、複数のステーション間で移動体100を移動させる。移動体配置部373は、移動体100の移動を、各ステーション付近の人物の数に応じて、ステーションごとの移動体の需要(例えばステーション間の需用比)を予測し、予測の結果に応じて、各ステーションに滞在する移動体100の数を調整する。或いは、ステーション間で定期的に一定量の移動体100を巡回モードで移動させている場合、移動体配置部373は、ステーションが関連付けれているエリアのユーザ数の密度を算出し、当該密度が高いエリアほど巡回モードで走行させる移動体100の数を減少させる。
管理用情報生成部374は、システム管理者が、移動体100の稼働状態を確認したり、移動体100を探すユーザからの問い合わせに対して移動体100の位置を提供したり、移動体100にタスクを振り分けたり(例えば手動で予約を設定)するための、管理用画面を生成する。管理用情報生成部374は、移動体データ取得部371で取得された、或いは記憶部356に記憶されている移動体100の各種データを用いて、電力の残量、位置情報、現在稼働中の制御モードなどの情報を管理画面に表示させる。
<通信端末の構成>
本実施形態の通信端末140は、プロセッサとメモリを含む。操作部を介して入力されるユーザ入力に従って、移動体100を呼出して待ち合わせる地点を指定する。通信端末140は、例えば通信用回路等を含む通信デバイスを含み、例えばLTE等の移動体通信を介して管理サーバ120との間で必要なデータの送受信を行う。
<移動体の状態遷移と移動支援システムの使用例>
次に、移動体100の状態遷移と移動支援システムの使用例について、図4A、図4B及び図4Cを参照して説明する。図4Aは、移動体100の状態遷移を示している。なお、図4Aで説明する状態遷移の制御は、プロセッサ302がプログラムを実行することによって実現され得る。例えば、移動体100は、ステーションに配置され、電源が投入されることにより、動作可能になる。
まず、移動体100の制御状態はスタートアップ401から開始される。スタートアップ401では、移動体100は、走行経路及び(進入が制限される領域の情報を含む)エリア定義を含む地図情報、登録者のリスト等のデータを管理サーバ120からダウンロードする。また、移動体100は、上述の機械学習モデル等の読込を行う。移動体100の状態はその後、アイドル402に遷移する。
アイドル402は、定期的に、例えば10秒おきに、管理サーバ120と通信して、予約が設定されているかを確認したり、巡回モードへの遷移指示を待つ状態である。また、移動体100は、アイドル402では停止している。移動体100は、予約が設定されている場合、予約モード405に遷移する。アイドル402の状態で、管理サーバ120から巡回モード404への遷移指示を受け付けた場合、移動体100は巡回モード404に遷移する。巡回モード404は、ステーション間を移動するモードである。移動体100は、目的地であるステーションまでの走行経路を決定して、自律走行を行う。また、アイドル402において、ユーザが、センサボックス230の底面部232に手のひらをかざすと、移動体100は認証403に遷移して、ユーザの登録又は登録されたユーザと同一人物であるかを判定する認証を行う。認証403において、ユーザの登録が完了したり、ユーザの認証が成功すると、ユーザが指定した走行モード(誘導モード、先導モード等)を開始するか、認証403に遷移する前の走行モードを再開する。予約モードでは、移動体100が指定された地点に到着後、利用するユーザが現れずに所定の時間を経過した場合には、例えばアイドル402に遷移する。移動体100は、ステーションに帰還するために巡回モード404に遷移してもよい。
図4Bには、大型商業施設で本移動支援システムを実施する例を示している。施設内には、移動体100の充電が可能な複数のステーション401a及び401bが設置され、複数の移動体がステーション内に配置されている。
例えば、ステーション401aに配置されていた移動体100aは予約モードに遷移すると、予約によって指定された地点403に移動する。移動体100aは、人物が移動体100aに接近すると停止して、手かざしの静脈認証により、特定の人物(ユーザ110a)のユーザ認証を行う。移動体100aの利用開始時点では、ユーザ110aの手のひらの静脈の情報は存在しないため、移動体100aは静脈の情報を今回の使用のために一時的に登録する。或いは、サーバ側に事前に静脈の情報を登録することができ、ユーザが自身の静脈の情報を当該サーバに登録している場合、移動体100aは、当該サーバに登録されている静脈の情報に基づくユーザ認証を行ってもよい。また、移動体100aは静脈の情報をスキャンしてサーバに送信し、ユーザ認証自体をサーバ側で行ってもよい。ユーザ110aは、自身が使用したい制御モードをタッチパネル(入力装置311)を介して選択する。その後、移動体100aは、選択されたモードでユーザ110aの近傍を走行する。
また、図4Bに示す例では、移動体100cは巡回モードに設定されている。このため、移動体100cは、ステーション間を移動するための走行を行っている。なお、巡回モードで走行する移動体100は、手かざしのユーザ認証(ユーザ登録)を受け付ける。ユーザ110は、たまたま近くを通りがかった巡回モードの移動体100を利用することができる。このように、移動体100は、人々による利用機会を増大させることができる。また、移動体100は、巡回モードの移動体100に、ユーザがよりアクセスし易くなるように、巡回モードにおける移動体の走行速度を、他の制御モードにおける走行速度より遅くする。
再び図4Aを参照する。認証403において、登録が完了又は認証が成功すると、各指定モードの動作を開始するか再開する。制御モードは、例えば、ユーザがタッチパネル(入力装置311)を介して選択したモードに従って遷移し、誘導モード407、配達モード408、追従モード409、先導モード410のいずれかとなる。
更に、移動体100は、これらのモードで走行している間に、(目的地が設定されるモードで)目的地に到着したり、(ユーザと並走するモードで)ユーザを所定時間以上の間検出できなくなったりした場合、待機モード411に遷移する。また、移動体100は、ユーザ110が、移動体の進入が制限される領域(店舗領域など)に移動した場合にも、待機モード411に遷移する。待機モード411は、移動体100がユーザ110の近傍を走行する走行モードを開始又は再開するまで特定の地点で待機するモードである。
例えば、図4Bに示す例では、移動体100bがユーザ110bの近傍を走行しているときにユーザ110bが店舗スペース402b(移動体100の進入が制限される領域)に入った場合、移動体100bは待機モードに遷移して、特定の地点(待機スペース403)に移動して待機する。その後、ユーザ110bが待機スペース403を訪れて、移動体100bにおける認証が成功すると、ユーザ110bは新たなモードを設定したり、以前の走行モードを再開したりすることができる。ユーザの認証を行うこと無く、以前のユーザの認証から所定時間が経過した場合、ステーションへ移動する巡回モードに移行してもよい。
移動体100の電池残量が一定値以下になった場合には、いずれかのモードから緊急モードに移行する。緊急モード406は、移動体100はステーションに帰還するモードである。移動体100は、筐体内に荷物が置かれたまま所定の時間が経過した場合にも、ステーション(或いは忘れ物を預ける所定の場所)に移動するために緊急モードに移行する。
次に、図4Cを参照して、先導モード410、誘導モード407、追従モード409、配達モード408の概要を説明する。
先導モード410では、移動体100は、ユーザ110に対する行動予測に基づいて、ユーザ110との適切な距離を取りながら走行速度を調整しつつユーザ110の前を走行する。先導モードでは、移動体100はユーザの目的地を把握していない。移動体100は、人混みの中で自律的に衝突回避をおこなう。移動体100は、ユーザのジェスチャを認識し、ジェスチャによる方向指示を受け付けてもよい。移動体100は、認識したジェスチャに従って、進行する方向を調整してもよい。
追従モード409では、移動体100は、ユーザ110の後方でユーザ110を追従する。このモードでも、移動体100はユーザの目的地を把握していない。移動体100は、人混みの中で自律的に衝突回避をおこなう。
誘導モード407では、移動体100は、ユーザ110が指定した目的地に向かう走行経路に従って、ユーザ110の前方で走行する。移動体100は、まず、移動体の走行速度を予め定められた所定の速度に設定した後、ユーザ110との距離の変化に応じて走行速度を調整する。移動体100は、人混みの中で自律的に衝突回避をおこなう。配達モード408は、指定された目的地まで荷物150を運ぶモードであり、移動体100が単独で走行する。
<各制御モードの特徴>
図5A及び図5Bは、本実施形態に係る制御モード、すなわち、先導モード、追従モード、誘導モード、配達モード、巡回モード、緊急モードの特徴を表形式で示している。各モードは、一例として、移動体の走行速度、移動体の走行軌道生成、ユーザと移動体の位置関係、移動体の周囲の人物への発話制御、及び移動体の周囲の人物に対する情報の提示態様などの属性によって特徴付けられる。なお、図5Aに示す先導モード、追従モード、及び誘導モードでは、移動体がユーザの近傍を走行する。一方、図5Bに示す配達モード、巡回モード、緊急モードでは、移動体が単独で走行する。図5A及び図5Bの記載のうち特に説明すべきものについて以下に示す。
移動体の走行速度について、先導モード及び追従モードでは、移動体100は、ユーザ110との距離が一定範囲に維持されるように、つまりユーザの移動速度に合うように移動体の走行速度を制御する。一方、誘導モードでは、移動体の走行速度を予め定められた所定の速度に設定した後、ユーザ110との距離の変化に応じて走行速度を調整する。
ユーザと移動体の位置関係では、先導モードと誘導モードでは、進行方向と直交する左右方向への移動(オフセット)が制限される。ユーザの前を走行する移動体100が左右方向にふらつくと後ろを歩行するユーザが歩きずらくなることを防止するためである。先導モードのオフセットの制限は、誘導モードのオフセットの制限より大きい(所定時間内における左右方向への移動幅が小さい)。
移動体100は、ユーザの行動予測に応じた走行軌道に関し、先導モードでは、進行方向と直交する左右方向の加速度及び速度が他の制御モードよりも制限された移動体の走行軌道を生成する。例えば、先導モードでは、進行方向と直交する左右方向の加速度及び速度が、指定した目的地に向かう走行経路に従う誘導モードよりも制限される。左右方向に素早く振れることがないため、ユーザの歩行距離が短く、可能な限り周囲の歩行者等から道を譲ってもらうような走行軌道をとることができる。先導モードの利用者には、高齢者や歩行移動の容易でない者が想定され、左右方向の振れを抑制することで、このような利用者の歩行を支援することができる。
また、追従モードでは、行動予測の対象期間又は対象距離を先導モードで用いる値よりも短く設定して、ユーザの行動予測に応じた移動体100の走行軌道を生成する。追従モードでは、ユーザの後ろを走行するため、ユーザの前を走行する先導モードよりも予測する期間又は距離を短くすることができ、行動予測に係る演算量を低減可能である。
走行中におけるユーザの検出失敗(ロスト)では、移動体100は、先導モード及び誘導モードでは、ユーザの検出に一時的に失敗した場合には停止し、改めてユーザ認証を必要とする。一方、追従モードでは、例えば、前を歩行するユーザを再びセンサ情報から捕捉した場合、ユーザ認証を実施すること無く走行を再開する。
移動体の周囲の人物への発話制御では、追従モードでは、移動体とユーザとの間の距離が所定の第1距離以上離れたことに応じて、ユーザに停止を依頼する発話情報を出力する。これにより、移動体が視野に入っていないユーザに、移動体の遅れを気づかせることができる。先導モード及び誘導モードでは、移動体はユーザの前を走行しているため、このような発話情報を出力する必要はない。先導モード及び誘導モードでは、移動体100は、ユーザの前を走行する移動体の移動軌跡上又はその近傍に人物が存在する場合、それらの人物に移動を依頼する発話情報を出力する。
移動体の周囲の人物に対する情報の提示に関し、移動体100は、先導モードが設定されている場合、ユーザに対する行動予測結果が特定の店舗の領域に進入することを示すことに応じて、ユーザに対して当該特定の店舗に関する情報を発話として出力、又は、表示装置に表示する。
また、先導モードが設定されている場合、移動体の周囲の人物に対する情報の提示に関し、移動体100は、ユーザの行動予測結果が進入制限領域に進入することを示すことに応じて、当該領域から所定の第2距離だけ離れた位置で停止して、ユーザに対して停止を伝える発話情報を出力する。
これに対し、追従モードでは、移動体100は、ユーザの行動予測結果が進入制限領域に進入することを示すことに応じて、当該領域から所定の第3距離であって第2距離より遠い距離だけ離れた位置で停止して、ユーザに対して停止を伝える発話情報を出力する。
次に、図5Bを参照して、配達モード、巡回モード、緊急モードについて説明する。移動体の走行速度に関し、巡回モードでは、移動体100は、巡回モードにおける移動体の走行速度を、他の制御モードにおける走行速度より遅くする。これにより、移動体100に、ユーザがよりアクセスし易くなる。
また、軌道生成に関して、配達モードと緊急モードでは、地図情報に基づき、目的地への最適経路を設定することができる。巡回モードでは、通行人や他の移動体の移動を可能な限り妨げないように、移動体が走行可能な領域の端から一定距離の領域を走行する。
移動体100は、巡回モードで移動体を走行している間には、ユーザによる認証を受け付ける。このとき、例えば、移動体が巡回モードで走行している間に、人物が接近(所定の距離以内間で移動体に接近する人物を認識した場合、若しくは、移動体に接近する人物の予測移動軌跡が移動体の移動軌跡と交差すると判定)した場合、接近する人物に移動体の前面が向くようにして停止してもよい。一方、移動体100は、予約モード及び緊急モードで走行している間には、予約で指定された地点に向かう移動であったり、電気残量が一定以下に低下した状態であるため、ユーザの認証を受け付けない。移動体100は、このような予約モード及び緊急モードで走行しているときは、ユーザの認証を受け付けないこと、或いはユーザによる移動体の使用ができない状態であることを提示装置310に表示する。このようにすることで、ユーザは、走行中のいずれの移動体を利用可能であるかを容易に把握することができる。
<状態制御に関する処理>
次に、図6Aを参照して、移動体の状態制御に関する処理の動作について説明する。なお、本処理は、移動体の制御ユニット301のプロセッサ302がメモリ303又は記憶装置308に記憶されるプログラムを実行し、制御ユニット301に含まれる各部が動作することにより実現される。以下の説明では、本処理の動作主体を制御ユニット301として説明するが、実際には制御ユニット301の各部が実行する。
S601において、制御ユニット301は、スタートアップ処理を実行する。スタートアップ処理は、図4Aを参照して上述した通りである。S602において、制御ユニット301は、アイドル状態の処理を実行する。制御ユニット301は、例えば、定期的に管理サーバ120と通信して、予約が設定されているかを確認する。S603において、制御ユニット301は、管理サーバ120の応答に基づいて予約があるかを判定し、予約が存在する場合にはS604に処理を進め、そうでない場合にはS603を繰り返す。
S604において、制御ユニット301は、予約モードに遷移して、管理サーバ120から予約に関する情報を取得する。予約に関する情報は、例えば、地図の座標系で表した指定された地点の位置を含む。予約に関する情報に、移動体100の利用開始時間が更に含まれてもよい。移動体100は、指定された地点の情報と、走行経路及びエリア定義を含む地図情報とを用いて、指定された地点までの最適経路を決定する。制御ユニット301は、決定した最適経路に沿って、自己装置の走行を制御しながら、指定の地点まで移動する。
S605において、制御ユニット301は、指定された地点に到着すると、例えば到着後の所定時間以内に、認証の登録が行われるかを判定する。認証は、例えば、ユーザの手のひらの静脈の情報の登録である。制御ユニット301は、所定時間以内に、ユーザがセンサボックス230の底面部232に手のひらをかざして、静脈情報を登録した場合、処理をS606に処理を進め、そうでない場合、本処理を終了する。なお、移動体100の利用開始時点では、当該ユーザの手のひらの静脈の情報は存在しないため、移動体100aは静脈の情報を今回の使用のために一時的に登録する。なお、登録される情報は例えば記憶装置308に記憶され、所定のタイミング、例えば、ユーザによる使用終了の操作を受け付けたことに応じて、日時の変更に応じて、或いは、シャットダウンされるタイミングで消去されてよい。また、上述のように、ユーザの認証では、サーバ側に事前に登録された静脈の情報を用いてもよいし、サーバ側でユーザ認証を行ってもよい。
S606において、制御ユニット301は、タッチパネル(入力装置311)を介してユーザが使用する制御モードの選択を受け付ける。S607において、制御ユニット301は、選択された制御モードに状態を遷移させ、選択されたモードでユーザの近傍を走行する。各モードにおける動作については後述する。
移動体100がユーザの近傍で走行を続けた結果、S608において、制御ユニット301は、目的地に到着したか又は待機の所定の基準を満たしたかを判定する。制御ユニット301は当該判定が満たされる場合にはS609に処理を進め、そうでない場合には処理を繰り返す。移動体100が誘導モードで動作する場合には、目的地に到着し得る。また、一例として、制御ユニット301は、例えば、ユーザが所定の密度以上の人物の集合に所定の距離まで接近した場合、ユーザの移動が、移動体がユーザから離れて待つための所定の基準を満たしたと判定する。すなわち、所定の数以上の人の群衆にユーザが所定の距離まで接近する場合、移動体100と人との衝突を防止するため、待機の基準を満たしたと判定する。或いは、ユーザが所定の密度以上の人物の集合に所定の距離まで接近し、及び/又は、ユーザの予測軌道の信頼性が閾値以下である場合に、ユーザの移動が当該所定の基準を満たしたと判定してもよい。更に、ユーザから待機する指示を含む発話情報を受け付けた場合、移動体の移動が所定の基準を満たしたと判定してもよい。また、移動体100が、誘導モードで走行している際に、移動体とユーザの間で一定以上の距離が離れた場合も、ユーザの移動が、移動体がユーザから離れて待つための所定の基準を満たしたと判定してもよい。更に、センサ情報からユーザを、最後に検出したときから所定時間(完全にユーザを見失ったことに対応する時間)にわたって検出できない場合、移動体の制御モードを待機モードに移行させる。
S609において、制御ユニット301は、待機モードに移行して、待機スペースを地図データから検索し、待機スペースへの走行経路を算出する。制御ユニット301は、走行経路に従って、待機スペースまで移動する。制御ユニット301は、待機スペースに到着したことに応じて、移動体の正面がユーザと離れた地点(待機モードに入った地点)の方向を向くようにして待機してもよい。なお、制御ユニット301は、待機スペースで待機を開始してから所定の時間が経過したことに応じて、待機モードから巡回モードへ移行してステーションへ移動してもよい。
S610において、制御ユニット301は、その後、電力の残量低下に応じて(すなわち電力の残量が閾値以下となったことに応じて)、緊急モードに遷移して、ステーションまで移動する。なお、移動体の電力の残量が閾値以下となった場合に、電力の残量によって移動可能な範囲にステーションが存在しない場合、制御ユニット301は、待機モードに移行してもよい。制御ユニット301は、その後、本処理を終了する。
<移動体の先導モードに関する処理>
次に、図6Bを参照して、先導モードに関する処理について説明する。本処理は、図6AのS606において先導モードが選択されて、S607で先導モードが実行される場合に開始される。従って、本処理は、移動体の制御ユニット301のプロセッサ302がメモリ303又は記憶装置308に記憶されるプログラムを実行し、制御ユニット301に含まれる各部が動作することにより実現される。
S621において、制御ユニット301は、移動体の周囲の物体を認識するためのセンサ情報を取得する。S622において、制御ユニット301は、上述の検知情報処理部322により、センサ情報に基づき、機械学習モデルによる物体の行動予測を行う。S623において、制御ユニット301は、所定の期間にわたって、検知情報処理部322の処理においてユーザの検出に失敗したかを判定し、失敗している場合にS626に進み、失敗していない場合にはS624に進む。
S624において、制御ユニット301は、行動予測に基づいて、移動体の走行軌道を生成する。移動体の走行軌道生成において、ユーザの予測位置と略一定の位置関係を有するように移動体の前を走行する走行軌道を生成する。また、先導モードでは、進行方向と直交する方向の加速度及び速度が他の制御モードよりも制限されるように拘束を加えて、移動体の走行軌道を生成する。S625において、制御ユニット301は、生成した走行軌道に従って施設内を走行する。
S626において、制御ユニット301は、所定の期間にわたってユーザを検出できなかった場合、一旦停止して、ユーザの認証のために待機する。S627において、ユーザが再び移動体100に近づいて認証を行った結果、認証が成功した場合、制御ユニット301は、処理を再びS621に戻して、走行を再開する。
なお、上記所定の期間にわたってユーザを検出できない場合、制御ユニット301は、移動体の位置に戻ってくるようにユーザに呼びかける発話情報を出力してもよい。また、ユーザをセンサ情報から検出することなく、当該発話情報の出力から所定の時間を経過した場合、制御ユニット301は、S629に進んでもよいし、移動体の制御モードを巡回モードに移行させてもよい。
S628において、制御ユニット301は、ユーザの検出に失敗した後、ユーザの認証が成功することなく待機モードに遷移する所定時間を経過したかを判定し、そうである場合には、S629において待機モードに移行する。本処理はその後終了する。
<移動体の追従モードに関する処理>
次に、図6Cを参照して、追従モードに関する処理について説明する。本処理は、図6AのS606において追従モードが選択されて、S607で追従モードが実行される場合に開始される。従って、本処理は、移動体の制御ユニット301のプロセッサ302がメモリ303又は記憶装置308に記憶されるプログラムを実行し、制御ユニット301に含まれる各部が動作することにより実現される。
S641において、制御ユニット301は、移動体の周囲の物体を認識するためのセンサ情報を取得する。S642において、制御ユニット301は、上述の検知情報処理部322により、センサ情報に基づき、機械学習モデルによる物体の行動予測を行う。S643において、制御ユニット301は、所定の期間にわたって、検知情報処理部322の処理においてユーザの検出に失敗したかを判定し、失敗している場合にS646に進み、失敗していない場合にはS644に進む。
S644において、制御ユニット301は、行動予測に基づいて、移動体の走行軌道を生成する。移動体の走行軌道生成において、ユーザの予測位置と略一定の位置関係を有するように、ユーザの後ろを走行する走行軌道を生成する。また、追従モードでは、行動予測の対象期間又は対象距離を先導モードで用いる値よりも短く設定して、ユーザの行動予測に応じた移動体100の走行軌道を生成する。S645において、制御ユニット301は、生成した走行軌道に従って施設内を走行する。
S646において、制御ユニット301は、所定の期間にわたってユーザを検出できなかった場合、一旦停止する。このとき周囲の物体の認識は継続する。S647において、移動体100に近づいたユーザを再検出した場合、処理を再びS641に戻して、走行を再開する。
S648において、制御ユニット301は、ユーザの再検出に失敗した後、ユーザを再検出することなく待機モードに遷移する所定時間を経過したかを判定し、そうである場合には、S649において待機モードに移行する。本処理はその後終了する。
<移動体の誘導モードに関する処理>
次に、図6Dを参照して、誘導モードに関する処理について説明する。本処理は、図6AのS606において誘導モードが選択されて、S607で誘導モードが実行される場合に開始される。従って、本処理は、移動体の制御ユニット301のプロセッサ302がメモリ303又は記憶装置308に記憶されるプログラムを実行し、制御ユニット301に含まれる各部が動作することにより実現される。
S661において、制御ユニット301は、目的地の入力を受け付け、目的地までの経路を設定する。S662において、制御ユニット301は、経路に基づく走行軌道の走行を開始する。このとき、走行速度は誘導モードの走行速度として予め決められた速度が設定される。S663において、移動体の周囲の物体を認識するためのセンサ情報を取得する。S664において、制御ユニット301は、上述の検知情報処理部322により、センサ情報に基づき物体の位置を取得する。これにより、制御ユニット301は、ユーザとの距離の変化を取得することができる。
S665において、制御ユニット301は、所定の期間にわたって、検知情報処理部322の処理においてユーザの検出に失敗したかを判定し、失敗している場合にS666に進み、失敗していない場合にはS664に進む。
S666において、制御ユニット301は、取得した距離の変化に基づいて、移動体の走行軌道(走行速度)を調整する。移動体の走行軌道生成において、ユーザとの距離が略一定となるように移動体の走行軌道を調整する。S667において、制御ユニット301は、生成した走行軌道に従って施設内を走行する。S668において、制御ユニット301は、現在位置に基づいて目的地に到着したかを判定し、到着したと判定した場合にはS629に処理を進め、到着していない場合には処理をS663に戻す。
S669において、制御ユニット301は、所定の期間にわたってユーザを検出できなかった場合、一旦停止して、ユーザの認証のために待機する。S670において、ユーザが再び移動体100に近づいて認証を行った結果、認証が成功した場合、制御ユニット301は、処理を再びS663に戻して、走行を再開する。以下、図6Bで示した処理と同様に、S628とS629の処理を実行して待機モードに移行し、本処理を終了する。
<移動体の配達モードに関する処理>
次に、図6Eを参照して、配達モードに関する処理について説明する。本処理は、図6AのS606において配達モードが選択されて、S607で配達モードが実行される場合に開始される。従って、本処理は、移動体の制御ユニット301のプロセッサ302がメモリ303又は記憶装置308に記憶されるプログラムを実行し、制御ユニット301に含まれる各部が動作することにより実現される。
S681において、制御ユニット301は、荷物の収納を検知する。荷物の収納の検知は、筐体の重量の増加を検出してもよいし、扉を閉じたことを検出してもよい。S682において、制御ユニット301は、目的地の入力を受け付け、目的地までの経路を設定する。S683において、制御ユニット301は、経路に基づく走行軌道を走行する。S684において、移動体の周囲の物体を認識するためのセンサ情報を取得する。S685において、制御ユニット301は、上述の検知情報処理部322により、センサ情報に基づき物体を検出する。配達モードでは、並走する対象が存在しないため、物体の位置は単に衝突回避のために用いられる。制御ユニット301は、物体の位置に応じて移動体の走行軌道を調整する。S686において、制御ユニット301は、調整した走行軌道に従って走行する。
S687において、制御ユニット301は、現在位置に基づいて目的地に到着したかを判定し、到着したと判定した場合にはS688に処理を進め、到着していない場合には処理をS684に戻す。S688において、制御ユニット301は、移動体を待機モードに移行させて、本処理を終了する。なお、制御ユニット301は、当該目的地が移動体100の充電が可能なステーションから所定の距離以内であるかを判定してもよい。制御ユニット301は、目的地がステーションから所定の距離以内である場合、待機モードに移行せずに、ステーションへ移動する巡回モードに移行してもよい。
以上説明したように、上述の実施形態では、移動体の制御装置が、移動体の周囲の物体を認識するためのセンサ情報を取得し、移動体の周囲の人物に対して所定の情報を提示し、複数の制御モードのうちの1つの制御モードを設定する構成を有するようにした。移動体の制御承知は、更に、設定されている制御モードと、センサ情報に基づく特定の人物の検出結果に基づいて、移動体の走行と所定の情報の提示とを制御するようした。このとき、当該制御は、制御モードごとに、移動体の走行速度と、移動体の走行軌道生成と、特定の人物と移動体の位置関係と、移動体の周囲の人物に対する情報の提示態様との少なくともいずれかを異ならせて、移動体の走行と所定の情報の提示とを制御するようにした。
このようにすることで、様々な支援態様を提供することで、敷地内の人の移動をより適切に支援することが可能になる。
また、上述の実施形態では、移動体の制御装置が、移動体の周囲の物体を認識するためのセンサ情報を取得し、複数の制御モードのうちの1つの制御モードを設定し、設定されている制御モードと、センサ情報に基づく特定の人物の検出結果に基づいて、移動体の走行を制御するようにした。このとき、複数の制御モードは、歩行する前記特定の人物の近傍を走行する複数の走行モードと、いずれかの走行モードを開始又は再開するまで特定の地点で待機する待機モードとを含むようにした。更に、上記制御では、複数の走行モードにおいて、歩行する特定の人物の近傍を走行するように移動体の走行を制御すると共に、特定の人物の移動又は移動体の移動が、移動体が特定の人物から離れて待つための所定の基準を満たしたと判定した場合、いずれかの走行モードから、待機モードに移行するようにした。
このようにすることで、敷地内の人の移動をより適切に支援しつつ、人混みや進入すべきでない場所に移動体が進入することなく安全性を高めることができる。
更に、上述の実施形態では、移動体の制御装置が、移動体の周囲の物体を認識するためのセンサ情報を取得し、複数の制御モードのうちの1つの制御モードを設定し、設定されている制御モードと、センサ情報に基づく特定の人物の検出結果に基づいて、移動体の走行を制御するようにした。このとき、上記制御は、複数の制御モードのうちの走行モードにおいて、歩行する特定の人物の近傍を走行するように移動体の走行を制御し、複数の制御モードは、予約モードを含むようにした。更に、上記制御は、予約モードにおいて、走行モードを開始する前に、特定の人物が指定した地点まで移動するように移動体の走行を制御する。
このようにすることで、敷地内の人の移動をより適切に支援しつつ、移動体の使用を開始する際の使い勝手を向上させることができる。
<実施形態のまとめ>
3-1.(予約モード)
上記実施形態の移動体(例えば、100)の制御装置(例えば、301)は、
移動体の周囲の物体を認識するための、移動体の周囲を撮像した撮像画像を含むセンサ情報を取得する取得手段(例えば、306)と、
複数の制御モードのうちの1つの制御モードを設定する設定手段(例えば、311,301)と、
設定されている制御モードと、センサ情報に基づく特定の人物の検出結果に基づいて、移動体の走行を制御する制御手段(例えば、301、322、324)と、を有し、
制御手段は、複数の制御モードのうちの第1モードが設定されると、歩行する特定の人物と共に走行するように移動体の走行を制御し、
制御手段は、複数の制御モードのうちの第2モードが設定されると、第1モードを開始する前に、特定の人物が指定した地点まで移動するように移動体の走行を制御する。
この実施形態によれば、敷地内の人の移動をより適切に支援しつつ、移動体の使用を開始する際の使い勝手を向上させることができる。
3-2.(緊急モード)
上記実施形態の移動体の制御装置では、
制御手段は、更に、移動体を走行させるための電力の残量が閾値以下となったことを検知した場合に、複数の制御モードのうちの第3モードを設定し、移動体の充電が可能な場所であるステーションへ移動するように移動体の走行を制御する。
3-3.(巡回モード)
上記実施形態の移動体の制御装置では、
制御手段は、更に、複数の制御モードのうちの第4モードが設定されると、第1モードを開始する前又は終了した後に、移動体の充電が可能な場所であるステーションの間を移動するように移動体の走行を制御する。
3-4.(巡回モードの走行速度)
上記実施形態の移動体の制御装置では、
制御手段は、第4モードにおける移動体の走行速度を、複数の制御モードの他の制御モードにおいて移動体が走行する走行速度より遅くする。
3-5.(モードに応じた認証の可否)
上記実施形態の移動体の制御装置では、
特定の人物による移動体の利用を開始又は再開するために特定の人物の認証を行う認証手段を更に有し、
制御手段は、
第4モードで移動体を走行させている間には、認証手段による人物の認証を受け付けるように制御し、
第2モード又は第3モードで移動体を走行させている間には、認証手段による人物の認証を受け付けないように制御する。
3-6.(巡回モードでユーザ接近時の振る舞い)
上記実施形態の移動体の制御装置では、
制御手段は、移動体が第4モードで走行している間に、所定の距離以内で移動体に接近する人物を認識した場合、若しくは、移動体に接近する人物の予測移動軌跡が移動体の移動軌跡と交差すると判定した場合、接近する人物に移動体の前面が向くようにして停止する。
3-7.(予約のキャンセル)
上記実施形態の移動体の制御装置では、
特定の人物が指定する地点の情報を含む予約設定と予約設定のキャンセルに関する情報を、外部装置から受信する通信手段を更に有し、
制御手段は、第2モードにおいて指定された地点に向かって走行している間に、予約設定のキャンセルに関する情報を受信した場合、制御モードを第4モードへ移行させる。
3-8.(巡回モードの走行領域)
上記実施形態の移動体の制御装置では、
制御手段は、移動体が第4モードで走行する場合、移動体が走行可能な領域の端から所定の距離の領域を走行するように制御する。
3-9.(忘れ物を届けるための緊急モード)
上記実施形態の移動体の制御装置では、
移動体は荷物を収容可能な筐体を備え、
制御手段は、特定の人物の荷物が筐体に収容されている状態において、センサ情報から特定の人物を所定の時間にわたって検出できない場合、制御モードを第3モードに移行して、忘れ物に関連する予め定められた場所へ移動する。
3-10.(ステーション間の移動体の移動)
前記移動体のステーションの間の移動はサーバによって調整され、
前記サーバは、ステーションごとの移動体の需要を予測し、前記予測した需要に基づいて前記移動体をステーション間で移動させる。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
100…移動体、120…管理サーバ、301…制御ユニット、304…走行ユニット、306…検知ユニット、310…提示装置

Claims (12)

  1. 移動体の制御装置であって、
    前記移動体の周囲の物体を認識するための、前記移動体の周囲を撮像した撮像画像を含むセンサ情報を取得する取得手段と、
    複数の制御モードのうちの1つの制御モードを設定する設定手段と、
    設定されている制御モードと、前記センサ情報に基づく特定の人物の検出結果に基づいて、前記移動体の走行を制御する制御手段と、を有し、
    前記制御手段は、前記複数の制御モードのうちの第1モードが設定されると、歩行する前記特定の人物と共に走行するように前記移動体の走行を制御し、
    前記制御手段は、前記複数の制御モードのうちの第2モードが設定されると、前記第1モードを開始する前に、前記特定の人物が指定した地点まで移動するように前記移動体の走行を制御する、ことを特徴とする移動体の制御装置。
  2. 前記制御手段は、更に、前記移動体を走行させるための電力の残量が閾値以下となったことを検知した場合に、前記複数の制御モードのうちの第3モードを設定し、前記移動体の充電が可能な場所であるステーションへ移動するように前記移動体の走行を制御する、ことを特徴とする請求項1に記載の移動体の制御装置。
  3. 前記制御手段は、更に、前記複数の制御モードのうちの第4モードが設定されると、前記第1モードを開始する前又は終了した後に、前記移動体の充電が可能な場所であるステーションの間を移動するように前記移動体の走行を制御する、ことを特徴とする請求項2に記載の移動体の制御装置。
  4. 前記制御手段は、前記第4モードにおける前記移動体の走行速度を、前記複数の制御モードの他の制御モードにおいて前記移動体が走行する走行速度より遅くする、ことを特徴とする請求項3に記載の移動体の制御装置。
  5. 前記特定の人物による前記移動体の利用を開始又は再開するために前記特定の人物の認証を行う認証手段を更に有し、
    前記制御手段は、
    前記第4モードで前記移動体を走行させている間には、前記認証手段による人物の認証を受け付けるように制御し、
    前記第2モード又は前記第3モードで前記移動体を走行させている間には、前記認証手段による人物の認証を受け付けないように制御する、ことを特徴とする請求項3又は4に記載の移動体の制御装置。
  6. 前記制御手段は、前記移動体が前記第4モードで走行している間に、所定の距離以内で前記移動体に接近する人物を認識した場合、若しくは、前記移動体に接近する人物の予測移動軌跡が前記移動体の移動軌跡と交差すると判定した場合、前記接近する人物に前記移動体の前面が向くようにして停止する、ことを特徴とする請求項3から5のいずれか1項に記載の移動体の制御装置。
  7. 前記特定の人物が指定する地点の情報を含む予約設定と前記予約設定のキャンセルに関する情報を、外部装置から受信する通信手段を更に有し、
    前記制御手段は、前記第2モードにおいて指定された地点に向かって走行している間に、予約設定のキャンセルに関する情報を受信した場合、前記制御モードを前記第4モードへ移行させる、ことを特徴とする請求項3から6のいずれか1項に記載の移動体の制御装置。
  8. 前記制御手段は、前記移動体が前記第4モードで走行する場合、前記移動体が走行可能な領域の端から所定の距離の領域を走行するように制御する、ことを特徴とする請求項3から7のいずれか1項に記載の移動体の制御装置。
  9. 前記移動体は荷物を収容可能な筐体を備え、
    前記制御手段は、前記特定の人物の荷物が前記筐体に収容されている状態において、前記センサ情報から前記特定の人物を所定の時間にわたって検出できない場合、前記制御モードを前記第3モードに移行して、忘れ物に関連する予め定められた場所へ移動する、ことを特徴とする請求項2から8のいずれか1項に記載の移動体の制御装置。
  10. 移動体の制御方法であって、
    前記移動体の周囲の物体を認識するための、前記移動体の周囲を撮像した撮像画像を含むセンサ情報を取得する取得工程と、
    複数の制御モードのうちの1つの制御モードを設定する設定工程と、
    設定されている制御モードと、前記センサ情報に基づく特定の人物の検出結果に基づいて、前記移動体の走行を制御する制御工程と、を有し、
    前記制御工程では、
    前記複数の制御モードのうちの第1モードが設定されると、歩行する前記特定の人物と共に走行するように前記移動体の走行を制御し、
    複数の制御モードのうちの第2モードが設定されると、前記第1モードを開始する前に、前記特定の人物が指定した地点まで移動するように前記移動体の走行を制御する、ことを特徴とする移動体の制御方法。
  11. コンピュータを、請求項1から9のいずれか1項に記載の移動体の制御装置の各手段として機能させるためのプログラム。
  12. 請求項1から9のいずれか1項に記載の移動体の制御装置の各手段としてコンピュータを機能させるためのプログラムを格納した記憶媒体。
JP2022060640A 2022-03-31 2022-03-31 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体 Pending JP2023151177A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022060640A JP2023151177A (ja) 2022-03-31 2022-03-31 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体
CN202310228972.5A CN116893669A (zh) 2022-03-31 2023-03-10 移动体的控制装置、移动体的控制方法以及存储介质
US18/121,115 US20230315117A1 (en) 2022-03-31 2023-03-14 Mobile body control device, mobile body control method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022060640A JP2023151177A (ja) 2022-03-31 2022-03-31 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
JP2023151177A true JP2023151177A (ja) 2023-10-16

Family

ID=88194074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022060640A Pending JP2023151177A (ja) 2022-03-31 2022-03-31 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体

Country Status (3)

Country Link
US (1) US20230315117A1 (ja)
JP (1) JP2023151177A (ja)
CN (1) CN116893669A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022138475A1 (ja) 2020-12-23 2022-06-30 パナソニックIpマネジメント株式会社 ロボットの制御方法、ロボット、及びプログラム
EP4269036A1 (en) * 2020-12-23 2023-11-01 Panasonic Intellectual Property Management Co., Ltd. Method of controlling robot, robot, and program

Also Published As

Publication number Publication date
US20230315117A1 (en) 2023-10-05
CN116893669A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
JP2023151177A (ja) 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体
CN108137083B (zh) 用于自动驾驶车辆控制的系统延迟估计方法
KR102391914B1 (ko) 이동 로봇의 동작 방법
KR102267184B1 (ko) 물건 낙하 감지 장치 및 방법
JP6961804B2 (ja) ロボット案内システム
CN114641668A (zh) 拼车应用程序中的增强现实寻路
KR20180039378A (ko) 공항용 로봇 및 그의 동작 방법
KR20190083727A (ko) 안내 로봇 및 그의 동작 방법
US20080109164A1 (en) Lead Route Guidance System, Portable Route Lead Guidance Device, And Program
US20220315062A1 (en) Information processing apparatus, control apparatus for moving body, method of controlling information processing apparatus, and method of controlling moving body
JP2020061062A (ja) 運転支援装置、車両、運転支援システム、運転支援方法、及び運転支援用コンピュータプログラム
JP2020052890A (ja) 走行支援装置
US11766779B2 (en) Mobile robot for recognizing queue and operating method of mobile robot
JP2023151134A (ja) 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体
JP2023151163A (ja) 移動体の制御装置、移動体の制御方法、プログラム及び記憶媒体
JP7061474B2 (ja) 走行装置
JP2021105754A (ja) 車載処理装置、及び車載処理システム
US20230266140A1 (en) Mobility assistance device and method of providing mobility assistance
JP2020052889A (ja) 乗車支援装置
JP2023136194A (ja) 情報処理装置、移動体、それらの制御方法、プログラム、及び記憶媒体
WO2023187890A1 (ja) 移動体の制御装置、移動体の制御方法、移動体、情報処理方法及びプログラム
CN111240315A (zh) 使用预定负载校准表确定自动驾驶车辆的车辆负载的方法
US20230294739A1 (en) Mobile body control device, mobile body control method, mobile body, information processing method, and storage medium
JP2024034420A (ja) ドローン及びドローン制御方法
JP2021033954A (ja) 移動体システム