JP2022133023A - 移動体制御システム、移動体、制御方法、およびプログラム - Google Patents

移動体制御システム、移動体、制御方法、およびプログラム Download PDF

Info

Publication number
JP2022133023A
JP2022133023A JP2021031827A JP2021031827A JP2022133023A JP 2022133023 A JP2022133023 A JP 2022133023A JP 2021031827 A JP2021031827 A JP 2021031827A JP 2021031827 A JP2021031827 A JP 2021031827A JP 2022133023 A JP2022133023 A JP 2022133023A
Authority
JP
Japan
Prior art keywords
traffic participant
behavior
pedestrian
block
support information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021031827A
Other languages
English (en)
Other versions
JP7292320B2 (ja
Inventor
美砂子 吉村
Misako Yoshimura
一郎 馬場
Ichiro Baba
康輔 中西
Kosuke Nakanishi
陽介 小池
Yosuke Koike
航輝 相澤
Koki Aizawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021031827A priority Critical patent/JP7292320B2/ja
Priority to CN202210148622.3A priority patent/CN114987534A/zh
Priority to US17/676,899 priority patent/US20220274629A1/en
Publication of JP2022133023A publication Critical patent/JP2022133023A/ja
Application granted granted Critical
Publication of JP7292320B2 publication Critical patent/JP7292320B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0025Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253Taxi operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/45Pedestrian sidewalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】より周囲の状況に配慮した走行を移動体にさせること。【解決手段】移動体制御システムは、移動体の周辺の路面が撮像された画像を取得する取得部と、前記画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の歩行を支援するための支援情報と、前記画像に写された交通参加者とを認識する認識部と、前記認識部が認識した交通参加者の行動を、前記支援情報に基づいて予測する予測部と、前記支援情報と、前記予測部の予測結果とに基づいて、前記移動体の行動を制御する制御部とを備える。【選択図】図2

Description

本発明は、移動体制御システム、移動体、制御方法、およびプログラムに関する。
従来、点字ブロックが撮像された画像に基づいて、走行を制御する自動走行システムが開示されている(例えば、特許文献1参照)。
特開2017-102601号公報
しかしながら、上記の技術では、周辺への配慮が十分にされていない場合があった。
本発明は、このような事情を考慮してなされたものであり、より周囲の状況に配慮した移動を移動体にさせることができる移動体の移動体制御システム、移動体、制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る移動体制御システム、移動体、制御方法、およびプログラムは、以下の構成を採用した。
(1):移動体制御システムは、移動体の周辺の路面が撮像された画像を取得する取得部と、前記画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の移動を支援するための支援情報と、前記画像に写された交通参加者とを認識する認識部と、前記認識部が認識した交通参加者の行動を、前記支援情報に基づいて予測する予測部と、前記支援情報と、前記予測部の予測結果とに基づいて、前記移動体の行動を制御する制御部とを備える。
(2):上記(1)の態様において、前記交通参加者は、歩行者であり、前記支援情報は、歩道に設けられた点字ブロックである。
(3):上記(1)または(2)の態様において、前記予測部は、前記交通参加者の行動を、前記支援情報の種類に基づいて予測する。
(4):上記(3)の態様において、前記支援情報は、前記支援情報は、前記特定交通参加者が進む進行方向を示して前記特定交通参加者の移動を誘導する誘導情報および前記特定交通参加者に警告する警告情報である。
(5):上記(1)-(4)のいずれかの態様において、前記認識部は、前記交通参加者の属性を認識し、前記制御部は、前記支援情報、前記予測部の予測結果、および前記交通参加者の属性に基づいて、または前記支援情報、および前記予測部が前記支援情報と前記交通参加者の属性とを用いて予測した前記交通参加者の行動に基づいて、前記移動体の行動を制御する。
(6):上記(1)-(5)のいずれかの態様において、前記認識部は、前記交通参加者の属性を認識し、前記予測部は、前記支援情報と前記交通参加者の属性とに基づいて、前記交通参加者の行動を予測し、前記交通参加者の属性が特定交通参加者である場合、前記特定交通参加者である交通参加者が前記支援情報に従って行動する予測度合を第1度合と予測し、前記交通参加者の属性が特定交通参加者でない場合、前記特定交通参加者でない交通参加者が前記支援情報に従って行動する予測度合を第1度合よりも小さい第2度合と予測する。
(7):上記(1)-(6)のいずれかの態様において、前記支援情報は、歩道に設けられた点字ブロックであり、前記認識部は、前記交通参加者の属性を認識し、前記制御部は、前記移動体を前記点字ブロックに沿って移動するよう制御し、前記移動体の前記点字ブロックからの距離を前記交通参加者の属性に基づいて決定する。
(8):上記(1)から(7)のいずれかの態様において、前記支援情報は、前記特定交通参加者が進む進行方向を示して前記特定交通参加者の移動を誘導する誘導情報および前記特定交通参加者に警告する警告情報であり、前記移動体が前記進行方向に移動しているときに前記移動体の前方の前記交通参加者が警告情報に関連付けられた所定位置に到達した場合、前記制御部は、前記移動体を減速または停止させ、その後、前記交通参加者が前記所定位置を通過した後、または前記移動体の前方を横切った場合、前記制御部は、前記移動体を加速させる、または前記移動体を発進させる。
(9):上記(1)から(8)のいずれかの態様において、前記支援情報は、点字ブロックであり、前記支援情報は、前記特定交通参加者が進む進行方向を示して前記特定交通参加者の移動を誘導する誘導ブロックおよび前記特定交通参加者に警告する警告ブロックであり、第1の誘導ブロックが前記警告ブロックに接続され、前記第1の誘導ブロックに交差する方向に第2の誘導ブロックが前記警告ブロックに接続され、且つ前記移動体の前方に前記第2の誘導ブロックが存在している場合に、前記移動体が前記第1の誘導ブロックが示す進行方向に移動しているときに前記移動体の前方の前記交通参加者が警告情報に関連付けられた所定位置に到達した場合、前記制御部は、前記移動体を減速または停止させ、その後、前記交通参加者が前記所定位置を通過した後、または前記移動体の前方を横切った場合、前記制御部は、前記移動体を加速させる、または前記移動体を発進させる。
(10):上記(8)または(9)の態様において、前記制御部は、前記交通参加者が所定の属性の特定交通参加者である場合に、前記移動体を加速させる、または前記移動体を発進させるタイミングを、前記交通参加者が前記所定の属性の交通参加者とは異なる属性の交通参加者である場合に、前記移動体を加速させる、または前記移動体を発進させるタイミングよりも遅らせる。
(11):上記(1)から(10)のうちいずれかの態様の移動体制御システムが搭載された移動体である。
(12):この発明の一態様に係る制御方法は、コンピュータが、移動体の周辺の路面が撮像された画像を取得し、前記画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の移動を支援するための支援情報と、前記画像に写された交通参加者とを認識し、前記認識した交通参加者の行動を、前記支援情報に基づいて予測し、前記支援情報と、前記予測の結果とに基づいて、前記移動体の行動を制御する。
(13):この発明の一態様に係るプログラムは、コンピュータに、移動体の周辺の路面が撮像された画像を取得させ、前記画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の移動を支援するための支援情報と、前記画像に写された交通参加者とを認識させ、前記認識した交通参加者の行動を、前記支援情報に基づいて予測させ、前記支援情報と、前記予測の結果とに基づいて、前記移動体の行動を制御させる。
(1)-(13)によれば、移動体制御システムは、所定の属性を有する交通参加者である特定交通参加者の移動を支援するための支援情報と、支援情報を利用して予測した交通参加者の行動とに基づいて移動体の行動を制御することで、より周囲の状況に配慮した移動を移動体にさせることができる。
(5)によれば、移動体制御システムは、交通参加者の属性を考慮するため、周辺の交通参加者に配慮した移動体の制御を実現することができる。
(6)によれば、移動体制御システムは、支援情報と交通参加者の属性に基づいて、より精度よく交通参加者の行動を予測することができる。
(7)によれば、移動体制御システムは、交通参加者の属性に基づいて、移動体の点字ブロックからの距離を、より適切に決定することができる。
(8)または(9)によれば、移動体制御システムは、交通参加者の挙動が大きく変化するような状況においも、その挙動に配慮した移動を移動体にさせることができる。
実施形態に係る制御装置を備える移動体Mの一例を示す図である。 移動体Mが備える他の機能構成の一例を示す図である。 移動体Mの行動の一例を示す図である。 誘導ブロックBgの一例を示す図である。 警告ブロックBwの他の一例を示す図である。 移動体Mの挙動(その1)について説明するための図である。 移動体Mの挙動(その2)について説明するための図である。 移動体Mの挙動(その3)について説明するための図である。 移動体Mの挙動(その4)について説明するための図である。 移動体Mの挙動(その5)について説明するための図である。 移動体Mの挙動(その6)について説明するための図である。 移動体Mの挙動(その7)について説明するための図である。 特定歩行者について説明するための図である。 特定歩行者が存在する場合の移動体Mの位置と、特定歩行者とは異なる歩行者が存在する場合の移動体Mの位置との一例を示す図である。 特定歩行者が存在する場合の移動体Mの位置と、特定歩行者とは異なる歩行者が存在する場合の移動体Mの位置との一例を示す図である。 第3挙動および第4挙動について説明するための図である。 制御装置100が実行する処理の流れの一例を示すフローチャート(その1)である。 制御装置100により実行される処理の流れの一例を示すフローチャート(その2)である。
以下、図面を参照し、本発明の実施形態に係る移動体制御システム、移動体、制御方法、およびプログラムについて説明する。
<実施形態>
[全体構成]
図1は、実施形態に係る制御装置を備える移動体Mの一例を示す図である。移動体Mは、自律移動型のロボットである。移動体Mは、ユーザの行動を支援する。移動体Mは、例えば、ユーザの指定した位置に停車して、ユーザを乗せて目的地に輸送する。本実施形態では、移動体Mは、ユーザを乗せて移動するものとして説明するが、これに代えて(または加えて)、移動体Mは、物品を輸送したり、ユーザを先導してユーザと共に移動したり、ユーザに追走してユーザの行動を支援したりするものであってもよく、また、移動体Mは、ユーザが搭乗可能なものであってもなくてもよい。以下の説明では、移動体Mは走行するものとして説明するが、移動体Mが走行せずに、歩行やその他の態様で移動する場合、以下の「走行」や「走行可能な領域」の文言を「移動」や「移動可能な領域」と読み替えればよい。
移動体Mは、本体2と、一以上の車輪4(図中、4A、4B)と、カメラ10とを備える。本体2には、例えば、不図示のドアなどユーザが本体2内に出入りすることができる出入口が設けられ、ユーザは出入口から本体2に入り、移動体Mに搭乗することができる。例えば、移動体Mは、カメラ10により撮像された画像に基づいて車輪4を駆動させて、ユーザMを輸送する。
本実施形態では、ユーザは本体2内に搭乗するものとして説明するが、これらに代えて(または加えて)、ユーザが移動体Mと共に移動するために本体2内に搭乗せずに着座可能な着座部や、移動のためにユーザが足をのせるステップなどが設けられてもよい。
図2は、移動体Mが備える他の機能構成の一例を示す図である。移動体Mは、例えば、カメラ10と、通信装置20と、HMI30と、移動体センサ40と、位置特定装置50と、運転操作子80と、制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。
カメラ10は、移動体Mの周辺を撮像する。カメラ10は、例えば、移動体Mの周辺を広角に(例えば360度で)撮像可能な魚眼カメラである。カメラ10は、例えば、移動体Mの上部に取り付けられ、移動体Mの周辺を水平方向に関して広角に撮像する。カメラ10は、複数のカメラ(水平方向に関して120度の範囲や60度の範囲を撮像する複数のカメラ)を組み合わせて実現されてもよい。移動体Mは、カメラ10に加えて、物体を検出するレーダ装置やLIDARを備えてもよい。
通信装置20は、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して他の装置と通信するための通信インターフェイスである。
HMI30は、移動体Mのユーザに対して各種情報を提示すると共に、ユーザによる入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
移動体センサ40は、移動体Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、移動体Mの向きを検出する方位センサ等を含む。
位置特定装置50は、GNSS衛星から受信した信号に基づいて、移動体Mの位置を特定する。移動体Mの位置は、移動体センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。
運転操作子80は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。なお、移動体Mが自動運転でのみで制御される場合、運転操作子80は省略されてもよい。
制御装置100は、例えば、取得部110と、認識部120と、予測部130と、軌道生成部140と、走行制御部150と、情報処理部160と、記憶部180とを備える。取得部110、認識部120、予測部130、軌道生成部140、走行制御部150、および情報処理部160は、それぞれ、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、HDDやフラッシュメモリなどの記憶部180(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることでHDDやフラッシュメモリにインストールされてもよい。上述した機能部のうち一部の機能部は、他の装置に含まれてもよい。例えば、認識部120は、他の装置に含まれ、車道や歩道などに設けられた車道や歩道を撮像するカメラにより撮像された画像を解析して、車道や歩道の状況や車道や歩道に存在する物体の様子を認識してもよい。この場合、制御装置100は、他の装置から上記の認識結果を取得し、取得した認識結果に基づいて各種処理を行ってもよい。例えば、取得部110、認識部120、予測部130、および軌道生成部140と走行制御部150とのうち一方または双方を含む機能構成は、「移動体制御システム」の一例である。
取得部110は、カメラ10により撮像された画像を取得する。取得部110は、移動体Mの周辺の路面が撮像された画像を取得する。
認識部120は、例えば、AI(Artificial Intelligence;人工知能)による機能または予め与えられたモデルによる機能を利用して、またはこれらを並行に利用して物体や、移動体Mの周辺の状況を認識する。例えば、「移動体Mが走行可能な領域を認識する」機能は、ディープラーニング等による道路や歩道、縁石などの認識と、予め与えられた条件(パターンマッチング可能な信号)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。また、認識部120は、セマンティックセグメンテーション(Semantic Segmentation)処理を実行して画像のフレーム内の各ピクセルをクラス(例えば、物体や、走行可能な領域、走行が可能でない領域等)に分類し、分類結果に基づいて、移動体Mが走行可能な領域を認識してもよい。これによって、移動体Mの移動の信頼性が担保される。
認識部120は、カメラ10により撮像された画像に基づいて、移動体Mの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、移動体Mの代表点(重心や駆動軸中心など)を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。認識部120は、例えば、道路区画線や路肩、縁石、中央分離帯、ガードレール、一時停止線、障害物、信号、その他の道路事象を認識する。認識部120は、移動体Mの位置や姿勢を認識する。
軌道生成部140は、ユーザの指示と、移動体Mが走行可能な領域と、移動体Mが走行できない領域とに基づいて、移動体Mが停止する停止位置または移動体Mが走行する走行位置の一方または双方を決定する。
軌道生成部140は、移動体Mの周辺状況に対応できるように、移動体Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、移動体Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの移動体Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
軌道生成部140は、移動体Mが移動する軌道を生成し、生成した軌道のリスクを計算する。リスクとは、移動体Mが障害物に接近する可能性の高さを示す指標値である。リスクは、軌道(軌道の軌道点)に対して障害物との距離が小さければ小さいほど高く、軌道(軌道点)に対して障害物との距離が大きければ大きいほど低くなる傾向である。
軌道生成部140は、リスクの合計値や、各軌道点のリスクが、予め設定された基準を満たす場合(例えば合計値が閾値Th1以下であり、且つ各軌道点のリスクが閾値Th2以下である場合)、基準を満たす軌道を移動体が移動する軌道として採用する。
走行制御部150は、予め設定された基準を満たす軌道に沿って、移動体Mを走行させる。走行制御部150は、移動体Mが軌道に沿って走行させるための指令値を走行駆動力出力装置200に出力する。
情報処理部160は、移動体Mが有する各種装置や機器を制御する。情報処理部160は、例えば、HMI30を制御する。情報処理部160は、マイクに入力された音声のデータを取得したり、操作部に対して行われた操作を認識したりする。
走行駆動力出力装置200は、移動体Mが走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、電動機と、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、走行制御部150から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、走行制御部150から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、走行制御部150から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[移動体の制御の概要]
図3は、移動体Mの行動の一例を示す図である。移動体Mは、例えば、ユーザを乗せて目的地に向かう。このとき移動体Mは、歩道Swを走行したり(時刻t、t+1)、歩道Swから車道Rwに降りて車道Rwを走行したりする(時刻t+2、時刻t+3)。移動体Mは、例えば、歩行者の歩行速度程度の速度(例えば4km/hや6km/h)で歩道Swを走行し、例えば、上記の歩行速度よりも大きい速度で車道Rwを走行する。
制御装置100の認識部120は、画像に写された路面から得られる所定の属性を有する歩行者である特定歩行者(例えば視覚障害者)の歩行を支援するための支援情報と、画像に写された歩行者とを認識する。予測部130は、認識部120が認識した歩行者の行動を、支援情報に基づいて、または支援情報と交通参加者の属性とに基づいて予測する。そして、制御装置100は、支援情報と、予測部130の予測結果とに基づいて、移動体Mの行動を制御する。制御するとは、例えば、軌道生成部140が、移動体Mが走行する軌道を生成し、走行制御部150が、生成された軌道に沿って移動体Mを移動させるように走行駆動力出力装置200や、ブレーキ装置210、ステアリング装置220を制御することである。
所定の属性を有する特定歩行者の歩行を支援するための支援情報とは、例えば、点字ブロックである。点字ブロックは、例えば、誘導ブロックと、警告ブロックとを含む。図4は、誘導ブロックBgの一例を示す図である。誘導ブロックBgは、複数の線状の突起部を有する。この突起部は、ブロックの表面に設けられ、突起部の長手方向は特定歩行者が移動する方向を示している。
図5は、警告ブロックBwの他の一例を示す図である。警告ブロックBwは、複数の点状の突起部を有する。この突起部は、ブロックの表面に設けられている。複数の点状の突起部は、特定歩行者に対して注意喚起や警告を促す。例えば、警告ブロックBwは、階段の前や、横断歩道の前、誘導ブロックBgが交差する分岐点、案内板の前、障害物の前、駅のホームの端等に設置される。
本実施形態では、支援情報は、点字ブロックであるものとして説明するが、これに代えて(または加えて)、特定歩行者または他の歩行者の歩行を支援するための情報や物体が示す情報であってもよい。
移動体Mの挙動について例示する。以下の説明の移動体Mの挙動は、例えば、制御装置100の制御に基づいて実行される。以下に説明する処理は、重畳して実行されてもよい。
[移動体の挙動(その1)]
移動体Mは、誘導ブロックBgを認識し、その誘導ブロックBgが示す進行方向と、移動体Mの進行方向(目的地に向かう経路の方向)とが合致する場合、移動体Mは、誘導ブロックBgの進行方向に平行な軌道(略平行な軌道)を生成して、生成した軌道に沿って走行する。合致とは、誘導ブロックBgの進行方向に対応するベクトルと、移動体Mが進行する方向のベクトルとの乖離度が所定角度(例えば30度や45度)以内であることである。
図6は、移動体Mの挙動(その1)について説明するための図である。時刻tにおいて、移動体Mは、所定の方向に進行している。時刻t+1において、移動体Mが、誘導ブロックBgを認識し、誘導ブロックBg付近に到達し、移動体Mの進行方向と誘導ブロックBgの進行方向とが形成する角度θが所定角度以下であるか否かを判定する。時刻t+2において、角度θが所定角度以下である場合、移動体Mは、誘導ブロックBgの進行方向に沿って走行する。
上記のように、移動体Mが、誘導ブロックBgに基づいて走行することにより、周辺の歩行者に配慮した移動体の制御を実現することができる。例えば、歩行者は、誘導ブロックBgの進行方向に沿って移動する傾向が高いため、より周辺の歩行者に配慮した走行が行われる。
[移動体の挙動(その2)]
移動体Mは、誘導ブロックBgの進行方向に沿って移動しているときに、警告ブロックBwを認識した場合、警告ブロックBwの手前(付近)で減速または停止する。
図7は、移動体Mの挙動(その2)について説明するための図である。時刻tにおいて、移動体Mが誘導ブロックBgの進行方向に沿って走行している。時刻t+1において、移動体Mが警告ブロックBw付近に到着した場合、移動体Mは、減速して、周囲の状況を確認する。そして、移動体Mは、周囲の状況の確認の結果に基づいて、周辺に歩行者などの物体が存在しないと判定した場合、進行方向に進む。
上記のように、移動体Mが、警告ブロックBwに基づいて走行することにより、周辺の歩行者に配慮した移動体Mの制御を実現することができる。例えば、警告ブロックB2付近では、他の領域よりも歩行者の挙動が大きく変化する傾向がある。移動体Mは、予期せぬ歩行者をより認識可能なような制御を行うことで、より周辺の歩行者に配慮する。なお、移動体Mは、誘導ブロックBgの進行方向に沿って移動していない場合に、警告ブロックBwを認識した場合にも、警告ブロックBwの手前(付近)で減速または停止してもよい。
[移動体の挙動(その3)]
移動体Mは、誘導ブロックBgの進行方向に沿って移動しているときに、警告ブロックBwおよび、その警告ブロックBwに接続された新たな誘導ブロックBgを認識した場合、警告ブロックBwの手前(付近)で減速または停止し、更に新たな誘導ブロックBgの進行方向に沿って進行する。
図8は、移動体Mの挙動(その3)について説明するための図である。時刻tにおいて、移動体Mが誘導ブロックBg1の進行方向に沿って走行している。時刻t+1において、移動体Mは、警告ブロックBw付近に到達して減速する。時刻t+2において、周辺に歩行者などの物体が存在しない場合、移動体Mは、誘導ブロックBg2の進行方向に旋回して、誘導ブロックBg2の進行方向に沿って走行する。誘導ブロックBg2は、警告ブロックBwに接続された新たな誘導ブロックBgの一例であり、誘導ブロックBg2の進行方向は、誘導ブロックBg1の進行方向に交差する方向である。この進行方向は、例えば、移動体Mの目的地の方向である。
上記のように、移動体Mが、誘導ブロックBg1、警告ブロック、および誘導ブロックBg2に基づいて走行することにより、周辺の歩行者に配慮した移動体Mの制御を実現することができる。例えば、歩行者は、誘導ブロックBg1、警告ブロック、および誘導ブロックBg2に沿って移動する傾向が高いため、より周辺の歩行者に配慮した走行が行われる。
上記の[移動体の挙動(その1)]-[移動体の挙動(その3)]は、「前記歩行者の行動を、前記支援情報の種類に基づいて予測する」処理の一例である。[移動体の挙動(その1)]-[移動体の挙動(その3)]では、実際に着目する歩行者を特定していないが、仮想的な周囲の歩行者の挙動を支援情報に基づいて予測している。
[移動体の挙動(その4)]
[移動体の挙動(その1)]-[移動体の挙動(その3)]では、着目する歩行者が存在しなかった例について説明したが、以下の例では着目する歩行者が存在する例について説明する。移動体Mは、歩行者の移動に干渉しないように移動する。図9は、移動体Mの挙動(その4)について説明するための図である。移動体Mが、歩行者Pの後方を走行し、歩行者Pの進行方向と、移動体Mの進行方向とが合致する場合、移動体Mは、歩行者Pから所定距離離れた位置を維持して、歩行者Pの後方を走行する。
例えば、歩行者Pが存在する方向に移動体Mが進路を変更する場合(例えば図9で右方向に旋回する場合)、移動体Mは、減速して歩行者Pが所定距離前方に移動した後に進路を変更する。
上記のように、移動体Mは、歩行者との距離を所定以上保って、歩行者と同じ方向に進行することで、歩行者の歩行に干渉せずに走行することができる。この結果、より周辺の歩行者に配慮した走行が行われる。
[移動体の挙動(その5)]
移動体Mが誘導ブロックBgの進行方向に沿って移動し、誘導ブロックBg付近に誘導ブロックBgの進行方向に沿って移動している歩行者Pが存在している場合、移動体Mは、誘導ブロックBg付近に誘導ブロックBgの進行方向に沿って移動している歩行者Pが存在していない場合よりも離れた位置を走行する。図10は、移動体Mの挙動(その5)について説明するための図である。
例えば、歩行者が存在する場合、移動体Mの基準位置(移動体Mが走行する位置)は所定の位置から第1所定距離の位置に設定され、歩行者が存在しない場合、移動体Mの基準位置は所定の位置から第2所定距離の位置に設定される。第1所定距離は、第2所定距離よりも長い。所定の位置は、誘導ブロックBgを基準に設定されてもよいし、歩行者Pを基準に設定されてもよい。図10の例では、誘導ブロックBgの上を歩行している歩行者Pを対象としているが、誘導ブロックBgから所定距離離れた位置に存在する歩行者が対象としされてもよい。
上記のように、歩行者Pが存在する場合、移動体Mは、より歩行者を配慮した位置を走行するため、より周辺の歩行者に配慮した走行が行われる。換言すると、移動体Mは、歩行者Pは誘導ブロックBgに沿って走行すると予測し、予測の結果に基づいて走行を行う。この処理は、「前記歩行者の行動を、前記支援情報の種類に基づいて予測する」処理の他の一例である。
[移動体の挙動(その6)]
移動体Mが誘導ブロックBg1の進行方向に沿って移動し、警告ブロックBw付近に到達したものとする。このとき、歩行者Pも警告ブロックBw付近に存在する。この場合、移動体Mは、減速または停止して、歩行者Pが警告ブロックBwから離れた後、移動体Mは所望の移動方向に移動する。
図11は、移動体Mの挙動(その6)について説明するための図である。時刻tにおいて、移動体Mが誘導ブロックBgの進行方向に沿って走行している。時刻t+1において、移動体Mおよび歩行者Pが警告ブロックBw付近に到着した。このとき移動体Mは、減速する。時刻t+2において、歩行者Pが、警告ブロックBwを通り過ぎた。移動体Mは、歩行者Pが警告ブロックBwを通り過ぎた後、所望の方向(例えば歩行者Pと同じ移動方向や誘導ブロックBg2の進行方向)に向かって移動する。
上記のように、移動体Mは、警告ブロックBg付近で歩行者が移動体と干渉する可能性を考慮して移動体Mを制御する。換言すると、移動体Mは、歩行者が移動体Mの進行方向に移動することを予測し、予測の結果に基づいて移動体Mの走行を制御する。この結果、より周辺の歩行者に配慮した走行が行われる。この処理は、「前記歩行者の行動を、前記支援情報の種類に基づいて予測する」処理の他の一例である。
[移動体の挙動(その7)]
[移動体の挙動(その6)]との相違点を中心に説明する。図12は、移動体Mの挙動(その7)について説明するための図である。時刻t+1において、移動体Mおよび歩行者Pが警告ブロックBw付近に到着した。このとき移動体Mは、減速する。時刻t+2において、歩行者Pが、誘導ブロックBg2に沿って歩行したものとする。時刻t+3において、歩行者Pが、移動体Mの前方を横切り、更に歩行者Pが移動体Mから所定距離離れたものとする。移動体Mは、歩行者Pが十分に離れた後、所望の方向(例えば歩行者Pと同じ移動方向や誘導ブロックBg2を横切って直進する方向)に向かって移動する。
上記のように、移動体Mは、警告ブロックBg付近で歩行者が移動体Mと干渉する可能性を考慮して移動体Mを制御する。換言すると、移動体Mは、歩行者が移動体Mの進行方向に移動することを予測し、予測の結果に基づいて移動体Mの走行を制御する。この結果、より周辺の歩行者に配慮した走行が行われる。この処理は、「前記歩行者の行動を、前記支援情報の種類に基づいて予測する」処理の他の一例である。
[歩行者の属性と移動体の挙動との関係]
移動体Mは、上記の支援情報および歩行者の行動の予測の結果に加え、推定した歩行者の属性に基づいて、移動体Mの挙動を変更してもよい。なお、移動体Mは、歩行者の行動を、歩行者の属性を加味して予測し、予測した結果と、支援情報とに基づいて、挙動を変更してもよい。例えば、移動体Mの制御装置100は、移動体Mの挙動を決定する際に、歩行者の属性を考慮せずに、歩行者の行動を予測し、その後、歩行者の属性に基づいて予測した歩行者の行動を補正してもよいし、歩行者の属性を考慮して歩行者の行動を予測し、その予測結果を用いてもよい。
歩行者の属性とは、例えば、点字ブロックを利用して歩行を行っていると推定される歩行者(特定歩行者)と、点字ブロックを利用せずに歩行を行っていると推定される歩行者である。図13は、特定歩行者について説明するための図である。特定歩行者は、図13のAに示すような所定の杖(例えば、視覚障害者等が歩行の際に前方の路面を触察するために使用する杖)を利用している利用者、または図13のBに示すような盲導犬と共に歩行している利用者である。
認識部120は、撮像された画像から特定歩行者の有無や特定歩行者の位置を認識する。例えば、認識部120は、予め用意されたテンプレートと、画像から得られた特徴量とを比較して特定歩行者を認識するパターンマッチング処理や、学習済モデルを利用して特定歩行者を認識する。学習済モデルは、特定歩行者が撮像された画像が入力されると、画像において特定歩行者が存在していることや特定歩行者の位置を示す情報を出力するように学習されたモデルである。
[特定歩行者を認識した場合の移動体の挙動(その1)]
移動体Mは、誘導ブロックBg付近に特定歩行者が存在することを認識した場合、歩行者から第1距離を維持して移動し、移動体Mは、誘導ブロックBg付近に歩行者(特定歩行者でない歩行者)が存在することを認識した場合、歩行者から第2距離を維持して移動する。第1距離は、第2距離よりも長い距離である。換言すると、移動体Mは、特定歩行者が存在する場合、歩行者が存在する場合よりも、より特定歩行者との間隔を保って移動する。
図14は、特定歩行者が存在する場合の移動体Mの位置と、特定歩行者とは異なる歩行者が存在する場合の移動体Mの位置との一例を示す図である。図14に示すように、移動体Mの位置は、例えば、誘導ブロックBgから第1距離L1、第2距離L2、第3距離L3に設定される。第3距離L3は、第1距離L1および第2距離L2よりも短く、歩行者が存在しない場合に設定される移動体Mの位置である。
上記のように、移動体Mは、歩行者の属性を考慮して移動体Mの位置を制御することにより、より周辺の歩行者に配慮した走行を行うことができる。例えば、特定歩行者は、移動体Mの存在を認識しづらいことがあり、移動体Mに近づいてくる行動を行う可能性が、特定歩行者でない歩行者よりも高くなることが予測され、そのような状況に適切に対処することができる。
なお、上記の例において、特定歩行者が存在する場合に設定される距離を第2距離L2として、歩行者が存在する場合に設定される距離を第1距離L1としてもよい。例えば、歩行者は、誘導ブロックBgを利用して歩行していなく、特定歩行者は、誘導ブロックBgを利用して歩行し、歩行者は誘導ブロックBgの誘導方向とは異なる方向に移動する可能性が高いと予測することもできる。これにより予測の確度が向上する。
また、予測部130が、特定歩行者でない歩行者の挙動を分析し、その歩行者が誘導ブロックBgの誘導方向とは異なる方向に移動する可能性が所定度合以上であるか否かを予測してもよい。例えば、予測部130は、顔の向きや、視線、歩行者の挙動の履歴等のうち一以上の情報を参照して、歩行者の挙動を予測する。例えば、予測部130は、顔の向きまたは視線が誘導ブロックBgの連なる方向を向いていたり、過去の挙動において歩行者が誘導ブロックBgの誘導方向に沿って移動する傾向であったりする場合、歩行者は誘導ブロックBgの誘導方向とは異なる方向に移動する可能性が所定度合未満であると判定し(誘導方向に移動すると判定し)、上記とは異なる場合、歩行者は誘導ブロックBgの誘導方向とは異なる方向に移動する可能性が所定度合以上であると判定する。歩行者が誘導ブロックBgの誘導方向とは異なる方向に移動する可能性が所定度合以上であると判定された場合、制御装置100は、上記の予測結果に基づいて移動体Mの誘導ブロックBgに対する位置を決定する。例えば、歩行者は誘導ブロックBgの誘導方向とは異なる方向に移動する可能性が所定度合以上であると判定された場合、制御装置100は、移動体Mを、第2距離L2の位置から第2距離L2よりも長い距離(例えば第1距離L1)の位置に移動させる。これにより、移動体Mは、誘導方向とは異なる方向に移動する可能性が高い歩行者との距離を十分に保って移動することができる。
また、制御装置100は、交通参加者の属性が特定交通参加者である場合、特定交通参加者である交通参加者が支援情報に従って行動する予測度合を第1度合と予測し、交通参加者の属性が特定交通参加者でない場合、特定交通参加者でない交通参加者が支援情報に従って行動する予測度合を第1度合よりも小さい第2度合と予測してもよい。制御装置100は、この予測結果に応じて、誘導ブロックまたは歩行者に対する移動体Mの位置を決定する。第1度合の場合、第2度合の場合よりも、移動体Mは誘導ブロックまたは歩行者から離れた位置に設定されてもよいし、近い位置に設定されてもよい。また、特定歩行者でない歩行者の顔の向きまたは視線が誘導ブロックBgの連なる方向を向いていたり、過去の挙動において歩行者が誘導ブロックBgの誘導方向に沿って移動する傾向であったりする場合、交通参加者が支援情報に従って行動する予測度合を第2度合よりも高い第3度合に設定してもよい。第3度合は、第2度合よりは高く第1度合よりは低い度合であってもよいし、第1度合と同じ度合であってもよいし、第1度合より高い度合であってもよい。第3度合の場合、移動体Mは、他の度合と比較して誘導ブロックまたは歩行者から離れた位置に設定されてもよいし、近い位置に設定されてもよい。
上記の例では、特定歩行者を認識した場合の処理について説明したが、これに加えて(または代えて)、所定の歩行者を認識した場合に、移動体Mは他の歩行者よりも間隔を空けた位置を走行してもよい。所定の歩行者とは、ベビーカーを押して歩行している歩行者や、車いすを押している歩行者など所定の歩行者である。
上述したように、制御装置100は、移動体Mを点字ブロック(例えば誘導ブロックBg)に沿って走行するように制御し、移動体Mの点字ブロックからの距離を歩行者の属性に基づいて決定することにより、より周辺の歩行者に配慮した走行を行うことができる。
以下に説明する[特定歩行者を認識した場合の移動体の挙動(その2)]-[特定歩行者を認識した場合の移動体の挙動(その4)]は、「前記歩行者の行動を、前記支援情報の種類に基づいて予測する」処理の他の一例である。
[特定歩行者を認識した場合の移動体の挙動(その2)]
移動体Mは、警告ブロックBw付近に特定歩行者が存在することを認識した場合、警告ブロックBw(または特定歩行者)から第11距離L11を維持し、移動体Mは、警告ブロックBw付近に歩行者(特定歩行者でない歩行者)が存在することを認識した場合、歩行者から第12距離L12を維持する。上記の維持は、減速によって実現されてもよいし、停止によって実現されてもよい。
図15は、特定歩行者が存在する場合の移動体Mの位置と、特定歩行者とは異なる歩行者が存在する場合の移動体Mの位置との一例を示す図である。図15に示すように、移動体Mの位置は、例えば、警告ブロックBwの基準線を延在させた仮想線ILから第11距離L11、第12距離L12に設定される。
上記のように、移動体Mは、特定歩行者が存在する場合、特定歩行者とは異なる歩行者が存在する場合よりも、より距離を保つことにより、より周辺の歩行者に配慮した走行を行うことができる。
下記で説明する[特定歩行者を認識した場合の移動体の挙動(その3)]および[特定歩行者を認識した場合の移動体の挙動(その4)]は、「前記移動体が前記進行方向に移動しているときに前記移動体の前方の前記歩行者が警告情報に関連付けられた所定位置に到達した場合、前記制御部は、前記移動体を減速または停止させ、その後、前記歩行者が前記所定位置を通過した後、または前記移動体の前方を横切った場合、前記制御部は、前記移動体を加速させる、または前記移動体を発進させる」処理の一例である。
[特定歩行者を認識した場合の移動体の挙動(その3)]
移動体Mは、特定歩行者が警告ブロックBwを通り過ぎて直進した場合、第1挙動を行い、歩行者が警告ブロックBwを通り過ぎて直進した場合、第2挙動を行う。第1挙動は、第2挙動よりも誘導ブロックBgに移動体Mが近づくタイミングが遅い挙動である。
移動体Mは、図15に示すように特定歩行者が時刻t+3のときの位置に到達した場合(到達したタイミングで)、警告ブロックBwに近づく(または近づく動作を開始する)。近づくは、第11距離L11よりも警告ブロックBwに近づくことである。移動体Mは、図15に示すように歩行者(特定歩行者とは異なる歩行者)が時刻t+2のときの位置に到達した場合、警告ブロックBwに近づく。近づくとは、第12距離L12よりも警告ブロックBwに近づくことである。時刻t+3のときの歩行者の位置は、時刻t+2のときの歩行者の位置よりも、警告ブロックBwから遠い位置である。なお、第1挙動または第2挙動が行われるタイミングは、特定歩行者または歩行者の位置に代えて、特定歩行者または歩行者が所定の位置に到達したときからの時間が基準とされてもよい。例えば、所定の位置に到達した時(例えば警告ブロックを通過した時)から第1の時間が経過した場合、第1挙動が行われ、所定の位置に到達した時から第2の時間が経過した場合、第2挙動が行われてもよい。第1の時間は、第2の時間よりも長い時間である。
上記のように、移動体Mが、歩行者の属性に応じて制御を変更することにより、歩行者の属性を考慮し、周囲の状況に配慮した走行を行うことができる。
[特定歩行者を認識した場合の移動体の挙動(その4)]
移動体Mは、特定歩行者が前方の誘導ブロックBgに沿って移動して、移動体Mの前方を横切る場合、第3挙動を行い、歩行者が前方の誘導ブロックBgに沿って移動して、移動体Mの前方を横切る場合、第4挙動を行う。第3挙動は、第4挙動よりも誘導ブロックBgに移動体Mが近づくタイミングが遅い挙動である。
図16は、第3挙動および第4挙動について説明するための図である。移動体Mは、図16に示すように特定歩行者が時刻t+4のときの位置に到達した場合(到達したタイミングで)、警告ブロックBwに近づく(または近づく動作を開始する)。移動体Mは、図16に示すように歩行者(特定歩行者とは異なる歩行者)が時刻t+3のときの位置に到達した場合、警告ブロックBwに近づく。時刻t+4のときの歩行者の位置は、時刻t+3のときの歩行者の位置よりも、警告ブロックBwから遠い位置である。
上記のように、移動体Mが、歩行者の属性に応じて制御を変更することにより、歩行者の属性を考慮し、周囲の状況に配慮した走行を行うことができる。なお、警告ブロックBwまたはその付近に存在する特定歩行者または歩行者が、誘導ブロックBg2が存在する方向とは反対の方向(第2の方向)に移動した場合、移動体Mは、減速の解除または停止状態から発進してもよい。
上記の図15の[特定歩行者を認識した場合の移動体の挙動(その3)]および図16の[特定歩行者を認識した場合の移動体の挙動(その4)]では、特定歩行者または他の歩行者が警告ブロックBwまたはその付近に存在する場合について説明したが、これに代えて、他の歩行者については考慮せず、特定歩行者が警告ブロックBwまたはその付近に存在する場合に減速または停止を行ってよい。歩行者は、点字ブロックを考慮せずに歩行することがあるため、点字ブロックを利用する特定歩行者に着目することで特定歩行者に対する予測の確度が向上する。
[フローチャート(1)]
図17は、制御装置100が実行する処理の流れの一例を示すフローチャート(その1)である。以下に説明するフローチャートの処理の一部は省略されてもよい(図18も同様)。まず、制御装置100は、撮像された画像に基づいて移動体Mの周辺に点字ブロックが存在するか否かを判定する(ステップS100)。点字ブロックが存在する場合、制御装置100は、点字ブロックが誘導ブロックであるか否かを判定する(ステップS102)。
点字ブロックが誘導ブロックでない場合(警告ブロックである場合)、後述する図18のフローチャートの処理を実行する。点字ブロックが誘導ブロックである場合、制御装置100は、誘導ブロックの周辺に歩行者が存在するか否かを判定する(ステップS104)。
誘導ブロックの周辺に歩行者が存在する場合、制御装置100は、歩行者の属性を推定し、推定した属性に基づいて、移動体Mの挙動を決定する(ステップS106)。例えば、前述した図14で説明したように移動体Mの位置が決定される。
次に、制御装置100は、移動体Mの進行方向と、誘導ブロックの進行方向とが合致するか否かを判定する(ステップS108)。移動体Mの進行方向と、誘導ブロックの進行方向とが合致しない場合、本フローチャートの1ルーチンの処理が終了する。
移動体Mの進行方向と、誘導ブロックの進行方向とが合致する場合、制御装置100は、誘導ブロックの誘導方向に沿って走行する(ステップS110)。これにより、移動体Mは、歩行者の属性に応じて、その歩行者と適切な距離を保って走行する。そして、本フローチャートの1ルーチンの処理が終了する。
上記の処理により、移動体Mは、誘導ブロックBgや、誘導ブロックBgの周囲の歩行者等を考慮した走行を行うことができる。
[フローチャート(その2)]
図18は、制御装置100により実行される処理の流れの一例を示すフローチャート(その2)である。まず、制御装置100は、警告ブロックが所定の領域に存在するか否かを判定する(ステップS200)。所定の領域とは、例えば、移動体Mの前方であって、移動体Mから所定距離以内の領域である。警告ブロックが存在する場合、制御装置100は、警告ブロックの周辺に歩行者が存在するか否かを判定する(ステップS202)。警告ブロックの周辺に歩行者が存在しない場合、制御装置100は、他の歩行者の挙動やその他の周辺状況などに基づいて走行する(ステップS208)。
警告ブロックの周辺に歩行者が存在する場合、制御装置100は、その歩行者の属性を推定し、推定した歩行者の属性に基づいて、移動体Mの挙動を決定する(ステップS204)。例えば、前述した図15または図16で説明したように移動体Mの位置が決定される。次に、制御装置100は、歩行者の挙動に基づいて走行する(ステップS206)。例えば、図15、または図16で説明したように、歩行者が所定の位置に到達したタイミングに基づいて移動体Mは制御される。これにより、本フローチャートの1ルーチンの処理が終了する。
上記の処理により、移動体Mは、警告ブロックBwや、警告ブロックBwの周囲の歩行者等を考慮した走行を行うことができる。
上記のように、制御装置100が、各処理を実行して移動体Mを制御することにより、支援情報、予測される歩行者の行動、または歩行者の属性を加味して、より周囲の状況に配慮した走行を移動体Mにさせることができる。
なお、交通参加者は、屋内の道路や通路(例えば空港等の施設内の道路や通路)に存在する者であってもよいし、屋外の道路や通路に存在する者であってもよい。また、上記の例では、交通参加者は、一例として歩行者であるものとして説明したが、これに代えて(または加えて)、交通参加者は、軽車両である自転車や、他の種別の交通参加者を含んでもよい。この場合も、制御装置100は、画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の移動を支援するための支援情報と、画像に写された交通参加者とを認識し、認識した交通参加者の行動を、支援情報に基づいて予測し、支援情報と、予測の結果とに基づいて、移動体の行動を制御する。「支援情報」は、交通参加者(例えば自転車)の優先標識、進行方向を示す情報、停止位置、減速を促す情報、停止を促す情報などである。なお、制御装置100は、支援情報が点字ブロックである場合は、歩行者以外の交通参加者は、点字ブロックが示す情報に即して行動しない可能性が高いと予測する。例えば、制御装置100は、自転車などの交通参加者は、支援ブロックが設けられた歩道とは異なる箇所を走行すると予測する。
上記のように、制御装置100は、支援情報の種別と、交通参加者の種別とに基づいて、交通参加者の行動を予測し、予測した行動に基づいて、移動体の行動を制御する。これにより、制御装置100は、より周囲の状況に配慮した走行を移動体にさせることができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
移動体の周辺の路面が撮像された画像を取得し、
前記画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の歩行を支援するための支援情報と、前記画像に写された交通参加者とを認識し、
前記認識した交通参加者の行動を、前記支援情報に基づいて予測し、
前記支援情報と、前記予測の結果とに基づいて、前記移動体の行動を制御する、
制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
M‥移動体、2‥本体、10‥カメラ、100‥制御装置、110‥取得部、120‥認識部、130‥予測部、140‥軌道生成部、150‥走行制御部、160‥情報処理部、180‥記憶部

Claims (13)

  1. 移動体の周辺の路面が撮像された画像を取得する取得部と、
    前記画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の移動を支援するための支援情報と、前記画像に写された交通参加者とを認識する認識部と、
    前記認識部が認識した交通参加者の行動を、前記支援情報に基づいて予測する予測部と、
    前記支援情報と、前記予測部の予測結果とに基づいて、前記移動体の行動を制御する制御部と、
    を備える移動体制御システム。
  2. 前記交通参加者は、歩行者であり、
    前記支援情報は、歩道に設けられた点字ブロックである、
    請求項1に記載の移動体制御システム。
  3. 前記予測部は、前記交通参加者の行動を、前記支援情報の種類に基づいて予測する、
    請求項1または2に記載の移動体制御システム。
  4. 前記支援情報は、前記特定交通参加者が進む進行方向を示して前記特定交通参加者の移動を誘導する誘導情報および前記特定交通参加者に警告する警告情報である、
    請求項3に記載の移動体制御システム。
  5. 前記認識部は、前記交通参加者の属性を認識し、
    前記制御部は、前記支援情報、前記予測部の予測結果、および前記交通参加者の属性に基づいて、または前記支援情報、および前記予測部が前記支援情報と前記交通参加者の属性とを用いて予測した前記交通参加者の行動に基づいて、前記移動体の行動を制御する、
    請求項1から4のうちいずれか1項に記載の移動体制御システム。
  6. 前記認識部は、前記交通参加者の属性を認識し、
    前記予測部は、前記支援情報と前記交通参加者の属性とに基づいて、前記交通参加者の行動を予測し、
    前記交通参加者の属性が特定交通参加者である場合、前記特定交通参加者である交通参加者が前記支援情報に従って行動する予測度合を第1度合と予測し、
    前記交通参加者の属性が特定交通参加者でない場合、前記特定交通参加者でない交通参加者が前記支援情報に従って行動する予測度合を第1度合よりも小さい第2度合と予測する、
    請求項1から5のうちいずれか1項に記載の移動体制御システム。
  7. 前記支援情報は、歩道に設けられた点字ブロックであり、
    前記認識部は、前記交通参加者の属性を認識し、
    前記制御部は、前記移動体を前記点字ブロックに沿って移動するよう制御し、前記移動体の前記点字ブロックからの距離を前記交通参加者の属性に基づいて決定する、
    請求項1から6のうちいずれか1項に記載の移動体制御システム。
  8. 前記支援情報は、前記特定交通参加者が進む進行方向を示して前記特定交通参加者の移動を誘導する誘導情報および前記特定交通参加者に警告する警告情報であり、
    前記移動体が前記進行方向に移動しているときに前記移動体の前方の前記交通参加者が警告情報に関連付けられた所定位置に到達した場合、
    前記制御部は、前記移動体を減速または停止させ、
    その後、前記交通参加者が前記所定位置を通過した後、または前記移動体の前方を横切った場合、
    前記制御部は、前記移動体を加速させる、または前記移動体を発進させる、
    請求項1から7のうちいずれか1項に記載の移動体制御システム。
  9. 前記支援情報は、点字ブロックであり、
    前記支援情報は、前記特定交通参加者が進む進行方向を示して前記特定交通参加者の移動を誘導する誘導ブロックおよび前記特定交通参加者に警告する警告ブロックであり、
    第1の誘導ブロックが前記警告ブロックに接続され、前記第1の誘導ブロックに交差する方向に第2の誘導ブロックが前記警告ブロックに接続され、且つ前記移動体の前方に前記第2の誘導ブロックが存在している場合に、
    前記移動体が前記第1の誘導ブロックが示す進行方向に移動しているときに前記移動体の前方の前記交通参加者が警告情報に関連付けられた所定位置に到達した場合、
    前記制御部は、前記移動体を減速または停止させ、
    その後、前記交通参加者が前記所定位置を通過した後、または前記移動体の前方を横切った場合、
    前記制御部は、前記移動体を加速させる、または前記移動体を発進させる、
    請求項1から8のうちいずれか1項に記載の移動体制御システム。
  10. 前記制御部は、
    前記交通参加者が所定の属性の特定交通参加者である場合に、前記移動体を加速させる、または前記移動体を発進させるタイミングを、
    前記交通参加者が前記所定の属性の交通参加者とは異なる属性の交通参加者である場合に、前記移動体を加速させる、または前記移動体を発進させるタイミングよりも遅らせる、
    請求項8または9に記載の移動体制御システム。
  11. 請求項1から10のうちいずれか1項に記載の移動体制御システムが搭載された移動体。
  12. コンピュータが、
    移動体の周辺の路面が撮像された画像を取得し、
    前記画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の移動を支援するための支援情報と、前記画像に写された交通参加者とを認識し、
    前記認識した交通参加者の行動を、前記支援情報に基づいて予測し、
    前記支援情報と、前記予測の結果とに基づいて、前記移動体の行動を制御する、
    制御方法。
  13. コンピュータに、
    移動体の周辺の路面が撮像された画像を取得させ、
    前記画像に写された路面から得られる所定の属性を有する交通参加者である特定交通参加者の移動を支援するための支援情報と、前記画像に写された交通参加者とを認識させ、
    前記認識した交通参加者の行動を、前記支援情報に基づいて予測させ、
    前記支援情報と、前記予測の結果とに基づいて、前記移動体の行動を制御させる、
    プログラム。
JP2021031827A 2021-03-01 2021-03-01 移動体制御システム、移動体、および制御方法 Active JP7292320B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021031827A JP7292320B2 (ja) 2021-03-01 2021-03-01 移動体制御システム、移動体、および制御方法
CN202210148622.3A CN114987534A (zh) 2021-03-01 2022-02-17 移动体控制系统、移动体、控制方法及存储介质
US17/676,899 US20220274629A1 (en) 2021-03-01 2022-02-22 Mobile object control system, mobile object, control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021031827A JP7292320B2 (ja) 2021-03-01 2021-03-01 移動体制御システム、移動体、および制御方法

Publications (2)

Publication Number Publication Date
JP2022133023A true JP2022133023A (ja) 2022-09-13
JP7292320B2 JP7292320B2 (ja) 2023-06-16

Family

ID=83007026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021031827A Active JP7292320B2 (ja) 2021-03-01 2021-03-01 移動体制御システム、移動体、および制御方法

Country Status (3)

Country Link
US (1) US20220274629A1 (ja)
JP (1) JP7292320B2 (ja)
CN (1) CN114987534A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049583A (ja) * 2013-08-30 2015-03-16 スズキ株式会社 運転支援装置
JP2019197328A (ja) * 2018-05-08 2019-11-14 クラリオン株式会社 電動車両用走行支援装置、及び電動車両用走行支援装置の制御方法
US20200047342A1 (en) * 2019-08-08 2020-02-13 Lg Electronics Inc. Driving method of robot

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530090B2 (ja) * 1999-11-05 2004-05-24 株式会社東芝 交差点横断歩行者監視システム
US20190287394A1 (en) * 2018-03-19 2019-09-19 Derq Inc. Early warning and collision avoidance
KR102158245B1 (ko) * 2018-12-27 2020-09-21 숭실대학교산학협력단 시각 장애인용 경로 유도 로봇 및 방법
JP7345123B2 (ja) * 2019-08-26 2023-09-15 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015049583A (ja) * 2013-08-30 2015-03-16 スズキ株式会社 運転支援装置
JP2019197328A (ja) * 2018-05-08 2019-11-14 クラリオン株式会社 電動車両用走行支援装置、及び電動車両用走行支援装置の制御方法
US20200047342A1 (en) * 2019-08-08 2020-02-13 Lg Electronics Inc. Driving method of robot

Also Published As

Publication number Publication date
US20220274629A1 (en) 2022-09-01
CN114987534A (zh) 2022-09-02
JP7292320B2 (ja) 2023-06-16

Similar Documents

Publication Publication Date Title
JP7125369B2 (ja) 駐車場管理装置、駐車場管理方法、およびプログラム
CN112498365B (zh) 基于置信度水平和距离、响应于障碍物的自动驾驶车辆的延迟决策
US11130492B2 (en) Vehicle control device, vehicle control method, and storage medium
KR20220119720A (ko) 취약한 도로 사용자의 의도를 예측하기 위한 방법 및 장치
US11390275B2 (en) Vehicle control device, vehicle control method, and program
CN111824124B (zh) 车辆管理装置、车辆管理方法、及存储介质
CN113496189B (zh) 基于静态障碍物地图的感知方法及系统
CN112985435B (zh) 用于操作自主驾驶车辆的方法及系统
CN113075924B (zh) 自动驾驶车辆停放场景设计
US11661085B2 (en) Locked pedestrian detection and prediction for autonomous vehicles
CN113044058A (zh) 自动驾驶车辆三点转弯
US11999385B2 (en) Mobile object control system, control method, and storage medium
US20220266861A1 (en) Moving object control system, moving object, control method, and storage medium
JP7292320B2 (ja) 移動体制御システム、移動体、および制御方法
US20220291689A1 (en) Control system, mobile object, control method, and storage medium
US20220291684A1 (en) Control system, mobile object, control method, and storage medium
CN115014379A (zh) 一种盲人上车引导方法及装置
JP7388208B2 (ja) 車両制御装置
JP7275182B2 (ja) 制御システム、移動体、および制御方法
US20220269276A1 (en) Moving object control system, moving object, control method, and storage medium
JP2021109576A (ja) 車両の走行支援方法および走行支援装置
WO2023047148A1 (ja) 走行支援方法及び 走行支援装置
JP2022154110A (ja) 移動体の制御装置、移動体の制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230606

R150 Certificate of patent or registration of utility model

Ref document number: 7292320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150