JP2023101499A - 車両制御装置、車両制御方法、車両制御プログラム - Google Patents

車両制御装置、車両制御方法、車両制御プログラム Download PDF

Info

Publication number
JP2023101499A
JP2023101499A JP2023073549A JP2023073549A JP2023101499A JP 2023101499 A JP2023101499 A JP 2023101499A JP 2023073549 A JP2023073549 A JP 2023073549A JP 2023073549 A JP2023073549 A JP 2023073549A JP 2023101499 A JP2023101499 A JP 2023101499A
Authority
JP
Japan
Prior art keywords
vehicle
information
remote
sensor
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023073549A
Other languages
English (en)
Inventor
翔 大瀧
Sho Otaki
貴之 岩本
Takayuki Iwamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2023073549A priority Critical patent/JP2023101499A/ja
Publication of JP2023101499A publication Critical patent/JP2023101499A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2247Optic providing the operator with simple or augmented images from one or more cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/242Means based on the reflection of waves generated by the vehicle
    • G05D1/2427Means based on the reflection of waves generated by the vehicle for monitoring a zone of adjustable size or form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00Details of software or hardware architectures used for the control of position
    • G05D2101/20Details of software or hardware architectures used for the control of position using external object recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

【課題】自動運転車両の外部状況に応じて遠隔コマンダに送信するセンサ情報のデータ容量を低減する。【解決手段】車両遠隔指示システム100は、自動運転車両2の外部環境を検出する外部センサ22の検出情報に基づいて、遠隔コマンダRが自動運転車両2の走行に関する遠隔指示を行う。車両遠隔指示システム100は、外部環境又は地図情報に基づいて得られる外部状況と、自動運転車両2の進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定する。【選択図】図2

Description

本発明は、遠隔コマンダが自動運転車両の走行に関する遠隔指示を行う車両遠隔指示システムに関する。
例えば、特許文献1には、遠隔コマンダから自動運転車両に対して遠隔指示を行うことによって、自動運転車両の走行を制御する車両遠隔指示システムが記載されている。この車両遠隔指示システムでは、自動運転車両から遠隔コマンダに対して車載センサのセンサ情報が送信され、送信されたセンサ情報に基づいて遠隔コマンダが遠隔指示を行っている。
特開2018-180771号公報
ここで、遠隔コマンダが遠隔指示を行う際に必要なセンサ情報は、自動運転車両の外部状況(シーン)に応じて異なる。自動運転車両の外部状況を考慮せずにセンサ情報を送信する場合、不必要なセンサ情報も送信されることとなり、送信されるデータ容量が多くなる。このため、本技術分野では、自動運転車両の外部状況に応じて遠隔コマンダに送信するセンサ情報のデータ容量を低減することが求められている。
本発明の一側面は、自動運転車両の外部環境を検出する外部センサのセンサ情報に基づいて、遠隔コマンダが自動運転車両の走行に関する遠隔指示を行う車両遠隔指示システムであって、外部環境又は地図情報に基づいて得られる外部状況と、自動運転車両の進路とに基づいて、外部センサによって検出されたセンサ情報のうち遠隔コマンダに送信する情報の範囲を限定情報範囲に設定する送信情報限定部を備える。
この車両遠隔指示システムでは、送信情報限定部が遠隔コマンダに送信する情報の範囲を限定情報範囲に設定することで、外部センサによって検出されたセンサ情報のうち、自動運転車両の外部状況と進路とに応じたセンサ情報(必要なセンサ情報)のみを遠隔コマンダに送信できる。これにより、車両遠隔指示システムは、遠隔コマンダによる遠隔指示を適切に実行可能としつつ、自動運転車両から遠隔コマンダに送信されるセンサ情報のデータ容量を低減できる。
車両遠隔指示システムにおいて、外部センサは、外部環境を検出する複数のセンサを有し、送信情報限定部は、外部状況と進路とに基づいて、複数のセンサのうち遠隔コマンダにセンサ情報を送信するセンサを決定し、決定したセンサで検出されたセンサ情報を限定情報範囲内のセンサ情報として設定してもよい。
このように、車両遠隔指示システムは、外部センサとして複数のセンサを有している場合であっても、外部状況に応じてセンサ情報を送信すべきセンサを決定し、決定したセンサで検出されたセンサ情報を限定情報範囲内のセンサ情報として設定することで、遠隔コマンダに送信するセンサ情報のデータ容量を低減できる。
車両遠隔指示システムにおいて、送信情報限定部は、外部状況と進路とに基づいて、外部センサによって検出されたセンサ情報の中で遠隔コマンダに送信する部分を抽出し、抽出した部分のセンサ情報を限定情報範囲内のセンサ情報として設定してもよい。
このように、車両遠隔指示システムは、外部センサのセンサ情報の中から送信すべき部を抽出し、抽出した部分を限定情報範囲内のセンサ情報として設定することで、遠隔コマンダに送信するセンサ情報のデータ容量を低減できる。
車両遠隔指示システムは、外部状況に応じて予め設定された必要情報が、限定情報範囲内のセンサ情報に含まれているか否かを判定する情報有無判定部と、情報有無判定部によって必要情報が限定情報範囲内のセンサ情報に含まれていないと判定された場合、遠隔コマンダに報知する、或いは、遠隔コマンダに対して自動運転車両の位置姿勢の変更又は外部センサの検出領域の変更を提案する、報知提案部と、を更に備えていてもよい。
この場合、車両遠隔指示システムは、必要情報が限定情報範囲内に含まれていないことを遠隔コマンダに報知できる、或いは、必要情報が限定情報範囲内に含まれておらず自動運転車両の位置姿勢の変更又は外部センサの検出領域の変更が必要なことを遠隔コマンダに提案できる。これにより、遠隔コマンダは、車両遠隔指示システムからの報知或いは提案に基づいた対応を行うことができる。
本発明によれば、自動運転車両の外部環境に応じて遠隔コマンダに送信するセンサ情報のデータ容量を低減できる。
図1は、実施形態に係る車両遠隔指示システムの全体像の一例を示す図である。 図2は、自動運転車両の構成の一例を示すブロック図である。 図3は、自動運転車両が交差点で右折する場合における限定情報範囲の設定を説明する概略図である。 図4(a)は、自動運転車両の走行車線上で停止する停車車両を追い抜く場合における限定情報範囲の設定を説明する概略図である。図4(b)は、自動運転車両の位置姿勢を変更した場合の検出領域の変化を示す概略図である。図4(c)は、外部センサの検出領域を変更した場合の検出領域の変化を示す概略図である。 図5は、信号機が設置された交差点を自動運転車両2が直進する場合における限定情報範囲の設定を説明する概略図である。 図6(a)は、信号機が設置されていない細い路地の交差点を自動運転車両が直進する場合における限定情報範囲の設定を説明する概略図である。図6(b)は、自動運転車両の位置姿勢を変更した場合の検出領域の変化を示す概略図である。 図7は、自動運転車両の前方に工事区間が存在する場合における限定情報範囲の設定を説明する概略図である。 図8は、遠隔指示サーバのハードウェア構成の一例を示すブロック図である。 図9は、遠隔指示装置の構成の一例を示すブロック図である。 図10は、指示入力部の一例を示す図である。 図11は、遠隔指示対象状況が発生したときに自動運転ECUで行われる処理の流れを示すフローチャートである。 図12(a)は、自動運転車両が交差点を右折する場合における限定情報範囲の設定を説明する概略図である。図12(b)は、自動運転車両の位置姿勢を変更した場合の検出領域の変化を示す概略図である。図12(c)は、外部センサの検出領域を変更した場合の検出領域の変化を示す概略図である。 図13は、自動運転車両が交差点を左折する場合における限定情報範囲の設定を説明する概略図である。 図14は、自動運転車両がラウンドアバウトに進入する場合における限定情報範囲の設定を説明する概略図である。 図15は、自動運転車両の前方の走行車線上に落下物(障害物)が存在する場合における限定情報範囲の設定を説明する概略図である。 図16は、自動運転車両が横断歩道を通過する場合における限定情報範囲の設定を説明する概略図である。 図17は、自動運転車両を駐車枠で停止させる場合における限定情報範囲の設定を説明する概略図である。 図18は、自動運転車両を発進させる場合における限定情報範囲の設定を説明する概略図である。
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の説明において、同一又は相当する要素同士には同一符号を付し、重複する説明を省略する。
図1は、実施形態に係る車両遠隔指示システムの全体像の一例を示す図である。図1に示される車両遠隔指示システム100は、自動運転車両2の外部環境を検出する外部センサ22の検出情報に基づいて、遠隔コマンダRが自動運転車両2の走行に関する遠隔指示を行うシステムである。遠隔指示とは、自動運転車両2の走行に関する遠隔コマンダRの指示である。
遠隔指示には、自動運転車両2の進行の指示及び自動運転車両2の停止の指示が含まれる。遠隔指示には、自動運転車両2の車線変更の指示が含まれていてもよい。また、遠隔指示には、前方の障害物に対するオフセット回避の指示、先行車の追い越しの指示、緊急退避の指示等が含まれていてもよい。
(車両遠隔指示システムの構成)
図1に示されるように、車両遠隔指示システム100は、遠隔コマンダRが遠隔指示を入力する遠隔指示装置1を備えている。遠隔指示装置1は、ネットワークNを介して複数台の自動運転車両2と通信可能に接続されている。ネットワークNは無線通信ネットワークである。遠隔指示装置1には、自動運転車両2から各種の情報が送られる。
車両遠隔指示システム100では、例えば自動運転車両2からの遠隔指示要求に応じて、遠隔コマンダRに遠隔指示の入力が要求される。遠隔コマンダRは、遠隔指示装置1のコマンダインターフェース3に遠隔指示を入力する。遠隔指示装置1は、ネットワークNを通じて自動運転車両2に遠隔指示を送信する。自動運転車両2は、遠隔指示に従って自動で走行する。
なお、車両遠隔指示システム100において遠隔コマンダRの人数は一人であってもよく、二人以上であってもよい。車両遠隔指示システム100と通信可能な自動運転車両2の台数も特に限定されない。複数人の遠隔コマンダRが交替して一台の自動運転車両2に対する遠隔指示を行う態様であってもよく、一人の遠隔コマンダRが二台以上の自動運転車両2に対して遠隔指示を行う態様であってもよい。
(自動運転車両の構成)
まず、自動運転車両2の構成の一例について説明する。図2は、自動運転車両2の構成の一例を示すブロック図である。図2に示すように、自動運転車両2は、一例として、自動運転ECU20を有している。自動運転ECU20は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等を有する電子制御ユニットである。自動運転ECU20では、例えば、ROMに記録されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより各種の機能を実現する。自動運転ECU20は、複数の電子ユニットから構成されていてもよい。
自動運転ECU20は、GPS[Global Positioning System]受信部21、外部センサ22、内部センサ23、地図データベース24、通信部25、及び、アクチュエータ26と接続されている。
GPS受信部21は、3個以上のGPS衛星から信号を受信することにより、自動運転車両2の位置(例えば自動運転車両2の緯度及び経度)を測定する。GPS受信部21は、測定した自動運転車両2の位置情報を自動運転ECU20へ送信する。
外部センサ22は、自動運転車両2の外部環境を検出する車載センサである。外部センサ22は、検出した検出情報(センサ情報)を自動運転ECU20へ送信する。外部センサ22は、外部環境を検出する複数のセンサを含む。具体的に、外部センサ22は、センサとしてカメラを少なくとも含む。カメラは、自動運転車両2の外部環境を撮像する撮像機器である。カメラは、例えば自動運転車両2のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラは、自動運転車両2の外部環境に関する撮像画像(センサ情報)を自動運転ECU20へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。また、カメラは、複数台設けられており、自動運転車両2の前方の他、左右の側方及び後方等、自動運転車両2の周囲の全部又は少なくとも一部を撮像する。
外部センサ22は、センサとしてレーダセンサを含んでもよい。レーダセンサは、電波(例えばミリ波)又は光を利用して自動運転車両2の周辺の物体を検出する検出機器である。レーダセンサには、例えば、センサとしてレーダ(ミリ波レーダ)又はライダー[LIDAR:Light Detection and Ranging]が含まれる。レーダセンサは、電波又は光を自動運転車両2の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサは、検出した物体情報(センサ情報)を自動運転ECU20へ送信する。物体には、ガードレール、建物等の固定物体の他、歩行者、自転車、他車両等の移動物体が含まれる。レーダセンサは、複数台設けられており、自動運転車両2の周囲の全部又は少なくとも一部を検出対象とする。また、外部センサ22は、自動運転車両2の周囲に音波を照射し、障害物等で反射した音波を検出するソナーセンサを含んでもよい。
内部センサ23は、自動運転車両2の走行状態を検出する車載センサである。内部センサ23は、車速センサ、加速度センサ、及びヨーレートセンサを含んでいる。車速センサは、自動運転車両2の速度を検出する検出器である。車速センサとしては、自動運転車両2の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、各車輪の回転速度を検出する車輪速センサを用いることができる。車速センサは、検出した車速情報(車輪速情報)を自動運転ECU20に送信する。
加速度センサは、自動運転車両2の加速度を検出する検出器である。加速度センサは、例えば、自動運転車両2の前後方向の加速度を検出する前後加速度センサを含んでいる.加速度センサは、自動運転車両2の横加速度を検出する横加速度センサを含んでいてもよい。加速度センサは、例えば、自動運転車両2の加速度情報を自動運転ECU20に送信する。ヨーレートセンサは、自動運転車両2の重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した自動運転車両2のヨーレート情報を自動運転ECU20へ送信する。
自動運転車両2には、外部センサ22の他に、遠隔コマンダ用の遠隔指示用センサが備けられていてもよい。遠隔指示用センサは、外部センサ22のセンサとは異なる画角となるように設けられていてもよい。遠隔指示用センサは、例えば、自動運転車両2のルーフ上に設けられ、高い位置から周囲を検出する構成であってもよい。遠隔指示用センサは、自動運転を行うための外部環境を認識する外部センサ22よりも解像度が低く、データ容量が小さくてもよい。これにより、遠隔指示用センサの検出結果を遠隔指示サーバ10に送信する際に、データ容量を小さくすることができ、遅延が生じることを抑制できる。
地図データベース24は、地図情報を記録するデータベースである。地図データベース24は、例えば、自動運転車両2に搭載されたHDD[Hard Disk Drive]等の記録装置内に形成されている。地図情報には、道路の位置情報、道路形状の情報(例えば曲率情報)、交差点及び分岐点の位置情報等が含まれる。地図情報には、位置情報と関連付けられた法定最高速度等の交通規制情報が含まれていてもよい。地図情報には、自動運転車両2の位置情報の取得に用いられる物標情報が含まれていてもよい。物標としては、道路標識、路面標示、信号機、電柱等を用いることができる。地図データベース24は、自動運転車両2と通信可能なサーバに構成されていてもよい。
通信部25は、自動運転車両2の外部との無線通信を制御する通信デバイスである。通信部25は、ネットワークNを介して遠隔指示装置1(遠隔指示サーバ10)と各種情報の送信及び受信を行う。
アクチュエータ26は、自動運転車両2の制御に用いられる機器である。アクチュエータ26は、駆動アクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。駆動アクチュエータは、自動運転ECU20からの制御信号に応じてエンジンに対する空気の供給量(スロットル開度)を制御し、自動運転車両2の駆動力を制御する。なお、自動運転車両2がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータに自動運転ECU20からの制御信号が入力されて当該駆動力が制御される。自動運転車両2が電気自動車である場合には、動力源としてのモータに自動運転ECU20からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ26を構成する。
ブレーキアクチュエータは、自動運転ECU20からの制御信号に応じてブレーキシステムを制御し、自動運転車両2の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を自動運転ECU20からの制御信号に応じて制御する。これにより、操舵アクチュエータは、自動運転車両2の操舵トルクを制御する。
次に、自動運転ECU20の機能的構成の一例について説明する。自動運転ECU20は、車両位置取得部31、外部環境認識部32、走行状態認識部33、遠隔指示判定部34、送信情報限定部35、情報有無判定部36、報知提案部37、センサ画角変更部38、走行状況情報送信部39、進路生成部40、及び自動運転制御部41を有している。
車両位置取得部31は、GPS受信部21の位置情報及び地図データベース24の地図情報に基づいて、自動運転車両2の位置情報(地図上の位置)を取得する。車両位置取得部31は、地図データベース24の地図情報に含まれた物標情報及び外部センサ22の検出結果を利用して、SLAM[Simultaneous Localization and Mapping]技術により自動運転車両2の位置情報を取得してもよい。車両位置取得部31は、車線の区画線と自動運転車両2の位置関係から、車線に対する自動運転車両2の横位置(車線幅方向における自動運転車両2の位置)を認識して位置情報に含めてもよい。車両位置取得部31は、その他、周知の手法により自動運転車両2の位置情報を取得してもよい。
外部環境認識部32は、外部センサ22の検出結果に基づいて、自動運転車両2の外部環境を認識する。外部環境には、自動運転車両2に対する周囲の物体の相対位置が含まれる。外部環境には、自動運転車両2に対する周囲の物体の相対速度及び移動方向が含まれていてもよい。外部環境には、他車両、歩行者、自転車等の物体の種類が含まれてもよい。物体の種類は、パターンマッチング等の周知の手法により識別することができる。外部環境には、自動運転車両2の周囲の区画線認識(白線認識)の結果が含まれていてもよい。外部環境には、信号機の点灯状態の認識結果が含まれていてもよい。外部環境認識部32は、例えば、外部センサ22のカメラの画像に基づいて、自動運転車両2の前方の信号機の点灯状態(通過可能な点灯状態であるか、通過禁止の点灯状態であるか等)を認識できる。
走行状態認識部33は、内部センサ23の検出結果に基づいて、自動運転車両2の走行状態を認識する。走行状態には、自動運転車両2の車速、自動運転車両2の加速度、自動運転車両2のヨーレートが含まれる。具体的に、走行状態認識部33は、車速センサの車速情報に基づいて、自動運転車両2の車速を認識する。走行状態認識部33は、加速度センサの車速情報に基づいて、自動運転車両2の加速度を認識する。走行状態認識部33は、ヨーレートセンサのヨーレート情報に基づいて、自動運転車両2の向きを認識する。
遠隔指示判定部34は、自動運転車両2が遠隔コマンダR(遠隔指示装置1)に遠隔指示を要求すべきか否かを判定する。遠隔指示判定部34は、車両位置取得部31の取得した自動運転車両2の位置情報及び地図データベース24の地図情報と、外部環境認識部32の認識した外部環境と、後述する進路生成部40の生成した進路とのうち少なくとも一つに基づいて、遠隔指示を要求すべきか否かを判定する。
遠隔指示判定部34は、例えば自動運転車両2が遠隔指示対象状況になった場合に、遠隔指示を要求すべきと判定する。遠隔指示対象状況とは、自動運転車両が遠隔指示装置1に遠隔指示を要求すべき状況として予め設定された状況である。
遠隔指示対象状況には、例えば、自動運転車両2が交差点を右折又は左折する状況、信号機付き又は信号機無しの交差点に進入する状況、ラウンドアバウトに進入する状況、横断歩道を通過する状況、前方の停止車両又は障害物が存在する状況、工事区間の回避のために車線変更する状況、前方の障害物に対するオフセット回避の判断が求められる状況、停止していた自動運転車両が発進する状況、自動運転車両が乗車地点又は目的地に停車する状況のうち少なくとも一つの状況が含まれていてもよい。なお、車両が右側通行の国又は地域の場合には、交差点を右折する状況に代えて交差点を左折する状況とすることができる。
遠隔指示判定部34は、例えば、自動運転車両2が交差点に進入する状況又は交差点を右折する状況になった場合、遠隔指示を要求すべきと判定する。遠隔指示判定部34は、自動運転車両2の前方にオフセット回避すべき障害物が存在する場合に、遠隔指示を要求すべきと判定してもよい。
遠隔指示判定部34は、例えば、自動運転車両2の位置情報、地図情報、及び目標ルートから、自動運転車両2が交差点を右折する状況になったこと、自動運転車両2が信号機付き交差点に進入する状況になったこと、又は自動運転車両2が車線変更を開始する状況になったことを認識できる。
遠隔指示判定部34は、遠隔指示を要求すべきと判定した場合、遠隔指示サーバ10に対して遠隔コマンダRによる遠隔指示を要求する。遠隔指示の要求には、例えば自動運転車両2の識別情報が含まれる。なお、遠隔指示判定部34は、予め余裕をもって遠隔指示を要求してもよい。遠隔指示判定部34は、遠隔指示の対象となる交差点等と自動運転車両2との距離が一定距離以下になった場合に、遠隔指示を要求すべきと判定してもよい。距離ではなく到達までの残り時間を用いてもよい。
送信情報限定部35は、遠隔指示判定部34によって遠隔指示の要求が必要と判定された場合(遠隔指示対象状況となった場合)に、遠隔指示サーバ10へ送信する自動運転車両2の走行状況情報を設定する。なお、自動運転車両2の走行状況情報は、遠隔コマンダRが遠隔指示を行う際に用いられる。自動運転車両2の走行状況情報について詳しくは後述するが、走行状況情報には、外部センサ22の検出情報が含まれている。本実施形態において、送信情報限定部35は、走行状況情報に含まれる外部センサ22の検出情報のうち、遠隔指示サーバ10に対して送信する情報の範囲を設定する。
具体的に、送信情報限定部35は、自動運転車両2の外部状況と自動運転車両2の進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔指示サーバ10(遠隔コマンダR)に送信する情報の範囲を限定情報範囲に設定する。
なお、自動運転車両2の外部状況とは、外部環境又は地図情報に基づいて得ることができる。送信情報限定部35は、自動運転車両2の外部環境として、外部センサ22の検出情報に基づいて得られる外部環境(すなわち外部環境認識部32の認識した外部環境)を用いる。また、送信情報限定部35が用いる地図情報とは、地図データベース24が記憶する地図情報である。送信情報限定部35は、進路として、進路生成部40によって生成された進路を用いることができる。なお、ここでの進路とは、遠隔指示に応じた進路が生成される前の進路である。
限定情報範囲とは、外部状況と進路とに基づく情報の範囲の設定が行われない場合に遠隔指示サーバ10へ送信される外部センサ22の検出情報よりも限定された範囲である。このように、送信される検出情報の範囲が限定情報範囲に設定されることにより、外部状況と進路とに基づく範囲の設定が行われない場合に比べて、送信される検出情報のデータ容量が少なくなる。
送信情報限定部35は、外部状況と進路とに基づいて、遠隔コマンダRが遠隔指示を行う際に確認すべき領域を検出領域に含むセンサの検出情報を、限定情報範囲の情報として設定する。
(検出情報を送信するセンサを決定して限定情報範囲を設定する)
以下、外部センサ22が有する複数のセンサのうち遠隔コマンダRに検出情報を送信するセンサを決定し、決定したセンサで検出された検出情報を限定情報範囲内の検出情報として設定する方法について説明する。
まず、地図情報に基づいて得られる外部状況を用いた限定情報範囲の設定の例について説明する。送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22が有する複数のセンサのうち、遠隔指示サーバ10に検出情報を送信するセンサを決定する。そして、送信情報限定部35は、決定したセンサで検出された検出情報を限定情報範囲内の検出情報として設定することができる。
一例として、図3に示されるように、自動運転車両2が交差点で右折する場合について説明する。この場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、対向車線を直進してくる車両と、右折先の道路を横断する歩行者との両方の不存在を確認する必要がある。このため、送信情報限定部35は、地図情報と、車両位置取得部31で取得された自動運転車両2の位置情報と、進路とに基づいて、自動運転車両2が交差点で右折する状況であることを判定する。そして、送信情報限定部35は、外部センサ22が有する複数のセンサのうち、前方を検出領域とするセンサ及び右前方(斜め右前方)を検出領域とするセンサを選択(決定)する。
なお、送信情報限定部35は、前方と右前方との両方を検出領域とするセンサがある場合、このセンサを選択してもよい。すなわち、送信情報限定部35は、遠隔コマンダRが確認すべき領域を検出領域として含むセンサを1又は複数選択する(以下で説明するセンサの選択についても同様とする)。そして、送信情報限定部35は、選択したセンサによって検出された検出情報を限定情報範囲内の検出情報として設定することができる。なお、図3において、自動運転車両2の周囲に記載されたハッチングを付した領域は、外部センサ22が有する各センサの検出領域(画角)を示している(他の図においても同様とする)。
このように、送信情報限定部35は、上記例においては後方を検出領域とするセンサの検出情報等を限定情報範囲に含めない。すなわち、送信情報限定部35は、地図情報に基づいて得られる外部状況に基づいて、遠隔コマンダRが確認すべき領域を検出領域に含まないセンサの検出情報を、限定情報範囲に含めない。
なお、ここでは、対向車線を直進する車両及び右折先の道路を横断する歩行者を検出できればよいため、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象(検出情報を限定情報範囲内に含める対象となるセンサ)としてもよい。
次に、外部環境に基づいて得られる外部状況を用いた限定情報範囲の設定の例について説明する。送信情報限定部35は、外部環境認識部32で認識された自動運転車両2の外部環境と進路とに基づいて、外部センサ22が有する複数のセンサのうち、遠隔指示サーバ10に検出情報を送信するセンサを決定する。そして、送信情報限定部35は、決定したセンサで検出された検出情報を限定情報範囲内の検出情報として設定することができる。
一例として、図4(a)に示されるように、自動運転車両2の走行車線上で停止する停車車両X1を追い抜く場合について説明する。この場合、遠隔コマンダRは、一例として、停車車両X1を追い抜く遠隔指示を行う際に、自動運転車両2の前方の対向車線を直進してくる対向車両と(片側1車線の道路の場合)、自動運転車両2の後方から自動運転車両2及び停車車両X1を追い抜こうとする車両との両方の不存在を確認する必要がある。このため、送信情報限定部35は、外部環境認識部32によって検出された停車車両X1の情報(外部環境)と、進路とに基づいて、自動運転車両2が停車車両X1を追い抜く状況であることを認識する。そして、送信情報限定部35は、外部センサ22が有する複数のセンサのうち、前方を検出領域とするセンサと、自動運転車両2の後方を検出領域とするセンサとを選択(決定)する。送信情報限定部35は、選択したセンサによって検出された検出情報を限定情報範囲内の検出情報として設定することができる。
このように、送信情報限定部35は、外部環境に基づいて得られる外部状況に基づいて、遠隔コマンダRが確認すべき領域を検出領域に含まないセンサの検出情報を、限定情報範囲に含めない。
なお、ここでは、自動運転車両2の前方及び後方の車両を検出できればよいため、送信情報限定部35は、一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。
なお、送信情報限定部35は、外部環境及び地図情報に基づいて得られる外部状況を用いて、限定情報範囲の設定を行ってもよい。具体的に、一例として、図3に示されるように、自動運転車両2が交差点で右折する場合、自動運転車両2の対向車線における右折待ちの対向車両Xの有無に基づいて、限定情報範囲の設定を行ってもよい。
例えば、右折待ちの対向車両Xが存在する場合、対向車両Xの奥側(自動運転車両2から見て奥側)に位置する対向直進車線(対向車線の直進車線)は、対向車両Xによって遮蔽されるために外部センサ22による検出が困難となり、他車両等の認識性能が低下する。このような場合、自動運転車両2は、遠隔コマンダRによる遠隔指示に基づいて走行することがよい。しかしながら、自動運転車両2の前方の対向車線に右折待ちの対向車両Xが存在しない場合、自動運転車両2は自動運転によって自動で右折を行うことができる。このため、一例として、送信情報限定部35は、交差点を右折する場合、自動運転車両2の前方に右折待ちの対向車両Xが外部環境認識部32によって認識されていないときには、外部センサ22が有する複数のセンサのうち、前方を検出領域とするセンサの検出情報を限定情報範囲に含めず、右前方を検出領域とするセンサの検出情報のみを限定情報範囲内の検出情報として設定してもよい。
同様に、図3に示される場合において、右折先の道路を横断しようとしている歩行者が外部環境認識部32によって認識されていない場合、送信情報限定部35は、右前方を検出領域とするセンサの検出情報を限定情報範囲内の検出情報として含めなくてもよい。すなわち、右折先の道路を横断しようとしている歩行者がいないのであれば遠隔コマンダRが歩行者を確認する必要が無いため、送信情報限定部35は、右前方を検出領域とするセンサの検出情報を限定情報範囲内の検出情報として含めなくてもよい。
(検出情報から送信する部分を抽出して限定情報範囲を設定する)
以下、外部センサ22によって検出された検出情報の中で遠隔コマンダRに送信する部分を抽出し、抽出した部分の検出情報を限定情報範囲内の検出情報として設定する方法について説明する。
まず、地図情報に基づいて得られる外部状況を用いた限定情報範囲の設定の例について説明する。送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報の中で遠隔指示サーバ10に送信する部分を抽出する。そして、送信情報限定部35は、抽出した部分の検出情報を限定情報範囲内の検出情報として設定することができる。ここで、検出情報の中で遠隔指示サーバ10に送信する部分を抽出することとは、例えば、検出情報の不要な部分を切り取り、必要な部分(送信する部分)のみを残すことである。一例として、送信情報限定部35は、外部センサ22が有するカメラの撮像画像の一部分を切り出して、送信する部分として用いることができる。
一例として、図5に示されるように、信号機が設置された交差点を自動運転車両2が直進する場合について説明する。この場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、信号機の灯火情報(点灯している信号の色情報)を確認する必要がある。このため、送信情報限定部35は、地図情報と、車両位置取得部31で取得された自動運転車両2の位置情報と、進路とに基づいて、信号機が設置された交差点を自動運転車両2が直進する状況であることを判定する。そして、送信情報限定部35は、外部センサ22が有する複数のセンサのうち、信号機を検出領域に含むセンサを選択(決定)する。また、ここでは点灯している信号の色を判断できるように、送信情報限定部35は、センサとしてカメラを選択する。そして、送信情報限定部35は、選択したカメラの撮像画像(検出情報)のうち、信号機の投光部Sを含む部分(画素)を抽出し、抽出した抽出画像Aを限定情報範囲内の検出情報として設定することができる。なお、信号機の投光部Sの位置(路面からの高さ等)は、例えば、地図情報に含まれていてもよい。
次に、外部環境に基づいて得られる外部状況を用いた限定情報範囲の設定の例について説明する。送信情報限定部35は、外部環境認識部32で認識された外部環境と進路とに基づいて、外部センサ22によって検出された検出情報の中で遠隔指示サーバ10に送信する部分を抽出する。そして、送信情報限定部35は、抽出した部分の検出情報を限定情報範囲内の検出情報として設定することができる。
一例として、図4(a)に示されるように、自動運転車両2の走行車線上で停止する停車車両X1を追い抜く場合について説明する。また、ここでは、外部センサ22は、自動運転車両2の全周を検出領域とするセンサ、又は、自動運転車両2の周囲の前側の180°の範囲を検出領域とするセンサ及び後ろ側の180°を検出領域とするセンサを備えているとする。この場合、送信情報限定部35は、外部環境認識部32によって検出された停車車両X1の情報(外部環境)と、進路とに基づいて、自動運転車両2が停車車両X1を追い抜く状況であることを判定する。そして、送信情報限定部35は、外部センサ22の検出情報のうち、自動運転車両2の前方の領域を含む部分と後方の領域を含む部分とを抽出し、抽出した部分の検出情報を限定情報範囲内の検出情報として設定することができる。ここでは、送信情報限定部35は、自動運転車両2の左方及び右方の領域を含む部分の検出情報を、限定情報範囲内の検出情報として抽出しない。
なお、送信情報限定部35は、外部環境及び地図情報に基づいて得られる外部状況を用いて、限定情報範囲の設定を行ってもよい。具体的に、一例として、図3に示されるように、自動運転車両2が交差点で右折する場合について説明する。ここでは、外部センサ22は、自動運転車両2の周囲の前側の180°の範囲を検出領域とするセンサを備えているとする。この場合、送信情報限定部35は、自動運転車両2の対向車線における右折待ちの対向車両X等の車両の有無に基づいて、検出情報の中で遠隔コマンダに送信する部分を抽出する。
具体的には、一例として、送信情報限定部35は、交差点を右折する場合、自動運転車両2の前方に対向車両X等の車両が外部環境認識部32によって認識されていないときには、自動運転車両2の前方の180°を検出領域とするセンサの検出情報のうち、自動運転車両2の前方の部分(図3における検出領域L1の部分)を抽出せず、右前方を含む部分(図3における検出領域L2の部分)のみを抽出し、抽出した部分の検出情報を限定情報範囲内の検出情報として設定してもよい。
また、図3に示される場合において、右折先の道路を横断しようとしている歩行者が外部環境認識部32によって認識されていない場合、送信情報限定部35は、検出情報のうち、右前方を含む部分を限定情報範囲内の検出情報として含めなくてもよい。なお、対向車両X等の車両及び右折先の道路を横断する歩行者の有無を考慮しない場合、送信情報限定部35は、自動運転車両2の前方の180°を検出領域とするセンサの検出情報のうち、自動運転車両2の前方及び右前方の領域を含む部分を抽出し、抽出した部分の検出情報を限定情報範囲内の検出情報として設定することができる。
情報有無判定部36は、送信情報限定部35で設定された限定情報範囲内の検出情報に、自動運転車両2の外部状況に基づいて予め設定された必要情報が含まれているか否かを判定する。すなわち、この必要情報は、外部環境認識部32で認識された自動運転車両2の外部環境又は地図情報に基づいて予め設定されている。
地図情報に基づいて設定された必要情報とは、例えば、交差点等の自動運転車両2が走行する場所に応じて予め設定された情報であってもよい。この場合の必要情報には、例えば、遠隔コマンダRが確認すべき方向又は場所(車線、道路等)、確認すべき対象物(信号機、横断歩道等)が含まれていてもよい。また、外部環境に基づいて設定された必要情報とは、例えば、外部環境認識部32によって認識された物体であり遠隔コマンダRが確認すべき物体に応じて予め設定されていてもよい。この場合の必要情報は、例えば、遠隔コマンダRが確認すべき対象物であり、地図情報に含まれていない対象物(工事区間における交通誘導員又は誘導案内板等)が含まれていてもよい。
地図情報に基づいて予め設定された必要情報の一例として、図6(a)に示されるように、信号機が設置されていない細い路地の交差点を自動運転車両2が直進する場合について説明する。この場合、遠隔コマンダRは、遠隔指示を行う際に、自動運転車両2が走行する道路R1に交差する道路R2の状況(自動運転車両2の左右の状況)を確認する必要がある。このため、このような状況における必要情報として、例えば、自動運転車両2の走行車線に交差する道路(道路R2)が予め設定されている。
図6(a)に示される例では、送信情報限定部35によって、外部センサ22が有する複数のセンサのうち、自動運転車両2の右方を検出するセンサの検出情報と左方を検出するセンサの検出情報とが限定情報範囲内の検出情報として設定されている。情報有無判定部36は、地図情報と、車両位置取得部31で取得された自動運転車両2の位置情報と、進路とに基づいて、外部センサ22で検出された検出情報に道路R2の状況が含まれているか否かを判定する。図6(a)に示される例では、自動運転車両2が走行する道路R1の両脇に塀W1及びW2が設置されている。自動運転車両2の右方を検出するセンサの検出領域が塀W1によって遮蔽され、左方を検出するセンサの検出領域が塀W2によって遮蔽されている。これにより、右方を検出するセンサ及び左方を検出するセンサによって道路R2の状況を検出することができない。このため、情報有無判定部36は、限定情報範囲内の検出情報に、必要情報が含まれていないと判定する。
外部環境に基づいて予め設定された必要情報の一例として、図7に示されるように、自動運転車両2の前方に工事区間Kが存在し、工事区間Kの手前に交通誘導員Pが交通誘導を行っている場合について説明する。この場合、遠隔コマンダRは、遠隔指示を行う際に、交通誘導員Pの誘導動作を確認する必要がある。このため、このような状況における必要情報として、例えば、交通誘導員Pが予め設定されている。また、このような状況における必要情報として、例えば、工事区間Kの周囲に設置された誘導案内板が予め設定されていてもよい。
図7に示される例では、外部環境認識部32によって交通誘導員Pが認識されているとする。この場合、情報有無判定部36は、送信情報限定部35によって設定された限定情報範囲内の検出情報に交通誘導員Pが含まれているか否かを判定する。
報知提案部37は、情報有無判定部36によって必要情報が限定情報範囲内の検出情報に含まれていないと判定された場合、遠隔コマンダRに報知する。あるいは、報知提案部37は、遠隔コマンダRに対して自動運転車両2の位置姿勢の変更又は外部センサ22の検出領域の変更を提案する。報知提案部37は、この報知及び提案を行う際に、その旨を遠隔指示サーバ10に送信し、遠隔指示装置1のコマンダインターフェース3を介して報知及び提案を行うことができる。
なお、ここでの自動運転車両2の位置姿勢の変更とは、例えば、自動運転車両2の位置を変更すること、又は、位置及び向きを変更することである。具体的には、自動運転車両2の位置姿勢の変更とは、例えば、自動運転車両2をその場から前進すること、又は、自動運転車両2をその場から前進させつつ右方向又は左方向に操舵することであってもよい。自動運転車両2の位置姿勢の変更に伴って、外部センサ22の検出領域が変化する。
また、外部センサ22の検出領域の変更とは、例えば、外部センサ22が有するセンサの取付位置姿勢を変更することを含んでいてもよい。センサの取付位置姿勢を変更することとは、例えば、外部センサ22が有するセンサの取り付け角度(センサの向き)を変更すること、及びセンサの検出方向を軸としてセンサを回転させることの少なくともいずれかを含む。言い換えると、取付位置姿勢の変更とは、センサのヨー角、ピッチ角、及びロール角の少なくともいずれかを変更することを含む。また、取付位置姿勢の変更とは、センサの位置を並進させる(水平方向及び垂直方向の少なくともいずれかの方向にスライドさせる)ことを含んでいてもよい。
また、外部センサ22の検出領域の変更とは、例えば、外部センサ22の検出領域のうち、抽出する範囲を変更することであってもよい。言い換えると、外部センサ22の検出領域の変更とは、例えば、検出情報のうち抽出する興味部分を変更することであってもよい。
センサ画角変更部38は、外部センサ22の検出領域の変更を行う。本実施形態において、センサ画角変更部38は、遠隔コマンダRから外部センサ22の検出領域の変更指示が行われた場合、検出領域の変更指示に基づいて外部センサ22の検出領域を変更する。ここでは、センサ画角変更部38は、検出領域の変更指示の1回あたりの変化量(検出領域の変化量)を固定とすることができる。この場合、遠隔コマンダRは、所望の領域が検出領域に含まれるまで、複数回、検出領域の変更指示を行う。これにより、変更指示に遅延又は途絶等が生じたとしても、外部センサ22の検出領域が意図しない状態となることを抑制しつつ、外部センサ22の検出領域を適切に変化させることができる。
なお、センサ画角変更部38は、自動運転車両2が遠隔コマンダ用の遠隔指示用センサを備えている場合、遠隔指示用センサの検出領域を変更してもよい。
走行状況情報送信部39は、遠隔指示判定部34によって遠隔指示を要求すべきと判定された場合、自動運転車両2の走行状況情報を遠隔指示サーバ10に送信する。自動運転車両2の走行状況情報には、遠隔コマンダRが自動運転車両2の状況を認識するための情報が含まれる。なお、上述したように、走行状況情報に含まれる外部センサ22の検出情報の範囲は、送信情報限定部35によって限定情報範囲に設定されている。
具体的に、自動運転車両2の走行状況情報には、自動運転車両2の車載センサの検出情報及び/又は車載センサの検出情報から生成された情報(例えば自動運転車両2の俯瞰画像)が含まれる。車載センサの検出情報には、外部センサ22の検出情報が含まれている。
例えば、外部センサ22の検出情報には、カメラによって撮像された自動運転車両2の前方のカメラ画像が含まれてもよい。外部センサ22の検出情報には、自動運転車両2の側方及び後方を含む自動運転車両2の周囲のカメラ画像が含まれていてもよい。また、外部センサ22の検出情報には、レーダセンサの検出した物体情報が含まれてもよい。外部センサ22の検出情報には、物体の種類の識別結果が含まれてもよい。走行状況情報には、外部センサ22の検出情報に基づいて外部環境認識部32が認識した自動運転車両2の外部環境の情報が含まれていてもよい。
また、車載センサの検出情報には、内部センサ23の検出情報が含まれていてもよい。内部センサ23の検出情報には、車速センサの検出した自動運転車両2の車速の情報が含まれていてもよい。内部センサ23の検出情報には、ヨーレートセンサの検出した自動運転車両2のヨーレートの情報が含まれていてもよい。内部センサ23の検出情報には、自動運転車両2の操舵角の情報が含まれていてもよい。走行状況情報には、内部センサ23の検出情報に基づいて走行状態認識部33が認識した自動運転車両2の走行状態の情報が含まれていてもよい。
さらに、自動運転車両2の走行状況情報には、自動運転車両2の位置情報が含まれていてもよい。自動運転車両2の走行状況情報には、乗員に関する情報(乗員の有無、乗員の人数)が含まれてもよい。自動運転車両2の走行状況情報には、遠隔コマンダRの選択可能な遠隔指示に応じた進路の情報が含まれてもよい。進路については後述する。
進路生成部40は、自動運転車両2の自動運転に利用される進路[trajectory]を生成する。進路生成部40は、予め設定された目標ルート、地図情報、自動運転車両2の位置情報、自動運転車両2の外部環境、及び自動運転車両2の走行状態に基づいて、自動運転の進路を生成する。進路は自動運転の走行計画に相当する。
進路には、自動運転で車両が走行する経路[path]と自動運転における車速計画とが含まれる。経路は、目標ルート上において自動運転中の車両が走行する予定の軌跡である。経路は、例えば目標ルート上の位置に応じた自動運転車両2の操舵角変化のデータ(操舵角計画)とすることができる。目標ルート上の位置とは、例えば目標ルートの進行方向において所定間隔(例えば1m)毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。
目標ルートは、例えば目的地、地図情報、及び自動運転車両2の位置情報に基づいて設定される。目標ルートは、さらに渋滞等の交通情報を考慮して設定されてもよい。目標ルートは、周知のナビゲーションシステムによって設定されてもよい。目的地は自動運転車両2の乗員によって設定されてもよく、自動運転ECU20又はナビゲーションシステムが自動的に提案してもよい。
進路生成部40は、例えば目標ルート、地図情報、自動運転車両2の外部環境、及び自動運転車両2の走行状態に基づいて、自動運転車両2が走行する経路を生成する。進路生成部40は、例えば自動運転車両2が目標ルートに含まれる車線の中央(車線幅方向における中央)を通るように経路を生成する。
車速計画は、例えば設定縦位置毎に目標車速が関連付けられたデータである。なお、設定縦位置は、距離ではなく自動運転車両2の走行時間を基準として設定されてもよい。設定縦位置は、例えば車両の1秒後の到達位置、車両の2秒後の到達位置として設定されていてもよい。この場合には、車速計画も走行時間に応じたデータとして表現できる。
進路生成部40は、例えば経路と地図情報に含まれる法定最高速度等の交通規制情報に基づいて車速計画を生成する。法定最高速度に代えて、地図上の位置又は区間に対して予め設定された速度を用いてもよい。進路生成部40は、経路及び車速計画から自動運転の進路を生成する。なお、進路生成部40における進路の生成方法は上述した内容に限定されず、自動運転に関する周知の手法を採用することができる。進路の内容についても同様である。
進路生成部40は、遠隔指示判定部34により遠隔指示サーバ10に対して遠隔指示が要求された場合、又は、遠隔指示の対象となる交差点等に自動運転車両2が近づいた場合、遠隔指示に応じた進路を予め生成する。自動運転車両2の状況に応じて、遠隔指示の内容は予め決められている。例えば交差点の右折時における遠隔指示の内容には、「進行(右折開始)」の遠隔指示及び「停止(判断保留)」の遠隔指示が含まれる。交差点の右折時における遠隔指示の内容には、右折を行わずに直進する遠隔指示(ルート変更の遠隔指示)が含まれてもよく、緊急退避の遠隔指示が含まれてもよい。
進路生成部40は、例えば、自動運転車両2が交差点を右折する状況において、右折開始の遠隔指示に対応するように、自動運転車両2が交差点を右折する進路を生成する。進路生成部40は、遠隔指示を受信するまでの間、外部環境の変化に応じて進路を更新してもよい。また、進路生成部40は、交差点の右折から交差点の直進に切り換える遠隔指示が存在する場合には、交差点を直進する進路を予め生成してもよい。
進路生成部40は、緊急退避の遠隔指示が存在する場合には、緊急退避用の進路を予め生成してもよい。緊急退避用の進路は、地図上に予め設定された退避スペースの何れかに自動運転車両2を停車させるように生成される。進路生成部40は、例えば外部環境に基づいて各退避スペース上の障害物の有無を認識し、空いている退避スペースに停車するように緊急退避用の進路を生成する。なお、進路生成部40は、必ずしも進路を予め生成する必要はなく、遠隔指示を受信してから遠隔指示に対応する進路を生成してもよい。
自動運転制御部41は、自動運転車両2の自動運転を実行する。自動運転制御部41は、例えば自動運転車両2の外部環境、自動運転車両2の走行状態、及び進路生成部40の生成した進路に基づいて、自動運転車両2の自動運転を実行する。自動運転制御部41は、アクチュエータ26に制御信号を送信することで、自動運転車両2の自動運転を行う。
自動運転制御部41は、走行状況情報送信部39により遠隔指示サーバ10に対して遠隔指示が要求された場合、遠隔指示サーバ10からの遠隔指示の受信を待つ。自動運転制御部41は、自動運転車両2が停車してから遠隔指示を要求した場合、遠隔指示を受信するまで停車状態を維持する。
自動運転制御部41は、運転免許を有する乗員が乗車している場合において、予め設定された待機時間が経過しても遠隔指示を受信しないときには、当該乗員による判断又は手動運転を求めてもよい。自動運転制御部41は、待機時間が経過しても遠隔指示を受信せず、乗員による判断又は手動運転も不能な場合(乗員が乗っていない場合等)には、自動で緊急退避を行ってもよい。
また、自動運転制御部41は、遠隔指示を要求するために走行状況情報送信部39が走行状況情報を遠隔指示サーバ10に送信した後、遠隔コマンダRから自動運転車両2の位置姿勢の変更指示が行われた場合、位置姿勢の変更指示に基づいて自動運転車両2の位置姿勢を変更する。ここでは、自動運転制御部41は、自動運転車両2の位置姿勢の変更指示の1回あたりの変化量(自動運転車両2の姿勢(向き、位置)の変化量)を固定とすることができる。この場合、遠隔コマンダRは、所望の領域が検出領域に含まれるまで、複数回、自動運転車両2の位置姿勢の変更指示を行う。これにより、変更指示に遅延又は途絶等が生じたとしても、自動運転車両2の位置姿勢が意図しない状態となることを抑制しつつ、自動運転車両2の位置姿勢を適切に変化させることができる。なお、走行状況情報送信部39は、自動運転車両2の位置姿勢の変更指示等が行われた後、変更後の走行状況情報を遠隔指示サーバ10に送信する。
(遠隔指示装置の構成)
以下、本実施形態に係る遠隔指示装置1の構成について図面を参照して説明する。図1に示されるように、遠隔指示装置1は、遠隔指示サーバ10、及びコマンダインターフェース3を有している。
まず、遠隔指示サーバ10のハードウェア構成について説明する。図8は、遠隔指示サーバ10のハードウェア構成の一例を示すブロック図である。図8に示されるように、遠隔指示サーバ10は、プロセッサ10a、記憶部10b、通信部10c及びユーザインターフェース10dを備えた一般的なコンピュータとして構成されている。この場合のユーザは遠隔指示サーバ10のユーザ(管理者等)を意味している。
プロセッサ10aは、各種オペレーティングシステムを動作させて遠隔指示サーバ10を制御する。プロセッサ10aは、制御装置、演算装置、レジスタ等を含むCPU等の演算器である。プロセッサ10aは、記憶部10b、通信部10c及びユーザインターフェース10dを統括する。記憶部10bは、メモリ及びストレージのうち少なくとも一方を含んで構成されている。メモリは、ROM、RAM等の記録媒体である。ストレージは、HDD等の記録媒体である。
通信部10cは、ネットワークNを介した通信を行うための通信機器である。通信部10cには、ネットワークデバイス、ネットワークコントローラ、ネットワークカード等を用いることができる。ユーザインターフェース10dは、管理者等のユーザに対する遠隔指示サーバ10の入出力部である。ユーザインターフェース10dは、ディスプレイ、スピーカ等の出力器、及び、タッチパネル等の入力器を含む。なお、遠隔指示サーバ10は、必ずしも施設に設けられている必要はなく、車両等の移動体に搭載されていてもよい。
図9は、遠隔指示装置1の構成の一例を示すブロック図である。図9に示されるように、コマンダインターフェース3は、遠隔コマンダRに対する遠隔指示装置1の入出力部である。コマンダインターフェース3は、出力部3a及び指示入力部3bを有している。
出力部3aは、遠隔コマンダRに対して自動運転車両2の遠隔指示に用いる情報を出力する機器である。出力部3aは、画像を出力するディスプレイと音を出力するスピーカとを含む。
ディスプレイには、一例として、自動運転車両2のカメラが撮像した自動運転車両2の前方の画像(前方の景色の画像)が表示される。ディスプレイは、複数の表示画面を有していてもよく、自動運転車両2の側方及び/又は後方の画像が表示されてもよい。ディスプレイは、遠隔コマンダRに視覚情報を提供できる構成であれば特に限定されない。ディスプレイは、遠隔コマンダRの目を覆うように装着されるウェアラブルデバイスであってもよい。
スピーカは、例えば遠隔コマンダRの頭に装着されるヘッドセットスピーカである。スピーカは、例えば、自動運転車両2の状況(例えば交差点の右折時である等の状況)を音声により遠隔コマンダRに伝える。スピーカは、必ずしもヘッドセットである必要はなく、設置型であってもよい。
出力部3aは、振動によって遠隔コマンダRに情報を提供してもよい。出力部3aは、例えば遠隔コマンダRのシートに設けられた振動アクチュエータを有してもよい。出力部3aは、自動運転車両2に対する他車両の接近等を振動によって遠隔コマンダRに注意喚起してもよい。出力部3aは、シートの左右それぞれに振動アクチュエータを有しており、他車両の接近方向等に応じた位置の振動アクチュエータを振動させてもよい。なお、出力部3aは、遠隔コマンダRの体に装着するウェアラブル型の振動アクチュエータを有していてもよい。出力部3aは、体の各位置に装着された振動アクチュエータを他車両の接近方向等に応じて振動させることで遠隔コマンダRに情報提供を行うことができる。
指示入力部3bは、遠隔コマンダRにより遠隔指示が入力される機器である。ここで、図10は、指示入力部3bの一例を示す図である。図10に示される指示入力部3bでは、ゲート式レバー構造が採用されている。図10には、レバーLa、監視開始ボタンLb、及び十字溝Lcが示されている。
レバーLaは、遠隔コマンダRが操作するためのレバーである。レバーLaは、例えば上端の握り部と、握り部から十字溝(十字ゲート)Lcに向かって延びるシャフト部を有している。レバーLaの握り部の側面には、監視開始ボタンLbが設けられている。監視開始ボタンLbの位置は特に限定されず、握り部の左側面であってもよく、右側面であってもよい。監視開始ボタンLbは、十字溝Lcと同じ面に設けられていてもよい。
監視開始ボタンLbは、遠隔コマンダRが自動運転車両2の状況の監視を開始するときに押されるボタンである。遠隔指示装置1は、監視開始ボタンLbが押されることで遠隔コマンダRが監視を開始したと認識してもよい。監視開始ボタンLbは、レバーLaのロック解除ボタンとしても機能する。すなわち、レバーLaは、監視開始ボタンLbが押されている間、又は、監視開始ボタンLbが押されてから一定時間の間だけロックが解除されて移動可能となる。なお、監視開始ボタンLbは必ずしも設ける必要はない。
十字溝Lcは、レバーLaのシャフト部が入り込み、遠隔コマンダRの操作によってレバーLaが移動する溝である。図10に示される指示入力部3bでは、十字溝Lcに沿ってレバーLaの位置が切り換えられることで、遠隔指示が入力される。図10に示されるように、一例として、十字溝Lcの上方向は「進行」、下方向は「停止」、右方向は「車線変更」、左方向は「取消」の指示の入力とすることができる。
遠隔コマンダRは、例えば監視開始ボタンLbを押しながらレバーLaを上方向に移動させることで、自動運転車両2に「進行」の遠隔指示を入力する。遠隔コマンダRは、例えば監視開始ボタンLbを押しながらレバーLaを下方向に移動させることで、自動運転車両2に「停止」の遠隔指示を入力する。遠隔コマンダRは、一つ前の遠隔指示を取り消したい場合には、監視開始ボタンLbを押しながらレバーLaを左方向に移動させることで、「取消」の指示を入力する。
なお、十字溝Lcにおける「進行」等の表示は変更可能なデジタル表示であってもよい。「進行」、「車線変更」等の表示は、自動運転車両2の遠隔指示状況に応じて変更されてもよい。例えば「車線変更」は状況に応じて「追い越し」の表示となってもよい。この場合、レバーLaを右に移動させることで、自動運転車両2に追い越しの遠隔指示を行うことができる。
なお、遠隔指示の「停止」は、「判断保留」としてもよい。「停止」の場合には自動運転車両2の位置に依らず停止するが、「判断保留」の場合には遠隔指示が必須となる位置(例えば信号機の手前の一時停止線)まで自動運転を継続する。指示入力部3bは、「停止」と「判断保留」とをそれぞれ区別して入力可能であってもよい。監視開始ボタンLbが存在する場合には、遠隔コマンダRが監視開始ボタンLbを押し続けることで「判断保留」の指示として扱ってもよい。
また、十字溝ではなく、進行及び停止(又は保留)の二つの遠隔指示入力を選択可能なストレート形状の溝を採用してもよく、車両のシフトレバー等に採用される階段状の溝を採用してもよい。その他、緊急退避のためのボタンを別に設けてもよい。緊急退避は、レバーLaの操作により選択できる遠隔指示の一つとしてもよい。
その他、指示入力部3bには様々な入力方式を採用することができる。指示入力部3bには、ボタン、タッチパネルを採用してもよく、トグルスイッチ、ロッカースイッチ等の各種スイッチを採用してもよい。指示入力部3bには、キーボードを採用してもよく、音声入力装置を採用してもよい。指示入力部3bでは、誤操作防止のためにボタンカバーを取付けてもよい。指示入力部3bでは、誤操作防止のためボタンとスイッチを併用してもよく、ボタンとハンドルを併用してもよく、ペダルとレバーを併用してもよい。指示入力部3bでは、レバーの操作、ボタンの操作、タッチパネルの操作、ペダルの操作、音声入力のうち二つ以上を組み合わせることで遠隔指示を入力可能としてもよい。
また、タッチパネル等の仮想的なボタンの場合には、ボタンの表示位置を固定としないことで、遠隔コマンダRが十分に自動運転車両2の状況を把握しないまま反射的に操作してしまうことを抑制してもよい。遠隔コマンダRが入力した遠隔指示の内容(進行、停止等)を音声及び/又は画像表示により通知するようにしてもよい。画像表示はテキスト表示であってもよく、色の変化により遠隔コマンダRに通知してもよい。
指示入力部3bには、Enableボタンを採用してもよい。この場合のEnableボタンとは、設定された押し込み量の範囲でなければ信号が送信されないボタンであり、軽い押し込み量又は深すぎる押し込み量の場合には信号の送信を行わない。指示入力部3bには、軽い押し込み状態と奥まで押し込んだ状態で送信する情報を変える二段スイッチを採用してもよい。指示入力部3bには、円盤状の回転盤を回すことで遠隔指示内容を選択するダイヤル(例えばロータリースイッチ)を採用してもよい。ダイヤルには、複数の刻みが設けられており、各刻みに「進行」、「停止」等の遠隔指示内容が対応する。
次に、遠隔指示サーバ10の機能的構成について説明する。図9に示されるように、遠隔指示サーバ10は、遠隔指示要求受信部11、情報提供部12、及び遠隔指示送信部13を有している。
遠隔指示要求受信部11は、自動運転車両2が遠隔指示サーバ10に遠隔指示を要求した場合に、遠隔指示の要求を受信する。また、遠隔指示要求受信部11は、自動運転車両2からの送信により、遠隔指示を要求した自動運転車両2の走行状況情報を取得する。なお、遠隔指示要求受信部11は、遠隔指示を要求していない自動運転車両2の走行状況情報を取得してもよい。
情報提供部12は、遠隔コマンダRに対する各種の情報提供を行う。情報提供部12は、遠隔指示要求受信部11が遠隔指示の要求を受信した場合、コマンダインターフェース3を介して担当する遠隔コマンダRに遠隔指示の入力を要求する。
また、情報提供部12は、遠隔指示要求受信部11の取得した自動運転車両2の走行状況情報に基づいて、遠隔コマンダRに自動運転車両2の情報を提供する。情報提供部12は、例えばコマンダインターフェース3の出力部3aのディスプレイに自動運転車両2の前方の画像を表示する。情報提供部12は、視点変換により自動運転車両2の運転席付近から見た画像を表示してもよい。情報提供部12は、自動運転車両2の側方及び後方の画像を表示してもよい。情報提供部12は、自動運転車両2の周囲を撮像した画像を合成したパノラマ画像を表示してもよく、画像合成及び視点変換により自動運転車両2を見下ろすように生成された俯瞰画像を表示してもよい。情報提供部12は、画像中の物体の強調表示(例えば他車両等を枠で囲む表示)を行ってもよい。情報提供部12は、画像中に信号機が含まれる場合には、信号機の点灯状態の認識結果をディスプレイに表示してもよい。
情報提供部12は、自動運転車両2のカメラが撮像したカメラ画像に限らず、様々な情報をディスプレイに表示してもよい。情報提供部12は、遠隔指示を要求した自動運転車両2の状況(交差点の右折時、障害物のオフセット回避時等の状況)をテキスト又はアイコン等を用いて表示してもよい。情報提供部12は、遠隔コマンダRが選択できる遠隔指示の種類(進行、待機等)をディスプレイに表示してもよい。情報提供部12は、遠隔指示に応じた自動運転車両2の進路に関する情報(進行の遠隔指示に対応する自動運転車両2進行する軌跡等)をディスプレイに表示してもよい。
情報提供部12は、自動運転車両2のレーダセンサが検出した物体の情報を表示してもよい。物体の情報は俯瞰画像中にアイコンとして表示されてもよい。物体の種類が識別されている場合には、物体の種類に応じたアイコン表示がなされてもよい。情報提供部12は、自動運転車両2の位置情報に基づいて取得した自動運転車両2の周囲の地図情報をディスプレイに表示してもよい。地図情報は、遠隔指示サーバ10が有していてもよく、他のサーバ等から取得してもよい。自動運転車両2の周囲の地図情報は自動運転車両2から取得してもよい。
情報提供部12は、自動運転車両2の位置情報に基づいて取得した道路交通情報をディスプレイに表示してもよい。道路交通情報には、渋滞発生区間、工事区間情報、事故位置情報等のうち少なくとも一つが含まれる。道路交通情報は、例えば交通情報センターから取得できる。
情報提供部12は、自動運転車両2の車速の情報をディスプレイに表示してもよく、自動運転車両2の操舵角の情報をディスプレイに表示してもよい。情報提供部12は、自動運転車両2の位置する道路の勾配の情報をディスプレイに表示してもよい。情報提供部12は、自動運転車両2が車室内カメラを有している場合、必要に応じて自動運転車両2の車室内の画像を表示してもよい。情報提供部12は、自動運転車両2における乗員の乗車状況及び/又は荷物の積載状況をディスプレイに表示してもよい。
情報提供部12は、コマンダインターフェース3の出力部3aのスピーカにより音情報を遠隔コマンダRに提供する。情報提供部12は、自動運転車両2の状況(交差点の右折時、障害物のオフセット回避時等)を音声としてスピーカから出力してもよい。情報提供部12は、自動運転車両2の周囲の他車両等の接近を音又は音声としてスピーカから出力してもよい。情報提供部12は、自動運転車両2の周囲の音(雑音)をそのままスピーカから出力してもよい。情報提供部12は、必要に応じて車室内の乗員の音声をスピーカから出力してもよい。なお、スピーカによる情報提供は必須ではない。
その他、情報提供部12は、出力部3aが振動アクチュエータを有している場合、振動により遠隔コマンダRに情報提供を行ってもよい。この場合、情報提供部12は、例えば、自動運転車両2に対する他車両の接近方向、歩行者の存在する方向等の注意すべき方向に応じた位置の振動アクチュエータを振動させることで遠隔コマンダRに情報提供(注意喚起)を行うことができる。
なお、上述したように、走行状況情報に含まれる外部センサ22の検出情報の範囲は、外部状況に基づいて限定情報範囲に設定される。この場合、情報提供部12は、限定情報範囲に設定された検出情報を含む走行状況情報に基づいて、遠隔コマンダRに自動運転車両2の情報を提供する。このように、外部センサ22の検出情報の範囲が限定情報範囲に設定されたとしても、外部状況に基づいて確認すべき領域を検出領域に含む検出情報が含まれている。このため、遠隔コマンダRは、限定情報範囲に設定された検出情報を含む走行状況情報に基づいて、遠隔指示の判定を行うことができる。
また、情報提供部12は、報知提案部37からの指示に基づいて、コマンダインターフェース3の出力部3aを用いて、必要情報が限定情報範囲内の検出情報に含まれていない旨を遠隔コマンダRに報知する。あるいは、情報提供部12は、報知提案部37からの指示に基づいて、コマンダインターフェース3の出力部3aを用いて、自動運転車両2の位置姿勢の変更又は外部センサ22の検出領域の変更の提案内容を遠隔コマンダRに提示する。
遠隔指示送信部13は、遠隔コマンダRがコマンダインターフェース3の指示入力部3bに遠隔指示を入力した場合、入力された遠隔指示を自動運転車両2に送信する。情報提供部12は、遠隔コマンダRが入力した遠隔指示を自動運転車両2に送信した場合、自動運転車両2の情報を続けて遠隔コマンダRに伝えてもよく、遠隔指示を要求する別の自動運転車両2の情報に切り換えてもよい。
また、遠隔指示送信部13は、遠隔コマンダRがコマンダインターフェース3の出力部3aに自動運転車両2の位置姿勢の変更指示又は外部センサ22の検出領域の変更指示をした場合、入力された変更指示を自動運転車両2に送信する。なお、遠隔コマンダRは、情報提供部12が出力部3aを用いて行った、必要情報が限定情報範囲内の検出情報に含まれていない旨の報知に基づいて、自動運転車両2の位置姿勢の変更指示等を行うことができる。あるいは、遠隔コマンダRは、情報提供部12が出力部3aを用いて行った、自動運転車両2の位置姿勢の変更等の提案内容に基づいて、自動運転車両2の位置姿勢の変更指示等を行うことができる。また、遠隔コマンダRは、自動運転車両2の走行状況情報に基づいて提供された情報を確認し、必要情報が含まれていないと判断した等の場合に、自動運転車両2の位置姿勢の変更指示等を行ってもよい。
(遠隔指示対象状況の発生時の処理の流れ)
次に、遠隔指示対象状況が発生したときに自動運転車両2の自動運転ECU20で行われる処理の流れについて図11のフローチャートを用いて説明する。なお、図11に示される処理は、遠隔指示判定部34において遠隔指示を要求する遠隔指示対象状況になったと判定された場合に開始される。
図11に示されるように、遠隔指示対象状況になったと遠隔指示判定部34で判定された場合、自動運転ECU20は、遠隔指示対象状況発生時の動作を実行する(S101)。本実施形態では、一例として、遠隔指示対象状況発生時に、自動運転ECU20は、遠隔指示対象状況に応じた位置で自動運転車両2を停止させる。例えば、自動運転ECU20は、遠隔指示対象状況が交差点へ進入する状況である場合、交差点に設けられた停止線の位置で自動運転車両2を停止させてもよく、遠隔指示対象状況が前方の停車車両が検出された状況である場合、停車車両から予め定められた距離手前の位置で自動運転車両2を停止させてもよい。
次に、遠隔指示判定部34は、遠隔指示要求を遠隔コマンダR(遠隔指示サーバ10)へ送信する(S102)。送信情報限定部35は、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定する。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する(S103)。
遠隔コマンダRは、自動運転車両2から遠隔指示要求がされると、走行状況情報送信部39から送信された自動運転車両2の走行状況に基づいて、自動運転車両2に対して遠隔指示を行う。自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると(S104)、遠隔指示に応じた動作(例えば、交差点への進入開始、右折開始等)を実行する(S105)。
以下、種々の遠隔指示対象状況が発生した場合に、自動運転車両2及び遠隔コマンダRによって行われる各工程の具体例について説明する。
(交差点での右折)
一例として、図3に示されるように、自動運転車両2が交差点を右折する場合について説明する。
(工程A1)
遠隔指示判定部34は、自動運転車両2の位置情報、地図データベース24の地図情報、及び進路生成部40の生成した進路に基づいて、自動運転車両2が右折する交差点に到達したこと(遠隔指示対象状況であること)を認識する。
(工程A2)
自動運転ECU20は、予め定められた停止位置に自動運転車両2を停止させる。ここでの停止位置は、路面に書かれた停止線の位置であってもよく、停止線以外の予め設定された位置であってもよい。
(工程A3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程A4)
上述したように、交差点を右折する場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、対向車線を直進してくる車両と、右折先の道路を横断する歩行者との両方の不存在を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有するセンサのうち、自動運転車両2の前方を検出領域に含むセンサと右前方を検出領域に含むセンサとを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定する。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
なお、ここでは、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
ここで、工程A4において、送信情報限定部35は、更に外部環境認識部32の認識結果に基づいて限定情報範囲の設定を行ってもよい。具体的には、例えば、右折待ちの対向車両Xの有無に基づいて限定情報範囲の設定を行ってもよい。ここでは、上述したように、一例として、送信情報限定部35は、自動運転車両2の前方に右折待ちの対向車両Xが外部環境認識部32によって認識されていないときには、外部センサ22が有する複数のセンサのうち、前方を検出領域とするセンサの検出情報を限定情報範囲に含めず、右前方を検出領域とするセンサの検出情報のみを限定情報範囲内の検出情報として設定してもよい。また、図3に示される場合において、右折先の道路を横断しようとしている歩行者が外部環境認識部32によって認識されていない場合、送信情報限定部35は、右前方を検出領域とするセンサの検出情報を限定情報範囲内の検出情報として含めなくてもよい。
(工程A5)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。
(工程A6)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、右折を開始する。
(交差点での右折:画角変更あり)
一例として、図12(a)に示されるように、自動運転車両2が交差点を右折する場合において、更に自動運転車両2の位置姿勢の変更又は外部センサ22の検出領域の変更を行う場合ついて説明する。
(工程B1)
遠隔指示判定部34は、上記工程A1と同様に、自動運転車両2が右折する交差点に到達したこと(遠隔指示対象状況であること)を認識する。
(工程B2)
自動運転ECU20は、上記工程A2と同様に、予め定められた停止位置に自動運転車両2を停止させる。
(工程B3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程B4)
送信情報限定部35は、上記A4と同様に、遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定する。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。なお、ここでは、送信情報限定部35は、自動運転車両2の前方を検出領域に含むセンサの検出情報のみを限定情報範囲内の検出情報として設定している。但し、上記工程A4と同様に、右折先の道路を横断する歩行者を確認できるように、右前方を検出領域に含むセンサの検出情報も限定情報範囲内の検出情報として含められていてもよい。
(工程B5)
遠隔コマンダRは、自動運転車両2から受信した走行状況情報に含まれる限定情報範囲内の検出情報を確認し、必要情報等の所望の情報が含まれていない場合、自動運転車両2に対して自動運転車両2の位置姿勢の変更指示及び外部センサ22の検出領域の変更指示の少なくともいずれかを行う。
なお、遠隔指示装置1のコマンダインターフェース3を介して、必要情報が限定情報範囲内の検出情報に含まれていない旨の報知が行われている場合、遠隔コマンダRは、この報知に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。また、遠隔指示装置1のコマンダインターフェース3を介して、自動運転車両2の位置姿勢の変更又は外部センサ22の検出領域の変更の提案が行われている場合、遠隔コマンダRは、この提案に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。なお、遠隔コマンダRは、報知及び提案がされていない場合、走行状況情報の確認結果に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。ここでの必要情報とは、例えば、自動運転車両2の前方に存在する右折待ちの対向車両Xの奥側に位置する対向直進車線であってもよく、右折先の横断歩道であってもよい。
(工程B6)
遠隔コマンダRによって自動運転車両2の位置姿勢の変更指示が行われると、自動運転制御部41は、位置姿勢の変更指示に基づいて自動運転車両2の位置姿勢を変更する。ここでは、例えば、遠隔コマンダRは、図12(b)に示されるように、自動運転車両2の前方に存在する右折待ちの対向車両Xの奥側に位置する対向直進車線(必要情報)が対向車両Xによって遮蔽されずに検出できるように、自動運転車両2をその場から前進させつつ右方向に操舵させて停止させる。
また、遠隔コマンダRによって外部センサ22の検出領域の変更指示が行われると、センサ画角変更部38は、検出領域の変更指示に基づいて外部センサ22の検出領域を変更する。ここでは、例えば、遠隔コマンダRは、図12(c)に示されるように、自動運転車両2の前方に存在する右折待ちの対向車両Xの奥側に位置する対向直進車線(必要情報)が対向車両Xによって遮蔽されずにできるだけ検出できるように、自動運転車両2の前方を検出領域とするセンサの位置を自動運転車両2の右側面の位置へ並進させる。これにより、自動運転車両2の前方を検出するセンサによって、対向車両Xが存在する対向右折車線に隣接する対向直進車線を検出し易くなる。
(工程B7)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。
(工程B8)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、右折を開始する。
(交差点での左折)
一例として、図13に示されるように、自動運転車両2が交差点を左折する場合について説明する。
(工程C1)
遠隔指示判定部34は、上記工程A1と同様に、自動運転車両2が左折する交差点に到達したこと(遠隔指示対象状況であること)を認識する。
(工程C2)
自動運転ECU20は、上記工程A2と同様に、予め定められた停止位置に自動運転車両2を停止させる。
(工程C3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程C4)
交差点を左折する場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、左折先の道路を横断する歩行者と、左折時に巻き込む恐れのある後方から接近するバイク等との両方の不存在を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有するセンサのうち、自動運転車両2の左方を検出領域に含むセンサと後方を検出領域に含むセンサとを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定する。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
なお、ここでは、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
ここで、工程C4において、送信情報限定部35は、更に外部環境認識部32の認識結果に基づいて限定情報範囲の設定を行ってもよい。具体的には、例えば、自動運転車両2の後続車両(自動運転車両2の後方の他車両)の有無に基づいて限定情報範囲の設定を行ってもよい。ここでは、例えば、自動運転車両2の後方に後続車両が存在する場合、外部センサ22によって自動運転車両2の後方を検出したときに後続車両によって遮蔽される領域が生じる。これにより、後方から自動運転車両2の左側をすり抜けるバイク及び自転車等の認識精度が低下する。このような場合、自動運転車両2は、遠隔コマンダRによる遠隔指示に基づいて走行することがよい。しかしながら、自動運転車両2の後方に後続車両が存在しない場合、自動運転車両2は自動運転によって自動で後方を確認して左折を行うことができる。このため、一例として、送信情報限定部35は、外部環境認識部32によって自動運転車両2の後方に後続車両が認識されていないときには、外部センサ22が有する複数のセンサのうち、後方を検出領域とするセンサの検出情報を限定情報範囲に含めず、左方を検出領域とするセンサの検出情報のみを限定情報範囲内の検出情報として設定してもよい。
同様に、図13に示される場合において、左折先の道路を横断しようとしている歩行者が外部環境認識部32によって認識されていない場合、送信情報限定部35は、左方を検出領域とするセンサの検出情報を限定情報範囲内の検出情報として含めなくてもよい。
なお、図13に示される例では、一例として、送信情報限定部35は、左方及び後方の検出情報を限定情報範囲内の検出情報として設定したが、更に自動運転車両2の前方を検出領域とするセンサの検出情報を限定情報範囲内の検出情報に含めてもよい。
(工程C5)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。
(工程C6)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、左折を開始する。
(交差点での直進:信号機あり)
一例として、図5に示されるように、信号機が設置された交差点を自動運転車両2が直進する場合について説明する。
(工程D1)
遠隔指示判定部34は、上記工程A1と同様に、自動運転車両2が直進する交差点に到達したこと(遠隔指示対象状況であること)を認識する。
(工程D2)
自動運転ECU20は、上記工程A2と同様に、予め定められた停止位置に自動運転車両2を停止させる。
(工程D3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程D4)
上述したように信号機が設置された交差点を自動運転車両2が直進する場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、信号機の灯火情報を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有する複数のセンサのうち、信号機を検出領域に含むセンサを選択する。ここでは、送信情報限定部35は、上述したように、センサとしてカメラを選択する。そして、送信情報限定部35は、選択したカメラの撮像画像(検出情報)のうち、信号機の投光部Sを含む部分を抽出し、抽出した抽出画像Aを限定情報範囲内の検出情報として設定する。
すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
なお、送信情報限定部35は、カメラの撮像画像のうち投光部Sを含む部分のみを抽出することに代えて、自動運転車両2の前方を検出領域とするカメラ、レーダ、及びライダーのうち、色を識別可能なカメラの撮像画像(検出情報)のみを選択する。そして、送信情報限定部35は、選択したカメラの撮像画像を限定情報範囲内の検出情報として設定してもよい。
(工程D5)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。
(工程D6)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、直進を開始する。
なお、信号機が設置された交差点を直進する場合に遠隔コマンダRによる遠隔指示を要求することは、予め定められた場合にのみ行われてもよい。この遠隔指示の要求は、例えば、逆光又は霧等によって信号機の色が外部環境認識部32によって認識することが困難な場合にのみ行われてもよい。
(交差点での直進:信号機なし)
一例として、図6(a)に示されるように、信号機が設置されていない細い路地の交差点を自動運転車両2が直進する場合について説明する。
(工程E1)
遠隔指示判定部34は、上記工程A1と同様に、自動運転車両2が直進する交差点に到達したこと(遠隔指示対象状況であること)を認識する。
(工程E2)
自動運転ECU20は、上記工程A2と同様に、予め定められた停止位置に自動運転車両2を停止させる。
(工程E3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程E4)
上述したように細い路地の交差点を自動運転車両2が直進する場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、自動運転車両2が走行する道路R1に交差する道路R2の状況(自動運転車両2の左右の状況)を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有する複数のセンサのうち、自動運転車両2の右方を検出するセンサと左方を検出するセンサとを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定する。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
なお、ここでは、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
(工程E5)
遠隔コマンダRは、自動運転車両2から受信した走行状況情報に含まれる限定情報範囲内の検出情報を確認し、必要情報等の所望の情報が含まれていない場合、自動運転車両2に対して自動運転車両2の位置姿勢の変更指示を行う。図6(a)に示される例では、右方を検出するセンサの検出領域と左方を検出するセンサの検出領域とが塀W1及びW2によって遮蔽されているため、遠隔コマンダRは、自動運転車両2の位置姿勢の変更指示を行う。但し、遠隔コマンダRは、外部センサ22の検出領域の変更指示を行ってもよい。
なお、遠隔指示装置1のコマンダインターフェース3を介して、必要情報が限定情報範囲内の検出情報に含まれていない旨の報知が行われている場合、遠隔コマンダRは、この報知に基づいて自動運転車両2の位置姿勢の変更指示を行ってもよい。また、遠隔指示装置1のコマンダインターフェース3を介して、自動運転車両2の位置姿勢の変更の提案が行われている場合、遠隔コマンダRは、この提案に基づいて自動運転車両2の位置姿勢の変更指示を行ってもよい。なお、遠隔コマンダRは、報知及び提案がされていない場合、走行状況情報の確認結果に基づいて自動運転車両2の位置姿勢の変更指示を行ってもよい。
(工程E6)
遠隔コマンダRによって自動運転車両2の位置姿勢の変更指示が行われると、自動運転制御部41は、位置姿勢の変更指示に基づいて自動運転車両2の位置姿勢を変更する。ここでは、例えば、遠隔コマンダRは、図6(b)に示されるように、右方を検出するセンサの検出領域及び左方を検出するセンサの検出領域が塀W1及びW2によって遮蔽されないように(遮蔽される部分が少なくなるように)、自動運転車両2をその場から前進させて停止させる。
(工程E7)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。
(工程E8)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、直進を開始する。
(ラウンドアバウトへの進入)
一例として、図14に示されるように、自動運転車両2がラウンドアバウトに進入する場合について説明する。なお、ここでは、ラウンドアバウトにおいて車両は右回りに走行する。
(工程F1)
遠隔指示判定部34は、上記工程A1と同様に、自動運転車両2がラウンドアバウトに到達したこと(遠隔指示対象状況であること)を認識する。
(工程F2)
自動運転ECU20は、上記工程A2と同様に、予め定められた停止位置に自動運転車両2を停止させる。
(工程F3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程F4)
ラウンドアバウトに進入する場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、ラウンドアバウト内を周回する他車両を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有するセンサのうち、自動運転車両2の右前方を検出領域に含むセンサを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定する。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
なお、ここでは、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
(工程F5)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。
(工程F6)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、左折しながらラウンドアバウトへの進入を開始する。
(停車車両の追い越し)
一例として、図4(a)に示されるように、自動運転車両2の走行車線上で停止する停車車両X1(障害物)を追い越す場合について説明する。
(工程G1)
外部環境認識部32は、自動運転車両2の走行車線上の停車車両X1を認識する。遠隔指示判定部34は、外部環境認識部32で認識された停車車両X1、及び進路生成部40の生成した進路に基づいて、自動運転車両2が停車車両X1を追い抜く状況であること(遠隔指示対象状況であること)を認識する。
(工程G2)
自動運転ECU20は、予め定められた停止位置に自動運転車両2を停止させる。ここでは、例えば、自動運転ECU20は、停車車両X1から予め定められた距離手前の位置に自動運転車両2を停止させる。
(工程G3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程G4)
上述したように、停車車両X1を遠隔指示装置1が追い抜く場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、対向車線を直進してくる車両と(片側1車線の道路の場合)、自動運転車両2の後方から2及び停車車両を追い抜こうとする車両との両方の不存在を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有する複数のセンサのうち、自動運転車両2の前方を検出するセンサと後方を検出するセンサとを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定する。すなわち、送信情報限定部35は、外部環境(認識された停車車両X1)と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
なお、ここでは、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
ここで、工程G4において、送信情報限定部35は、更に外部環境認識部32の認識結果に基づいて限定情報範囲の設定を行ってもよい。具体的には、例えば、自動運転車両2の後続車両(自動運転車両2の後方の他車両)の有無に基づいて限定情報範囲の設定を行ってもよい。ここでは、例えば、自動運転車両2の後方に後続車両が存在する場合、外部センサ22によって自動運転車両2の後方を検出したときに後続車両によって遮蔽される領域が生じる。これにより、後方から自動運転車両2の右側を通って自動運転車両2を追い越そうとする後方並進直進車両(自動運転車両2の走行車線の右隣の隣接車線を走行する車両)の認識精度が低下する。このような場合、自動運転車両2は、遠隔コマンダRによる遠隔指示に基づいて走行することがよい。しかしながら、自動運転車両2の後方に後続車両が存在しない場合、自動運転車両2は自動運転によって自動で後方並進直進車両を確認して停車車両X1を追い越すことができる。このため、一例として、送信情報限定部35は、外部環境認識部32によって自動運転車両2の後方に後続車両が認識されていないときには、外部センサ22が有する複数のセンサのうち、後方を検出領域とするセンサ検出情報を限定情報範囲に含めず、前方を検出領域とするセンサの検出情報のみを限定情報範囲内の検出情報として設定してもよい。
(工程G5)
遠隔コマンダRは、自動運転車両2から受信した走行状況情報に含まれる限定情報範囲内の検出情報を確認し、必要情報等の所望の情報が含まれていない場合、自動運転車両2に対して自動運転車両2の位置姿勢の変更指示及び外部センサ22の検出領域の変更指示の少なくともいずれかを行う。
ここでは、一例として、遠隔コマンダRは、遠隔指示を行う際に、自動運転車両2の前方の対向車線(自動運転車両2の走行車線の右隣の隣接車線)の状況を確認する必要がある。このため、このような状況における必要情報として、対向車線が予め設定されている。図4(a)に示される例において、遠隔コマンダRは、例えば、自動運転車両2の前方を検出するセンサの検出領域の大部分が停車車両X1によって遮蔽されており、対向車線の確認が困難である等の場合に、自動運転車両2の位置姿勢の変更指示等を行ってもよい。
なお、遠隔指示装置1のコマンダインターフェース3を介して、必要情報が限定情報範囲内の検出情報に含まれていない旨の報知が行われている場合、遠隔コマンダRは、この報知に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。また、遠隔指示装置1のコマンダインターフェース3を介して、自動運転車両2の位置姿勢の変更又は外部センサ22の検出領域の変更の提案が行われている場合、遠隔コマンダRは、この提案に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。なお、遠隔コマンダRは、報知及び提案がされていない場合、走行状況情報の確認結果に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。
(工程G6)
遠隔コマンダRによって自動運転車両2の位置姿勢の変更指示が行われると、自動運転制御部41は、位置姿勢の変更指示に基づいて自動運転車両2の位置姿勢を変更する。ここでは、例えば、遠隔コマンダRは、図4(b)に示されるように、対向車線を直進してくる車両が停車車両X1によって遮蔽されずに検出できるように、自動運転車両2をその場から前進させつつ右方向に操舵させて停止させる。
また、遠隔コマンダRによって外部センサ22の検出領域の変更指示が行われると、センサ画角変更部38は、検出領域の変更指示に基づいて外部センサ22の検出領域を変更する。ここでは、例えば、遠隔コマンダRは、図4(c)に示されるように、対向車線を直進してくる車両が停車車両X1によって遮蔽されずにできるだけ検出できるように、自動運転車両2の前方を検出領域とするセンサの位置を自動運転車両2の右側面の位置へ並進させる。これにより、自動運転車両2の前方を検出するセンサによって、対向車線を直進してくる車両を検出し易くなる。
(工程G7)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。
(工程G8)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、停車車両X1の追い越しを開始する。
(工事区間の回避のために車線変更)
一例として、図7に示されるように、自動運転車両2の走行車線に工事区間Kが存在し、工事区間Kを避けるために対向車線へ車線変更する場合について説明する。
(工程H1)
外部環境認識部32は、自動運転車両2の位置情報、地図データベース24の地図情報、及び進路生成部40の生成した進路に基づいて、工事区間Kの開始地点に到達したこと(遠隔指示対象状況であること)を認識する。ここでは、一例として、地図情報に工事区間Kの位置情報が含まれているとする。
(工程H2)
自動運転ECU20は、予め定められた停止位置に自動運転車両2を停止させる。ここでは、例えば、自動運転ECU20は、工事区間Kの手前に設けられた停止線の位置に自動運転車両2を停止させる。
(工程H3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程H4)
工事区間Kを避けるために対向車線へ車線変更する場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、対向車線を直進してくる車両の不存在を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有する複数のセンサのうち、自動運転車両2の前方を検出するセンサを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定する。すなわち、送信情報限定部35は、地図情報(工事区間K)と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
なお、ここでは、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
ここで、外部環境認識部32によって交通誘導員Pが認識されている場合、工程H4において送信情報限定部35は、外部センサ22が有する複数のセンサのうち、交通誘導員Pを検出領域に含むセンサを選択する。ここでは、送信情報限定部35は、センサとしてカメラを選択する。そして、送信情報限定部35は、選択したカメラの撮像画像(検出情報)のうち、交通誘導員Pを含む部分を抽出し、抽出した抽出画像A1を限定情報範囲内の検出情報として設定してもよい。すなわち、送信情報限定部35は、外部環境(認識された交通誘導員P)と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
(工程H5)
遠隔コマンダRは、自動運転車両2から受信した走行状況情報に含まれる限定情報範囲内の検出情報を確認し、必要情報等の所望の情報が含まれていない場合、自動運転車両2に対して自動運転車両2の位置姿勢の変更指示及び外部センサ22の検出領域の変更指示の少なくともいずれかを行う。
ここでは、一例として、遠隔コマンダRは、遠隔指示を行う際に、自動運転車両2の前方の対向車線(自動運転車両2の走行車線の右隣の隣接車線)の状況を確認する必要がある。このため、このような状況における必要情報として、対向車線が予め設定されている。図7に示される例において、遠隔コマンダRは、例えば、自動運転車両2の前方を検出するセンサによって対向車線を検出できない(検出できない部分が多い)等の場合に、自動運転車両2の位置姿勢の変更指示等を行ってもよい。遠隔コマンダRは、カメラの撮像画像に交通誘導員Pが含まれていない又は一部しか含まれていない等の場合に、自動運転車両2の位置姿勢の変更指示等を行ってもよい。
なお、遠隔指示装置1のコマンダインターフェース3を介して、必要情報が限定情報範囲内の検出情報に含まれていない旨の報知が行われている場合、遠隔コマンダRは、この報知に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。また、遠隔指示装置1のコマンダインターフェース3を介して、自動運転車両2の位置姿勢の変更又は外部センサ22の検出領域の変更の提案が行われている場合、遠隔コマンダRは、この提案に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。なお、遠隔コマンダRは、報知及び提案がされていない場合、走行状況情報の確認結果に基づいて自動運転車両2の位置姿勢の変更指示等を行ってもよい。
(工程H6)
遠隔コマンダRによって自動運転車両2の位置姿勢の変更指示が行われると、自動運転制御部41は、位置姿勢の変更指示に基づいて自動運転車両2の位置姿勢を変更する。また、遠隔コマンダRによって外部センサ22の検出領域の変更指示が行われると、センサ画角変更部38は、検出領域の変更指示に基づいて外部センサ22の検出領域を変更する。
(工程H7)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。遠隔コマンダRは、自動運転車両2から交通誘導員Pの撮像画像が送信されている場合、交通誘導員Pの誘導動作を確認して遠隔指示を行うことができる。
(工程H8)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、工事区間Kを避けるために対向車線への車線変更を開始する。
(落下物が存在する場合)
一例として、図15に示されるように、自動運転車両2の前方の走行車線上に落下物D(障害物)が存在する場合について説明する。
(工程J1)
外部環境認識部32は、自動運転車両2の走行車線上の落下物Dを認識する。遠隔指示判定部34は、外部環境認識部32で認識された落下物D、及び進路生成部40の生成した進路に基づいて、自動運転車両2が落下物Dを踏み越える又は車線変更して回避する状況であること(遠隔指示対象状況であること)を認識する。
(工程J2)
自動運転ECU20は、予め定められた停止位置に自動運転車両2を停止させる。ここでは、例えば、自動運転ECU20は、落下物Dから予め定められた距離手前の位置に自動運転車両2を停止させる。
(工程J3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程J4)
落下物Dが存在する場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、自動運転車両2が落下物Dを踏み越え可能であるか等を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有する複数のセンサのうち、自動運転車両2の前方を検出するセンサを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定する。すなわち、送信情報限定部35は、外部環境(認識された落下物D)と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
ここでは、落下物Dが静止物であるため、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ又はライダーを選択対象のセンサとしてもよい。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
なお、送信情報限定部35は、選択したカメラの撮像画像のうち、落下物Dを含む部分を抽出し、抽出した抽出画像A2を限定情報範囲内の検出情報として設定してもよい。
(工程J5)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。ここでは、例えば、遠隔コマンダRは、自動運転車両2が落下物Dを踏み越え可能であるか否かを判断する。そして、遠隔コマンダRは、例えば、落下物Dを踏み越える遠隔指示、又は車線変更を行って落下物Dを回避する遠隔指示を行ってもよい。
(工程J6)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、落下物Dを踏み越える又は車線変更を開始する。
(横断歩道を通過する場合)
一例として、図16に示されるように、自動運転車両2が横断歩道を通過する場合について説明する。
(工程K1)
遠隔指示判定部34は、上記工程A1と同様に、自動運転車両2が横断歩道に到達したこと(遠隔指示対象状況であること)を認識する。
(工程K2)
自動運転ECU20は、上記工程A2と同様に、予め定められた停止位置に自動運転車両2を停止させる。
(工程K3)
遠隔指示判定部34は、遠隔コマンダRによる遠隔指示を要求する。
(工程K4)
横断歩道を通過する場合、遠隔コマンダRは、一例として、遠隔指示を行う際に、道路の両脇から横断歩道に入り込む歩行者等(横断歩道を渡る歩行者等)の不存在を確認する必要がある。このため、一例として、送信情報限定部35は、外部センサ22が有するセンサのうち、自動運転車両2の右前方を検出領域に含むセンサと左前方を検出領域に含むセンサとを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定する。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。
なお、ここでは、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。そして、走行状況情報送信部39は、情報の範囲が限定情報範囲に設定された検出情報を含む自動運転車両2の走行状況情報を、遠隔指示サーバ10に送信する。
(工程K5)
遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、遠隔指示を行う。
(工程K6)
自動運転制御部41は、遠隔コマンダRからの遠隔指示を受信すると、自動運転車両2を発進させ、横断歩道の通過を開始する。
以下、上述した遠隔指示対象状況以外の遠隔指示対象状況が発生した場合に、送信情報限定部35が行う限定情報範囲の設定の具体例について説明する。
例えば、自動運転車両2が左側の隣接車線に車線変更を行う場合について説明する。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の前方を検出領域に含むセンサと左後方を検出領域に含むセンサとを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。例えば、自動運転車両2が右側の隣接車線に車線変更を行う場合について説明する。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の前方を検出領域に含むセンサと右後方を検出領域に含むセンサとを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。
すなわち、自動運転車両2が左側又は右側に車線変更を行う場合、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、自動運転車両2が左側又は右側に車線変更を行う場合、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。
例えば、自動運転車両2が踏切へ進入する場合について説明する。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の前方を検出領域に含むセンサを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。この場合、例えば、踏切を渡った先に自動運転車両2が入り込めるスペースがあるか否かを外部環境認識部32で認識することが困難な場合であっても、遠隔コマンダRによる遠隔操作に基づいて走行できる。
例えば、信号機が設置されていない横断歩道で停止後に発進する場合について説明する。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の前方を検出領域に含むセンサを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。この場合、遠隔コマンダRは、自動運転車両2から送信された走行状況情報に基づいて、横断歩道上の歩行者の不存在を確認し、遠隔指示(発進の指示)を行うことができる。
例えば、自動運転車両2の走行車線に直交する車線の手前で一旦停止後に再発進する場合について説明する。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の前側方を検出領域に含むセンサとを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。この場合、遠隔コマンダRは、自動運転車両2の走行車線に直交する車線の移動障害物を確認し、遠隔指示(発進の指示)を行うことができる。
例えば、高速道路の料金所を通過する場合について説明する。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の前方を検出領域に含むセンサを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、送信情報限定部35は、ETCゲートの表示を遠隔コマンダRが確認可能なように、外部センサ22が有するカメラを選択対象とすることができる。
例えば、高速道路上において車線が分流する場合について説明する。自動運転車両2が左側に分流する場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の左前方を検出領域に含むセンサと後方を検出領域に含むセンサとを選択する。また、自動運転車両2が右側に分流する場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の右前方を検出領域に含むセンサと後方を検出領域に含むセンサとを選択する。送信情報限定部35は、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。
例えば、高速道路上において自動運転車両2が隣接車線に合流する場合について説明する。自動運転車両2が左側の隣接車線に合流する場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の左前方を検出領域に含むセンサと左後方を検出領域に含むセンサとを選択する。また、自動運転車両2が右側の隣接車線に合流する場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の右前方を検出領域に含むセンサと右後方を検出領域に含むセンサとを選択する。送信情報限定部35は、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。
例えば、高速道路上において自動運転車両2の走行車線に対して合流する車線がある場合について説明する。自動運転車両2の走行車線に対して左側から合流する車線がある場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の左前方を検出領域に含むセンサと左後方を検出領域に含むセンサとを選択する。また、自動運転車両2の走行車線に対して右側から合流する車線がある場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の右前方を検出領域に含むセンサと右後方を検出領域に含むセンサとを選択する。送信情報限定部35は、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。すなわち、送信情報限定部35は、地図情報と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。
例えば、目的地に到着し、路面に設けられた停車枠に停車する場合について説明する。また、ここでは、図17に示されるように、駐車枠Z上に停車車両X1(障害物)が存在し、自動運転車両2が駐車枠Z内に自動で停車できない状況(遠隔指示対象状況)であるために、遠隔指示の要求が行われる。自動運転車両2は、駐車枠Zの手前で停車し、遠隔指示を要求する。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、駐車枠Zが検出領域に含まれるように、自動運転車両2の前方を検出領域に含むセンサを選択し、選択したセンサによって検出された検出情報のみを、限定情報範囲内の検出情報として設定することができる。すなわち、送信情報限定部35は、地図情報(駐車枠Z(目的地)の位置)と進路とに基づいて、外部センサ22によって検出された検出情報のうち遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することができる。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダーのいずれの種類のセンサを選択対象としてもよい。また、送信情報限定部35は、路面に付された駐車枠Zを確認できるように、外部センサ22が有するセンサのうちカメラを選択対象としてもよい。ここでは、遠隔コマンダRは、自動運転車両2から送信された走行状況情報を確認し、例えば駐車枠Z内に自動運転車両2を停車させる遠隔指示、又は、例えばその場で乗客を降ろす(到着とみなす)遠隔指示等を行うことができる。
例えば、目的地とする建物付近に到着し、道路から建物へ進入する場合について説明する。この場合、送信情報限定部35は、限定情報範囲を設定する方法として、道路から建物へ進入する向きに応じて、交差点を左折する場合又は右折する場合と同様の方法を採用することができる。
例えば、目的地に到着して乗員の乗降が終了した後、自動運転車両2が発進する場合について説明する。また、ここでは、図18に示されるように、駐車枠Z内に自動運転車両2が停止している状態から発進する状況(遠隔指示対象状況)であるとする。例えば、自動運転車両2が発進する際に自動運転車両2の周囲の状況を認識する必要があるものの、自動運転車両2の周囲の認識の精度が低い場合があり、自動運転車両2が自動で発進することが困難な場合がある。このため、自動運転車両2は、発進する場合に遠隔指示を要求してもよい。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の全周の検出情報が得られるようにセンサを選択し、選択したセンサによって検出された検出情報を、限定情報範囲内の検出情報として設定することができる。ここでは、送信情報限定部35は、自動運転車両2から近い範囲(予め定められた範囲内)の検出情報のみを抽出し、抽出した検出情報を限定情報範囲内の検出情報として設定してもよい。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダー、ソナーセンサのいずれの種類のセンサを選択対象としてもよい。また、送信情報限定部35は、自動運転車両2の周囲を複数台のカメラによって撮像し、撮像された撮像画像をつなぎ合わせることによって自動運転車両2の全周を1つの画像で表示するためのカメラシステムを選択対象としてよい。
例えば、目的地に到着して乗員を乗降させる場合について説明する。例えば、自動運転車両2に対して乗員が乗降する際に自動運転車両2のドア前の状況を認識する必要があるものの、ドア前の認識の精度が低い場合があり、自動運転車両2が自動でドアを開閉して乗員を乗降させることが困難な場合がある。このため、自動運転車両2は、乗員を乗降させる状況(遠隔指示対象状況)の場合に遠隔指示を要求してもよい。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2のドア前の検出情報が得られるようにセンサを選択し、選択したセンサによって検出された検出情報を、限定情報範囲内の検出情報として設定することができる。ここでは、送信情報限定部35は、自動運転車両2から近い範囲(予め定められた範囲内)の検出情報のみを抽出し、抽出した検出情報を限定情報範囲内の検出情報として設定してもよい。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダー、ソナーセンサのいずれの種類のセンサを選択対象としてもよい。
例えば、停車している状態から自動運転車両2を後退させる場合について説明する。例えば、自動運転車両2を後退させる際に自動運転車両2の後方の状況を認識する必要があるものの、自動運転車両2の後方の近い領域の認識の精度が低い場合があり、自動運転車両2が自動で後退することが困難な場合がある。このため、自動運転車両2は、後退する状況(遠隔指示対象状況)の場合に遠隔指示を要求してもよい。この場合、送信情報限定部35は、一例として、外部センサ22が有するセンサのうち、自動運転車両2の後方の検出情報が得られるようにセンサを選択し、選択したセンサによって検出された検出情報を、限定情報範囲内の検出情報として設定することができる。ここでは、送信情報限定部35は、自動運転車両2から近い範囲(予め定められた範囲内)の検出情報のみを抽出し、抽出した検出情報を限定情報範囲内の検出情報として設定してもよい。なお、送信情報限定部35は、外部センサ22が有するセンサの一例として挙げたカメラ、レーダ、ライダー、ソナーセンサのいずれの種類のセンサを選択対象としてもよい。
以上のように、車両遠隔指示システム100では、送信情報限定部35が遠隔コマンダRに送信する情報の範囲を限定情報範囲に設定することで、外部センサ22によって検出された検出情報のうち、自動運転車両2の外部状況と進路とに応じた検出情報(必要な検出情報)のみを遠隔コマンダRに送信できる。これにより、車両遠隔指示システム100は、遠隔コマンダRによる遠隔指示を適切に実行可能としつつ、自動運転車両2から遠隔コマンダR(遠隔指示サーバ10)に送信される検出情報のデータ容量を低減できる。
送信情報限定部35は、外部状況と進路とに基づいて、外部センサ22が有する複数のセンサのうち遠隔コマンダRに検出情報を送信するセンサを決定し、決定したセンサで検出された検出情報を限定情報範囲内の検出情報として設定することができる。この場合、車両遠隔指示システム100は、外部センサ22として複数のセンサを有している場合であっても、外部状況に応じて検出情報を送信すべきセンサを決定し、決定したセンサで検出された検出情報を限定情報範囲内の検出情報として設定することで、遠隔コマンダRに送信する検出情報のデータ容量を低減できる。
送信情報限定部35は、外部状況と進路とに基づいて、外部センサ22によって検出された検出情報の中で遠隔コマンダRに送信する部分を抽出し、抽出した部分の検出情報を限定情報範囲内の検出情報として設定することができる。この場合、車両遠隔指示システム100は、外部センサ22の検出情報の中から送信すべき部を抽出し、抽出した部分を限定情報範囲内の検出情報として設定することで、遠隔コマンダRに送信する検出情報のデータ容量を低減できる。
車両遠隔指示システム100において、報知提案部37は、必要情報が限定情報範囲内の検出情報に含まれていない場合、遠隔コマンダRに報知する、或いは、自動運転車両2の位置姿勢の変更又は外部センサ22の検出領域の変更を提案することができる。この場合、車両遠隔指示システム100は、必要情報が限定情報範囲内に含まれていないことを遠隔コマンダRに報知できる、或いは、必要情報が限定情報範囲内に含まれておらず自動運転車両2の位置姿勢の変更又は外部センサ22の検出領域の変更が必要なことを遠隔コマンダRに提案できる。これにより、遠隔コマンダRは、車両遠隔指示システム100からの報知或いは提案に基づいた対応を行うことができる。
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。例えば、情報有無判定部36が限定情報範囲内の必要情報の有無を判定し、報知提案部37が報知等を行うことは必須ではない。
なお、遠隔指示装置1は、車両に搭載されていてもよい。この場合、遠隔コマンダRも車両に乗車している。遠隔指示サーバ10は、複数台の車両のECUから構成されたクラウドサーバであってもよい。
2…自動運転車両、22…外部センサ、35…送信情報限定部、36…情報有無判定部、37…報知提案部、100…車両遠隔指示システム、R…遠隔コマンダ。

Claims (15)

  1. 車両の前方を撮像する前方カメラ、前記前方カメラの撮像領域よりも右方の領域を撮像領域に含む右方カメラ、前記前方カメラの撮像領域よりも左方の領域を撮像領域に含む左方カメラ、及び前記車両の後方を撮像する後方カメラを含むカメラの撮像画像に基づいて外部環境を認識し、遠隔コマンダから提供される前記車両の走行に関する遠隔指示により前記車両の走行を制御する車両制御装置であって、
    前記車両の走行経路上に障害物が存在する場合、前記カメラによって撮像された撮像画像のうち、前記前方カメラの撮像画像を前記遠隔コマンダに送信する送信部を備える、車両制御装置。
  2. 前記送信部は、前記右方カメラ、前記左方カメラ、及び前記後方カメラの少なくとも1つの撮像画像を前記遠隔コマンダに送信しない、請求項1に記載の車両制御装置。
  3. 前記遠隔コマンダから、前記障害物を踏み越える前記遠隔指示、または、前記障害物を回避する走行経路を受信した場合、前記車両を発進させる、請求項1又は2に記載の車両制御装置。
  4. 前記車両が走行しながら、遠隔制御者に前記車両の走行に関する情報提供又は遠隔運転を要求する、請求項1~3のいずれか一項に記載の車両制御装置。
  5. 前記遠隔指示の要求後、所定時間以内に応答がない場合、他の操作者に前記車両の制御を要求する、請求項4に記載の車両制御装置。
  6. 車両の前方を撮像する前方カメラ、前記前方カメラの撮像領域よりも右方の領域を撮像領域に含む右方カメラ、前記前方カメラの撮像領域よりも左方の領域を撮像領域に含む左方カメラ、及び前記車両の後方を撮像する後方カメラを含むカメラの撮像画像に基づいて外部環境を認識し、遠隔コマンダから提供される前記車両の走行に関する遠隔指示により前記車両の走行を制御する車両制御装置で行われる車両制御方法であって、
    前記車両の走行経路上に障害物が存在する場合、前記カメラによって撮像された撮像画像のうち、前記前方カメラの撮像画像を前記遠隔コマンダに送信する送信ステップを含む、車両制御方法。
  7. 前記送信ステップでは、前記右方カメラ、前記左方カメラ、及び前記後方カメラの少なくとも1つの撮像画像を前記遠隔コマンダに送信しない、請求項6に記載の車両制御方法。
  8. 前記遠隔コマンダから、前記障害物を踏み越える前記遠隔指示、または、前記障害物を回避する走行経路を受信した場合、前記車両を発進させる発進ステップを含む、請求項6又は7に記載の車両制御方法。
  9. 前記車両が走行しながら、遠隔制御者に前記車両の走行に関する情報提供又は遠隔運転を要求する第1要求ステップを含む、請求項6~8のいずれか一項に記載の車両制御方法。
  10. 前記遠隔指示の要求後、所定時間以内に応答がない場合、他の操作者に前記車両の制御を要求する第2要求ステップを含む、請求項9に記載の車両制御方法。
  11. 車両の前方を撮像する前方カメラ、前記前方カメラの撮像領域よりも右方の領域を撮像領域に含む右方カメラ、前記前方カメラの撮像領域よりも左方の領域を撮像領域に含む左方カメラ、及び前記車両の後方を撮像する後方カメラを含むカメラの撮像画像に基づいて外部環境を認識し、遠隔コマンダから提供される前記車両の走行に関する遠隔指示により前記車両の走行を制御する車両制御装置のECUを動作させる車両制御プログラムであって、
    前記車両の走行経路上に障害物が存在する場合、前記カメラによって撮像された撮像画像のうち、前記前方カメラの撮像画像を前記遠隔コマンダに送信する送信部として前記ECUを動作させる、車両制御プログラム。
  12. 前記送信部において、前記右方カメラ、前記左方カメラ、及び前記後方カメラの少なくとも1つの撮像画像を前記遠隔コマンダに送信しないように前記ECUを動作させる、請求項11に記載の車両制御プログラム。
  13. 前記遠隔コマンダから、前記障害物を踏み越える前記遠隔指示、または、前記障害物を回避する走行経路を受信した場合、前記車両を発進させるように前記ECUを動作させる、請求項11又は12に記載の車両制御プログラム。
  14. 前記車両が走行しながら、遠隔制御者に前記車両の走行に関する情報提供又は遠隔運転を要求するように前記ECUを動作させる、請求項11~13のいずれか一項に記載の車両制御プログラム。
  15. 前記遠隔指示の要求後、所定時間以内に応答がない場合、他の操作者に前記車両の制御を要求するように前記ECUを動作させる、請求項14に記載の車両制御プログラム。
JP2023073549A 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム Pending JP2023101499A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023073549A JP2023101499A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019163066A JP7276023B2 (ja) 2019-09-06 2019-09-06 車両遠隔指示システム、及び自動運転車両
JP2023073549A JP2023101499A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019163066A Division JP7276023B2 (ja) 2019-09-06 2019-09-06 車両遠隔指示システム、及び自動運転車両

Publications (1)

Publication Number Publication Date
JP2023101499A true JP2023101499A (ja) 2023-07-21

Family

ID=72266115

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2019163066A Active JP7276023B2 (ja) 2019-09-06 2019-09-06 車両遠隔指示システム、及び自動運転車両
JP2023073544A Pending JP2023101498A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム
JP2023073549A Pending JP2023101499A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム
JP2023073538A Pending JP2023101497A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム
JP2023073532A Pending JP2023101496A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019163066A Active JP7276023B2 (ja) 2019-09-06 2019-09-06 車両遠隔指示システム、及び自動運転車両
JP2023073544A Pending JP2023101498A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023073538A Pending JP2023101497A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム
JP2023073532A Pending JP2023101496A (ja) 2019-09-06 2023-04-27 車両制御装置、車両制御方法、車両制御プログラム

Country Status (4)

Country Link
US (5) US11703852B2 (ja)
EP (2) EP3789840B1 (ja)
JP (5) JP7276023B2 (ja)
CN (1) CN112466140B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11812197B2 (en) * 2018-08-09 2023-11-07 Sony Corporation Information processing device, information processing method, and moving body
JP7182113B2 (ja) * 2018-10-09 2022-12-02 パナソニックIpマネジメント株式会社 車両および停止スイッチ装置
JP7268613B2 (ja) * 2020-01-20 2023-05-08 トヨタ自動車株式会社 運転支援装置
US11767031B2 (en) * 2021-04-29 2023-09-26 Tusimple, Inc. Oversight system to autonomous vehicle communications
US11767032B2 (en) 2021-04-29 2023-09-26 Tusimple, Inc. Direct autonomous vehicle to autonomous vehicle communications
US20220348223A1 (en) * 2021-04-29 2022-11-03 Tusimple, Inc. Autonomous vehicle to oversight system communications
JP2023158952A (ja) * 2022-04-19 2023-10-31 Boldly株式会社 運行管理装置、運行管理装置の制御方法、及び運行管理装置の制御プログラム
WO2024018427A1 (en) * 2022-07-20 2024-01-25 Thales Canada Inc. High integrity path extraction in rail using autonomy sensors
CN116994445B (zh) * 2023-09-26 2023-12-12 四川遂广遂西高速公路有限责任公司 一种多源融合车道人车安全警示方法及其警示系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453683B2 (ja) 2006-06-16 2010-04-21 トヨタ自動車株式会社 遠隔操作装置
JP5473304B2 (ja) * 2008-12-02 2014-04-16 三菱電機株式会社 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
JP6152673B2 (ja) 2013-03-21 2017-06-28 トヨタ自動車株式会社 車線変更支援装置
US20150153184A1 (en) * 2013-12-04 2015-06-04 GM Global Technology Operations LLC System and method for dynamically focusing vehicle sensors
US9465388B1 (en) 2014-03-03 2016-10-11 Google Inc. Remote assistance for an autonomous vehicle in low confidence situations
JP6222137B2 (ja) 2015-03-02 2017-11-01 トヨタ自動車株式会社 車両制御装置
JP6650242B2 (ja) * 2015-10-16 2020-02-19 日立オートモティブシステムズ株式会社 自動運転システム、自動運転制御方法、データecuおよび自動運転ecu
US20180012197A1 (en) * 2016-07-07 2018-01-11 NextEv USA, Inc. Battery exchange licensing program based on state of charge of battery pack
KR101891599B1 (ko) * 2016-09-30 2018-08-24 엘지전자 주식회사 자율 주행 차량의 제어방법과 서버
JP6677817B2 (ja) * 2016-11-11 2020-04-08 本田技研工業株式会社 遠隔操作システム、交通システム、および遠隔操作方法
US10338591B2 (en) * 2016-11-22 2019-07-02 Amazon Technologies, Inc. Methods for autonomously navigating across uncontrolled and controlled intersections
JP6986518B2 (ja) 2016-12-19 2021-12-22 フォルシアクラリオン・エレクトロニクス株式会社 端末、及び端末の制御方法
JPWO2018155159A1 (ja) * 2017-02-24 2019-12-19 パナソニックIpマネジメント株式会社 遠隔映像出力システム、及び遠隔映像出力装置
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
JP2018180771A (ja) 2017-04-07 2018-11-15 トヨタ自動車株式会社 遠隔操作装置
JP6835219B2 (ja) * 2017-06-23 2021-02-24 日産自動車株式会社 駐車制御方法及び駐車制御装置
US11216007B2 (en) * 2018-07-16 2022-01-04 Phantom Auto Inc. Normalization of intelligent transport system handling characteristics
US11364932B2 (en) * 2019-06-25 2022-06-21 Lg Electronics Inc. Method for transmitting sensing information for remote driving in automated vehicle and highway system and apparatus therefor
KR20210060690A (ko) * 2019-11-18 2021-05-27 현대자동차주식회사 차량 및 그 후방 영상 제공 방법

Also Published As

Publication number Publication date
JP7276023B2 (ja) 2023-05-18
US20230297101A1 (en) 2023-09-21
US20210072743A1 (en) 2021-03-11
US20230324902A1 (en) 2023-10-12
JP2023101497A (ja) 2023-07-21
JP2021043523A (ja) 2021-03-18
US11703852B2 (en) 2023-07-18
EP4235334A2 (en) 2023-08-30
CN112466140A (zh) 2021-03-09
JP2023101496A (ja) 2023-07-21
EP3789840B1 (en) 2023-07-26
US20230297103A1 (en) 2023-09-21
EP4235334A3 (en) 2023-10-18
JP2023101498A (ja) 2023-07-21
US20230297102A1 (en) 2023-09-21
EP3789840A1 (en) 2021-03-10
CN112466140B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
JP7276023B2 (ja) 車両遠隔指示システム、及び自動運転車両
JP7234872B2 (ja) 車両遠隔指示システム
KR102367662B1 (ko) 차량 원격 지시 시스템 및 원격 지시 장치
JP6729220B2 (ja) 車両用運転支援装置
JP7156217B2 (ja) 車両遠隔指示システム
JP7140037B2 (ja) 車両遠隔指示システム
US11716160B2 (en) Vehicle remote instruction system
JP7310524B2 (ja) 遠隔自動運転車両、及び車両遠隔指示システム
JP7243524B2 (ja) 自動運転システム
JP7238670B2 (ja) 画像表示装置
JP7327344B2 (ja) 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法
JP2021022033A (ja) 車両遠隔指示システム
JP2021094938A (ja) 車両用表示装置及び駐車支援システム
JP2021018636A (ja) 車両遠隔指示システム
JP2021094936A (ja) 駐車支援システム
JP2022174921A (ja) 車両遠隔指示システム
JP2022188453A (ja) 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム
JP2022143691A (ja) 遠隔機能選択装置
JP2023167861A (ja) 車両の運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240422