CN115454036A - 远程操作委托系统、远程操作委托方法以及存储介质 - Google Patents

远程操作委托系统、远程操作委托方法以及存储介质 Download PDF

Info

Publication number
CN115454036A
CN115454036A CN202210611842.5A CN202210611842A CN115454036A CN 115454036 A CN115454036 A CN 115454036A CN 202210611842 A CN202210611842 A CN 202210611842A CN 115454036 A CN115454036 A CN 115454036A
Authority
CN
China
Prior art keywords
remote
driving
vehicle
autonomous
remote operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210611842.5A
Other languages
English (en)
Inventor
浦野博充
大泷翔
铃木隆史
高岛亨
郑好政
小林宏充
丹羽悟
赤冢康佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN115454036A publication Critical patent/CN115454036A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/227Handing over between remote control and on-board control; Handing over between remote control arrangements
    • G05D1/2279Handing over between remote control and on-board control; Handing over between remote control arrangements involving allocation of control between two or more remote operators, e.g. tele-assistance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007Emergency override
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2247Optic providing the operator with simple or augmented images from one or more cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622Obstacle avoidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/20Specific applications of the controlled vehicles for transportation
    • G05D2105/22Specific applications of the controlled vehicles for transportation of humans
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/10Outdoor regulated spaces
    • G05D2107/13Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Selective Calling Equipment (AREA)
  • Operations Research (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及远程操作委托系统、远程操作委托方法以及存储介质。远程操作委托方法包括:在自动驾驶车辆难以继续进行自动驾驶的情况下或者在预测自动驾驶车辆会难以继续进行自动驾驶的情况下,计算机向远程操作者委托所述自动驾驶车辆的远程操作;在能通过接受远程支持而继续进行所述自动驾驶的自动驾驶区域内委托由所述远程操作者进行用于所述自动驾驶的判断中的至少一部分的所述远程支持;以及在所述自动驾驶区域外委托由所述远程操作者进行所述自动驾驶车辆的转向操作和加减速操作中的至少一方的远程驾驶。

Description

远程操作委托系统、远程操作委托方法以及存储介质
技术领域
本发明涉及远程操作委托系统、远程操作委托方法以及非暂时性存储介质。
背景技术
在日本特开2018-077649中公开了一种涉及自动驾驶车辆的远程操作的技术。根据该技术,在自动驾驶变得困难的情况下,在车辆与远程操作管理设备之间进行通信,由远程操作者对车辆进行远程驾驶。
但是,在自动驾驶变得困难的情况下,不一定需要向远程驾驶的切换。有时能通过消除困难的原因来继续进行自动驾驶。此外,能应对远程驾驶的远程操作者的数量有限。因此,若每次在自动驾驶变得困难时总是请求远程驾驶,则会给远程操作者带来较大的负担。
发明内容
本公开提供一种能在自动驾驶车辆的自动驾驶变得困难的情况下,继续进行自动驾驶车辆的运行,并且减轻远程操作者的负担的技术。
本公开的第一方案是一种远程操作委托系统,该远程操作委托系统包括远程操作委托装置。所述远程操作委托装置具备:存储器,存储有程序;以及处理器,与存储器耦合。所述处理器被配置为:在自动驾驶车辆难以继续进行自动驾驶的情况下,或者在预测自动驾驶车辆会难以继续进行自动驾驶的情况下,向远程操作者委托所述自动驾驶车辆的远程操作。远程操作具有:远程支持,由远程操作者进行用于自动驾驶的判断中的至少一部分;以及远程驾驶,由远程操作者进行自动驾驶车辆的转向操作和加减速操作中的至少一方。处理器被配置为:在程序的执行时,在能通过接受远程支持而继续进行自动驾驶的自动驾驶区域内委托远程支持;以及在自动驾驶区域外委托远程驾驶。
在所述第一方案中,也可以是,处理器被配置为:在自动驾驶区域内并且在能进行远程驾驶的远程驾驶区域内,委托远程支持而不委托远程驾驶。就是说,处理器也可以被配置为:在既能进行远程支持也能进行远程驾驶的区域中,使远程支持比远程驾驶优先。
在所述第一方案中,也可以是,处理器被配置为:基于至少生成到前方规定时间或前方规定距离的路径来判断自动驾驶车辆继续进行所述自动驾驶到前方规定时间或前方规定距离是否困难。
在所述第一方案中,也可以是,自动驾驶区域具有预先设定的区域。
在所述第一方案中,也可以是,自动驾驶区域具有随时间而变化的区域。
在所述第一方案中,也可以是,处理器被配置为:基于由自动驾驶车辆获取的外部信息和内部信息来执行自动驾驶区域的内外判定。
在所述第一方案中,也可以是,处理器被配置为:在自动驾驶区域外并且在能进行远程驾驶的远程驾驶区域内委托远程驾驶;以及在自动驾驶区域外并且在远程驾驶区域外,使自动驾驶车辆停止或者变更自动驾驶车辆的轨道。
在所述第一方案中,也可以是,远程驾驶区域具有预先设定的区域。
在所述第一方案中,也可以是,远程驾驶区域具有随时间而变化的区域。
在所述第一方案中,也可以是,处理器被配置为:基于由自动驾驶车辆获取的外部信息和内部信息来执行远程驾驶区域的内外判定。
在所述第一方案中,也可以是,远程操作委托系统具备:服务器,被配置为通过通信网络与远程操作委托装置连接。远程操作委托装置也可以被配置为:通过与服务器的协作,在能通过接受远程支持而继续进行自动驾驶的自动驾驶区域内委托远程支持;以及通过与服务器的协作,在自动驾驶区域外委托远程驾驶。
在所述第一方案中,也可以是,远程操作委托装置被配置为:在自动驾驶车辆难以继续进行自动驾驶的情况下,或者在预测自动驾驶车辆会难以继续进行自动驾驶的情况下,将自动驾驶车辆所具有的、用于自动驾驶区域的内外判定的第一信息发送至服务器。服务器也可以被配置为:基于从远程操作委托装置发送的用于自动驾驶区域的内外判定的第一信息和通过服务器获取的影响自动驾驶的第二信息,来执行自动驾驶区域的内外判定;以及决定是委托远程支持还是委托远程驾驶。
本公开的第二方案是远程操作委托方法。远程操作委托方法包括:在自动驾驶车辆难以继续进行自动驾驶的情况下,或者在预测自动驾驶车辆会难以继续进行自动驾驶的情况下,计算机向远程操作者委托所述自动驾驶车辆的远程操作;在能通过接受由所述远程操作者进行用于所述自动驾驶的判断中的至少一部分的远程支持而继续进行自动驾驶的自动驾驶区域内,委托远程支持;以及在自动驾驶区域外,委托由所述远程操作者进行所述自动驾驶车辆的转向操作和加减速操作中的至少一方的远程驾驶。所述远程操作具有所述远程支持和所述远程驾驶。
本公开的第三方案提供一种非暂时性存储介质,该非暂时性存储介质储存有程序,所述程序能由一个或多个处理器执行,并且使所述一个或多个处理器执行以下的功能。所述功能包括:在自动驾驶车辆难以继续进行自动驾驶的情况下,或者在预测自动驾驶车辆会难以继续进行自动驾驶的情况下,向远程操作者委托自动驾驶车辆的远程操作;在能通过接受由所述远程操作者进行用于所述自动驾驶的判断中的至少一部分的远程支持而继续进行自动驾驶的自动驾驶区域内,委托远程支持;以及在自动驾驶区域外,委托由所述远程操作者进行所述自动驾驶车辆的转向操作和加减速操作中的至少一方的远程驾驶。所述远程操作具有所述远程支持和所述远程驾驶。
根据本公开的所述第一方案、所述第二方案以及所述第三方案,在自动驾驶车辆难以继续进行自动驾驶的情况下,或者预测自动驾驶车辆会难以继续进行自动驾驶的情况下,在能通过接受远程支持而继续进行自动驾驶的自动驾驶区域内,向远程操作者委托远程支持。根据远程支持,由远程操作者进行用于自动驾驶的判断中的至少一部分,因此能继续进行通过自动驾驶实现的自动驾驶车辆的运行。另一方面,在自动驾驶区域外,向远程操作者委托远程驾驶。根据远程驾驶,由远程操作者进行自动驾驶车辆的转向操作和加减速操作中的至少一方,因此在难以继续进行自动驾驶的状况下也能继续进行自动驾驶车辆的运行。如此,在自动驾驶车辆的自动驾驶变得困难的情况下,根据状况来适当地分开使用远程支持和远程驾驶,由此能继续进行自动驾驶车辆的运行,并且能减轻远程操作者的负担。
附图说明
以下,参照附图,对本发明的示例性实施例的特征、优点以及技术和工业意义进行说明,其中,相同的附图标记表示相同的元件,其中:
图1是用于概略地表示远程操作系统的构成的图。
图2是表示自动驾驶车辆的构成的一个例子的框图。
图3是表示远程操作中心的构成的一个例子的框图。
图4是用于对自动驾驶区域的内外判定和远程驾驶区域的内外判定进行说明的概念图。
图5是用于对本公开的第一实施方式的远程操作委托方法的概要进行说明的概念图。
图6是用于对本公开的第一实施方式的远程操作委托方法的概要进行说明的概念图。
图7是表示本公开的第一实施方式的远程操作系统的构成的框图。
图8是用于对本公开的第二实施方式的远程操作委托方法的概要进行说明的概念图。
图9是表示本公开的第二实施方式的远程操作系统的构成的框图。
图10是用于对本公开的第三实施方式的远程操作委托方法的概要进行说明的概念图。
图11是用于对本公开的第三实施方式的远程操作委托方法的概要进行说明的概念图。
图12是用于对本公开的第三实施方式的远程操作委托方法的概要进行说明的概念图。
具体实施方式
以下,参照附图对本公开的实施方式进行说明。其中,在以下所示的实施方式中提及了各要素的个数、数量、量、范围等数值的情况下,除了特别明示的情况、原理上明显确定为该数值的情况之外,本公开的技术思想不限定于该提及的数值。此外,就在以下所示的实施方式中进行说明的构造等而言,除了特别明示的情况、原理上明显确定为该构造的情况之外,在本公开的技术思想中不一定是必须的。
1.远程操作系统的概略构成
图1是概略地表示在后述的所有实施方式中通用的远程操作系统的构成的图。远程操作系统100是从远程操作中心30对自动驾驶车辆20进行远程操作的系统。作为自动驾驶车辆20的自动驾驶等级,例如假定有等级3、等级4或等级5。以下,将自动驾驶车辆20仅称为车辆20。
本公开中的远程操作包括远程支持和远程驾驶。远程支持和远程驾驶在车辆20难以继续进行自动驾驶的情况下,或者在预测车辆20会难以继续进行自动驾驶的情况下进行。在此,作为难以继续进行自动驾驶的情况,例如可以举出以下这样的情况。
1)在车辆20与其他车辆同时到达了全向停止(all-way stop)方式的交叉路口时,车辆20不知道是否可以进入交叉路口而受困的情况
2)车辆20无法判断正停车于路肩的车辆是路上泊车的车辆还是等待进入面向道路的设施等的车列的最末尾而受困的情况
3)在从公共汽车站起步的情形、在汇合路汇合或在分岔路分离/汇合的情形、车道变更的情形等下,车辆20无法领会周边其他车“正在让行的气氛”而受困的情况
在以上那样的情况下,车辆20恐怕会继续就地停车,或者恐怕会无法到达目的地。为了避免这样的事态而进行的处理是远程支持或远程驾驶,由远程操作者35、远程操作者37来进行。以下,将进行远程支持的远程操作者35称为远程支持者35,将进行远程驾驶的远程操作者37称为远程驾驶员37。
在远程支持中,远程支持者35进行用于由车辆20进行的自动驾驶的判断中的至少一部分。在车辆20中进行与驾驶所需的认知、判断以及操作相关的基本的计算。远程支持者35基于从车辆20发送的信息来判断车辆20应该采取的行动,从而进行对车辆20的支持。从远程支持者35对车辆20进行的远程支持的支持内容中包括车辆20的行进和车辆20的停止。此外,远程支持的支持内容中也可以包括针对前方的障碍物的偏离回避、先行车的超越、紧急退避等。
不过,远程支持者35所进行的“判断中的至少一部分”不限定于做出针对多个判断要素的至少一个判断。例如,判断结果被认为是作为经过了以下的多个步骤等的结果而得到的。
·远程支持者35推定/理解状况的步骤
·远程支持者35对多个存在的选项进行取舍选择的步骤
·远程支持者35评价有效的多个选项的步骤
·远程支持者35选择基准以上的评价结果之内的一个的步骤
或者,也可以考虑基于不包括在上述步骤中的、从过去事例的数据库中检索统计信息等的步骤等而得到判断结果的其他过程。因此,“判断中的至少一部分”这一用语中也可以包括远程支持者35对用于使车辆20得到所期望的判断结果的至少一个以上的步骤做出贡献。
在远程驾驶中,远程驾驶员37进行车辆20的驾驶,详细而言,进行转向操作或加减速操作中的至少一部分。在远程驾驶中,由远程驾驶员37承担驾驶所需的认知、判断以及操作。远程驾驶员37以与在车辆20的驾驶席所进行的驾驶相同的方式从远程的场所驾驶车辆20。不过,在远程驾驶中,远程驾驶员37不一定需要进行认知、判断以及操作的全部。也可以通过车辆20的功能来辅助认知、判断以及操作中的至少一部分。
在远程操作中心30设置有服务器32、远程支持终端34以及远程驾驶终端36。车辆20经由包括4G(第四代移动通信技术)、5G(第五代移动通信技术)的通信网络10连接于服务器32。能与服务器32进行通信的车辆20的台数为1台以上,优选为多台。
远程支持终端34是由远程支持者35进行操作的用于远程支持的操作终端。远程驾驶终端36是由远程驾驶员37进行操作的用于远程驾驶的操作终端。远程支持终端34设有至少1台以上,优选设有多台。同样地,远程驾驶终端36也设有至少1台以上,优选设有多台。在远程操作中心30准备有与远程支持终端34的台数相应的人数的远程支持者35。此外,准备有与远程驾驶终端36的台数相应的人数的远程驾驶员37。不过,远程操作者35和远程操作者37既可以是不同的人,也可以是同一人。需要说明的是,远程支持终端34和远程驾驶终端36既可以是不同的终端,也可以是能在远程支持功能与远程驾驶功能之间进行切换的同一终端。
各远程支持终端34和各远程驾驶终端36经由包括LAN(Local Area Network:局域网)、因特网的通信网络连接于服务器32。需要说明的是,远程操作中心30不一定需要是实际存在的设施。在此,将远程支持终端34和远程驾驶终端36通过通信网络与服务器32连接而形成的系统称为远程操作中心30。因此,也可以是,在云上设置服务器32,在各地的卫星办公室(Satellite Office)、远程操作者的自己家中设置远程支持终端34和远程驾驶终端36。不过,远程支持终端34和远程驾驶终端36也可以分别连接于不同的服务器。此外,远程支持终端34和远程驾驶终端36也可以设置于不同的场所。
图2是表示车辆20的构成的一个例子的框图。车辆20具备车载计算机21。车载计算机21是搭载于车辆20的多个ECU(Electronic Control Unit:电子控制单元)的集合体。此外,车辆20具备外部传感器22、内部传感器23、致动器24以及通信装置25。它们使用CAN(Controller Area Network:控制器局域网络)等车载网络连接于车载计算机21。
车载计算机21具备:一个或多个处理器21a(以下,仅称为处理器21a);以及一个或多个存储器21b(以下,仅称为存储器21b),与处理器21a耦合。存储器21b中存储有能由处理器21a执行的一个或多个程序21c(以下,仅称为程序21c)和与其关联的各种各样的信息。
通过处理器21a执行程序21c来实现由处理器21a进行的各种处理。程序21c中例如包括用于实现自动驾驶的程序、用于实现远程支持的程序以及用于实现远程驾驶的程序。此外,程序21c中包括使车载计算机21作为后述的远程操作委托装置发挥功能的远程操作委托程序。存储器21b包括主存储装置和辅助存储装置。程序21c既可以存储于主存储装置,也可以存储于作为辅助存储装置的计算机可读取记录介质。此外,辅助存储装置中也可以存储有管理用于自动驾驶的地图信息的地图数据库。
外部传感器22包括对车辆20的周围,特别是对前方进行拍摄的摄像机。摄像机既可以是单目摄像机,也可以是立体摄像机。可以设有多台摄像机,除了车辆20的前方之外,还可以对侧方和后方进行拍摄。此外,摄像机既可以在自动驾驶用和远程操作用中共用,也可以分别设有自动驾驶用的摄像机和远程操作用的摄像机。
外部传感器22包括摄像机以外的识别传感器。识别传感器是用于对车辆20的周围的状况进行识别的传感器。作为摄像机以外的识别传感器,举例示出LiDAR(Laser ImagingDetection and Ranging:激光雷达)和毫米波雷达。此外,外部传感器22包括对车辆20的位置和方位进行检测的位置传感器。作为位置传感器,举例示出GPS(Global PositioningSystem:全球定位系统)传感器。通过外部传感器22得到的信息被发送至车载计算机21。此外,外部传感器22也可以包括采集车辆20的周围的声音的麦克风。
内部传感器23包括获取与车辆20的运动相关的信息的状态传感器。作为状态传感器,例如举例示出车轮速度传感器、加速度传感器、角速度传感器以及舵角传感器。加速度传感器和角速度传感器也可以是指IMU(Inertial Measurement Unit:惯性测量单元)。通过内部传感器23得到的信息被发送至车载计算机21。以下,将通过内部传感器23得到的信息称为内部信息,将通过外部传感器22得到的信息称为外部信息。
致动器24包括对车辆20进行转向的转向装置、对车辆20进行驱动的驱动装置以及对车辆20进行制动的制动装置。转向装置中例如包括动力转向系统、线控转向系统以及后轮转向系统。驱动装置中例如包括发动机、BEV(battery electric vehicle:纯电动汽车)系统以及混合动力系统。制动装置中例如包括液压制动器和电力再生制动器。致动器24通过从车载计算机21发送的控制信号来进行动作。
通信装置25是对与车辆20的外部的无线通信进行控制的装置。通信装置25经由通信网络10与服务器32进行通信。由车载计算机21进行了处理的信息使用通信装置25被发送至服务器32。由服务器32进行了处理的信息使用通信装置25被读入至车载计算机21。此外,在为了自动驾驶而需要与其他车辆的车间通信、与基础设施的路车间通信的情况下,与这些外部装置的通信也由通信装置25来进行。
图3是表示远程操作中心30的构成的一个例子的框图。远程操作中心30具备服务器32。服务器32是一个计算机,或者是通过通信网络连接的多个计算机的集合体。此外,远程操作中心30具备远程支持终端34、远程驾驶终端36以及通信装置38。它们使用通信网络连接于服务器32。如前述那样,也可以是,多台远程支持终端34和多台远程驾驶终端36连接于服务器32。
服务器32具备:一个或多个处理器32a(以下,仅称为处理器32a);以及一个或多个存储器32b(以下,仅称为存储器32b),与处理器32a耦合。在存储器32b中存储有能由处理器32a执行的一个或多个程序32c(以下,仅称为程序32c)和与其关联的各种各样的信息。
通过处理器32a执行程序32c来实现由处理器32a进行的各种处理。程序32c中例如包括用于实现远程支持的程序和用于实现远程驾驶的程序。存储器32b包括主存储装置和辅助存储装置。程序32c既可以存储于主存储装置,也可以存储于作为辅助存储装置的计算机可读取记录介质。此外,辅助存储装置中也可以存储有管理用于自动驾驶的地图信息的地图数据库。地图数据库存储于服务器32和车载计算机21中的至少一方即可。
远程支持终端34具备信息输出部34a。信息输出部34a是对远程支持者35输出车辆20的远程支持所需的信息的设备。信息输出部34a包括输出图像的显示器。在显示器中例如显示车辆20的摄像机所拍摄到的车辆20的前方的图像。显示器可以具有多个显示画面,可以显示车辆20的侧方和/或后方的图像。此外,信息输出部34a也可以包括输出声音的扬声器。例如也可以是,从扬声器发出用于传达远程支持的开始或结束的声音或语音。此外,在车辆20具备麦克风的情况下,也可以将通过麦克风采集到的车辆20的周围的状况从扬声器传达给远程支持者35。
远程支持终端34具备操作输入部34b。操作输入部34b是输入远程支持者35的用于远程支持的操作的设备。作为输入设备的具体例子,可以举例示出按钮、杆以及触摸面板。例如,也可以根据推倒杆的方向来进行对车辆20的行进/停止的支持,或者进行向横向的移动的支持。向横向的移动中例如包括针对前方的障碍物的偏离回避、车道变更、先行车的超越。
远程驾驶终端36具备信息输出部36a。信息输出部36a是对远程驾驶员37输出车辆20的远程驾驶所需的信息的设备。信息输出部36a包括输出图像的显示器。在显示器中例如显示车辆20的摄像机所拍摄到的车辆20的前方的图像。作为其显示方法,例如可以在显示器显示与从车辆20的驾驶席观察前方的情况下的景色相同的景色。显示器可以具有多个显示画面,可以显示车辆20的侧方和/或后方的图像。此外,信息输出部36a也可以包括输出声音的扬声器。例如也可以是,从扬声器发出用于传达远程驾驶的开始或结束的声音或语音。此外,在车辆20具备麦克风的情况下,也可以将通过麦克风采集到的车辆20的周围的状况从扬声器传达给远程驾驶员37。
远程驾驶终端36具备操作输入部36b。操作输入部36b是输入远程驾驶员37的用于远程驾驶的操作的设备。为了对实际驾驶车辆20的情况所需的操作进行模拟,操作输入部36b具备用于转向操作的方向盘、用于加速操作的加速踏板以及用于减速操作的制动踏板。此外,如果车辆20具备变速器,则操作输入部36b也可以具备变速器的杆或开关。除此之外,操作输入部36b还具备用于对车辆20的方向指示器进行操作的操作杆、用于使擦拭器进行动作的操作杆等用于输入安全的驾驶所需的操作的设备。
通信装置38是对与远程操作中心30的外部的通信进行控制的装置。通信装置38经由通信网络10与1台或多台车辆20进行通信。由服务器32进行了处理的信息使用通信装置38被发送至车辆20。由车辆20进行了处理的信息使用通信装置38被读入至服务器32。
2.自动驾驶区域的内外判定和远程驾驶区域的内外判定
由车辆20进行的自动驾驶通过道路条件、地理条件、环境条件、硬件条件以及其他各种条件齐备才能实现。以下,将用于实现自动驾驶的条件全部齐备的区域称为自动驾驶区域。在进行自动驾驶时,需要判定车辆20是否位于自动驾驶区域之中,即需要进行自动驾驶区域的内外判定。
本公开中的自动驾驶区域被设计为与ODD(Operational Design Domain:运行设计域)相同的构架(Framework)或比ODD高层的构架,该ODD意味着成为自动驾驶系统工作的前提的行驶环境条件。例如,一般的ODD的构架被限定为仅表现行驶环境条件,ODD外意味着“有车辆外的原因,自动驾驶系统无法正常地工作”。另一方面,在本公开中的自动驾驶区域的构架中,自动驾驶区域外也可以包括“有车辆内的原因,自动驾驶系统无法正常地工作”。此外,一般的定义ODD的行驶环境条件均是能在地图上表现的参数。因此,可以认为ODD表现以位置关系界定时的与本车的内外关系。另一方面,本公开中的自动驾驶区域还可以包括以时间轴界定时的与本车的内外关系。
前述的远程支持和远程驾驶都是在车辆20难以继续进行自动驾驶的情况下或者在预测车辆20会难以继续进行自动驾驶的情况下进行的远程操作。其中,远程支持是由远程支持者35进行用于自动驾驶的判断的一部分来使自动驾驶继续的操作。因此,车辆20位于自动驾驶区域之内成为远程支持的前提。
在车辆20位于自动驾驶区域之外的情况下,无法进行自动驾驶,也无法进行远程支持。在这样的情况下,被用作使车辆20运行的方法的是远程驾驶。其中,远程驾驶通过道路条件、地理条件、环境条件、硬件条件以及其他各种条件齐备才能实现。以下,将用于实现远程驾驶的条件全部齐备的区域称为远程驾驶区域。在进行远程驾驶时,需要判定车辆20是否位于远程驾驶区域之中,即需要进行远程驾驶区域的内外判定。本公开中的远程驾驶区域与自动驾驶区域同样地,被设计为与ODD相同的构架或比ODD高层的构架。
以下,参照图4对自动驾驶区域的内外判定和远程驾驶区域的内外判定进行说明。在此,为了便于进行使用了附图的说明,自动驾驶区域ADD和远程驾驶区域RDD与车辆20所前进的路径RT一起被表现在地图上。
根据图4所示的例子,在当前位置处,车辆20位于自动驾驶区域ADD之内。在车辆20沿着路径RT前进时,预测在地点P1处车辆20会在保持已进入自动驾驶区域ADD的状态下也进入远程驾驶区域RDD。预测在地点P2处车辆20会驶出自动驾驶区域ADD之外但仍保留在远程驾驶区域RDD之中。预测在地点P3处车辆20会驶出远程驾驶区域RDD之外但会再次进入自动驾驶区域ADD之中。
如此,在自动驾驶区域ADD和远程驾驶区域RDD的内外判定中,不仅判定当前的车辆20与自动驾驶区域ADD和远程驾驶区域RDD的内外关系,还判定将来的车辆20与自动驾驶区域ADD和远程驾驶区域RDD的内外关系。需要说明的是,在将来的内外关系的判定中,判定以位置关系界定时的车辆20与自动驾驶区域ADD和远程驾驶区域RDD的内外关系,并且判定以时间轴界定时的车辆20与自动驾驶区域ADD和远程驾驶区域RDD的内外关系。就是说,判定在将来的地点或者时刻,车辆20是位于自动驾驶区域ADD之内还是位于自动驾驶区域ADD之外,并且判定在将来的地点或者时刻,车辆20是位于远程驾驶区域RDD之内还是位于远程驾驶区域RDD之外。
以下,对自动驾驶区域ADD和远程驾驶区域RDD的条件例以及内外判定的基准的例子进行说明。
<条件例1>道路条件
基准例1-1
车辆20的车速上限必须涵盖车辆20所行驶的道路的限制速度。例如,如果远程驾驶仅对应至上限30km/h,则无法在高速道路上提供远程驾驶的服务。在该情况下,能判定为高速道路在远程驾驶区域RDD之外。
基准例1-2
为了向需要跨越车道的目的地移动,需要车道变更功能。例如,为了在拥堵环境下汇入车辆之间,驾驶员彼此的非语言交流是重要的。但是,这样的交流在自动驾驶中是困难的,因此能判定为自动驾驶区域ADD之外。
基准例1-3
在以路面标示为线索进行自动驾驶的情况下,例如能判定为未被铺装的河岸用地在自动驾驶区域ADD之外。
<条件例2>地理条件
基准例2-1
为了实现远程驾驶,需要与服务器32的通信。因此,能判定为电波到不了的山区在远程驾驶区域RDD之外。
基准例2-2
在未制作地图的土地、因施工而与地图的偏离大的土地上,无法提供以地图信息为线索使车辆20自主行驶的自动驾驶的服务。就是说,能判定为无法利用地图信息的土地在自动驾驶区域ADD之外。
<条件例3>环境条件
基准例3-1
虽然自动驾驶基于通过LiDAR得到的测距信息来执行,但LiDAR所使用的光在雨、雾的情况下会扩散。因此,能判定为下雨的环境、起雾的环境在自动驾驶区域ADD之外。
基准例3-2
在车辆20搭载有低灵敏度摄像机的情况下,在隧道内或者夜间无法拍摄外部影像。如果在远程驾驶中利用这样的摄像机影像,则能判定为隧道内、夜间在远程驾驶区域RDD之外。
<条件例4>硬件状态
基准例4-1
如果仅用于自动驾驶的硬件进行了所期望的动作,或者返回了所期望的输出,则能判定为自动驾驶区域ADD之内。例如,在LiDAR是仅用于自动驾驶的硬件的情况下,并且在进行了所期望的动作,或者返回了所期望的输出的情况下,能判定为自动驾驶区域ADD之内。此外,如果仅用于远程驾驶的硬件进行了所期望的动作,或者返回了所期望的输出,则能判定为远程驾驶区域RDD之内。需要说明的是,这里所说的硬件中例如包括计算装置和传感器。
基准例4-2
可以考虑基于地图信息、天气信息等来进行将来的场所/时刻的传感器动作的预测,从而推定从当前起到将来为止的自动驾驶区域ADD和远程驾驶区域RDD。例如,雨会对LiDAR的利用造成不良影响,因此如果基于天气信息知道阵雨发生的场所,则能判定为到达该场所的时刻在自动驾驶区域ADD之外。
基准例4-3
在远程驾驶中使用的摄像机在逆光方面较弱的情况下,如果能基于车辆20的朝向和太阳的方向预测成为逆光而无法识别信号的场所/时刻,则能判定为该场所/时刻在远程驾驶区域RDD之外。
基准例4-4
在利用搭载于会受溅泥的影响的低的位置的传感器来进行自动驾驶的情况下,能判定为雨天时在自动驾驶区域ADD之外。此外,在利用搭载于车辆20的顶棚位置的传感器来进行自动驾驶的情况下,在生长有落叶树的土地行驶的情况下,能判定为自动驾驶区域ADD之外。
基准例4-5
如果是GPS天线,则能根据基于地点/时刻的卫星数来预测对GPS不利的场所。如果利用GPS来进行自动驾驶,则能判定为被预测为对GPS不利的场所在自动驾驶区域ADD之外。
<条件例5>软件状态
基准例5-1
在自动驾驶或远程驾驶中利用的软件大多是独立的,并且缺一不可。此外,即使软件进行了动作,也可能会冻结(freeze)。其症状多种多样,存在由于计算量庞大而无法进行适当的输出、或者由于热失控而计算速度下降、或者由于故障(bug)而无法从不适当的错误中摆脱等多种症状。因此,需要定期地进行与软件的通信来确认有无所期望的输出等,从而进行软件的健康状况检查。例如,如果路径计划模块能计算将来应该前进的路径,则能判定为自动驾驶区域ADD之内。
基准例5-2
在自动驾驶中进行自身位置推定。在自身位置推定中,可以基于方差/分布等来计算该推定结果的准确度,即可靠度。如果该可靠度为阈值以上,则能判定为自动驾驶区域ADD之内。
<条件例6>其他的条件
基准例6-1
在按每个自治体设置了特有的规则的情况下,无法利用不符合该规则的功能。例如,在某个自治体中远程驾驶的利用被禁止的情况下,该自治体内成为远程驾驶区域RDD之外。
如以上的条件例那样,自动驾驶区域ADD包括预先设定的区域,也包括随时间而变化的区域。此外,基于通过外部传感器22和内部传感器23获取到的外部信息和内部信息来执行自动驾驶区域ADD的内外判定。同样地,远程驾驶区域RDD包括预先设定的区域,也包括随时间而变化的区域。此外,基于通过外部传感器22和内部传感器23获取到的外部信息和内部信息来执行远程驾驶区域RDD的内外判定。
3.第一实施方式的远程操作委托方法
图5和图6是用于对本公开的第一实施方式的远程操作委托方法的概要进行说明的概念图。以下,使用这些图对第一实施方式的远程操作委托方法进行说明。
在图5所示的例子中,在当前时间点,车辆20位于自动驾驶区域ADD之内,沿着生成到规定时间之前的路径RT进行自动驾驶。若车辆20沿着路径RT移动,则车辆20会进入成为自动驾驶区域ADD之内并且远程驾驶区域RDD之内的区域内。在该区域中也能进行远程驾驶,但优先进行通过自动驾驶实现的运行。对于远程驾驶员37而言,要求与实际驾驶车辆20的情况下的技能同样高的技能,因此减轻远程驾驶员37的负担是优先进行自动驾驶的理由之一。
在此,假设在时刻T1,车辆20难以继续进行自动驾驶。或者,假设预测车辆20会难以继续进行自动驾驶。在时刻T1,车辆20位于自动驾驶区域ADD之内,因此能通过接受远程支持来继续进行自动驾驶。作为一个例子,可以假定车辆20要在无信号进行右转指示的交叉路口处右转的情况。在该情况下,由人代替车辆20来进行右转的判断,由此车辆20能在交叉路口右转并且继续进行自动驾驶。
在第一实施方式中,车辆20进行自动驾驶区域ADD的内外判定和远程驾驶区域RDD的内外判定。在时刻T1,车辆20对远程支持者35发送远程支持的委托RQS。接受了远程支持的委托RQS的远程支持者35基于摄像机图像等从车辆20送来的信息来操作远程支持终端34。从远程支持终端34向车辆20发送用于对车辆20进行远程支持的操作信号RMS。通过操作信号RMS来进行远程支持,由此车辆20能再次继续进行自动驾驶。
若车辆20沿着路径RT移动,则在时刻T2,车辆20会驶出到自动驾驶区域ADD之外。车辆20驶出到自动驾驶区域ADD外,由此车辆20难以继续进行自动驾驶。在该情况下,车辆20虽然驶出到自动驾驶区域ADD之外,但仍位于远程驾驶区域RDD之内。因此,只要从自动驾驶切换至远程驾驶,就能继续进行车辆20的运行。在时刻T2,车辆20对远程驾驶员37发送远程驾驶的委托RQD。接受了远程驾驶的委托RQD的远程驾驶员37基于摄像机图像等从车辆20送来的信息来操作远程驾驶终端36。从远程驾驶终端36向车辆20发送用于对车辆20进行远程驾驶的操作信号RMD。在车辆20位于远程驾驶区域RDD之内并且再次进入自动驾驶区域ADD之内为止的期间继续进行通过操作信号RMD实现的远程驾驶。
若车辆20沿着路径RT移动,则在时刻T3,车辆20会再次进入自动驾驶区域ADD之内。车辆20进入自动驾驶区域ADD之内,由此车辆20能再次开始自动驾驶。在该情况下,远程驾驶被停止,进行向由车辆20进行的自动驾驶的切换。如此,在能进行自动驾驶的区域中自动驾驶比远程驾驶优先,由此能减轻远程驾驶员37的负担。
在图6所示的例子中,若在时刻T2开始了远程驾驶的车辆20沿着路径RT移动,则在时刻T4,车辆20会驶出到远程驾驶区域RDD之外。车辆20驶出到远程驾驶区域RDD之外,由此无法继续进行由远程驾驶员37进行的远程驾驶。但是,在时刻T4,车辆20未位于自动驾驶区域ADD之内,因此也无法切换为自动驾驶。在该情况下,为了确保安全,车辆20就地减速并停车。或者也可以是,以使车辆20停车于安全的场所例如路肩的方式变更车辆20的轨道。
需要说明的是,在决定路径RT的阶段中,也可以选择到目的地为止自动驾驶区域ADD或远程驾驶区域RDD连续的路径,即自动驾驶或远程驾驶持续到目的地为止的路径。如果存在多个路径RT的候选,则也可以选择自动驾驶区域ADD持续更长时间的路径。此外,能计算在自动驾驶区域ADD与远程驾驶区域RDD之间进行切换的时刻(例如时刻T2),因此也可以选择远程支持者35和远程驾驶员37能应对的时刻与切换的时刻一致的路径。例如,假设远程支持者35能应对的时刻(工作结束时刻等)到时刻T5为止,远程驾驶员37能应对的时刻(工作开始时刻等)为时刻T5以后。在该情况下,也可以是,在路径RT的候选内选择在时刻T5从自动驾驶区域ADD被切换至远程驾驶区域RDD的路径,或者时刻T5被包括在自动驾驶区域ADD和远程驾驶区域RDD这两方中这样的路径。
4.第一实施方式的远程操作系统的构成
上述的远程操作委托方法能通过具有图7所示的构成的第一实施方式的远程操作系统来实现。在图7中,分别用方框表示车载计算机21所具有的功能和服务器32所具有的功能。以下,以车载计算机21和服务器32的各功能为中心对第一实施方式的远程操作系统进行说明。不过,对于已经进行了说明的构成、功能,省略或简化说明。需要说明的是,在图7中举例示出了LiDAR22a、摄像机22b、毫米波传感器22c以及GPS22d来作为外部传感器22。
车载计算机21具备自动驾驶ECU210、远程支持ECU211、远程驾驶ECU212、远程操作委托判定部213以及远程功能选定部214。远程操作委托判定部213和远程功能选定部214既可以是分别独立的ECU,也可以是一个ECU所具有的功能。从LiDAR22a、摄像机22b、毫米波传感器22c、GPS22d以及内部传感器23向自动驾驶ECU210和远程驾驶ECU212输入包括外部信息和内部信息的信号。不过,并不是所有的信号都需要被输入至两个ECU210、ECU212。例如,可以省略向远程驾驶ECU212的LiDAR22a的信号的输入。
自动驾驶ECU210具备车辆位置识别部210a、周边状况识别部210b、行驶计划部210c以及自动驾驶区域调查部210d。它们在由处理器执行了存储于自动驾驶ECU210的存储器的程序时被实现为自动驾驶ECU210的功能。
车辆位置识别部210a基于由GPS22d接收到的车辆20的位置信息、由内部传感器23检测到的与车辆20的运动相关的信息以及从地图数据库中得到的地图信息,识别地图上的车辆20的位置。此外,车辆位置识别部210a也能根据由LiDAR22a、摄像机22b或毫米波传感器22c检测到的特征物相对于车辆20的相对位置、由内部传感器23检测到的与车辆20的运动相关的信息以及所检测到的特征物的地图上的位置来推定车辆20的位置。
周边状况识别部210b针对从LiDAR22a、摄像机22b或毫米波传感器22c接受到的信息,使用图案匹配、深度学习(deep learning)等方法来识别车辆20的周围的物体,并确定其存在位置和类别。由周边状况识别部210b识别的对象物体中例如包括车辆、摩托车、自行车、行人等移动物体、静止物体。周边状况识别部210b将位置和类别被确定出的物体作为物标输出。
行驶计划部210c例如基于记录于地图数据库的路径RT和通过周边状况识别部210b得到的物标信息来制作车辆20的行驶计划。行驶计划被制作为车辆20在路径RT上遵照安全、法令遵守、行驶效率等基准适当地行驶。行驶计划部210c基于所制作出的行驶计划来生成目标轨迹。目标轨迹包括固定于车辆20的坐标系中的车辆20的目标位置的集合和各目标点处的目标速度。自动驾驶ECU210算出用于使车辆20追随由行驶计划部210c生成的目标轨迹的致动器控制量。
自动驾驶区域调查部210d按照前述的条件例中的各基准例那样的规定的判定基准,执行自动驾驶区域ADD的内外判定。自动驾驶区域ADD的内外判定的判定结果被输入至后级的远程操作委托判定部213。
远程支持ECU211具备远程支持要否判定部211a。远程支持要否判定部211a在由处理器执行了存储于远程支持ECU211的存储器的程序时被实现为远程支持ECU211的功能。远程支持ECU211与自动驾驶ECU210进行通信,从自动驾驶ECU210获取远程支持的要否的判定所需的信息。
远程支持要否判定部211a基于来自自动驾驶ECU的信息来判断车辆20是否难以继续进行自动驾驶,或者是否预测到车辆20会难以继续进行自动驾驶。接着,远程支持要否判定部211a基于自动驾驶的继续的困难性的判断结果和由自动驾驶ECU进行的自动驾驶区域ADD的内外判定的判定结果,判定是否应该请求远程支持。通过远程支持要否判定部211a得到的判定结果被输入至后级的远程操作委托判定部213。
远程驾驶ECU212具备车辆位置识别部212a和远程驾驶区域调查部212b。它们在由处理器执行了存储于远程驾驶ECU212的存储器的程序时被实现为远程驾驶ECU212的功能。
车辆位置识别部212a具有与自动驾驶ECU210的车辆位置识别部210a相同的功能。就是说,车辆位置识别部212a对地图上的车辆20的位置进行识别。需要说明的是,在图7所示的例子中,在自动驾驶ECU210和远程驾驶ECU212中分别进行了车辆20的位置的识别,但也可以是,由与它们独立的其他的ECU进行车辆20的位置的识别,自动驾驶ECU210和远程驾驶ECU212获取其识别结果。
远程驾驶区域调查部212b按照前述的条件例中的各基准例那样的规定的判定基准,执行远程驾驶区域RDD的内外判定。远程驾驶区域RDD的内外判定的判定结果被输入至后级的远程操作委托判定部213。
远程操作委托判定部213基于自动驾驶区域ADD的内外判定的判定结果、远程支持的要否的判定结果以及远程驾驶区域RDD的内外判定的判定结果来判定是否委托远程操作。此外,远程操作委托判定部213在委托远程操作的情况下,判定委托远程支持和远程驾驶中的哪一个。通过远程操作委托判定部213得到的判定结果被输入至后级的远程功能选定部214和通信装置25。
远程功能选定部214按照通过远程操作委托判定部213得到的判定结果向致动器24发送控制信号。具体而言,在不进行远程操作而继续进行自动驾驶的情况下,由自动驾驶ECU210计算出的致动器控制量作为控制信号被发送至致动器24。在选择了远程操作的情况下,由自动驾驶ECU210计算出的致动器控制量和从远程操作中心30发送的远程支持信号(例如,Go信号和No-Go信号)作为控制信号被发送至致动器24。在选择了远程驾驶的情况下,从远程操作中心30发送的远程驾驶信号(例如,包括用于远程驾驶的致动器控制量的信号)作为控制信号被发送至致动器24。
被输入至通信装置25的通过远程操作委托判定部213得到的判定结果从通信装置25被发送至远程操作中心30的通信装置38。不过,判定结果被发送并不限于判定为委托远程支持和远程驾驶中的某一个的远程操作的情况。通过判定结果被发送,从车载计算机21向远程操作中心30的远程支持的委托,或者远程驾驶的委托完成。如以上那样,第一实施方式的车载计算机21作为向远程支持者35或远程驾驶员37委托车辆20的远程操作的远程操作委托装置发挥功能。
通信装置38所接收到的通过远程操作委托判定部213得到的判定结果被输入至服务器32。服务器32具备操作员分配部321。操作员分配部321在由处理器执行了存储于服务器32的存储器的程序时被实现为服务器32的功能。
操作员分配部321基于通过远程操作委托判定部213得到的判定结果将来自车辆20的远程操作的委托分配给适当的远程操作者。在远程操作的委托是远程支持的委托的情况下,委托被发送至远程支持终端34。此外,操作员分配部321将从车辆20获取到的远程支持所需的信息发送至远程支持终端34。从远程支持终端34向操作员分配部321发送远程支持者35所输入的远程支持信号。
在远程操作的委托是远程驾驶的委托的情况下,委托被发送至远程驾驶终端36。此外,操作员分配部321将从车辆20获取到的远程驾驶所需的信息发送至远程驾驶终端36。从远程驾驶终端36向操作员分配部321发送远程驾驶员37所输入的远程驾驶信号。
从远程支持终端34或远程驾驶终端36向操作员分配部321发送的信号从操作员分配部321经由通信装置38被发送至车辆20。从远程操作中心30被发送至车辆20的远程支持信号或远程驾驶信号从通信装置25被发送至车载计算机21的远程功能选定部214。
5.第二实施方式的远程操作委托方法
接着,使用图8对本公开的第二实施方式的远程操作委托方法进行说明。在第一实施方式的远程操作委托方法中,在车辆20难以继续进行自动驾驶的情况下,或者预测车辆20会难以继续进行自动驾驶的情况下,车辆20的车载计算机21决定委托远程支持和远程驾驶中的哪一个。在第二实施方式的远程操作委托方法中,服务器32执行该决定。
在图8所示的例子中,在时刻T1,车辆20难以继续进行自动驾驶的情况下,从车辆20对服务器32发送远程操作方法的决定所需的信息INF。被发送至服务器32的信息INF中包括通过车载计算机21得到的自动驾驶区域ADD的内外判定的一次判定的结果和远程驾驶区域RDD的内外判定的一次判定的结果。
服务器32基于从车辆20发送的信息来判定是否委托远程操作。此外,服务器32在委托远程操作的情况下,判定委托远程支持和远程驾驶中的哪一个。服务器32能获取车辆20未持有的信息,特别是影响自动驾驶的信息、影响远程驾驶的信息。服务器32基于从车辆20获取到的信息和服务器32单独获取到的信息来执行自动驾驶区域ADD的内外判定和远程驾驶区域RDD的内外判定,从而决定是委托远程支持还是委托远程驾驶。
在时刻T1,服务器32对远程支持者35发送远程支持的委托RQS。接受了远程支持的委托RQS的远程支持者35基于摄像机图像等从车辆20送来的信息来操作远程支持终端34。从远程支持终端34向车辆20发送用于对车辆20进行远程支持的操作信号RMS。通过操作信号RMS来进行远程支持,由此车辆20能再次继续进行自动驾驶。
若车辆20沿着路径RT移动,则在时刻T2,车辆20会驶出到自动驾驶区域ADD之外。车辆20驶出到自动驾驶区域ADD之外,由此车辆20难以继续进行自动驾驶。在该情况下,车辆20对服务器32再次发送远程操作方法的决定所需的信息INF。服务器32与时刻T1时同样地,基于从车辆20获取到的信息和服务器32单独获取到的信息来执行自动驾驶区域ADD的内外判定和远程驾驶区域RDD的内外判定,从而决定是委托远程支持还是委托远程驾驶。
在时刻T2,服务器32对远程驾驶员37发送远程驾驶的委托RQD。接受了远程驾驶的委托RQD的远程驾驶员37基于摄像机图像等从车辆20送来的信息来操作远程驾驶终端36。从远程驾驶终端36向车辆20发送用于对车辆20进行远程驾驶的操作信号RMD。在车辆20位于远程驾驶区域RDD之内并且再次进入自动驾驶区域ADD之内为止的期间继续进行通过操作信号RMD实现的远程驾驶。
6.第二实施方式的远程操作系统的构成
上述的远程操作委托方法能通过具有图9所示的构成的第二实施方式的远程操作系统来实现。在图9中,分别用方框表示车载计算机21所具有的功能和服务器32所具有的功能。以下,以车载计算机21和服务器32的各功能为中心对第二实施方式的远程操作系统进行说明。不过,对于已经进行了说明的构成、功能,省略或简化说明。
第一实施方式的远程操作系统与第二实施方式的远程操作系统的主要的不同点在于,远程操作委托判定部的功能从车载计算机21被移向服务器32。因此,在车载计算机21中被输入至远程操作委托判定部的自动驾驶区域ADD的内外判定的判定结果、远程支持的要否的判定结果以及远程驾驶区域RDD的内外判定的判定结果经由通信装置25被发送至远程操作中心30的服务器32。
从车载计算机21被发送至服务器32的各判定结果被用作一次判定结果,由服务器32进行最终判定。在第二实施方式的远程操作系统中,服务器32具备操作员分配部321、远程操作委托判定部322、交通信息数据库323以及操作员信息数据库324。操作员分配部321和远程操作委托判定部322在由处理器执行了存储于服务器32的存储器的程序时被实现为服务器32的功能。交通信息数据库323和操作员信息数据库324存储于服务器32的辅助存储装置。
远程操作委托判定部322基于从车载计算机21发送的各判定的一次判定结果和仅服务器32持有的信息来综合地判定是否委托远程操作。仅服务器32持有的信息中包括登记于交通信息数据库323的交通信息和登记于操作员信息数据库324的操作员信息。远程操作委托判定部322在委托远程操作的情况下,基于从车载计算机21获取到的信息和仅服务器32持有的信息来综合地判定委托远程支持和远程驾驶中的哪一个。通过远程操作委托判定部322得到的判定结果被输入至后级的操作员分配部321。
以下,对利用车辆20未持有的信息来判定委托远程支持和远程驾驶中的哪一个的例子进行说明。
判定例1
能通过利用详细的事故信息来判定是能通过远程支持进行应对还是不能通过远程支持进行应对。详细的事故信息例如是指堵塞道路的程度的事故、仅特定的车道被封锁、事故处理已经完成了等的信息。虽然能从车辆20观测路肩停车车辆,但难以从车辆20观测“在路上散乱有许多金属片”。为了获取这样的信息,需要有效利用警察信息等。
判定例2
通过利用通信状态的信息,能判定委托远程支持和远程驾驶中的哪一个。例如,在人的往来频繁并且通信可能会不稳定的环境中,难以利用远程驾驶。
判定例3
也可以按照远程操作者的空闲状况来判定委托远程支持和远程驾驶中的哪一个。例如,如果远程支持者35已经是过密的日程而另一方面远程驾驶员37闲着,则即使在通过远程支持就能应对的情形下也采用远程驾驶。
判定例4
对于自动驾驶而言,理想的是其他车的行动的预测简单。就是说,对于进行自动驾驶的车辆20而言,与采取预想外的行动的车辆相比,更理想的是在周围存在能通过应用于模型来推定行动的车辆、能通过车间通信来事先获取行动的车辆。因此,如果行动的预测简单的车辆在周围的车辆中所占的比例为阈值以上,则也可以优先采用远程支持。
如以上那样,在第二实施方式中,车载计算机21与服务器32协作地进行自动驾驶区域ADD的内外判定和远程驾驶区域RDD的内外判定,从而判定委托远程支持和远程驾驶中的哪一个。就是说,第二实施方式的车载计算机21和服务器32作为将车辆20的远程操作委托给远程支持者35或远程驾驶员37的远程操作委托系统发挥功能。
7.第三实施方式的远程操作委托方法
接着,使用图10至图12对本公开的第三实施方式的远程操作委托方法进行说明。在第三实施方式中,在车辆20难以继续进行自动驾驶的情况下,或者在预测车辆20会难以继续进行自动驾驶的情况下,基于目标轨迹来进行自动驾驶区域的内外判定和远程驾驶区域的内外判定。
图10中描绘了自动驾驶中的车辆20跟随在先行车辆40之后停车,之后再次出发的情形。在先行车辆40停车的时间点,不清楚先行车辆40是会再次开始动,还是保持原样地泊车。在这样的情况下,难以继续进行自动驾驶,为了继续进行车辆20的运行,需要向远程操作者委托远程操作。
在第三实施方式中,分别计算选择了远程支持的情况下的车辆20的轨迹TJRA和选择了远程驾驶的情况下的车辆的轨迹TJRDK。根据进行远程支持时的最大转舵速度、转舵角以及最低车速来计算轨迹TJRA。同样地,根据进行远程驾驶时的最大转舵速度、转舵角以及最低车速来计算轨迹TJRDK。
接着,判定所计算出的各轨迹TJRA、TJRDK与先行车辆40的接触。在轨迹TJRA与先行车辆40接触的情况下,能判定为车辆20位于自动驾驶区域之外。在轨迹TJRDK与先行车辆40接触的情况下,能判定为车辆20位于远程驾驶区域之外。在图10所示的例子中,轨迹TJRA与先行车辆40接触,但轨迹TJRDK未与先行车辆40接触,因此选择远程驾驶来作为应该委托的远程操作。如果假设两个轨迹TJRA、TJRDK未与先行车辆40接触,则根据远程支持者35与远程驾驶员37的负担的差异,使远程支持的委托优先。
在图11中描绘了自动驾驶中的车辆20从汇合车道汇合至本车道的情形。为了以不与在本车道行驶中的其他车辆42接触的方式汇合至本车道,需要对其他车辆42的速度进行识别来测定汇合的定时。在其他车辆42正在本车道行驶的状况下,难以通过自动驾驶来进行从汇合车道汇合至本车道的动作,因此对远程操作者委托远程操作。
在第三实施方式中,分别计算选择了远程支持的情况下的车辆20的轨迹TJRA和选择了远程驾驶的情况下的车辆的轨迹TJRDK。根据进行远程支持时的最大速度和最大加速度来计算轨迹TJRA。同样地,根据进行远程驾驶时的最大速度和最大加速度来计算轨迹TJRDK。在图11中,各轨迹TJRA、TJRDK上的圆圈表示各时刻的车辆20的位置。根据圆圈的间隔的差异,可知轨迹TJRDK与轨迹TJRA相比,汇合时的加速度更高。
接着,在所计算出的各轨迹TJRA、TJRDK与其他车辆42之间计算TTC(Time ToCollision:碰撞时间)。在轨迹TJRA与其他车辆42之间的TTC为规定的阈值以下的情况下,能判定为车辆20位于自动驾驶区域之外。在轨迹TJRDK与其他车辆42之间的TTC为阈值以下的情况下,能判定为车辆20位于远程驾驶区域之外。在两个轨迹TJRA、TJRDK与其他车辆42之间的TTC均大于阈值的情况下,选择提供更大的TTC的轨迹的远程操作。在图11所示的例子中,选择远程驾驶来作为应该委托的远程操作。
在图12中描绘了自动驾驶中的车辆20在障碍物44的跟前减速并停止的情形。在难以通过自动驾驶使车辆20停止的情况下,对远程操作者委托远程操作。
在第三实施方式中,分别计算选择了远程支持的情况下的车辆20的轨迹TJRA和选择了远程驾驶的情况下的车辆的轨迹TJRDK。根据进行远程支持时的最大减速度来计算轨迹TJRA。同样地,根据进行远程驾驶时的最大减速度来计算轨迹TJRDK。在图12中,各轨迹TJRA、TJRDK上的圆圈表示各时刻的车辆20的位置。根据圆圈的间隔的差异,可知轨迹TJRDK与轨迹TJRA相比,停止时的减速度更高。
接着,在所计算出的各轨迹TJRA、TJRDK与障碍物44之间计算TTC。在轨迹TJRA与障碍物44之间的TTC为规定的阈值以下的情况下,能判定为车辆20位于自动驾驶区域之外。在轨迹TJRDK与障碍物44之间的TTC为阈值以下的情况下,能判定为车辆20位于远程驾驶区域之外。在两个轨迹TJRA、TJRDK与障碍物44之间的TTC均大于阈值的情况下,选择提供更大的TTC的轨迹的远程操作。在图12所示的例子中,选择远程驾驶来作为应该委托的远程操作。
8.其他实施方式
也可以将服务器32构成为远程操作委托装置。即,也可以使服务器32具有第一实施方式的车载计算机21所具有的作为远程操作委托装置的功能的全部。在该情况下,服务器32对各车辆20进行监视。然后,在感测到难以继续进行自动驾驶的车辆20或者预测会难以继续进行自动驾驶的车辆20的情况下,从服务器32对远程操作者委托车辆20的远程操作。

Claims (14)

1.一种远程操作委托系统,其特征在于,包括远程操作委托装置,
所述远程操作委托装置具备:
存储器,存储有程序;以及
处理器,与所述存储器耦合,
其中,所述处理器被配置为:在自动驾驶车辆难以继续进行自动驾驶的情况下或者在预测自动驾驶车辆会难以继续进行自动驾驶的情况下,向远程操作者委托所述自动驾驶车辆的远程操作,
所述远程操作具有:
远程支持,由所述远程操作者进行用于所述自动驾驶的判断中的至少一部分;以及
远程驾驶,由所述远程操作者进行所述自动驾驶车辆的转向操作和加减速操作中的至少一方,
所述处理器被配置为:在所述程序的执行时,
在能通过接受所述远程支持而继续进行所述自动驾驶的自动驾驶区域内委托所述远程支持;以及
在所述自动驾驶区域外委托所述远程驾驶。
2.根据权利要求1所述的远程操作委托系统,其特征在于,
所述处理器被配置为:在所述自动驾驶区域内并且在能进行所述远程驾驶的远程驾驶区域内,委托所述远程支持而不委托所述远程驾驶。
3.根据权利要求1或2所述的远程操作委托系统,其特征在于,
所述处理器被配置为:基于至少生成到前方规定时间或前方规定距离的路径来判断所述自动驾驶车辆继续进行所述自动驾驶到所述前方规定时间或所述前方规定距离是否困难。
4.根据权利要求1至3中任一项所述的远程操作委托系统,其特征在于,
所述自动驾驶区域具有预先设定的区域。
5.根据权利要求1至4中任一项所述的远程操作委托系统,其特征在于,
所述自动驾驶区域具有随时间而变化的区域。
6.根据权利要求1至5中任一项所述的远程操作委托系统,其特征在于,
所述处理器被配置为:基于由所述自动驾驶车辆获取的外部信息和内部信息来执行所述自动驾驶区域的内外判定。
7.根据权利要求1至6中任一项所述的远程操作委托系统,其特征在于,
所述处理器被配置为:
在所述自动驾驶区域外并且在能进行所述远程驾驶的远程驾驶区域内,委托所述远程驾驶;以及
在所述自动驾驶区域外并且在所述远程驾驶区域外,使所述自动驾驶车辆停止或者变更所述自动驾驶车辆的轨道。
8.根据权利要求7所述的远程操作委托系统,其特征在于,
所述远程驾驶区域具有预先设定的区域。
9.根据权利要求7或8所述的远程操作委托系统,其特征在于,
所述远程驾驶区域具有随时间而变化的区域。
10.根据权利要求7至9中任一项所述的远程操作委托系统,其特征在于,
所述处理器被配置为:基于由所述自动驾驶车辆获取的外部信息和内部信息来执行所述远程驾驶区域的内外判定。
11.根据权利要求1所述的远程操作委托系统,其特征在于,还包括:
服务器,被配置为通过通信网络与所述远程操作委托装置连接,
其中,所述远程操作委托装置搭载于自动驾驶车辆,
所述远程操作委托装置被配置为:
通过与所述服务器的协作,在能通过接受所述远程支持而继续进行所述自动驾驶的自动驾驶区域内委托所述远程支持;以及
通过与所述服务器的协作,在所述自动驾驶区域外委托所述远程驾驶。
12.根据权利要求11所述的远程操作委托系统,其特征在于,
所述远程操作委托装置被配置为:在所述自动驾驶车辆难以继续进行所述自动驾驶的情况下,或者在预测所述自动驾驶车辆会难以继续进行所述自动驾驶的情况下,将所述自动驾驶车辆所具有的用于所述自动驾驶区域的内外判定的第一信息发送至所述服务器,
所述服务器被配置为:
基于从所述远程操作委托装置发送的用于所述自动驾驶区域的内外判定的所述第一信息和通过所述服务器获取的影响所述自动驾驶的第二信息,来执行所述自动驾驶区域的内外判定;以及
决定是委托所述远程支持还是委托所述远程驾驶。
13.一种远程操作委托方法,其特征在于,包括:
在自动驾驶车辆难以继续进行自动驾驶的情况下,或者在预测自动驾驶车辆会难以继续进行自动驾驶的情况下,计算机向远程操作者委托所述自动驾驶车辆的远程操作;
在能通过接受远程支持而继续进行所述自动驾驶的自动驾驶区域内,委托由所述远程操作者进行用于所述自动驾驶的判断中的至少一部分的所述远程支持;以及
在所述自动驾驶区域外,委托由所述远程操作者进行所述自动驾驶车辆的转向操作和加减速操作中的至少一方的远程驾驶,
其中,所述远程操作具有所述远程支持和所述远程驾驶。
14.一种非暂时性存储介质,储存有程序,该程序能由一个或多个处理器执行,并且使所述一个或多个处理器执行以下的功能,所述非暂时性存储介质的特征在于,所述功能包括:
在自动驾驶车辆难以继续进行自动驾驶的情况下,或者在预测自动驾驶车辆会难以继续进行自动驾驶的情况下,向远程操作者委托所述自动驾驶车辆的远程操作;
在能通过接受远程支持而继续进行所述自动驾驶的自动驾驶区域内,委托由所述远程操作者进行用于所述自动驾驶的判断中的至少一部分的所述远程支持;以及
在所述自动驾驶区域外,委托由所述远程操作者进行所述自动驾驶车辆的转向操作和加减速操作中的至少一方的远程驾驶,
其中,所述远程操作具有所述远程支持和所述远程驾驶。
CN202210611842.5A 2021-06-09 2022-05-31 远程操作委托系统、远程操作委托方法以及存储介质 Pending CN115454036A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021096879A JP2022188661A (ja) 2021-06-09 2021-06-09 遠隔操作依頼装置、遠隔操作依頼システム、遠隔操作依頼方法、及び遠隔操作依頼プログラム
JP2021-096879 2021-06-09

Publications (1)

Publication Number Publication Date
CN115454036A true CN115454036A (zh) 2022-12-09

Family

ID=81975094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210611842.5A Pending CN115454036A (zh) 2021-06-09 2022-05-31 远程操作委托系统、远程操作委托方法以及存储介质

Country Status (6)

Country Link
US (1) US20220397898A1 (zh)
EP (1) EP4102324A1 (zh)
JP (1) JP2022188661A (zh)
KR (1) KR20220166193A (zh)
CN (1) CN115454036A (zh)
BR (1) BR102022011077A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001070A (ko) * 2021-06-25 2023-01-04 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6650386B2 (ja) 2016-11-09 2020-02-19 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
US10621448B2 (en) * 2017-08-02 2020-04-14 Wing Aviation Llc Systems and methods for determining path confidence for unmanned vehicles
EP3690852A1 (en) * 2019-01-29 2020-08-05 Volkswagen Aktiengesellschaft System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component

Also Published As

Publication number Publication date
KR20220166193A (ko) 2022-12-16
BR102022011077A2 (pt) 2022-12-27
US20220397898A1 (en) 2022-12-15
EP4102324A1 (en) 2022-12-14
JP2022188661A (ja) 2022-12-21

Similar Documents

Publication Publication Date Title
CN110281920B (zh) 车辆控制装置、车辆控制方法以及存储介质
US20210179122A1 (en) Autonomous driving vehicles with dual autonomous driving systems for safety
JP7065765B2 (ja) 車両制御システム、車両制御方法、及びプログラム
US11613254B2 (en) Method to monitor control system of autonomous driving vehicle with multiple levels of warning and fail operations
US20200074851A1 (en) Control device and control method
CN111731295B (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
CN111986505B (zh) 控制装置、上下车设施、控制方法及存储介质
US11225228B2 (en) Method for enhancing in-path obstacle detection with safety redundancy autonomous system
CN110949376A (zh) 车辆控制装置、车辆控制方法及存储介质
CN112319475A (zh) 车辆控制装置、车辆控制方法及存储介质
KR102359497B1 (ko) 단일 차량 동작용으로 설계된 자율 주행 시스템에 따른 차량 플래툰 구현
CN112550292A (zh) 车辆控制装置、车辆控制方法及存储介质
JP7048833B1 (ja) 車両制御装置、車両制御方法、およびプログラム
CN112230645A (zh) 用于控制无人驾驶车辆的操纵杆控制的安全机制
US20210284195A1 (en) Obstacle prediction system for autonomous driving vehicles
CN115454036A (zh) 远程操作委托系统、远程操作委托方法以及存储介质
US20220203985A1 (en) Vehicle control device, vehicle control method, and storage medium
JP7092955B1 (ja) 車両制御装置、車両制御方法、およびプログラム
CN113492848A (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
JP7075550B1 (ja) 車両制御装置、車両制御方法、およびプログラム
US11834048B2 (en) Vehicle control device, vehicle control method, and recording medium
JP7425975B2 (ja) 遠隔機能選択装置
JP7096215B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20230406359A1 (en) Collision imminent detection
JP2022143691A (ja) 遠隔機能選択装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination