CN117546219A - 信息处理系统和信息处理装置 - Google Patents

Abstract

本发明提供了一种用于执行移动体的远程操舵的信息处理系统，该信息处理系统包括：信息获取部(104)，其获取关于所述移动体的信息和关于所述移动体周围的信息；以及信息生成部(122)，其基于所获取的信息来生成用于执行所述远程操舵的触觉信息，并且把所生成的所述触觉信息经由与所述触觉信息对应的接口呈现给执行所述远程操舵的操作员。

Description

信息处理系统和信息处理装置

技术领域

本发明涉及信息处理系统和信息处理装置。

背景技术

近年来，关于自动驾驶的技术已经得到了积极发展。自动驾驶技术是一种利用安装在车辆(移动体)上的控制系统来实现道路上的自动行驶的技术，并且该技术被预期为在未来会迅速普及。

引用文献列表

专利文献

专利文献1：日本专利申请特开JP 2020-72401A

发明内容

要解决的技术问题

然而，在现状下，难以使用自动驾驶技术来处置所有情况，在乘坐车辆的用户(驾驶员)无法操纵该车辆的时候，由外部的操作员等提供支援以对该车辆(移动体)执行远程操舵被认为是必要的。然而，因为操作员并非继续乘坐该实际车辆，所以操作员难以准确地掌握车辆的状况和车辆周围的状况，并且难以执行适当的远程操舵。

因此，本发明提出了使得操作员能够快速且准确地掌握车辆的状况和车辆周围的状况并且能够切换到适当的远程操舵的信息处理系统和信息处理装置。

解决问题的技术方案

根据本发明，提供了一种信息处理系统，其用于执行移动体的远程操舵。所述信息处理系统包括：信息获取部，其获取关于所述移动体的信息和关于所述移动体周围的信息；以及信息生成部，其基于所获取的信息来生成用于执行所述远程操舵的触觉信息，并且把所生成的所述触觉信息经由与所述触觉信息对应的接口呈现给执行所述远程操舵的操作员。

此外，根据本发明，提供了一种信息处理装置，其于执行移动体的远程操舵。所述信息处理装置包括：信息获取部，其获取关于所述移动体的信息和关于所述移动体周围的信息；以及信息生成部，其基于所获取的信息来生成用于执行所述远程操舵的触觉信息，并且把所生成的所述触觉信息经由与所述触觉信息对应的接口呈现给执行所述远程操舵的操作员。

注意，被呈现给执行远程操舵的操作员的信息不限于从车辆(移动体)发送过来的信息，而是也包括由区间先导车辆等获取的信息。

附图说明

图1是用于说明自动驾驶等级的示例的说明图。

图2是用于说明根据本发明各实施例的行驶的示例的流程图。

图3是用于说明根据本发明各实施例的自动驾驶等级的过渡的示例的说明图。

图4是示出了车辆控制系统11的配置示例的框图，该车辆控制系统作为应用了本发明技术的移动设备控制系统的一个示例。

图5是示出了感测区域的示例的图。

图6是用于说明管制中心和车辆1之间的关系的说明图。

图7是用于说明操作员的作业过程的概要的说明图。

图8是用于说明操作员的行动判断的说明图。

图9是根据本发明的第一实施例的服务器100的框图的示例。

图10是示出了根据本发明的第一实施例的处理过程的次序图。

图11是示出了着眼于操作员的信息获取的处理过程的次序图。

图12是用于说明根据本发明的第一实施例的HMI的示例的说明图(之一)。

图13是用于说明根据本发明的第一实施例的HMI的示例的说明图(之二)。

图14是用于说明根据本发明的第一实施例的HMI的示例的说明图(之三)。

图15是用于说明根据本发明的第一实施例的HMI的示例的说明图(之四)。

图16是用于说明根据本发明的第一实施例的HMI的示例的说明图(之五)。

图17是用于说明根据本发明的第一实施例的HMI的示例的说明图(之六)。

图18是用于说明本发明的第二实施例的概要的说明图。

图19是示出了根据本发明的第二实施例的信息处理系统的概要的说明图。

图20是用于说明根据本发明的第二实施例的操作员的作业流程的示例的流程图。

图21A是用于说明根据本发明的第二实施例的处理过程的次序图(之一)。

图21B是用于说明根据本发明的第二实施例的处理过程的次序图(之二)。

图22是用于说明根据本发明的第二实施例的HMI的示例的说明图(之一)。

图23是用于说明根据本发明的第二实施例的HMI的示例的说明图(之二)。

图24是用于说明根据本发明的第二实施例的HMI的示例的说明图(之三)。

图25是用于说明根据本发明的第二实施例的HMI的示例的说明图(之四)。

图26是用于说明根据本发明的第二实施例的HMI的示例的说明图(之五)。

图27是用于说明根据本发明的第二实施例的HMI的示例的说明图(之六)。

图28是示出了计算机1000的示例的硬件配置图，该计算机用于实现服务器100的至少一部分功能。

具体实施方式

下面将会参照附图来详细说明本发明的优选实施例。注意，在本说明书和附图中，具有实质上相同的功能构造的构成要素由相同的附图标记和标注表示，因此省略了对这些构成要素的重复说明。另外，在本说明书和附图中，有时通过在相同的附图标记后面附上不同的字母来区分具有实质上相同或相似的功能构造的多个构成要素。然而，当不需要特别区分具有实质上相同或相似的功能构造的多个构成要素各者时，仅附上相同的附图标记和标注。

注意，在本发明的实施例中，以将本发明应用于汽车的自动驾驶的情况为例进行说明。然而，本发明的实施例不限于应用于汽车，还能够应用于诸如汽车、电动车辆、混合动力电动车辆、摩托车、个人机动载具、飞机、船舶、建筑机械和农业机械(拖拉机)等移动体。

注意，按照以下顺序进行说明。

1.自动驾驶等级的示例

2.行驶的示例

3.自动驾驶等级的过渡的示例

4.车辆控制系统的配置示例

5.创建本发明的实施例的背景

6.第一实施例

6.1管制中心

6.2操作员的作业过程的概要

6.3行动判断

6.4LSAD

6.5服务器的详细构造

6.6处理过程的详细说明

6.7HMI的详细说明

7.第二实施例

8.总结

9.硬件配置

10.补充

[1.自动驾驶等级的示例]

首先，在详细说明本发明的各实施例的情况之前，参照图1来说明自动驾驶技术的自动驾驶等级。图1是用于说明自动驾驶等级的示例的说明图。图1示出了由汽车工程师协会(SAE：society of automotive engineers)定义的自动驾驶等级。注意，在下面的说明中，基本上会参照上述由SAE定义的自动驾驶等级。然而，在图1所示的自动驾驶等级的研究中，自动驾驶技术被广泛普及的情况下的课题和妥当性并没有得到彻底研究。因此，在下面的说明中，基于这些课题等，有一些部分未必是按照SAE所定义的解释来进行说明的。

在本说明书中，车辆行驶不是如同前述那样大致被分类为手动驾驶和自动驾驶这两种类型，而是根据系统侧自动执行的任务内容分阶段进行分类。例如，如图1所示，假设自动驾驶等级例如被分类为等级0到等级4这五个阶段(注意，当包含能够实现无人自动驾驶的等级时，自动驾驶等级被分类为六个阶段)。首先，自动驾驶等级0是在没有车辆控制系统的驾驶支援的情况下的手动驾驶(驾驶员的直接驾驶操舵)。驾驶员执行所有的驾驶任务，并且还执行与安全驾驶(例如，疏散动作)相关的监视。

随后，自动驾驶等级1是能够实施车辆控制系统的驾驶支援(自动制动、ACC(adaptive cruise control：自适应巡航控制)和LKAS(lane keeping assistant system：车道保持辅助系统)等)的手动驾驶(直接驾驶操舵)。驾驶员执行除了所支援的单一功能以外的全部驾驶任务，并且还执行与安全驾驶相关的监视。

接下来，自动驾驶等级2也被称为“部分驾驶自动化”。在自动驾驶等级2中，车辆控制系统在特定条件下执行与车辆的前后方向和左右方向上的车辆控制有关的驾驶任务的子任务。例如，在自动驾驶等级2中，车辆控制系统协同地控制操舵操作和加速/减速(例如，ACC和LKAS的协同工作)。然而，即使在自动驾驶等级2中，驾驶任务的执行主体基本上也是驾驶员，并且与安全驾驶相关的监视主体也是驾驶员。

自动驾驶等级3也被称为“带条件的自动驾驶”。在自动驾驶等级3中，车辆控制系统能够在如下的受限的区域内执行所有的驾驶任务：在该受限的区域内，满足能够使车辆控制系统利用安装在车辆上的功能来执行处理的条件。在自动驾驶等级3中，驾驶任务的执行主体是车辆控制系统，并且与安全驾驶有关的监视主体基本上也是车辆控制系统。然而，在该等级中，并不要求车辆控制系统在所有情况下都执行处理。针对车辆控制系统等的介入请求等，期望预备措施时的用户(驾驶员)能够适当地响应这样的介入请求，并且在一些情况下，针对车辆控制系统不能自主发现的被称为所谓无声故障(silent failure)的系统故障，要求用户(驾驶员)能够对这样的系统故障采取措施。

顺便提及，在由SAE定义的自动驾驶等级3中，没有明确定义驾驶员实际上能够执行哪些次要任务(这里，“次要任务”是指驾驶员在行驶过程中执行的与驾驶相关的操作以外的操作)。具体地，可以认为，在自动驾驶等级3的行驶过程中，驾驶员能够执行操舵以外的作业或行动，例如：便携式终端的操作、电话会议、观看视频、阅读、游戏、思考、及与其他搭乘者交谈等次要任务。另一方面，在SAE的自动驾驶等级3的定义范围内，期望驾驶员能够响应于因系统故障或行驶环境恶化等原因而从车辆控制系统侧发出的请求等，适当地采取诸如执行驾驶操作等措施。因此，在自动驾驶等级3中，为了确保安全行驶，驾驶员即使在执行上述次要任务的状态下，也被期望始终处于能够立即恢复到手动驾驶的准备状态。

此外，自动驾驶等级4也被称为“高级驾驶自动化”。在自动驾驶等级4中，车辆控制系统在受限的区域内执行所有驾驶任务。在自动驾驶等级4中，驾驶任务的执行主体是车辆控制系统，并且与安全驾驶有关的监视主体也是车辆控制系统。然而，在自动驾驶等级4中，与上述自动驾驶等级3不同的是，驾驶员不会被期望响应于因系统故障等原因而从车辆控制系统侧发出的请求等来采取诸如执行驾驶操作(手动驾驶)等措施。因此，在自动驾驶等级4中，驾驶员能够执行如上所述的次要任务，并且能够视情况在满足条件的区间中例如进行暂时的小睡。

如上所述，在从自动驾驶等级0到自动驾驶等级2的范围内，驾驶员以如下的手动驾驶模式来行驶，在该自动驾驶模式中，该驾驶员主体性地执行全部或部分驾驶任务的。因此，在这三个自动驾驶等级中，不允许驾驶员从事次要任务，这些次要任务是除了手动驾驶及与其相关的动作以外的行为，例如在行驶过程中会降低注意力或会损害前方注意力的任务。

另一方面，在自动驾驶等级3中，驾驶员以如下的自动驾驶模式来行驶，在该自动驾驶模式中，车辆控制系统主体性地执行所有驾驶任务。然而，如上所述，在自动驾驶等级3中，可能发生驾驶员执行驾驶操作的状况。因此，在自动驾驶等级3中，在允许驾驶员执行次要任务的情况下，要求驾驶员处于能够从次要任务恢复到手动驾驶的准备状态。

此外，在假设了满足允许自动驾驶等级4的车辆行驶的情况时，驾驶员以其中车辆控制系统执行所有驾驶任务的自动驾驶模式来行驶。然而，由于实际的道路基础设施的维护情形、天气变化、或者因飞石或飞来物体等所引起的车辆自身性能变化而导致状况动态地发生变化，因此，有时在行驶旅程的途中发现存在有无法将自动驾驶等级4应用到一部分行驶路线的区间。在这种情况下，例如，在接近且进入该区间之前，要求驾驶员将该区间设定为且过渡为根据条件而被认定的自动驾驶等级2或更低等级。然后，在以这种方式被设定为自动驾驶等级2或更低等级的区间中，要求驾驶员主体性地执行驾驶任务。也就是说，即使在自动驾驶等级4中，如上所述，因为在旅程的途中状况会随着时间而发生变化，所以即使在事先作为自动驾驶等级4而被计划的旅程的途中，实际上也可能发生向自动驾驶等级2或更低等级的过渡。因此，就要求驾驶员处于：在自动驾驶等级的过渡被通知给驾驶员之后，驾驶员能够在适当的提前通知时间下从次要任务恢复到手动驾驶的准备状态。

这里重要的是，在本说明书中，车辆的从自动驾驶等级0到等级4的可控制自动驾驶等级是可以取决于能够实施与自动驾驶区间相当的控制的状况而变化的等级，并且在一般使用中，即使在具有最高到自动驾驶等级4为止的自动驾驶性能的车辆中，也不是始终确保该车辆以上述自动驾驶等级进行行驶。

[2.行驶的示例]

接下来，基于上述自动驾驶等级，参照图2说明根据本发明各实施例的行驶的示例。图2是用于说明根据本发明各实施例的行驶的示例的流程图。如图2所示，在根据本发明各实施例的行驶中，车辆控制系统例如执行步骤S11至步骤S18的步骤。下面就详细说明这些步骤。

首先，车辆控制系统执行驾驶员认证(步骤S11)。该驾驶员认证可以通过如下方式来予以执行：；基于驾驶证或车辆钥匙(包括便携式无线设备)等的所有物认证；基于密码或个人识别号等的知识认证；或者基于面部、指纹、瞳孔虹膜、声纹等的生物特征认证。此外，在本实施例中，可以通过使用所有物认证、知识认证和生物特征认证中的全部或两者以上来执行上述驾驶员认证。在本实施例中，在开始行驶之前通过执行上述这样的驾驶员认证，即使在有多个驾驶员驾驶同一车辆的情况下，也能够与各驾驶员相关联地获取各驾驶员固有的信息(例如各驾驶员的举动、特性等履历)。注意，在本实施例中，当有多个乘客(搭乘者)搭乘该车辆上并且该多个乘客可能成为驾驶员时，优选对所有驾驶员进行认证。

接下来，通过由驾驶员等操作例如稍后所述的人机接口(HMI：human machineinterface)31(参见图4)来设定目的地(步骤S12)。注意，这里，说明了驾驶员上车并且设定目的地的示例。然而，本发明的实施例不限于此。例如，可以在驾驶员上车之前，由车辆控制系统基于手动输入至诸如智能手机等(假定其能够与车辆控制系统通信)中的目的地信息和日历信息来预先设定目的地。可替代地，车辆控制系统可以通过经由礼宾服务获取预先存储在智能手机等或云服务器等(假定其能够与车辆控制系统通信)中的日程信息等自动地预先设定目的地。

然后，车辆控制系统基于所设定的目的地来执行行驶路线等的预制设定。此外，车辆控制系统还获取且更新例如与所设定的行驶路线的道路环境有关的信息，即，对车辆行驶的道路的行驶地图信息总是高密度地予以更新的局部动态地图(LDM：local dynamicmap)信息等。此时，车辆控制系统沿着旅程中的行驶而每隔一定区间就重复获取与车辆即将行驶的区间对应的LDM等。另外，车辆控制系统基于所获取的最新的LDM信息等，适当地更新和重新设定适合于行驶路线上的各区间的合适自动驾驶等级。因此，即使以自动驾驶等级4开始了区间进入，但是当从时时刻刻更新的信息中检测到了向在旅程开始时尚未发现的新的手动驾驶的移交点时，就要求驾驶员识别出用于请求移交的通知且根据改变的场所来采取移交措施。

随后，车辆控制系统开始显示行驶路线上的行驶区间。然后，车辆控制系统根据所设定的自动驾驶等级开始行驶(步骤S13)。注意，当开始行驶时，基于车辆(本车)的位置信息和所获取的LDM更新信息来更新行驶区间的显示。注意，在本说明书中，“行驶”还包括当驾驶员不能从自动驾驶恢复到手动驾驶时自动执行的安全处置，更具体地，还包括由车辆控制系统判断的伴随着例如最小风险策略(MRM：minimal risk maneuver)等的停车。

随后，车辆控制系统适当地执行对驾驶员的状态的监控(观察)(步骤S14)。在本发明的实施例中，通过执行该监控，例如来获取用于判定驾驶员的恢复响应水平的教师数据。在本实施例中，上述监控是在如下的状况下予以执行的：在该状况中，基于含有在旅程开始之后产生的在意料之外的从自动驾驶到手动驾驶的恢复请求的、根据在行驶路线上的各区间中设定的自动驾驶等级来切换驾驶模式时所必需的事先对驾驶员的状态确认以及从定期监控中观察到的驾驶初始状态的推定信息，在适当时刻执行恢复通知，并且必须根据行驶环境随时间的变化来确认驾驶员是否已经响应于这些通知或警报适当地执行了恢复行动。

随后，当车辆基于为行驶路线上的各区间设定的自动驾驶等级到达从自动驾驶模式向手动驾驶模式的切换点时，车辆控制系统判定是否能够切换驾驶模式(步骤S15)。然后，当判定为能够切换驾驶模式(步骤S15为是)时，车辆控制系统前进到步骤S16中的处理，而当判定为不能切换驾驶模式(步骤S15为否)时，车辆控制体系前进到例如步骤S18中的处理。

随后，车辆控制系统切换驾驶模式(步骤S16)。此外，车辆控制系统判定车辆(本车)是否已经到达了目的地(步骤S17)。当车辆已经到达了目的地(步骤S17为是)时，车辆控制系统结束处理，并且当本车还没有到达目的地(步骤S17为否)时，车辆控制系统返回到步骤S13中的处理。此后，车辆控制系统适当地重复步骤S13至步骤S17中的处理，直到车辆到达目的地。此外，在驾驶模式不能从自动驾驶切换到手动驾驶的情况下，车辆控制系统可以利用MRM等执行紧急停车(步骤S18)。

注意，图2的流程图是用于示意性说明的图，并且示出了作为单纯模型的流程，其中省略了关于伴随着移交的详细过程、移交时的状态确认的详细过程、自动控制中的处置处理及判定的详细过程的说明以及详细步骤的描述。即，在步骤S13的处理中，假设还包括当驾驶员无法恢复时自动执行的一系列处置处理，但是省略了对该处置处理的说明。

注意，在本发明的实施例中，即使在相同的道路区间中，可容许的自动驾驶等级也能够根据车辆性能、道路状况和天气等而时时刻刻地发生变化。即使在同一辆车中，在因为装载于本车上的设备的主要污染、传感器的污染等而导致检测性能变劣的情况下，可容许的运行设计域(ODD：Operational Design Domain)有时也会发生变化。因此，在车辆从出发地行驶到目的地的期间内，可容许的自动驾驶等级有时也会发生变化。此外，在请求了从自动驾驶到手动驾驶的切换措施的自动驾驶等级的过渡的情况下，有时也可以设定用于这些措施的移交区间。因此，在本发明的实施例中，基于时时刻刻发生变化的各种各样信息来设定和更新ODD。注意，在本说明书中，与基础设施、行驶环境等相应的可容许的自动驾驶等级各者的实际使用范围被称为“运行设计域”(ODD)。

此外，当为行驶车辆设定的ODD发生改变时，驾驶员被允许执行的次要任务的内容也会改变。换句话说，由于根据ODD，不被允许的次要任务的内容发生了改变，因此驾驶员的被认为是违反交通规则的行动的内容范围也会改变。例如，在自动驾驶等级4的情况下，即使驾驶员被允许执行诸如阅读等次要任务，但是当自动驾驶等级4过渡到自动驾驶等级2时，诸如阅读等次要任务也就成为违法行为。此外，由于在自动驾驶中也存在自动驾驶等级的突然过渡，因此要求驾驶员处于能够根据状况从次要任务立即恢复到手动驾驶的准备状态。

[3.自动驾驶等级的过渡的示例]

随后，参照图3更详细地说明根据本发明各实施例的关于自动驾驶等级的过渡的示例。图3是用于说明根据本发明各实施例的自动驾驶等级的过渡的示例的说明图。

如图3所示，例如假设：当在行驶路线上从自动驾驶等级3和自动驾驶等级4的区间过渡为自动驾驶等级0和1以及自动驾驶等级2的区间时，执行从自动驾驶模式(图3中下侧的范围)到手动驾驶模式(图3中上侧的区域)的切换。

顺便提及，当在自动驾驶模式下行驶时，驾驶员很难有意识地维持能够恢复到手动驾驶的准备状态。例如，当在自动驾驶模式下行驶时，可以想象出驾驶员会沉迷于次要任务，例如睡眠(小睡)、观看电视或视频、或玩游戏。例如，驾驶员仅将手从方向盘上松开，就像手动驾驶时一样有时会注视前方或车辆周围，有时会看书，有时会打瞌睡。驾驶员的觉醒水平(意识水平)根据次要任务的差异而不同。

此外，如果驾驶员在以自动驾驶模式进行行驶的期间内陷入睡眠，那么驾驶员的意识水平或判断水平处于下降状态，即，觉醒水平处于下降状态。由于驾驶员在觉醒水平下降的状态下无法执行正常的手动驾驶，因此如果驾驶员在该状态下将自动驾驶模式切换到手动驾驶模式，那么在最坏的情况下驾驶员很可能会引发事故。因此，即使在觉醒水平处于下降的状态下，也要求驾驶员在从自动驾驶模式切换到手动驾驶模式之前立即恢复到能够在正常意识下驾驶车辆的高觉醒状态(内部觉醒恢复状态)。也就是说，为了确保安全行驶，只有当观察到驾驶员的内部觉醒状态已经恢复时，才能请求执行从自动驾驶模式到手动驾驶模式的切换。

因此，在本发明的实施例中，为了避免诱发事故等，只有当驾驶员处于对手动驾驶模式的恢复响应水平时，即，当已经成功地观察到表示内部觉醒恢复(驾驶员的内部觉醒状态被恢复的状态)的主动应答时，才能执行驾驶模式的这种切换(如图3的中央所示)。在本实施例中，如图3所示，当不能观察到表示内部觉醒恢复的主动应答时，将驾驶模式切换到诸如MRM等紧急疏散模式。注意，在紧急疏散模式中，执行诸如减速、停止、在道路上的泊车或者向道路侧带或疏散场所的泊车等处理。在图3中，关于从自动驾驶等级4到自动驾驶等级3的过渡，由于驾驶员并不总是接近需要通过切换驾驶模式来立即执行作为操作行动的处置的点，因此不可能期望如同上述那样的表示内部觉醒恢复的主动应答的观察本身。然而，本实施例不限于图3所示的示例，并且即使在从自动驾驶等级4到自动驾驶等级3的过渡中，基于上述观察或者观察结果，如果满足即使驾驶员无法执行驾驶操舵或者驾驶员无法执行处置也能够以不会对后续车辆产生不利影响的方式实施远程支援的安全处置及紧急疏散的条件，则也可以执行过渡。注意，即使存在驾驶员的主动应答，该应答有时也是不伴随正常觉醒思考的反射性行动，并且驾驶员未必处于正确掌握所有相关状况的状态。因此，可以说，确保安全性是移交操舵的必要条件。

具体地，当在执行从自动驾驶等级4到自动驾驶等级3的过渡时没有观察到表示内部觉醒恢复的主动应答的情况下，即使根据法律制度驾驶员应该被迫承担恢复到手动驾驶的义务，驾驶员也不总是处于能够适当应对来自车辆控制系统的用作自动驾驶等级3的恢复请求RTI(Request to Intervene：请求介入)的状态。更具体地，对于用作自动驾驶等级3的恢复请求RTI，驾驶员不一定总是处于脑内觉醒状态被恢复的状态，并且不一定总是能够恢复到诸如身体没有麻痹等的能够手动驾驶的身体状态。在这种情况下，如果执行从自动驾驶等级4到自动驾驶等级3的过渡，有可能出现超出车辆控制系统中事先假定的设计思想的情况，并且有可能在驾驶员尚未充分掌握所有状况的所谓做梦状态中或者在驾驶员仍然缺乏状况认知(Situation Awareness)的阶段中引发事故等。因此，在本发明的实施例中，为了减少上述可能性，即使在车辆控制系统侧还不需要向驾驶员(假设能够执行正常的状况认知)发出恢复请求RTI的阶段，为了确认驾驶员的恢复响应水平(例如觉醒水平)，也可以适当地执行预防性的虚拟恢复请求RTI及虚拟控制应答任务提示，并且也可以从应答观察中观察到表示驾驶员的内部觉醒恢复的主动应答。

注意，图3中所示的用于表示自动驾驶等级的过渡的箭头表明了容许自动执行切换的过渡方向。此外，不建议在各箭头的逆方向上过渡，因为这样的过渡会导致驾驶员对车辆控制系统的状态的误认。也就是说，在根据本发明的实施例的车辆控制系统中，较佳的是，车辆控制系统被设计为使得当一旦执行自动驾驶等级的过渡从而将自动驾驶模式自动切换到驾驶员介入的手动驾驶模式时，在没有来自驾驶员的主动指令的情况下，车辆控制系统不会再次自动返回到自动驾驶模式。这样，在驾驶模式的切换中设置方向性(不可逆性)就意味着自动驾驶模式被设计成能够防止在没有驾驶员明确意图的情况下被设定。因此，利用该车辆控制系统，由于仅当驾驶员具有明确意图时才能启用自动驾驶模式，因此，就能够防止：例如当驾驶模式不是自动驾驶模式时，驾驶员却误认为驾驶模式是自动驾驶模式因而轻易开始次要任务。

如上所述，在本发明的实施例中，为了确保安全行驶，仅当能够观察到驾驶员处于内部恢复状态时才能执行从自动驾驶模式到手动驾驶模式的切换。

[4.车辆控制系统的配置示例]

接下来，参照图4说明车辆控制系统11的配置示例，该车辆控制系统11是应用了本发明技术的移动设备控制系统的一个示例。图4是示出了车辆控制系统11的配置示例的框图，该车辆控制系统作为应用了本发明技术的移动设备控制系统的一个示例。

车辆控制系统11设置在车辆1中，并且执行与车辆1的行驶支援及自动驾驶相关的处理。

车辆控制系统11主要包括车辆控制ECU(电子控制单元：electronic controlunit)21、通信部22、地图信息累积部23、位置信息获取部24、外部识别传感器25、车内传感器26、车辆传感器27、存储部28、行驶支援/自动驾驶操舵部29、驾驶员监控系统(DMS：driver monitoring system)30、人机接口(HMI：human machine interface)31和车辆控制部32。

车辆控制ECU 21、通信部22、地图信息累积部23、位置信息获取部24、外部识别传感器25、车内传感器26、车辆传感器27、存储部28、行驶支援/自动驾驶操舵部29、DMS 30、HMI 31和车辆控制部32经由通信网络41彼此可通信地连接。通信网络41例如由诸如控制器局域网(CAN：Controller Area Network)、本地互联网(LIN：Local InterconnectNetwork)、局域网(LAN：Local Area Network)、FlexRay(注册商标)或以太网(注册商标)等符合数字双向通信标准的车载通信网络或总线等构成。可以根据要传输的数据的类型，适当地使用通信网络41。例如，CAN可以应用于与车辆控制有关的数据，并且以太网可以应用于大容量数据。注意，车辆控制系统11的各部件可以不经由通信网络41，而是使用假定在相对较近距离处进行通信的无线通信(例如，近场通信(NFC：Near Field Communication)或蓝牙(注册商标))而直接连接。

注意，在以下说明中，当车辆控制系统11的各部件经由通信网络41进行通信时，省略了对通信网络41的说明。例如，当车辆控制ECU 21和通信部22经由通信网络41进行通信时，仅单纯地描述为车辆控制ECU 21和通信部22进行通信。

车辆控制ECU 21由诸如中央处理单元(CPU：central processing unit)和微处理单元(MPU：micro processing unit)等各种处理器构成。车辆控制ECU 21执行对车辆控制系统11的全部或部分功能的控制。

通信部22与车辆内部和外部的各种设备、其他车辆、服务器、基站等进行通信，并进行各种数据的发送和接收。此时，通信部22可以使用多种通信方式来进行通信。

现在，示意性地说明可由通信部22执行的与车辆外部的通信。通信部22根据诸如第五代移动通信系统(5G)、长期演进(LTE：long term evolution)或专用短程通信(DSRC：dedicated short range communications)等无线通信方式，经由基站或接入点与存在于外部网络上的服务器(以下称为外部服务器)等进行通信。与通信部22进行通信的外部网络例如是互联网、云网络、公司固有网络等。通信部22与外部网络进行通信的通信方式不受特别限制，只要通信方式是能够以预定值以上的通信速度并且以预定值以上的距离来执行数字双向通信的无线通信方式即可。

例如，通信部22能够使用点对点(P2P：peer to peer)技术与存在于本车附近的终端进行通信。存在于本车附近的终端例如是由以相对低速移动的移动体(例如行人或自行车)佩戴的终端、安装在商店等中的固定位置处的终端、或者机器类型通信(MTC：machinetype communication)终端。此外，通信部22也能够执行V2X通信。所谓V2X通信是指本车与其他对象之间的通信，例如本车与其他车辆之间的车-车之间(vehicle to vehicle)通信、本车与路侧设备等之间的车-基础设施之间(vehicle to infrastructure)通信、本车与家之间的车-家之间(Vehicle to Home)通信、以及本车与行人携带的终端等之间的车-行人之间(vehicle to pedestrian)通信。

通信部22能够例如从外部接收用于更新软件的程序(Over The Air：通过无线电波传输)，所述软件用于控制车辆控制系统11的操作。通信部22还能够从外部接收地图信息、交通信息、车辆1周围的信息等。例如，通信部22能够将关于车辆1的信息、车辆1周围的信息等发送到外部。由通信部22发送到外部的关于车辆1的信息的示例例如包括用于指示车辆1的状态的数据和识别部73的识别结果。此外，例如，通信部22执行与诸如eCall(e呼叫)等车辆紧急呼叫系统对应的通信。

例如，通信部22接收由诸如无线电波信标、光学信标或FM多路复用广播等道路交通信息通信系统(VICS：Vehicle Information and Communication System(注册商标))发送的电磁波。

现在，示意性地说明可由通信部22执行的与车辆内部的通信。通信部22能够使用例如无线通信与车内的各种设备进行通信。通信部22能够根据能够通过诸如无线LAN、蓝牙、NFC或无线USB(WUSB：Wireless USB)等无线通信以预定值以上的通信速度进行数字双向通信的通信方式来与车内的设备进行无线通信。不限于此，通信部22还能够使用有线通信与车内的各种设备进行通信。例如，通信部22能够经由与未图示的连接端子连接的电缆，通过有线通信与车内的各种设备进行通信。通信部22能够根据能够通过诸如通用串行总线(USB：universal serial bus)、高清晰度多媒体接口(HDMI：high-definition multimediainterface)(注册商标)或者移动高清晰度链路(MHL：mobile high-definition link)等有线通信以预定值以上的通信速度进行数字双向通信的通信方式来与车内的各种设备进行通信。

这里，车内的设备例如是指车辆中的未连接到通信网络41的设备。作为车内的设备，例如，假定可以是由诸如驾驶员等搭乘者持有的移动设备和可穿戴设备以及带入车内并临时安装的信息设备等。

地图信息累积部23累积从外部获取的地图和由车辆1创建的地图中的一者或两者。例如，地图信息累积部23累积三维精度地图、精度比高精度地图的精度低并且覆盖宽广区域的全局地图等。

高精度地图例如是动态地图、点云地图或矢量地图等。动态地图例如是包括动态信息、准动态信息、准静态信息和静态信息这四个层级的地图，并且从外部服务器等被提供给车辆1。点云地图是由点云(点群数据)构成的地图。矢量地图例如是将交通信息(例如车道和交通信号灯的位置)与点云地图相关联以使其适用于高级驾驶员辅助系统(ADAS：advanced driver assistance system)或自动驾驶(AD：autonomous driving)的地图。

点云地图和矢量地图可以例如从外部服务器提供，或者可以基于相机51、雷达52或LiDAR(激光成像探测及测距装置)53等的感测结果、作为与稍后予以说明的本地地图进行匹配的地图而由车辆1创建出来且累积在地图信息累积部23中。当例如从外部服务器等提供高精度地图时，为了削减通信容量，从外部服务器等获取与车辆1将要行驶的规划路径有关的例如几百平方米的地图数据。

位置信息获取部24从全球导航卫星系统(GNSS：Global Navigation SatelliteSystem)接收GNSS信号，并获取车辆1的位置信息。所获取的位置信息被提供给行驶支援/自动驾驶操舵部29。注意，位置信息获取部24不限于使用GNSS信号的方式，也可以使用例如信标来获取位置信息。

外部识别传感器25包括用于识别车辆1的外部状况的各种传感器，并且将从各传感器提供过来的传感器数据提供给车辆控制系统11的各部件。外部识别传感器25中所包括的传感器的类型和数量是任意可选的。

例如，外部识别传感器25包括相机51、雷达52、LiDAR(光检测及测距装置(LightDetection and Ranging)，或激光成像探测及测距装置(Laser Imaging Detection andRanging))53或超声波传感器54。不限于此，外部识别传感器25也可以被配置为包括相机51、雷达52、LiDAR 53和超声波传感器54中的一种以上类型的传感器。相机51、雷达52、LiDAR 53和超声波传感器54的数量没有特别限制，只要它们能够在现实中安装到车辆1中即可。包含于外部识别传感器25中的传感器的类型不限于该示例。外部识别传感器25可以包括其他类型的传感器。稍后说明包含于外部识别传感器25中的各传感器的感测区域的示例。

注意，相机51的拍摄方式没有特别限制。例如，作为能够执行测距的拍摄方式的飞行时间(ToF)相机、立体相机、单眼相机和红外相机等各种拍摄方式的相机，可以根据需要而被应用于相机51。不限于此，相机51也可以是与测距无关的而仅用于单纯地获取拍摄图像的相机。

例如，外部识别传感器25可以包括用于检测车辆1的环境的环境传感器。环境传感器是用于检测诸如天气、气象和亮度等环境的传感器，并且可以包括诸如雨滴传感器、雾传感器、日照传感器、雪传感器和照度传感器等各种传感器。

此外，例如，外部识别传感器25包括用于检测车辆1周围的声音、声源的位置等的麦克风。

车内传感器26包括用于检测车辆内部信息的各种传感器，并且将从各传感器提供过来的传感器数据提供给车辆控制系统11的各部件。车内传感器26中所包括的各种传感器的类型和数量没有特别限制，只要它们能够在现实中安装到车辆1中即可。

例如，车内传感器26可以包括相机、雷达、落座传感器、方向盘传感器、麦克风和生物传感器中的一种以上类型的传感器。作为车内传感器26中所包括的相机，例如，可以使用诸如ToF相机、立体相机、单眼相机和红外相机等能够执行测距的各种拍摄方式的相机。不限于此，车内传感器26中所包括的相机可以是与测距无关的而仅用于单纯地获取拍摄图像的相机。车内传感器26中所包括的生物传感器设置在例如座椅或方向盘中，并且用于检测诸如驾驶员等搭乘者的各种生物信息。

车辆传感器27包括用于检测车辆1的状态的各种传感器，并且将从各传感器提供过来的传感器数据提供给车辆控制系统11的各部件。包含于车辆传感器27中的各种传感器的类型和数量没有特别限制，只要它们能够在现实中安装到车辆1中即可。

例如，车辆传感器27主要包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和通过将各传感器综合起来而获得的惯性测量单元(IMU：inertial measurementunit)。例如，车辆传感器27包括用于检测方向盘的转向角的转向角传感器、横摆率(yawrate)传感器、用于检测加速器踏板的操作量的加速器传感器、以及用于检测制动器踏板的操作量的制动器传感器。例如，车辆传感器27包括用于检测发动机或电机的转数的旋转传感器、用于检测轮胎的气压的气压传感器、用于检测车轮的滑移率的滑移率传感器、以及用于检测车轮的旋转速度的车轮转速传感器。例如，车辆传感器27包括用于检测电池的剩余电力和温度的电池传感器和用于检测来自外部的冲击的冲击传感器。

存储部28包括非易失性存储介质和易失性存储介质中的至少一者，并且用于存储数据和程序。存储部28例如用作电可擦除可编程只读存储器(EEPROM：electricallyerasable programmable read only memory)和随机存取存储器(RAM：random accessmemory)。作为存储介质，可以应用诸如硬盘驱动器(HDD：hard disc drive)等磁存储设备、半导体存储设备、光存储设备和磁光存储设备。存储部28记录由车辆控制系统11的各部件使用的各种程序和数据。例如，存储部28包括事件数据记录器(EDR：event data recorder)和用于自动驾驶的数据存储系统(DSSAD：data storage system for automateddriving)，并且存储关于在诸如事故等事件前后的车辆1的信息和由车内传感器26获取的生物信息。

行驶支援/自动驾驶操舵部29执行对车辆1的行驶支援及自动驾驶的控制。例如，行驶支援/自动驾驶操舵部29包括分析部61、行动规划部62和操作控制部63。

分析部61对车辆1的状况和车辆1周围的状况进行分析处理。分析部61包括自身位置推定部71、传感器融合部72和识别部73。

自身位置推定部71基于从外部识别传感器25提供的传感器数据和在地图信息累积部23中累积的高精度地图来推定车辆1的自身位置。例如，自身位置推定部71基于从外部识别传感器25提供的传感器数据生成本地地图(local map)，并通过执行本地地图和高精度地图的匹配来推定车辆1的自身位置。车辆1的位置例如以后轮对车轴(rear wheel pairaxle)的中心为基准。

例如，本地地图是通过使用诸如同时定位和映射(SLAM：simultaneouslocalization and mapping)等技术而创建的三维高精度地图、或者是占用格子地图(occupancy grid map)。三维高精度地图例如是上述的点云地图。占用格子地图是通过将车辆1周围的三维或二维空间划分为预定大小的格子、以格子为单位来表示物体的占用状态的地图。物体的占用状态由例如物体的存在或不存在以及存在概率来表示。本地地图还用于例如识别部73对车辆1的外部状况的检测处理和识别处理。

注意，自身位置推定部71可以基于由位置信息获取部24获取的位置信息和来自车辆传感器27的传感器数据来推定车辆1的自身位置。

传感器融合部72执行用于把多个不同类型的传感器数据(例如，从相机51提供的图像数据和从雷达52提供的传感器数据)组合起来以获得新信息的传感器融合处理。作为不同类型的传感器数据的组合方法，有综合、融合和联合等。

识别部73执行用于检测车辆1的外部状况的检测处理和用于识别车辆1的外部状况的识别处理。

例如，识别部73基于从外部识别传感器25提供的信息、从自身位置推定部71提供的信息以及从传感器融合部72提供的信息等，对车辆1的外部状况执行检测处理和识别处理。

具体地，例如，识别部73对车辆1周围的物体执行检测处理和识别处理等。对物体的检测处理是用于检测例如物体的存在或不存在、大小、形状、位置和运动的处理。对物体的识别处理例如是用于识别诸如物体的种类等属性以及用于识别特定物体的处理。然而，检测处理和识别处理并非一定是被清楚地划分的，有时会重叠。

例如，识别部73通过执行用于把基于由雷达52、LiDAR 53等获得的传感器数据的点云分类为点群的各块的聚类(clustering)，来检测车辆1周围的物体。因此，能够检测出车辆1周围的物体的存在或不存在、大小、形状和位置。

例如，识别部73通过执行用于追随通过聚类而被分类出来的点群的块的移动的追踪(tracking)，来检测车辆1周围的物体的运动。因此，能够检测出车辆1周围的物体的速度和行进方向(移动矢量)。

例如，识别部73基于从相机51提供的图像数据来检测或识别车辆、人、自行车、障碍物、构造物、道路、交通信号灯、交通标志、道路标识等。识别部73可以通过执行诸如语义分割(semantic segmentation)等识别处理来识别车辆1周围的物体的类型。

例如，识别部73能够基于在地图信息累积部23中累积的地图、由自身位置推定部71对自身位置的推定结果以及由识别部73对车辆1周围的物体的识别结果，来对车辆1周围的交通规则执行识别处理。通过该处理，识别部73能够识别出交通信号灯的位置和状态、交通标志和道路标识的内容、交通规则的内容、以及可行驶车道等。

例如，识别部73能够对车辆1周围的环境执行识别处理。作为要被识别部73识别的车辆1周围的环境，假设是天气、温度、湿度、亮度和路面状态等。

行动规划部62创建车辆1的行动规划。例如，行动规划部62通过执行用于路径规划和路径追随的处理，来创建行动规划。

注意，路径规划(全局路径规划：Global path planning)是对从起点到终点的大致路径进行规划的处理。该路径规划被称为轨道规划，并且还包括：通过考虑车辆1在所规划路径中的动体特性而在车辆1附近执行的用于使得能够安全且顺畅地前进的本地路径规划的处理。

路径追随是对用于在由路径规划所规划出来的路径上在规划时间内安全且正确地行驶的行动进行规划的处理。行动规划部62例如能够基于路径追随的处理结果来计算车辆1的目标速度和目标角速度。

操作控制部63控制车辆1的操作，以便实现由行动规划部62创建的行动规划。

例如，操作控制部63控制包含于稍后予以说明的车辆控制部32中的转向控制部81、制动器控制部82和驱动器控制部83，并且执行加速控制、减速控制和方向控制，使得车辆1在由轨道规划计算出的轨道上前进。例如，操作控制部63执行以实现ADAS功能为目的的协同控制，所述ADAS功能例如是规避碰撞或缓和撞击、追随行驶、车速维持行驶、本车的碰撞警告和本车的车道偏离警告等。例如，操作控制部63执行以不依赖于驾驶员的操作而自主行驶的自动驾驶等为目的的协同控制。

DMS 30基于从车内传感器26提供的传感器数据、以及输入到稍后予以说明的HMI31的输入数据等，执行针对驾驶员的认证处理、针对驾驶员的状态的识别处理等。在这种情况下，作为要被DMS 30识别的驾驶员的状态，例如，假设是身体状况、觉醒水平、专注水平、疲劳水平、视线方向、醉酒水平、驾驶操作和姿势等。此外，DMS 30可以参考具有会影响驾驶的风险的睡眠障碍、导致意识障碍和睡眠不足的病史、或者一部分生活记录信息等，来执行针对驾驶员的认证处理、以及针对驾驶员的状态的识别处理等。

注意，DMS 30可以执行针对除驾驶员之外的搭乘者的认证处理和针对该搭乘者的状态的识别处理。例如，DMS 30可以基于从车内传感器26提供的传感器数据来执行对车辆内部状况的识别处理。作为要被识别的车辆内部状况，例如，假设是温度、湿度、亮度和气味等。

HMI 31执行各种数据和指令等的输入，并且向驾驶员等呈现各种数据。

现在，示意性地说明通过HMI 31进行的数据的输入。HMI 31包括用于个人输入数据的输入设备。HMI 31基于由输入设备输入的数据或指令等生成输入信号，并且将该输入信号提供给车辆控制系统11的各部件。HMI 31包括作为输入设备的诸如触摸面板、按钮、开关和操纵杆等操作件。不限于此，HMI 31还可以包括能够利用语音、手势等的除了使用手动操作之外的方法来输入信息的输入设备。此外，HMI 31可以使用例如利用红外线或无线电波的遥控设备、或者诸如与车辆控制系统11的操作对应的移动设备或可穿戴设备等外部连接设备作为输入设备。

现在，示意性地说明HMI 31对数据的呈现。HMI 31针对搭乘者或车辆外部生成视觉信息、听觉信息和触觉信息。HMI 31执行用于控制所生成的这些类型的信息的输出、输出内容、输出时刻、输出方法等的输出控制。HMI 31生成作为视觉信息的例如由操作画面、车辆1的状态显示、警告显示、用于指示车辆1周围状况的诸如监控器图像等图像、或者光表示出来的信息，并且将这些信息输出。HMI 31生成作为听觉信息的例如由诸如语音引导、警告音和警告消息等声音表示出来的信息，并且将这些信息输出。此外，HMI 31生成作为触觉信息的例如通过力、振动或运动等赋予给搭乘者触觉的信息，并且将这些信息输出。

作为HMI 31的用于输出视觉信息的输出设备，例如，可以采用通过自身显示图像来呈现视觉信息的显示设备、或者通过投影图像来呈现视觉信息的投影设备。注意，显示设备除了可以是包括普通显示器的显示设备之外，也可以是在搭乘者的视野中显示视觉信息的设备，诸如平视显示器、透过型显示器、或具有增强现实(AR：augmented reality)功能的可穿戴设备。在HMI 31中，作为用于输出视觉信息的输出设备，也能够采用如下的显示设备，该显示设备可以包含于在车辆1中设置的导航装置、仪表板、相机监控系统(CMS：cameramonitoring system)、电动反射镜(electronic mirror)、或灯等中。

作为HMI 31的用于输出听觉信息的输出设备，例如，可以采用音频扬声器、头戴式耳机或耳机。

作为HMI 31的用于输出触觉信息的输出设备，例如，可以采用使用了触觉技术的触觉元件。触觉元件被设置在例如车辆1的搭乘者能够与之接触的例如方向盘或座椅等部分中。

注意，上述的用于输出听觉信息的输出装置、用于输出触觉信息的输出装置等除了用作对驾驶员的通常信息的通知装置外，当在车辆1的系统自我诊断中发现了部分故障的情况下或者在敦促车辆1的定期维护的情况下，上述两种输出装置还可以发出用于模拟当车辆1处于故障状况时所产生的异常声音的异常声音或异常振动。以这种方式，上述的用于输出听觉信息的输出设备、用于输出触觉信息的输出装置等可以被扩展地用作如下的HMI：该HMI是用于防止诸如尾灯等灯的通知被用户忽视的一种信息传递装置。

车辆控制部32执行对车辆1的各部件的控制。车辆控制部32包括转向控制部81、制动器控制部82、驱动器控制部83、车身系统控制部84、灯控制部85和喇叭控制部86。

转向控制部81对车辆1的转向系统的状态进行检测、控制等。转向系统例如包括含有诸如方向盘等的转向机构和电动助力转向器(electric power steering)。转向控制部81包括例如对转向系统进行控制的转向ECU和对转向系统进行驱动的致动器。

制动器控制部82对车辆1的制动系统的状态进行检测、控制等。制动系统例如包括含有诸如制动器踏板等的制动机构、防抱死制动系统(ABS：antilock brake system)和再生制动机构(regenerative brake mechanism)。制动器控制部82例如包括对制动系统进行控制的制动ECU和对制动系统进行驱动的致动器。

驱动器控制部83对车辆1的驱动系统的状态进行检测、控制等。驱动系统例如包括：用于产生驱动力的驱动力产生装置，例如加速器踏板、内燃机或驱动电机等；以及用于将驱动力传递到车轮的驱动力传递机构。驱动器控制部83例如包括对驱动系统进行控制的驱动ECU和对驱动系统进行驱动的致动器。

车身系统控制部84对车辆1的车身系统的状态进行检测、控制等。车身系统例如包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、空调、安全气囊、安全带和换档杆。车身系统控制部84例如包括对车身系统进行控制的车身系统ECU和对车身系统进行驱动的致动器。

灯控制部85对车辆1的各种灯的状态进行检测、控制等。作为要被控制的灯，例如，假设是前照灯、尾灯、雾灯、转向信号灯、刹车灯、投影灯和保险杠的显示器。灯控制部85包括对灯进行控制的灯ECU和对灯进行驱动的致动器。

喇叭控制部86对车辆1的汽车喇叭的状态进行检测、控制等。喇叭控制部86例如包括对汽车喇叭进行控制的喇叭ECU和对汽车喇叭进行驱动的致动器。

图5是示出了包含有图4所示的外部识别传感器25的相机51、雷达52、LiDAR 53和超声波传感器54等的感测区域的示例的图。注意，在图5中，示出了从上方观察车辆1的状态，并且左端侧是车辆1的前端(前面)侧，右端侧是车辆的后端(后面)侧。

感应区域101F和感应区域101B表示超声波传感器54的感测区域的示例。感测区域101F利用多个超声波传感器54来覆盖车辆1的前端周边。感测区域101B利用多个超声波传感器54来覆盖车辆1的后端周边。

感测区域101F和感测区域101B中的感测结果例如用于车辆1的泊车支援。

感测区域102F和感测区域102B表示针对短距离或中等距离的雷达52的感测区域的示例。感测区域102F在车辆1的前方覆盖到比感测区域101F更远的位置。感测区域102B在车辆1的后方覆盖到比感测区域101B更远的位置。感测区域102L覆盖车辆1的左侧面的后方周边。感测区域102R覆盖车辆1的右侧面的后方周边。

感测区域102F中的感测结果例如用于检测存在于车辆1前方的车辆、行人等。感测区域102B中的感测结果例如用于车辆1后方的防碰撞功能等。感测区域102L和感测区域102R中的感测结果例如用于检测车辆1侧方的盲区中的物体。

感测区域103F和感测区域103B表示相机51的感测区域的示例。感测区域103F在车辆1的前方覆盖到比感测区域102F更远的位置。感测区域103B在车辆1的后方覆盖到比感测区域102B更远的位置。感测区域103L覆盖车辆1的左侧面的周边。感测区域103R覆盖车辆1的右侧面的周边。

感测区域103F中的感测结果可以用于例如交通信号灯或交通标志的识别、防止车道偏离的辅助系统、或者自动前照灯控制系统。感测区域103B中的感测结果可以用于例如泊车支援和环视系统。感测区域103L和感测区域103R中的感应结果可以用于例如环视系统。

感测区域106表示LiDAR 53的感测区域的示例。感测区域106在车辆1前方一直覆盖到比感测区域103F更远的位置。另一方面，感测区域106在左右方向上具有比感测区域103F更窄的范围。

感测区域106中的感测结果用于例如检测周围的诸如车辆等物体。

感测区域105表示针对长距离的雷达52的感测区域的示例。感测区域105在车辆1的前方一直覆盖到比感测区域106更远的位置。另一方面，感测区域105在左右方向上具有比感测区域106更窄的范围。

感测区域105中的感测结果用于例如自适应巡航控制(ACC：adaptive cruisecontrol)、紧急制动和规避碰撞。

注意，包含于外部识别传感器25中的相机51、雷达52、LiDAR 53和超声波传感器54等各传感器的感测区域可以具有除了图5所示的构造之外的各种构造。具体地，超声波传感器54也可以感测车辆1的侧方，或者LiDAR 53也可以感测车辆1的后方。各传感器的安装位置不限于上述示例。各传感器的数量可以是一个或者可以是多个。

[5.创建本发明的实施例的背景]

接下来，在说明本发明的实施例之前，先说明导致本发明人创造本发明的各实施例时的背景。首先，将会说明远程驾驶支援服务的使用示例。

作为用于提供从管制中心提供的远程操舵支援服务的情况的一个示例，其是这样的情况：当车辆1以自动驾驶行驶时，尽管自动驾驶区间结束并且切换到手动驾驶区间，但是发生了驾驶员也不能适当地交接该手动驾驶的情况。在这种情况下，有时要求管制中心的操作员(管制员或远程操舵者)采取其中该操作员必须立即采取措施的紧急措施。而且，在这种情况下，具体地，由于目标车辆1处于有各种各样的车辆1正在通行的一般道路的道路区间中，并且有多个车辆1同时在目标车辆1周围行驶，如果目标车辆1在该道路区间中骤然减速、或者执行诸如疏散停车等MRM或MRC(最小风险条件：minimal risk condition)，就会存在着会引发交通拥堵或诸如后续车辆追尾等事故的高风险。因此，操作员需要一边保持巡航速度且一边快速且顺利地进行目标车辆1的驾驶的移交，由此执行操舵直到能够确保车辆1的安全为止。

另一方面，例如，可以设想如下的情况：在规定路线中以低速行驶的车辆1(例如巡游巴士)中，当发生异常时为了继续自动驾驶中的行驶而接受远程操作支援服务的情况。然而，在这种情况下，由于目标车辆1能够减速、缓行、停车和处于待命状态等，因此可以认为管制中心的操作员立即采取措施的紧急措施不一定总是必要的。

另外，即使自动驾驶技术有了很大的进步，但是车辆控制系统也难以执行全部的超出了人类能力的状况处置，并且也难以在所有车辆1上都安装具有高级万能性能的车辆控制系统。因此，可以认为，除了上述这些情况之外，还有许多需要操作员通过远程操舵来提供支援的情况。

即，可以说，如上所述，从管制中心提供的远程操舵支援服务的使用形式和使用紧迫性是各种各样的。因此，为了确保目标车辆1的安全，要求操作员无过量或无不足地确认具有高的支援必要性的车辆1的信息、该车辆1行驶的路线的状况等，事先掌握支援所需的信息，并基于所掌握的信息来处置事件。注意，例如，当车辆1在从自动驾驶区间前进到手动驾驶区间的切换点之后的某个切换点向管制中心请求了远程操舵支援时，车辆1很有可能陷入无法立即获得支援的状况。在这种情形下，车辆1除了例如通过MRM进行紧急停车之外没有其它选择。换言之，例如，即使从某一车辆1接收到远程操舵请求，当管制员和操作员正在处置其他车辆时，就会拒绝该请求，因而车辆1必须等待很长时间，并且最终执行MRM的紧急停车的可能性很高。

顺便提及，近年来，诸如低速移动服务(Low Speed Mobility Service)等使用形式是已知的，该低速移动服务即：假定在窄范围内使用的所谓出行即服务(MaaS：Mobilityas a service)。这种使用形式是专门被称为“最后一英里(Last One Mile)”等的无人自动驾驶车辆的使用形式，该使用形式包括：在不使用主干道的既定的低速行驶路线上运行的校车、和在人烟稀少的地区公共运行的车辆1等。当向这种低速移动设备提供远程操舵支援时，可以考虑到的是，操作员会远程观察和监视车辆1是否处于陷入处置困难的状况中，并且当判定为处置困难的状况时或者当存在请求时操作员就执行远程操纵。在这种情况下，一个操作员可以同时监控多个车辆1、接收请求、并且根据该操作员自身的空闲状况来处置各车辆1。这样的运用被认为接近于在电梯中运用的监控系统。然而，对于在公共道路上行驶的车辆1，即使在不一定需要立即采取措施的情况下，与电梯不同的是，也不宜将该车辆1置于长时间待命的状态。因此，在当前正在摸索的运用中，假设被限定为一个操作员对一个或数个车辆1进行处置。

然而，如果需要支援的车辆1的数量和操作员的数量相同，则这种运用与操作员直接乘坐车辆1并驾驶车辆1的情况没有太大区别。因此，没有远程执行支援的优势。例如，即使假设在自动驾驶区间中行驶的车辆1中的大约10％以下车辆需要操作员的支援，并且假设包括操作员进行远程操舵支援的准备时间在内的用于处置车辆1所要花费的时间需要是在实际执行远程操舵时的时间的两倍长的时间，操作员被认为有多个在该车辆1的处置中未被占用的时间段。因此，在这样的时间段中，操作员也应当在时间方面能够支援其他车辆1。此外，人们认为，由于人力短缺而导致目前管制中心的管制员和操作员的数量被认为是有限的人数，并且很难为每一辆车分配一名操作员。也就是说，为了应对不知何时会发生的事件，将许多管制员和操作员置于待命状态，这在成本方面是很难的。

另外，由于操作员的数量有限，即使能够将操作员分配给车辆1，操作员也难以对需要支援的车辆1事先且连续地执行充分的状况把握。于是，当没有成功地执行这种状况把握时，就可能无法执行快速且迅速的移交。特别地，当车辆1在自动驾驶期间接近于该车辆1能够使用自动驾驶的ODD结束的状况时，除非自动驾驶能够快速地移交到手动驾驶或由操作员进行的远程操舵，否则就需要诸如通过被称为MRM或MRC的控制将车辆1停止于道路上或者将车辆1移动到路肩且使车辆1停止等的紧急处置的控制。如果作为执行这种突然停车的结果而在道路上发生了交通堵塞或视野变劣，则会导致追尾事故的发生等。因此，由于在社会上的影响较大，对于远程操舵支援服务进而达成最终的自动驾驶而言，难以获得社会认可。

想要推进自动驾驶的引入有各种理由，这里例举的理由有：发生事故的主要原因之一是人为的操舵错误。这种事故可以通过自动化来得以减少。由于人为的错误有时是因长时间从事驾驶操舵作业而积攒的疲劳等引起的，因此可以期望通过在驾驶操舵的一部分或一定区间中由系统的自动驾驶代替驾驶操舵作业从而减轻驾驶员的负荷，来减少人为的错误。此外，为了弥补运用于社会所需的交通手段的硬件中的驾驶员人数的减少，使公共车辆通过自动驾驶来行驶也是一种社会需求。

可以想到，随着自动驾驶技术的进一步改进以及越来越多的各种各样状况可以逐渐得到自动处置的情况，远程操舵支援的必要性会降低。然而，即使这样，可以想到的是，与其等待万能性能的实现，不如通过在必要的区间等中进行远程操舵支援的同时，谋求早期实现自动驾驶技术的实用化、充实化和高级化，并且将自动驾驶技术引入社会中，以促进自动驾驶技术进一步发展和加速，从而解决社会问题。

如上所述，在远程操舵支援中，如果车辆1和操作员保持一对一，则不能说能够享受到通过自动驾驶技术的社会引入而获得的所有优点。因此，要求优先将操作员分配给具有高的必要性的被支援车辆，对于能够置于待命状态的车辆1进行降低分配优先级的调整，以取得操作员的供给和支援请求的需求的平衡，并且实现远程操舵支援的无过量或无不足的高效率运用。也就是说，要求把多个被支援车辆1的需求与执行实际支援的有限人数的操作员的供给均衡化，以不中断即时支援的供应的方式谋求车辆1和操作员之间的配对。为了以上说明的均衡化，优选地让配对具有灵活性，即，使得一个操作员并不固定与该操作员对应的车辆1，而是能够根据状况的变化在多个操作员之间一边执行移交一边对车辆1进行处置。

然而，如果对应的车辆1不是固定的，则操作员难以事先获取和掌握目标车辆1的远程操舵所需的信息。具体地，当在各种各样环境中突然要紧急支援未指定的多个车辆1时，作为在配对之前能够由操作员事先获取的信息，仅仅是所负责区域中的道路在通常时间下的状况。因此，难以使为了准确地执行所分配车辆1的远程操舵而必需的状况认知(Situation Awareness)事先达到较高水平。

进行操作的操作员的处置能力往往会随着作业负荷而发生很大变化。因此，从安全的角度来看，理想的是，一个操作员总是处置一辆车辆1以减少作业负荷。然而，如上所述，在确保操作员的人力资源和成本方面是存在问题的。因此，除非能够找到相当大的优势，否则在使用如此丰富的资源方面的运用总是难以执行的。因此，现实中，多个车辆1以时分方式(time-division manner)分配给一个操作员。也就是说，例如，管制员按照优先级的降序顺序将车辆1分配给处于空闲状态的操作员。此时，为了将操作员的能力维持在一定水平或更高水平，管制员需要一边意识到对于施加给一个操作员的作业负荷的优化、一边进行分配。

注意，操作员的一系列作业的流程可以认为是这样的流程：并行地监视同时申请了支援的多个车辆1，并且在这些车辆1的待命期间内，一边在头脑中整理通过监视获得的信息一边理解这些信息，并且基于该理解，对车辆1进行远程操舵直到车辆1通过必要的区间，然后等待下一次支援请求。这里，如果在待命期间过多地执行了车辆1的支援请求，那么操作员的大脑超过了能够完成判断的能力，所谓大脑中的智能信息传输达到堵塞状态，使得判断迟钝，结果就导致错误判断的概率增加了。因此，不宜过多地增加操作员同时追踪的目标的数量。此外，如上所述，操作员的作业负荷不仅包括当单纯地执行操舵时的负荷，而且还包括用于在待命阶段中获取和理解信息的负荷。具体地，作为关于请求支援的车辆1的信息的获取，操作员在实际远程操舵开始之前，除了要获取关于车辆类型、货物等的信息之外，还要获取诸如被支援区间中的道路状况、道路特性、拥堵和事故发生等的信息。

此外，在将车辆分配给操作员时，并不是单纯地要求操作员的作业负荷总是处于低负荷状态即可。众所周知，当作业人员的系统的自动化等而导致作业负荷的程度降低时，也会引起新的问题。换言之，在通过自动化等使得作业人员的负荷降低的系统中，大大减少了作业人员所被要求的专注负荷。因此，已知的是，对作业的专注力被消除了，不是变得安全了，而是会导致严重的事故。

这里，使用手动驾驶作为示例来考虑上述理由。作业负荷的减少所带来的安全负面影响的最重要示例是在单调的道路上驾驶，此时在行驶过程中几乎没有变化。在这样的道路上，由于即使驾驶员不太积极地介入操舵，车辆也会按原样行驶，因此驾驶员对于该行驶的周边监控中的专注力会减少，并且驾驶员会陷入散漫驾驶，从而导致事故。即使是执行远程驾驶支援的操作员，情况也是一样的。要支援的车辆目标的数量极端地减少，不需要进行支援请求的追踪，并且当作业负荷持续不断减少时，针对请求的感觉就变得迟钝。这源于大脑中为了应对风险而发生的心理资源的分配。在为了应对风险而施加了一定压力的状态下，促进对风险因子的判断的脑内(与相关信息关联的记忆突触(synapse of memory))电位维持在被激活的状态。另一方面，当操作员单纯地处于散漫的待命状态时，该状态不会变为催促注意确认等的状态。在这种情况下，注意力没有受到思考的约束，无意识中就把大脑中的许多心理资源大量消耗掉了，注意确认被忽视了。因此，要求操作员能够取得适当的紧张状态和在紧张状态之间得到适当的休息的平衡运用。

此外，要求操作员掌握与所分配的车辆1有关的情况并迅速交接驾驶。如果不能执行这样的运用，则所必需的支援就会延迟，并且可能在交通量大的道路网或车道中由于紧急停车、缓行疏散、减速等而导致拥堵，或者在前方视野不佳的道路区间中由于车辆突然减速而导致的二次追尾事故，从而造成许多社会负面影响。也就是说，为了让操作员有效地提供快速的远程操舵支援服务，需要如下的HMI：该HMI能够获得操作员在执行及时和适当的操舵时所必需的状况认知。更具体地，HMI是十分重要的，通过利用HMI，操作员能够将状况认知提高到足以在从车辆1的分配到实际远程操舵被执行的相对短的时间内开始正常和顺畅的远程操舵的水平。然后，通过利用这样的HMI，操作员能够依次获取一定的事先信息，了解诸如被支援车辆1所处的状况等在执行及时和适当的远程操舵时所必需的事先信息，并且基于该理解，对操舵时所必需的车辆类型、道路状况、乘客信息等进行每种风险的心理资源分配，以最大限度地提高支援所需的状况认知的水平。

因此，鉴于这种情形，本发明人创造了以下所说明的本发明的实施例。本发明提出了与一个操作员远程操舵多个车辆1的运用中的HMI有关的实施例。

具体地，对于对车辆1进行远程操舵的操作员，需要掌握与车辆控制有关的一系列状况。即，操作员需要诸如下列的一系列信息，例如：以什么样的车辆特性在什么类型的车辆上装载什么样的负载、乘客等，以及需要什么类型的支援来对状况进行处置。特别地，在行驶过程中的操舵支援中，除非及时提供这些信息，否则无法进行适当的远程操舵，并且临时移交中不适当的操舵措施还会诱发事故。因此，在执行远程操舵之前，有必要将操作员的在操舵控制时所必需的状况认知提高到足够的水平。同时，操作员需要根据自身所掌握的情况，判断能够多快地处置，并且执行在达到移交完成点之前的时间分配。

例如，对于诸如飞机事故和外科手术中的医疗事故等各种各样事故，主要原因往往是：不能准确地掌握必要的信息、错误地执行处理、错误地进行了时间分配、或者由于掌握不及时而忽略了处理。为了不引起这些事故，强烈要求使用被用作提高状况掌握(即状况认知)的水平的机制的适当HMI和能够经由该HMI向操作员呈现的信息收集机制(进而，还要求区间通过先导车辆等)。

根据本发明的实施例，当操作员从未指定的多个车辆1接收到远程操舵支援的请求时，能够以适当的形式和适当的时机提供作为实际远程操舵所需要的信息的目标车辆1及目标车辆1的周边。根据本实施例，能够快速地执行适当的判断和处理。结果，可以实现在不勉强地迫使行驶中的车辆1停车和待命的情况下能够维持顺畅行驶的远程支援。下面就说明由本发明人创造的本发明的各实施例的细节。

[6.第一实施例]

<6.1管制中心>

首先，参照图6说明根据本发明的第一实施例的管制中心。图6是用于说明管制中心和车辆1之间的关系的说明图。

为请求支援的车辆分配操作员的管制员和执行实际远程操舵的操作员都属于管制中心。管制中心能够向车辆1提供远程操舵支援服务。注意，在本实施例中，基本上，管制员对操作员和车辆1进行分配(匹配)，并且当确定了分配时，管制员恢复到整体交通的监控业务，并且不介入个别的远程支援本身。注意，作为管制员继续应对的限定性用例的情况，可以举例这样的情况，即：即使操作员已经交接了驾驶(已经开始了远程操舵)，但也已经发生了应对不完善的情况，并且已经有必要进行用于预防发展成事故等的紧急处置。即使在这种情况下，例如，管制员基本上也仅限于发送紧急处置命令，向管制服务器报告关于交接不完善的风险事件的发生，并启动用于自主紧急情况的MRC。通过让管制员能够进行这些类型的处置，以便在操作员的突然身体状况恶化或无法应对的情况下，能够为紧急停车等指令的发送留出余地，从而可以事先将异常情况的发生通知给车辆1的后续车辆，并且降低诸如追尾等二次损害的风险。

具体地，如图6所示，管制中心(具体地，服务器)能够经由基站接收来自车辆1的支援请求。支援请求车辆1的示例包括普通车辆(乘用轿车和商务车)、中型配送车辆、大型物流车辆、大型牵引联接车辆、编队行驶车辆、最后一英里低速车辆和无人配送车辆。

管制中心的服务器可通信地连接到实际执行远程操舵的操作员的HMI等。注意，例如，在操作员之中，可以为每个支援目标提供专用团队。专用团队的示例可以包括：可以支援各种车辆的混合支援专用团队、用于支援普通乘用轿车的轿车专用团队、用于支援大型车辆的大型车辆专用团队、用于支援低速车辆的低速自动驾驶(LSAD)专用团队、以及用于支援特殊车辆的特殊车辆专用团队。操作员可以被分成这样的小组。

此外，管制中心为了分配和操舵支援，与用于存储用作基础设施的道路的地图信息(LDM)和诸如所负责区域的天气等环境信息并且用于发送这些信息的服务器可通信地连接。例如，管制中心从服务器获取依次更新的基础设施信息(与道路状况、事故等有关的信息)、气象、天气信息、日历信息、可以用作学习数据的服务使用统计信息、服务使用预定信息、以及车辆疏散中心的容许收容余量信息。基于这些类型的信息，管制中心的服务器能够预测通信基础设施的裕度，预测服务提供的裕量，预测需要支援的车辆1的支援紧迫性，选择要与作为支援目标的车辆匹配的操作员的候选者，并且生成管制员和操作员的工作时间表。注意，管制中心的服务器能够通过对所获得的信息进行统计处理或执行机器学习来执行上述预测等。

需要支援的车辆1原本是假定在自动驾驶中行驶的车辆1。因此，假设在车辆1行驶的区间中，具备用于自动驾驶的基础设施，并且在车辆1周围也行驶有配备了ADAS设备的车辆1。因此，管制中心具有如下这样的机制：该机制不仅能够获取与被支援车辆1直接关联的感测数据(例如，当车辆1行驶时摄入的感测数据)，而且还能够获取在相关区域的的LDM云中摄入的信息。通过让这些类型的信息融合，适当地且选择性地提供与实际执行远程驾驶支援的操作员相关的判断所需的信息，并且操作员通过操作HMI来事先开始掌握状况。因此，可以提高一旦实际开始远程操舵时所需的状况认知能力。

注意，在自动驾驶的运用中，用于获得关于行驶的信息的手段是必要的。然而，在许多道路上，通过基础设施投资在所有区间中都安装摄像头等被认为是不现实的。因此，提供如下这样的机制被认为是现实的，在该机制中，作为对许多车辆1获得诸如道路图像等信息的回报，本车1也发送诸如相机图像(例如在经过的区间中的坠落物发现、洪水信息、降雪信息等)、风险通知等信息，并且与基础设施和诸如后续车辆等周边行驶车辆共享信息。这样的功能可能并不一定总是安装在所有的车辆1上。然而，只要有几台具有周边监视功能的配备有ADAS功能的车辆1正在行驶，就可以共享信息。由于从车辆1获得的风险通知的可靠性可能存在问题，因此优选的是，一旦将风险通知通知给管制中心，并且在管制员或系统迅速做出判断之后，根据需要在相关车辆1之间共享风险通知。

即，风险信息的循环利用得到推进，其中，包括本车在内的在公共道路上行驶的许多车辆中，该系统自动检测可能是后续车辆通过区间的风险的信息，或者驾驶员等感测到该信息并通过例如按下通知按钮等将LDM通知给本地交通管理云和信息更新生成云，并且根据信息提供者的可靠性来利用通知信息。在通常的手动驾驶中，驾驶员不仅看着前方车辆的后面，而且远方的状况也会进入视野，无意识地捕捉到在行驶道路前方的视野中无意看到的诸如事故和施工等各种风险情况，并且驾驶员在状况认知提高的情况下接近、处置和通过各地点。在用于切换支援车辆的支援车辆切换类型的远程操舵中，与上车且直接操舵该车辆时所不同的是，难以掌握与在驾驶员座椅上连续向前看而获得的相同的视觉情况。因此，取而代之的是，基于由前行车辆等补充和提供的信息，将具有高可靠性和可信度的信息与时常更新的LDM的信息一起提供给操作员。因此，可以提高道路风险的状况认知。

由管制中心提供的服务不仅限于远程操舵支援，还可以包括用于利用先导领航车辆引导目标车辆1的行驶的服务。因此，优选的是，管制中心还经由基站与作为执行先导支援的先导车辆的候补者的车辆1可通信地连接。

当远程操作员执行远程操舵时，远程操作员并不总是需要直接操纵被支援的车辆。当操作员要实现对车辆1的直接支援时，假定操作员需要从被支援车辆1经由无线通信获得安全行驶所需的车辆1的整个周边的高程度准确的信息。因此，由于需要提高设备性能，因此车辆1必然会变得昂贵，并且还可预测到很难广泛且普遍地购买车辆1的情况。因此，在进行远程驾驶支援时，可以在被支援车辆和操作员之间进一步分散地设置一辆专用的牵引服务车辆，使该牵引服务车辆获取周围环境信息，并进行高程度高速的通信，远程操作员可以基于从该牵引服务车辆获取的信息，引导牵引服务车辆并以电子牵引的形式，支援被支援车辆1使其通过行驶区间。这里，虽然设置有牵引服务车辆，但该车辆实际上可以是两轮车、三轮车或底盘良好的小型车辆，或者可以使用诸如无人机等不同于普通车辆形态的移动体作为先导、远程操舵时的信息获取设备。特别地，在支援车辆在自动驾驶中行驶的时常更新的LDM的准备和运用中，由于要求底盘良好的移动体快速响应道路环境和事故发生的随时间变化以及信息收集，因此还设想在道路有风险的关键的主要点上，以探测的信息收集为主要目的来设置这些移动体。因此，可以使用与这种用法共同的运用。

<6.2操作员的作业过程的概要>

接下来，参照图7来说明操作员的作业过程的概要。图7是示出了操作员的作业过程的概要的说明图。

假设操作员也类似于乘坐在车辆1中的驾驶员，并且大脑的思考能力表现得与一般驾驶员的思考能力基本相同。此外，一般来说，人能够同时处理的思想是有限的。同时并行思考多个事物的能力很差。因此，优选的是，在一定程度上限制要呈现给操作员的信息。如果从一开始就呈现需要处置的关于车辆1的所有信息，那么操作员的工作记忆(WorkingMemory)就会专注于掌握所有的信息，并且即使在地图上给出了俯瞰信息，操作员的工作记忆也会被最初呈现的信息所占有，并且会忽略通过俯视地图就可以理解的信息。

因此，要呈现给操作员的信息优选地以以下方式为中心和顺序提供：

1.关于支援车辆所处的周围状况的信息；

2.有关车辆动态特性的信息；以及

3.行驶场景的运动图像。

注意，上述的工作记忆是指能够由容量有限的大脑同时执行的记忆任务。然后，状况认知由获取信息的机制生成，该信息是随着时间的推移具有下降风险的记忆信息，并且是最新动作判断所必需的大脑感知到的信息。通过由大脑捕获、由大脑选择并暂时保留，能够将信息与动作判断所需的情况把握联系起来。

在操作员获得稳定远程操舵所需的信息并切换到稳定远程操舵之前，工作记忆会暂时被占用，以进行过度的情况掌握。然而，当操作员逐渐操舵稳定的远程操舵时，就很容易获取新的信息。因此，优选根据操作员的情况来提供信息。此外，当操作员已经转换到稳定的远程操舵时，还可以在远程操舵结束之后开始准备要处理的车辆1的远程操舵。也就是说，可以获取关于在当前时间点已经完成远程操舵的下一目标车辆1的信息。也就是说，从切换各种各样的被支援车辆1开始，如果在行驶过程中突然获取的周围图像被一个接一个地显示以请求操作员执行操舵，则根据周围情况，信息可能过多，状况判断无法赶上信息，并且操作员出现恐慌，或者可能执行不伴随着目标动作思考的瞬间反射性操舵。

具体地，如图7所示，管制员通过显示广域地图的监控器以俯瞰方式掌握负责区域的状况。然后，当从车辆1向管制中心发送支援请求时，管制中心指定与该支援请求对应的车辆，并在接收到管制中心的服务器的支援的同时指示操作员。这里，如图7所示，假设车辆1在等级4的ODD区间结束之前执行支援请求。

操作员在管制员的分配(负责车辆的指定)完成之前，通过显示广域地图的监控器目视地确认负责区域中的待支援车辆的位置，并且获取俯瞰信息(待命)。此时，优选的是，在广域地图上，不仅位置被显示地易于支援车辆视觉识别，而且车辆1对应的优先级被显示得一目了然。注意，在本实施例中，在支援请求车辆1的数量少的情况下，操作员可以扮演管制员的角色，并且对车辆1的操作员的分配(配对)可以利用管制中心的服务器通过诸如人工智能等学习模型进行最佳分配的功能等来进行。

此外，如图7所示，在车辆1到达移交可终止极限点之前，操作员获取关于目标车辆1的必要信息，作为与任务或情况的紧急程度对应的预备准备，直到配对的被支援车辆1的移交完成。例如，例如，操作员获取诸如车辆类型和装载货物等个体车辆信息以及诸如个体动态特性(制动、加速、方向盘操舵量和操舵扭矩)、支援的紧急度等级和支援请求原因(病人的移动、非健康人员使用车辆、LSAD正常运营服务的一部分、队列中的非先导车辆行驶到远离队列的一般道路的排出诱导支援、在紧急情况下普通车辆驾驶员突发疾病的支援请求、因驾驶员突发疾病而对拼车乘客的紧急请求支援、货运车辆驾驶员身体状况突然变化的自动或手动远程支援、恢复给予-在使用普通乘用轿车时，驾驶员执行次要任务后的时间内的紧急支援，在普通乘用轿车的等级3的使用中防止意外打瞌睡的紧急远程支援，以及为了避免在紧急MRM停车禁止区间内停车等的预防性远程操舵疏散支援等)等情况信息。

LSAD对本地运输服务的操作被解释为操作员对先前信息获取的重要性的一种情况的详细情况。在诸如公共汽车等区域中包括老人和学童使用的站立座椅的公共汽车中，驾驶员一边通过车辆内部的镜子观察乘客的就坐状态以及有无未落座的乘客，一边小心地操作公共汽车，并且进行诸如起步时加速、转弯时提前减速、警告提示等处理，防止乘客摔倒。如果在这样的LSAD中对车辆进行远程操舵，则操作员无法给予与乘坐和驾驶时相同的注意力照顾，因为操作员处于完全不知道车辆内部的乘客信息的状态。因此，在需要考虑乘客的姿势的车辆中，例如，对乘车者的位置、站立姿势、用一只手握住拉手吊环确保姿势、以及在不握住拉手吊环的情况下操作智能手机等进行状态检测，并且例如，在车内的俯瞰信息中，在处于跌倒风险姿势的乘客的乘坐位置上叠加红色或警报显示，并呈现给远程操作员。通过进行这样的提示，已经开始切换操舵的操作员能够像在骑行驾驶的情况下那样在集中注意力的同时开始操舵。在这种情况下，由于希望对乘客的姿势进行详细分析，因此优选使用能够进行三维分析的姿势分析设备，例如通过飞行时间(ToF)方法的传感器、通过结构光方法的传感器或立体相机。除了向远程操舵操作员提供乘客姿势通知之外，这些类型的乘客姿势分析设备也可以在正常的自主自动驾驶操舵时用于判断自动控制的加速/减速的上限的信息获取。

如上所述，为了实现操作员的安全切换以便由远程驾驶操作员向各种各样的车辆1提供服务，要求操作员在开始操舵的实例之前最大化状况认知。因此，优选的是，不仅从车辆1收集各种事先信息，而且还从车辆1以外的地方收集各种事先信息，并适当地向操作员显示该信息。然而，并不总是单纯地显示车辆内部的图像并且操作员有时间仔细地观察每个乘客，就像仔细地寻找关于图像的错误一样。为了促使操作员在短时间内掌握需要注意的情况，系统通过上述系统事先为每个乘客识别出要注意的乘客类型(例如老年人)、使用步行辅助设备(例如手杖)等，并在远程支援请求的时间点发送事先通知。这有助于操作员抓住注意力。

即，操作员在进行远程操舵时基于正确判断来获取用于提高操舵的状况认知水平的信息，例如请求支援的各个车辆分别在怎样的状况下正在接近自动驾驶极限点。例如，操作员基于履历记录、地图上是否存在周边接近的行驶车辆(通过地图上行驶方向前方行驶的车辆符号等的存在或不存在来确认)、风险规避选项和限制出口、PA/SA点、行驶区间的退路路肩是否存在以及目标车辆特有的特性，来获取诸如地图上的行驶地点和行驶方向、道路状况(拥堵风险和碰撞风险)、区间的路面状况、用户状况、驾驶警告地点(事故频繁发生的地点、交通拥堵频繁发生的地点、上坡、路口等)等信息。在此阶段，要求操作员具有足够水平的事先态势感知能力，以实现稳定的远程操舵。在此阶段，要求操作员具备稳定远程操舵所需的足够的事先状况认知能力。

接下来，操作员获取执行远程操舵所需的车辆1的正面图像和侧视镜图像。注意，在本实施例中，为了避免信息过多，优选先不提供这些信息。由于高速变化的运动图像最大化思考负荷，因此操作员的工作记忆被运动图像的处理占据。然后，一部分无法直观掌握的信息被屏蔽，即使这些信息很重要。因此，例如，在该阶段之前，如果操作员已经获得诸如无效的突然制动(装载的货物多并且移动距离长)等个体动态特性的信息，则可以顺利地判断提前减速，以避免突然转向或制动。

然后，在车辆1到达可切换极限点之前，操作员掌握必要的情况(增加状况认知)并开始远程操舵。也就是说，车辆1执行远程操作以通过不能单独由车载系统设备执行驾驶的区间。尽管这是例外的，但是在上述信息获取时段中，操作员有时根据情况指示疏散、疏散到一般道路、先导车辆的待命(如果存在要配对引导的一方)等。

此外，操作员完成驾驶切换并切换到稳定的远程操舵。在这个阶段，操作员连续获取关于稳定远程操舵所需的周围情况的信息。当远程操舵已经成功启动时，操作员可以向目标车辆1的驾驶员通知切换完成。

当接近远程操舵区间的终点时，处理会根据情况而变化。例如，当目标车辆1的驾驶员是病人并且无法康复时，再次由邻近区域的操作人员进行交接。因此，在这个阶段，操作员有时会监视驾驶员的状态，例如驾驶员是否已经恢复到能够使用自动驾驶的状态。

如上所述，远程操舵主要被假定为在车辆1的一部分移动区间的请求区间通过区域中使用，即，在支援远程操舵的区间中存在终点。当车辆1接近远程操舵支援的终点时，处理根据情况而改变。例如，当目标车辆1的驾驶员是病人并且无法康复时，再次由邻近区域的操作人员进行交接。因此，在这个阶段，操作员优选监视驾驶员的状态，例如驾驶员是否已经恢复到能够使用自动驾驶的状态。

根据远程操舵区间的结束，如果操作员应该处理的情况是诸如被支援车辆1是无人LSAD等公共路线巴士、个人使用的正常车辆1中的等级4的自动驾驶时的临时处理支援、对病人的移动支援等，优选发布一个能给乘客带来安全感的支援结束广播。此外，在对个人使用车辆进行一次支援的情况下，优选通过电话确认对请求驾驶员的支援完成情况，在跨负责部门对病人等的移动进行支援的情况下，优选与执行交接的相邻区间支援操作员确认交接。另外，远程支援系统可以通过其HMI来辅助上述的广播、通知、确认等。

具体地，当目标车辆1进入ODD区间时，在该ODD区间中可以进行等级4中的自动驾驶，从而结束了操作员的远程操舵支援，需要使目标车辆1的驾驶员识别支援端。其原因是，由于在没有介入操舵的情况下继续行驶，因此即使驾驶员没有恢复，驾驶员也有可能产生错觉，认为车辆受到操作员远程操舵的保护。然后，即使车辆能够以下一个等级4行驶的ODD区间接近终点，驾驶员也可能误解为没有问题，即使驾驶员忽略了来自系统的恢复请求通知。也就是说，这是因为有必要重置驾驶员的思想。因此，操作员监视驾驶员的状况，例如驾驶员是否已经恢复到能够使用自动驾驶的状态，并掌握驾驶员的状况。在无法确认驾驶员恢复的情况下，操作员进行例如疏散、停车等必要的处理。然而，如果在支援期间已经成功地确认驾驶员清楚地识别出正在接受支援，则不需要催促驾驶员识别的工作。

在切换到下一个相邻区域中的操作员的情况下，优选地在地图上显示相邻区域的操作员，并通过语音对话使用口头通信来发送警告。通过这样做，可以期望在人体工程学方面减少疏忽等。然而，也存在这样的情况，即，在操作员已经转移到其他车辆处理并且开始根据发生频率和切换点接近时间提供服务的时刻，语音会话不适合。因此，语音会话可以通过地图监控器或信息监控器与信息传输装置相结合。

当在最后一刻收到支援请求时，也可能没有时间充分掌握情况。在这种情况下，期望的是，最初，操作员在调节到周边的巡航行驶期间避免车辆的不必要的减速。然而，如果对切换所需情况的掌握不足，则操作员可能会提前减速。此时，在注意不过多地干扰其他周围车辆和后续车辆的行驶的同时，操作员可以通过使用V2V通信执行对后续车辆的光或警告模式的信息传输或通过利用DRSC等来请求后续车辆减速。

注意，由于远程操舵支援是使用通信的支援，因此当通信中断时自然难以执行远程支援。因此，为了可靠地执行支援，驾驶员可以例如通过事先掌握目标车辆1在请求之后前进的计划路线中的通信网络的拥塞状态，或者事先预约高速无线通信以确保使用频带，来避免通信中断的风险。

<6.3行动判断>

参照图8说明操作员的行动判断。图8是用于说明操作员的行动判断的说明图。

顺便提及，通常，驾驶员对其乘坐的车辆1进行缺陷检查，并且事先检查车辆1的特性、乘客、行李、旅行路线的天气和拥堵状态等。然后，在行驶过程中，驾驶员还关心道路信息及与道路上一定距离处的后续车辆有关的信息，并且在该情况下基于一定的事先知识执行转向。由于远程操作员不能直接执行驾驶员执行的操作前检查，因此远程操作员处于这样的状态：远程操作员明显缺乏可从正常驾驶员在操作前或驾驶期间无意识地执行的各种检查和操作感受中获得的事先谨慎感，例如，轮胎压力的程度、制动器的应用状态、装载的货物等。然后，在这种状态下，操作员切换到执行一系列远程驾驶支援。

此外，当驾驶员的判定转移到动作时，动作能够被分类为以下动作。

1.危险迫在眉睫，迅速采取反思动作。

2.基于即时且直接获取的视觉信息等的选择性动作。

3.有时间做出决定，并在预测动作所产生的结果后采取选择性行动。

基于上述驾驶员的信息获取、基于信息获取的判定和动作选择，检查驾驶员的信息获取、基于信息获取的判定和动作选择。特别地，如图8所示，操作员目视检查监控器屏幕上的视觉信息并开始操舵。然后，操作员基于以这种方式获得的通知信息开始动作。如上所述，作为第一动作，存在一个快速的反射动作。然而，由于快速的反射动作伴随着风险，因此作为操作员的动作，快速的反射动作不是优选的动作。作为第二动作，存在一个基于通过图像捕捉到的“眼前”事件的选择性动作。作为第三动作，存在在获取知识到可以根据操纵转向来执行影响预测的程度之后执行的选择性动作。这种选择性动作不仅可以被认为是车上驾驶员的优选动作，而且对于执行远程操舵的操作员来说也是优选动作。也就是说，第二和第三动作是优选的。在能够选择这样的动作之前，可以认为通过将自己置于可以事先获取关于道路的周围状况和操纵转向的影响的知识的状态，来确保状况认知在一定水平以上。为了确保这种可预测性，在城镇中驾驶时，会查看附近道路的状况，在高速公路中，在直线道路上高速行驶时，驾驶时要将目光投向远处。

此外，执行远程操舵支援的操作员自然是一个人，并且当该人执行一些处理动作时的动作包括主要确保他/她自身安全的快速反射动作、考虑由反射动作启动的动作引起的影响的初始动作、以及基于进一步加上预测的判断的思考动作。当没有刺激让人们意识到紧迫性时，在某些情况下，行动不会导致快速的反射动作，而是从一开始就转变为思考行动。特别地，在远程操作支援的情况下，尽管预期主要发生思考动作，但是为了实现远程操作支援，有必要事先向操作员提供导致行动判断的信息。

例如，确认在根本没有被给予任何先前信息的情况下仅向操作员通知请求的情况。在这种情况下，操作员仅基于来自初始图像的经验对显示图像采取反射动作。然后，操作员基于由于作为反射动作的结果的目标车辆1的动态变化引起的转变以及另外获得的诸如视觉等信息来理解第一反射动作的有效性，然后确定适当的远程操舵量等以满刻度执行远程操舵。这种方法不适合应用于一般车辆，因为当在高速行驶中进行时，引起二次引发事故的风险很高，并且社会可接受性很低。例如，优选地，将该方法限制为用于事先定义路由的本地服务的低速移动性中的运用。在用作诸如本地服务等最后一英里系统的交通手段的低速移动中，操作员可以在某种程度上事先具有行驶车辆的特性、行驶道路、假定情况等作为知识。因此，作为这样的知识而持有的信息对状况认知进行支援，并且也能够应用到在之前的信息提供中。

顺便提及，在经由神经细胞传递的生物信息传递中，从各个末梢神经发出的神经传递信息或记忆信息通过轴突电传递，并且经由被称为突触的神经元细胞的部位在神经细胞之间化学传递。此外，信息传输由多个树突之一接管，这些树突是从神经元细胞延伸出来的接收器。多个输入的神经细胞在称为体体部分的节点上以重叠方式交叉作用，并在体体部分中从多个神经元输入并整合到神经细胞。然而，到达一个神经元细胞的信息并不是单纯地以中继方式传递。为了遇到危险并进行促使决心和动作的进一步信息传输，作为最后决定因素的超过阈值的信息输入必须在继续进行进一步信息“中继”的阶段进入突触，连接到突触的神经元的判定不会被中断。神经元的节点超过了发射所需的信息输入的阈值，并且有关发射的信息通过轴突传递到下一个神经。注意，如果不关注相关事件等的情况持续或者添加了与优先事件有关的信息，则禁止触发。这种对称为抑制剂的体细胞部分中的电势的减去不会最终将传输的激发与行动判断联系起来。

从宏观的角度来看，为了让操作员做出适当的动作决定，作为接收刺激作为最终决定因素的信息的前一阶段，需要注意冗余的相关信息，并处于一种神经元组在所谓的放电阈值之前被激活的状态。

另外，从微观的角度来看，许多记忆和输入刺激以多重方式同时并行发生，在手动驾驶中，为了获取导致每时每刻做出决定行动的信息，驾驶员注视着远处，看着后视镜中，无意识地获取诸如本车左右平行行驶车辆之间的间隔、行驶道路的状况等信息，这些信息用作每时每刻指示操舵的判断的传输触发器，例如方向盘、加速器、制动器。

如上所述，连续进行手动驾驶的驾驶员在操纵车辆时无意识地扫描并捕捉各种信息。当在操纵方向盘或踩下加速器或制动器踏板时发出物理命令时，无意识地获得的一系列信息被多次中继，并且判断被触发。快速判断适当动作的背景是，在神经节点中发生中继型放电，并且由于这种同时并行的无意识信息收集和传输中继，神经元处于一定水平的准备状态，该中继被执行多次以实现判断。这些被视为综合结果的状态作为驾驶员的状况认知而显示。

当在仅追踪上述循环之后第一次执行人的所有动作时，基于与存储器和匹配结果的匹配来执行处理动作的结果预测，并且做出风险降低的判断并执行动作。因此，处理可能会延迟。另一方面，在自然生活中，在许多情况下，在顺序进行这种分级风险评估后，避免危险为时已晚。因此，人已经获得了一种通过作为本能机制的反射动作来避免危险或获得食物的机制。

在诸如汽车驾驶等人工动作中，添加了智能判定动作。然而，需要即时处理的动作包括所谓的脊椎反射动作，在这种动作中，在不等待思考风险决策结果的情况下执行动作。此外，当采取快速行动并且其反射动作伴随着风险时，在识别到该风险时，有时就涉及到用于抑制反射动作的行动。这样的反射动作有时甚至在驾驶过程中也会出现。另外，如果抑制的反馈不能很好地工作，则在没有被抑制的情况下执行过度的操舵信息传输，这是危险的。

因此，当操作员处理未指定的多个车辆1时，操作员需要在适当的时刻掌握动作判断所需的适当信息，以便在开始远程操舵之前适当地提高状况认知，并且能够在实际可容许的准备时间内移交到安全远程操舵，直到移交完成。另外，需要通过五种感官准确地捕捉信息。也就是说，有必要也向操作员提供与驾驶车辆的操作员在手动驾驶时将获得的情况等效的信息。注意，由于能够仅基于以累积方式获得的累积信息来对驾驶员进行适当的判断，因此必须在移交之前例如至少十秒或更长时间提供信息，并且优选地从掌握整个情况十秒或更多秒到几分钟的阶段开始。

也就是说，作为向操作员提供的信息，为了适当地提高状况认知，优选的是，

a.对于安全的远程操舵支援，提供用于判断被支援人员特有的驾驶特性的一系列固定信息和变化信息；

b.当接收到支援调度车辆的支援时，提供关于旅程区间的先前预测信息；以及

c.提供必要的信息，以用于判断被支援的行驶车辆和周围车辆是什么样的位置相关关系、周围车辆信息、由于骤然减速而对后续车辆和周边交通的拥堵诱发风险、以及在减速或停车的情况下对后续车辆的视野妨碍风险等。

<6.4LSAD>

这里，对LSAD进行说明。在能够随时停止运用车辆来争取处置时间的所谓低速自动驾驶(LSA:Low-Speed Automated Driving)中，处置时间能够得到充分的保证，并且如果难以立即执行处置，则能够在路肩上待命等。然而，即使在这样的车辆中，当试图通过执行广域运用来提高便利性时，也可以在一部分运行区间中设想有一般车辆混入的道路环境的利用。

由于从广泛使用自动驾驶的目的是确保人口减少等地区的流动性的背景下假设基础设施投资并不总是可以实现的，因此在LSAD中也假设使用混合了一般车辆的道路环境。在这种情况下，为了使对后续车辆的影响最小化，要求操作员掌握诸如相关车辆的行驶地点和相关道路的使用条件等实时信息并且以必要的优先级执行诸如远程操舵等处理的可能性很高。

因此，操作员需要知道当车辆1接收到支援时周围车辆的平均巡航速度，然后获得远程操舵支援所需的信息。注意，以上不适用于在车辆周围行驶的车辆数量少并且即使车辆进行减速、疏散或缓行等也不存在对后续车辆等的风险的情况。

在这种情况下，当LSAD接收到远程操舵支援时，期望LSAD减速、缓行以便在避开其他的正在接近的后续车辆的视野较差范围或防追尾控制中存在风险的弯道区间的同时，以最好避开隧道、出口以及桥梁和十字路口前后等的方式在视野良好的区间中停车和待命，并且如果在高速公路中，则LSAD以低速移动到服务区或待命区并且待命。另外，当操作员不能立即开始支援时，操作员或管制员可以在地图上指定最近的地点来疏散车辆1。也就是说，作为操作员的接口，提供这些判断信息的显示系统作为硬件和硬件配置是必要的，该硬件配置传输从车辆1被放置的状态导出的控制判断所需的信息并且在车辆1方面需要位置信息。

<6.5服务器的详细配置>

接下来，参照图9说明根据本发明的第一实施例的服务器(信息处理装置)100的功能配置的详细情况。图9是根据本发明的第一实施例的服务器100的框图的示例。服务器100是用于通过管制中心中的管制员执行远程操舵以获取和呈现用于执行操作员分配和远程操舵的信息的信息处理装置。注意，图9主要示出仅与信息的获取和呈现有关的功能单元。具体地，如图9所示，服务器100主要包括车辆数据获取部(信息获取部)102、周围环境数据获取部(信息获取部)104、操作员数据获取部(操作员信息获取部)110、配对部120、操舵信息生成部(信息生成部)122和驾驶员状态确认部124。下面顺序地说明服务器100的功能块的详细情况。请注意，探头、先导车辆的电子牵引行驶和专用引导移动体等的图示被视为稍后予以说明的周围环境数据获取部104的一部分，并且在图9中省略。

(车辆数据获取部102)

车辆数据获取部102能够从被支援车辆1或使车辆1上升的驾驶员(具体地，驾驶员HMI)获取与车辆1有关的信息(例如，远程操舵支援的请求)，并且将该信息输出到稍后予以说明的配对部120等。

(周围环境数据获取部104)

周围环境数据获取部104能够从设置在道路上的相机或车辆1周围的车辆1获取关于车辆1的周边的信息(例如，ODD、拥堵状况、速度限制、巡航速度、障碍物位置信息、风险信息、紧急疏散场所的位置信息、周围图像的位置信息、以及支援图像的位置信息)，并将行驶道路等的状况等输出到稍后予以说明的配对部120等。当提供其他信息的情况下，如能够提供信息的先导车辆、LDM的更新数据收集探测车、无人机型探测装置等，可以响应于请求补充提供支援车辆可获取的信息。这些补充信息对远程操作员的指导和提高先前的状况认知有很大帮助，无线通信网络自是不必说，从本地基站到操作员的有线通信网络的通信频带也是有限的资产，是有限度的。提供给操作员或管制员的初始信息是能够提供的类型信息。操作员基于安全方面的紧急度等级和由于车辆接管的成功或失败而对交通的影响等级来选择性地请求信息，并且响应于该请求从提供者自适应地获取补充信息的提供。因此，例如，HMI优选地能够从提供者获取信息，或者暂时获取由区域服务器等补充的信息。这里，HMI是按钮型操作件、利用人工智能的语音呼叫、或伴随着经由显示屏的菜单的手指指向呼叫的选择指令，并且不需要局限于诸如鼠标或触摸板选择等特定方式。

(操作员数据获取部110)

操作员数据获取部110能够经由操作员的HMI获取诸如执行远程操舵的操作员的操作状态和远程操舵量等信息，并且将所获取的信息输出到下面予以说明的配对部120等。

(配对部120)

基于来自车辆数据获取部102、周围环境数据获取部104和操作员数据获取部110的信息，配对部120能够呈现关于作为配对候补的操作员的信息，以便支援管制员对被支援车辆1和操作员进行配对。然后，管制员基于所呈现的信息操作管制员HMI，并判断要最终配对的操作员。

(操舵信息生成部122)

基于来自车辆数据获取部102、周围环境数据获取部104和操作员数据获取部110的信息，操舵信息生成部122能够生成管制员所需的信息，并生成操作员在适当的时间以适当的形式执行远程操舵所必需的信息。具体地，操舵信息生成部122能够生成视觉信息、听觉信息和触觉信息，并且把所生成的信息经由与所生成的信息的感觉种类对应的接口呈现给操作员。此外，在本实施例中，操舵信息生成部122优选地以基于远程操舵中的操作员的思考负荷而确定的顺序呈现所生成的信息。

(驾驶员状态确认部124)

驾驶员状态确认部124能够在操作员的远程操舵结束时根据需要检查驾驶员的状态。

注意，根据本实施例的服务器100不限于图9所示的配置，并且可以包括其他功能块等。服务器100例如可以包括基于操作员的远程操舵量来控制车辆1的远程操舵单元(未图示)。此外，服务器100可以执行广播功能，例如用于向周围车辆1通知车辆1被远程操纵。

此外，在本实施例中，服务器100可以是由多个设备而不是单个设备构成的信息处理系统。

<6.6处理过程的详细信息>

接下来，参照图10和图11说明根据本发明的第一实施例的处理过程。图10是用于说明根据本实施例的处理过程的次序图。图11是用于说明着眼于操作员的获取信息的处理过程的次序图。

首先，参照图10说明本实施例中的处理过程。首先，服务器100从车辆1接收支援请求和关于车辆1的信息(步骤S101)。随后，服务器100获取关于车辆1的周围环境的信息(步骤S102)。此外，服务器100经由操作员HMI获取诸如操作员的操作状态等信息(步骤S103)。注意，步骤S101至步骤S103可以并行执行，并且步骤S102和步骤S103可以以比步骤S101更合适的周期重复执行。

随后，服务器100基于在上述步骤S101至步骤S103中获取的信息向管制员呈现适合与被请求车辆1配对的操作员的候补，并且最终基于管制员的操作执行配对(步骤S104)。注意，在此期间，候补操作员可以接收对请求支援的车辆1的远程操舵所需的信息的一部分的呈现。

然后，服务器100将所确定的配对信息发送给被支援车辆1和操作员(步骤S105)。此外，服务器100从车辆1和存在于车辆1周围的摄像机和其他车辆1顺序地获取远程操舵所需的信息，并将该信息发送到操作员的HMI。操作员基于所呈现的信息来掌握车辆1的状况(步骤S106)。

随后，操作员在车辆1到达移交点之前执行驾驶的移交并开始远程操舵(步骤S107)。

在车辆1到达远程操舵终点之前，操作员指示安装在车辆上的系统，例如根据需要确认驾驶员是否处于能够使用自动驾驶的状态(步骤S108)。然后，根据操作员的指示，车辆方面的系统进行测试以确认驾驶员的状态(步骤S109)。此外，操作员的HMI接收步骤S109中的测试结果，并且操作员确认驾驶员的状态(步骤S110)。此外，如果操作员确认驾驶员的状态没有问题，则结束远程操舵(步骤S111)

此外，说明了以操作员的信息的获取为中心的处理过程。如图11所示，首先，操作员在执行下一远程操舵支援之前的待命期间经由监控器掌握道路的状况(路线的状况)和配对状况，在监控器上显示负责服务区域的广域地图(俯瞰地图)(俯瞰地图预测)。

随后，当确定了操作员负责的车辆1时，操作员获取并掌握个人信息(例如，车辆1的动体特性等信息)和负责车辆1的注意事项。此时，操作员主要通过基于显示的视觉信息的状况认知开始准备远程操舵。注意，此时，优选地，操作员检查用于结束远程操舵支援的释放点条件等。此外，当能够根据所获取的信息预测出当被支援车辆1向前行驶时可能发生的风险时，服务器100优选地向操作员提供风险预测信息。此时，服务器100开始接收高清晰度图像(车辆1周围的图像)，例如相关的被支援车辆1的正向图像，但不将该图像提供给操作员。

接下来，在从服务器100接收到车辆的旅程路线的信息的同时，操作员在视觉上识别被支援车辆1的前进方向图像等的同时掌握与车辆1特有的动力学特性有关的信息，并基于这种状况认知进行操舵。

此外，操作员不仅检查被支援车辆1的正向图像，而且还检查包括多个连续信息的图像，例如来自车辆1的侧面摄像头的图像和后视镜的图像。此时，图像信息在操作员的工作记忆中占主导地位，并且工作记忆的负荷增加。因此，优选操作员在开始视觉信息的处理之前结束对车辆的制动特性等的检查。

随后，操作员启动远程操舵。起动后，工作记忆的负荷会立即增加，但随着操舵变得稳定，负荷会减少。因此，此后，操作员在任何时间重复视觉选择性信息获取。这里，在前方方位图像的显示开始之前，如果在未向操作员提供事前信息的情况下开始显示，则当操作员仅观看图像并且该图像是操作员想要应用紧急制动的图像时，由于操作员不具有其他判断知识，因此存在操作员踩下施加最大限度制动的刹车的风险。此时，如果车辆承载重物并进行突然制动，则即使存在诸如车辆侧翻等其他的风险，由于事先没有掌握情况，因此存在的问题在于，在瞬间做出判断时这些问题完全不能反映到控制中。在此期间，优选的是，不仅视觉感觉，而且诸如行驶声音、周围车辆声音、紧急车辆声音、由于加速度变化引起的振动以及横摇间隔等疑似感觉随时都被施加给操作员。因此，可以掌握情况并引起注意。操作员可以随时向监控操作员的管制员通知远程操舵的状态。

如上所述，在本实施例中，按照考虑了远程操舵准备中操作员的工作记忆的负荷，顺序地向操作员呈现远程操舵所需的信息。

<6.7HMI的详细情况>

此外，参照图12至图17说明根据本发明的第一实施例的管制员和操作员的HMI的细节。图12至图17是用于说明根据本发明的第一实施例的HMI的示例的说明图。根据本实施例的管制员和操作员的HMI主要包括安装在座椅上的监控器(显示器)、扬声器、方向盘、操纵杆和触觉装置。

如图12所示，在本实施例中，管制员和操作员使用的HMI的示例能够包括用于管制员和操作员俯瞰负责区域的广域图的监控器500和包括由个体操作员使用的多个监控器的监控器组600。监控器500和监控器组600是基于管制员和操作员的操作或自动控制以视觉形式向管制员和操作员提供由服务器100获取的信息的显示器。

例如，监控器500利用例如车辆形状的图标(符号显示)等在负责区域的广域地图上显示请求远程操舵支援的车辆1的位置。例如，监控器组600设置在操作员的前方，并且能够将来自车辆1的图像提供给操作员，就好像操作员正在乘坐车辆1一样。注意，除了图12所示的监控器之外，监控器组600还可以包括用于显示支援信息的其他监控器。

首先，对监控器500的图像显示的细节进行说明。如图13(a)所示，监控器500显示负责区域的广域地图。如图13(b)和(c)所示，通过利用管制员或操作员的操作来切换行进方向，可以仅显示具有相关行进方向的被支援车辆1的位置。因此，管制员或操作员能够直观地掌握请求支援的车辆1的行进方向，并且能够执行适当的分配。此外，因此，还可以防止操作员由于远程操舵而在识别行进方向时感到困惑。

此外，如图13(d)所示，可以根据支援请求的紧急度等级来改变相关车辆1的显示。例如，在图13(d)中，通过改变表示车辆1的位置的车辆形状图标的大小来表示紧急性。

如图14所示，优选的是，监控器500用图标900表示请求支援的车辆1的位置信息，并且以能够直观地掌握的形式用诸如计时器等图标902(计时器的符号)显示相关车辆1的远程操舵移交之前的时间裕度(宽限时间(grace time))(例如，从车辆行驶或将要行驶的道路的ODD等推定的)。注意，宽限时间是由服务器100基于当前车辆1的速度和关于分配给车辆1行驶的道路的ODD(可容许的自动驾驶等级)的信息来推定的。

此外，如图14所示，优选的是，除了请求支援的车辆1的图标900之外，还利用图标910来显示存在于周边的车辆1的位置。例如，图标910优选地是具有比请求支援的车辆1的图标900更小尺寸和更浅颜色的车辆形状的图标。此外，监控器500为了在执行远程操作的区间、必须完成移交的限制点、路肩上禁止停车的区间、可紧急停车区域或高速行驶区域等直观地识别位置，也可以在相关道路上显示带状图标906。监控器500可以显示表示在紧急情况下可以停车的疏散点的位置的图标908，以备在不能执行即时处理的情况下使用。此外，在本实施例中，拥堵区域、施工地点、车道限制地点和事故发生点等也可以显示在地图上。此外，地图上也可以显示由提供引导和支援并且在支援请求车辆1附近行驶的志愿者提供的支援车辆候补的位置信息。

例如，车辆1的行驶轨迹可以显示在地图上。通过在绘制行驶轨迹的地图上与另一操作员执行共享显示，即使当远程操舵突然从另一操作员移交时，事先也能够共享信息。通过根据交通拥堵程度、平均巡航速度和路肩的可用性等对轨道进行颜色编码和显示，可以直观地掌握移交的紧迫性等。通过执行这样的显示，可以快速地判断要优先化的动作。另外，当被支援车辆1正在行驶或将要行驶的道路是非主要道路时，优选地显示例如用作常规退路的交通繁忙的道路的拥堵状态。

管制员需要优先掌握请求支援的车辆1的以下信息：1.移交之前的时间裕度；和2.当未成功进行移交时，为了降低风险的动作判断相关的信息(导致在交接时降低风险的行动判断的信息(周围环境的信息，具体地，视野良好且伴随着减速带来的风险较低的区间信息，诸如由于视野不佳而突然减速对后续车辆具有风险的弯道或隧道出入口等危险区间信息等)。因此，在本实施例中，信息可以以除上述图13和图14所示的俯瞰地图的信息呈现以外的另一种形式呈现给管制员。例如，如在图15的左侧所示的监控器510的显示中那样，随着时间的流逝，请求支援的车辆1今后将行驶的道路上的风险信息(拥堵区域、施工地点和事故发生点等)可以通过视觉透视变换来显示，例如，优选根据时间改变带的厚度并显示带(具体地，相当于在以恒定速度行驶的情况下的3D透视显示，并且是在花费时间到达的较远点处较窄并且在行驶方向上较短的显示)，并且该带具有与道路的拥堵状况对应的颜色。此外，优选地，用一目了然的图标来显示导致交通拥堵的工程、事故的发生等。

此外，如图16所示，当难以对俯瞰地图进行视觉识别时，监控器500可以根据管制员的操作指定区域并显示出放大的地图520。

当不是管制员而是操作员执行分配时，减少不便的设计是重要的。因此，作为这种设计，例如，可以识别地图上的操作员的视线，并且可以指定和分配存在于该视线位置的车辆1。可替代地，操作员可以呼叫事先与请求支援的车辆1链接的识别号码等，并通过识别号码的语音识别来进行分配。此外，可以结合操作员对触摸面板上的地图显示的操作的检测、操作员的手势识别等来增强分配的鲁棒性。例如，可以通过掌握操作员的眼睛的位置、用眼睛的位置和通过手指指向指定的方向指定视线方向以及进一步添加拇指和食指的捏住操作来指示选择目标的选择，来向使用手势识别的选择指令赋予鲁棒性。此外，在本实施例中，可以使用佩戴在操作员头部上的眼镜型虚拟现实(VR)显示器等。此外，可以组合使用实际显示器和半透明眼镜型显示器。

接下来，参照图17对操作员的HMI的细节进行说明。如图17所示，操作员的HMI的示例可以包括包括多个监控器602、604和606的监控器组。具体地，监控器602显示车辆1的正面图像，监控器604显示车辆1侧面图像，并且监控器606显示车辆1背面图像。注意，优选的是，这些监控器602、604和606被布置为给出实际乘坐在车辆1中的感觉。在图17的显示示例中，监控器604通过侧表面前面的窗口显示图像。然而，例如，可以通过由操作员的操舵确认手势进行控制来将图像切换为等效于后视镜的图像。在这种情况下，为了便于区分通过侧表面前面的窗口的图像和后视镜图像，可以改变围绕图像的框的形状。因此，可以增强切换的状况认知。

注意，尽管在图17中未图示，但是在监控器组600或另一支援监控器上显示远程操纵目标车辆1所需的信息。注意，这些显示(关于移动体的路线状况的信息和关于移动体的移动体特性的信息)优选地在上述车辆1的前方图像、侧面图像和后方图像显示(移动体周围的图像)之前的时刻显示。要显示的信息的示例包括诸如车辆类型的信息、诸如装载行李等个别车辆信息、请求支援的原因以及周围车辆1和被支援车辆1的位置等信息。此外，可以使用如图15的左侧所示的形式，显示诸如道路状况(拥堵状态、碰撞风险、巡航速度等)、区间的路面状况和限速、基于过去记录的相关行驶路线的驾驶注意点(事故频繁发生的地点、交通拥堵频繁发生的区间、上坡、汇合点、紧急疏散场所等)。

然后，基于这些信息，操作员迅速判断车辆1能够承受多大程度的减速控制以及防止侧翻和偏离车道的方向盘控制，同时决定操舵量。然而，由于操作员不是直接乘坐被支援车辆1上，因此操作员无法在体验上把握减速感或加速感。换言之，例如，操作员难以直接掌握指示车辆1的制动器踏板的踩下量的程度导致车辆减速的程度的感觉。因此，在本实施例中，为了补充这些身体感觉，可以经由扬声器(未图示)将听觉信息(在实际车辆1的内部获取的制动器的吱吱声、重型货运车辆的加速声(车辆中的环境声)、转向信号灯的声音、车辆1周围的环境声、转换为“环境声”的噪声等)提供给操作员。在本实施例中，服务器100可以基于操作员的操舵量以伪方式产生制动器的吱吱声(虚拟声音)等，并且将吱吱声等呈现给操作员。

此外，可以经由方向盘610和座椅(未图示)向操作员提供对方向盘610的操作的阻力或诸如座椅的横向摆动或高度变化等触觉刺激，以补充视觉信息。此时，服务器100可以基于操作员的操舵量来推定将施加到操作员的振动模式和重量，并将振动和重量模拟地呈现给操作员。例如，当车辆1在斜坡或下坡上行驶时，在与道路的倾斜对应的重量或重量方向上向操作员施加力。也可以通过对操作员的落座座椅的触觉，进一步向操作员添加横向移动感觉、加速/减速感觉等。在诸如大型车辆或轿车等车辆高度低的车辆中，从驾驶员座椅眺望前方的视野是不同的，并且与前方车辆的距离感也是不同的。因此，操作员为了本能地掌握要求操作员操纵的车辆之间的差异，可以通过触觉来虚拟地抬起座椅或给出座椅降低的感觉。即使向驾驶员显示相同的前方图像，由于驾驶员座椅的车辆高度较高时的控制和车辆高度较低的车辆的直观远近间隔会产生影响，因此具有提高对远近间隔的情况的把握的效果。由于小型车辆或大型车辆的驾驶员座椅通常设置在不同的高度，因此直接乘坐的视野的视角根据视角的变化而发生不同的变化。因此，在安装在车辆1上的摄像机的布置位置上向远程操作员显示的前方视野是不同的。从所拍摄和所显示的图像中，根据道路的宽度、或者移入周围视野内的车辆等，虽然可以从向无限点延伸的视角中得知。然而，并不总是能够从图像中即时获得对车辆高度感觉的把握。提供运动感觉的触觉HMI(例如，锯形振动)给出了垂直运动间隔，而不会使实际操作员大幅移动，并有助于掌握目标被支援车辆1的移动体特征，从而提高操作员的状况认知。

在本实施例中，服务器100可以基于操作员的操舵量来推定将由操作员视觉识别的周围图像的变化，并且将基于推定结果的图像叠加在真实空间图像上并显示(VR显示(虚拟现实显示：virtual reality display))。例如，当转动方向盘610时，显示车辆1实际转弯时可能看到的图像的图像。因此，在视觉上也可以确认基于操舵量的速度变化等。因此，可以从体感上把握车辆1的移动体特性。车辆的方向盘的操作量与车辆实际有效行驶时的弯道曲率的关系不是统一确定的。这种关系是多种多样的，因为例如，有设计上不同的各种因素，也有离心力的施加程度根据车辆的负载重量而变化，以及根据路面状况等而变化。

操作员调节转向角和对诸如加速器或制动器踏板等操作件的施加量的目的是为了引起各个车辆1中的运动变化。然而，即使操作员对操作件的操作量相同，根据各个车辆的实际行驶特性的差异，操作量的响应结果也不同。因此，为了补充操作员对这种差异的感觉，将差异视觉呈现给操作员是有效的手段。作为更有效的机构，对操作员的操作件的输入值进行标准化以生成用作控制的实现目标值的控制值，并且作为车辆1侧的控制，通过将目标值乘以校正系数以作为控制结果，执行车辆1的实际控制。因此，可以抑制每个车辆对操作员操作的操作件的转向量的控制中的差异的发生。在任何情况下，当操作员试图在不知道车辆的详细特性的情况下进行统一控制时，车辆1的独特动态特性不能追随控制，并且进行超过允许量的控制，从而导致诸如车辆1的侧翻和乘客在乘客舱中跌倒等各种问题。因此，由于出现这样的问题，所以通过在车辆1侧添加与车辆特性对应的校正值来控制操作员的操作件的操舵信息是一种对策。然而，仍然需要向操作员提供用于限制必要控制的信息和用于引起注意以从车辆1掌握情况的信息。

在本实施例中，例如，如果操作员对控制系统的转向输入值相同，则优选服务器100校正控制，使得用于使任何车辆减速的目标减速度值相同，并且车辆侧的实际致动器的步进量和方向盘转向量相同。例如，服务器100(具体地，远程操舵单元(未图示))能够基于诸如车辆1的移动体特性和货物装载量等信息来执行校正。在本实施例中，通过执行这样的校正，由于车辆1的加速器、制动器和方向盘操作引起的变化被吸收。然而，在本实施例中，由于被支援车辆1是负重车辆等，当转向量不足并且不能如操作员所期望的那样进行加速时，优选根据上述校正，使用触觉空穴(例如方向盘610和操纵杆(未图示))或显示向操作员警告性能差距。注意，用于吸收操作量的差异的机构不一定设置在服务器100中，并且可以被配置为结合在车辆1的控制系统中。作为操作，运用操作员的操作件来输入作为以车辆的实际举动目标值为目标的变量，车辆1的控制系统可以控制车辆1的各种致动器以实现实际举动目标值。

在货物较重、较大或不稳定的情况下，存在突然减速导致货物倒塌的风险、由于突然横向移动转向而侧翻的风险等。因此，在这种情况下，优选地向操作员提供用于提醒避免突然执行方向盘操作的信息。如果不进行这样的考虑，并且例如对装载有大量钢材等的车辆1施加超过可容许的制动时，例如，如果货舱中的钢材超过一定极限并滑出，则在周边行驶的车辆1可能受到影响，从而引发严重事故。

当被支援车辆1是中型既定路线公共汽车时，不能期望所有乘客都落座并系上安全带。在这种情况下，还可以想象远程操舵的突然减速会导致乘客受伤等。因此，希望操作员在进行车辆1的支援时掌握乘客的状况。乘坐车辆的驾驶员能够用镜子等直接观察车辆中的乘客。然而，操作员无法直接观察车辆内部。此外，操作员在整个操作路线中不处于观察上下车乘客的状态，并且由于操作员在中途接管方向盘，因此不知道车辆中已经存在哪些类型的乘客以便在中途接管方向盘。因此，在这种远程操舵支援的情况下，可以使用安装在车辆中的诸如ToF传感器或立体相机等设备将车辆中乘客的姿势、位置等放入感测数据中，并将其作为车辆内部的俯瞰图提供给操作员。注意，由于传达乘坐状态是最重要的判断信息，而不是识别车辆中乘客的详细情况，所以不需要显示车辆内部的实际图像，并且优选地执行用于传达乘坐状态的诸如头像模型显示或插图显示等简单的显示。此外，在本实施例中，可以从如上所述安装在车辆中的ToF传感器或图像传感器获取感测数据，可以分析感测数据(例如，人的姿势)以提取老年人或身体残疾的乘客(操作员在远程操舵时要注意的规定状态的乘客)，或者可以提取视觉障碍乘客使用的白色手杖等的图像，并且这些信息可以作为乘客信息生成并呈现给操作员。如上所述，在本实施例中，更优选的是，HMI具有这样的配置，该配置能够通过详细地判别、区分诸如老人、身体残疾的乘客和低年级的儿童等远程操作员控制车辆时要注意的乘客特征来引起操作员的注意。

如上所述，在本实施例中，通过以这种形式向操作员提供信息，可以在执行远程操舵之前将状况认知提高到足够的水平。因此，根据本实施例，操作员能够准确地掌握车辆1的状况、车辆1周围的状况等，并执行适当的远程操舵。

注意，经常持续实施远程操舵支援的操作员将会由于持续的运用而一直承受一定负荷以上的作业负荷。因此，为了对正在执行远程操舵支援的操作员进行异常监视，管理睡意、疲劳和健康状况与驾驶员监视系统(DMS)对普通驾驶员进行的管理同样重要或更重要。由于操作员长时间以职业稳定的姿势工作，因此需要更高级的工作管理监控。也就是说，通过设置驾驶员监控，可以通过将操作员的视线评估、睡意评估、出汗评估、心率/脉搏波评估、健康异常评估和思维浮游评估与经由非接触观测仪器(摄像机)和座椅、方向盘等以及诸如眼镜或手表等专用设备的过程观测结合，来执行预防异常的监控。除了记录这样的部分信息之外，通过对被支援车辆1发送持续地执行远程支援的评估指标的信息，支援车辆的驾驶员等也能够安心地受益于远程操舵支援服务。结果，这给人一种使用的安全感，即被关注的感觉，并提高了社会对远程支援的移动服务的接受度。

在本说明书中，为了方便起见，主要利用操作员操作诸如方向盘、制动器和加速器等传统操作件的概念来说明实施例。然而，在实际运用中，可以使用在个人计算机等中广泛使用的诸如鼠标、轨迹球或其上叠加有显示器的触摸面板等输入设备，可以使用诸如杠杆型、操纵杆型、侧杆型操作件或滑动器等各种操作件，并且可以通过组合这些来执行操作。

此外，操作员不需要在所有远程操舵支援中当场(在某个时间点)采取及时和直接的转向响应。例如，当LSAD车辆在交通量小的区间中行驶时通过区间的一部分时，存在LSAD车辆能够通过事先接收到通过所需的问题处理或绕行指令而通过该区间的情况。在支援时，用鼠标、手势等在行进地图上执行指针指令比用方向盘、加速器或制动器执行常规指令(例如路线指令、绕行操作或先前待命点指令)更合适且更快速。因此，在如上所述执行各种支援的操作员的HMI中，可以以复杂的方式组合各种操作件。因此，可以把地图上的交流和直接车辆控制组合起来运用。这里，鼠标或触摸面板指令、视线输入等可以容易地执行指令输入，但另一方面，具有容易发生操作员不想要的操作的方面。输入决定不是诸如鼠标双击等简单的连续输入，而是期望并入双重确认过程，其中手有意地移动到另一操作件或者也执行通过语音等的虚拟确认。

[7.第二实施例]

未来，自动驾驶技术的应用将被推进，作为鼓励非健康人参与社会的一种工具。作为自动驾驶技术的使用场景之一，例如，假设当非健康人乘坐由操作员进行远程操舵的被支援车辆1时，操作员需要根据非健康人的状况进行处理或远程操舵。此外，为了在避免交通拥堵、交通中断和事故诱导的同时毫不拖延地提供这样的处理，重要的是，在包括操作员在内的自动驾驶技术中的所有参与者之间及时、适当地共享关于非健康人等的信息。

具体地，当被支援车辆1是既定路线的公共汽车等时，要求操作员(远程操作员)考虑轮椅使用者的上下，并操纵支援车辆，使得老年人等不会跌倒。也就是说，作为操作支援，操作员必须处理乘客的各种随机需求。例如，当通过远程操舵进行突然减速时，可能会导致乘客受伤等。因此，当操作员对车辆1进行这种支援时，希望操作员掌握乘客的状况并进行远程操舵和对乘客的支援。然而，乘坐的驾驶员能够用镜子等直接观察车辆中的乘客。然而，操作员不能直接观察车辆的内部或车辆1的周边。

因此，作为本发明的第二实施例，使用诸如安装在车辆中的相机等设备来获取诸如车辆中乘客的姿势和位置等信息(感测数据)，并且将基于这样的信息需要支援的乘客的信息提供给操作员，例如作为车辆的俯瞰图。此外，在本实施例中，如果能够获得关于乘客的个人信息(身体状况、年龄等)，则也将这种信息提供给操作员。然后，基于所提供的信息，操作员帮助乘客，或者在考虑乘客状况的基础上进行远程操舵。该设备的示例包括能够在上下车时对车辆进行摄像的相机、能够对车辆内部进行摄像的相机以及包括乘客可操作的按钮的HMI。

此外，操作员通过识别车辆中乘客的详细情况，即时识别乘客的状况等并进行处理是很重要的。因此，在本实施例中，乘客的信息优选地通过诸如可以即时掌握的符号、化身模型和图示等简单的显示(与乘客信息的上位概念对应的第一符号)来提供。因此，操作员能够即时掌握乘客的状况，并且必要时，在下一阶段获取并识别乘客的详细信息(与乘客信息的详细情况对应的第二符号)即可。注意，稍后将会说明具体的显示方法。

此外，在本实施例中，操作员的支援不仅在乘客请求支援时临时执行，而且进行到请求支援的乘客完成被支援车辆1的移动服务的使用为止。因此，需要支援等的乘客的信息不仅由操作员共享，而且还由管理下一个行驶区间的管制员(其他区域交通管制中心)和所属的操作员共享。即，在本实施例中，在支援期间在操作员等之间移交乘客信息。因此，在本实施例中，优选的是，乘客信息通过诸如可以立即掌握的符号、化身模型和图示等简单的显示来提供。

此外，在本实施例中，从安装在上述车辆中的相机获取乘客的运动图像等，并且分析运动图像等(例如，分析人的姿势和运动)以提取老年人或身体残疾的乘客(操作员在远程操舵时要注意的规定状态的乘客)或提取有视觉障碍的乘客使用的白色手杖等图像。在本实施例中，生成这些信息作为乘客信息并呈现给操作员。

在本实施例中，如上所述而获取的运动图像、乘客信息、操作员的处置履历(handling history)等以与例如乘客所拥有的车票的识别信息发生关联的方式被存储在预定服务器(存储部)中，使得当乘客再次使用该交通设施等时乘客能够利用这些运动图像、乘客信息、操作员的处置履历等。例如，作为这种信息的存储目的地，假设车辆运营公司、管理与登机牌有关的信息的登机牌管理服务公司(例如，交通集成电路(IC)卡)、客户信息管理服务公司的服务器等。因此，在本实施例中，当在乘客下次使用交通设施等时执行操作员的远程操舵等时，操作员能够快速地执行远程操舵或给乘客帮助。

在本实施例中，进行支援等的人不限于操作员。例如，执行支援等的人种类繁多，例如用于冲向并支援被支援车辆1的紧急支援服务(例如，使用车辆或无人机的专业广域支援服务、安保公司、道路服务等)，用于通过引导被支援车辆1来支援支援车辆的先导支援服务、在公共汽车站等处待命并提供支援的支援者(例如，车辆运营公司或志愿者)、以及乘坐被支援车辆1的乘客。在本实施例中，在这些支援者之间共享关于需要支援等的乘客的信息。此外，在本实施例中，为了准确地进行支援，也与被支援车辆1的后续车辆等周围车辆共享支援。例如，需要支援等的乘客的信息(例如，为了支援乘客，让被支援的车辆1停车)可以经由HMI被呈现给追随的车等，该HMI设置在被支援的车辆1中并且将该信息呈现给车外。操作员被要求直接或间接地理解乘客的需求内容，并作为中介，将内容准确地传递给支援者。

首先，参照图18说明本发明的第二实施例的概要。图18是示出了本实施例的概要的说明图。在本实施例中，作为使用被支援车辆1的乘客，不仅是非健康人，还以老年人、孕妇、因疾病、受伤等而需要支援的人、轮椅使用者、儿童、由儿童陪同的人、婴儿车使用者等为对象。

首先，如图18的左侧所示，当从乘客向例如车辆运营公司等发送用于诸如公共汽车等被支援车辆1的使用预约申请时，在管制中心等中使用的服务器100获取关于事先登记的乘客的信息(年龄、残疾程度、支援请求的内容、过去的处置履历等)。具体地，服务器100基于用于识别事先与预约申请相关联的乘客的识别信息来获取乘客的信息。可替代地，服务器100从乘客登上被支援车辆1时乘客使用的交通IC通行证等获取乘客的识别信息，并从预定服务器获取与所获取的识别信息相关联的乘客的信息。预定服务器的示例包括车辆运营公司、管理关于登机牌的信息的登机牌管理服务公司、以及客户信息管理公司的服务器。

随后，服务器100获取在停车场(停靠地点)等处拍摄的乘客的运动图像和在车辆中拍摄的乘客的运动图像(在移动期间直到落座的运动图像、从离开座位直到下车的运动图像等)，并分析乘客的姿势、运动等。例如，服务器100能够通过将人体骨架模型应用于包括乘客的姿势和运动的运动图像并分析该运动图像来识别乘客的姿势倾斜、运动速度等。例如，当姿势大幅度倾斜或运动速度低时，可以判定乘客是老年人，处于肌肉力量差的状态，或者处于安装了假肢等的状态。此外，例如，当提取出在倚靠扶手的同时移动的运动时，可以判定乘客处于存在使身体的一部分难以迅速移动的障碍物的状态。基于这样的判断，服务器100能够预测是否需要支援、支援的需求等级和内容等。此外，当从运动图像中提取出使用白色拐杖或拐杖、使用步行工具、轮椅、银色汽车和婴儿车、与导盲犬、支援犬和助手同行、或大型行李时，服务器100可以判定需要支援的可能性很高。

更具体地，服务器100能够通过从乘客上下车、坐下和离开座位时的车内运动的运动图像追踪乘客的运动来检测乘客的运动。然后，服务器100通过将人体骨架模型应用于运动来对所检测到的乘客的运动进行建模，并且服务器100将该模型的姿势和运动(例如，行走能力水平、上下车辆的动作水平和轮椅行进能力水平)指标化。此外，服务器100可以量化对支援的需求水平，或者可以根据该指标来推定和分类支援的内容(上下车时的支援、快速启动的限制等)。在本实施例中，当已经事先获取了诸如乘客的年龄或残疾程度等信息时，可以在考虑这些信息之后进行指标化等。在本实施例中，通过执行这样的指标化等，管制员和操作员能够立即识别支援的必要性水平和响应的紧迫性。因此，管制员和操作员能够执行更适当的处理。在本实施例中，指标化的方法不限于上述方法。

然后，如图18中从左侧起的第二部分所示，服务器100将这样的判断结果与事先获取的乘客信息一起存储在车辆中的存储部中。此外，如图18中从左侧起的第二至第四部分所示，服务器100经由能够立即掌握的诸如符号、化身模型和图示等简单的显示，将基于该判断而获取的乘客的信息和支援信息呈现给管制员和操作员。然后，管制员能够参照与需要支援的乘客有关的信息，从具有最高优先级的被支援车辆1开始依次与待命中的操作员进行配对。此外，操作员参考乘客信息，并在执行必要的支援的同时例如执行远程操舵。注意，稍后将会说明呈现的具体示例。

此外，服务器100根据操作员的需要在下一阶段呈现乘客的详细信息。然后，操作员掌握乘客的支援需求，并且例如执行在被支援车辆1的远程操舵时的加速/减速的限制、在等待乘客的落座完成之后的离开判断(通过来自乘客的落座检查开关操作或车载相机的图像来确认落座)、以及执行车内音频引导。

在本实施例中，操作员不仅支援事先请求支援的乘客，而且还处理例如从行驶的被支援车辆1发出的支援请求。例如，当车辆中发生乘客跌倒等情况时，操作员通过车载摄像机或另一乘客的请求来识别该情况，根据需要来让被支援的车辆1安全地停车，并且对乘客进行支援。此时，当被支援车辆1减速或停车时，操作员执行用于提前向后续车辆等通知该情况的操作。可替代地，在本实施例中，操作员可以在不发出上述通知的指令的情况下，利用安装在被支援车辆1上的相机、控制部等自动识别状况，并且自动识别该状况并向后续车辆等发出异常通知。可替代地，在本实施例中，其他乘客可以识别出异常并且操作设置在被支援车辆1中的紧急停车指令按钮，以利用该系统直接将异常通知给后续车辆。

此外，如图18的右侧所示，服务器100将与操作员等执行的处置履历有关的信息以及运动图像、指标、乘客信息等存储在车辆运营公司、管理与登机牌有关的信息的登机牌管理服务公司、客户信息管理公司等的服务器中。此时，所存储的信息组以与乘客所拥有的车票的识别信息等发生关联的方式被存储着，并且在乘客下一次使用该车辆等时可以使用所存储的信息组。因此，在本实施例中，由于下一次使用中的操作员能够掌握特定于乘客的处理内容，因此能够进行快速且适当的处理。这里重要的是将信息存储为指标，通过该指标能够直观地掌握支援的必要性。例如，当运动图像被原样存储时，需要再现并再次观看运动图像。因此，管制员或操作员没有时间观看再现的图像，并且需要占用多个通信基础设施才能用于再现。因此，这是不现实的。

根据本实施例的这种处理方法能够通过图19所示的本实施例的信息处理系统来实现。图19是用于说明根据本实施例的信息处理系统的概况的说明图。

如图19所示，根据本实施例的信息处理系统包括安装在被支援车辆1中的控制部、安装在车辆1上的通信部、用于追踪车辆中的乘客的相机、乘客请求支援按钮、乘客落座确认按钮和车内乘客HMI。所述控制部控制安装在车辆中的这些功能单元。通信部执行这些功能单元与外部设备之间的通信。

具体地，如上所述，追踪车辆中的乘客的相机是可以追踪车辆中乘客的姿势和运动的相机，并且可以通过例如RGB相机、ToF传感器等来实现。乘客请求支援按钮是乘客在请求支援时作为意图的标志可以操作的按钮。乘客落座确认按钮是这样的按钮：当乘客完成落座时，可以操作该按钮来传递乘客已落座的事实。此外，车载乘客HMI是车辆中的乘客可以与操作员或用作操作员等的替代物的自动响应人工智能(AI)交换信息的接口。车载乘客HMI例如包括显示器、扬声器、麦克风和触摸板等。

此外，如图19所示，控制部可以从例如安装在停车场的相机获取运动图像，并对上下车的乘客进行成像，或者可以控制向车外的后续车辆呈现信息的用于外部的HMI。

如图19所示，控制部可以经由通信部将从功能单元获取的信息发送到交通管制中心和属于该交通管制中心的操作员的终端，并且可以进一步将信息传送到其他区域中的交通管制中心。操作员可以根据需要将信息传送到紧急支援服务、先导支援服务等的服务器和终端。

此外，如图19所示，为了获取事先登记的乘客的信息(年龄、残疾程度、支援请求的内容、过去的处置履历等)，控制部能够经由通信部向车辆运营公司、管理与登机牌有关的信息的登机牌管理服务公司、或者客户信息管理公司的服务器发送信息或从其接收信息。注意，在本实施例中，乘客支援等的指标化可以由安装在被支援车辆1中的控制部执行，或者可以由交通管制中心等的服务器执行，并且不受特别限制。

接下来，参照图20说明操作员的作业流程的示例。图20是用于说明根据本实施例的操作员的作业流程的示例的流程图。如图20所示，在本实施例中，操作员执行例如从步骤S201到步骤S217的多个步骤。下面就说明这些步骤的细节。

首先，操作员(具体地，操作员的终端)从管制员接收配对请求的标志(步骤S201)。随后，操作员执行对该请求的接受回复(步骤S202)。此外，服务器100事先将操作员跟与请求相关的被支援车辆1配对(预约配对)，获取远程操舵支援车辆所需的预备知识，并将所获取的预备知识呈现给操作员(步骤S203)。

操作员检查与操作员配对的被支援车辆1中是否建立了支援请求标志(步骤S204)。当建立了支援请求标志时(步骤S204：是)，处理进行到步骤S205，并且当没有建立支援请求标志时，处理进行到步骤S213(步骤S204:否)。这里描述的支援请求标志是用于引起非健康人等请求操作的注意的标志，并且是可以用于通过在正常远程操舵支援中请求对乘客不需要特别考虑的类型的操作来区分支援请求和支援请求的标志。

然后，操作员在预定配对完成之后并且在诸如远程操舵等处理开始之前获取远程操舵的预备知识(步骤S205)。随后，操作员了解支援请求的原因(步骤S206)。然后，操作员考虑乘客的特殊需要(支援请求)，执行诸如在远程支援区间中行驶的控制和指令等处理(步骤S207)。此外，操作员基于支援请求执行对乘客的上下车支援(步骤S208)。

随后，操作员考虑支援请求，执行用于在远程支援区间中行驶的处置和处理(步骤S209)。然后，操作员判断向自身请求的支援的结束(步骤S210)。此外，操作员创建记录到该点之前执行的支援的内容的报告以及对被支援乘客的支援履历(客户图表)(步骤S211)。最后，操作员将创建的记录等与工作结束报告一起发送到管制员(步骤S212)。

为了执行正常的远程操舵支援，操作员平稳地优先确认区间行驶所需的信息(步骤S213)。随后，操作员执行用于在远程支援区间中行驶的通用操作和处理(步骤S214)。然后，操作员判断支援的结束(步骤S215)。此外，当存在要移交给下一操作员等的事件时，操作员创建其中记录了事件的内容的报告(步骤S216)。最后，操作员将创建的记录等与工作结束报告一起发送到管制员(步骤S217)。如果由于连续工作、中断请求、终止申请等而导致的过度工作没有被发出，则已经发送工作报告的操作员响应于下一个支援请求而转换到待命状态，并且被管制员识别为待命操作员。

接下来，参照图21A和图21B说明根据本实施例的处理过程。图21A和图21B是用于说明根据本实施例的处理过程的次序图。

如图21A的上部所示，将服务区域中的地图、天气、事故和施工信息呈现给管制员或操作管理员，从操作员、车辆、先导车辆、应急服务、通信基础设施等收集对服务区域区间的适当操作管理所需的信息，并且根据服务区域(未图示)中的相关区间中的使用状况预测来分配各自的总体需求。此外，管制员等掌握对支援的总体请求，并收集和掌握诸如紧急度等级等信息。注意，假设总是执行管制员等的这种操作。

随后，如图21A的中间部分所示，请求支援的乘客向运营公司等进行对支援请求的预约以及对车辆使用的预约，并且将关于该预约的信息通知给运营公司和管制员。要由操作员远程运行的被支援车辆1定期地向管制员通知诸如行驶地点等信息。在该阶段，虽然操作员和被支援车辆1之间的配对尚未被确认，但是响应于来自需要支援的被支援车辆1侧的信息的发送或者来自使用者或者被支援车辆1和使用者两者的应用信息的接收，服务区域操作管制员确认地图上是否存在请求车辆信息的符号以及能够执行处理的待命状态的操作员。然后，管制员向待命操作员发出预约请求。随后，在操作员的确认(批准)下，管制员根据需要与操作员共享到目前为止获得的信息。

此外，如图21A的中间部分所示，管制员确认操作员的空闲性，并向能够执行处理的操作员发出支援请求。当被请求的操作员能够处理请求时，被请求的操作员向管制员做出批准响应。此外，管制员对请求支援的乘客(车辆系统)作出响应，即管制员接受支援。

随后，如图21A的下部所示，当操作员判定需要在停车场的上车支援时，操作员向被支援车辆1发送这样的请求。此外，操作员基于事先获得的信息毫不延迟地执行适当的处理。此时，操作员或系统向乘客发出车载通知，请求作为志愿者提供支援，或根据需要与志愿者进行沟通。注意，对于志愿者，直接与请求支援的乘客沟通就足够了。然而，根据情况，为了防止交通阻塞和交通事故，有时需要在支援期间对周围车辆进行处理等。因此，志愿者的支援最好在掌握整个情况的操作员的控制下进行。因此，在本实施例中，操作员与志愿者进行通信。

随后，如图21B的上部所示，操作员根据需要从被支援车辆1的相机等选择性地获取请求支援的乘客从上车到落座的运动图像等，根据从运动图像等获得的信息判定支援的内容，并执行支援。例如，在行驶过程中例如有摔倒风险的乘客(例如老人、伤者或边走边看智能手机的乘客)的情况下，操作员在车内发布通知以催促用户落座，确认落座，然后离开，或者设置被支援车辆1的行驶速度的上限。当检测到未落座的老年乘客或者存在被分类为不稳定姿势的乘客时，有时需要限制行驶速度等，以防止乘客由于转弯时产生的离心力等而跌倒。此外，当预测到乘客上车的停车时间较长时，操作员通过设置在被支援车辆1中的用于外部的HMI显示“乘客出勤”、“轮椅上下车”等。然后，操作员将支援的内容记录在图表中。HMI对外部的适当显示是一个重要的状态通知，用于吸引后续车辆的驾驶员和周边道路使用者的注意力，并导致正确的待命动作。

如图21B的中间部分所示，被支援车辆1获取用于判断通过特定区间的适当性的更新地图数据。此外，被支援车辆1基于更新后的地图数据向管制员请求期望支援。然后，管制员确认操作员的空闲性，并向能够执行处理的操作员请求支援。当被请求的操作员能够处理请求时，被请求的操作员向管制员做出批准响应。

如图21B的下部所示，当被支援车辆1将要在不能自主行驶的区间中行驶时，管制员向被支援车辆1提供通过该区间所需的指令。接管支援的操作员可以给出类似的指示。注意，当需要时间来准备接管操作员时，被支援车辆1可以被临时置于疏散场所中的待命状态。注意，理想的情况是分别执行控制作业和实际的远程操舵支援操作作业。作为管制员的工作，假设基本上不执行对车辆的直接指令。然而，在本实施例中，与空中交通控制不同，在使用自动驾驶的道路交通控制中，存在与飞行员对应的操作员不在目标车辆中的情况。因此，也能够由管制员执行直到可支援的情况的疏散指令。

此外，参照图22至图27说明根据本实施例的管制员和操作员的HMI中的显示的细节。图22至图27是用于说明根据本实施例的HMI的示例的说明图。如上所述，根据本实施例的管制员和操作员的HMI主要包括监控器(显示器)、辅助灯、扬声器、方向盘、控制杆和安装在座椅上的触觉装置。

例如，在图22所示的示例中，在监控器500上显示指示执行远程操舵的诸如拼车巴士等被支援车辆1的符号550，以供管制员或操作员以俯瞰方式查看负责区域的广域地图以及执行控制的负责区域的地图。具体地，在图22所示的示例中，表示在上车时需要支援的箭头状符号560与被支援车辆1的符号550一起闪烁。此外，指示停车场的位置的符号580闪烁，以指示哪个停车场的位置需要支援。在本实施例中，通过视觉识别这种闪烁，管制员或操作员能够直观地识别出其中存在需要支援的乘客的被支援车辆1。此外，在图22所示的示例中，通过执行操作以获得详细信息，操作员能够显示指示需要支援的乘客的详细情况的符号590。例如，在图22所示的示例中，符号590表示需要支援的乘客是孕妇、老人、使用婴儿车的人以及由婴儿陪伴的人。在本实施例中，通过显示这样的符号，管制员能够直观地掌握紧急性和支援请求目标。此外，当移交给操作员时，操作员能够根据地图上的符号和距离感的视觉信息来直观地掌握直到实际支援开始为止的宽限时间以及请求支援的乘客的情况。

例如，如果一次通知多个信息，则需要时间来理解和判断这些信息。因此，由于判断需要时间，所以操作员有时会强制迫使被支援车辆1骤然停车或骤然减速。这种骤然停车或骤然减速会导致诸如追尾或倒转等事故。然而，在本实施例中，通过根据需要阶段性地改变要通知的信息量，操作员能够顺利地了解情况并判断处理。在本实施例中，操作员能够仅迅速地理解应该优先理解的信息，然后执行适当的支援和处理，例如迅速进行支援。此外，在本实施例中，由于可以根据直观的信息对处理动作的判断进行排序，因此能够抑制操作员远程操舵时的事故的发生。

例如，在图23所示的示例中，指示执行远程操舵的被支援车辆1的符号550与执行控制的负责区域的地图一起显示在监控器500上。此外，在图23所示的示例中，表示在车辆中发生了跌倒事故的符号570与被支援车辆1的符号550一起闪烁。在本实施例中，例如，可以通过分析拍摄车辆内部的相机图像来检测车辆内部的跌倒事故的发生，或者可以通过对乘客可操作的按钮或HMI的操作来检测。在本实施例中，通过视觉识别这种闪烁，管制员和操作员能够直观地识别乘客的跌倒。在这种情况下，不是单纯地当场迅速地让被支援车辆1停车，而是在考虑到周围的交通状况和对后续车辆的伴随着停车的二次损害风险等，在最近的安全地点使被支援车辆减速、缓行且一旦停车之后，有时也会做出优先处置的判断。也就是说，处置判断的内容在很大程度上取决于被支援车辆1在地图上的哪个道路区间发生了事件。

例如，在图24所示的示例中，指示执行远程操舵的被支援车辆1的符号550与执行控制的负责区域的地图一起显示在监控器500上。此外，在图24所示的示例中，表示已经操作了用于请求来自车辆内部的支援的按钮的符号572与被支援车辆1的符号550一起闪烁。在本实施例中，通过视觉识别这种闪烁，管制员和操作员能够直观地识别来自乘客的支援请求。注意，在本实施例中，即使在来自同一乘客的支援请求的情况下，也可以区分地显示出响应于让被支援车辆1紧急停车的操作而发送的请求与不伴随着紧急停车操作的支援请求，因而就能够更准确和快速地做出处置响应。

此外，例如，在图25所示的示例中，指示执行远程操舵的被支撑车辆1的符号550与执行控制的负责区域的地图一起显示在监控器500上。具体地，在图25所示的示例中，表示下车时需要支援的箭头状符号562与被支援车辆1的符号550一起闪烁。用于指示停车场的位置的符号580进行闪烁以指示在哪个停车场的位置需要支援。此外，还显示了用于指示停车场周围正在进行施工的符号582和用于指示由于降雨导致的湿滑状态的符号584。此外，在图25所示的示例中，通过执行操作以获得详细信息，操作员能够显示指示需要支援的乘客的状况的符号592。例如，在图25所示的示例中，符号592表示需要支援的乘客是使用轮椅的人。这些图示的显示示例是用于说明功能的示例。当本实施例在未来的社会中被广泛运用时，优选使用可以被结合为通用设计的高程度直观的符号。

例如，在图26所示的示例中，表示执行远程操舵的被支援车辆1的符号550与进行控制的负责区域的地图一起显示在监控器500上。具体地，在图26所示的示例中，表示下车时需要支援的箭头状符号562与被支援车辆1的符号550一起闪烁。指示停车场的位置的符号580被显示以指示哪个停车场的位置需要支援。此外，在图26所示的示例中，通过执行操作以获得详细信息，操作员能够显示指示需要支援的乘客的状况的符号574和594。例如，在图26所示的示例中，符号574表示需要支援的乘客是单独下车的儿童，符号594表示在下车时没有接儿童的成年人。

例如，在图27所示的示例中，指示执行远程操舵的被支援车辆1的一般车辆的符号552与执行控制的负责区域的地图一起显示在监控器500上。具体地，在图27所示的示例中，表示需要支援的符号576与被支援车辆1的符号552一起闪烁。此外，在图27所示的示例中，通过执行操作以获得详细信息，操作员能够显示指示需要支援的乘客的状况的符号596。例如，在图27所示的示例中，符号596指示需要支援的乘客已经陷入意识下降或呼吸衰竭。在本实施例中，当生成指示这种信息的紧急支援请求时，显示指示被支援车辆1的车辆类型和乘客状态的信息标志，从而向操作员等提供用于判断紧急处理的优先级的重要线索，从而迅速地判断应当迅速采取的行动(例如准备呼叫救护车、冲向最近的地方支援以及指示被支援车辆1向安全地点慢行等)的优先顺序。

在上述示例中，需要支援的乘客的详细信息由符号显示。然而，不限于此，例如，监控器500可以根据操作员的请求显示乘客的运动图像或静止图像，该运动图像或静止图像具有大量信息，消耗传输频带并且需要大量时间来理解和解释。

注意，以上参考本实施例的情况作为示例说明了本实施例，本实施例用于自动驾驶系统中的拼车巴士等的远程操舵。然而，不限于这种情况，本实施例也可以在驾驶员驾驶的公共机构的移动体(公共汽车、火车等)中驾驶员对工作的远程支援(紧急情况的支援)时使用。

即使在远程操舵支援的目标中包括诸如公共拼车巴士等各种移动体时，管制员和操作员也需要根据服务区域中地图上显示的支援请求指令直观地快速理解各个请求内容，然后执行处理。此外，在存在诸如操作员、管制员和外部人员的支援等多个参与者的情况下，适当且迅速地进行车辆用户的个人需求和状况的移交传达是适当运用的关键。如果如本发明的实施例中所说明的那样通过使用符号等不能直观地传达信息，并且通过依赖运动图像及与个别乘客的直接对话来执行运用，则操作员或管制员仔细观察乘客等的运动图像，并掌握根据客户和需要支援的情况而大幅波动的需求的操作是必不可少的。为了毫不延迟地执行远程操舵支援，可以由诸如管制员或操作员等人操作的被支援车辆1的数量明显受到限制。因此，为了在商业上建立这种远程操舵支援服务，无论自动驾驶系统处于何种情况，几乎都能够进行所有的操作。只有等到建立了导致上述请求的数量减少的情况的技术，自动驾驶才能引入社会。

[8.总结]

如上所述，本发明的实施例使得操作员能够在早期阶段准确地掌握车辆1的状况、车辆1周围的状况、车辆1行驶和进入的区间的风险等，并且开始适当的远程操舵而没有恐慌。也就是说，本发明的实施例使得操作员能够提前且准确地掌握车辆1的状况和车辆1周围的状况，并切换到适当的远程操舵。

注意，在本发明的实施例中，以汽车为例进行说明。然而，本实施例不限于应用于汽车，并且能够应用于诸如汽车、电动汽车、混合电动汽车、摩托车、个人移动设备、飞机、船舶、建筑机械和农业机械(拖拉机)等移动体。也就是说，本发明的实施例还能够应用于各种移动体等的远程操舵操作。

在本说明书中描述的实施例中，为了使远程操作员在进行移动支援的多种场景中有效地发挥作用，不仅是被支援车辆1的支援实施设备，而且还通过与从其他周围车辆获得的事前信息、从先导车获得的支援事前信息、风险通报功能等各种道路利用和维修设备的协调性数据交换而成立，并且通过该相互支援的生态系统有机地发挥作用来支援。

[9.硬件配置]

根据上述实施例的控制部的整体或一部分例如通过具有如图28所示的配置的计算机1000来实现。图28是示出了用于实现服务器100的至少一些功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM：read only memory)1300、硬盘驱动器(HDD：hard disc drive)1400、通信接口1500和输入/输出接口1600。计算机1000的各部件通过总线1050相互连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制这些部件。例如，CPU 1100在RAM 1200中开发存储在ROM 1300或HDD 1400中的程序，并执行与各种程序对应的处理。

ROM 1300存储诸如在计算机1000的启动时由CPU 1100执行的基本输入输出系统(BIOS)等引导程序、取决于计算机1000的硬件的程序等。

HDD 1400是非瞬时地记录要由CPU 1100执行的程序、要由这样的程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录根据本发明的信息处理程序的记录介质，该信息处理程序是程序数据1450的示例。

通信接口1500是用于将计算机1000连接到外部网络1550(例如，互联网)的接口。例如，CPU 1100从其他设备接收数据，并经由通信接口1500将CPU 1100生成的数据发送到其他设备。

输入/输出接口1600是用于连接输入/输出设备1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘、鼠标或麦克风等输入/输出设备1650接收数据。CPU 1100经由输入/输出接口1600将数据发送到诸如显示器、扬声器或打印机等输出设备。输入/输出接口1600可以用作读取记录在预定记录介质(介质)中的程序等的介质接口。介质例如是诸如数字多功能盘(DVD)或相变可重写盘(PD)等光学记录介质、诸如磁光盘(MO)等磁光记录介质、磁带介质、磁记录介质或半导体存储器。

例如，当计算机1000用作根据本发明实施例的服务器100的至少一部分时，计算机1000的CPU 1100通过执行存储在RAM 1200中的程序，实现配对部120、操舵信息生成部122等的功能。根据本发明的信息处理程序等被存储在HDD 1400中。注意，CPU 1100从HDD 1400读取程序数据1450并执行该程序数据。然而，作为另一示例，CPU 1100可以经由外部网络1550从另一设备获取这些程序。

根据本实施例的服务器100等可以应用于包括基于与诸如云计算等网络的连接(或设备之间的通信)的多个设备的系统。也就是说，上述根据本实施例的服务器100例如可以通过多个设备实现为根据本实施例的信息处理系统。上面说明了服务器100的硬件配置的至少一部分的示例。上述构成要素可以使用通用构件来配置，或者可以由专门用于构成要素功能的硬件来配置。可以根据每次要实现的技术水平适当地改变这样的配置。

[10.补充]

注意，上述本发明的实施例例如能够包括由上述信息处理装置或信息处理系统执行的信息处理方法、用于使信息处理装置起作用的程序、以及其中记录该程序的非暂时有形介质。程序可以经由诸如因特网等通信线路(包括无线通信)来分发。

上述本发明的实施例中的信息处理方法中的步骤可以不总是根据所描述的顺序来处理。例如，可以以适当改变的顺序处理这些步骤。这些步骤可以部分并行处理或单独处理，而不是按时间序列处理。此外，步骤的处理可以不总是根据所描述的方法来处理，并且可以例如根据另一方法由另一功能单元来处理。

以上参考附图详细说明了本发明的优选实施例。然而，本发明的技术范围不限于这样的示例。显而易见的是，那些在本发明的技术领域中具有普通知识的人能够在权利要求中描述的技术思想的类别内得到各种改变或更正。应当理解，这些改变和更正自然属于本发明的技术范围。

本说明书中描述的效果仅仅是说明性或示例性的，而不是限制性的。也就是说，除了上述效果之外，或代替上述效果，根据本发明的技术能够实现根据本说明书的描述对于本领域技术人员来说明显的其他效果。

注意，本技术还能够采用以下技术方案。

(1)一种信息处理系统，其用于执行移动体的远程操舵，所述信息处理系统包括：

信息获取部，其获取关于所述移动体的信息和关于所述移动体周围的信息；以及

信息生成部，其基于所获取的信息来生成用于执行所述远程操舵的触觉信息，并且把所生成的所述触觉信息经由与所述触觉信息对应的接口呈现给执行所述远程操舵的操作员。

(2)根据(1)所述的信息处理系统，其中，

所述信息生成部基于所获取的信息来生成用于执行所述远程操舵的视觉信息和听觉信息，并且把所生成的所述视觉信息和所生成的所述听觉信息经由与这两种信息的感觉种类对应的接口呈现给执行所述远程操舵的所述操作员。

(3)根据(2)所述的信息处理系统，其中，

所述信息生成部按照基于所述远程操舵中的所述操作员的思考负荷而确定的顺序，依次呈现所生成的多种信息。

(4)根据(3)所述的信息处理系统，其中，

在呈现所述移动体周围的图像之前，所述信息生成部呈现与所述移动体的路线的状况有关的信息及与所述移动体的动体特性有关的信息。

(5)根据(4)所述的信息处理系统，其中，

与所述移动体的路线的状况有关的信息包括所述路线的拥堵状况、速度限制、巡航速度、障碍物位置信息、风险信息、紧急疏散场所的位置信息、周围车辆的位置信息以及支援车辆的位置信息中的至少一者。

(6)根据(2)至(5)中任一项所述的信息处理系统，其中，

所述视觉信息包括符号显示。

(7)根据(2)至(6)中任一项所述的信息处理系统，其中，

所述听觉信息包括所述移动体内的环境音或所述移动体周围的环境音。

(8)根据(2)至(7)中任一项所述的信息处理系统，其中，

所述触觉信息是通过由所述操作员操作的方向盘、操纵杆或座椅来呈现的。

(9)根据(8)所述的信息处理系统，其中，

所述移动体的动体特性作为所述触觉信息通过所述方向盘或所述操纵杆而被呈现给所述操作员。

(10)根据(2)至(9)中任一项所述的信息处理系统，还包括：

操作员信息获取部，其获取与所述操作员的操舵控制有关的信息，

其中，所述信息生成部基于所述操作员的所述远程操舵来生成所述视觉信息、所述听觉信息和所述触觉信息中的至少一者。

(11)根据(10)所述的信息处理系统，其中，

所述视觉信息包括基于所述操作员的所述远程操舵的VR显示。

(12)根据(10)或(11)所述的信息处理系统，其中，

所述视觉信息包括基于所述操作员的所述远程操舵的虚拟声音。

(13)根据(10)至(12)中任一项所述的信息处理系统，其中，

所述触觉信息包括基于所述操作员的所述远程操舵的虚拟振动或虚拟加重。

(14)根据(10)至(13)中任一项所述的信息处理系统，还包括：

控制部，其基于所述操作员的远程操舵量来控制所述移动体，

其中，所述控制部根据所述移动体的动体特性或所述移动体的货物量来校正所述远程操舵量。

(15)根据(1)至(14)中任一项所述的信息处理系统，其中，

所述移动体是安装有自动驾驶操舵装置的移动体。

(16)根据(15)所述的信息处理系统，其中，

所述信息获取部获取来自所述移动体的驾驶员的远程操舵支援请求以及与分配给所述移动体的路线的自动驾驶等级有关的信息，并且

所述信息生成部生成与直到对所述移动体的支援开始为止的宽限时间有关的信息，且将该信息呈现给所述操作员。

(17)根据(16)所述的信息处理系统，其中，

所述宽限时间是通过计时器的符号来显示的。

(18)根据(16)或(17)所述的信息处理系统，其中，

所述信息获取部获取用于表明所述移动体内的一个或多个乘客的状态的感测数据，并且

基于所获取的感测数据，所述信息生成部生成与在所述远程操舵的时候处于需要注意的规定状态的所述乘客有关的乘客信息，且把所生成的所述乘客信息经由所述接口呈现给所述操作员。

(19)根据(18)所述的信息处理系统，还包括：

存储部，其存储所述感测数据或所述乘客信息，以便在所述乘客下一次使用所述移动体时提供所述感测数据或所述乘客信息。

(20)根据(19)所述的信息处理系统，其中，

所述感测数据或所述乘客信息以与当使用所述移动体时所述乘客的处置履历一起跟所述乘客拥有的车票的识别信息发生关联的方式被存储在所述存储部中。

(21)根据(18)至(20)中任一项所述的信息处理系统，其中，

所述乘客信息通过与所述乘客信息的上位概念对应的第一符号而被呈现给所述操作员。

(22)根据(18)至(21)中任一项所述的信息处理系统，其中，

所述信息生成部通过基于所获取的感测数据把对所述乘客的支援等级指标化来生成与所述乘客有关的所述乘客信息。

(23)一种信息处理装置，其用于执行移动体的远程操舵，所述信息处理装置包括：

信息获取部，其获取关于所述移动体的信息和关于所述移动体周围的信息；以及

信息生成部，其基于所获取的信息来生成用于执行所述远程操舵的触觉信息，并且把所生成的所述触觉信息经由与所述触觉信息对应的接口呈现给执行所述远程操舵的操作员。

附图标记列表

1：车辆

11：车辆控制系统

21：车辆控制ECU(电子控制单元：Electronic Control Unit)

22：通信部

23：地图信息累积部

24：位置信息获取部

25：外部识别传感器

26：车内传感器

27：车辆传感器

28：存储部

29：行驶支援/自动驾驶操舵部

30：驾驶员监控系统(DMS：driver monitoring system)

31：人机接口(HMI：human machine interface)

32：车辆控制部

41：通信网络

51：相机

52：雷达

53：LiDAR(激光成像探测及测距装置)

54：超声波传感器

61：分析部

62：行动规划部

63：操作控制部

71：自身位置推定部

72：传感器融合部

73：识别部

81：转向控制部

82：制动器控制部

83：驱动器控制部

84：车身系统控制部

85：灯控制部

86：喇叭控制部

100：服务器

102：车辆数据获取部

104：周围环境数据获取部

110：操作员数据获取部

120：配对部

122：操舵信息生成部

124：驾驶员状态确认部

500、510、602、604、606：监控器

520：放大的地图

550、552、560、562、570、572、574、576、580、582、584、590、592、594、596：符号

600：监控器组

610：方向盘

900、902、906、908、910：图标

Claims (19)

1.信息处理系统，其用于执行移动体的远程操舵，所述信息处理系统包括：

信息获取部，其获取关于所述移动体的信息和关于所述移动体周围的信息；以及

信息生成部，其基于所获取的信息来生成用于执行所述远程操舵的触觉信息，并且把所生成的所述触觉信息经由与所述触觉信息对应的接口呈现给执行所述远程操舵的操作员。

2.根据权利要求1所述的信息处理系统，其中，

所述信息生成部基于所获取的信息来生成用于执行所述远程操舵的视觉信息和听觉信息，并且把所生成的所述视觉信息和所生成的所述听觉信息经由与这两种信息的感觉种类对应的接口呈现给执行所述远程操舵的所述操作员。

3.根据权利要求2所述的信息处理系统，其中，

所述信息生成部按照基于所述远程操舵中的所述操作员的思考负荷而确定的顺序，依次呈现所生成的多种信息。

4.根据权利要求3所述的信息处理系统，其中，

在呈现所述移动体周围的图像之前，所述信息生成部呈现与所述移动体的路线的状况有关的信息及与所述移动体的动体特性有关的信息。

5.根据权利要求4所述的信息处理系统，其中，

与所述移动体的路线的状况有关的信息包括所述路线的拥堵状况、速度限制、巡航速度、障碍物位置信息、风险信息、紧急疏散场所的位置信息、周围车辆的位置信息以及支援车辆的位置信息中的至少一者。

6.根据权利要求2所述的信息处理系统，其中，

所述视觉信息包括符号显示。

7.根据权利要求2所述的信息处理系统，其中，

所述听觉信息包括所述移动体内的环境音或所述移动体周围的环境音。

8.根据权利要求2所述的信息处理系统，其中，

所述触觉信息是通过由所述操作员操作的方向盘、操纵杆或座椅来呈现的。

9.根据权利要求8所述的信息处理系统，其中，

所述移动体的动体特性作为所述触觉信息通过所述方向盘或所述操纵杆而被呈现给所述操作员。

10.根据权利要求2所述的信息处理系统，还包括：

操作员信息获取部，其获取与所述操作员的操舵控制有关的信息，

其中，所述信息生成部基于所述操作员的所述远程操舵来生成所述视觉信息、所述听觉信息和所述触觉信息中的至少一者。

11.根据权利要求10所述的信息处理系统，其中，

所述视觉信息包括基于所述操作员的所述远程操舵的虚拟现实显示。

12.根据权利要求10所述的信息处理系统，其中，

所述视觉信息包括基于所述操作员的所述远程操舵的虚拟声音。

13.根据权利要求10所述的信息处理系统，其中，

所述触觉信息包括基于所述操作员的所述远程操舵的虚拟振动或虚拟加重。

14.根据权利要求10所述的信息处理系统，还包括：

控制部，其基于所述操作员的远程操舵量来控制所述移动体，

其中，所述控制部根据所述移动体的动体特性或所述移动体的货物量来校正所述远程操舵量。

15.根据权利要求1所述的信息处理系统，其中，

所述移动体是安装有自动驾驶操舵装置的移动体。

16.根据权利要求15所述的信息处理系统，其中，

所述信息获取部获取来自所述移动体的驾驶员的远程操舵支援请求以及与分配给所述移动体的路线的自动驾驶等级有关的信息，并且

所述信息生成部生成与直到对所述移动体的支援开始为止的宽限时间有关的信息，且将该信息呈现给所述操作员。

17.根据权利要求16所述的信息处理系统，其中，

所述宽限时间是通过计时器的符号来显示的。

18.根据权利要求16所述的信息处理系统，其中，

所述信息获取部获取用于表明所述移动体内的一个或多个乘客的状态的感测数据，并且

基于所获取的感测数据，所述信息生成部生成与在所述远程操舵的时候处于需要注意的规定状态的所述乘客有关的乘客信息，且把所生成的所述乘客信息经由所述接口呈现给所述操作员。

19.信息处理装置，其用于执行移动体的远程操舵，所述信息处理装置包括：

信息获取部，其获取关于所述移动体的信息和关于所述移动体周围的信息；以及

信息生成部，其基于所获取的信息来生成用于执行所述远程操舵的触觉信息，并且把所生成的所述触觉信息经由与所述触觉信息对应的接口呈现给执行所述远程操舵的操作员。