CN117916139A - 车辆控制系统、车辆控制方法和程序 - Google Patents

Abstract

一种车辆控制系统(11)具有人机接口(31)。人机接口(31)基于对乘员(PA)的监视结果，进行娱乐内容(CT)的显示控制。

Description

车辆控制系统、车辆控制方法和程序

技术领域

本发明涉及车辆控制系统、车辆控制方法和程序。

背景技术

已知一种通过在风挡等上显示信息来辅助驾驶员的驾驶的技术。近年来，与自主驾驶相关的努力已经取得进展，并且还正在实施级别3的自主驾驶，其中驾驶员没有驾驶义务。

引文列表

专利文献

专利文献1：JP 2017-174043A

发明内容

技术问题

在进行自动驾驶的情况下，能够将车辆内部作为娱乐空间来利用。乘员可以享受呈现在车辆内部的各种娱乐内容。然而，在传统的车辆控制系统中，没有考虑乘员享受娱乐内容的便利性。

因此，本公开提出了一种能够增强乘员享受娱乐内容的便利性的车辆控制系统、车辆控制方法和程序。

针对问题的解决方案

根据本公开，提供了一种车辆控制系统，其包括基于乘员的监视结果执行娱乐内容的显示控制的人机接口。根据本公开，提供了一种车辆控制方法，其中由计算机执行车辆控制系统的信息处理，以及一种用于使计算机执行车辆控制系统的信息处理的程序。

附图说明

图1是示出娱乐内容的显示控制的概要的图。

图2是示出车辆控制系统的配置示例的框图。

图3是示出外部识别传感器25的感测区域的示例的图。

图4是示出车内传感器和图像显示单元的配置示例的图。

图5是示出作为内容提供的图像的显示示例的图。

图6是示出图像显示单元的另一配置示例的图。

图7是示出作为内容提供的图像的显示示例的图。

图8是列出了可由传感器检测的车辆内部和外部的状态的图。

图9是示出内容的显示控制方法的示例的图。

图10是示出信息传输级别、周围状况和显示方法之间的对应关系的示例的表。

图11是示出基于车辆内部和外部的监视结果的内容的显示控制的示例的流程图。

图12是示出处理的细节的图。

图13是示出处理的细节的图。

图14是示出处理的细节的图。

图15是示出处理的细节的图。

图16是示出处理的细节的图。

图17是示出事件的通知示例的图。

图18是示出事件的透明显示示例的图。

图19是示出基于亮度分布的内容显示位置的控制示例的图。

图20是示出基于亮度分布的内容显示位置的控制示例的图。

图21是示出基于信息传输级别的事件的通知方法的控制示例的图。

图22是示出基于事件的发生位置的内容显示位置的控制示例的图。

图23是示出基于乘员的观看状态的内容显示位置的控制示例的图。

图24是示出基于乘员的观看状态的内容显示位置的控制示例的图。

图25是示出基于多个乘员的观看状态的显示控制示例的图。

图26是示出基于多个乘员的观看状态的显示控制示例的图。

图27是示出基于多个乘员的观看状态的显示控制示例的图。

图28是示出基于多个乘员的观看状态的显示控制示例的图。

具体实施方式

在下文中，将基于附图详细描述本公开的实施例。在以下各实施方式中，对相同的部分标注相同的符号，省略重复的说明。

注意，将按以下顺序给出描述。

[1.娱乐内容的显示控制概述]

[2.车辆控制系统的配置示例]

[3.外部识别传感器的感测区域]

[4.车内传感器和图像显示单元的配置示例]

[5.基于车辆内部和外部的监视结果的内容显示控制]

[5-1.监视对象]

[5-2.取决于信息传输级别的内容显示控制]

[5-3.处理流程]

[6.显示控制示例]

[6-1.事件的通知]

[6-2.事件的透明显示]

[6-3.基于亮度分布的内容显示位置的控制]

[6-4.基于信息传输级别的事件通知方法的控制]

[6-5.基于事件发生位置的内容显示位置的控制]

[6-6.基于乘员的观看状态的内容显示位置的控制]

[6-7.基于多个乘员的观看状态的显示控制]

[7.效果]

[1.娱乐内容的显示控制概述]

图1是示出娱乐内容CT的显示控制的概况的图。

车辆1包括能够执行自主驾驶的车辆控制系统11。乘员PA能够将车辆内部用作娱乐空间。车辆1包括能够显示娱乐内容CT的图像显示单元93。娱乐内容CT不是为了帮助驾驶员驾驶而是为了娱乐乘员PA。娱乐内容CT的例子包括电影、音乐、游戏、新闻、邮件、地图或旅游信息、SNS和聊天。

图像显示单元93可以在例如显示状态和透明状态之间切换。图像显示单元93以沿着车辆1的内壁或分隔壁包围车辆内部空间的方式设置。图像显示单元93在显示状态下呈现内容CT，并在透明状态下使乘员PA通过其看到车辆外部。

“显示状态”包括半透明状态，其中诸如显示在车辆外部的场景上的图像之类的信息可以像增强现实(AR)一样被重叠。图像显示单元93可以通过在车辆外部的场景上重叠图像来执行AR显示。图像显示单元93根据车外的亮度来调整例如图像显示单元93的显示亮度、透明度或雾度(haze)。这可以增强内容CT的可见性。

车辆控制系统11包括监视单元MU和人机接口(HMI)31。监视单元MU利用安装在车辆1上的各种传感器获取车辆内部和外部的各种类型的信息。监视单元MU将获取的信息输出到HMI 31作为监视信息。监视单元MU包括例如DMS 30和稍后描述的识别单元73。

监视信息包括关于乘员PA的观看状态的信息(观看状态信息VS)、关于车辆外部的事件的信息(事件信息ET)、关于周围环境的信息(环境信息CE)、关于驾驶状态DS的信息等。HMI 31基于监视信息执行娱乐内容CT的显示控制。监视单元MU例如将内容CT的显示位置和乘员PA对内容CT的注视状况作为行驶中的车内状况的记录进行记录，并将该记录存储在存储单元28(参照图2)中。包括存储单元28的车辆控制系统11的一部分可以经由通信单元22被实现为云上的功能。

[2.车辆控制系统的配置示例]

图2是示出车辆控制系统11的配置示例的框图。

车辆控制系统11包含在车辆1中，进行与车辆1的行驶辅助和自主驾驶相关的处理。

车辆控制系统11包括车辆控制电子控制单元(ECU)21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车内传感器26、车辆传感器27、存储单元28、行驶辅助和自主驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32。

车辆控制ECU 21、通信单元22、地图信息累积单元23、位置信息获取单元24、外部识别传感器25、车内传感器26、车辆传感器27、存储单元28、行驶辅助和自主驾驶控制单元29、驾驶员监视系统(DMS)30、人机接口(HMI)31和车辆控制单元32经由通信网络41可通信地彼此连接。通信网络41包括例如符合数字双向通信标准的车内通信网络、总线等，所述数字双向通信标准诸如控制器区域网络(CAN)、局域互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)或以太网(注册商标)。通信网络41可以根据要发送的数据的类型而被选择性地使用。例如，CAN可以应用于与车辆控制相关的数据，而以太网可以应用于大容量数据。注意，车辆控制系统11的每个单元可以不经由通信网络41而是通过使用基于在相对短距离的通信的前提下的无线通信(诸如近场通信(NFC)或蓝牙(注册商标))来直接连接。

注意，在下文中，在车辆控制系统11的每个单元经由通信网络41执行通信的情况下，将不提及通信网络41。例如，在车辆控制ECU 21和通信单元22经由通信网络41执行通信的情况下，简单地描述车辆控制ECU 21和通信单元22彼此通信。

车辆控制ECU 21由诸如中央处理单元(CPU)或微处理单元(MPU)之类的各种类型的处理器实现。车辆控制ECU 21控制车辆控制系统11的全部或部分功能。

通信单元22与车辆内部和外部的各种设备、其它车辆、服务器、基站等通信，并且发送和接收各种类型的数据。此时，通信单元22可以使用多种通信方案来执行通信。

将示意性地描述通信单元22能够执行的外部通信。通信单元22通过诸如第5代移动通信系统(5G)、长期演进(LTE)或专用短程通信(DSRC)之类的无线通信方案经由基站或接入点与存在于外部网络上的服务器(在下文中，称为外部服务器)等通信。通信单元22与之通信的外部网络例如是因特网、云网络、公司独有的网络等。由通信单元22相对于外部网络执行的通信方案不受特别限制，只要它是能够以等于或高于预定速度的通信速度并且以长于或等于预定距离的距离执行数字双向通信的无线通信方案即可。

此外，例如，通信单元22可以使用对等(P2P)技术与存在于本车辆附近的终端通信。存在于本车辆附近的终端包括例如由以相对低速行驶的诸如行人或自行车之类的行驶体佩戴的终端、安装在商店等中的位置固定的终端、或者机器类型通信(MTC)终端。此外，通信单元22还可以执行V2X通信。V2X通信是指本车辆和其它东西之间的通信，例如与另一车辆进行的车辆到车辆通信、与路边装置进行的车辆到基础设施通信、车辆到家庭通信、以及与行人携带的终端进行的车辆到行人通信。

例如，通信单元22可以从外部(空中)接收用于更新用于控制车辆控制系统11的操作的软件的程序。通信单元22还可以从外部接收地图信息、交通信息、车辆1周围的信息等。此外，例如，通信单元22可以将关于车辆1的信息、车辆1周围的信息等发送到外部。通过通信单元22发送到外部的关于车辆1的信息的示例包括指示车辆1的状态的数据、识别单元73的识别结果等。此外，例如，通信单元22执行符合诸如eCall之类的车辆紧急呼叫系统的通信。

例如，通信单元22接收由诸如无线电波信标、光信标或FM复用广播之类的道路交通信息通信系统(车辆信息和通信系统(VICS)(注册商标))发送的电磁波。

将示意性地描述通信单元22能够执行的与车辆内部的通信。通信单元22可以使用例如无线通信与车辆中的每个设备通信。通信单元22可以通过能够以预定通信速度或更高的通信速度通过无线通信执行数字双向通信的通信方案，诸如无线LAN、蓝牙、NFC或无线USB(WUSB)，来执行与车内设备的无线通信。不限于上述，通信单元22还可以使用有线通信与车辆中的每个设备进行通信。例如，通信单元22可以经由连接到连接端子(未示出)的线缆通过有线通信与车辆中的每个设备通信。通信单元22可以通过能够以预定通信速度或更高的速度通过有线通信执行数字双向通信的通信方案，诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)或移动高清链路(MHL)，来与车辆中的每个设备通信。

这里，车辆中的设备是指例如车辆中未连接到通信网络41的设备。作为车辆中的设备的示例，可以想到由诸如驾驶员之类的乘员携带的移动设备或可穿戴设备、被带入车辆中并被临时安装的信息设备等。

地图信息累积单元23累积从外部获取的地图和由车辆1生成的地图中的一个或两个。例如，地图信息累积单元23累积三维的高精度地图、精度比高精度地图低但覆盖范围广的全局地图等。

高精度地图是例如动态地图、点云地图、矢量地图或其它。动态地图是例如包括动态信息、半动态信息、半静态信息和静态信息的四个层的地图，并且从外部服务器等提供给车辆1。点云地图包括点云(点群数据)。矢量地图例如是将诸如车道和信号灯的位置之类的交通信息与点云地图相关联，并使其适应于ADAS(高级驾驶员辅助系统)或AD(自主驾驶)的地图。

点云地图和矢量地图可以从例如外部服务器等提供，或者可以由车辆1基于相机51、雷达52、LiDAR 53等的感测结果创建为用于与稍后描述的本地地图进行匹配的地图，并且可以累积在地图信息累积单元23中。另外，在从外部服务器等提供高精度地图的情况下，例如，从外部服务器等获取关于车辆1随后行驶的计划路径的几百米见方的地图数据，以便降低通信容量。

位置信息获取单元24接收来自全球导航卫星系统GNSS卫星的GNSS信号，并获取车辆1的位置信息。将获取的位置信息提供给行驶辅助和自主驾驶控制单元29。注意，位置信息获取单元24并不限于使用GNSS信号的方法，例如也可以使用信标获取位置信息。

外部识别传感器25包括用于识别车辆1外部的情况的各种传感器，并将来自每个传感器的传感器数据提供给车辆控制系统11中的各单元。任何类型和任何数量的传感器可以包括在外部识别传感器25中。

例如，外部识别传感器25包括相机51、雷达52、光检测和测距或激光成像检测和测距(LiDAR)53、以及超声波传感器54。但并不限于此，外部识别传感器25可以包括相机51、雷达52、LiDAR 53、以及超声波传感器54中的一种或多种类型的传感器。相机51、雷达52、LiDAR 53、以及超声波传感器54的数量不受特别限制，只要它们可以实际安装在车辆1中即可。此外，外部识别传感器25中包括的传感器的类型不限于该示例，并且外部识别传感器25可以包括另一类型的传感器。稍后将描述外部识别传感器25中所包括的每个传感器的感测区域的示例。

注意，相机51的成像方法不受特别限制。例如，可以根据需要将各种成像方法的相机(例如使用能够测距的成像方法的飞行时间(ToF)相机、立体相机、单目相机和红外相机)应用于相机51。不限于此，相机51可以简单地获取拍摄的图像，而不管测距。

此外，例如，外部识别传感器25可以包括用于检测车辆1的环境的环境传感器。该环境传感器是用于检测诸如天气、气候或亮度之类的环境的传感器，并且可以包括诸如雨滴传感器、雾传感器、阳光传感器、雪传感器和照度传感器之类的各种传感器。

此外，例如，外部识别传感器25包括用于检测车辆1周围的声音、声源的位置等的麦克风。

车内传感器26包括用于检测车辆内部信息的各种传感器，并将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。车内传感器26中包括的各种传感器的类型和数量不受特别限制，只要它们能够实际安装在车辆1中即可。

例如，车内传感器26可以包括相机、雷达、座位传感器、方向盘传感器、麦克风和生物传感器中的一种或多种类型的传感器。作为车内传感器26中所包括的相机，例如，可以使用诸如ToF相机、立体相机、单目相机和红外相机之类的能够测距的各种成像方法的相机。不限于此，包括在车内传感器26中的相机可以简单地获取拍摄的图像，而不管测距。车内传感器26中所包括的生物传感器例如设置在座椅、方向盘等上，并且检测诸如驾驶员之类的乘员的各种类型的生物信息。

车辆传感器27包括用于检测车辆1的状态的各种传感器，并将来自每个传感器的传感器数据提供给车辆控制系统11的每个单元。包括在车辆传感器27中的各种传感器的类型或数量不受特别限制，只要它们能够实际安装在车辆1中即可。

例如，车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和集成这些传感器的惯性测量单元(IMU)。例如，车辆传感器27包括检测方向盘的转向角的转向角传感器、横摆率传感器、检测加速器踏板的操作量的加速器传感器和检测制动踏板的操作量的制动传感器。例如，车辆传感器27包括检测发动机或电动机的转数的旋转传感器、检测轮胎的气压的气压传感器、检测轮胎的滑移率的滑移率传感器以及检测车轮的旋转速度的车轮速度传感器。例如，车辆传感器27包括检测电池的剩余量和温度的电池传感器和检测来自外部的冲击的冲击传感器。车辆传感器27包括检测驾驶状态DS的传感器。

存储单元28包括非易失性存储介质或易失性存储介质中的至少一个，并且存储数据或程序。存储单元28用作例如电可擦除可编程只读存储器(EEPROM)和随机存取存储器(RAM)，并且诸如硬盘驱动器(HDD)、半导体存储设备、光存储设备和磁光存储设备之类的磁存储设备可被用作存储介质。存储单元28存储车辆控制系统11的每个单元所使用的各种程序、数据。例如，存储单元28包括事件数据记录器(EDR)和自动驾驶用数据存储系统(DSSAD)，并存储诸如事故之类的事件前后的车辆1的信息和由车内传感器26获取的信息。

行驶辅助和自主驾驶控制单元29控制车辆1的行驶辅助和自主驾驶。例如行驶辅助和自主驾驶控制单元29包括分析单元61、行动计划单元62、以及操作控制单元63。

分析单元61执行车辆1和周围环境的状况的分析处理。分析单元61包括自身位置估计单元71、传感器融合单元72和识别单元73。

自身位置估计单元71根据来自外部识别传感器25的传感器数据和地图信息累积单元23中累积的高精度地图，估计车辆1的自身位置。例如，自身位置估计单元71根据来自外部识别传感器25的传感器数据生成局部地图，通过将该局部地图与高精度地图进行匹配来估计车辆1的自身位置。车辆1的位置基于例如一对后轮的轴的中心。

局部地图是例如使用诸如同时定位与地图绘制(SLAM)、占用网格地图等之类的技术创建的三维高精度地图。三维高精度地图是例如上述点云地图等。占用网格地图是将车辆1周围的三维或二维空间分割为预定大小的网格，并按每个网格来表示物体的占用状态的地图。例如，通过物体的存在或不存在或存在概率来指示物体的占用状态。局部地图也可以用于例如识别单元73对车辆1外部的情况的检测处理和识别处理。

注意，自身位置估计单元71可以基于由位置信息获取单元24获取的位置信息和来自车辆传感器27的传感器数据，估计车辆1的自身位置。

传感器融合单元72执行组合多个不同类型的传感器数据(例如，从相机51提供的图像数据和从雷达52提供的传感器数据)的传感器融合处理，以获得新信息。用于组合不同类型的传感器数据的方法包括集成、融合、关联等。

识别单元73执行检测车辆1的外部状况的检测处理和识别车辆1的外部状况的识别处理。

例如，识别单元73基于来自外部识别传感器25的信息、来自自身位置估计单元71的信息、来自传感器融合单元72的信息等，进行车辆1外部的状况的检测处理和识别处理。

具体而言，例如，识别单元73进行车辆1周边的物体的检测处理、识别处理等。物体检测处理例如是检测物体的有无、大小、形状、位置、移动等的处理。物体识别处理是例如识别诸如物体的类型之类的属性或区分特定物体的处理。然而，检测处理和识别处理不一定被清楚地区分开，并且可能彼此交叠。

例如，识别单元73通过执行将基于雷达52、LiDAR 53等的传感器数据的点云分类成点群的聚类来检测车辆1周围的物体。结果，检测车辆1周围的物体的存在或不存在、尺寸、形状和位置。

例如，识别单元73通过追踪通过聚类而分类的点群的聚类的运动，来检测车辆1周围的物体的运动。结果，检测车辆1周围的物体的速度和行进方向(运动矢量)。

例如，识别单元73根据从相机51提供的图像数据，检测或识别车辆、人、自行车、障碍物、构造物、道路、信号灯、交通标识、道路标志等。此外，识别单元73通过进行诸如语义分割之类的识别处理，能够识别车辆1周边的物体的种类。

例如，识别单元73能够根据地图信息累积单元23中累积的地图、自身位置估计单元71的自身位置的估计结果、以及识别单元73对车辆1周边的物体的识别结果，进行车辆1周边的交通规则的识别处理。通过该处理，识别单元73能够识别信号灯的位置和状态、交通标识和道路标志的内容、交通规则的内容、可使用的车道等。

例如，识别单元73能够进行车辆1的周围环境的识别处理。作为识别单元73要识别的周围环境，可以考虑行人和周围车辆的有无、天气、温度、湿度、亮度、路面状态等。

行动计划单元62生成车辆1的行动计划。例如，行动计划单元62通过进行全局路径计划和路径跟踪的处理来生成行动计划。

注意，全局路径计划是计划从开始到目标的粗略路径的处理。该全局路径计划被称为轨迹计划，并且包括考虑车辆1在计划路径中的运动特性来执行轨迹路径计划(局部路径计划)的处理，该轨迹路径计划使得能够在车辆1附近安全且平滑地行驶。

路径跟踪是计划用于在计划时间内安全且准确地在由全局路径计划所计划的路径上行驶的操作的处理。例如，行动计划单元62能够基于路径跟踪处理的结果，计算车辆1的目标速度和目标角速度。

操作控制单元63为了实施由行动计划单元62生成的行动计划，控制车辆1的操作。

例如，操作控制单元63控制后述的车辆控制单元32所包含的转向控制单元81、制动控制单元82以及驱动控制单元83，以进行加减速控制以及方向控制，以使车辆1在通过轨迹计划计算出的轨迹上行驶。例如，操作控制单元63执行协作控制，以实现ADAS的功能，例如碰撞避免或冲击减轻、跟随行驶、车速保持行驶、对本车辆的碰撞警告、对本车辆的车道偏离警告等。操作控制单元63执行例如旨在用于车辆自主行驶而不依赖于驾驶员的操作的自主驾驶等的协同控制。

DMS 30基于来自车内传感器26的传感器数据、输入到稍后描述的HMI 31的输入数据等，执行驾驶员的认证处理、驾驶员的状态的识别处理等。作为要识别的驾驶员的状态，例如可以想到身体状态、清醒度、注意力集中度、疲劳度、视线方向、醉酒度、驾驶操作、姿势等。

注意，DMS 30可以执行除了驾驶员之外的乘员的认证处理和乘员的状态的识别处理。此外，例如，DMS 30可以基于来自车内传感器26的传感器数据来执行车辆内部的情况的识别处理。作为要识别的车辆内部的状况，例如，可以想到温度、湿度、亮度、气味或香味等。

HMI 31输入各种类型的数据、指令等，并将各种类型的数据呈现给包括驾驶员的乘员。

将示意性地描述HMI 31输入的数据。HMI 31包括用于人输入数据的输入设备。HMI31根据由输入设备输入的数据、指令等产生输入信号，并将输入信号提供给车辆控制系统11的每个单元。HMI 31包括诸如触摸面板、按钮、开关或控制杆之类的操作器作为输入设备。不限于此，HMI 31还可以包括能够通过除了手动操作之外的方法输入信息的输入设备，例如通过语音、手势等。此外，HMI 31可以使用例如使用红外线或无线电波的遥控设备或诸如支持车辆控制系统11的操作的移动设备或可穿戴设备之类的外部连接设备作为输入设备。

将示意性地描述HMI 31对数据的呈现。HMI 31为乘员或车辆外部产生视觉信息、听觉信息和触觉信息。另外，HMI 31执行用于控制所生成的每条信息的输出、输出内容、输出定时、输出方法等的输出控制。HMI 31生成并输出例如操作画面、车辆1的状态显示、警告显示、指示车辆1周围的情况的监视图像以及由诸如娱乐内容CT之类的图像或光指示的信息，作为视觉信息。此外，HMI 31生成并输出由诸如语音引导、警告声音或警告消息之类的声音指示的信息作为听觉信息。此外，HMI 31生成并输出通过例如力、振动、运动等给予乘员触觉的信息作为触觉信息。

作为HMI 31输出视觉信息的输出设备，例如，通过在其上显示图像来呈现视觉信息的显示设备或通过投影图像来呈现视觉信息的投影仪设备是适用的。注意，显示设备可以是除了具有正常显示的显示设备之外的显示乘员视野中的视觉信息的设备，诸如平视显示器、透射显示器或者具有增强现实(AR)功能的可穿戴设备。另外，HMI 31可以使用车辆1中包括的导航设备、仪表板、相机监视系统(CMS)、电子镜、灯等中包括的显示设备作为输出视觉信息的输出设备。

作为HMI 31从其输出听觉信息的输出设备，例如音频扬声器、头戴式耳机或耳机是可应用的。

作为HMI 31向其输出触觉信息的输出设备，例如，使用触觉技术的触觉元件是可应用的。触觉元件例如设置在车辆1的乘员接触的部分处，例如方向盘或座椅。

车辆控制单元32控制车辆1的各单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身系统控制单元84、灯控制单元85以及喇叭控制单元86。

转向控制单元81检测并控制车辆1的转向系统的状态。转向系统包括例如包括方向盘等的转向机构、电动转向装置等。转向控制单元81包括例如控制转向系统的转向ECU、驱动转向系统的致动器等。

制动控制单元82执行车辆1的制动系统的状态的检测和控制。制动系统包括例如制动机构，该制动机构包括制动踏板、防抱死制动系统(ABS)、再生制动机构等。制动控制单元82包括例如控制制动系统的制动ECU、驱动制动系统的致动器等。

驱动控制单元83检测并控制车辆1的驱动系统的状态。该驱动系统包括例如用于产生驱动力的驱动力产生设备(例如加速器踏板、内燃机和驱动电机)、用于将驱动力传递到车轮的驱动力传递机构等。驱动控制单元83包括例如控制驱动系统的驱动ECU、驱动驱动系统的致动器等。

车身系统控制单元84检测和控制车辆1的车身系统的状态。车身系统包括例如无钥匙进入系统、智能钥匙系统、电动车窗设备、电动座椅、空调、气囊、安全带、变速杆等。车身系统控制单元84包括例如控制车身系统的车身系统ECU、驱动车身系统的致动器等。

灯控制单元85检测并控制车辆1的各种灯的状态。作为要控制的灯，例如，可以想到前灯、背光、雾灯、转向信号、制动灯、投影、保险杠上的显示等。灯控制单元85包括控制灯的灯ECU、驱动灯的致动器等。

喇叭控制单元86检测并控制车辆1的汽车喇叭的状态。喇叭控制单元86包括例如控制汽车喇叭的喇叭ECU、驱动汽车喇叭的致动器等。

[3.外部识别传感器的感测区域]

图3是示出由外部识别传感器25的相机51、雷达52、LiDAR 53、超声波传感器54等的感测区域的示例的图。注意，图3示意性地示出了从上方观察的车辆1。当从符号以正确方向显示的方向观察图3时，左端侧是车辆1的前端(前)侧，右端侧是车辆1的后端(后)侧。

感测区域101F和感测区域101B表示超声波传感器54的感测区域的例子。感测区域101F通过多个超声波传感器54覆盖车辆1的前端周围。感测区域101B通过多个超声波传感器54覆盖车辆1的后端周围。

在感测区域101F和感测区域101B中的感测结果例如用于车辆1的停车辅助。

感测区域102F或感测区域102B表示雷达52的近距离或中距离的感测区域的例子。感测区域102F覆盖到车辆1前方的比感测区域101F更远的位置。感测区域102B覆盖到车辆1后方的比感测区域101B更远的位置。感测区域102L覆盖车辆1的左侧面的后周边。感测区域102R覆盖车辆1的右侧面的后周边。

感测区域102F中的感测结果例如用于检测车辆1前方存在的车辆、行人等。在感测区域102B中的检测结果例如用于车辆1后面的碰撞防止功能等。在感测区域102L和感测区域102R中的感测结果例如用于检测车辆1侧面上的盲点中的物体。

感测区域103F或感测区域103B表示相机51的感测区域的例子。感测区域103F覆盖到车辆1前方的比感测区域102F远的位置。感测区域103B覆盖到车辆1后方的比感测区域102B远的位置。感测区域103L覆盖车辆1的左侧面的周边。感测区域103R覆盖车辆1的右侧面的周边。

在感测区域103F中的感测结果可以用于例如交通灯或交通标志的识别、车道偏离防止辅助系统、以及自动前灯控制系统。在感测区域103B中的感测结果可以用于例如停车辅助和环视系统。例如，在感测区域103L和感测区域103R中的感测结果可以用于环绕视图系统。

感测区域104表示LiDAR 53的感测区域的示例。感测区域104覆盖到车辆1前方的比感测区域103F更远的位置。同时，感测区域104在左右方向上具有比感测区域103F更窄的区域。

例如，使用感测区域104中的感测结果来检测诸如周围车辆之类的物体。

感测区域105表示长距离的雷达52的感测区域的示例。感测区域105覆盖到车辆1前方的比感测区域104更远的位置。同时，感测区域105具有在左右方向上比感测区域104窄的区域。

在感测区域105中的感测结果被用于例如自适应巡航控制(ACC)、紧急制动、碰撞避免等。

注意，外部识别传感器25中所包括的相机51、雷达52、LiDAR 53和超声波传感器54的传感器的感测区域可以具有除了图3中的那些之外的各种配置。具体地，超声波传感器54还可以在车辆1的侧面执行感测，或者LiDAR 53可以在车辆1的后面执行感测。另外，传感器的安装位置不限于上述示例。传感器的数量可以是一个或多个。

[4.车内传感器和图像显示单元的配置示例]

图4是示出车内传感器26和图像显示单元93的配置示例的图。图5是示出作为内容CT提供的图像IM的显示示例的图。

在图4和5的例子中，图像显示单元93以在前排座椅(驾驶员座椅和乘员座椅)和后排座椅之间进行分隔的方式设置。在车辆中安装有监视后排座椅上的乘员PA的相机CM。相机CM用作车内传感器26。在图4的示例中，两个相机CM监视前排座椅后面的整个车内空间(后部空间)。

DMS 30根据由相机CM拍摄的图像，获取后方空间的乘员PA的观看状态信息VS。观看状态信息VS例如包括关于乘员PA的数目、乘员PA是否醒着、乘员PA的视野以及乘员PA是否正在注视内容CT的信息。在存在多个乘员PA的情况下，针对每个乘员PA，确定乘员PA的视野、乘员PA是否醒着、以及乘员PA是否正在注视内容CT。HMI 31基于观看状态信息VS控制内容CT的显示。

图像显示单元93是能够透射和显示背景的光学透视型或视频透视型显示器。在本公开中，作为示例，光学透视型显示器用作图像显示单元93。作为图像显示单元93，使用已知的透明显示器或技术，例如平视显示器(HUD)、透明有机发光二极管(OLED)或透明发光二极管(LED)。在本公开中，作为图像显示单元93，例如，采用用于在透明屏幕SCR上投影图像的配置。

图像显示单元93包括例如透明屏幕SCR和投影仪PJ。透明屏幕SCR包括反射从投影仪PJ投射的光的光学透镜膜。在光学透镜膜上层叠有能够电控制外部光的透射率的调光膜。HMI 31基于从环境信息CE中提取的车外亮度信息，调整图像显示单元93(透明屏幕SCR)的显示亮度或透明度或雾度。当内容CT没有显示在图像显示单元93上时，乘员PA可以通过透明屏幕SCR从驾驶员座椅与乘员座椅之间的间隙看到车辆外部的风景。

图6是示出图像显示单元93的另一配置示例的图。图7是示出作为内容CT提供的图像IM的显示示例的图。

在图6和7的例子中，图像显示单元93安装在后排座椅中的乘员PA的侧面。车辆1的侧玻璃被透明屏幕SCR代替。代替使用侧玻璃作为透明屏幕SCR，膜状透明屏幕可以附着到侧玻璃的表面或夹在侧玻璃的内部。当图像IM未显示时，乘员PA可以通过透明屏幕SCR看到车外风景。

在图6和7的例子中，后座的侧玻璃具有作为透明屏幕SCR的功能；然而，具有作为透明屏幕SCR的功能的那些不局限于后座的侧玻璃。风挡、前座的侧玻璃或后玻璃可具有作为透明屏幕SCR的功能。

[5.基于车辆内部和外部的监视结果的内容显示控制]

[5-1.监视对象]

图8是列出了可由传感器检测的车辆内部和外部的状态的图。

在车辆中花费时间的方式包括“A1：电影、音乐或游戏”、“A2：观看新闻或阅读邮件”、“A3：观看VR图像”、“A4：观看地图或旅游信息”、“A5：进行语音聊天(VC)”、“A6：观看外部景物”、“A7：与乘员交谈”、“A8：用智能电话通话”和“A9：睡觉或发呆”。

A1至A5处于“单独观看某事”的状态，A4至A7处于“与其他人一起观看”的状态，A6至A7处于“不特别观看”的状态，A8处于“使用携带在手中的设备”的状态，并且A9处于“睡眠”的状态。“单独观看某事”和“与其他人一起观看”是正在使用图像显示单元93的状态，而“不特别观看”、“使用携带在手上的设备”和“睡眠”是没有使用图像显示单元93的状态。DMS30检测乘员PA正在以什么模式使用图像显示单元93作为观看状态。

车辆1的状态包括“手动驾驶中”、“自主驾驶中”和“后退控制中”。“自主驾驶中”或“手动驾驶中”是自主或手动执行驾驶的状态。“后退控制中”是权限正在从自主驾驶转移或请求转移到手动驾驶的状态。“自主驾驶中”是可以自由享受内容CT的状态，“手动驾驶中”和“后退控制中”是应当限制提供内容CT以便允许驾驶员集中于驾驶的状态。“后退控制中”也可以说是需要向除驾驶员以外的乘员PA通知车辆1发生了某种异常的状态。车辆传感器27将上述三种状态中的车辆1的当前状态检测为驾驶状况DS。

外部环境的示例包括“周围存在危险”、“西晒进入”和“晴空”。“周围存在危险”是存在要通知乘员PA的事件的状态，“西晒进入”和“晴空”是需要根据周围环境进行亮度控制等的状态。识别单元73基于外部识别传感器25的传感器信息来识别外部环境。

车辆控制系统11根据乘员PA的观看状态、驾驶状态DS、车辆外部的事件和周围环境适当地控制内容CT的显示。

[5-2.根据信息传输级别的内容显示控制]

图9是示出内容CT的显示控制方法的示例的图。

HMI 31基于乘员PA的监视结果，进行娱乐内容CT的显示控制。例如，HMI 31包括信息传输方法控制单元91、显示方法控制单元92和图像显示单元93。

信息传输方法控制单元91基于从监视单元MU获取的监视信息来确定在车辆外部发生的事件的信息传输级别。信息传输级别指示针对车辆外部发生的事件的信息传输的紧急性或重要性。信息传输方法控制单元91基于信息传输级别确定事件的通知方法。要确定的通知方法是在广义上传输关于事件的信息的方法。显示方法控制单元92基于监视信息，确定取决于通知方法的包括内容CT的各种类型的信息的详细显示方法(显示位置、显示定时等)。

图10是示出信息传输级别、周围状况和显示方法之间的对应关系的示例的表。

在图10的示例中，从等级S到等级D的五个等级被定义为信息传输级别。等级S对应于前面发生事故的情形。在等级S中，停止观看前面已经显示的娱乐内容CT。确保车辆外部和前方的视野，并且在前方的显示区域中显示警告信息。

等级A对应于车辆1的左右方向上发生事故的情况。在等级A中，确保必要的侧面侧(发生事故的一侧)的车外视野。将在发生事故的左或右显示区域中显示的娱乐内容CT移动到未发生事故一侧的显示区域。然后，在事故发生侧的显示区域中显示警告信息。

等级B对应于另一车辆存在于短距离处的情况。在等级B中，确保在必要方向(存在其他车辆的一侧)上的车辆外部的视野。娱乐内容CT被移动到它不遮挡的位置(例如，不重叠在另一车辆上的位置)。然后，在存在其他车辆的一侧的显示区域中显示警告信息。

等级C对应于另一车辆存在于长距离处的情形。在等级C中，确保在必要方向(存在另一车辆的一侧)上的车辆外部的视野。由于与另一车辆碰撞的危险小，所以要确保的视野的尺寸小于等级S、等级A和等级B的视野的尺寸，并且不显示警告信息。

等级D对应于周围没有另一车辆的情况。在等级D中，不存在假设诸如碰撞之类的危险的事件。因此，娱乐内容CT的观看继续。

[5-3.处理流程]

图11是示出基于车辆内部和外部的监视结果的内容CT的显示控制的示例的流程图。图12至图16是示出处理的细节的图。

如图11所示，监视单元MU根据传感器信息，获取关于车辆内部的信息、关于车辆周围的信息、以及驾驶状况DS(步骤SA1～SA3)。监视单元MU将所获取的各种信息作为监视信息提供给HMI 31。

例如，按照图12的流程获取车辆内的信息。首先，监视单元MU根据相机CM的拍摄图像检查乘员数量(步骤SB1)。监视单元MU检查每个乘员PA的活动水平(步骤SB2)并确定是否所有乘员PA都在睡觉或一个或多个乘员PA是醒着的。在一个或多个乘员PA醒着的情况下，监视单元MU检查醒着的每个乘员PA的动作内容(乘员PA是否正在观看内容CT)(步骤SB3)。

例如，按照图13的流程获取关于车辆周边的信息。首先，监视单元MU根据从外部识别传感器25获取的传感器信息，检查天气信息，并确定视野是否良好(步骤SC1)。如果视野良好，则监视单元MU通过利用通过使用SLAM检测出的自身位置的信息和时间信息，获取太阳的方向(步骤SC2)。另外，监视单元MU根据从外部识别传感器25获取的传感器信息，获取周围的事故信息和周围的车辆信息(步骤SC3～步骤SC4)。

返回图11，信息传输方法控制单元91基于监视信息检测车辆1周围的状况。存储单元28存储其中针对每种情况定义信息传输级别的定义信息的表。在该表中，信息传输级别、周围情况和显示方法之间的对应关系被定义为定义信息。信息传输方法控制单元91基于该表定义对应于所述情况的信息传输级别(步骤SA4)。信息传输方法控制单元91选择与周围情况相对应的信息传输级别，并基于已经选择的信息传输级别来确定事件的通知方法(步骤SA5至SA6)。

信息传输水平例如按照图14的流程确定。首先，信息传输方法控制单元91从监视单元MU获取事故信息和周围车辆的信息(步骤SD1～SD2)。信息传输方法控制单元91基于获取的信息确定关于在车辆外部已经发生的事件的信息传输的紧急性(步骤SD3)。

在确定为存在信息传输的紧急性的情况下，信息传输方法控制单元91根据事件发生的位置，确定需要显示与事件(例如，对车辆1的威胁)有关的信息的方向(步骤SD4)。在前方存在威胁的情况下，信息传输方法控制单元91选择等级S作为信息传输级别。在除了前方之外的方向上存在威胁的情况下，信息传输方法控制单元91选择等级A作为信息传输级别。

在确定没有信息传输的紧急性的情况下，信息传输方法控制单元91确定周边车辆的风险度(步骤SD5)。例如，如果附近存在另一车辆，则确定需要显示关于该另一车辆的信息的方向(步骤SD6)。在另一车辆存在于左方或右方时，信息传输方法控制单元91选择等级B作为信息传输级别。在后方存在另一车辆的情况下，信息传输方法控制单元91选择等级C作为信息传输级别。在附近不存在另一车辆的情况下，信息传输方法控制单元91选择等级D作为信息传输级别。

返回到图11，显示方法控制单元92基于监视信息检测乘员PA的观看状态信息VS(步骤SA7～SA8)。观看状态信息VS包含与乘员PA的视野相关的信息(视野信息)和与乘员PA的状态相关的信息(状态信息)。状态信息包括关于乘员PA是否醒着的信息和关于乘员PA是否正在注视内容CT的信息。

例如，按照图15的流程检测乘员PA的观看状态。首先，显示方法控制单元92将基于监视信息检测出的所有乘员PA作为检测对象进行选择(步骤SE1)。显示方法控制单元92基于监视信息来定义每个乘员PA的状态，并确定每个乘员PA是否正在注视内容CT(步骤SE2)。例如，在视线指向显示区域的情况下，确定乘员PA正在注视内容CT，而在视线没有指向显示区域的情况下，确定乘员PA不在注视内容CT。

显示方法控制单元92将正在注视内容CT的所有乘员PA确定为检测对象(步骤SE3)。显示方法控制单元92根据监视信息，获取已确定的各乘员PA的视野信息(步骤SE4)。

显示方法控制单元92根据乘员PA的视野信息确定内容CT的显示区域(步骤SA9)。显示方法控制单元92根据乘员PA的状态信息，确定事件信息和内容CT的显示定时(步骤SA10)。显示方法由显示区域和显示定时确定。显示方法控制单元92根据已经确定的显示方法，显示内容CT(步骤SA11)。

例如，根据图16的流程确定显示方法。首先，显示方法控制单元92计算由于外部光(例如，阳光)而产生超过允许水平的亮度分布的显示区域。允许水平是基于内容CT的可见性等预先设置的。在可见度由于亮度分布而降低到容许极限以下的情况下，确定已经超过允许水平。例如，显示方法控制单元92基于太阳的方向计算反映了太阳的显示区域。显示方法控制单元92将计算的显示区域识别为外部光影响区域(步骤SF1)。

在有多个乘员PA注视内容CT的情况下，显示方法控制单元92计算与多个乘员PA的公共视野相关的信息(公共视野信息)(步骤SF2)。公共视野是指多个乘员PA的视野在透明屏幕SCR上彼此交叠的部分。

如果存在公共视野，则显示方法控制单元92将显示区域切换为对应于公共视野(步骤SF3)。例如，显示方法控制单元92在除了受外部光影响的区域之外并且包括公共视野的区域中设置内容CT的显示区域。如果没有公共视野，则显示区域被切换以对应于具有高注视水平的特定乘员PA的视野(步骤SF4)。例如，显示方法控制单元92在除了受外部光影响的区域之外并且包括特定乘员PA的视野的区域中设置内容CT的显示区域。然后，显示方法控制单元92根据所定义的等级显示内容CT(步骤SF5)。

[6：显示控制示例]

[6-1.事件的通知]

以下，将参考图17至28描述HMI 31的显示控制的示例。图17是示出事件的通知示例的图。

在车辆外部发生了要通知乘员PA的事件的情况下，HMI 31在车辆外部发生事件的定时，在重叠于乘员PA的视野VA上的部分的显示区域中进行事件通知NT。作为要通知乘员PA的事件，可以想到对本车辆的安全造成威胁的事故、以及存在进行危险驾驶的另一车辆。

例如，HMI 31在图像显示单元93上显示事件信息ET以执行事件通知NT。事件信息ET包括例如诸如事件类型和事件发生位置之类的信息。在图17的示例中，在乘员PA的视野VA的左下方显示消息“紧急情况”，并且在另一车辆已经以预定距离接近本车辆时的定时，在视野VA的右下方显示指示另一车辆正在接近的方向的箭头。“紧急情况”表示事件的类型，箭头表示事件的发生位置。

在图像显示单元93的整个显示区域(可显示区域DA)中，在与乘员PA的视野VA重叠的部分的显示区域中进行事件通知NT。因此，乘员PA能够一边观看内容CT一边不移动视野VA地获取事件信息ET。

[6-2.事件的透明显示]

图18是示出事件的透明显示示例的图。

HMI 31在确认了在乘员PA的视野VA内发生在车外的事件的定时，使乘员PA的视野VA上重叠的部分的显示区域成为透明状态。根据该配置，即使不移动视野VA，也能够在透明状态下通过显示区域(透明区域TA)视觉识别事件的状况。

例如，HMI 31使在视野VA上重叠的部分的显示区域中显示的内容CT的显示位置移动，或者使在视野VA上重叠的部分的显示区域的显示停止。结果，HMI 31使重叠在视野VA上的部分的显示区域进入透明状态。

在图18的例子中，内容CT的显示区域(内容显示区域CDA)从屏幕的重叠在视野VA上的右下位置移动到屏幕的不重叠在视野VA上的左上位置。已经显示内容CT的屏幕的右下区域成为透明区域TA。乘员PA可以通过透明区域TA在视觉上识别车辆外部的事件的情况。根据该配置，保持了在显示事件之前和之后内容CT的连续性。因此，观看内容CT的乘员PA不太可能感觉到不舒服。即，由于乘员PA能够视觉识别车辆外部的事件并掌握情况，如果能够确定不存在重大问题，则乘员PA能够继续观看内容CT。车辆控制系统11可以具有用户通过其向HMI 31通知关于是否存在问题的确定的手段。

[6-3.基于亮度分布的内容显示位置的控制]

图19和20是示出基于亮度分布的内容显示位置的控制示例的图。

HMI 31在由外部光在内容显示区域CDA中产生超过允许水平的亮度分布时，将内容CT的显示位置移动到其中亮度分布满足允许水平的另一显示区域。例如，在内容显示区域CDA中的最亮部分和最暗部分之间的亮度比大于预设阈值的情况下，HMI 31确定亮度分布超过允许水平。

在图19的示例中，随着太阳SN反映在内容显示区域CDA中，在内容显示区域CDA中生成超过允许水平的亮度分布。因此，HMI 31移动内容显示区域CDA以避免太阳SN的反映。结果，抑制了由于外部光而导致的内容CT的可见度的降低。

当将内容CT的显示位置移动到另一显示区域时，HMI 31显示用于将乘员PA的视线引导到另一显示区域的引导信息GI。在图19的示例中，作为引导信息FI，与消息“显示位置将改变”一起，在内容显示区域CDA的左下显示指示内容显示区域CDA的目的地的箭头。乘员PA通过引导信息GI预先掌握内容显示区域CDA的移动和内容显示区域CDA的移动方向。因此，能够移动内容CT的显示位置而不会给乘员PA带来不适。

在图20的示例中，随着外部光直接入射在内容显示区域CDA的一部分上，在内容显示区域CDA中产生超过允许水平的亮度分布。在外部光的直接入射区域DL与其它区域(阴影区域)相比明显明亮的情况下，即使当调节透明屏幕SCR的透明度和雾度时，亮度分布也没有被充分消除。因此，在通过引导信息GI执行通知之后，HMI 31将内容显示区域CDA移动到避开直接入射区域DL的位置。

图19和20中示出的是其中由阳光在内容显示区域CDA中产生亮度分布的示例；然而，亮度分布可能由除太阳光之外的外部光产生。例如，由于街灯、夜景中的城镇的灯等，在内容显示区域CDA中可能产生亮度分布。同样在这种情况下，HMI 31将内容显示区域CDA移动到具有小亮度分布的区域。

[6-4.基于信息传输级别的事件通知方法的控制]

图21是示出基于信息传输级别的事件的通知方法的控制示例的图。注意，这是基于乘员PA使用图4所示的车辆中央的图像显示单元93的前提。

HMI 31基于关于在车辆外部已经发生的事件的信息传输的紧急性或重要性来确定事件的通知方法。例如，在图21的上部的例子中，在本车辆OW周围没有其他车辆OT。因此，HMI 31确定没有发生要通知乘员PA的事件，并且不提供事件的通知。

在图21的中间部分的例子中，在本车辆OW的右后方侧稍微离开的位置处存在其他车辆OT。HMI 31确定在本车辆OW的右后侧发生了不太紧急的事件。HMI 31点亮内容CT的右端，以与事件发生的方向匹配。结果，执行事件通知NT。

紧急程度由光强度表示。HMI 31根据本车辆OW和另一车辆OT之间的距离改变光的强度。距离越短，越紧急，则光的强度越高。在图21的中间部分的示例中，本车辆OW和另一车辆OT之间的距离相对较大。因此，照射内容CT右端的光的强度相对较小。

在图21的下部的例子中，其他车辆OT接近本车辆OW的右侧行驶。HMI 31确定在本车辆OW的右侧发生了高度紧急事件。HMI 31通过强烈照亮内容CT的右端来执行事件通知NT。

[6-5.基于事件发生位置的内容显示位置的控制]

图22是示出基于事件的发生位置的内容显示位置的控制示例的图。注意，这是基于乘员PA使用图4所示的车辆中央的图像显示单元93的前提。

HMI 31基于事件的发生位置来控制内容CT的显示位置。例如，在图22的上部的示例中，在本车辆OW周围没有其他车辆OT。因此，HMI 31确定没有发生要通知给乘员PA的事件，不变更内容CT的显示位置。

在图22的中间部分的示例中，在本车辆OW的前方发生了事故(事件)。HMI 31以确保前方的视野的方式减小内容CT的显示尺寸。HMI 31将减小的内容CT设置在不与乘员PA的视线交叠的位置(例如，透明屏幕SCR的下端)处，以便不妨碍乘员PA观看事故现场AS。

在图22的下部的示例中，在本车辆OW的右侧发生了事故。HMI 31以确保右侧的视野的方式减小内容CT的显示尺寸。HMI 31将减小的内容CT设置在不与乘员PA的视线交叠的位置(例如，透明屏幕SCR的左端)处，以便不妨碍乘员PA观看事故现场AS。

[6-6.基于乘员的观看状态的内容显示位置的控制]

图23和图24是表示基于乘员PA的观看状态的内容显示位置的控制示例的图。其基于乘员PA使用图6所示的车辆侧面部分的图像显示单元93的前提。

在图23的示例中，乘员PA向后倾斜并观看内容CT。HMI 31根据观看状态信息VS检测到乘员PA正在注视内容CT的状态。HMI 31在整个透明屏幕SCR上显示内容CT，使得乘员PA能够在大屏幕上观看内容CT。

在图24的示例中，乘员PA使脸部靠近透明屏幕SCR，并且正在观看车辆外部的风景GA。HMI 31基于观看状态信息VS检测到乘员PA想要观看车辆外部的风景GA的状态。HMI 31以确保一侧的视野的方式减小内容CT的显示尺寸。HMI 31将减小内容CT配置在不与乘员PA的视线交叠的位置(例如，透明屏幕SCR的角部)处，以便不妨碍乘员PA观看风景GA。

[6-7.基于多个乘员的观看状态的显示控制]

图25～图28是表示基于多个乘员PA的观看状态的显示控制示例的图。在图25至28中，根据需要，通过附加在符号之后的数字来区分各个乘员PA。也以类似的方式区分各个乘员PA的视野VA。

HMI 31基于观看状态信息VS检测到注视内容CT的一个或多个乘员PA的视野VA。HMI 31针对每个检测到的视野VA在重叠在视野VA上的部分的显示区域中显示内容CT。

在图25和26的示例中，乘员PA-2正在观看车辆外部的风景。因此，HMI 31在与乘员PA-1的视野VA-1重叠的部分的显示区域中选择性地显示内容CT。HMI 31使在乘员PA-2的视野VA-2上重叠的部分的显示区域成为透明状态，以便乘员PA-2能够通过其看到车辆的外部。

在基于车辆内的监视结果而检测到乘员PA已经开始驾驶时，HMI 31停止显示已经开始驾驶的乘员PA所注视的娱乐内容CT。根据该配置，能够使乘员PA集中于驾驶，因此提高了驾驶的安全性。注意，基于驾驶状态DS检测已经启动手动驾驶的事实。通过对车辆中安装的相机的图像进行图像分析来确定哪个乘员PA已经开始驾驶。

图27和28是示出基于多个乘员PA的公共视野CVA的显示控制的示例的图。

在多个乘员PA的视野VA之间存在公共视野CVA的情况下，HMI 31基于公共视野CVA的位置执行事件信息ET等的显示控制。

例如，在图27的示例中，多个乘员PA观看相同的内容CT。公共视野CVA存在于内容CT上。此时，在检测到其他车辆OT的接近(事件)的情况下，HMI 31在与公共视野CVA重叠的部分的显示区域中，进行用于提供其他车辆OT的接近的通知的通知NT。当其他车辆OT到达与公共视野CVA重叠的位置时，HMI 31将内容显示区域CDA移动到不与公共视野CVA重叠的位置，并且使与公共视野CVA重叠的部分的显示区域成为透明状态。

在图28的示例中，移动内容显示区域CDA以避免太阳SN的映入。当将内容CT的显示位置移动到另一显示区域时，HMI 31在重叠在公共视野CVA上的部分的显示区域中显示引导信息GI。由此，能够使全部观看共同内容CT的乘员PA识别出内容显示区域CDA的移动和内容显示区域CDA的移动方向。

[7.效果]

车辆控制系统11包括HMI 31。HMI 31基于乘员PA的监视结果执行娱乐内容CT的显示控制。在本公开的车辆控制方法中，车辆控制系统11的处理由计算机执行。本公开的程序使计算机实现车辆控制系统11的处理。

根据该配置，能够进行考虑了乘员PA的观看状态的显示控制。因此，提高了乘员PA享受CT内容的便利性。

内容CT由图像显示单元93显示。图像显示单元93可以在显示状态和透明状态之间切换。HMI 31基于车外亮度信息，调整内容CT的显示区域(透明屏幕SCR)的显示亮度或透明度或雾度。

根据该配置，图像显示单元93可以具有内容显示功能和窗户功能。也可以通过在车辆外部的风景上重叠图像IM来执行AR显示。另外，通过根据车外的亮度调整显示器的亮度和内容CT的显示区域的透明度或雾度，提高了内容CT的可视性。

HMI 31基于关于在车辆外部已经发生的事件的信息传输的紧急性或重要性来确定事件的通知方法。

根据该配置，可以在欣赏内容CT的同时识别出在车辆外部发生的事件的存在以及该事件的紧急性或重要性。

车辆控制系统11包括监视单元MU。监视单元MU记录内容CT的显示位置和乘员PA针对内容CT的注视情况。

根据该配置，在发生事故时，更容易调查事故的原因。

注意，这里描述的效果仅仅是示例而不是限制，并且还可以实现其它效果。

[附录]

注意，本技术也可以具有以下配置。

(1)一种车辆控制系统，包括基于对乘员的监视结果执行娱乐内容的显示控制的人机接口。

(2)根据(1)所述的车辆控制系统，

其中，所述人机接口基于关于在车辆外部已发生的事件的信息传输的紧急性或重要性来确定所述事件的通知方法。

(3)根据(1)或(2)所述的车辆控制系统，

其中，所述人机接口在车辆外部发生事件时的定时在与所述乘员的视野重叠的部分的显示区域中提供所述事件的通知。

(4)根据(1)至(3)中任一项所述的车辆控制系统，

其中，在当在所述乘员的视野中确认发生了车辆外部的事件时的定时，所述人机接口使与所述乘员的视野重叠的部分的显示区域进入透明状态。

(5)根据(4)所述的车辆控制系统，

其中，所述人机接口通过移动在所述显示区域中显示的内容的显示位置或停止所述显示区域的显示，使所述显示区域进入透明状态。

(6)根据(1)至(5)中任一项所述的车辆控制系统，

其中，当由外部光在所述内容的显示区域中生成超过允许水平的亮度分布时，所述人机接口将所述内容的显示位置移动到所述亮度分布满足所述允许水平的第二显示区域。

(7)根据(6)所述的车辆控制系统，

其中，当所述内容的显示位置被移动到第二显示区域时，所述人机接口显示用于将所述乘员的视线引导到第二显示区域的引导信息。

(8)根据(1)至(7)中任一项所述的车辆控制系统，

其中，所述人机接口停止显示由已经开始驾驶的乘员注视的内容。

(9)根据(1)至(8)中任一项所述的车辆控制系统，还包括：

监视单元，记录内容的显示位置和乘员对于内容的注视情况。

(10)根据(1)至(9)中任一项所述的车辆控制系统，

其中，所述人机接口基于车辆外部的亮度信息来调整显示的亮度或者内容的显示区域的透明度或雾度。

(11)一种由计算机执行的车辆控制方法，所述车辆控制方法包括基于对乘员的监视结果来执行娱乐内容的显示控制的步骤。

(12)一种用于使计算机基于对乘员的监视结果来实现娱乐内容的显示控制的程序。

附图标记列表

11 车辆控制系统

31 人机接口(HMI)

93 图像显示单元

CT 内容

GI 引导信息

MU 监视单元

PA 乘员

VA 视野

Claims (12)

1.一种车辆控制系统，包括基于对乘员的监视结果执行娱乐内容的显示控制的人机接口。

2.根据权利要求1所述的车辆控制系统，

其中，所述人机接口基于关于在车辆外部已发生的事件的信息传输的紧急性或重要性来确定所述事件的通知方法。

3.根据权利要求1所述的车辆控制系统，

其中，所述人机接口在车辆外部发生事件时的定时在与所述乘员的视野重叠的部分的显示区域中提供所述事件的通知。

4.根据权利要求1所述的车辆控制系统，

其中，在当在所述乘员的视野中确认发生了车辆外部的事件时的定时，所述人机接口使与所述乘员的视野重叠的部分的显示区域进入透明状态。

5.根据权利要求4所述的车辆控制系统，

其中，所述人机接口通过移动在所述显示区域中显示的内容的显示位置或停止所述显示区域的显示，使所述显示区域进入透明状态。

6.根据权利要求1所述的车辆控制系统，

其中，当由外部光在所述内容的显示区域中生成超过允许水平的亮度分布时，所述人机接口将所述内容的显示位置移动到所述亮度分布满足所述允许水平的第二显示区域。

7.根据权利要求6所述的车辆控制系统，

其中，当所述内容的显示位置被移动到第二显示区域时，所述人机接口显示用于将所述乘员的视线引导到第二显示区域的引导信息。

8.根据权利要求1所述的车辆控制系统，

其中，所述人机接口停止显示由已经开始驾驶的乘员注视的内容。

9.根据权利要求1所述的车辆控制系统，还包括：

监视单元，记录内容的显示位置和乘员对于内容的注视情况。

10.根据权利要求1所述的车辆控制系统，

其中，所述人机接口基于车辆外部的亮度信息来调整显示的亮度或者内容的显示区域的透明度或雾度。

11.一种由计算机执行的车辆控制方法，所述车辆控制方法包括基于对乘员的监视结果来执行娱乐内容的显示控制的步骤。

12.一种用于使计算机基于对乘员的监视结果来实现娱乐内容的显示控制的程序。