CN116923425B - 具有智能感知系统的新能源汽车智能座舱及其控制方法 - Google Patents

Abstract

本发明提出一种具有智能感知系统的新能源汽车智能座舱及其控制方法，智能座舱包括第一获取模块、控制处理模块、第二获取模块、第三获取模块和抬头显示设备。通过本发明实施例的方案，不仅能根据司乘人员的状态、环境情况等及时地触发抬头显示设备，还能根据状态变化实时进行投影调整，极大地提高了智能化程度、灵活性和准确性。

Description

具有智能感知系统的新能源汽车智能座舱及其控制方法

技术领域

本发明涉及智能感知技术领域，具体涉及一种具有智能感知系统的新能源汽车智能座舱及其控制方法。

背景技术

抬头显示器(Head Up Display，HUD)是一种可以把重要信息映射在风挡玻璃上，使驾驶员在行驶过程中可以安全地获取车辆信息的显示装置，是车辆领域的显示发展趋势。HUD可以显示导航信息、高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)信息、实景及实景相关信息、车辆信息等各种信息。目前，抬头显示器已成为智能座舱系统中一个重要的部分，也是智能座舱控制的一个关键点。

但现有智能座舱系统对于抬头显示器的控制还不够智能、准确。

发明内容

本发明正是基于上述问题，提出了一种具有智能感知系统的新能源汽车智能座舱及其控制方法，通过本发明实施例的方案，不仅能根据司乘人员的状态、环境情况等及时地触发抬头显示设备，还能根据状态变化实时进行投影调整，极大地提高了智能化程度、灵活性和准确性。

有鉴于此，本发明的一方面提出了一种具有智能感知系统的新能源汽车智能座舱，包括：第一获取模块、控制处理模块、第二获取模块、第三获取模块和抬头显示设备；

所述第一获取模块被配置为：

获取第一新能源汽车的第一驾驶员的第一基本特征数据；

所述控制处理模块被配置为：根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型；

所述第二获取模块被配置为：

获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据、所述第一新能源汽车所处环境的第一环境状态数据、所述第一新能源汽车的第一车辆状态数据和所述第一新能源汽车上所有乘客的第一乘客状态数据；

所述控制处理模块被配置为：

根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发所述抬头显示设备；

当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；

所述第三获取模块被配置为：实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；

所述控制处理模块被配置为：

根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型；

根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整。

可选地，所述根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据对所述抬头显示设备进行投影调整的步骤，所述控制处理模块具体被配置为：

获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据；

获取所述第一坐标数据所对应的所述第二驾驶员的第一视域内的第一图像数据；

判断所述抬头显示设备的第一投影影像是否会对所述第一图像数据产生第一干扰；

当所述第一投影影像会对所述第一图像数据产生所述第一干扰时，根据所述第一图像数据调节所述抬头显示设备的第一投影影像的第一投影参数；

判断是否能通过对所述第一投影参数的调节以消除所述第一干扰；

若能消除所述第一干扰，则按所述第一投影参数进行投影。

可选地，所述控制处理模块还被配置为：

若不能消除所述第一干扰，则确定所述第二驾驶员的第二视域；

根据所述第二视域确定对应的第二投影区域；

判断所述抬头显示设备处于当前位置能否投影到所述第二投影区域；

若能投影到所述第二投影区域，则改变所述抬头显示设备的所述第一工作状态到第二工作状态以投影到所述第二投影区域。

可选地，所述抬头显示设备包括本体和底座，所述底座上设置导轨、动力装置和传动装置；所述导轨包括一个主导轨和多个支导轨；所述本体上设置有与所述导轨配合的活动连接部件；所述传动装置与所述活动连接部件连接，驱动所述本体在所述导轨内移动；所述控制处理模块还被配置为：

若不能投影到所述第二投影区域，则确定所述第二投影区域对应到在所述导轨上的投影点；

控制所述本体在所述导轨上运动至所述投影点以使所述抬头显示设备可以投影至所述第二投影区域。

可选地，所述控制处理模块还被配置为：

获取所述第一新能源汽车的第一三维点云数据和所述抬头显示设备的第二三维点云数据；

获取所述抬头显示设备的第一属性数据，根据所述第一属性数据确定所述抬头显示设备的多个投影区域；

确定所述多个投影区域的覆盖范围内的所有点在所述第一三维点云数据和所述第二三维点云数据所在坐标系里的第三三维坐标数据；

建立所述第三三维坐标数据与所述第二三维点云数据间的关联关系；

基于所述第二三维点云坐标和所述第三坐标数据建立所述抬头显示设备的HUD三维模型和投影区域模型，以及所述HUD三维模型与所述投影区域模型间的关联关系；

根据所述第一三维点云数据建立所述第一新能源汽车的汽车三维模型；

将所述HUD三维模型、所述投影区域模型与所述汽车三维模型整合得到第一整体三维模型；

所述获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据的步骤，具体是：

根据所述第一工作状态和所述第一整体三维模型得到所述第一投影区域及所述第一坐标数据。

本发明的另一方面提供一种具有智能感知系统的新能源汽车智能座舱控制方法，包括：

获取第一新能源汽车的第一驾驶员的第一基本特征数据；

根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型；

获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据、所述第一新能源汽车所处环境的第一环境状态数据、所述第一新能源汽车的第一车辆状态数据和所述第一新能源汽车上所有乘客的第一乘客状态数据；

根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发抬头显示设备；

当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；

实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；

根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型；

根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整。

可选地，所述根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据对所述抬头显示设备进行投影调整的步骤，包括：

获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据；

获取所述第一坐标数据所对应的所述第二驾驶员的第一视域内的第一图像数据；

判断所述抬头显示设备的第一投影影像是否会对所述第一图像数据产生第一干扰；

当所述第一投影影像会对所述第一图像数据产生所述第一干扰时，根据所述第一图像数据调节所述抬头显示设备的第一投影影像的第一投影参数；

判断是否能通过对所述第一投影参数的调节以消除所述第一干扰；

若能消除所述第一干扰，则按所述第一投影参数进行投影。

可选地，还包括步骤：

若不能消除所述第一干扰，则确定所述第二驾驶员的第二视域；

根据所述第二视域确定对应的第二投影区域；

判断所述抬头显示设备处于当前位置能否投影到所述第二投影区域；

若能投影到所述第二投影区域，则改变所述抬头显示设备的所述第一工作状态到第二工作状态以投影到所述第二投影区域。

可选地，所述抬头显示设备包括本体和底座，所述底座上设置导轨、动力装置和传动装置；所述导轨包括一个主导轨和多个支导轨；所述本体上设置有与所述导轨配合的活动连接部件；所述传动装置与所述活动连接部件连接，驱动所述本体在所述导轨内移动；所述具有智能感知系统的新能源汽车智能座舱控制方法，还包括步骤：

若不能投影到所述第二投影区域，则确定所述第二投影区域对应到在所述导轨上的投影点；

控制所述本体在所述导轨上运动至所述投影点以使所述抬头显示设备可以投影至所述第二投影区域。

可选地，还包括步骤：

获取所述第一新能源汽车的第一三维点云数据和所述抬头显示设备的第二三维点云数据；

获取所述抬头显示设备的第一属性数据，根据所述第一属性数据确定所述抬头显示设备的多个投影区域；

确定所述多个投影区域的覆盖范围内的所有点在所述第一三维点云数据和所述第二三维点云数据所在坐标系里的第三三维坐标数据；

建立所述第三三维坐标数据与所述第二三维点云数据间的关联关系；

基于所述第二三维点云坐标和所述第三坐标数据建立所述抬头显示设备的HUD三维模型和投影区域模型，以及所述HUD三维模型与所述投影区域模型间的关联关系；

根据所述第一三维点云数据建立所述第一新能源汽车的汽车三维模型；

将所述HUD三维模型、所述投影区域模型与所述汽车三维模型整合得到第一整体三维模型；

所述获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据的步骤，包括：

根据所述第一工作状态和所述第一整体三维模型得到所述第一投影区域及所述第一坐标数据。

采用本发明的技术方案，具有智能感知系统的新能源汽车智能座舱控制方法通过获取第一新能源汽车的第一驾驶员的第一基本特征数据；根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型；获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据、所述第一新能源汽车所处环境的第一环境状态数据、所述第一新能源汽车的第一车辆状态数据和所述第一新能源汽车上所有乘客的第一乘客状态数据；根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发抬头显示设备；当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型；根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整。通过本发明实施例的方案，不仅能根据司乘人员的状态、环境情况等及时地触发抬头显示设备，还能根据状态变化实时进行投影调整，极大地提高了智能化程度、灵活性和准确性。

附图说明

图1是本发明一个实施例提供的具有智能感知系统的新能源汽车智能座舱的示意框图；

图2是本发明一个实施例提供的具有智能感知系统的新能源汽车智能座舱控制方法流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面参照图1至图2来描述根据本发明一些实施方式提供的一种具有智能感知系统的新能源汽车智能座舱及其控制方法。

如图1所示，本发明一个实施例提供一种具有智能感知系统的新能源汽车智能座舱，包括：第一获取模块、控制处理模块、第二获取模块、第三获取模块和抬头显示设备；

所述第一获取模块被配置为：

获取第一新能源汽车的第一驾驶员的第一基本特征数据；

所述控制处理模块被配置为：根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型；

所述第二获取模块被配置为：

获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据、所述第一新能源汽车所处环境的第一环境状态数据、所述第一新能源汽车的第一车辆状态数据和所述第一新能源汽车上所有乘客的第一乘客状态数据；

所述控制处理模块被配置为：

根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发所述抬头显示设备；

当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；

所述第三获取模块被配置为：实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；

所述控制处理模块被配置为：

根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型；

根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整。

可以理解的是，在实际生活中，存在同一辆车在一段行程有多个驾驶员的情况，这时，同一个人员的身份会在驾驶员和乘员之间进行转换，在本发明实施例中，首先获取第一新能源汽车的第一驾驶员的第一基本特征数据，所述第一基本特征数据包括但不限于第一驾驶员的基本信息数据(如姓名、年龄、性别、教育程度、兴趣爱好、性格特征等)、生理健康数据(如身高、体重、视力、听力、反应能力等及其变化范围)等，可通过驾驶员在使用模拟驾驶工具或在真实驾驶过程实时检测获取。

然后，基于神经网络/深度学习技术，根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型(或者生成基于时间周期或多个不同地点的驾驶模型集合)。

接着，获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据(此操作可以通过第一新能源汽车上的传感器进行实时监控实现，以可以在出现特定条件时再触发)、所述第一新能源汽车所处环境的第一环境状态数据(此操作可以在当前环境出现特定事件或特定地形或进入特定区域，触发特定的传感器组采集环境图像、声音、温度、风力、空气数据、定位数据、导航数据、物联网数据等)、所述第一新能源汽车的第一车辆状态数据(此操作可以在前述获取第一环境状态数据时联动触发，或者当车辆特定情况时触发，利用车辆数据采集模型采集车辆的图像、发动机声音、摩擦声、振动数据、振动声音、车速、加速度、动力输出数据、电池数据、电动机数据等)和所述第一新能源汽车上所有乘客的第一乘客状态数据(根据乘客数据采集模型采集乘客的图像、行为数据、声音数据、生理健康数据(如身高、体重、视力、听力、反应能力等及其变化范围)、基本信息数据(如姓名、年龄、性别、教育程度、兴趣爱好、性格特征等)等数据)。

再接着，根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发抬头显示设备；例如，可以事先根据根据驾驶员状态数据、环境状态数据、车辆状态数据、乘客状态数据和驾驶模型，并结合神经网络建立触发模型，触发模型为驾驶员状态数据、环境状态数据、车辆状态数据、乘客状态数据和驾驶模型设置了不同的权重。比如，基于第一驾驶员状态数据表明驾驶员的行为特征、精神状态等异常，可能需要触发抬头显示设备；基于第一环境状态数据表明：道路状况不好、天气情况等恶劣，可能需要触发抬头显示设备；基于第一车辆状态数据表明：车辆的行驶速度、加速度等异常，可能需要触发抬头显示设备；基于第一乘客状态数据表明：乘客的身体状况、座位位置等异常，可能需要触发抬头显示设备；基于第一驾驶模型表明：模型无法满足当前驾驶条件、驾驶员的驾驶行为已超出模型设置的阈值范围，可能需要触发抬头显示设备。这时，将所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型输入触发模型，由触发模型进行综合判断得到准确的结果。

当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；

然后，经过预设周期或满足预设的触发条件时，实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型，具体是：

分析第一基本特征数据和第二基本特征数据的相关性：采用特征空间分析方法判断两个数据集在驾驶行为表示/影响上的重合度(即相关性)。

选择实例迁移或特征迁移作为本次的迁移方式。实例迁移需要在两个特征空间之间寻找对应关系,特征迁移需提取两个数据集共有的驾驶行为特征表示。

微调步骤：根据选择的迁移方式，利用第二基本特征数据对第一驾驶模型隐藏和/或输出层中的参数进行微调；越后面的层参数调整幅度越大，前面的层保持参数不变或小幅调整，得到第一目标模型。

评测步骤：从第二基本特征数据中选择的测试集评测第一目标模型,主要指标包括：行为预测精度、驾驶风格识别精度、异常检测分数等。若评测结果达不到预设值，则进行参数重调或获取更多第二驾驶员的基本特征数据。

更新知识步骤：通过参数融合的方式在第一驾驶模型和第一目标模型之间进行知识迁移,如在两个模型的某一层采用参数平均等方式得到更新后的参数，替换第一驾驶模型和第一目标模型中的对应参数。

重复前述微调步骤至参数融合步骤这三个步骤,持续微调第一目标模型、评估效果和更新知识,使第一目标模型性能不断提高并最终收敛得到第二驾驶模型。

应当说明的是，对不同的驾驶员,重新进行前述所有步骤得到对应的驾驶模型。通过迁移学习，可以快速得到新的驾驶员模型。

最后，根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整(调整包括但不限于投影参数调整、投影角度调整、抬头显示设备位置调整等)。

可以理解的是，在本发明实施例中，驾驶员状态数据主要包括：生理信号，包括心电图、脑电图、呼吸率、眼动信号等，这些信号可以反映驾驶员的精神状态和警觉程度，用于检测驾驶疲劳、注意力下降等状态；操作行为，包括方向盘操作、脚踏行为、变道次数、急加速/制动次数等，操作行为可以判断驾驶员的驾驶技能与习惯，检测驾驶员状态的异常变化；面部表情：通过驾驶员面部表情的识别判断其情绪状态，如愤怒、紧张等；视线注视，通过眼动追踪技术获取驾驶员的视线注视点和注视时长，判断其注意力集中情况和视觉搜寻模式；语音数据，语音中的语调、语速等信息可以推测驾驶员的精神状态，而且语音交互过程中的回答准确性、反应时间也可作为判断依据之一；心率变异性，可以通过心率及其变化情况来分析驾驶员的生理负荷和压力水平，心率变异性对疲劳状态检测具有重要意义；运动数据，包括乘坐姿态、手臂肢体动作等,这可以判断驾驶员的精神状态与警惕级别。驾驶员状态数据通过信息融合分析，可以检测出如疲劳驾驶、注意力不集中、情绪异常等状态，为驾驶员状态管理与运动辅助决策提供基础。在本发明实施例中，通过持续扩充驾驶员状态数据规模和类型，构建驾驶员多模态信息模型，可以实现对驾驶员生理与认知状态的全面监测与精准判断。

在本发明实施例中，可以采用虚拟图像投影方式进行投影，HUD可以设置在车内或车外：

1、车内设置：将HUD的投影单元安装在车内，通常设置在仪表板下方或中央控制台部位。优点是设备受到良好保护，易于维护与更新，但投影光学路径较长，光学损耗较大，更难以形成清晰的虚拟图像。

2、车外设置：将HUD的投影单元安装在车外，通常嵌入到车顶或挡风玻璃框架。这可以获得更短的投影光学路径和更大的投影视场，更容易实现高质量虚拟图像的形成。

采用虚拟图像投影方式的HUD设置在车内时，投影光线需要透过挡风玻璃来形成虚拟图像，这会在一定条件下在挡风玻璃上留下投影的残影或影像。这种情况发生的原因主要有：

投影亮度过高：高亮度的投影光线会在挡风玻璃上产生较明显的影像，特别是在环境光线较暗的情况下。这可以通过适当降低投影亮度来避免。

投影时间过长：同一位置长时间投影也会增加影像残留的概率，可以通过不断微调投影位置或内容来减少影响。

挡风玻璃材质：某些挡风玻璃会更易产生影像残留，如含有极性材料的挡风玻璃。

温度与湿度：高温或湿度环境下，挡风玻璃表面会有一定的水膜，这会增加影像留存的可能性，需要加强这类情况下的效果检测。

为减少在HUD投影过程中的影像残留影响，主要措施包括：采用更短的投影光路可以降低光线损耗，从而采用较低的投影亮度；根据环境光线和投影内容实时调控投影亮度，避免长时间高亮度投影；不断微调投影在挡风玻璃上的位置可以避免长时间固定位置投影；根据HUD的光学参数选择与之相匹配的挡风玻璃材质；加大在高温与湿度环境下的HUD效果验证,发现并解决可能的影像残留问题；采用光学防眩和偏振控制的HUD投影单元,可以更好地控制投影光线，从源头上减少影响。通过上述措施的综合运用，可以最大限度地降低虚拟图像HUD在车内设置时可能产生的影像残留影响，并使其达到较好的效果。

通过本发明实施例的方案，不仅能根据司乘人员的状态、环境情况等及时地触发抬头显示设备，还能根据状态变化实时进行投影调整，极大地提高了智能化程度、灵活性和准确性。

应当知道的是，图1所示的具有智能感知系统的新能源汽车智能座舱的框图仅作示意，其所示出的各模块的数量并不对本发明的保护范围进行限定。

在本发明一些可能的实施方式中，所述根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据对所述抬头显示设备进行投影调整的步骤，所述控制处理模块具体被配置为：

获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据；

获取所述第一坐标数据所对应的所述第二驾驶员的第一视域内的第一图像数据；

判断所述抬头显示设备的第一投影影像是否会对所述第一图像数据产生第一干扰；

当所述第一投影影像会对所述第一图像数据产生所述第一干扰时，根据所述第一图像数据调节所述抬头显示设备的第一投影影像的第一投影参数；

判断是否能通过对所述第一投影参数的调节以消除所述第一干扰；

若能消除所述第一干扰，则按所述第一投影参数进行投影。

可以理解的是，为了避免HUD的投影影响驾驶人员的视觉以保证驾驶安全，在本发明实施例中，获取所述抬头显示设备的第一工作状态(包括但不限于所处位置、投影位置、投影角度、投影参数、视场角、分辨率、亮度、对比度、刷新率、矫正度等)对应的第一投影区域的第一坐标数据(可以在建立坐标系后，结合所处位置、投影位置、投影距离、挡风玻璃的坐标等，利用光线传播原理和坐标换算进行计算确定)；应当说明的是，投影距离是HUD到驾乘员眼睛的距离,一般在2-5米范围内，这决定了显示信息的焦距,影响视觉效果；视场角是投影在驾乘员视场内的角度，通常在5-30度范围，视场角过大信息显得分散，过小则无法显示足够信息；投影位置是投影区域在驾乘员视场中的位置，应避开必要遮挡并方便观看，投影位置影响驾乘员获取信息的便利性；分辨率是HUD屏幕的分辨率直接决定了显示信息的清晰度与细节；亮度是投影图像的亮度，需要与车内环境光线匹配，确保显示信息可见，亮度过高会产生眩光,过低影响显示效果；对比度是投影图像中的颜色对比度，影响信息的辨识度，对比度过小使信息显得单一，过大则产生视觉冲击；颜色是指投影图像采用的颜色搭配，颜色过于鲜艳影响驾驶专注，过于单一减弱信息表达效果；刷新率指显示信息的刷新与更新频率，过高会产生视觉残影，过低无法及时更新信息；矫正度是指投影图像与实际道路视场的像素匹配度，像素偏差过大会产生视觉错位,使人产生眩晕感。

在获取驾驶员的视线数据并计算出驾驶员的视线方向后，可以通过舱内设置的摄像装置或者头戴装置等获取所述第一坐标数据所对应的所述第二驾驶员的第一视域内的第一图像数据；可以确定第一投影影像在第二驾驶员第一视域/视线方向上所在第一平面和第一图像数据在第二驾驶员第一视域/视线方向上所在的第二平面是否重叠及重叠数据来判断所述抬头显示设备的第一投影影像是否会对所述第一图像数据产生第一干扰；当所述第一投影影像会对所述第一图像数据产生所述第一干扰时，根据所述第一图像数据调节所述抬头显示设备的第一投影影像的第一投影参数(如调低投影亮度、调整投影颜色、调整对比度、投影角度等)；判断是否能通过对所述第一投影参数的调节以消除所述第一干扰；若能消除所述第一干扰，则按所述第一投影参数进行投影。

在本发明一些可能的实施方式中，所述控制处理模块还被配置为：

若不能消除所述第一干扰，则确定所述第二驾驶员的第二视域；

根据所述第二视域确定对应的第二投影区域；

判断所述抬头显示设备处于当前位置能否投影到所述第二投影区域；

若能投影到所述第二投影区域，则改变所述抬头显示设备的所述第一工作状态到第二工作状态以投影到所述第二投影区域。

可以理解的是，为了更进一步地保证驾驶安全，在本实施例中，若不能消除所述第一干扰，则确定所述第二驾驶员的第二视域(可以根据第一新能源汽车的汽车三维模型、所述抬头显示设备的HUD三维模型和投影区域模型以及第二驾驶员的三维模型、第二驾驶员的驾驶模型等，结合光线传播知识，确定第二视域)；根据所述第二视域确定对应的第二投影区域(如确定第二视域内的多个平面，并结合抬头显示设备的投影参数确定多个投影平面以构成第二投影区域)；结合抬头显示设备的属性数据、投影参数、HUD三维模型、汽车三维模型等，判断所述抬头显示设备处于当前位置能否投影到所述第二投影区域；若能投影到所述第二投影区域，则改变所述抬头显示设备的所述第一工作状态到第二工作状态以投影到所述第二投影区域。

在本发明一些可能的实施方式中，所述抬头显示设备包括本体和底座，所述底座上设置导轨、动力装置和传动装置；所述导轨包括一个主导轨和多个支导轨；所述本体上设置有与所述导轨配合的活动连接部件；所述传动装置与所述活动连接部件连接，驱动所述本体在所述导轨内移动；所述控制处理模块还被配置为：

若不能投影到所述第二投影区域，则确定所述第二投影区域对应到在所述导轨上的投影点；

控制所述本体在所述导轨上运动至所述投影点以使所述抬头显示设备可以投影至所述第二投影区域。

可以理解的是，为了使得HUD能灵活适应更多的场景，在本发明实施例中，所述抬头显示设备包括本体和底座，所述底座上设置导轨、动力装置和传动装置；所述导轨包括一个主导轨和多个支导轨；所述本体上设置有与所述导轨配合的活动连接部件；所述传动装置与所述活动连接部件连接，驱动所述本体在所述导轨内移动；所述具有智能感知系统的新能源汽车智能座舱控制方法，还包括步骤：若不能投影到所述第二投影区域，则确定所述第二投影区域对应到在所述导轨上的投影点；控制所述本体在所述导轨上运动至所述投影点以使所述抬头显示设备可以投影至所述第二投影区域。

在本发明一些可能的实施方式中，所述控制处理模块还被配置为：

获取所述第一新能源汽车的第一三维点云数据(包括主体结构和内部部件等的点云数据)和所述抬头显示设备的第二三维点云数据(包括底座的三维点云数据和本体的三维点云数据等)；

获取所述抬头显示设备的第一属性数据，根据所述第一属性数据确定所述抬头显示设备的多个投影区域(可以构建包含不同的显示需求、不同显示环境等显示条件以及与显示条件对应的不同的投影平面的投影区域确定模型，根据第一属性数据和当前的显示条件可以得到多个投影平面，从而得到投影区域，投影区域可以分层、分角度等)；

确定所述多个投影区域的覆盖范围内(即对应的各个投影平面)的所有点在所述第一三维点云数据和所述第二三维点云数据所在坐标系里的第三三维坐标数据；

建立所述第三三维坐标数据与所述第二三维点云数据间的关联关系；

基于所述第二三维点云坐标和所述第三坐标数据建立所述抬头显示设备的HUD三维模型和投影区域模型，以及所述HUD三维模型与所述投影区域模型间的关联关系；

根据所述第一三维点云数据建立所述第一新能源汽车的汽车三维模型；

将所述HUD三维模型、所述投影区域模型与所述汽车三维模型整合得到第一整体三维模型；

所述获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据的步骤，包括：

根据所述第一工作状态和所述第一整体三维模型得到所述第一投影区域及所述第一坐标数据。

可以理解的是，为了精确地进行座舱控制，在本实施例中，通过构建车辆、HUD等的三维模型，并建立各模型间的关联关系，可以实现对于座舱内人/物的状态的精确感知及针对人/物的状态变化进行精确的调节，取得了更好地智能化效果和用户体验。

为了能实时根据司乘人员的状态变化进行智能感知与反馈以提供用户更好的体验，在本发明一些可能的实施方式中，还包括步骤：

获取车上所有人员的人员三维数据，并建立人员三维模型；

实时监控人员状态(包括人员位置、姿势、语音、行为等)第一变化数据，并根据所述第一变化数据对应调整各个三维模型(如HUD三维模型、座舱内部件的三维模型)的状态，并根据三维模型的调整结果来调整所述第一新能源车内的部件(特别是所述抬头显示设备)的工作。

请参见图2，本发明的另一实施例提供一种具有智能感知系统的新能源汽车智能座舱控制方法，包括：

获取第一新能源汽车的第一驾驶员的第一基本特征数据；

根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型；

获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据、所述第一新能源汽车所处环境的第一环境状态数据、所述第一新能源汽车的第一车辆状态数据和所述第一新能源汽车上所有乘客的第一乘客状态数据；

根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发抬头显示设备；

当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；

实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；

根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型；

根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整。

可以理解的是，在实际生活中，存在同一辆车在一段行程有多个驾驶员的情况，这时，同一个人员的身份会在驾驶员和乘员之间进行转换，在本发明实施例中，首先获取第一新能源汽车的第一驾驶员的第一基本特征数据，所述第一基本特征数据包括但不限于第一驾驶员的基本信息数据(如姓名、年龄、性别、教育程度、兴趣爱好、性格特征等)、生理健康数据(如身高、体重、视力、听力、反应能力等及其变化范围)等，可通过驾驶员在使用模拟驾驶工具或在真实驾驶过程实时检测获取。

然后，基于神经网络/深度学习技术，根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型(或者生成基于时间周期或多个不同地点的驾驶模型集合)。

接着，获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据(此操作可以通过第一新能源汽车上的传感器进行实时监控实现，以可以在出现特定条件时再触发)、所述第一新能源汽车所处环境的第一环境状态数据(此操作可以在当前环境出现特定事件或特定地形或进入特定区域，触发特定的传感器组采集环境图像、声音、温度、风力、空气数据、定位数据、导航数据、物联网数据等)、所述第一新能源汽车的第一车辆状态数据(此操作可以在前述获取第一环境状态数据时联动触发，或者当车辆特定情况时触发，利用车辆数据采集模型采集车辆的图像、发动机声音、摩擦声、振动数据、振动声音、车速、加速度、动力输出数据、电池数据、电动机数据等)和所述第一新能源汽车上所有乘客的第一乘客状态数据(根据乘客数据采集模型采集乘客的图像、行为数据、声音数据、生理健康数据(如身高、体重、视力、听力、反应能力等及其变化范围)、基本信息数据(如姓名、年龄、性别、教育程度、兴趣爱好、性格特征等)等数据)。

再接着，根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发抬头显示设备；例如，可以事先根据根据驾驶员状态数据、环境状态数据、车辆状态数据、乘客状态数据和驾驶模型，并结合神经网络建立触发模型，触发模型为驾驶员状态数据、环境状态数据、车辆状态数据、乘客状态数据和驾驶模型设置了不同的权重。比如，基于第一驾驶员状态数据表明驾驶员的行为特征、精神状态等异常，可能需要触发抬头显示设备；基于第一环境状态数据表明：道路状况不好、天气情况等恶劣，可能需要触发抬头显示设备；基于第一车辆状态数据表明：车辆的行驶速度、加速度等异常，可能需要触发抬头显示设备；基于第一乘客状态数据表明：乘客的身体状况、座位位置等异常，可能需要触发抬头显示设备；基于第一驾驶模型表明：模型无法满足当前驾驶条件、驾驶员的驾驶行为已超出模型设置的阈值范围，可能需要触发抬头显示设备。这时，将所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型输入触发模型，由触发模型进行综合判断得到准确的结果。

当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；

然后，经过预设周期或满足预设的触发条件时，实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型，具体是：

分析第一基本特征数据和第二基本特征数据的相关性：采用特征空间分析方法判断两个数据集在驾驶行为表示/影响上的重合度(即相关性)。

选择实例迁移或特征迁移作为本次的迁移方式。实例迁移需要在两个特征空间之间寻找对应关系,特征迁移需提取两个数据集共有的驾驶行为特征表示。

微调步骤：根据选择的迁移方式，利用第二基本特征数据对第一驾驶模型隐藏和/或输出层中的参数进行微调；越后面的层参数调整幅度越大，前面的层保持参数不变或小幅调整，得到第一目标模型。

评测步骤：从第二基本特征数据中选择的测试集评测第一目标模型,主要指标包括：行为预测精度、驾驶风格识别精度、异常检测分数等。若评测结果达不到预设值，则进行参数重调或获取更多第二驾驶员的基本特征数据。

更新知识步骤：通过参数融合的方式在第一驾驶模型和第一目标模型之间进行知识迁移,如在两个模型的某一层采用参数平均等方式得到更新后的参数，替换第一驾驶模型和第一目标模型中的对应参数。

重复前述微调步骤至参数融合步骤这三个步骤,持续微调第一目标模型、评估效果和更新知识,使第一目标模型性能不断提高并最终收敛得到第二驾驶模型。

应当说明的是，对不同的驾驶员,重新进行前述所有步骤得到对应的驾驶模型。通过迁移学习，可以快速得到新的驾驶员模型。

最后，根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整(调整包括但不限于投影参数调整、投影角度调整、抬头显示设备位置调整等)。

可以理解的是，在本发明实施例中，驾驶员状态数据主要包括：生理信号，包括心电图、脑电图、呼吸率、眼动信号等，这些信号可以反映驾驶员的精神状态和警觉程度，用于检测驾驶疲劳、注意力下降等状态；操作行为，包括方向盘操作、脚踏行为、变道次数、急加速/制动次数等，操作行为可以判断驾驶员的驾驶技能与习惯，检测驾驶员状态的异常变化；面部表情：通过驾驶员面部表情的识别判断其情绪状态，如愤怒、紧张等；视线注视，通过眼动追踪技术获取驾驶员的视线注视点和注视时长，判断其注意力集中情况和视觉搜寻模式；语音数据，语音中的语调、语速等信息可以推测驾驶员的精神状态，而且语音交互过程中的回答准确性、反应时间也可作为判断依据之一；心率变异性，可以通过心率及其变化情况来分析驾驶员的生理负荷和压力水平，心率变异性对疲劳状态检测具有重要意义；运动数据，包括乘坐姿态、手臂肢体动作等,这可以判断驾驶员的精神状态与警惕级别。驾驶员状态数据通过信息融合分析，可以检测出如疲劳驾驶、注意力不集中、情绪异常等状态，为驾驶员状态管理与运动辅助决策提供基础。在本发明实施例中，通过持续扩充驾驶员状态数据规模和类型，构建驾驶员多模态信息模型，可以实现对驾驶员生理与认知状态的全面监测与精准判断。

在本发明实施例中，可以采用虚拟图像投影方式进行投影，HUD可以设置在车内或车外：

1、车内设置：将HUD的投影单元安装在车内，通常设置在仪表板下方或中央控制台部位。优点是设备受到良好保护，易于维护与更新，但投影光学路径较长，光学损耗较大，更难以形成清晰的虚拟图像。

2、车外设置：将HUD的投影单元安装在车外，通常嵌入到车顶或挡风玻璃框架。这可以获得更短的投影光学路径和更大的投影视场，更容易实现高质量虚拟图像的形成。

采用虚拟图像投影方式的HUD设置在车内时，投影光线需要透过挡风玻璃来形成虚拟图像，这会在一定条件下在挡风玻璃上留下投影的残影或影像。这种情况发生的原因主要有：

投影亮度过高：高亮度的投影光线会在挡风玻璃上产生较明显的影像，特别是在环境光线较暗的情况下。这可以通过适当降低投影亮度来避免。

投影时间过长：同一位置长时间投影也会增加影像残留的概率，可以通过不断微调投影位置或内容来减少影响。

挡风玻璃材质：某些挡风玻璃会更易产生影像残留，如含有极性材料的挡风玻璃。

温度与湿度：高温或湿度环境下，挡风玻璃表面会有一定的水膜，这会增加影像留存的可能性，需要加强这类情况下的效果检测。

为减少在HUD投影过程中的影像残留影响，主要措施包括：采用更短的投影光路可以降低光线损耗，从而采用较低的投影亮度；根据环境光线和投影内容实时调控投影亮度，避免长时间高亮度投影；不断微调投影在挡风玻璃上的位置可以避免长时间固定位置投影；根据HUD的光学参数选择与之相匹配的挡风玻璃材质；加大在高温与湿度环境下的HUD效果验证,发现并解决可能的影像残留问题；采用光学防眩和偏振控制的HUD投影单元,可以更好地控制投影光线，从源头上减少影响。通过上述措施的综合运用，可以最大限度地降低虚拟图像HUD在车内设置时可能产生的影像残留影响，并使其达到较好的效果。

通过本发明实施例的方案，不仅能根据司乘人员的状态、环境情况等及时地触发抬头显示设备，还能根据状态变化实时进行投影调整，极大地提高了智能化程度、灵活性和准确性。

在本发明一些可能的实施方式中，所述根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据对所述抬头显示设备进行投影调整的步骤，包括：

获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据；

获取所述第一坐标数据所对应的所述第二驾驶员的第一视域内的第一图像数据；

判断所述抬头显示设备的第一投影影像是否会对所述第一图像数据产生第一干扰；

当所述第一投影影像会对所述第一图像数据产生所述第一干扰时，根据所述第一图像数据调节所述抬头显示设备的第一投影影像的第一投影参数；

判断是否能通过对所述第一投影参数的调节以消除所述第一干扰；

若能消除所述第一干扰，则按所述第一投影参数进行投影。

可以理解的是，为了避免HUD的投影影响驾驶人员的视觉以保证驾驶安全，在本发明实施例中，获取所述抬头显示设备的第一工作状态(包括但不限于所处位置、投影位置、投影角度、投影参数、视场角、分辨率、亮度、对比度、刷新率、矫正度等)对应的第一投影区域的第一坐标数据(可以在建立坐标系后，结合所处位置、投影位置、投影距离、挡风玻璃的坐标等，利用光线传播原理和坐标换算进行计算确定)；应当说明的是，投影距离是HUD到驾乘员眼睛的距离,一般在2-5米范围内，这决定了显示信息的焦距,影响视觉效果；视场角是投影在驾乘员视场内的角度，通常在5-30度范围，视场角过大信息显得分散，过小则无法显示足够信息；投影位置是投影区域在驾乘员视场中的位置，应避开必要遮挡并方便观看，投影位置影响驾乘员获取信息的便利性；分辨率是HUD屏幕的分辨率直接决定了显示信息的清晰度与细节；亮度是投影图像的亮度，需要与车内环境光线匹配，确保显示信息可见，亮度过高会产生眩光,过低影响显示效果；对比度是投影图像中的颜色对比度，影响信息的辨识度，对比度过小使信息显得单一，过大则产生视觉冲击；颜色是指投影图像采用的颜色搭配，颜色过于鲜艳影响驾驶专注，过于单一减弱信息表达效果；刷新率指显示信息的刷新与更新频率，过高会产生视觉残影，过低无法及时更新信息；矫正度是指投影图像与实际道路视场的像素匹配度，像素偏差过大会产生视觉错位,使人产生眩晕感。

在获取驾驶员的视线数据并计算出驾驶员的视线方向后，可以通过舱内设置的摄像装置或者头戴装置等获取所述第一坐标数据所对应的所述第二驾驶员的第一视域内的第一图像数据；可以确定第一投影影像在第二驾驶员第一视域/视线方向上所在第一平面和第一图像数据在第二驾驶员第一视域/视线方向上所在的第二平面是否重叠及重叠数据来判断所述抬头显示设备的第一投影影像是否会对所述第一图像数据产生第一干扰；当所述第一投影影像会对所述第一图像数据产生所述第一干扰时，根据所述第一图像数据调节所述抬头显示设备的第一投影影像的第一投影参数(如调低投影亮度、调整投影颜色、调整对比度、投影角度等)；判断是否能通过对所述第一投影参数的调节以消除所述第一干扰；若能消除所述第一干扰，则按所述第一投影参数进行投影。

在本发明一些可能的实施方式中，还包括步骤：

若不能消除所述第一干扰，则确定所述第二驾驶员的第二视域；

根据所述第二视域确定对应的第二投影区域；

判断所述抬头显示设备处于当前位置能否投影到所述第二投影区域；

若能投影到所述第二投影区域，则改变所述抬头显示设备的所述第一工作状态到第二工作状态以投影到所述第二投影区域。

可以理解的是，为了更进一步地保证驾驶安全，在本实施例中，若不能消除所述第一干扰，则确定所述第二驾驶员的第二视域(可以根据第一新能源汽车的汽车三维模型、所述抬头显示设备的HUD三维模型和投影区域模型以及第二驾驶员的三维模型、第二驾驶员的驾驶模型等，结合光线传播知识，确定第二视域)；根据所述第二视域确定对应的第二投影区域(如确定第二视域内的多个平面，并结合抬头显示设备的投影参数确定多个投影平面以构成第二投影区域)；结合抬头显示设备的属性数据、投影参数、HUD三维模型、汽车三维模型等，判断所述抬头显示设备处于当前位置能否投影到所述第二投影区域；若能投影到所述第二投影区域，则改变所述抬头显示设备的所述第一工作状态到第二工作状态以投影到所述第二投影区域。

在本发明一些可能的实施方式中，所述抬头显示设备包括本体和底座，所述底座上设置导轨、动力装置和传动装置；所述导轨包括一个主导轨和多个支导轨；所述本体上设置有与所述导轨配合的活动连接部件；所述传动装置与所述活动连接部件连接，驱动所述本体在所述导轨内移动；所述具有智能感知系统的新能源汽车智能座舱控制方法，还包括步骤：

若不能投影到所述第二投影区域，则确定所述第二投影区域对应到在所述导轨上的投影点；

控制所述本体在所述导轨上运动至所述投影点以使所述抬头显示设备可以投影至所述第二投影区域。

可以理解的是，为了使得HUD能灵活适应更多的场景，在本发明实施例中，所述抬头显示设备包括本体和底座，所述底座上设置导轨、动力装置和传动装置；所述导轨包括一个主导轨和多个支导轨；所述本体上设置有与所述导轨配合的活动连接部件；所述传动装置与所述活动连接部件连接，驱动所述本体在所述导轨内移动；所述具有智能感知系统的新能源汽车智能座舱控制方法，还包括步骤：若不能投影到所述第二投影区域，则确定所述第二投影区域对应到在所述导轨上的投影点；控制所述本体在所述导轨上运动至所述投影点以使所述抬头显示设备可以投影至所述第二投影区域。

在本发明一些可能的实施方式中，还包括步骤：

获取所述第一新能源汽车的第一三维点云数据(包括主体结构和内部部件等的点云数据)和所述抬头显示设备的第二三维点云数据(包括底座的三维点云数据和本体的三维点云数据等)；

获取所述抬头显示设备的第一属性数据，根据所述第一属性数据确定所述抬头显示设备的多个投影区域(可以构建包含不同的显示需求、不同显示环境等显示条件以及与显示条件对应的不同的投影平面的投影区域确定模型，根据第一属性数据和当前的显示条件可以得到多个投影平面，从而得到投影区域，投影区域可以分层、分角度等)；

确定所述多个投影区域的覆盖范围内(即对应的各个投影平面)的所有点在所述第一三维点云数据和所述第二三维点云数据所在坐标系里的第三三维坐标数据；

建立所述第三三维坐标数据与所述第二三维点云数据间的关联关系；

基于所述第二三维点云坐标和所述第三坐标数据建立所述抬头显示设备的HUD三维模型和投影区域模型，以及所述HUD三维模型与所述投影区域模型间的关联关系；

根据所述第一三维点云数据建立所述第一新能源汽车的汽车三维模型；

将所述HUD三维模型、所述投影区域模型与所述汽车三维模型整合得到第一整体三维模型；

所述获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据的步骤，包括：

根据所述第一工作状态和所述第一整体三维模型得到所述第一投影区域及所述第一坐标数据。

可以理解的是，为了精确地进行座舱控制，在本实施例中，通过构建车辆、HUD等的三维模型，并建立各模型间的关联关系，可以实现对于座舱内人/物的状态的精确感知及针对人/物的状态变化进行精确的调节，取得了更好地智能化效果和用户体验。

为了能实时根据司乘人员的状态变化进行智能感知与反馈以提供用户更好的体验，在本发明一些可能的实施方式中，还包括步骤：

获取车上所有人员的人员三维数据，并建立人员三维模型；

实时监控人员状态(包括人员位置、姿势、语音、行为等)第一变化数据，并根据所述第一变化数据对应调整各个三维模型(如HUD三维模型、座舱内部件的三维模型)的状态，并根据三维模型的调整结果来调整所述第一新能源车内的部件(特别是所述抬头显示设备)的工作。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。

Claims (10)

1.一种具有智能感知系统的新能源汽车智能座舱，其特征在于，包括：第一获取模块、控制处理模块、第二获取模块、第三获取模块和抬头显示设备；

所述第一获取模块被配置为：

获取第一新能源汽车的第一驾驶员的第一基本特征数据；

所述控制处理模块被配置为：根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型；

所述第二获取模块被配置为：

获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据、所述第一新能源汽车所处环境的第一环境状态数据、所述第一新能源汽车的第一车辆状态数据和所述第一新能源汽车上所有乘客的第一乘客状态数据；

所述控制处理模块被配置为：

根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发所述抬头显示设备；

当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；

所述第三获取模块被配置为：实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；

所述控制处理模块被配置为：

根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型；

根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整。

2.根据权利要求1所述的具有智能感知系统的新能源汽车智能座舱，其特征在于，所述根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据对所述抬头显示设备进行投影调整的步骤，所述控制处理模块具体被配置为：

获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据；

获取所述第一坐标数据所对应的所述第二驾驶员的第一视域内的第一图像数据；

判断所述抬头显示设备的第一投影影像是否会对所述第一图像数据产生第一干扰；

当所述第一投影影像会对所述第一图像数据产生所述第一干扰时，根据所述第一图像数据调节所述抬头显示设备的第一投影影像的第一投影参数；

判断是否能通过对所述第一投影参数的调节以消除所述第一干扰；

若能消除所述第一干扰，则按所述第一投影参数进行投影。

3.根据权利要求2所述的具有智能感知系统的新能源汽车智能座舱，其特征在于，所述控制处理模块还被配置为：

若不能消除所述第一干扰，则确定所述第二驾驶员的第二视域；

根据所述第二视域确定对应的第二投影区域；

判断所述抬头显示设备处于当前位置能否投影到所述第二投影区域；

若能投影到所述第二投影区域，则改变所述抬头显示设备的所述第一工作状态到第二工作状态以投影到所述第二投影区域。

4.根据权利要求3所述的具有智能感知系统的新能源汽车智能座舱，其特征在于，所述抬头显示设备包括本体和底座，所述底座上设置导轨、动力装置和传动装置；所述导轨包括一个主导轨和多个支导轨；所述本体上设置有与所述导轨配合的活动连接部件；所述传动装置与所述活动连接部件连接，驱动所述本体在所述导轨内移动；所述控制处理模块还被配置为：

若不能投影到所述第二投影区域，则确定所述第二投影区域对应到在所述导轨上的投影点；

控制所述本体在所述导轨上运动至所述投影点以使所述抬头显示设备可以投影至所述第二投影区域。

5.根据权利要求2-4任一所述的具有智能感知系统的新能源汽车智能座舱，其特征在于，所述控制处理模块还被配置为：

获取所述第一新能源汽车的第一三维点云数据和所述抬头显示设备的第二三维点云数据；

获取所述抬头显示设备的第一属性数据，根据所述第一属性数据确定所述抬头显示设备的多个投影区域；

确定所述多个投影区域的覆盖范围内的所有点在所述第一三维点云数据和所述第二三维点云数据所在坐标系里的第三三维坐标数据；

建立所述第三三维坐标数据与所述第二三维点云数据间的关联关系；

基于所述第二三维点云数据和所述第三三维坐标数据建立所述抬头显示设备的HUD三维模型和投影区域模型，以及所述HUD三维模型与所述投影区域模型间的关联关系；

根据所述第一三维点云数据建立所述第一新能源汽车的汽车三维模型；

将所述HUD三维模型、所述投影区域模型与所述汽车三维模型整合得到第一整体三维模型；

所述获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据的步骤，具体是：

根据所述第一工作状态和所述第一整体三维模型得到所述第一投影区域及所述第一坐标数据。

6.一种具有智能感知系统的新能源汽车智能座舱控制方法，其特征在于，包括：

获取第一新能源汽车的第一驾驶员的第一基本特征数据；

根据所述第一基本特征数据生成所述第一驾驶员的第一驾驶模型；

获取所述第一驾驶员在驾驶所述第一新能源汽车过程中的第一驾驶员状态数据、所述第一新能源汽车所处环境的第一环境状态数据、所述第一新能源汽车的第一车辆状态数据和所述第一新能源汽车上所有乘客的第一乘客状态数据；

根据所述第一驾驶员状态数据、所述第一环境状态数据、所述第一车辆状态数据、所述第一乘客状态数据和所述第一驾驶模型判断是否需要触发抬头显示设备；

当需要触发所述抬头显示设备时，触发所述抬头显示设备并控制所述抬头显示设备进行投影；

实时获取当前驾驶所述第一新能源汽车的第二驾驶员的第二基本特征数据和第二驾驶员状态数据、所述第一新能源汽车所处当前环境的第二环境状态数据、所述第一新能源汽车的第二车辆状态数据、所述第一新能源汽车上当前所有乘客的第二乘客状态数据；

根据所述第一基本特征数据、所述第二基本特征数据和所述第一驾驶模型，得到所述第二驾驶员的第二驾驶模型；

根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据和所述第二驾驶模型对所述抬头显示设备进行投影调整。

7.根据权利要求6所述的具有智能感知系统的新能源汽车智能座舱控制方法，其特征在于，所述根据所述第二驾驶员状态数据、所述第二环境状态数据、所述第二车辆状态数据、所述第二乘客状态数据对所述抬头显示设备进行投影调整的步骤，包括：

获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据；

获取所述第一坐标数据所对应的所述第二驾驶员的第一视域内的第一图像数据；

判断所述抬头显示设备的第一投影影像是否会对所述第一图像数据产生第一干扰；

当所述第一投影影像会对所述第一图像数据产生所述第一干扰时，根据所述第一图像数据调节所述抬头显示设备的第一投影影像的第一投影参数；

判断是否能通过对所述第一投影参数的调节以消除所述第一干扰；

若能消除所述第一干扰，则按所述第一投影参数进行投影。

8.根据权利要求7所述的具有智能感知系统的新能源汽车智能座舱控制方法，其特征在于，还包括步骤：

若不能消除所述第一干扰，则确定所述第二驾驶员的第二视域；

根据所述第二视域确定对应的第二投影区域；

判断所述抬头显示设备处于当前位置能否投影到所述第二投影区域；

若能投影到所述第二投影区域，则改变所述抬头显示设备的所述第一工作状态到第二工作状态以投影到所述第二投影区域。

9.根据权利要求8所述的具有智能感知系统的新能源汽车智能座舱控制方法，其特征在于，所述抬头显示设备包括本体和底座，所述底座上设置导轨、动力装置和传动装置；所述导轨包括一个主导轨和多个支导轨；所述本体上设置有与所述导轨配合的活动连接部件；所述传动装置与所述活动连接部件连接，驱动所述本体在所述导轨内移动；所述具有智能感知系统的新能源汽车智能座舱控制方法，还包括步骤：

若不能投影到所述第二投影区域，则确定所述第二投影区域对应到在所述导轨上的投影点；

控制所述本体在所述导轨上运动至所述投影点以使所述抬头显示设备可以投影至所述第二投影区域。

10.根据权利要求7-9任一所述的具有智能感知系统的新能源汽车智能座舱控制方法，其特征在于，还包括步骤：

获取所述第一新能源汽车的第一三维点云数据和所述抬头显示设备的第二三维点云数据；

获取所述抬头显示设备的第一属性数据，根据所述第一属性数据确定所述抬头显示设备的多个投影区域；

确定所述多个投影区域的覆盖范围内的所有点在所述第一三维点云数据和所述第二三维点云数据所在坐标系里的第三三维坐标数据；

建立所述第三三维坐标数据与所述第二三维点云数据间的关联关系；

基于所述第二三维点云数据和所述第三三维坐标数据建立所述抬头显示设备的HUD三维模型和投影区域模型，以及所述HUD三维模型与所述投影区域模型间的关联关系；

根据所述第一三维点云数据建立所述第一新能源汽车的汽车三维模型；

将所述HUD三维模型、所述投影区域模型与所述汽车三维模型整合得到第一整体三维模型；

所述获取所述抬头显示设备的第一工作状态对应的第一投影区域的第一坐标数据的步骤，包括：

根据所述第一工作状态和所述第一整体三维模型得到所述第一投影区域及所述第一坐标数据。