CN112837407A - 一种智能座舱全息投影系统及其交互方法 - Google Patents

Abstract

本发明公开了一种智能座舱全息投影系统及其交互方法，属于汽车智能座舱领域；本发明改变过去只能由人按钮或语音激活全息投影的方法，改变使用全息投影时的单模态输入方式，使全息投影的应用场景更加贴近人和人沟通时的方式，从广度和深度上，大大提高全息投影技术的使用频率；同时在交互内容上，引入人、车、路、云端的各类有效信息，改变过去有效信息输入源单一的现象，同时利用云端大数据和AIOT技术，打通车内车外越来越多的传感器网络，同时打通各域控制器底层执行器的能力，通过域控制器给全息投影技术赋能；此外改变全息投影系统单调且永远不变的人物形象，从而使得全息投影系统的形象符合驾驶者喜好。

Description

一种智能座舱全息投影系统及其交互方法

技术领域

本发明公开了一种智能座舱全息投影系统及其交互方法，属于汽车智能座舱领域。

背景技术

全息投影是应用无介质浮空投影技术，在三维空间重现一个100%无相差的三维立体实像，具有空中可操控和空中可穿透等特性。

但现有技术仍然没有被大规模用在量产车辆上，究其原因，不仅在于成像尺寸小或者成像视觉效果差，还在于没有找到更好的方法帮助驾驶员安心驾驶或者享用车内舒适性设施，二者之间的沟通很不流畅。

对市场上已有的技术方案进行分析，发现人们对全息投影的使用仍然处于“我要服务”的阶段，而不是通过“主动询问式服务”的概念来与车内其他场景进行融合。因而是冰冷的，生硬的技术，未能使用户体验得到提升。

从而现有技术中的智能座舱全息投影技术还存在以下问题：

1. 在交互方式上，现有技术中的全息投影只能由人按钮或语音激活全息投影的方法，且采用单模态输入方式，从而限制了全息投影的使用频率；

2. 在交互内容上，现有技术中全息投影的有效信息输入源单一；

3. 现有技术中全息投影系统形象单调且永远不变，无法根据用户的喜好进行自定义形象。

发明内容

发明目的：提供一种智能座舱全息投影系统及其交互方法，以解决上述问题。

技术方案：一种智能座舱全息投影系统，包括：

信号输入单元，进行全息投影信号输入源，通过互联网云端模块、智能设备模块和传感器模块进行向全息投影系统输入内容信号；

控制单元，通过全息投影系统接收内容信号，并根据系统算法输出控制信号；

执行单元，通过智能座舱接收全息投影系统控制信号，并驱动智能座舱内部各类工作设备。

优选的，互联网云端包括：

天气预报信息子模块，为用户提供近期地区的天气情况；

车票信息模块子模块，提供用户地区与其他地区之间的往返车票信息，包括车辆的类型、发车时间、到达时间和车票剩余数量；

百科信息模块子模块，用于为用户提供各类领域不同问题的解答；

所述智能设备模块包括：

智能穿戴子模块，用于与用户身上穿戴的智能设备进行连接；

智能家居子模块，进行远程连接用户智能家居，实现实时查看与远程控制；

智能手机子模块，与用户手机进行连接，从而实现驾驶控制手机；

所述传感器模块包括：

内外交互子模块，通过道路基础设施V2X进行车辆与互联网进行实时连接，实现汽车全球定位和道路导航功能、车与车交流功能、无线通信功能及远程感应功能；

采集子模块，通过光线传感器和陀螺仪进行工作，光线传感器用于进行车辆周围环境光线采集，陀螺仪用于进行采集车辆的方向转动信息；

监控子模块，通过雷达和摄像头进行工作，通过各种不同雷达进行实现车辆的障碍预测、碰撞预测和智能巡航；摄像头主要辅助用户进行车辆启动和停驻，同时进行车辆行驶监控记录。

优选的，全息投影系统采用多模态输入技术，包括以下交互方式：

虚拟按键模块，通过电阻阻值变化，进行控制方向盘电话、菜单、空调面板；从而可以实现控制功能快和精准；同时具有肌肉记忆；

语音识别模块，通过语义识别和语义反馈，进行实现云端信息、车身控制、音乐播放、导航信息额和座椅控制，从而使驾驶证在驾驶中视线可以不离开路面，同时可控范围广，智能算法成熟；

屏幕软按键模块，通过手指在电容屏形成耦合电容，进行控制中控屏和空调屏，从而实现屏幕控制的功能多，变化多；

手势识别模块，采用红外技术或者摄像头进行感知肢体运动，从而进行汽车音量大小、空调温度和电话的控制，显示汽车功能的非接触式控制，从而使驾驶证在驾驶中视线可以不离开路面；

面部监控子模块，通过内部软件算法进行判断驾驶证的面部动作和情绪识别；面部动作包括：闭眼、转头、打电话和吃东西；从而实现人机主动安全监控和提醒。

优选的，全息投影系统包括用于定制全息投影系统的人物形象的形象定制模块，所述形象定制模块包括人物形象性别定制、人物形象发型发色定制、人物形象衣物定制。

优选的，全息投影系统具有自我学习能力，包括时间学习模块；所述时间学习模块包括：

初始阶段子模块，通过用户主动对全息投影系统说出各种完整工作指令，用于用户与全息投影系统认识初期；

熟悉阶段子模块，通过时间学习模块记住用户的习惯，从而达到用户与全息投影系统的熟知；

深交阶段子模块，通过，通过时间学习模块用户与全息投影系统的长时间交流中，全息投影系统深度了解用户的习惯、喜好、消费水平；

知己阶段子模块，当用于与全息投影系统通过时间学习模块长时间交流学习之后，全息投影系统可以为用户的生活、心里、以及情绪上做出帮助。

优选的，智能座舱包括执行能力模块和域控制器模块；所述执行能力模块利用整车SOA架构代码进行各种工作，所述执行能力模块包括：

自然语音多轮对话子模块，可以进行与用户进行自然的、不局限话题的聊天；同时在进行对话问答时，可以根据当前对话的状态决策选择最优决策提供给用户；

主动提醒子模块，进行主动提醒用户今天或者某个时段需要进行的工作或者安排；

疲劳提醒子模块，用于警告用户驾驶时间过长，从而提醒用户进行休息；

座舱检测子模块，当用户进行汽车行驶和停驻时进行设施检测，在行驶时，根据用户需求进行调整车窗开启高度、氛围灯是否需要打开、香氛是否开启、以及检测车门是否关闭，停驻时，检测车窗、车门、氛围灯和香氛是否关闭；

习惯记忆子模块，根据用户习惯进行调座椅的位置和开启音乐时，播放用户喜欢的音乐类型；

儿童安抚子模块，当存在儿童时，自动播放和选择安抚儿童的游戏或者诗歌。

优选的，域控制器模块包括多个存储数据库和多个HMI接口，根据全息投影系统进行存储用户的形象特征数据、驾驶位置数据和个人习惯数据；同时通过与互联网云端和传感器建立连接实现信息共享。

一种基于多模态交互的智能座舱全息投影系统的交互方法，通过根据用户是否携带智能钥匙进入智能座舱，全息投影系统提供不同的服务；具体步骤如下：

步骤1、当用户进行进入车辆，全息投影系统判断其是否携带智能钥匙，携带智能钥匙进入步骤3，没有携带智能要是进入步骤2；

步骤2、确认用户没有携带智能钥匙；

步骤21、利用面容识别技术主动获取用户的面部信息；

步骤22、根据步骤21获取的面部信息结果通知云端；

步骤23、云端进行发送工作指令至智能座舱；

步骤24、智能座舱接收指令并通过域控制器接发出指令，进行给特定人员开启舒适驾驶位置、空调、香氛和氛围灯设备；

步骤25、域控制器进行获取用户的日程安排、出行路线以及天气预报；

步骤26、在进行步骤25的工作时，域控制器会通知全息投影系统进行工作且切换到欢迎界面；

步骤27、全息投影系统向用户播报用户今天的日常安排、出行导航路线以及天气预报灯信息；

步骤28、云端进行存储积累用户信息数据；

步骤3、确认用户携带智能钥匙；

步骤31、全息投影系统进行工作；

步骤32、提取云端存储用户数据进行调节符合个人身高的座椅舒适进出和方向盘伸缩；

步骤33、提取云端存储用户数据进行驱动智能座舱调节符合个人喜好的空调温度、香氛味道；

步骤34、关联用户本人的日程安排和常用出行路线以及自动导航；

步骤35、全息投影系统向用户播报用户今天的日常安排、出行导航路线以及天气预报灯信息；

步骤4、汽车启动，全息投影系统进行驾驶辅助监控。

优选的，本全息投影系统在进行驾驶辅助监控时，会对驾驶员进行闭眼、转头和打电话分心行为检测，且在进行分心行为检测之前，首先采用人脸定位算法来定位驾驶员的人脸位置；该算法以高斯模型为基础，建立监视员的肤色模型，之后利用Adaboost人脸检测算法来定位初识的人脸区，基于驾驶员头部活动区缩小检测范围，根据肤色特征将驾驶员的皮肤区域分割出来；通过寻找最大连通区，排除了手部的干扰，确定最大连通区的中信与范围得到候选的人脸区域，最后计算置信值，将置信度最高的候选区选择检测到的人脸区。

优选的，定位驾驶员的人脸位置包括以下步骤：

S1、驾驶员人脸位置定位工作开始；

S2、进行肤色模型初始化以及高斯建模；

S3、进行活动区域肤色阈值分割；

S4、进行面部区域检测；

S5、结束工作；

其特征在于，步骤S2具体分为以下步骤：

S21、从截取的多张原图截取人脸图；

S22、将人脸子图从RGB颜色空间转换为YCbCr色彩空间；

S23、建立高斯模型并统计人脸样本在Cb和Cr两个通道的颜色信息；

步骤S3具体分为以下步骤：

S31、基于驾驶员头部活动区缩小检测范围；

S32、计算肤色似然图；

S33、进行肤色阈值分割；

步骤S4具体分为以下步骤：

S41、基于步骤S33完成的肤色阈值分割进行形态学二值处理；

S42、勾画联通区域；

S43、获得人脸检测区域；

S44、进行更新高斯模型且更新后的高斯模型用于步骤S2。

有益效果：本发明提供一种智能座舱全息投影系统在交互方式上，改变过去只能由人按钮或语音激活全息投影的方法，改变使用全息投影时的单模态输入方式，使全息投影的应用场景更加贴近人和人沟通时的方式，从广度和深度上，大大提高全息投影技术的使用频率；同时在交互内容上，引入人、车、路、云端的各类有效信息，改变过去有效信息输入源单一的现象，同时利用云端大数据和AIOT技术，打通车内车外越来越多的传感器网络，同时打通各域控制器底层执行器的能力，通过域控制器给全息投影技术赋能；此外改变全息投影系统单调且永远不变的人物形象，从而使得全息投影系统的形象符合驾驶者喜好。

附图说明

图1是本发明的全息投影系统功能交互示意图。

图2是本发明的全息投影系统可以利用的内容输入源框图。

图3是本发明的全息投影技术和现有技术的融合方式表格图。

图4是本发明的全息投影助理能力随时间成长的模型图。

图5是本发明的人脸定位算法流程图。

图6是本发明的用户上车时全息投影服务时序图。

图7是本发明的全息投影系统的多模态输入技术工作框图。

图8是本发明的全息投影系统的自我学习能力工作框图。

具体实施方式

如图1所示，在该实施例中，一种智能座舱全息投影系统及其交互方法依托车辆丰富的传感器网络（如手势识别红外传感器和雨量光线传感器），引入手势识别、视线追踪、驾驶员行为和表情监控等技术和算法，形成了一套多模态输入模式，丰富了全息投影系统做决策的能力。

在进一步的实施例中，信号输入单元，进行全息投影信号输入源，通过互联网云端模块、智能设备模块和传感器模块进行向全息投影系统输入内容信号。

在进一步的实施例中，控制单元，通过全息投影系统接收内容信号，并根据系统算法输出控制信号；

在进一步的实施例中，执行单元，通过智能座舱接收全息投影系统控制信号，并驱动智能座舱内部各类工作设备。

在进一步的实施例中，互联网云端包括：天气预报信息子模块，为用户提供近期地区的天气情况；车票信息模块子模块，提供用户地区与其他地区之间的往返车票信息，包括车辆的类型、发车时间、到达时间和车票剩余数量；百科信息模块子模块，用于为用户提供各类领域不同问题的解答。

在进一步的实施例中，智能设备模块包括：智能穿戴子模块，用于与用户身上穿戴的智能设备进行连接；智能家居子模块，进行远程连接用户智能家居，实现实时查看与远程控制；智能手机子模块，与用户手机进行连接，从而实现驾驶控制手机。

在进一步的实施例中，传感器包括：内外交互子模块，通过道路基础设施V2X进行车辆与互联网进行实时连接，实现汽车全球定位和道路导航功能、车与车交流功能、无线通信功能及远程感应功能；采集子模块，通过光线传感器和陀螺仪进行工作，光线传感器用于进行车辆周围环境光线采集，陀螺仪用于进行采集车辆的方向转动信息；监控子模块，通过雷达和摄像头进行工作，通过各种不同雷达进行实现车辆的障碍预测、碰撞预测和智能巡航；摄像头主要辅助用户进行车辆启动和停驻，同时进行车辆行驶监控记录。

在进一步的实施例中，在交互的方式上，采用以语音交互为主，手势、面部识别、眼球追踪、表情监控为辅的多媒体输入，从广度和深度上，大大提高全息投影技术的使用频率。

在进一步的实施例中，传统硬按键交互方式布局有限，硬件成本高，虚拟按键通过电阻阻值变化，进行控制方向盘电话、菜单、空调面板；从而可以实现控制功能快和精准；同时具有肌肉记忆；全息投影可以实现虚拟按键点击并实现其功能;可以替代一些硬按键。

在进一步的实施例中，传统语音识别的语音是无交互对象，同时存在误识别、误唤醒、语义识别率尚低的缺点，全息投影语音识别交互方式，通过语义识别和语义反馈，进行实现云端信息、车身控制、音乐播放、导航信息额和座椅控制，从而使驾驶证在驾驶中视线可以不离开路面，同时可控范围广，智能算法成熟，使语音交互更像人和人沟通。

在进一步的实施例中，传统的屏幕软按键需要转移实现，不安全，菜单层级深；全息投影屏幕软按键交互方式，通过手指在电容屏形成耦合电容，进行控制中控屏和空调屏，从而实现屏幕控制的功能多，变化多；同时全息投影可以直接展现最后一级菜单的功能选择。

在进一步的实施例中，传统手势识别存在手势有限，可实现功能有限，识别率低，而配合全息投影的手势识别交互方式，采用红外技术或者摄像头进行感知肢体运动，从而进行汽车音量大小、空调温度和电话的控制，显示汽车功能的非接触式控制，从而使驾驶证在驾驶中视线可以不离开路面；同时可以用打“响指”、“挥手”等方式和全息系统交流，更有沉浸感。

在进一步的实施例中，传统面部识别只能识别疲劳、注意力、危险动作等任务；而配合全息投影的面部监控交互方式，通过内部软件算法进行判断驾驶证的面部动作和情绪识别；面部动作包括：闭眼、转头、打电话和吃东西；从而实现人机主动安全监控和提醒。

在进一步的实施例中，全息投影的面部监控交互方式当识别到驾驶员危险操作时，全息投影系统的弹出或者说话，可以让驾驶员更加清醒。

在进一步的实施例中，根本的设计理念上，把“被动式服务”的设计思想改为“全息投影系统主动式服务”，实现从用户出发前到下车后的全出行场景的覆盖。

在进一步的实施例中，全息投影系统包括用于定制全息投影系统的人物形象的形象定制模块，所述形象定制模块包括人物形象性别定制、人物形象发型发色定制、人物形象衣物定制。

在进一步的实施例中，所述形象定制模块甚至包括全息投影系统的人物形象的声音。

在进一步的实施例中，全息投影系统具有自我学习能力，包括时间学习模块；所述时间学习模块包括：初始阶段、熟悉阶段、熟悉阶段和知己阶段。

在进一步的实施例中，初始阶段时通过用户主动对全息投影系统说出各种完整工作指令，如用户说“我需要调节空调温度到25度”，从而全息投影系统将空调温度调节至25度；用于用户与全息投影系统认识初期（一般时间为2到3个月）。

在进一步的实施例中，熟悉阶段是通过时间学习模块记住用户的习惯，如用户说“我有点热”，从而全息投影系统会回复说“已将空调温度调节至25度”，从而达到用户与全息投影系统的熟知（一般时间为6个月左右）。

在进一步的实施例中，深交阶段子模块，通过，通过时间学习模块用户与全息投影系统的长时间交流中，全息投影系统深度了解用户的习惯、喜好、消费水平，如用户说“帮我订一下饭店”，从而全息投影系统会回复说“好的，已帮您预约您最喜欢的XX饭店” （一般深交时间为3至4个月左右）。

在进一步的实施例中，知己阶段是当用户与全息投影系统通过时间学习模块长时间交流学习之后，全息投影系统可以为用户的生活、心里、以及情绪上做出帮助，如全息投影系统会主动说“主人，您看起来很不开心，我也感到难过，我可以为您分担吗” （一般知己时间为3至4个月左右）。

在进一步的实施例中，智能座舱包括执行能力模块和域控制器模块；所述执行能力模块利用整车SOA架构代码进行各种工作；可以主动实现场景化的一整套服务；比如，在监测到驾驶员进入车辆时时，不仅可以通过判断出驾驶者的性别、年龄，还可以根据特定人的参数推送座椅舒适进出、舒适的空调温度和他喜欢的香氛味道等。

在进一步的实施例中，执行能力模块包括：

自然语音多轮对话子模块，可以进行与用户进行自然的、不局限话题的聊天；同时在进行对话问答时，可以根据当前对话的状态决策选择最优决策提供给用户；

主动提醒子模块，进行主动提醒用户今天或者某个时段需要进行的工作或者安排；

疲劳提醒子模块，用于警告用户驾驶时间过长，从而提醒用户进行休息；

座舱检测子模块，当用户进行汽车行驶和停驻时进行设施检测，在行驶时，根据用户需求进行调整车窗开启高度、氛围灯是否需要打开、香氛是否开启、以及检测车门是否关闭，停驻时，检测车窗、车门、氛围灯和香氛是否关闭；

习惯记忆子模块，根据用户习惯进行调座椅的位置和开启音乐时，播放用户喜欢的音乐类型；

儿童安抚子模块，当存在儿童时，自动播放和选择安抚儿童的游戏或者诗歌。

在进一步的实施例中，域控制器模块包括多个存储数据库和多个HMI接口，根据全息投影系统进行存储用户的形象特征数据、驾驶位置数据和个人习惯数据；同时通过与互联网云端和传感器建立连接实现信息共享。

在进一步的实施例中，同时，在域控制器端，给用户丰富的HMI接口用于选择全息投影系统的性别、形象，甚至声音也可以用家人或者明星的语料进行定制。

在进一步的实施例中，在云端，可以记忆住用户所有的生理特征（如身高，声纹，面部特征），进出车辆时喜欢的座椅位置、后视镜位置和方向盘位置，用户日常喜欢空调温度，开心和不开心时喜欢播放的音乐类型。所有诸如此类的数据，都会在云端建立一个用户数据库，可以融合传感器网络的输入，共同作为决策的依据。

一种智能座舱全息投影系统的交互方法，通过根据用户是否携带智能钥匙进入智能座舱，全息投影系统提供不同的服务；具体步骤如下：

步骤1、当用户进行进入车辆，全息投影系统判断其是否携带智能钥匙，携带智能钥匙进入步骤3，没有携带智能要是进入步骤2；

步骤2、确认用户没有携带智能钥匙；

步骤21、利用面容识别技术主动获取用户的面部信息；

步骤22、根据步骤21获取的面部信息结果通知云端；

步骤23、云端进行发送工作指令至智能座舱；

步骤24、智能座舱接收指令并通过域控制器接发出指令，进行给特定人员开启舒适驾驶位置、空调、香氛、氛围灯设备；

步骤25、域控制器进行获取用户的日程安排、出行路线以及天气预报；

步骤26、在进行步骤25的工作时，域控制器会通知全息投影系统进行工作且切换到欢迎界面；

步骤27、全息投影系统向用户播报用户今天的日常安排、出行导航路线以及天气预报灯信息；

步骤28、云端进行存储积累用户信息数据；

步骤3、确认用户携带智能钥匙；

步骤31、全息投影系统进行工作；

步骤32、提取云端存储用户数据进行调节符合个人身高的座椅舒适进出和方向盘伸缩；

步骤33、提取云端存储用户数据进行驱动智能座舱调节符合个人喜好的空调温度、香氛味道；

步骤34、关联用户本人的日程安排和常用出行路线以及自动导航；

步骤35、全息投影系统向用户播报用户今天的日常安排、出行导航路线以及天气预报灯信息；

步骤4、汽车启动，全息投影系统进行驾驶辅助监控。

在进一步的实施例中，用户在整个上车落座过程中，只是携带智能钥匙进入车辆，但是他享用到的服务有：适合个人身高的座椅舒适进出、方向盘伸缩；符合个人喜好的空调温度、香氛味道；关联本人的日程安排、常用出行路线自动导航；

这一套服务不需要驾驶员介入，是车辆主动服务的，这样会极大改善驾驶者体验，实现“服务找人”的理念。

在进一步的实施例中，本全息投影系统在进行驾驶辅助监控时，会对驾驶员进行闭眼、转头和打电话分心行为检测，且在进行分心行为检测之前，首先使用了一种人脸定位算法来定位驾驶员的人脸位置；该算法以高斯模型为基础，建立监视员的肤色模型，之后利用Adaboost人脸检测算法来定位初识的人脸区，基于驾驶员头部活动区缩小检测范围，根据肤色特征将驾驶员的皮肤区域分割出来；通过寻找最大连通区，排除了手部的干扰，确定最大连通区的中信与范围得到候选的人脸区域，最后计算置信值，将置信度最高的候选区选择检测到的人脸区。

在进一步的实施例中，定位驾驶员的人脸位置包括以下步骤：

S1、驾驶员人脸位置定位工作开始；

S2、进行肤色模型初始化以及高斯建模；

S3、进行活动区域肤色阈值分割；

S4、进行面部区域检测；

S5、结束工作；

其特征在于，步骤S2具体分为以下步骤：

S21、从截取的多张原图截取人脸图；

S22、将人脸子图从RGB颜色空间转换为YCbCr色彩空间；

S23、建立高斯模型并统计人脸样本在Cb和Cr两个通道的颜色信息；

步骤S3具体分为以下步骤：

S31、基于驾驶员头部活动区缩小检测范围；

S32、计算肤色似然图；

S33、进行肤色阈值分割；

步骤S4具体分为以下步骤：

S41、基于步骤S33完成的肤色阈值分割进行形态学二值处理；

S42、勾画联通区域；

S43、获得人脸检测区域；

S44、进行更新高斯模型且更新后的高斯模型用于步骤S2。

在进一步的实施例中，现有人脸识别使用经验肤色阈值不能保证识别精准性，所以本应用在检测之前，首先利用二维高斯模型建立肤色数学模型，其目的是为了统计一段时间内的驾驶员人脸区域内的像素值分布规律；

将人脸子图从RGB颜色空间转换为YCbCr色彩空间，可以减少需要处理的 数据量，且不易受到光照变化的影响；用二维高斯模型统计人脸样本像素在Cb和Cr两个通道的颜色信息，可以反馈其正太分布情况；高斯模型即高斯概率密度函数，计算公式如下所示：

二维数据的协方差矩阵为：

其中：

建模的过程主要是为了确定公式中的

值和Σ值，

代表样本均值，Σ为协方差矩阵；正式识别之前，经过多次训练，可以得到驾驶员人脸的肤色样本，统计这些样本中Cb和Cr均值和协方差，初始化二维高斯模型。

工作原理：当用户进行进入车辆，全息投影系统判断其是否携带智能钥匙，携带智能钥匙确认用户没有携带智能钥匙；同时全息投影系统利用面容识别技术主动获取用户的面部信息；将获取的面部信息结果通知云端；从而云端进行发送工作指令至智能座舱；智能座舱接收指令并通过域控制器接发出指令，进行给特定人员开启舒适驾驶位置、空调、香氛、氛围灯设备；同时域控制器进行获取用户的日程安排、出行路线以及天气预报；与此同时域控制器会通知全息投影系统进行工作且切换到欢迎界面；全息投影系统向用户播报用户今天的日常安排、出行导航路线以及天气预报灯信息；云端进行存储积累用户信息数据；当确认用户携带智能钥匙；全息投影系统进行工作；提取云端存储用户数据进行调节符合个人身高的座椅舒适进出和方向盘伸缩；提取云端存储用户数据进行驱动智能座舱调节符合个人喜好的空调温度、香氛味道；关联用户本人的日程安排和常用出行路线以及自动导航；全息投影系统向用户播报用户今天的日常安排、出行导航路线以及天气预报灯信息；汽车启动，全息投影系统进行驾驶辅助监控；

在进行驾驶辅助监控时，会对驾驶员进行闭眼、转头和打电话分心行为检测，且在进行分心行为检测之前，首先采用人脸定位算法来定位驾驶员的人脸位置；该算法以高斯模型为基础，建立监视员的肤色模型，之后利用Adaboost人脸检测算法来定位初识的人脸区，基于驾驶员头部活动区缩小检测范围，根据肤色特征将驾驶员的皮肤区域分割出来；通过寻找最大连通区，排除了手部的干扰，确定最大连通区的中信与范围得到候选的人脸区域，最后计算置信值，将置信度最高的候选区选择检测到的人脸区。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (10)

1.一种智能座舱全息投影系统，其特征在于，包括：

信号输入单元，进行全息投影信号输入，通过互联网云端模块、智能设备模块和传感器模块进行向全息投影系统输入内容信号；

控制单元，通过全息投影系统接收内容信号，并根据系统算法输出控制信号；

执行单元，通过智能座舱接收全息投影系统控制信号，并驱动智能座舱内部各类工作设备。

2.根据权利要求1所述的一种智能座舱全息投影系统，其特征在于，所述互联网云端模块包括：

天气预报信息子模块，为用户提供近期地区的天气情况；

车票信息模块子模块，提供用户地区与其他地区之间的往返车票信息，包括车辆的类型、发车时间、到达时间和车票剩余数量；

百科信息模块子模块，用于为用户提供各类领域不同问题的解答；

所述智能设备模块包括：

智能穿戴子模块，用于与用户身上穿戴的智能设备进行连接；

智能家居子模块，进行远程连接用户智能家居，实现实时查看与远程控制；

智能手机子模块，与用户手机进行连接，从而实现驾驶控制手机；

所述传感器模块包括：

内外交互子模块，通过道路基础设施V2X进行车辆与互联网进行实时连接，实现汽车全球定位和道路导航功能、车与车交流功能、无线通信功能及远程感应功能；

采集子模块，通过光线传感器和陀螺仪进行工作，光线传感器用于进行车辆周围环境光线采集，陀螺仪用于进行采集车辆的方向转动信息；

监控子模块，通过雷达和摄像头进行工作，通过各种不同雷达进行实现车辆的障碍预测、碰撞预测和智能巡航；摄像头主要用于辅助用户进行车辆启动和停驻，同时进行车辆行驶监控记录。

3.根据权利要求1所述的一种智能座舱全息投影系统，其特征在于，所述全息投影系统采用多模态输入技术，包括以下交互方式：

虚拟按键模块，通过电阻阻值变化，进行控制方向盘电话、菜单和空调面板；同时具有肌肉记忆；

语音识别模块，通过语义识别和语义反馈，进行实现云端信息、车身控制、音乐播放、导航信息额和座椅控制，

屏幕软按键模块，通过手指在电容屏形成耦合电容，进行控制中控屏和空调屏；

手势识别模块，采用红外技术或者摄像头进行感知肢体运动，从而进行汽车音量大小、空调温度和电话的控制，显示汽车功能的非接触式控制；

面部监控子模块，通过内部软件算法进行判断驾驶证的面部动作和情绪识别；从而实现人机主动安全监控和提醒。

4.根据权利要求1所述的一种智能座舱全息投影系统，其特征在于，所述全息投影系统包括用于定制全息投影系统的人物形象的形象定制模块；

所述形象定制模块包括人物形象性别定制、人物形象发型发色定制和人物形象衣物定制。

5.根据权利要求4所述的一种智能座舱全息投影系统，其特征在于，所述全息投影系统具有自我学习能力，包括时间学习模块；所述时间学习模块包括：

初始阶段子模块，通过用户主动对全息投影系统说出各种完整工作指令，用于用户与全息投影系统认识初期；

熟悉阶段子模块，通过时间学习模块记住用户的习惯，从而达到用户与全息投影系统的熟知；

深交阶段子模块，通过时间学习模块用户与全息投影系统的长时间交流中，全息投影系统深度了解用户的习惯、喜好和消费水平；

知己阶段子模块，当用于与全息投影系统通过时间学习模块长时间交流学习之后，全息投影系统可以为用户的生活、心里、以及情绪上做出帮助。

6.根据权利要求1所述的一种智能座舱全息投影系统，其特征在于，所述智能座舱包括执行能力模块和域控制器模块；所述执行能力模块利用整车SOA架构代码进行各种工作，

所述执行能力模块包括：

自然语音多轮对话子模块，用于与用户进行自然的、不局限话题的聊天；同时在进行对话问答时，可以根据当前对话的状态决策选择最优决策提供给用户；

主动提醒子模块，用于主动提醒用户今天或者某个时段需要进行的工作或者安排；

疲劳提醒子模块，用于警告用户驾驶时间过长，从而提醒用户进行休息；

座舱检测子模块，用于汽车行驶和停驻时进行设施检测；

习惯记忆子模块，用于根据用户习惯进行调座椅的位置和开启音乐时，播放用户喜欢的音乐类型；

儿童安抚子模块，用于当存在儿童时，自动播放和选择安抚儿童的游戏或者诗歌。

7.根据权利要求6所述的一种智能座舱全息投影系统，其特征在于，所述域控制器模块包括多个存储数据库和多个HMI接口，根据全息投影系统进行存储用户的形象特征数据、驾驶位置数据和个人习惯数据；同时通过与互联网云端和传感器建立连接实现信息共享。

8.一种权利要求2至7任一项所述的智能座舱全息投影系统的交互方法，通过根据用户是否携带智能钥匙进入智能座舱，全息投影系统提供不同的服务；其特征在于，具体步骤如下：

步骤1、当用户进行进入车辆，全息投影系统判断其是否携带智能钥匙，携带智能钥匙进入步骤3，没有携带智能要是进入步骤2；

步骤2、确认用户没有携带智能钥匙；

步骤21、利用面容识别技术主动获取用户的面部信息；

步骤22、根据步骤21获取的面部信息结果通知云端；

步骤23、云端进行发送工作指令至智能座舱；

步骤24、智能座舱接收指令并通过域控制器接发出指令，进行给特定人员开启舒适驾驶位置、空调、香氛和氛围灯设备；

步骤25、域控制器进行获取用户的日程安排、出行路线以及天气预报；

步骤26、在进行步骤25的工作时，域控制器会通知全息投影系统进行工作且切换到欢迎界面；

步骤27、全息投影系统向用户播报用户今天的日常安排、出行导航路线以及天气预报灯信息；

步骤28、云端进行存储积累用户信息数据；

步骤3、确认用户携带智能钥匙；

步骤31、全息投影系统进行工作；

步骤32、提取云端存储用户数据进行调节符合个人身高的座椅舒适进出和方向盘伸缩；

步骤33、提取云端存储用户数据进行驱动智能座舱调节符合个人喜好的空调温度和香氛味道；

步骤34、关联用户本人的日程安排和常用出行路线以及自动导航；

步骤35、全息投影系统向用户播报用户今天的日常安排、出行导航路线以及天气预报灯信息；

步骤4、汽车启动，全息投影系统进行驾驶辅助监控。

9.根据权利要求8所述的一种智能座舱全息投影系统的交互方法，其特征在于，本全息投影系统在进行驾驶辅助监控时，会对驾驶员进行闭眼、转头和打电话分心行为检测，且在进行分心行为检测之前，首先采用人脸定位算法来定位驾驶员的人脸位置；该算法以高斯模型为基础，建立监视员的肤色模型，之后利用Adaboost人脸检测算法来定位初识的人脸区，基于驾驶员头部活动区缩小检测范围，根据肤色特征将驾驶员的皮肤区域分割出来；通过寻找最大连通区，排除了手部的干扰，确定最大连通区的中信与范围得到候选的人脸区域，最后计算置信值，将置信度最高的候选区选择检测到的人脸区。

10.根据权利要求9所述的一种智能座舱全息投影系统的交互方法，定位驾驶员的人脸位置包括以下步骤：

S1、驾驶员人脸位置定位工作开始；

S2、进行肤色模型初始化以及高斯建模；

S3、进行活动区域肤色阈值分割；

S4、进行面部区域检测；

S5、结束工作；

其特征在于，步骤S2具体分为以下步骤：

S21、从截取的多张原图截取人脸图；

S22、将人脸子图从RGB颜色空间转换为YCbCr色彩空间；

S23、建立高斯模型并统计人脸样本在Cb和Cr两个通道的颜色信息；

步骤S3具体分为以下步骤：

S31、基于驾驶员头部活动区缩小检测范围；

S32、计算肤色似然图；

S33、进行肤色阈值分割；

步骤S4具体分为以下步骤：

S41、基于步骤S33完成的肤色阈值分割进行形态学二值处理；

S42、勾画联通区域；

S43、获得人脸检测区域；

S44、进行更新高斯模型且更新后的高斯模型用于步骤S2。

Images