CN205720871U - 一种智能抬头显示系统 - Google Patents

Abstract

本实用新型公开了一种智能抬头显示系统，包括，显示组件，图像采集组件，自然语音交互组件，传感器组件以及处理器组件，所述显示组件与所述图像采集组件连接，所述传感器组件与所述处理器组件连接，所述图像采集组件与所述处理器组件连接。相比现在的抬头显示系统，本实用新型能够支持更多的交互控制，交互采用语音方案。同时能够安装各类第三方应用，扩展丰富功能。更进一步，本实用新型的智能抬头显示系统搭载丰富的传感器，能够连接外部设备。另外，本实用新型具备朝向车内的摄像头模块，能够识别驾驶员行为和状态，可以实现安全驾驶提示功能和交互控制功能。

Description

一种智能抬头显示系统

技术领域

本实用新型涉及抬头显示系统，特别涉及智能抬头显示系统。

背景技术

抬头显示器HUD(Head Up Display)，是普遍运用在航空器上的飞行辅助仪器。抬头的意思是指飞行员不需要低头就能够看到他需要的重要资讯。因为HUD的方便性以及能够提高飞行安全，民航机也纷纷跟进安装。HUD是利用光学反射的原理，将重要的飞行相关资讯投射在一片玻璃上面。这片玻璃位於座舱前端，高度大致与飞行员的眼睛成水平，投射的文字和影像调整在焦距无限远的距离上面，飞行员透过HUD往前方看的时候，不会妨碍到眼睛的运作，维持清晰的显示。

HUD的基本架构包含两个部分：资料处理单元与影像显示装置。资料处理单元是将飞机上各系统的资料整合处理之後，根据选择的模式转换成预先设定的符号，图形或者是以文字或者是数字的型态输出。有些产品将讯号处理与影像输出分成两个装置，不过大致上都是类似的工作方式。影像显示装置就是安装在座舱前方，位于飞行员与座舱罩之间的空间上。影像显示装置接收来自资料处理装置的资讯，投射在玻璃上面。显示装置并且附有控制面板，能够调解或者是改变输出的影像。

新一代的HUD在影像显示方面的改良包括采用全像摄影(Holographic)显示方式，扩大显示影像的范围，尤其是增加水平上的视野角度，减少支架的厚度对於视野的限制与影响，增强不同光度与外在环境下的显示调整，强化影像的清晰度，与其他光学影像输出的配合，譬如说能够将红外线影像摄影机产生的飞机前方影像直接投射到HUD上，与其他的资料融合显示，配合夜视镜的使用以及采用彩色影像显示资料。在资料处理单元上的改良包括提高处理的速率和效率,HUD是将影像投射在座舱前方的固定装置上，当飞行员转动头部的时候，这些影像就会暂时离开他的视野范围。新一代的HUD更适合广泛地运用在汽车上。

在人们的固有观念里，驾驶最应该注重的自然是安全，不过随着智能手机的普及，手机用户们无时无刻不依赖手机带来的便利和快捷。电话、短信、微信的实时沟通，多媒体的使用，地图导航工具等等这些，然而在“低头族”日益增多的今天，手机带给我们的便利却极大的影响了驾驶的安全性。多种形式的交通事故都是由于车主在驾驶过程中由于使用手机而造成的。汽车厂商们开始意识到中控屏幕的重要性，再加上车辆作为最大的终端设备，更让车上的这块“屏”成为了兵家必争之地。然而车载中控屏幕的存在确实让驾驶变得更为安全了，但在实际体验中，依然有车载中控屏幕上的各项弊端和不方便之处，依然会让驾驶员分心。

目前，抬头显示器HUD还存在如下的缺陷：

1.大部分只能显示车速、油量等信息，完全不具备操作功能。

2.在使用时，需要常用到手机，然后将手机上的信息投射到抬头显示屏幕上。

实用新型内容

本实用新型要解决的技术问题是，提供支持更多的交互控制，可以实现交互采用语音、手势的智能方案。提供可安装各类的第三方应用，扩展丰富功能，可以实现连接外部设备。提供能够识别的驾驶员行为和状态，可以实现安全驾驶提示功能和交互控制功能。

解决上述技术问题，本实用新型提供了一种智能抬头显示系统，包括，显示组件，图像采集组件，自然语音交互组件，传感器组件以及处理器组件，所述显示组件包括，发射装置、成像装置和反射装置，所述发射装置，用以发射光线；所述成像装置，用以接收所述发射装置的发射光线，并通过两次反射后将画面进行成像，并发射到发射装置；所述反射装置，用以将所述画面成像放大后再成像；显示组件的特点，放大成像；在前方成虚像，虚像和道路重合，减少用户焦距切换。本实用新型显示组件的另外一种实现方式中，是一个直接成像的屏幕(LCD屏幕)和一个反射装置，没有发射装置。

所述图像采集组件包括，第一摄像装置，第二摄像装置，驾驶员状态监测系统，驾驶环境监测系统，所述第一摄像装置，用以获取驾驶员行车状态信息，所述第二摄像装置，用以获取车辆周围的状态信息，所述驾驶员状态监测系统，用以根据第一摄像装置获取的信息进行驾驶员状态监控；所述驾驶环境监测系统，用以根据第二摄像装置获取的车辆周围状态进行驾驶环境监测；所述自然语音交互组件包括，麦克风和语音处理模块，所述麦克风用以传递驾驶员的自然语音信息至所述语音处理模块，所述语音处理模块用以进行自然语音信息的识别、合成以及逻辑对话，以及自然语音信息的唤醒；所述传感器组件，包括，光照感应装置，用于获取驾驶环境中的光照值；所述处理器组件，包括，处理装置，用于根据获取驾驶员行车状态信息，形成图像数据，如果所述图像数据不满足预定的手势图像标准，则不对所述的图像数据进行储存；若满足，则对所述图像数据进行储存后输出手势指令，以及用于根据所述光照值，判断是否开启补偿光照；若是，则开启补偿光照射并再次获取驾驶环境中的图像数据；所述显示组件与所述图像采集组件连接，所述传感器组件与所述处理器组件连接，所述图像采集组件与所述处理器组件连接。处理器组件，对于语音交互，图像识别等都有作用。更进一步，处理器组件，还有网络组件，能够连接WIFI网络，蜂窝移动网络。

本实用新型的智能抬头显示系统中，还包括地图接入模块，用以根据语音信息交互生成行车导航指令，根据所述行车导航指令建立起始位置和目的地的导航路线，将所述导航路线采用精简方式进行显示，所述导航路线包括行车路线查询和行车路线规划；当从所述起始位置开始行驶时至目的地时，距离所述目的地的距离采用自动缩放方式进行显示；根据所述行车导航指令将导航线路按照线路分级的方式进行显示。具体地，基于安装的智能操作系统，可以开发和安装各种应用软件，导航只是其中的一个应用软件。

本实用新型的智能抬头显示系统中，还包括基于视觉和语音的智能性别、情绪识别检测系统，根据人脸图像进行车内人员的情绪识别，以及根据人脸进行车内人员的性别识别；根据人的语音进行车内人员的情绪识别，以及根据语音进行车内人员的性别识别；用以将所述性别识别的结果进行匹配并发送到个性化智能语音交互系统，以及用以将所述情绪识别的结果进行融合并发送到个性化智能语音交互系统；根据接收到的匹配结果和融合结果进行语音交互。

所述传感器组件还包括，采集单元，用以检测车内光照亮度，用户偏好单元，用以设置用户偏好，自调节单元，用以根据上述的光照亮度采集得到光线强度信号进行自调节；用以根据上述的用户偏好设置亮度偏好进行自调节；显示单元，用于显示自调节亮度。

所述传感器组件还包括，手势监测识别模块，用以对驾驶者进行手势检测，根据所述手势识别出触发动作信息，语音监听识别模块，用以对驾驶者进行语音消息监听，根据所述语音消息识别出唤醒语音信息，按键监测模块，用以对关联的按键进行监控，若监控到按键触发信息，则进行匹配，唤醒模块，用以对所述触发动作信息或者唤醒语音信息进行匹配，若任意信息匹配成功，则进行唤醒。

所述传感器组件还包括，语音识别模块，用以接收用户发送的语音信号；查询模块，用以根据所述语音信号得到用户输入的POI地址；显示输出模块，用以根据所述POI地址进行检索，得到检索结果；语音交互模块，用以将所述检索结果进行反馈，等待用户下一次语音信号；根据所述下一次语音信号，在所述反馈的结果中选择定位出目地，完成导航。

所述处理器组件还包括，唤醒指令处理模块、导航指令处理模块，电话指令处理模块，音乐指令处理模块，微信指令处理模块，导航指令处理模块，包括用语音指令选择目的地指定、判断是否躲避拥堵路线指令、导航来源指令、行车路况指令、电子狗指令；唤醒指令处理模块，用以唤醒休眠的抬头显示器；电话指令，可发出电话指令进行语音控制接听、拨出电话，当被呼叫方存号多于一个的时候，可以语音选择；音乐指令，根据语音操作，可以播放SD卡的音乐，或者播放电台内容；微信指令，可提前通过扫码登陆微信，收到微信时会有语音提示是否播报，回复时通过语音输入、识别转换成问文字。

本实用新型的智能抬头显示系统中，还包括通过无线连接或者有线连接的外接设备，所述外接设备包括智能移动终端，行车记录仪，汽车OBD设备。智能移动终端通过无线或者蓝牙的方式与智能抬头显示系统保持连接。所述汽车设备OBD，能够随时监控发动机的运行状况和尾气后处理系统的工作状态，一旦发现有可能引起排放超标的情况，会马上发出警示。当系统出现故障时，故障灯(MIL)或检查发动机(Check Engine)警告灯亮，同时OBD系统会将故障信息存入存储器，通过标准的诊断仪器和诊断接口可以以故障码的形式读取相关信息。根据故障码的提示，维修人员能迅速准确地确定故障的性质和部位。

所述传感器组件，还包括，方向传感器、加速度传感器、GPS、温度传感器以及地磁传感器，所述温度传感器用以感应车内的温度并进行散热，所述地磁传感器用以用于检测车辆以及车型识别，所述方向传感器用以判断车辆前进或倒退的方向以及测试汽车行驶距离，所述加速度传感器用以车辆的制动、启动检测，所述GPS用以定位车辆位置以及地图接入。

所述反射装置包括反射屏，所述反射屏为两面具有相同的曲率的光学透镜，且内弧面镀膜的反射率高于外弧面镀膜的反射率；所述成像装置包括：第一发射镜、第二反射镜和成像膜，所述第一反射镜倾斜设置在所述光线的出口处，所述第二反射镜与所述第一发射镜拼接，同样倾斜设置，所述成像膜沿一侧的边缘与所述第二反射镜拼接。

本实用新型的有益效果：

1)由于所述自然语音交互组件包括，麦克风和语音处理模块，所述麦克风用以传递驾驶员的自然语音信息至所述语音处理模块，所述语音处理模块用以进行自然语音信息的识别、合成以及逻辑对话，以及自然语音信息的唤醒。使得智能抬头显示系统能够实现多轮语音交互功能，从而完全使用语音方式完成所有输入。

2)由于所述显示组件包括，发射装置、成像装置和反射装置，所述发射装置，用以发射光线；所述成像装置，用以接收所述发射装置的发射光线，并通过两次反射后将画面进行成像，并发射到发射装置；所述反射装置，用以将所述画面成像放大后再成像,成像显示在车辆前方一定距离,使得智能抬头显示系统能够实现多种车载信息的显示。

3)由于所述图像采集组件包括，第一摄像装置，第二摄像装置，驾驶员状态监测系统，驾驶环境监测系统，所述第一摄像装置，用以获取驾驶员行车状态信息，所述第二摄像装置，用以获取车辆周围的状态信息，所述驾驶员状态监测系统，用以根据第一摄像装置获取的信息进行驾驶员状态监控；所述驾驶环境监测系统，用以根据第二摄像装置获取的车辆周围状态进行驾驶环境监测。使得智能抬头显示系统能够识别驾驶员行为和状态，可以实现安全驾驶提示功能和交互控制功能。具体功能包括：疲劳检测，车道偏离提示，前车碰撞检测等。

4)由于所述处理器组件包括，处理器，存储器，内存，用于运行智能操作系统，智能操作系统上运行有各类功能程序。例如：处理装置，用于根据获取驾驶员行车状态信息，形成图像数据，如果所述图像数据不满足预定的手势图像标准，则不对所述的图像数据进行储存；若满足，则对所述图像数据进行储存后输出手势指令，以及用于根据所述光照值，判断是否开启补偿光照；若是，则开启补偿光照射并再次获取驾驶环境中的图像数据。使得智能抬头显示系统具有自动的亮度调节功能，能够同时实现白天、夜间自由调节。

5)由于所述显示组件可包括，在所述底座的上侧设置有LCD显示装置，用以显示车辆的信息图像，并将信息图像投射至所述反射镜，所述反射镜相对于所述LCD显示装置在水平方向上呈倾斜设置，用以接收所述信息图像后进行反射，在所述底座的左侧设置有反射屏，用以放大并显示信息图像。通过上述的结构，能够将光路进行侧反，能有效减短产品的长度，同时，能有效的降低HUD整体的工作高度，以使得产品能适配更多的车型。

附图说明

图1是本实用新型一实施例中的智能抬头显示系统结构示意图。

图2是图1中的显示组件的结构示意图。

图3是图1中图像采集组件的结构示意图。

图4是图1中传感器组件的结构示意图。

图5是图1中处理器组件的结构示意图。

图6是图1中自然语音交互组件的结构示意图。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本实用新型进一步详细说明。

请参考图1，是本实用新型一实施例中的智能抬头显示系统结构示意图。

在本实施例中的智能抬头显示系统，包括，显示组件101，图像采集组件102，自然语音交互组件105，传感器组件103以及处理器组件104，所述显示组件101与所述图像采集组件102连接，用以将图像采集组件中的图像信息进行显示。所述传感器组件103与所述处理器组件104连接，用以将传感器组件检测到的信号传输进入处理器组件104中进行处理。所述图像采集组件102与所述处理器组件104连接，用以将采集得到的图像信息转换为图像信号传输进入处理器组件104中进行处理。具体地，显示组件101，驾驶员不必低头，就可以看到行车信息，如车速、导航等都会显示在前挡风玻璃的小块区域内。避免分散对前方道路的注意力。所述显示组件101能够进行放大成像，在前方形成虚像，使得反射屏上的虚像和行车道路重合，减少用户视觉的焦距切换。具体地，所述图像采集组件102，采集得到驾驶员的人脸、手势、虹膜的图像，并将该些图像信息在相关的数据库中进行比对，进而进行后续的识别。具体地，所述自然语音交互组件105，可以将驾驶员的语音信息进行识别，得到的识别结果进行多轮自然语音交互，得到相应的行车操作指令。具体地，所述传感器组件103，能够搭载多个传感器，比如：方向、加速度、GPS、麦克风等传感器。具体地，处理器组件104，包括，处理器，存储器和内存，通过匹配API接口后可以用于运行智能操作系统，在智能操作系统上能够运行各类功能程序。

在本实施例中的智能抬头显示系统，还包括地图接入模块，用以根据语音信息交互生成行车导航指令，根据所述行车导航指令建立起始位置和目的地的导航路线，将所述导航路线采用精简方式进行显示，所述导航路线包括行车路线查询和行车路线规划；当从所述起始位置开始行驶时至目的地时，距离所述目的地的距离采用自动缩放方式进行显示；根据所述行车导航指令将导航线路按照线路分级的方式进行显示。具体地，所述地图精简方式为：将所述导航路线中的起始位置和目的地进行位置定位，由于在起始位置和目的地之间并非是直线距离，需要绕过建筑物或者相应位置处的地理环境，对位置定位。根据所述位置定位得到GPS坐标，可以直接在地图上获取得到GPS坐标信息，比如，地图上指示王府井商业步行街，则解析得到的GPS坐标信息为：北纬39.9，东经116.4。通过上述GPS坐标得到位置坐标点，根据所述位置坐标点在所述行车导航地图上绘制生成行驶道路，指示驾驶人员行驶的导航路线。采用谷歌地图API、高德地图API、MapBox API或者采用Cloudmade API。用户可以根据远近对地图上的对象进行有选择的显示。谷歌和大多数地图提供商都自动提供了这一功能，例如邻近的街道和高速公路。所述绘制生成行驶线路，为预设或者驾驶人员自定义。预设为固定出厂值、驾驶员自定义增加了驾驶人员对位置坐标点的确定。

在本实施例中的智能抬头显示系统，还包括基于视觉和语音的智能性别、情绪识别检测系统，根据人脸图像进行车内人员的情绪识别，以及根据人脸进行车内人员的性别识别；根据人的语音进行车内人员的情绪识别，以及根据语音进行车内人员的性别识别；用以将所述性别识别的结果进行匹配并发送到个性化智能语音交互系统，以及用以将所述情绪识别的结果进行融合并发送到个性化智能语音交互系统；根据接收到的匹配结果和融合结果进行语音交互。

所述基于图像的情绪和性别识别可以按照“面部动作组织系统”(FACS)来将每个人的表情分解为许多面部动作单元(Action Units)，同时采用用计算机来自动分析、识别面部表情是一个非常复杂的问题，其关键在于建立一个合理的人类情绪模型并将它与人脸面部特征及表情的变化特征联系起来。总的来说，为了准确识别出情绪，可以将情绪分为5类：厌烦、愉悦、惊讶、受挫或愤怒、悲伤或痛苦。在一些实施例中，所述基于语音的情绪和性别识别模块101，比如需要综合考虑对脸部的注意程度，若获得人脸面部变化的信息不完整，则可以采用补偿方式进行表情补偿。又比如，人脸熟悉程度，一是提取的特征幅度，二是建立的人脸三维模型。又比如，需要考虑到光照等外界因素对图像的影响。在一些实施例中，在进行性别识别时，可以采用OpenCV的contrib中提供的两种性别识别方法：EigenFace和FisherFace。另外，基于语音的情绪和性别识别，用以根据人的语音进行车内人员的情绪识别，以及根据语音进行车内人员的性别识别；结果输入融合模块103；所述根据人的语音进行车内人员的情绪识别，包括：语音中的“关键声学特征”，然后将这些关键声音特征与设定的分类系统进行对照，从而判断说话者的情绪。通过语音进行的情绪识别共可以分为5种基本情绪：快乐、忧伤、平和、恐惧和愤怒。

对结果进行融合包括，用以将所述性别识别的结果进行匹配并发送到个性化智能语音交互系统，以及用以将所述情绪识别的结果进行融合并发送到个性化智能语音交互系统；融合后进行个性化智能语音交互；在融合时通过将经过语音识别的情绪和性别与通过表情识别的情绪和性别结果进行融合，得到的融合结果后会发送至个性化智能语音交互系统进行用以进行下一步语音交互，这样一来提升性别/情绪识别的精准度。比如，基于语音的情绪和性别识别中检测得到的结果为，性别：男，情绪：快乐，在基于图像的情绪和性别识别中检测得到的结果为，性别：男，情绪：愉悦，则认为性别和情绪的识别相符，融合结果即相符，可以进行个性化智能语音交互。比如，在基于语音的情绪和性别识别中检测得到的结果为，性别：男，情绪：平和，而在基于图像的情绪和性别识别中检测得到的结果为，性别：女，情绪：平和，则融合结果不相符，不进行语音交互。在进行个性化智能语音交互时，根据接收到的匹配结果和融合结果进行语音交互，进行融合后的结果将与所述个性化智能语音交互的结果中的语音交互信息进行匹配。如果对当前情绪状态的判定结果为不良情绪状态，则启动个性化智能语音交互中的比如，音乐播放单元，按照个性化音乐库中预设好的音乐曲目进行播放，通过音乐将驾驶员的不良情绪状态调整为良性情绪状态，间接促使驾驶员采用趋向安全的驾驶行为，从而实现主动辅助驾驶安全的功能。作为本实施例中优选，比如，还可以采用智能语音交互单元，按照设定的情绪谈话语境，通过采用个性化语音服务进行情绪疏导，将驾驶员的不良情绪状态调整为良性情绪状态。

图2是图1中的显示组件的结构示意图。

在本实施例中，显示组件包括，发射装置1011、成像装置1012和反射装置1013，所述发射装置1011，用以发射光线；所述成像装置1012，用以接收所述发射装置1011的发射光线，并通过两次反射后将画面进行成像，并发射到发射装置1011；所述反射装置1013，用以将所述画面成像放大后再成像。由于在成像装置1012中，通过两次反射后将画面进行成像，并发射到发射装置1011，能有效减短产品的长度，同时，能有效的降低HUD整体的工作高度，以使得产品能适配更多的车型。通过二次反射来实现所述发射装置即微型光机在反射装置中的背透膜上成像。具体地，在本实施例中，所述反射装置1013可以包括反射屏，其中所述反射屏为两面具有相同的曲率的光学透镜，且内弧面镀膜的反射率高于外弧面镀膜的反射率。作为本实施例中的优选，所述反射屏的内弧面的反射率是30％，外弧面的反射率1％，保证驾驶员看车外有70％透光率的正常影像，同时，在所述内弧面上有30％的光线反射到驾驶员眼睛，可将所述画面成像放大成虚像。作为本实施例中的优选，所述成像装置1012包括：第一发射镜、第二反射镜和成像膜，所述第一反射镜倾斜设置在所述光源的出口处，所述第二反射镜与所述第一发射镜拼接，同样倾斜设置。由于所述成像装置1012包括：第一发射镜、第二反射镜和成像膜，其中成像膜采用特殊的叠层设计，这样兼顾了白天和晚上的不用亮度需求要求，同时能避免用户能看到成像膜的背景颜色。所述成像膜沿一侧的边缘与所述第二反射镜拼接，其中，述成像膜包括：背胶板、光学反射镜片、光学透明胶板、扩散膜，所述光学反射镜片与光学透明胶板贴合后，通过背胶板和扩散膜紧压固定，所述光学反射镜面是用以调节高度的玻璃片或者PET反光片，所述光学反射镜片在朝着所述扩散膜的方向上设置有反射镀膜，或者所述扩散膜为背投成像膜。在一些实施例中，所述发射装置1011为微型投影仪、微型摄像仪。

图3是图1中图像采集组件的结构示意图。

所述图像采集组件包括，第一摄像装置1021，第二摄像装置1022，驾驶员状态监测系统1023，驾驶环境监测系统1024，所述第一摄像装置1021，用以获取驾驶员行车状态信息，所述第二摄像装置1022，用以获取车辆周围的状态信息，所述驾驶员状态监测系统1023，用以根据第一摄像装置1022获取的信息进行驾驶员状态监控；所述驾驶环境监测系统1023，用以根据第二摄像装置1022获取的车辆周围状态进行驾驶环境监测。

具体地，在本实施例中第一摄像装置1021，用以获取驾驶员行车状态信息，第二摄像装置1022，用以获取车辆周围的状态信息，驾驶员状态监测系统1024：可以包括手势识别模块，驾驶员身份识别模块，疲劳驾驶检测模块，用以根据第一摄像装置获取的信息进行驾驶员状态监控；所述手势识别模块用以对驾驶员的手势进行识别，驾驶员的手势包括但不限于：五指手掌(张开)、一根食指、握拳、剪刀手、五指手掌(合拢)、“OK”手势等手势静止状态。通过所述的手势，能够实现自由接听来电或者拒绝来电，播放或者切换音乐台，回复或者查看微信等聊天软件。所述驾驶员身份识别模块，用以识别驾驶员的身份信息，身份信息的包括：驾驶员是否为车主自己、驾驶员的性别、驾驶员的驾驶习惯(座位的高度、距离等)。所述疲劳驾驶检测模块，用于检测驾驶员是否在进行疲劳驾驶，可以先进行驾驶员身份认证，根据驾驶员在当前时段的视频影像，通过人脸识别，对当前正在驾驶车辆的驾驶员身份进行认证；同步地进行驾驶时间累计，根据驾驶员的身份认证结果，获取驾驶员的驾驶时间记录；还包括，表情状态提取，根据驾驶员在当前时段的视频影像，提取驾驶员在当前时段的表情状态；还包括，肢体状态提取，根据驾驶员在当前时段的视频影像，提取驾驶员在当前时段的肢体状态；还包括，路况信息收集，根据场景摄像头在当前时段拍摄的视频影像，获取驾驶员驾驶车辆周边的环境信息；最后进行车辆操控状态提取，结合路况信息以及车辆的驾驶状态，提取驾驶员在当前时段对车辆的操控状态；综上，以当前时段累计驾驶时间作为驾驶员表情状态、肢体状态和车辆操控状态的时间戳，更新跟踪驾驶员行驶状态变化的数据，分析更新数据中驾驶员的状态变化，判断当前时刻驾驶员是否处于疲劳驾驶。通过人脸识别，跟踪驾驶员面部表情和肢体动作随时间推移，呈现出从正常状态到疲劳状态变化，譬如闭眼时间变长，低头频次增加等；跟踪驾驶员车辆操控状态是否随时间下降，譬如方向盘转动方差变大等，以此检测驾驶员是否处于疲劳驾驶状态。

具体地，在本实施例中驾驶环境监测系统1023：可以包括检测当前车辆是否偏离车道模块、检测行车前方是否有行人模块、前车的行车距离是否存在碰撞距离内模块，用以根据第二摄像装置获取的车辆周围状态进行驾驶环境监测；所述检测当前车辆是否偏离车道模块，用以检测行驶过程中的车辆是否偏离了车道，可以按照BLIS盲区监测系统进行检测，并通过设置在后视镜的支柱上有并线提醒灯来提醒驾驶员。所述检测行车前方是否有行人模块106，用以根据碰撞距离来进行行人距离判断，若大于碰撞距离，则不进行预警，若小于碰撞距离，则需要进行预警。所述前车的行车距离是否存在碰撞距离内模块，用以根据碰撞距离来进行前车距离计算，并进行预警，可以通过摄像头采集前车的信息，并且可以与其它方式进行配合。

图4是图1中智能抬头显示系统中传感器组件的结构示意图。

在本实施例中的传感器组件103包括：光照感应装置1031，用于获取驾驶环境中的光照值；其中还包括，采集单元1032，用以检测车内光照亮度，用户偏好单元1033，用以设置用户偏好，自调节单元1034，用以根据上述的光照亮度采集得到光线强度信号进行自调节以及用以根据上述的用户偏好设置亮度偏好进行自调节；显示单元1035，用于显示自调节亮度。

本领域技术人员能够明了，所述光照感应装置1031，用于获取驾驶环境中的光照值；本领域技术人员能够明了，光照感应装置1031可以采用光照感应器，或者光敏元件。

所述传感器组件103还包括，手势监测识别模块1036，用以对驾驶者进行手势检测，根据所述手势识别出触发动作信息，语音监听识别模块1037，用以对驾驶者进行语音消息监听，根据所述语音消息识别出唤醒语音信息，按键监测模块1038，用以对关联的按键进行监控，若监控到按键触发信息，则进行匹配，唤醒模块1039，用以对所述触发动作信息或者唤醒语音信息进行匹配，若任意信息匹配成功，则进行唤醒。

所述传感器组件103还包括，语音识别模块10311，用以接收用户发送的语音信号；查询模块10312，用以根据所述语音信号得到用户输入的POI地址；显示输出模块10313，用以根据所述POI地址进行检索，得到检索结果；语音交互模块10314，用以将所述检索结果进行反馈，等待用户下一次语音信号；根据所述下一次语音信号，在所述反馈的结果中选择定位出目地，完成导航。所述传感器组件103，还包括，方向传感器10315、加速度传感器10316、GPS10319、温度传感器10317以及地磁传感器10318，所述温度传感器10317用以感应车内的温度并进行散热，所述地磁传感器10318用以检测方向，所述方向传感器10315用以判断车辆前进或倒退的方向以及测试汽车行驶距离，所述加速度传感器10316用以车辆的制动、启动检测，所述GPS10319用以定位车辆位置以及地图接入。

图5是图1中处理器组件的结构示意图。

在本实施例中的智能抬头显示系统中的处理器组件包括，处理装置1041，用于根据获取驾驶员行车状态信息，形成图像数据，如果所述图像数据不满足预定的手势图像标准，则不对所述的图像数据进行储存；若满足，则对所述图像数据进行储存后输出手势指令，以及用于根据所述光照值，判断是否开启补偿光照；若是，则开启补偿光照射并再次获取驾驶环境中的图像数据。所述处理装置1041可提供高速的处理能力，可采用ARM 4核处理器单元，同时支持micro SD储存卡最大支持32GB。HUD 805，用以提供上述装置的载体。

在本实施例中，具体地，手势的静止状态基于二维手型进行识别；二维手型识别是基于二维层面的，在处理过程中需要将不含深度信息的二维信息作为输入即可。就像平时拍照所得的相片就包含了二维信息一样，只需要使用单个摄像头捕捉到的二维图像作为输入，然后通过计算机视觉技术对输入的二维图像进行分析，获取信息，从而实现手势识别。本领域技术人员能够明了，计算机视觉(Computer Vision,CV)中，视觉信息的处理技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像进行分析、处理和识别。比如，通过图像采集得到二维手型图像，可对二维手型图像进行图像增强，例如可以通过直方图变换增强了图像对比度，实现单通道图像增强，将图像灰度阈值拉伸到0-255。然后再进行数据编码和传输，此步骤是为了对图像进行压缩，而图像平滑主要目的在于去噪，除去可能因为环境因素(车辆颠簸、转弯、光线较暗等因素)造成的图像失真。完成边缘锐化可以采用《基于边缘检测的图像锐化方法》.曾嘉亮.的方法。完成上述的操作后，可再进行特征抽取，可以采用卡亨南-勒维展开式为基础进行的线性变换。或者采用非线性映射方法，例如多维定标法和参数映射法。最后可完成图像的识别。更进一步，获取所述二维手型上的二维信息后输入得到第一图像；获得上述的二维手型后可以获取二维信息，得到的第一图像为经过图像处理后的图像，再与预设的手势进行匹配识别；预设的手势包括了所有的单、双手的手势图像，即左右手或者单支手。若找到与所述的第一图像匹配的第二图像则触发操作指令；所述的第二图像为预存的手势图像，若匹配识别成功则会触发相应的指令，比如静止的手势“1”，可对应指令播放音乐，则根据匹配的结果对抬头显示器进行控制，进行播放音乐。比如静止的手势“拳头”，可以对应开启导航功能，则根据匹配的结果对抬头显示器进行控制，在完成唤醒后，开始进行导航。具体地，当车内光照不足时，抬头显示器会自动开启补偿光照，并提示驾驶员再次进行手型操作，或者在驾驶员还未做出指令手型操作时，提前开启补偿光照，避免二次操作。上述调节的光路方式可采用《基于物理光照变化反应的智能调光算法研究》.陈中银.的调光算法。

所述处理器组件104还包括，唤醒指令处理模块1042、导航指令处理模块1043，电话指令处理模块1044，音乐指令处理模块1045，微信指令处理模块1046，处理器组件104的功能如下：用语音指令选择目的地指令、判断是否躲避拥堵路线指令、导航来源指令、行车路况指令、电子狗指令；唤醒指令处理模块1042，用以唤醒休眠的抬头显示器；电话指令，可发出电话指令进行语音控制接听、拨出电话，当被呼叫方存号多于一个的时候，可以语音选择；音乐指令，根据语音操作，可以播放SD卡的音乐，或者播放电台内容；微信指令，可提前通过扫码登陆微信，收到微信时会有语音提示是否播报，回复时通过语音输入、识别转换成文字。上述的指令都属于基于抬头显示器的操作指令：本领域技术人员能够明了，用语音指令选择目的地指定包括但不限于，目的地的直接导航，或者基于POI的地址查询方法。所述导航来源指令包括但不限于，选择地图的接入的地图供应商，比如可以选择高德，或者百度地图进行接入。导航指令处理模块1043用以处理所述行车路况指令包括但不限于，是否堵车的路况，是否有红灯、拍照的交通信号，是否可以路边停车、前方是否有行人等。所述电子狗指令，包括但不限于全频反测速雷达、GPS电子狗、GPS雷达电子狗。作用是提前提醒车主电子眼或测速雷达的存在，可防止因为超速或违规而被罚款和扣分，让驾驶者有防备的尽享驾驶乐趣。唤醒指令，用以唤醒休眠的抬头显示器；本领域技术人员能够明了，可以将手势与所述唤醒指令提前进行关联，这样在作出手势后，就可以实现对抬头显示器的唤醒。电话指令处理模块1044用以执行电话指令，可发出电话指令进行语音控制接听、拨出电话，当被呼叫方存号多于一个的时候，可以语音选择；比如当手机与抬头显示器蓝牙连接后，外接来电时，可以直接通过手势的静止状态，比如“手掌”，亦可用手势的运动状态，比如“握拳向右滑动”，来拒绝或者接受该通来电。音乐指令处理模块1045用以执行音乐指令，根据语音操作，可以播放SD卡的音乐，或者播放电台内容；比如使用播放电台内容时，可以直接通过手势的静止状态，比如“剪刀手”，亦可用手势的运动状态，比如“握拳向左滑动”，来切换音乐、增大声音等。微信指令处理模块1046用以处理微信指令，可提前通过扫码登陆微信，收到微信时会有语音提示是否播报，回复时通过语音输入、识别转换成问文字。可以直接通过手势的运动状态，比如“向右滑动食指”来发送微信信息。

图6是图1中自然语音交互组件的结构示意图。

本实施例中的智能抬头显示系统中的自然语音交互组件105包括，麦克风1051和语音处理模块1052，所述麦克风1051用以传递驾驶员的自然语音信息至所述语音处理模块1052，所述语音处理模块1052用以进行自然语音信息的识别、合成以及逻辑对话，以及自然语音信息的唤醒。

具体地，进行自然语音信息的识别、合成包括：语音交互模块，用以将所述检索结果进行反馈，等待用户下一次语音信号；根据所述下一次语音信号，在所述反馈的结果中选择定位出目地，完成导航。下一次语音信号，或者首次语音信号，可以按照可定制的个性化应答方法进行预设。在使用之前，设置自动应答的权限规则和内容，可能的规则包括：提供自动应答服务的联系人列表，为每个联系人提供自动应答服务的时间段，每个联系人所能接收的自动应答服务范围。然后验证呼叫者身份，如果确定其有权限通过自动应答系统获取信息，则进行后续步骤；呼叫者身份包括：个人信息，预先设置的数据等。数据存储的具体实现可以分为存储在本地数据库或服务器端数据库中。进一步接收呼叫者发出的语音数据，使用自动语音识别模块进行语音识别；管理和呼叫者的对话内容以及对话进程，根据呼叫者询问的问题以及机主设置的数据内容，自动分析出应答内容。该模块可以在云端实现，移动终端与云端交互；也可独立实现在移动终端上。进一步根据语音识别结果，使用语义分析方法分析呼叫者意图；进一步根据分析得出的呼叫者意图，使用预先设置的自动应答的规则和内容，或者访问第三方数据和程序，使用语义分析方法确定应答的文本内容，或者对移动终端数据执行相应的操作；最后，使用语音合成方法，将应答文本内容转换成语音数据发送给呼叫者。

通过将驾驶员发出的语音转换为第一数字信息后，将第一数字信息发送到预先存储有语音资料数据库的储存单元中，通过服务器中设置的语音资料数据库对得到的语音进行识别，将语音资料数据库设置在专门的中，所以语音资料数据库的存储容量不再受车载存储器的限制，而且储存单元的存储容量可以扩展，且避免了车载存储器中由于存储了多媒体数据和车载导航系统的导航地图对存储器存储空间的占用而导致存储语音资料数据库的存储空间进一步不足的缺陷，使得语音资料数据库中可以尽可能多的存储不同口音的驾驶员的语音资料，所以增加了对不同口音驾驶员发出语音的识别可能性，提高了车载语音识别交互系统的实用性。HUD中配置有ARM4核CPU，内存1G RAM，能够保证对上述语音资料识别的处理速度。另外，HUD配置的8G ROM，并且能够支持Micro SD(TF)储存卡，最大支持32、64、128G，对语音资料数据库的储存提供保证。

所属领域的普通技术人员应当理解：以上，所述仅为本实用新型的具体实施例而已，并不用于限制本实用新型，凡在本实用新型的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (10)

1.一种智能抬头显示系统，其特征在于，包括，显示组件，图像采集组件，自然语音交互组件，传感器组件以及处理器组件，所述显示组件与所述图像采集组件连接，所述传感器组件与所述处理器组件连接，所述图像采集组件与所述处理器组件连接，

所述显示组件包括，发射装置、成像装置和反射装置，所述成像装置与所述反射装置连接，所述反射装置与所述成像装置连接，所述发射装置，用以发射光线；所述成像装置，用以接收所述发射装置的发射光线，并通过两次反射后将画面进行成像，并发射到反射装置；所述反射装置，用以将所述画面成像放大后再成像；

所述图像采集组件包括，第一摄像装置，第二摄像装置，驾驶员状态监测系统，驾驶环境监测系统，所述第一摄像装置与所述驾驶员状态监测系统连接，所述第二摄像装置与所述驾驶环境监测系统连接，所述第一摄像装置，用以获取驾驶员行车状态信息，所述第二摄像装置，用以获取车辆周围的状态信息，所述驾驶员状态监测系统，用以根据第一摄像装置获取的信息进行驾驶员状态监控；所述驾驶环境监测系统，用以根据第二摄像装置获取的车辆周围状态进行驾驶环境监测；

所述自然语音交互组件包括，麦克风和语音处理模块，所述语音处理模块与麦克风连接，所述麦克风用以传递驾驶员的自然语音信息至所述语音处理模块，所述语音处理模块用以进行自然语音信息的识别、合成以及逻辑对话，以及自然语音信息的唤醒；

所述传感器组件，包括，光照感应装置，用于获取驾驶环境中的光照值；

所述处理器组件，包括，处理装置，用于根据获取驾驶员行车状态信息，形成图像数据，如果所述图像数据不满足预定的手势图像标准，则不对所述的图像数据进行储存；若满足，则对所述图像数据进行储存后输出手势指令，以及用于根据所述光照值，判断是否开启补偿光照；若是，则开启补偿光照射并再次获取驾驶环境中的图像数据。

2.根据权利要求1所述的智能抬头显示系统，其特征在于，还包括地图接入模块，所述地图接入模块与所述自然语音交互组件连接，用以根据语音信息交互生成行车导航指令，根据所述行车导航指令建立起始位置和目的地的导航路线，将所述导航路线采用精简方式进行显示，所述导航路线包括行车路线查询和行车路线规划；当从所述起始位置开始行驶时至目的地时，距离所述目的地的距离采用自动缩放方式进行显示；根据所述行车导航指令将导航线路按照线路分级的方式进行显示。

3.根据权利要求1所述的智能抬头显示系统，其特征在于，还包括与自然语音交互组件连接的基于语音智能性别、情绪识别检测系统，用以根据人的语音进行车内人员的情绪识别，以及根据语音进行车内人员的性别识别；与图像采集组件连接的基于视觉智能性别、情绪识别检测系统，用以根据人脸图像进行车内人员的情绪识别，以及根据人脸进行车内人员的性别识别；

所述基于语音智能性别、情绪识别检测系统与个性化智能语音交互系统连接，用以将所述性别识别的结果进行匹配并发送到个性化智能语音交互系统；

所述基于视觉智能性别、情绪识别检测系统与个性化智能语音交互系统连接，用以将所述情绪识别的结果进行融合并发送到个性化智能语音交互系统；

根据接收到的匹配结果和融合结果进行语音交互。

4.根据权利要求1所述的智能抬头显示系统，其特征在于，所述传感器组件还包括，采集单元、用户偏好单元、自调节单元、显示单元，所述采集单元与自调节单元连接，所述自调节单元与所述显示单元连接，所述用户偏好单元与所述自调节单元连接；

所述采集单元，用以检测车内光照亮度，用户偏好单元，用以设置用户偏好，所述自调节单元，用以根据上述的光照亮度采集得到光线强度信号进行自调节以及用以根据上述的用户偏好设置亮度偏好进行自调节；所述显示单元，用于显示自调节亮度。

5.根据权利要求1所述的智能抬头显示系统，其特征在于，所述传感器组件还包括，唤醒模块，以及

与唤醒模块连接的手势监测识别模块，用以对驾驶者进行手势检测，根据所述手势识别出触发动作信息，与唤醒模块连接的语音监听识别模块，用以对驾驶者进行语音消息监听，根据所述语音消息识别出唤醒语音信息，与唤醒模块连接的按键监测模块，用以对关联的按键进行监控，若监控到按键触发信息，则进行匹配，唤醒模块，用以对所述触发动作信息或者唤醒语音信息进行匹配，若任意信息匹配成功，则进行唤醒。

6.根据权利要求1所述的智能抬头显示系统，其特征在于，所述传感器组件还包括，语音识别模块，查询模块，语音交互模块，所述查询模块分别与所述语音识别模块和语音交互模块连接，

语音识别模块，用以接收用户发送的语音信号；与所述语音识别模块连接的查询模块，用以根据所述语音信号得到用户输入的POI地址；语音识别模块，用以根据所述POI地址进行检索，得到检索结果；语音交互模块，用以将所述检索结果进行反馈，等待用户下一次语音信号；根据所述下一次语音信号，在所述反馈的结果中选择定位出目地，完成导航。

7.根据权利要求1所述的智能抬头显示系统，其特征在于，所述处理器组件还包括，唤醒指令处理模块、导航指令处理模块，电话指令处理模块，音乐指令处理模块，微信指令处理模块，包括用语音指令选择目的地指令、判断是否躲避拥堵路线指令、导航来源指令、行车路况指令、电子狗指令；唤醒指令处理模块，用以唤醒休眠的抬头显示器；电话指令，可发出电话指令进行语音控制接听、拨出电话，当被呼叫方存号多于一个的时候，可以语音选择；音乐指令，根据语音操作，可以播放SD卡的音乐，或者播放电台内容；微信指令，可提前通过扫码登陆微信，收到微信时会有语音提示是否播报，回复时通过语音输入、识别转换成文字。

8.根据权利要求1所述的智能抬头显示系统系统，其特征在于，还包括通过无线连接或者有线连接的外接设备，所述外接设备包括智能移动终端，行车记录仪，汽车OBD设备。

9.根据权利要求1所述的智能抬头显示系统，其特征在于，所述传感器组件，还包括，方向传感器、加速度传感器、GPS、温度传感器以及地磁传感器，所述温度传感器用以感应车内的温度并进行散热，所述地磁传感器用以检测方向，所述方向传感器用以判断车辆前进或倒退的方向以及测试汽车行驶距离，所述加速度传感器用以车辆的制动、启动检测，所述GPS用以定位车辆位置以及地图接入。

10.根据权利要求1所述的智能抬头显示系统，其特征在于，所述显示组件包括包括底座，反射屏，LCD显示装置和反射镜，在所述底座的上侧设置有LCD显示装置，用以显示车辆的信息图像，并将信息图像投射至所述反射镜，所述反射镜相对于所述LCD显示装置在水平方向上呈倾斜设置，用以接收所述信息图像后进行反射，在所述底座的左侧设置有反射屏，用以放大并显示信息图像。