CN111409555A - 一种多功能智能识别车载后视镜 - Google Patents

Abstract

本发明涉及一种多功能智能识别车载后视镜，属于汽车零部件技术领域。所述后视镜包括：图像处理模块、图像识别模块、FPGA处理器、无线通信模块、GPS模块、显示器和语音提醒模块；所述图像处理模块包括摄像头I和DSP处理器I；所述图像识别模块包括摄像头II和DSP处理器II；所述图像处理模块和图像识别模块分别与FPGA处理器电连接；所述FPGA处理器分别与无线通信模块、GPS模块、显示器和语音提醒模块电连接。发明保证了不管在任何天气条件下，驾驶人员都能看到实时高质量的车辆后方动态，更实时智能监控驾驶人员的行驶状态预防疲劳驾驶提高了行车安全。

Description

一种多功能智能识别车载后视镜

技术领域

本发明属于汽车零部件技术领域，涉及一种多功能智能识别车载后视镜。

背景技术

目前，汽车已经越来越常见于人们的日常生活中。汽车的出现让人们的出行更加方便，节约了更多的时间。但是，随着家用汽车数量的不断增多，越来越多的交通事故也接踵而来。

后视镜作为汽车中的重要组成部分，能够帮助驾驶人员随时查看后方车辆状态，及时做出反应避免一些交通事故的发生。但有时随着天气的变化一些雪天、雨天、大雾天气会影响驾驶人员对后方车辆的判断，造成不可估量的后果。驾驶人员驾驶车辆时间过长产生困意倦意也会严重影响车辆的行驶状态，发生意外。

针对上述问题，本发明提出一种多功能智能识别车载后视镜，即使在雪天、雨天甚至大雾天都能清晰地得到车辆后方的实时动态情况，更是引入了人工智能技术来识别驾驶人员的驾驶状态避免疲劳驾驶产生不可挽回的结果。

发明内容

有鉴于此，本发明的目的在于提供一种多功能智能识别车载后视镜。

为达到上述目的，本发明提供如下技术方案：

一种多功能智能识别车载后视镜，包括：图像处理模块、图像识别模块、FPGA处理器、无线通信模块、GPS模块、显示器和语音提醒模块；

所述图像处理模块包括摄像头I和DSP处理器I；

所述图像识别模块包括摄像头II和DSP处理器II；

所述图像处理模块和图像识别模块分别与FPGA处理器电连接；

所述FPGA处理器分别与无线通信模块、GPS模块、显示器和语音提醒模块电连接。

可选的，所述DSP处理器I包括质量筛选单元和质量转换单元。

可选的，所述FPGA处理器还连接有人脸预处理单元。

可选的，所述摄像头I采集汽车后方的视频流，将采集到的图像输入DSP处理器I中；DSP处理器I用于当采集到的后方图像由于天气因素影响质量较差时，将图像质量由低转高；DSP处理器I将处理后的图像输入FPGA处理器，FPGA处理器输出至显示器显示给驾驶员关注后方车辆情况；

摄像头II采集驾驶员的视频流，将采集到的图像输入DSP处理器II中；DSP处理器II作用是识别驾驶员驾驶状态，当状态被判别为疲劳驾驶时，DSP处理器II与FPGA处理器进行通信；FPGA处理器立即响应，输出信号至语音提醒模块；语音提醒模块接收信号后，立即做出语音提示，提醒驾驶人员；

无线通信模块与云端服务器进行通信，支持用户下载应用软件；GPS模块为用户提供导航应用服务；

摄像头I将采集到的汽车后方的实时图像输入至DSP处理器I进行图像处理；

质量筛选单元对摄像头I采集到的图像进行质量筛选；质量筛选单元对图像的分辨率、信噪比参数进行判断；质量筛选单元对图像的整体质量进行筛选，当图像质量低于某个设定阈值时，质量筛选单元将图像输入给质量转换单元，将低质量的图像转换成高质量的图像；当图像质量高于某个设定阈值时，质量筛选单元直接将图像输出至FPGA处理器；

质量转换单元分别将质量筛选单元筛选出的低质量图像转换成高质量图像。

可选的，所述质量转换单元采用深度学习技术GAN网络；

GAN网络包括生成器和判别器；生成器的输入为低质量图像，输出为生成的高质量图像；判别器的输入为原始高质量图像和生成器生成的高质量图像，判别器用于区分出原始高质量图像和生成器的高质量图像；

生成器和判别器中的网络采用CNN中的ResNet网络结构；对于质量转换问题，生成器采取MSEloss和VGGloss对其进行约束，使得在图像转换时考虑到每一个像素点，考虑图像中的全局信息，还原高质量的图像信息。

可选的，所述GAN网络的训练为：收集各种场景中的车辆后方样本图像，包括高质量与低质量的样本图像，所述样本图像包括天气条件恶劣的后方车辆样本图像；

利用采集到的低质量人脸图像训练生成器，生成假高质量图像，再利用假高质量图像与采集到的高质量图像训练判别器，利用判别loss、MSEloss与VGGloss约束整个GAN网络，当迭代次数不断增多，判别器无法识别处生成器生成的假高质量图像与采集到的高质量图像的差别时，停止训练；质量转换单元I和质量转换单元II采用训练好的生成器，当汽车行驶时，摄像头I采集到低质量的后方图像，生成器自动将低质量的图像转换成高质量的图像供驾驶员参考，防止由于大雾或雨雪天气导致的图像模糊而使驾驶员无法做出判断。

可选的，所述摄像头II将采集到的驾驶员图像输入至DSP处理器II进行图像识别。

可选的，所述人脸预处理单元包括用于人脸关键点检测和人脸对齐；

人脸预处理单元对摄像头II采集到的人脸进行预处理；当采集到的人脸图像角度稍大，需要对人脸图像进行预处理；

人脸关键点检测为：将摄像头II采集到的图像进行人脸检测，得到人脸图像的位置；将得到的人脸图像位置和摄像头II采集到的图像输入人脸关键点检测，得到人脸关键的位置；

人脸对齐为：选取人脸关键点和摄像头II采集到的图像进行人脸对齐，最终得到对齐好的人脸图像；

图像识别单元将对齐好的人脸图像进行识别，识别驾驶员是否处于疲劳驾驶状态；若连续多帧图像均被判别为疲劳驾驶状态则认定司机属于疲劳驾驶状态立即发送信号输出给FPGA处理器；

图像处理单元中的疲劳驾驶识别模型采取ResNet10网络；

训练ResNet10网络需采集大量的驾驶员疲劳驾驶与正常驾驶样本图像；利用疲劳驾驶与正常驾驶样本图像训练ResNet二分类器；当驾驶员的人脸图像输入至ResNet识别器中，若连续多帧识别器均判别驾驶员状态为疲劳驾驶，则DSP处理器II发送响应信号至FPGA处理器等待处理；

FPGA处理器连接DSP处理器II数据接口，得到车辆后方的图像信息然后输出至显示器供驾驶员查看车辆后方实时状态；连接DSP处理器II通信接口响应是否需进行语音提醒，若驾驶员目前状态处于疲劳驾驶则输出信号至语音提醒模块；FPGA处理器连接DSP处理器I和DSP处理器II的方式包括是总线方式和链路口方式；FPGA处理器的通信接口与无线通信模块连接，对用户需要下载的娱乐软件进行响应，通过无线通信模块与远方云端服务器通信下载相应软件；FPGA处理器的数据接口连接GPS模块，当用户开启导航服务时，实时定位位置信息；

语音提醒模块连接FPGA处理器的通信接口，当接收到“提醒”指令时，开启语音提醒模块，以人声或蜂鸣声提醒驾驶员注意不要疲劳驾驶。

本发明的有益效果在于：

本发明通过双摄像头采集汽车后方实时动态图像与驾驶员的面部图像，采用DSP进行复杂条件下的图像修复和驾驶员面部识别，利用FPGA作为总控制处理器与DSP进行实时通信，将DSP处理结果分别输出至显示器与语音提醒模块，保证了不管在任何天气条件下，驾驶人员都能看到实时高质量的车辆后方动态，更实时智能监控驾驶人员的行驶状态预防疲劳驾驶提高了行车安全。在保证行车安全的基础上，无线通信模块与GPS模块更为驾驶人员提供了更多的娱乐功能与行驶方便。所以，本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明整体结构图；

图2为DSP处理器结构图。

附图标记：1图像处理模块；2图像识别模块；3FPGA处理器；4无线通信模块；5GPS模块；6显示器；7语音提醒模块；1-1摄像头I；1-2DSP处理器I；2-1摄像头II；2-2DSP处理器II。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提出一种多功能智能识别车载后视镜，包括：图像处理模块1；图像识别模块2；FPGA处理器3；无线通信模块4；GPS模块5；显示器6；语音提醒模块7。整体结构框图如图1所示。

该智能后视镜的主要工作流程如下所示：

(1)摄像头I1-1不断采集汽车后方的视频流，将采集到的图像输入DSP处理器I1-2中。DSP处理器I1-2主要作用是当采集到的后方图像由于天气因素影响质量较差时，将图像质量由低转高。DSP处理器I1-2将处理后的图像输入FPGA处理器3，FPGA处理器3输出至显示器6显示给驾驶员关注后方车辆情况。

(2)摄像头II2-1不断采集驾驶员的视频流，将采集到的图像输入DSP处理器II2-2中。DSP处理器II2-2主要作用是识别驾驶员驾驶状态，当状态被判别为疲劳驾驶时，DSP处理器II2-2与FPGA处理器3进行通信。FPGA处理器3立即响应，输出信号至语音提醒模块7。语音提醒模块7接收信号后，立即做出语音提示，提醒驾驶人员。

(3)无线通信模块4主要与云端服务器进行通信，支持用户下载一些应用软件。GPS模块5主要为用户提供导航应用服务。

本发明的模块主要包括：图像处理模块；图像识别模块；FPGA处理器；显示器；语音提醒模块；无线通信模块；GPS模块。

图像处理模块1。图像处理模块1包括：摄像头I1-1；DSP处理器I1-2。

摄像头I1-1。主要将采集到的汽车后方的实时图像输入至DSP处理器I1-2进行图像处理。

DSP处理器I1-2主要包括：质量筛选单元和质量转换单元，如图2所示。

质量筛选单元。主要对摄像头I1-1采集到的图像进行质量筛选。质量筛选单元主要对图像的分辨率、信噪比等参数进行判断。摄像头I1-1所采集到的汽车后方图像对驾驶员是一个很大的参考，直接影响到驾驶人员驾驶过程中对车辆掌控的大体方向和操控。而一些天气情况会严重影响驾驶人员对后方车辆情况的判断，比如下雨、下雪、大雾天气等都会影响驾驶人员的视线。所以，质量筛选单元对图像的整体质量进行筛选，当图像质量低于某个设定阈值时，质量筛选单元会将图像输入给质量转换单元，将低质量的图像转换成高质量的图像。当图像质量高于某个设定阈值时，质量筛选单元直接将图像输出至FPGA处理器3。

质量转换单元。主要将质量筛选单元筛选出的低质量图像转换成高质量图像。质量转换单元主要采用目前最新的深度学习技术GAN网络。GAN网络主要包括生成器和判别器。生成器的输入为低质量图像，输出为生成的高质量图像。判别器的输入为原始高质量图像和生成器生成的高质量图像，判别器的目的是区分出原始高质量图像和生成器的高质量图像。当生成器最优的参数足够好时，判别器将无法分辨出原始高质量图像和生成器生成的高质量图像的区别；当判别器优化的足够好时，能够轻易地区分出原始高质量图像和生成器生成图像的区别，两者相辅相成，共同达到最优解。

生成器和判别器中的网络设计主要采用CNN中的ResNet网络结构，残差的结构设计使得网络能够学习到更多的图像内容信息。针对于质量转换问题，生成器特别采取了MSEloss和VGGloss对其进行约束，使得在图像转换时考虑到每一个像素点，考虑图像中的全局信息，更加清晰地还原了高质量的图像信息。

训练GAN网络需要收集各种场景中的车辆后方样本图像，包括高质量与低质量的样本图像，尤其是天气条件恶劣的后方车辆样本图像。利用采集到的低质量人脸图像训练生成器，生成假高质量图像，再利用假高质量图像与采集到的高质量图像训练判别器，利用判别loss、MSEloss与VGGloss约束整个GAN网络，当迭代次数不断增多，判别器无法识别处生成器生成的假高质量图像与采集到的高质量图像的差别时，停止训练。质量转换单元采用训练好的生成器，当汽车行驶时，摄像头I采集到低质量的后方图像，生成器自动将低质量的图像转换成高质量的图像供驾驶员参考，防止由于大雾或雨雪天气导致的图像模糊而使驾驶员无法做出判断。

图像识别模块2。图像识别模块2包括：摄像头II2-1和DSP处理器II2-2。

摄像头II2-1。主要将采集到的驾驶员图像输入至DSP处理器II2-2进行图像识别。

DSP处理器II2-2主要包括：人脸预处理单元和图像识别单元。

人脸预处理单元主要包括：人脸检测；人脸关键点检测和人脸对齐。人脸预处理单元主要对摄像头II2-1采集到的人脸进行预处理。由于摄像头采集到的驾驶员人脸图像不可能是实时正面，可能会存在一些角度偏离，所以当采集到的人脸图像角度稍大，需要对人脸图像进行预处理。

人脸检测主要是将摄像头II2-1采集到的图像进行人脸检测，得到人脸图像的位置。将得到的人脸图像位置和摄像头II2-1采集到的图像输入人脸关键点检测，得到人脸关键的位置。选取人脸关键点和摄像头II2-1采集到的图像进行人脸对齐，最终得到对齐好的人脸图像。

图像识别单元主要将对齐好的人脸图像进行识别，识别驾驶员是否处于疲劳驾驶状态。若连续多帧图像均被判别为疲劳驾驶状态则认定司机属于疲劳驾驶状态立即发送信号输出给FPGA处理器3。

图像处理单元中的疲劳驾驶识别模型主要采取ResNet10网络。ResNet10网络有着模型小、参数少但识别率高等优点适应于实际场景中。ResNet10网络不同于以往的CNN模型，其独特的“残差”设计解决随着网络层数越深梯度消失问题。ResNet10网络不同于一路卷积池化操作得到特征图的模型，其在某一层得到特征图的基础上加上这一层特征图的输入部分，这种结构加深了图像的内容理解，减少了加法器和乘法器的个数，改变了传统CNN在运算过程中加法器和乘法器的结构设计，用更少的参数却能达到同样好的效果。

训练ResNet10网络需采集大量的驾驶员疲劳驾驶与正常驾驶样本图像。利用疲劳驾驶与正常驾驶样本图像训练ResNet二分类器。当驾驶员的人脸图像输入至ResNet识别器中，若连续多帧识别器均判别驾驶员状态为疲劳驾驶，则DSP处理器II2-2立即发送响应信号至FPGA处理器3等待处理。

FPGA处理器3连接DSP处理器I1-2数据接口，得到车辆后方的图像信息然后输出至显示器6供驾驶员查看车辆后方实时状态；连接DSP处理器II2-2通信接口响应是否需进行语音提醒，若驾驶员目前状态处于疲劳驾驶则输出信号至语音提醒模块7。FPGA处理器3连接DSP处理器I1-2和DSP处理器II2-2的方式可以是总线方式和链路口方式。FPGA处理器3的通信接口与无线通信模块4连接，主要对用户需要下载的一些娱乐软件等进行响应，通过无线通信模块4与远方云端服务器通信下载相应软件。FPGA处理器3的数据接口连接GPS模块5，当用户开启导航服务时，实时定位位置信息。

语音提醒模块7连接FPGA处理器3的通信接口，当接收到“提醒”指令时，开启语音提醒模块，以人声或蜂鸣声提醒驾驶员注意不要疲劳驾驶。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种多功能智能识别车载后视镜，其特征在于：包括：图像处理模块、图像识别模块、FPGA处理器、无线通信模块、GPS模块、显示器和语音提醒模块；

所述图像处理模块包括摄像头I和DSP处理器I；

所述图像识别模块包括摄像头II和DSP处理器II；

所述图像处理模块和图像识别模块分别与FPGA处理器电连接；

所述FPGA处理器分别与无线通信模块、GPS模块、显示器和语音提醒模块电连接。

2.根据权利要求1所述的一种多功能智能识别车载后视镜，其特征在于：所述DSP处理器I包括质量筛选单元和质量转换单元。

3.根据权利要求1所述的一种多功能智能识别车载后视镜，其特征在于：所述FPGA处理器还连接有人脸预处理单元。

4.根据权利要求2所述的一种多功能智能识别车载后视镜，其特征在于：所述摄像头I采集汽车后方的视频流，将采集到的图像输入DSP处理器I中；DSP处理器I用于当采集到的后方图像由于天气因素影响质量较差时，将图像质量由低转高；DSP处理器I将处理后的图像输入FPGA处理器，FPGA处理器输出至显示器显示给驾驶员关注后方车辆情况；

摄像头II采集驾驶员的视频流，将采集到的图像输入DSP处理器II中；DSP处理器II作用是识别驾驶员驾驶状态，当状态被判别为疲劳驾驶时，DSP处理器II与FPGA处理器进行通信；FPGA处理器立即响应，输出信号至语音提醒模块；语音提醒模块接收信号后，立即做出语音提示，提醒驾驶人员；

无线通信模块与云端服务器进行通信，支持用户下载应用软件；GPS模块为用户提供导航应用服务；

摄像头I将采集到的汽车后方的实时图像输入至DSP处理器I进行图像处理；

质量筛选单元对摄像头I采集到的图像进行质量筛选；质量筛选单元对图像的分辨率、信噪比参数进行判断；质量筛选单元对图像的整体质量进行筛选，当图像质量低于某个设定阈值时，质量筛选单元将图像输入给质量转换单元，将低质量的图像转换成高质量的图像；当图像质量高于某个设定阈值时，质量筛选单元直接将图像输出至FPGA处理器；

质量转换单元分别将质量筛选单元筛选出的低质量图像转换成高质量图像。

5.根据权利要求4所述的一种多功能智能识别车载后视镜，其特征在于：所述质量转换单元采用深度学习技术GAN网络；

GAN网络包括生成器和判别器；生成器的输入为低质量图像，输出为生成的高质量图像；判别器的输入为原始高质量图像和生成器生成的高质量图像，判别器用于区分出原始高质量图像和生成器的高质量图像；

生成器和判别器中的网络采用CNN中的ResNet网络结构；对于质量转换问题，生成器采取MSEloss和VGGloss对其进行约束，使得在图像转换时考虑到每一个像素点，考虑图像中的全局信息，还原高质量的图像信息。

6.根据权利要求5所述的一种多功能智能识别车载后视镜，其特征在于：所述GAN网络的训练为：收集各种场景中的车辆后方样本图像，包括高质量与低质量的样本图像，所述样本图像包括天气条件恶劣的后方车辆样本图像；

利用采集到的低质量人脸图像训练生成器，生成假高质量图像，再利用假高质量图像与采集到的高质量图像训练判别器，利用判别loss、MSEloss与VGGloss约束整个GAN网络，当迭代次数不断增多，判别器无法识别处生成器生成的假高质量图像与采集到的高质量图像的差别时，停止训练；质量转换单元I和质量转换单元II采用训练好的生成器，当汽车行驶时，摄像头I采集到低质量的后方图像，生成器自动将低质量的图像转换成高质量的图像供驾驶员参考，防止由于大雾或雨雪天气导致的图像模糊而使驾驶员无法做出判断。

7.根据权利要求4所述的一种多功能智能识别车载后视镜，其特征在于：所述摄像头II将采集到的驾驶员图像输入至DSP处理器II进行图像识别。

8.根据权利要求3所述的一种多功能智能识别车载后视镜，其特征在于：所述人脸预处理单元包括用于人脸关键点检测和人脸对齐；

人脸预处理单元对摄像头II采集到的人脸进行预处理；当采集到的人脸图像角度稍大，需要对人脸图像进行预处理；

人脸关键点检测为：将摄像头II采集到的图像进行人脸检测，得到人脸图像的位置；将得到的人脸图像位置和摄像头II采集到的图像输入人脸关键点检测，得到人脸关键的位置；

人脸对齐为：选取人脸关键点和摄像头II采集到的图像进行人脸对齐，最终得到对齐好的人脸图像；

图像识别单元将对齐好的人脸图像进行识别，识别驾驶员是否处于疲劳驾驶状态；若连续多帧图像均被判别为疲劳驾驶状态则认定司机属于疲劳驾驶状态立即发送信号输出给FPGA处理器；

图像处理单元中的疲劳驾驶识别模型采取ResNet10网络；

训练ResNet10网络需采集大量的驾驶员疲劳驾驶与正常驾驶样本图像；利用疲劳驾驶与正常驾驶样本图像训练ResNet二分类器；当驾驶员的人脸图像输入至ResNet识别器中，若连续多帧识别器均判别驾驶员状态为疲劳驾驶，则DSP处理器II发送响应信号至FPGA处理器等待处理；

FPGA处理器连接DSP处理器II数据接口，得到车辆后方的图像信息然后输出至显示器供驾驶员查看车辆后方实时状态；连接DSP处理器II通信接口响应是否需进行语音提醒，若驾驶员目前状态处于疲劳驾驶则输出信号至语音提醒模块；FPGA处理器连接DSP处理器I和DSP处理器II的方式包括是总线方式和链路口方式；FPGA处理器的通信接口与无线通信模块连接，对用户需要下载的娱乐软件进行响应，通过无线通信模块与远方云端服务器通信下载相应软件；FPGA处理器的数据接口连接GPS模块，当用户开启导航服务时，实时定位位置信息；

语音提醒模块连接FPGA处理器的通信接口，当接收到“提醒”指令时，开启语音提醒模块，以人声或蜂鸣声提醒驾驶员注意不要疲劳驾驶。

Images