CN115909254B - 一种基于摄像头原始图像的dms系统及其图像处理方法 - Google Patents

Abstract

本发明提出了一种基于摄像头原始图像的DMS系统及其图像处理方法，通过获取第一摄像头拍摄的驾驶员周边的车内外环境的原始图像数据，根据预设的阈值在所述原始图像数据中定位低照度区域和反光区域，将所述低照度区域和/或所述反光区域确定为目标分析区域，对所述目标分析区域的图像进行处理生成对应的可分析图像，对所述可分析图像进行分析以确定所述目标分析区域中是否存在风险物体，当所述目标分析区域中存在风险物体时，获取第二摄像头实时拍摄的驾驶员图像，根据驾驶员的脸部图像确定驾驶员对所述目标分析区域的关注度，在驾驶员对所述目标分析区域的关注度低时发出风险提示，能够监测驾驶员对车外存在安全隐患位置的关注情况，保障驾驶安全。

Description

一种基于摄像头原始图像的DMS系统及其图像处理方法

技术领域

本发明涉及驾驶员监测技术领域，特别涉及一种基于摄像头原始图像的DMS系统及其图像处理方法。

背景技术

DMS(Driver Monitoring System，驾驶员监测系统)是基于驾驶员面部图像、生理指标或车辆信息处理以判定驾驶员状态的实时系统，主要实现对驾驶员的身份识别、疲劳监测、分心监测以及危险驾驶行为的监测功能。在现有的DMS系统中，摄像头一般用于拍摄驾驶员的图像以实时分析驾驶员的行为和状态，然而驾驶员的行为和状态在很多情况下与车内外的环境具有较强关联关系，需要根据车内外环境的情况对驾驶员作为或不作为的行为进行分析才能精确地执行危险驾驶行为监测，单一地通过拍摄到的驾驶员自身的图像来对驾驶员的状态进行分析，其数据来源较为单一，分析结果比较片面，无法确定驾驶员做出某些行为或姿态的原因，从而可能对驾驶员的状态产生误判。在各种环境因素中，对驾驶员影响最大的因素包括低照度的暗光区域、高亮度的强光光源以及强光光源的在车内外的镜面物体上的反光等，会使驾驶员对周边物体特别是行人和车辆的位置产生误判。驾驶员在驾车时需要对外部环境保持高度的关注，但由于高速运动过程中车内外环境变化速度极快，而长时间驾驶车辆处于疲劳的驾驶员可能发生专注力下降的情况，对于车内外低照度区域、强光区域或其反光区域存在的安全隐患有可能会被驾驶员所忽视，从而引发安全问题。同时，现有的DMS所使用的摄像头都集成了ISP(Image Signal ProcesSor，图像信号处理器)模组，向后端处理模块输出经ISP模组处理过的RGB或YUV格式的图像，但ISP模组对图像数据的处理是不可逆的有损处理，包括伽玛校正、去马赛克、白平衡、亮度/对比度修正、锐化和降噪等处理，以及图像压缩处理，所输出的RGB或YUV格式的图像数据相较于原始图像数据，丢失了大量的原始图像细节，对低照度和反光图像的处理效果不佳。

发明内容

本发明正是基于上述问题，提出了一种基于摄像头原始图像的DMS系统及其图像处理方法，能够监测驾驶员对车外存在安全隐患位置的关注情况，保障驾驶安全。

有鉴于此，本发明的第一方面提出了一种基于摄像头原始图像的DMS系统，包括：

原始图像数据获取模块，用于获取第一摄像头拍摄的驾驶员周边的车内外环境的原始图像数据；

区域定位模块，用于根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域；

目标分析区域确定模块，用于将所述低照度区域和/或所述强光区域确定为目标分析区域；

可分析图像生成模块，用于对所述目标分析区域的图像进行处理生成对应的可分析图像；

危险物体确定模块，用于对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体；

驾驶员图像获取模块，用于当所述目标分析区域中存在危险物体时，获取第二摄像头实时拍摄的驾驶员图像，所述驾驶员图像包括所述驾驶员的脸部图像；

关注度确定模块，用于根据驾驶员的脸部图像确定驾驶员对所述目标分析区域的关注度；

风险提示模块，用于在驾驶员对所述目标分析区域的关注度低时发出风险提示。

本发明的第二方面提出了一种基于摄像头原始图像的DMS系统图像处理方法，包括：

获取第一摄像头拍摄的驾驶员周边的车内外环境的原始图像数据；

根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域；

将所述低照度区域和/或所述强光区域确定为目标分析区域；

对所述目标分析区域的图像进行处理生成对应的可分析图像；

对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体；

当所述目标分析区域中存在危险物体时，获取第二摄像头实时拍摄的驾驶员图像，所述驾驶员图像包括所述驾驶员的脸部图像；

根据驾驶员的脸部图像确定驾驶员对所述目标分析区域的关注度；

在驾驶员对所述目标分析区域的关注度低时发出风险提示。

进一步的，在上述的基于摄像头原始图像的DMS系统图像处理方法中，根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域的步骤具体包括：

基于所述原始图像数据生成第一亮度分布矩阵Y_ij，其中i＝(1，2，…，m_o)，j＝(1，2，…，n_o)，m_o×n_o为所述第一摄像头的传感器的分辨率；

计算所述图像数据的中值亮度

构建亮度区域识别坐标矩阵其中α为大于1的正整数；

获取所述亮度区域识别坐标矩阵对应的第二亮度分布矩阵/>

计算所述亮度区域识别坐标矩阵中每个坐标值周边(2β+1)×(2β+1)范围内的像素的亮度均值/>其中β为偶数且β<α；

获取预设的亮度识别阈值ΔY；

当时，将坐标值为/>的像素点确定为亮区像素，将i_t或j_t为连续值的区域拼接成所述强光区域的图像；

当时，将坐标值为/>的像素点确定为暗区像素，将i_t或j_t为连续值的区域拼接成所述低照度区域的图像；

剔除不在[Y_m-ΔY，Y_m+ΔY]区间内的像素区域，依次缩小α和增加β再次执行上述步骤直到不再有符合/>以及/>的区域。

进一步的，在上述的基于摄像头原始图像的DMS系统图像处理方法中，基于所述原始图像数据生成第一亮度分布矩阵Y_ij的步骤具体包括：

从所述原始图像数据中提取图像数据；

对所述图像数据中的异常值进行平滑处理；

计算所述图像数据中每个像素点的亮度分量得到所述图像数据的第一亮度分布矩阵Y_ij＝0.299R_ij+0.587G_ij+0.114B_ij；

当第(i，j)个像素为红色传感单元时，

当第(i，j)个像素为绿色传感单元时，

当第(i，j)个像素为蓝色传感单元时，

其中C_ij为第(i，j)个像素的传感单元的读数，count_R,ij、count_G,ij、count_B,ij分别为第(i，j)个像素相邻的红色传感单元、绿色传感单元或蓝色传感单元的数量，C_R,k,ij、C_G,k,ij、C_B,k,ij为第(i，j)个像素相邻的红色传感单元、绿色传感单元或蓝色传感单元的读数。

进一步的，在上述的基于摄像头原始图像的DMS系统图像处理方法中，对所述目标分析区域的图像进行处理得到对应的可分析图像的步骤具体包括：

获取所述目标分析区域的图像的最大宽度m_d和最大高度n_d；

取填充矩阵的边长l为所述最大宽度和最大高度之中的较大值

使用亮度值为Y_m的无色度分量像素填充所述目标分析区域图像的空白区域以生成大小为l×l的填充图像；

将所述填充图像输入到预先训练好的神经网络中进行处理得到所述可分析图像。

进一步的，在上述的基于摄像头原始图像的DMS系统图像处理方法中，所述预先训练好的神经网络包括使用大量低照度的样本图像训练得到的用于对低照度图像执行细节增强的第一生成式对抗网络，训练所述第一生成式对抗网络的步骤具体包括：

将所述样本图像输入所述第一生成式对抗网络的生成器以生成目标图像；

将所述目标图像输入所述第一生成式对抗网络的第一网络分支以生成第一特征图像，所述第一网络分支包括若干个用于提取图像特征的第一卷积层以及若干个用于对图像特征中每个像素点进行分类的第二卷积层；

将所述目标图像输入所述第一生成式对抗网络的第二网络分支以生成第二特征图像，所述第二网络分支包括若干个用于去噪的第一残差密集块；

将所述第一特征图像和所述第二特征图像逐像素相加后输入第二残差密集块以生成第一输出图像；

将所述第一输出图像与预设的分数阶微分算子进行卷积以生成第二输出图像；

将所述第一输出图像和所述第二输出图像分别输入所述第一生成式对抗网络的两个鉴别器进行鉴别；

根据鉴别结果调整所述第一生成式对抗网络的参数继续对所述第一生成式对抗网络进行迭代训练。

进一步的，在上述的基于摄像头原始图像的DMS系统图像处理方法中，所述预先训练好的神经网络包括使用大量的反光样本图像训练得到的用于对反光图像执行反射去除的第二生成式对抗网络，训练所述第二生成式对抗网络的步骤具体包括：

将所述反光样本图像输入所述第二生成式对抗网络中顺序级联的若干个第三卷积层以从所述反光样本图像提取图像特征；

将所述图像特征输入所述第二生成式对抗网络中顺序级联的若干个第四卷积层以将所述反光样本图像分解为背景图像和反射图像；

将所述背景图像和所述反射图像输入所述第二生成式对抗网络的鉴别器进行鉴别；

根据鉴别结果调整所述第二生成式对抗网络的参数继续对所述第二生成式对抗网络进行迭代训练。

进一步的，在上述的基于摄像头原始图像的DMS系统图像处理方法中，对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体的步骤具体包括：

识别所述可分析图像中的物体；

判断所述目标分析区域是否位于汽车的运动路径上；

当所述目标分析区域是否位于汽车的运动路径上时，判断所述可分析图像上是否存在尺寸大于预设值的物体；

当存在尺寸大于预设值的物体时，将所述物体确定为所述危险物体。

进一步的，在上述的基于摄像头原始图像的DMS系统图像处理方法中，在判断所述目标分析区域是否位于汽车的运动路径上的步骤之后，还包括：

当所述目标分析区域不位于汽车的运动路径上时，判断所述可分析图像上是否存在运动物体；

当所述可分析图像上存在运动物体时，获取所述运动物体的运动方向和运动速度；

根据汽车的运动速度、所述运动物体的运动方向和运动速度分析所述运动物体与汽车碰撞的概率；

当所述运动物体与汽车碰撞的概率大于预设值时，将所述运动物体确定为所述危险物体。

进一步的，在上述的基于摄像头原始图像的DMS系统图像处理方法中，在驾驶员对所述目标分析区域的关注度低时发出风险提示的步骤具体包括：

记录将所述运动物体确定为所述危险物体的时间T₀；

获取预设的第一安全距离D₁以及预设的第二安全距离D₂，其中D₁＞D₂；

计算所述运动物体运动到与汽车的相对距离等于所述第一安全距离D₁的时间点T₁以及所述运动物体运动到与汽车的相对距离等于所述第二安全距离D₂的时间点T₂；

在T₀到T₁时间段内实时获取驾驶员的脸部图像；

通过所述驾驶员的脸部图像监测驾驶员视线方向；

当在T₀到T₁时间段内驾驶员的视线停留在所述危险物体的时间长度或经过所述危险物体的次数小于预设的阈值时，在当前时间超过时间点T2时发出风险提示。

本发明提出了一种基于摄像头原始图像的DMS系统及其图像处理方法，通过获取第一摄像头拍摄的驾驶员周边的车内外环境的原始图像数据，根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域，将所述低照度区域和/或所述强光区域确定为目标分析区域，对所述目标分析区域的图像进行处理生成对应的可分析图像，对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体，当所述目标分析区域中存在危险物体时，获取第二摄像头实时拍摄的驾驶员图像，根据驾驶员的脸部图像确定驾驶员对所述目标分析区域的关注度，在驾驶员对所述目标分析区域的关注度低时发出风险提示，能够监测驾驶员对车外存在安全隐患位置的关注情况，保障驾驶安全。

附图说明

图1是本发明一个实施例提供的一种基于摄像头原始图像的DMS系统的示意框图；

图2是本发明一个实施例提供的一种基于摄像头原始图像的DMS系统图像处理方法的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本说明书的描述中，术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

下面参照附图来描述根据本发明一些实施方式提供的一种基于摄像头原始图像的DMS系统及其图像处理方法。

如图1所示，本发明的第一方面提出了一种基于摄像头原始图像的DMS系统，包括：

原始图像数据获取模块，用于获取第一摄像头拍摄的驾驶员周边的车内外环境的原始图像数据；

区域定位模块，用于根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域；

目标分析区域确定模块，用于将所述低照度区域和/或所述强光区域确定为目标分析区域；

可分析图像生成模块，用于对所述目标分析区域的图像进行处理生成对应的可分析图像；

图像分析模块，用于对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体；

驾驶员图像获取模块，用于当所述目标分析区域中存在危险物体时，获取第二摄像头实时拍摄的驾驶员图像，所述驾驶员图像包括所述驾驶员的脸部图像；

关注度确定模块，用于根据驾驶员的脸部图像确定驾驶员对所述目标分析区域的关注度；

风险提示模块，用于在驾驶员对所述目标分析区域的关注度低时发出风险提示。

在上述的基于摄像头原始图像的DMS系统中，所述区域定位模块包括：

第一亮度分布矩阵生成模块，用于基于所述原始图像数据生成第一亮度分布矩阵Y_ij，其中i＝(1，2，…，m_o)，j＝(1，2，…，n_o)，m_o×n_o为所述第一摄像头的传感器的分辨率；

中值亮度计算模块，用于计算所述图像数据的中值亮度

坐标矩阵构建模块，用于构建亮度区域识别坐标矩阵其中α为大于1的正整数；

第二亮度分布矩阵生成模块，用于生成所述亮度区域识别坐标矩阵对应的第二亮度分布矩阵/>

亮度均值计算模块，用于计算所述亮度区域识别坐标矩阵中每个坐标值周边(2β+1)×(2β+1)范围内的像素的亮度均值/>其中β为偶数且β<α；

亮度识别阈值获取模块，用于获取预设的亮度识别阈值ΔY；

反光图像拼接模块，用于当时，将坐标值为/>的像素点确定为亮区像素，将i_t或j_t为连续值的区域拼接成所述强光区域的图像；

低照度图像拼接模块，用于当时，将坐标值为/>的像素点确定为暗区像素，将i_t或j_t为连续值的区域拼接成所述低照度区域的图像；

循环执行模块，用于剔除不在[Y_m-ΔY，Y_m+ΔY]区间内的像素区域，依次缩小α和增加β再次执行上述步骤直到不再有符合/>以及/>的区域。

在上述的基于摄像头原始图像的DMS系统中，所述第一亮度分布矩阵生成模块包括：

图像数据提取模块，用于从所述原始图像数据中提取图像数据；

平滑处理模块，用于对所述图像数据中的异常值进行平滑处理；

亮度分量计算模块，用于计算所述图像数据中每个像素点的亮度分量得到所述图像数据的第一亮度分布矩阵Y_ij＝0.299R_ij+0.587G_ij+0.114B_ij；

当第(i，j)个像素为红色传感单元时，

当第(i，j)个像素为绿色传感单元时，

当第(i，j)个像素为蓝色传感单元时，

其中C_ij为第(i，j)个像素的传感单元的读数，count_R,ij、count_G,ij、count_B,ij分别为第(i，j)个像素相邻的红色传感单元、绿色传感单元或蓝色传感单元的数量，C_R,k,ij、C_G,k,ij、C_B,k,ij为第(i，j)个像素相邻的红色传感单元、绿色传感单元或蓝色传感单元的读数。

在上述的基于摄像头原始图像的DMS系统中，所述可分析图像生成模块包括：

尺寸获取模块，用于获取所述目标分析区域的图像的最大宽度m_d和最大高度n_d；

边长确定模块，用于取填充矩阵的边长l为所述最大宽度和最大高度之中的较大值

图像填充模块，用于使用亮度值为Y_m的无色度分量像素填充所述目标分析区域图像的空白区域以生成大小为l×l的填充图像；

填充图像处理模块，用于将所述填充图像输入到预先训练好的神经网络中进行处理得到所述可分析图像。

在上述的基于摄像头原始图像的DMS系统中，所述预先训练好的神经网络包括使用大量低照度的样本图像训练得到的用于对低照度图像执行细节增强的第一生成式对抗网络，所述基于摄像头原始图像的DMS系统还包括：

目标图像生成模块，用于将所述样本图像输入所述第一生成式对抗网络的生成器以生成目标图像；

第一特征图像生成模块，用于将所述目标图像输入所述第一生成式对抗网络的第一网络分支以生成第一特征图像，所述第一网络分支包括若干个用于提取图像特征的第一卷积层以及若干个用于对图像特征中每个像素点进行分类的第二卷积层；

第二特征图像生成模块，用于将所述目标图像输入所述第一生成式对抗网络的第二网络分支以生成第二特征图像，所述第二网络分支包括若干个用于去噪的第一残差密集块；

第一输出图像生成模块，用于将所述第一特征图像和所述第二特征图像逐像素相加后输入第二残差密集块以生成第一输出图像；

第二输出图像生成模块，用于将所述第一输出图像与预设的分数阶微分算子进行卷积以生成第二输出图像；

输出图像鉴别模块，用于将所述第一输出图像和所述第二输出图像分别输入所述第一生成式对抗网络的两个鉴别器进行鉴别；

迭代训练模块，用于根据鉴别结果调整所述第一生成式对抗网络的参数继续对所述第一生成式对抗网络进行迭代训练。

在上述的基于摄像头原始图像的DMS系统中，所述预先训练好的神经网络包括使用大量的反光样本图像训练得到的用于对反光图像执行反射去除的第二生成式对抗网络，所述基于摄像头原始图像的DMS系统还包括：

图像特征提取模块，用于将所述反光样本图像输入所述第二生成式对抗网络中顺序级联的若干个第三卷积层以从所述反光样本图像提取图像特征；

反光样本图像分解模块，用于将所述图像特征输入所述第二生成式对抗网络中顺序级联的若干个第四卷积层以将所述反光样本图像分解为背景图像和反射图像；

输出图像鉴别模块，用于将所述背景图像和所述反射图像输入所述第二生成式对抗网络的鉴别器进行鉴别；

迭代训练模块，用于根据鉴别结果调整所述第二生成式对抗网络的参数继续对所述第二生成式对抗网络进行迭代训练。

在上述的基于摄像头原始图像的DMS系统中，所述图像分析模块包括：

物体识别模块，用于识别所述可分析图像中的物体；

位置判断模块，用于判断所述目标分析区域是否位于汽车的运动路径上；

尺寸判断模块，用于当所述目标分析区域是否位于汽车的运动路径上时，判断所述可分析图像上是否存在尺寸大于预设值的物体；

危险物体确定模块，用于当存在尺寸大于预设值的物体时，将所述物体确定为所述危险物体。

在上述的基于摄像头原始图像的DMS系统中，所述图像分析模块还包括：

运动物体判断模块，用于当所述目标分析区域不位于汽车的运动路径上时，判断所述可分析图像上是否存在运动物体；

运动状态获取模块，用于当所述可分析图像上存在运动物体时，获取所述运动物体的运动方向和运动速度；

碰撞概率分析模块，用于根据汽车的运动速度、所述运动物体的运动方向和运动速度分析所述运动物体与汽车碰撞的概率；

所述危险物体确定模块还用于当所述运动物体与汽车碰撞的概率大于预设值时，将所述运动物体确定为所述危险物体。

在上述的基于摄像头原始图像的DMS系统中，所述风险提示模块包括：

时间记录模块，用于记录将所述运动物体确定为所述危险物体的时间T₀；

安全距离获取模块，用于获取预设的第一安全距离D₁以及预设的第二安全距离D₂，其中D₁＞D₂；

时间计算模块，用于计算所述运动物体运动到与汽车的相对距离等于所述第一安全距离D₁的时间点T₁以及所述运动物体运动到与汽车的相对距离等于所述第二安全距离D₂的时间点T₂；

脸部图像获取模块，用于在T₀到T₁时间段内实时获取驾驶员的脸部图像；

视线方向监测模块，用于通过所述驾驶员的脸部图像监测驾驶员视线方向；

所述风险提示模块具体用于当在T₀到T₁时间段内驾驶员的视线停留在所述危险物体的时间长度或经过所述危险物体的次数小于预设的阈值时，在当前时间超过时间点T₂时发出风险提示。

本发明的第二方面提出了一种基于摄像头原始图像的DMS系统图像处理方法，包括：

获取第一摄像头拍摄的驾驶员周边的车内外环境的原始图像数据；

根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域；

将所述低照度区域和/或所述强光区域确定为目标分析区域；

对所述目标分析区域的图像进行处理生成对应的可分析图像；

对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体；

当所述目标分析区域中存在危险物体时，获取第二摄像头实时拍摄的驾驶员图像，所述驾驶员图像包括所述驾驶员的脸部图像；

根据驾驶员的脸部图像确定驾驶员对所述目标分析区域的关注度；

在驾驶员对所述目标分析区域的关注度低时发出风险提示。

在上述的基于摄像头原始图像的DMS系统图像处理方法中，根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域的步骤具体包括：

基于所述原始图像数据生成第一亮度分布矩阵Y_ij，其中i＝(1，2，…，m_o)，j＝(1，2，…，n_o)，m_o×n_o为所述第一摄像头的传感器的分辨率；

计算所述图像数据的中值亮度

构建亮度区域识别坐标矩阵其中α为大于1的正整数；

生成所述亮度区域识别坐标矩阵对应的第二亮度分布矩阵/>

计算所述亮度区域识别坐标矩阵中每个坐标值周边(2β+1)×(2β+1)范围内的像素的亮度均值/>其中β为偶数且β<α；

获取预设的亮度识别阈值ΔY；

当时，将坐标值为/>的像素点确定为亮区像素，将i_t或j_t为连续值的区域拼接成所述强光区域的图像；

当时，将坐标值为/>的像素点确定为暗区像素，将i_t或j_t为连续值的区域拼接成所述低照度区域的图像；

剔除不在[Y_m-ΔY，Y_m+ΔY]区间内的像素区域，依次缩小α和增加β再次执行上述步骤直到不再有符合/>以及/>的区域。

在上述的基于摄像头原始图像的DMS系统图像处理方法中，基于所述原始图像数据生成第一亮度分布矩阵Y_ij的步骤具体包括：

从所述原始图像数据中提取图像数据；

对所述图像数据中的异常值进行平滑处理；

计算所述图像数据中每个像素点的亮度分量得到所述图像数据的第一亮度分布矩阵Y_ij＝0.299R_ij+0.587G_ij+0.114B_ij；

当第(i，j)个像素为红色传感单元时，

当第(i，j)个像素为绿色传感单元时，

当第(i，j)个像素为蓝色传感单元时，

其中C_ij为第(i，j)个像素的传感单元的读数，count_R,ij、count_G,ij、count_B,ij分别为第(i，j)个像素相邻的红色传感单元、绿色传感单元或蓝色传感单元的数量，C_R,k,i_j、C_G,k,i_j、C_B,k,ij为第(i，j)个像素相邻的红色传感单元、绿色传感单元或蓝色传感单元的读数。

在上述的基于摄像头原始图像的DMS系统图像处理方法中，对所述目标分析区域的图像进行处理得到对应的可分析图像的步骤具体包括：

获取所述目标分析区域的图像的最大宽度m_d和最大高度n_d；

取填充矩阵的边长l为所述最大宽度和最大高度之中的较大值

使用亮度值为Y_m的无色度分量像素填充所述目标分析区域图像的空白区域以生成大小为l×l的填充图像；

将所述填充图像输入到预先训练好的神经网络中进行处理得到所述可分析图像。

在上述的基于摄像头原始图像的DMS系统图像处理方法中，所述预先训练好的神经网络包括使用大量低照度的样本图像训练得到的用于对低照度图像执行细节增强的第一生成式对抗网络，训练所述第一生成式对抗网络的步骤具体包括：

将所述样本图像输入所述第一生成式对抗网络的生成器以生成目标图像；

将所述目标图像输入所述第一生成式对抗网络的第一网络分支以生成第一特征图像，所述第一网络分支包括若干个用于提取图像特征的第一卷积层以及若干个用于对图像特征中每个像素点进行分类的第二卷积层；

将所述目标图像输入所述第一生成式对抗网络的第二网络分支以生成第二特征图像，所述第二网络分支包括若干个用于去噪的第一残差密集块；

将所述第一特征图像和所述第二特征图像逐像素相加后输入第二残差密集块以生成第一输出图像；

将所述第一输出图像与预设的分数阶微分算子进行卷积以生成第二输出图像；

将所述第一输出图像和所述第二输出图像分别输入所述第一生成式对抗网络的两个鉴别器进行鉴别；

根据鉴别结果调整所述第一生成式对抗网络的参数继续对所述第一生成式对抗网络进行迭代训练。

在上述的基于摄像头原始图像的DMS系统图像处理方法中，所述预先训练好的神经网络包括使用大量的反光样本图像训练得到的用于对反光图像执行反射去除的第二生成式对抗网络，训练所述第二生成式对抗网络的步骤具体包括：

将所述反光样本图像输入所述第二生成式对抗网络中顺序级联的若干个第三卷积层以从所述反光样本图像提取图像特征；

将所述图像特征输入所述第二生成式对抗网络中顺序级联的若干个第四卷积层以将所述反光样本图像分解为背景图像和反射图像；

将所述背景图像和所述反射图像输入所述第二生成式对抗网络的鉴别器进行鉴别；

根据鉴别结果调整所述第二生成式对抗网络的参数继续对所述第二生成式对抗网络进行迭代训练。

在上述的基于摄像头原始图像的DMS系统图像处理方法中，对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体的步骤具体包括：

识别所述可分析图像中的物体；

判断所述目标分析区域是否位于汽车的运动路径上；

当所述目标分析区域是否位于汽车的运动路径上时，判断所述可分析图像上是否存在尺寸大于预设值的物体；

当存在尺寸大于预设值的物体时，将所述物体确定为所述危险物体。

在上述的基于摄像头原始图像的DMS系统图像处理方法中，在判断所述目标分析区域是否位于汽车的运动路径上的步骤之后，还包括：

当所述目标分析区域不位于汽车的运动路径上时，判断所述可分析图像上是否存在运动物体；

当所述可分析图像上存在运动物体时，获取所述运动物体的运动方向和运动速度；

根据汽车的运动速度、所述运动物体的运动方向和运动速度分析所述运动物体与汽车碰撞的概率；

当所述运动物体与汽车碰撞的概率大于预设值时，将所述运动物体确定为所述危险物体。

在上述的基于摄像头原始图像的DMS系统图像处理方法中，在驾驶员对所述目标分析区域的关注度低时发出风险提示的步骤具体包括：

记录将所述运动物体确定为所述危险物体的时间T₀；

获取预设的第一安全距离D₁以及预设的第二安全距离D₂，其中D₁＞D₂；

计算所述运动物体运动到与汽车的相对距离等于所述第一安全距离D₁的时间点T₁以及所述运动物体运动到与汽车的相对距离等于所述第二安全距离D₂的时间点T₂；

在T₀到T₁时间段内实时获取驾驶员的脸部图像；

通过所述驾驶员的脸部图像监测驾驶员视线方向；

当在T₀到T₁时间段内驾驶员的视线停留在所述危险物体的时间长度或经过所述危险物体的次数小于预设的阈值时，在当前时间超过时间点T₂时发出风险提示。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种基于摄像头原始图像的DMS系统，其特征在于，包括：

原始图像数据获取模块，用于获取第一摄像头拍摄的驾驶员周边的车内外环境的原始图像数据；

区域定位模块，用于根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域；

目标分析区域确定模块，用于将所述低照度区域和/或所述强光区域确定为目标分析区域；

可分析图像生成模块，用于对所述目标分析区域的图像进行处理生成对应的可分析图像；

危险物体确定模块，用于对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体；

驾驶员图像获取模块，用于当所述目标分析区域中存在危险物体时，获取第二摄像头实时拍摄的驾驶员图像，所述驾驶员图像包括所述驾驶员的脸部图像；

关注度确定模块，用于根据驾驶员的脸部图像确定驾驶员对所述目标分析区域的关注度；

风险提示模块，用于在驾驶员对所述目标分析区域的关注度低时发出风险提示；

所述区域定位模块包括：

第一亮度分布矩阵生成模块，用于基于所述原始图像数据生成第一亮度分布矩阵Y_ij，其中i＝1,2,…,m_o，且j＝1,2,…,n_o，其中m_o×n_o为所述第一摄像头的传感器的分辨率；

中值亮度计算模块，用于计算所述原始图像数据的中值亮度

坐标矩阵构建模块，用于构建亮度区域识别坐标矩阵其中/> 且/>其中α为大于1的正整数；

第二亮度分布矩阵生成模块，用于生成所述亮度区域识别坐标矩阵对应的第二亮度分布矩阵/>

亮度均值计算模块，用于计算所述亮度区域识别坐标矩阵中每个坐标值周边(2β+1)×(2β+1)范围内的像素的亮度均值/>其中β为偶数且β<α；

亮度识别阈值获取模块，用于获取预设的亮度识别阈值ΔY；

反光图像拼接模块，用于当时，将坐标值为/>的像素点确定为亮区像素，将i_t或j_t为连续值的区域拼接成所述强光区域的图像；

低照度图像拼接模块，用于当时，将坐标值为/>的像素点确定为暗区像素，将i_t或j_t为连续值的区域拼接成所述低照度区域的图像；

循环执行模块，用于剔除不在[Y_m-ΔY,Y_m+ΔY]区间内的像素区域，依次缩小α和增加β再次执行上述步骤直到不再有符合/>以及/>的区域。

2.一种基于摄像头原始图像的DMS系统图像处理方法，其特征在于，包括：

获取第一摄像头拍摄的驾驶员周边的车内外环境的原始图像数据；

根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域；

将所述低照度区域和/或所述强光区域确定为目标分析区域；

对所述目标分析区域的图像进行处理生成对应的可分析图像；

对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体；

当所述目标分析区域中存在危险物体时，获取第二摄像头实时拍摄的驾驶员图像，所述驾驶员图像包括所述驾驶员的脸部图像；

根据驾驶员的脸部图像确定驾驶员对所述目标分析区域的关注度；

在驾驶员对所述目标分析区域的关注度低时发出风险提示；

根据预设的阈值在所述原始图像数据中定位低照度区域和强光区域的步骤具体包括：

基于所述原始图像数据生成第一亮度分布矩阵Y_ij，其中i＝1,2,…,m_o，且j＝1,2,…,n_o，其中m_o×n_o为所述第一摄像头的传感器的分辨率；

计算所述原始图像数据的中值亮度

构建亮度区域识别坐标矩阵其中/>且/>其中α为大于1的正整数；

获取所述亮度区域识别坐标矩阵对应的第二亮度分布矩阵/>

计算所述亮度区域识别坐标矩阵中每个坐标值周边(2β+1)×(2β+1)范围内的像素的亮度均值/>其中β为偶数且β<α；

获取预设的亮度识别阈值ΔY；

当时，将坐标值为/>的像素点确定为亮区像素，将i_t或j_t为连续值的区域拼接成所述强光区域的图像；

当时，将坐标值为/>的像素点确定为暗区像素，将i_t或j_t为连续值的区域拼接成所述低照度区域的图像；

剔除不在[Y_m-ΔY,Y_m+ΔY]区间内的像素区域，依次缩小α和增加β再次执行上述步骤直到不再有符合/>以及/>的区域。

3.根据权利要求2所述的基于摄像头原始图像的DMS系统图像处理方法，其特征在于，基于所述原始图像数据生成第一亮度分布矩阵Y_ij的步骤具体包括：

从所述原始图像数据中提取图像数据；

对所述图像数据中的异常值进行平滑处理；

计算所述图像数据中每个像素点的亮度分量得到所述图像数据的第一亮度分布矩阵Y_ij＝0.299R_ij+0.587G_ij+0.114B_ij；

当第(i,j)个像素为红色传感单元时，R_ij＝C_ij，

当第(i,j)个像素为绿色传感单元时，G_ij＝C_ij，

当第(i,j)个像素为蓝色传感单元时，B_ij＝C_ij，

其中C_ij为第(i,j)个像素的传感单元的读数，count_R,ij、count_G,ij、count_B,ij分别为第(i,j)个像素相邻的红色传感单元、绿色传感单元或蓝色传感单元的数量，C_R,k,ij、C_G,k,ij、C_B,k,ij为第(i,j)个像素相邻的红色传感单元、绿色传感单元或蓝色传感单元的读数。

4.根据权利要求2-3任一项所述的基于摄像头原始图像的DMS系统图像处理方法，对所述目标分析区域的图像进行处理得到对应的可分析图像的步骤具体包括：

获取所述目标分析区域的图像的最大宽度m_d和最大高度n_d；

取填充矩阵的边长l为所述最大宽度和最大高度之中的较大值

使用亮度值为Y_m的无色度分量像素填充所述目标分析区域图像的空白区域以生成大小为l×l的填充图像；

将所述填充图像输入到预先训练好的神经网络中进行处理得到所述可分析图像。

5.根据权利要求4所述的基于摄像头原始图像的DMS系统图像处理方法，其特征在于，所述预先训练好的神经网络包括使用大量低照度的样本图像训练得到的用于对低照度图像执行细节增强的第一生成式对抗网络，训练所述第一生成式对抗网络的步骤具体包括：

将所述样本图像输入所述第一生成式对抗网络的生成器以生成目标图像；

将所述目标图像输入所述第一生成式对抗网络的第一网络分支以生成第一特征图像，所述第一网络分支包括若干个用于提取图像特征的第一卷积层以及若干个用于对图像特征中每个像素点进行分类的第二卷积层；

将所述目标图像输入所述第一生成式对抗网络的第二网络分支以生成第二特征图像，所述第二网络分支包括若干个用于去噪的第一残差密集块；

将所述第一特征图像和所述第二特征图像逐像素相加后输入第二残差密集块以生成第一输出图像；

将所述第一输出图像与预设的分数阶微分算子进行卷积以生成第二输出图像；

将所述第一输出图像和所述第二输出图像分别输入所述第一生成式对抗网络的两个鉴别器进行鉴别；

根据鉴别结果调整所述第一生成式对抗网络的参数继续对所述第一生成式对抗网络进行迭代训练。

6.根据权利要求4所述的基于摄像头原始图像的DMS系统图像处理方法，其特征在于，所述预先训练好的神经网络包括使用大量的反光样本图像训练得到的用于对反光图像执行反射去除的第二生成式对抗网络，训练所述第二生成式对抗网络的步骤具体包括：

将所述反光样本图像输入所述第二生成式对抗网络中顺序级联的若干个第三卷积层以从所述反光样本图像提取图像特征；

将所述图像特征输入所述第二生成式对抗网络中顺序级联的若干个第四卷积层以将所述反光样本图像分解为背景图像和反射图像；

将所述背景图像和所述反射图像输入所述第二生成式对抗网络的鉴别器进行鉴别；

根据鉴别结果调整所述第二生成式对抗网络的参数继续对所述第二生成式对抗网络进行迭代训练。

7.根据权利要求5或6任一项所述的基于摄像头原始图像的DMS系统图像处理方法，其特征在于，对所述可分析图像进行分析以确定所述目标分析区域中是否存在危险物体的步骤具体包括：

识别所述可分析图像中的物体；

判断所述目标分析区域是否位于汽车的运动路径上；

当所述目标分析区域位于汽车的运动路径上时，判断所述可分析图像上是否存在尺寸大于预设值的物体；

当存在尺寸大于预设值的物体时，将所述物体确定为所述危险物体。

8.根据权利要求7所述的基于摄像头原始图像的DMS系统图像处理方法，其特征在于，在判断所述目标分析区域是否位于汽车的运动路径上的步骤之后，还包括：

当所述目标分析区域不位于汽车的运动路径上时，判断所述可分析图像上是否存在运动物体；

当所述可分析图像上存在运动物体时，获取所述运动物体的运动方向和运动速度；

根据汽车的运动速度、所述运动物体的运动方向和运动速度分析所述运动物体与汽车碰撞的概率；

当所述运动物体与汽车碰撞的概率大于预设值时，将所述运动物体确定为所述危险物体。

9.根据权利要求8所述的基于摄像头原始图像的DMS系统图像处理方法，其特征在于，在驾驶员对所述目标分析区域的关注度低时发出风险提示的步骤具体包括：

记录将所述运动物体确定为所述危险物体的时间T₀；

获取预设的第一安全距离D₁以及预设的第二安全距离D₂，其中D₁>D₂；

计算所述运动物体运动到与汽车的相对距离等于所述第一安全距离D₁的时间点T₁以及所述运动物体运动到与汽车的相对距离等于所述第二安全距离D₂的时间点T₂；

在T₀到T₁时间段内实时获取驾驶员的脸部图像；

通过所述驾驶员的脸部图像监测驾驶员视线方向；

当在T₀到T₁时间段内驾驶员的视线停留在所述危险物体的时间长度或经过所述危险物体的次数小于预设的阈值时，在当前时间超过时间点T₂时发出风险提示。