CN112699714B - 一种针对图像的致盲场景检测方法及车载终端 - Google Patents

Abstract

本发明实施例公开了一种针对图像的致盲场景检测方法及车载终端。该方法包括：获取待检测图像；通过场景检测网络，确定待检测图像的致盲场景类别和致盲信息；其中，场景检测网络为预先通过对包含致盲场景的样本图像和对应的标注信息进行训练得到，标注信息包括标准致盲场景类别和标准致盲信息，样本图像和对应的标注信息为：通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理后得到；致盲信息包括标识所述待检测图像的致盲程度和/或致盲位置。应用本发明实施例提供的方案，能够提高对智能驾驶场景中采集的各种复杂图像进行致盲场景检测时的准确性。

Description

一种针对图像的致盲场景检测方法及车载终端

技术领域

本发明涉及智能驾驶技术领域，具体而言，涉及一种针对图像的致盲场景检测方法及车载终端。

背景技术

在智能驾驶系统中，视觉感知在车辆定位、障碍物检测等方面的作用越来越重要。例如，相机设备采集的图像可以用于建立高精度地图，从图像中可以识别驾驶场景中的车道线、交通标识牌等道路标志。相机设备采集的图像中可能会存在致盲场景。该致盲场景包括雾、运动模糊和失焦模糊等类型。例如，实际采集的图像中可能存在雾区域，或者存在部分运动模糊区域。致盲场景的致盲程度也可能各不相同。

对图像中的致盲场景进行检测，在车辆定位数据和障碍物检测数据的修正以及图像感知结果的置信度确定方面，都有重要意义。相关技术中，可以通过对图像各个像素点像素值的直方图进行分析，通过与阈值的比较，确定图像是否存在致盲场景。这种通过与单一阈值进行比较的方法，对于智能驾驶场景中采集的各种复杂图像来说，准确性较低。

发明内容

本发明提供了一种针对图像的致盲场景检测方法及车载终端，以提高对智能驾驶场景中采集的各种复杂图像进行致盲场景检测时的准确性。具体的技术方案如下。

第一方面，本发明实施例公开了一种针对图像的致盲场景检测方法，包括：

获取待检测图像；

通过场景检测网络，确定所述待检测图像的致盲场景类别和致盲信息；

其中，所述场景检测网络为预先通过对包含致盲场景的样本图像和对应的标注信息进行训练得到，所述标注信息包括标准致盲场景类别和标准致盲信息，所述样本图像和对应的标注信息为：通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理后得到；所述致盲信息包括所述待检测图像的致盲程度和/或致盲位置。

可选的，所述标准致盲场景类别包括：雾场景、失焦模糊场景和运动模糊场景中的至少一种；

通过以下方式对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理，得到所述样本图像和对应的标注信息：

当所述标准致盲场景类别为雾场景时，根据预设的大气散射模型对所述初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息；

当所述标准致盲场景类别为失焦模糊场景时，根据预设的近似分层遮挡模型对所述初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息；

当所述标准致盲场景类别为运动模糊场景，且所述初始图像包含至少两个连续图像帧时，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息；

其中，所述初始图像包含深度信息。

可选的，所述根据预设的大气散射模型对所述初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息的步骤，包括：

根据以下预设的大气散射模型的公式对所述初始图像进行处理，得到包含雾场景的样本图像和对应的标注信息：

I(X)＝J(x)t(x)+A[1-t(x)]

t(x)＝e^-βd(x)

其中，X为所述样本图像I中的像素点，所述x为所述初始图像J中的像素点，所述β为从预设范围内确定的随机数，所述d(x)为所述初始图像的深度信息，所述A为根据所述初始图像的各个像素点确定的全局大气光值，将1-t(x)作为标注信息中的标准致盲程度。

可选的，所述根据预设的近似分层遮挡模型对所述初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息的步骤，包括：

根据以下预设的近似分层遮挡模型的公式对所述初始图像中的像素点进行迭代处理，得到包含失焦模糊场景的样本图像：

其中，所述X为所述样本图像

中的像素点，所述x为所述初始图像L中的像素，所述A_k为二元掩膜，深度信息为k的像素点对应的A_k取1，深度信息不为k的像素点对应的A_k取0，所述h为预设的圆盘模糊函数，所述K为最大的深度信息，所述k+1表示各个深度信息中比深度信息k大且最接近于所述k的深度信息，将所述圆盘模糊函数的半径作为标注信息中的标准致盲程度。

可选的，所述通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息的步骤，包括：

确定至少两个连续图像帧中的对应像素点；

在对应像素点在各个图像帧中的不同位置之间进行插值，得到位于各个图像帧之间的插值图像；

对所述插值图像以及各个图像帧中对应位置的像素点取均值，得到包含运动模糊场景的样本图像；

根据至少两个连续图像帧中的对应像素点，确定所述样本图像中像素点的光流值，作为标注信息中的标准致盲程度；

针对所述样本图像中光流值大于阈值的像素点，确定该像素点对应的二值化的辅助掩膜取预设值，将所述辅助掩膜作为标注信息中的标准致盲位置。

可选的，所述通过所述场景检测网络，确定所述待检测图像的致盲场景类别和致盲信息的步骤，包括：

将所述待检测图像输入场景检测网络，由所述场景检测网络根据训练好的模型参数确定所述待检测图像对应的各个致盲场景类别的概率和致盲信息；

将概率最大的致盲场景类别确定为所述待检测图像的致盲场景类别；

根据最大概率对应的致盲信息确定所述待检测图像的致盲信息。

可选的，所述场景检测网络还输出所述待检测图像对应的辅助掩膜；其中，所述辅助掩膜用于标识像素点是否存在运动模糊；

所述根据最大概率对应的致盲信息确定所述待检测图像的致盲信息的步骤，包括：

当确定所述待检测图像的致盲场景类别为运动模糊场景时，根据所述辅助掩膜与最大概率对应的致盲信息之间的乘积，确定所述待检测图像的致盲信息。

第二方面，本发明实施例公开了一种车载终端，包括：处理器和图像采集设备；其中，所述处理器包括：

获取模块，用于获取所述图像采集设备采集的待检测图像；

确定模块，用于通过所述场景检测网络，确定所述待检测图像的致盲场景类别和致盲信息；

其中，所述场景检测网络为预先通过对包含致盲场景的样本图像和对应的标注信息进行训练得到，所述标注信息包括标准致盲场景类别和标准致盲信息，所述样本图像和对应的标注信息为：通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理后得到；所述致盲信息包括标识所述待检测图像的致盲程度和/或致盲位置。

可选的，所述标准致盲场景类别包括：雾场景、失焦模糊场景和运动模糊场景中的至少一种；

所述处理器还包括：

致盲模块，用于通过以下操作对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理，得到所述样本图像和对应的标注信息：

当所述标准致盲场景类别为雾场景时，根据预设的大气散射模型对所述初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息；

当所述标准致盲场景类别为失焦模糊场景时，根据预设的近似分层遮挡模型对所述初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息；

当所述标准致盲场景类别为运动模糊场景，且所述初始图像包含至少两个连续图像帧时，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息；

其中，所述初始图像包含深度信息。

可选的，所述致盲模块，根据预设的大气散射模型对所述初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息时，包括：

根据以下预设的大气散射模型的公式对所述初始图像进行处理，得到包含雾场景的样本图像和对应的标注信息：

I(X)＝J(x)t(x)+A[1-t(x)]

t(x)＝e^-βd(x)

其中，X为所述样本图像I中的像素点，所述x为所述初始图像J中的像素点，所述β为从预设范围内确定的随机数，所述d(x)为所述初始图像的深度信息，所述A为根据所述初始图像的各个像素点确定的全局大气光值，将1-t(x)作为标注信息中的标准致盲程度。

可选的，所述致盲模块，根据预设的近似分层遮挡模型对所述初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息时，包括：

根据以下预设的近似分层遮挡模型的公式对所述初始图像中的像素点进行迭代处理，得到包含失焦模糊场景的样本图像：

其中，所述X为所述样本图像

中的像素点，所述x为所述初始图像L中的像素，所述A_k为二元掩膜，深度信息为k的像素点对应的A_k取1，深度信息不为k的像素点对应的A_k取0，所述h为预设的圆盘模糊函数，所述K为最大的深度信息，所述k+1表示各个深度信息中比深度信息k大且最接近于所述k的深度信息，将所述圆盘模糊函数的半径作为标注信息中的标准致盲程度。

可选的，所述致盲模块，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息时，包括：

确定至少两个连续图像帧中的对应像素点；

在对应像素点在各个图像帧中的不同位置之间进行插值，得到位于各个图像帧之间的插值图像；

对所述插值图像以及各个图像帧中对应位置的像素点取均值，得到包含运动模糊场景的样本图像；

根据至少两个连续图像帧中的对应像素点，确定所述样本图像中像素点的光流值，作为标注信息中的标准致盲程度；

针对所述样本图像中光流值大于阈值的像素点，确定该像素点对应的二值化的辅助掩膜取预设值，将所述辅助掩膜作为标注信息中的标准致盲位置。

可选的，所述确定模块，具体用于：

将所述待检测图像输入场景检测网络，由所述场景检测网络根据训练好的模型参数确定所述待检测图像对应的各个致盲场景类别的概率和致盲信息；

将概率最大的致盲场景类别确定为所述待检测图像的致盲场景类别；

根据最大概率对应的致盲信息确定所述待检测图像的致盲信息。

可选的，所述场景检测网络还输出所述待检测图像对应的辅助掩膜；其中，所述辅助掩膜用于标识像素点是否存在运动模糊；

所述确定模块，根据最大概率对应的致盲信息确定所述待检测图像的致盲信息时，包括：

当确定所述待检测图像的致盲场景类别为运动模糊场景时，根据所述辅助掩膜与最大概率对应的致盲信息之间的乘积，确定所述待检测图像的致盲信息。

由上述内容可知，本发明实施例提供的针对图像的致盲场景检测方法及车载终端，可以通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理，得到大量包含致盲场景的样本图像和对应的标注信息，使用足够数量的样本图像和标注信息训练场景检测网络，能够使得场景检测网络的准确性更好，鲁棒性更高，进而更准确地检测不同场景下图像中的致盲场景类别和致盲信息，因此本发明实施例能够提高对智能驾驶场景中采集的各种复杂图像进行致盲场景检测时的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、对不包含致盲场景的清晰图像进行致盲处理，能够得到大量包含致盲场景的样本图像和对应的标注信息，使用这些样本图像对场景检测网络进行训练，能够得到场景检测网络，使用该场景检测网络对智能驾驶场景中采集的各种复杂图像进行致盲场景的检测可以更准确。

2、致盲场景类型包含雾场景、失焦模糊场景和运动模糊场景，对初始图像进行不同类别的致盲处理，可以得到多样化的样本图像，这样能够更好地用于训练场景检测网络。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的针对图像的致盲场景检测方法的一种结构示意图；

图2为本发明实施例中各种初始图像和样本图像对比图；

图3为本发明实施例中场景检测网络对三种致盲场景的图像进行检测时得到的检测结果；

图4为本发明实施例中场景检测网络的一个应用实例；

图5为本发明实施例提供的车载终端的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明实施例公开了一种针对图像的致盲场景检测方法及车载终端，能够提高对智能驾驶场景中采集的各种复杂图像进行致盲场景检测时的准确性。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的针对图像的致盲场景检测方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等，也可以为车载电脑或车载工业控制计算机(Industrial Personal Computer，IPC)等车载终端。该方法具体包括以下步骤。

S110：获取待检测图像。

其中，待检测图像可以理解为待检测致盲场景类别和致盲信息的图像。待检测图像可以为智能车辆在工作过程中其中的相机设备采集的图像，也可以为其他任意环境下的图像。

S120：通过场景检测网络，确定待检测图像的致盲场景类别和致盲信息。

其中，场景检测网络为，预先通过对包含致盲场景的样本图像和对应的标注信息进行训练得到。标注信息包括标准致盲场景类别和标准致盲信息。

样本图像和对应的标注信息为：通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理后得到。致盲信息包括待检测图像的致盲程度和/或致盲位置。

致盲场景类别可以包括雾场景、失焦模糊场景和运动模糊场景等类别。样本图像可以包含以上各种致盲场景类别的图像。标准致盲场景类别为每个样本图像对应的致盲场景类别的真值，标准致盲信息为每个样本图像对应的致盲场景信息的真值。

为了训练场景检测网络，可以预先获取大量的样本图像。但是实际中，相机设备直接采集到的图像中存在致盲场景的情况属于少数，对应的真实采集到的包含致盲场景的图像也比较少，无法满足训练网络的目的。

为了获取大量的包含致盲场景的样本图像，本实施例可以获取不包含致盲场景的初始图像，对初始图像进行与标准致盲场景类别对应的致盲处理，得到包含致盲场景的样本图像和对应的标注信息。

在获取初始图像时，可以从智能车辆在行驶时相机设备采集的大量不包含致盲场景的图像中获取，也可以从其他图像集中获取。在智能车辆行驶时，相机设备采集的图像多为包含复杂场景的图像，且图像中的场景变化较大。

由上述内容可知，本实施例可以通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理，得到大量包含致盲场景的样本图像和对应的标注信息，使用足够数量的样本图像和标注信息训练场景检测网络，能够使得场景检测网络的准确性更好，鲁棒性更高，进而更准确地检测不同场景下图像中的致盲场景类别和致盲信息，因此本实施例能够提高对智能驾驶场景中采集的各种复杂图像进行致盲场景检测时的准确性。

在本发明的另一实施例中，基于图1所示实施例，标准致盲场景类别包括：雾场景、失焦模糊场景和运动模糊场景中的至少一种。确定的待检测图像的致盲场景类别为雾场景、失焦模糊场景和运动模糊场景中的一种。

本实施例中，通过以下方式对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理，得到样本图像和对应的标注信息：

当标准致盲场景类别为雾场景时，根据预设的大气散射模型对初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息；

当标准致盲场景类别为失焦模糊场景时，根据预设的近似分层遮挡模型对初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息；

当标准致盲场景类别为运动模糊场景，且初始图像包含至少两个连续图像帧时，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息；

其中，初始图像包含深度信息。

当标准致盲场景类别为雾场景时，与该标准致盲场景类别对应的致盲处理为雾场景致盲处理，即图像添加雾处理。当标准致盲场景类别为失焦模糊场景时，与该标准致盲场景类别对应的致盲处理为失焦模糊处理，即图像添加失焦模糊处理。当标准致盲场景类别为运动模糊场景时，与该标准致盲场景类别对应的致盲处理为图像添加运动模糊处理。

具体的，当标准致盲场景类别为雾场景时，根据预设的大气散射模型对初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息的步骤，可以包括：

根据以下预设的大气散射模型的公式对初始图像进行处理，得到包含雾场景的样本图像和对应的标注信息：

I(X)＝J(x)t(x)+A[1-t(x)]

t(x)＝e^-βd(x)

其中，X为样本图像I中的像素点，x为初始图像J中的像素点。β为从预设范围内确定的随机数，例如可以为从0.02～0.08之间确定随机数作为β的值。d(x)为初始图像的深度信息，即像素点x处的深度信息。A为根据初始图像的各个像素点确定的全局大气光值。初始图像中各个像素点对应相同的全局大气光值。全局大气光值可以采用三元素向量表示，每一个元素对应一个颜色通道。

按照上述大气散射模型的公式I(X)＝J(x)t(x)+A[1-t(x)]，对初始图像进行处理时，可以逐像素点进行处理，不同像素点之间的处理相互独立。

在确定A时，可以直接将初始图像中亮度最大的像素点的灰度值作为全局大气光值，也可以采用其他方式确定全局大气光值。

在确定样本图像的标注信息时，标准致盲场景类别即为雾场景，并且可以将1-t(x)作为标注信息中的标准致盲程度，即样本图像中的每个像素点均对应一个标准致盲程度。该标准致盲程度用于标识样本图像中该像素点的雾程度大小。

综上，上述实施例提供了根据大气散射模型对初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息的具体实施方式。致盲场景类型包含雾场景、失焦模糊场景和运动模糊场景，对初始图像进行不同类别的致盲处理，可以得到多样化的样本图像，这样能够更好地用于训练场景检测网络。

当标准致盲场景类别为失焦模糊场景时，根据预设的近似分层遮挡模型对初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息的步骤，可以包括：

根据以下预设的近似分层遮挡模型的公式对初始图像中的像素点进行迭代处理，得到包含失焦模糊场景的样本图像：

其中，X为样本图像

中的像素点，x为初始图像L中的像素，A_k为二元掩膜，深度信息为k的像素点对应的A_k取1，深度信息不为k的像素点对应的A_k取0，h为预设的圆盘模糊函数，K为最大的深度信息，k+1表示各个深度信息中比深度信息k大且最接近于k的深度信息。

本实施例中，k为像素点的深度信息对应的值。A_kL(x)表示的含义即为深度信息为k的像素点。

公式中针对k的求和的含义为，针对初始图像中深度信息为k的像素点进行。k取一个值，为一次处理，改变k的取值，可以迭代地对初始图像中的所有像素点进行处理。k的取值范围为[k_min，K]，当k从k_min逐渐取到K时，逐渐迭代地对初始图像中的所有像素点进行了添加失焦模糊的处理。

M_k公式中的连乘符号的含义为，当k′从当前深度信息的下一个深度信息(k+1)取到最大的深度信息K时，将对应的不同[1-A_k′*h(k′)]进行连乘。

上述圆盘模糊函数的形式可以为

其中，R_b为圆盘模糊函数的半径。在确定标注信息时，标准致盲场景类别为失焦模糊场景，并将圆盘模糊函数的半径作为标注信息中的标准致盲程度。样本图像中的每个像素点对应一个标准致盲程度值。

圆盘模糊函数h的自变量为k，当k取不同值时，对应的函数h值不同，使用函数h对不同深度信息为k的像素点处理后，其像素值存在不同的改变。

综上，上述实施例提供了根据近似分层遮挡模型对初始图像进行失焦模糊处理，得到包含失焦模糊的样本图像和对应的标注信息的具体实施方式。

当标准致盲场景类别为运动模糊场景，且初始图像包含至少两个连续图像帧时，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息的步骤，可以包括以下步骤1a～5a。

步骤1a：确定至少两个连续图像帧中的对应像素点。

其中，至少两个连续图像帧中的对应像素点，可以理解为同一物体上的同一点在至少两个连续图像帧中对应的像素点。本步骤中，可以采用相关技术中的方法确定至少两个连续图像帧中的对应像素点。

步骤2a：在对应像素点在各个图像帧中的不同位置之间进行插值，得到位于各个图像帧之间的插值图像。

例如，图像帧1中的点P和图像帧2中的点P'为对应像素点。点P在图像帧1中的图像坐标为(u1,v1)，点P'在图像帧2中的图像坐标为(u2，v2)。也就是说，某个点在两个图像帧的时间间隔内从(u1,v1)移动至(u2，v2)。可以假设该点为直线移动，在移动过程中可以根据预设的更小的时间间隔，以及起始点(u1,v1)和终止点(u2，v2)，在图像帧1和图像帧2之间通过插值得到多个图形帧。例如，可以在图像帧1和图像帧2之间插入3个图像帧，当从图像帧1到图像帧2的时间间隔为t时，从图像帧1到图像帧2之间共5个图像帧的时间间隔为t/4。

步骤3a：对插值图像以及各个图像帧中对应位置的像素点取均值，得到包含运动模糊场景的样本图像。

插值图像以及各个图像帧中对应位置的像素点，即同一坐标位置的像素点为对应位置的像素点。

步骤4a：根据至少两个连续图像帧中的对应像素点，确定样本图像中像素点的光流值，作为标注信息中的标准致盲程度。

本步骤中，根据至少两个连续图像帧中的对应像素点，可以采用相关技术中光流的计算方法确定至少两个连续图像帧中每个像素位置对应的像素点的光流值。光流值能够体现出像素点亮度模式的表观运动。

标注信息中的标注致盲场景类别为运动模糊场景。

步骤5a：针对样本图像中光流值大于阈值的像素点，确定该像素点对应的二值化的辅助掩膜取预设值，将所述辅助掩膜作为标注信息中的标准致盲位置。

由于图像中的运动模糊可能是局部性的，其不同于雾场景和失焦模糊场景的全局性，因此针对运动模糊场景，可以引入二值化的辅助掩膜，用于标识样本图像中存在运动模糊的区域。

光流值大于阈值的像素点，认为存在运动模糊。光流值不大于阈值的像素点，认为不存在运动模糊。该阈值为预先设置的。针对光流值大于阈值的像素点，可以将该像素点的辅助掩膜设置为1；针对光流值不大于阈值的像素点，可以将该像素点的辅助掩膜设置为0。

综上，上述实施例提供了对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息的具体实施方式。

参见图2，该图2的第一行图像为三个清晰的初始图像，第二行图像为根据上述实施例得到的对应的样本图像，第三行为样本图像的标注信息图。左侧第一列为雾场景，第二列为失焦模糊场景，第三列为运动模糊场景。

在本发明的另一实施例中，基于图1所示实施例，场景检测网络可以采用深度学习算法进行训练，具体的训练过程可以包含以下步骤1b～5b。

步骤1b：获取包含致盲场景的样本图像和对应的标注信息。标注信息包括准致盲场景类别和标准致盲信息。

步骤2b：将样本图像输入场景检测网络。其中，场景检测网络包括特征提取层和分类层。

步骤3b：通过特征提取层的第一模型参数，提取样本图像的样本特征图；通过回归层的第二模型参数，基于样本特征图确定样本图像中的参考致盲信息；通过分类层，基于样本特征图确定样本图像中的参考致盲场景类别。

其中，第一模型参数和第二模型参数的初始值可以采用对应的预设值。在训练的过程中，不断调整第一模型参数和第二模型参数，使其接近于真实值。

步骤4b：确定参考致盲场景类别与对应的标准致盲场景类别之间的差异，确定参考致盲信息与对应的标准致盲信息之间的差异。

在计算上述差异时，可以采用损失(Loss)函数计算差异。具体的，致盲场景类别之间的差异，可以采用二元交叉熵损失计算；致盲信息之间的差异，可以采用L1损失计算。

步骤5b：当上述两个差异大于对应的预设差异阈值时，根据上述两个差异修改第一模型参数和第二模型参数，返回执行步骤2b，将样本图像输入场景检测网络的步骤。当上述两个差异均不大于对应的预设差异阈值时，确定场景检测网络训练完成。

其中，预设差异阈值可以为根据经验值确定。在每次循环迭代中，可以将不同的样本图像输入场景检测网络。

综上，本实施例通过迭代的方式对样本图像不断进行训练，直至场景检测网络检测的参考标注信息与对应的标准标注信息之间的差异均小于预设阈值时，确定场景检测网络训练完成，为网络的训练过程提供了可实施的方式。

在本发明的另一实施例中，基于图1所示实施例，步骤S120，通过场景检测网络，确定待检测图像的致盲场景类别和致盲信息的步骤，可以包括以下步骤1c～3c。

步骤1c：将待检测图像输入场景检测网络，由场景检测网络根据训练好的模型参数确定待检测图像对应的各个致盲场景类别的概率和致盲信息。

步骤2c：将概率最大的致盲场景类别确定为待检测图像的致盲场景类别。

步骤3c：根据最大概率对应的致盲信息确定待检测图像的致盲信息。

本实施例中，场景检测网络输出待检测网络属于每个致盲场景类别的概率，最大概率对应的致盲场景类别即为待检测图像的致盲场景类别，并可以将最大概率对应的致盲信息直接确定为待检测图像的致盲信息。

参见图3，该图3为场景检测网络对三种致盲场景的图像进行检测时得到的检测结果。其中，第一行为输入网络的待检测图像，第二行为待检测图像对应致盲信息真值图，第三行为场景检测网络输出的待检测图像的致盲信息。第一列的待检测图像包含雾场景，第二列的待检测图像包含失焦模糊场景，第三列的待检测图像包含运动模糊。

在本发明的另一实施例中，基于图1所示实施例，场景检测网络还可以输出待检测图像对应的辅助掩膜。其中，辅助掩膜用于标识像素点是否存在运动模糊。

本实施例中，根据最大概率对应的致盲信息确定待检测图像的致盲信息的步骤，可以包括：

当确定待检测图像的致盲场景类别为运动模糊场景时，根据辅助掩膜与最大概率对应的致盲信息之间的乘积，确定待检测图像的致盲信息。

本实施例中，最大概率对应的致盲信息为致盲程度。将辅助掩膜与最大概率对应的致盲信息相乘，可以将存在运动模糊的区域与致盲程度相结合，这样可以使得待检测图像的致盲信息能同时标识致盲程度和致盲位置。

具体的，可以将辅助掩膜与最大概率对应的致盲信息之间的乘积，直接确定为待检测图像的致盲信息，也可以将对该乘积进行预设变换后的结果作为待检测图像的致盲信息。

上述实施例中，可以选择针对室外致盲场景的模拟数据集，这样能够弥补室外致盲场景数据和对应的标注信息的不足。使用模拟数据集所训练的场景检测网络，也可以用在真实场景的视频中，也能实现有意义的检测结果。

例如，图4为本实施例中场景检测网络的一个应用实例。其中，从上到下，从左到右依次是，输入的待检测图像，输出的雾的程度图，输出的运动模糊程度图，输出的失焦模糊程度图。最下方一行的不同灰度代表了不同程度值。从上到下，从左到右的各个图对应的致盲场景类别和概率分别为：雾场景，概率1.0；运动模糊场景，概率0.069；失焦模糊场景，概率0.054。雾场景的概率最大，根据该概率值，可以将该待检测图像的致盲场景类别确定为雾场景。

综上可见，上述实施例提供了一种对致盲场景的细致定量化方法，相比于仅仅将模糊区域确定出来的二元分割方式，本实施例可以提供更多的致盲程度等信息。

图5为本发明实施例提供的一种车载终端的结构示意图。该车载终端包括：处理器510和图像采集设备520；其中，处理器510包括：

获取模块(图中未示出)，用于获取图像采集设备520采集的待检测图像；

确定模块(图中未示出)，用于通过场景检测网络，确定待检测图像的致盲场景类别和致盲信息；

其中，场景检测网络为预先通过对包含致盲场景的样本图像和对应的标注信息进行训练得到，标注信息包括标准致盲场景类别和标准致盲信息，样本图像和对应的标注信息为：通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理后得到；致盲信息包括标识待检测图像的致盲程度和/或致盲位置。

在本发明的另一实施例中，基于图5所示实施例，标准致盲场景类别包括：雾场景、失焦模糊场景和运动模糊场景中的至少一种；

处理器510还包括：

致盲模块(图中未示出)，用于通过以下操作对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理，得到样本图像和对应的标注信息：

当标准致盲场景类别为雾场景时，根据预设的大气散射模型对初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息；

当标准致盲场景类别为失焦模糊场景时，根据预设的近似分层遮挡模型对初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息；

当标准致盲场景类别为运动模糊场景，且初始图像包含至少两个连续图像帧时，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息；

其中，初始图像包含深度信息。

在本发明的另一实施例中，基于图5所示实施例，致盲模块，根据预设的大气散射模型对初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息时，包括：

根据以下预设的大气散射模型的公式对初始图像进行处理，得到包含雾场景的样本图像和对应的标注信息：

I(X)＝J(x)t(x)+A[1-t(x)]

t(x)＝e^-βd(x)

其中，X为样本图像I中的像素点，x为初始图像J中的像素点，β为从预设范围内确定的随机数，d(x)为初始图像的深度信息，A为根据初始图像的各个像素点确定的全局大气光值，将1-t(x)作为标注信息中的标准致盲程度。

在本发明的另一实施例中，基于图5所示实施例，致盲模块，根据预设的近似分层遮挡模型对初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息时，包括：

根据以下预设的近似分层遮挡模型的公式对初始图像中的像素点进行迭代处理，得到包含失焦模糊场景的样本图像：

其中，X为样本图像

中的像素点，x为初始图像L中的像素，A_k为二元掩膜，深度信息为k的像素点对应的A_k取1，深度信息不为k的像素点对应的A_k取0，h为预设的圆盘模糊函数，K为最大的深度信息，k+1表示各个深度信息中比深度信息k大且最接近于k的深度信息，将圆盘模糊函数的半径作为标注信息中的标准致盲程度。

在本发明的另一实施例中，基于图5所示实施例，致盲模块，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息时，包括：

确定至少两个连续图像帧中的对应像素点；

在对应像素点在各个图像帧中的不同位置之间进行插值，得到位于各个图像帧之间的插值图像；

对插值图像以及各个图像帧中对应位置的像素点取均值，得到包含运动模糊场景的样本图像；

根据至少两个连续图像帧中的对应像素点，确定样本图像中像素点的光流值，作为标注信息中的标准致盲程度；

针对样本图像中光流值大于阈值的像素点，确定该像素点对应的二值化的辅助掩膜取预设值，将辅助掩膜作为标注信息中的标准致盲位置。

在本发明的另一实施例中，基于图5所示实施例，确定模块，具体用于：

将待检测图像输入场景检测网络，由场景检测网络根据训练好的模型参数确定待检测图像对应的各个致盲场景类别的概率和致盲信息；

将概率最大的致盲场景类别确定为待检测图像的致盲场景类别；

根据最大概率对应的致盲信息确定待检测图像的致盲信息。

在本发明的另一实施例中，基于图5所示实施例，场景检测网络还输出待检测图像对应的辅助掩膜；其中，辅助掩膜用于标识像素点是否存在运动模糊；

确定模块，根据最大概率对应的致盲信息确定待检测图像的致盲信息时，包括：

当确定待检测图像的致盲场景类别为运动模糊场景时，根据辅助掩膜与最大概率对应的致盲信息之间的乘积，确定待检测图像的致盲信息。

该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (7)

1.一种针对图像的致盲场景检测方法，其特征在于，包括：

获取待检测图像；

通过场景检测网络，确定所述待检测图像的致盲场景类别和致盲信息；

其中，所述场景检测网络为预先通过对包含致盲场景的样本图像和对应的标注信息进行训练得到，所述标注信息包括标准致盲场景类别和标准致盲信息，所述样本图像和对应的标注信息为：通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理后得到；所述致盲信息包括所述待检测图像的致盲程度和/或致盲位置；

所述标准致盲场景类别包括：雾场景、失焦模糊场景和运动模糊场景中的至少一种；

通过以下方式对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理，得到所述样本图像和对应的标注信息：

当所述标准致盲场景类别为雾场景时，根据预设的大气散射模型对所述初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息；

当所述标准致盲场景类别为失焦模糊场景时，根据预设的近似分层遮挡模型对所述初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息；

当所述标准致盲场景类别为运动模糊场景，且所述初始图像包含至少两个连续图像帧时，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息，包括：

确定至少两个连续图像帧中的对应像素点；

在对应像素点在各个图像帧中的不同位置之间进行插值，得到位于各个图像帧之间的插值图像；

对所述插值图像以及各个图像帧中对应位置的像素点取均值，得到包含运动模糊场景的样本图像；

根据至少两个连续图像帧中的对应像素点，确定所述样本图像中像素点的光流值，作为标注信息中的标准致盲程度；

针对所述样本图像中光流值大于阈值的像素点，确定该像素点对应的二值化的辅助掩膜取预设值，将所述辅助掩膜作为标注信息中的标准致盲位置；

其中，所述初始图像包含深度信息。

2.如权利要求1所述的方法，其特征在于，所述根据预设的大气散射模型对所述初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息的步骤，包括：

根据以下预设的大气散射模型的公式对所述初始图像进行处理，得到包含雾场景的样本图像和对应的标注信息：

I(X)＝J(x)t(x)+A[1-t(x)]

t(x)＝e^-βd(x)

其中，X为所述样本图像I中的像素点，所述x为所述初始图像J中的像素点，所述β为从预设范围内确定的随机数，所述d(x)为所述初始图像的深度信息，所述A为根据所述初始图像的各个像素点确定的全局大气光值，将1-t(x)作为标注信息中的标准致盲程度。

3.如权利要求1所述的方法，其特征在于，所述根据预设的近似分层遮挡模型对所述初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息的步骤，包括：

根据以下预设的近似分层遮挡模型的公式对所述初始图像中的像素点进行迭代处理，得到包含失焦模糊场景的样本图像：

其中，所述X为所述样本图像

中的像素点，所述x为所述初始图像L中的像素，所述A_k为二元掩膜，深度信息为k的像素点对应的A_k取1，深度信息不为k的像素点对应的A_k取0，所述h为预设的圆盘模糊函数，所述K为最大的深度信息，所述k+1表示各个深度信息中比深度信息k大且最接近于所述k的深度信息，将所述圆盘模糊函数的半径作为标注信息中的标准致盲程度。

4.如权利要求1所述的方法，其特征在于，所述通过所述场景检测网络，确定所述待检测图像的致盲场景类别和致盲信息的步骤，包括：

将所述待检测图像输入场景检测网络，由所述场景检测网络根据训练好的模型参数确定所述待检测图像对应的各个致盲场景类别的概率和致盲信息；

将概率最大的致盲场景类别确定为所述待检测图像的致盲场景类别；

根据最大概率对应的致盲信息确定所述待检测图像的致盲信息。

5.如权利要求4所述的方法，其特征在于，所述场景检测网络还输出所述待检测图像对应的辅助掩膜；其中，所述辅助掩膜用于标识像素点是否存在运动模糊；

所述根据最大概率对应的致盲信息确定所述待检测图像的致盲信息的步骤，包括：

当确定所述待检测图像的致盲场景类别为运动模糊场景时，根据所述辅助掩膜与最大概率对应的致盲信息之间的乘积，确定所述待检测图像的致盲信息。

6.一种车载终端，其特征在于，包括：处理器和图像采集设备；其中，所述处理器包括：

获取模块，用于获取所述图像采集设备采集的待检测图像；

确定模块，用于通过场景检测网络，确定所述待检测图像的致盲场景类别和致盲信息；

其中，所述场景检测网络为预先通过对包含致盲场景的样本图像和对应的标注信息进行训练得到，所述标注信息包括标准致盲场景类别和标准致盲信息，所述样本图像和对应的标注信息为：通过对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理后得到；所述致盲信息包括标识所述待检测图像的致盲程度和/或致盲位置；

所述标准致盲场景类别包括：雾场景、失焦模糊场景和运动模糊场景中的至少一种；

所述处理器还包括：

致盲模块，用于通过以下操作对不包含致盲场景的初始图像进行与标准致盲场景类别对应的致盲处理，得到所述样本图像和对应的标注信息：

当所述标准致盲场景类别为雾场景时，根据预设的大气散射模型对所述初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息；

当所述标准致盲场景类别为失焦模糊场景时，根据预设的近似分层遮挡模型对所述初始图像进行失焦模糊处理，得到包含失焦模糊场景的样本图像和对应的标注信息；

当所述标准致盲场景类别为运动模糊场景，且所述初始图像包含至少两个连续图像帧时，通过对至少两个连续图像帧进行插值，得到包含运动模糊场景的样本图像和对应的标注信息，包括：

确定至少两个连续图像帧中的对应像素点；

在对应像素点在各个图像帧中的不同位置之间进行插值，得到位于各个图像帧之间的插值图像；

对所述插值图像以及各个图像帧中对应位置的像素点取均值，得到包含运动模糊场景的样本图像；

根据至少两个连续图像帧中的对应像素点，确定所述样本图像中像素点的光流值，作为标注信息中的标准致盲程度；

针对所述样本图像中光流值大于阈值的像素点，确定该像素点对应的二值化的辅助掩膜取预设值，将所述辅助掩膜作为标注信息中的标准致盲位置；

其中，所述初始图像包含深度信息。

7.如权利要求6所述的车载终端，其特征在于，所述致盲模块，根据预设的大气散射模型对所述初始图像进行雾场景致盲处理，得到包含雾场景的样本图像和对应的标注信息时，包括：

根据以下预设的大气散射模型的公式对所述初始图像进行处理，得到包含雾场景的样本图像和对应的标注信息：

I(X)＝J(x)t(x)+A[1-t(x)]

t(x)＝e^-βd(x)

其中，X为所述样本图像I中的像素点，所述x为所述初始图像J中的像素点，所述β为从预设范围内确定的随机数，所述d(x)为所述初始图像的深度信息，所述A为根据所述初始图像的各个像素点确定的全局大气光值，将1-t(x)作为标注信息中的标准致盲程度。

Images