CN117079085A - 雨滴检测模型的训练方法及车辆控制方法、设备及介质 - Google Patents

Abstract

本说明书公开了一种雨滴检测模型的训练方法及车辆控制方法、设备及介质，获取包括多个图像对的图像对数据集，图像对包括同一车玻璃区域且同一时刻的第一雨滴图像和第二雨滴图像，所述第一雨滴图像是模拟行车记录仪拍摄的图像，第二雨滴图像的景深范围在车玻璃区域；基于图像对数据集生成包括多个训练对的训练对数据集，训练对包括第一雨滴图像以及基于第二雨滴图像生成的掩码图像；基于训练对数据集对语义分割模型进行训练，得到用于检测车玻璃上雨滴的雨滴检测模型。通过本说明书解决了车玻璃上雨滴检测的准确性不高的技术问题。

Description

雨滴检测模型的训练方法及车辆控制方法、设备及介质

技术领域

本说明书涉及智能座舱领域，尤其涉及一种雨滴检测模型的训练方法及车辆控制方法、设备及介质。

背景技术

传统的自动雨刷通常使用光电传感器来检测雨滴的数量，从而控制雨刷的运转速度和频率。而使用视觉传感器获取视频流，并根据视频流中的图像信息来判断和控制雨刷的运转速度、频率和雨刷范围。相比传统的自动雨刷更灵活。目前，在利用视觉传感器进行雨滴检测的方案中，有采用了基于样板匹配的方法：通过创建一个雨滴的样板，采用主成分分析技术提取雨滴的特征，用特征进行样板匹配；也有记录车玻璃上一定时间内的变化，并基于雨滴和背景之间的差别或运用光流作为特征实现雨滴检测。也要采用生成雨滴的方式进行雨滴检测。

然而，基于样板匹配的方法进行雨滴检测无法穷举雨滴的样本，且基于主成分分析的方式泛化效果差；基于光流或者不同帧背景差异的方式无法准确提取雨滴，背景噪声干扰大。总之，目前利用视觉传感器进行雨滴检测的方案准确性都不高。利用生成雨滴的方式很难模拟真实场景中雨滴的形态和纹理，因为雨滴受光线和场景的影响很大。

发明内容

本说明书实施例提供了一种雨滴检测模型的训练方法及车辆控制方法、设备及介质，用于解决检测车玻璃上雨滴的准确性不高的技术问题。

第一方面，本说明书实施例提供了一种雨滴检测模型训练方法，包括：

获取包括多个图像对的图像对数据集，所述图像对包括同一车玻璃区域且同一时刻的第一雨滴图像和第二雨滴图像，所述第一雨滴图像是模拟行车记录仪拍摄的图像，所述第二雨滴图像的景深范围在车玻璃区域；基于所述图像对数据集生成包括多个训练对的训练对数据集，所述训练对包括所述第一雨滴图像以及基于所述第二雨滴图像生成的掩码图像；基于所述训练对数据集对语义分割模型进行训练，得到用于检测车玻璃上雨滴的雨滴检测模型。

可选地，所述获取包括多个图像对的图像对数据集，包括：在车玻璃落有雨滴的状态下，通过两个工业相机对着所述车玻璃进行同帧同步采集多个图像对，获得所述图像对数据集。

可选地，所述方法还包括：在所述图像对的采集过程中，调节所述两个工业相机的景深范围，以使其中一个工业相机的景深范围在所述车玻璃所在区域，另一个工业相机模拟行车记录仪的景深范围；在所述图像对的采集过程中，基于预先标定的真实空间和图像平面之间的映射关系，控制所述两个工业相机的视野相同。

可选地，所述基于所述图像对数据集生成包括多个训练对的训练对数据集，包括：从所述图像对数据集获取目标图像对；对所述目标图像对中第二雨滴图像进行掩码获取，生成所述目标图像对中第二雨滴图像的掩码图像； 基于所述目标图像对中第二雨滴图像的掩码图像和第一雨滴图像，生成所述训练对数据集中一个训练对。

可选地，所述对所述目标图像对中第二雨滴图像进行掩码获取，生成所述目标图像对中第二雨滴图像的掩码图像，包括：获取所述目标图像对中第二雨滴图像的灰度图像和模糊图像，以及所述灰度图像与所述模糊图像之间的差值矩阵；基于所述灰度图像、所述模糊图像以及所述差值矩阵，生成所述目标图像对中第二雨滴图像的纹理特征图，所述纹理特征图呈现有雨滴区域的明暗纹理特征；对所述纹理特征图进行边缘检测，生成所述目标图像对中第二雨滴图像的雨滴边缘检测结果；基于所述雨滴边缘检测结果，生成所述目标图像对中第二雨滴图像的掩码图像。

可选地，所述获取所述目标图像对中第二雨滴图像的灰度图像和模糊图像，以及所述灰度图像与所述模糊图像之间的差值矩阵，包括：生成所述目标图像对中第二雨滴图像的灰度图像；对所述灰度图像进行平滑处理，得到所述模糊图像；将所述灰度图像与所述模糊图像进行做差，得到所述差值矩阵。

可选地，所述基于所述灰度图像、所述模糊图像以及所述差值矩阵，生成所述目标图像对中第二雨滴图像的纹理特征图，包括：通过将所述差值矩阵中差值大于预设正阈值的像素点以所述灰度图像中对应的像素点表示，以及将所述差值矩阵中差值不大于所述预设正阈值的像素点以所述模糊图像中对应的像素点表示，生成雨滴亮部纹理特征图；通过将所述差值矩阵中差值小于预设负阈值的像素点以所述灰度图像中对应的像素点表示，以及将所述差值矩阵中不小于所述预设负阈值的像素点以所述模糊图像中对应的像素点表示，生成雨滴暗部纹理特征图。

可选地，所述对所述纹理特征图进行边缘检测，生成所述目标图像对中第二雨滴图像的雨滴边缘检测结果，包括：对所述雨滴亮部纹理特征图和所述雨滴暗部纹理特征图分别采用第一滤波算子进行边缘检测，对应获得两幅第一边缘图像；对所述雨滴亮部纹理特征图和所述雨滴暗部纹理特征图分别采用第二滤波算子进行边缘检测，对应获得两幅第二边缘图像，所述第二滤波算子与所述第一滤波算子不同；将所述两幅第一边缘图像和所述两幅第二边缘图像进行图像叠加，得到所述雨滴边缘检测结果。

第二方面，本说明书实施例提供了一种基于雨滴检测的车辆控制方法，包括：获取行车记录仪的拍摄图像，所述拍摄图像为所述行车记录仪隔着挡风玻璃向车外拍摄的图像；将所述拍摄图像输入至雨滴检测模型进行检测，得到车玻璃的雨滴检测结果，所述雨滴检测模型是基于第一方面任一实施方式所述的雨滴检测模型训练方法训练得到；根据所述雨滴检测结果控制车辆的雨刷，或者联合控制车辆的雨刷和其他车载设备。

第三方面，本说明书实施例提供了一种雨滴检测模型训练装置，包括：数据获取单元，用于获取包括多个图像对的图像对数据集，所述图像对包括同一车玻璃区域且同一时刻的第一雨滴图像和第二雨滴图像，所述第一雨滴图像是模拟行车记录仪拍摄的图像，所述第二雨滴图像的景深范围在车玻璃区域；训练数据生成单元，用于基于所述图像对数据集生成包括多个训练对的训练对数据集，所述训练对包括所述第一雨滴图像以及基于所述第二雨滴图像生成的掩码图像；训练执行单元，用于基于所述训练对数据集对语义分割模型进行训练，得到用于检测车玻璃上雨滴的雨滴检测模型。

第四方面，本说明书实施例提供了一种基于雨滴检测的车辆控制装置，包括：图像获取单元，用于获取行车记录仪的拍摄图像，所述拍摄图像为所述行车记录仪隔着挡风玻璃向车外拍摄的图像；雨滴检测单元，用于将所述拍摄图像输入至雨滴检测模型进行检测，得到车玻璃的雨滴检测结果，所述雨滴检测模型是基于第一方面任一实施方式所述的雨滴检测模型训练方法训练得到；控制单元，用于根据所述雨滴检测结果控制车辆的雨刷，或者联合控制车辆的雨刷和其他车载设备。

第五方面，本说明书实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面任一实施方式所述的雨滴检测模型训练方法，或者实现第二方面所述的基于雨滴检测的车辆控制方法。

第六方面，本说明书实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一实施方式所述的雨滴检测模型训练方法，或者实现第二方面所述的基于雨滴检测的车辆控制方法。

本说明书实施例提供的一个或者多个技术方案，至少具有如下技术效果或者优点：

本说明书实施例提供的雨滴检测模型的训练方法，利用了车玻璃上的雨滴图像及其掩码图像作为训练数据，进行语义分割模型的雨滴检测任务的训练，得到用于检测车玻璃上雨滴的雨滴检测模型。由于训练所用的训练对数据集是来源于在真实场景下采集的车玻璃上的雨滴图像，保证了训练结果的泛化能力。因此，可以提升训练出的雨滴检测模型用于检测车玻璃上雨滴的准确性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本说明书实施例提供的雨滴检测模型训练方法的流程图；

图2示出了本说明书实施例中第二雨滴图像的灰度图像；

图3示出了本说明书实施例中雨滴亮部纹理特征图；

图4示出了本说明书实施例中雨滴暗部纹理特征图；

图5示出了本发明书实施例中第二雨滴图像的掩码图像；

图6示出了用于实施本说明书实施例中雨滴检测模型训练方法的系统；

图7示出了本说明书实施例提供的基于雨滴检测的车辆控制方法的流程图；

图8示出了本说明书实施例提供的雨滴检测模型训练装置的结构示意图；

图9示出了本说明书实施例提供的基于雨滴检测的车辆控制装置的结构示意图；

图10示出了本说明书实施例提供的电子设备的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

如图1所示，本说明书实施例提供了一种雨滴检测模型训练方法，包括如下步骤S101~S103。

S101：获取包括多个图像对的图像对数据集，图像对包括同一车玻璃区域且同一时刻的第一雨滴图像和第二雨滴图像，第一雨滴图像是模拟行车记录仪拍摄的图像，第二雨滴图像的景深范围在车玻璃区域。

在一些实施方式中，为了获取包括多个图像对的图像对数据集，在测试车辆内设置有图像采集装置。因为，在行车记录仪的摄像机记录的真实录像中，下雨天雨滴落在挡风玻璃上是一团模糊的水渍，其纹理特征并不明显。主流的基于梯度特征的方法无法解决此类问题，如果将相机的焦点聚焦在挡风玻璃上，雨滴的纹理特征明显而车外的特征变模糊，采用特定的滤波可以进行边缘检测将雨滴的区域提取出来，利用该特性，设计了如下结构的图像采集装置：如图6所示，该图像采集装置包括两个工业相机，两个工业相机并列设置于测试车辆内且对着车玻璃。在具体实施过程中，两个工业相机之间可以是通过一个固定板连接，而固定板连接在测试车辆的内部顶棚或者用于安装行车记录的位置附近，从而，实现对着车辆的挡风玻璃进行拍摄。

在车玻璃落有雨滴的状态下，通过两个工业相机对着车玻璃进行同帧同步采集图像对，以获得包括多个图像对的图像对数据集，而每个图像对包括两个工业相机在同一时刻对着落有雨滴的车玻璃进行拍摄的两幅图像，也即包括第一雨滴图像和第二雨滴图像。应当理解的是，为了训练数据的多样性，需要在多种不同的雨滴数量下，通过两个工业相机对着车玻璃进行同帧同步采集图像对。

在一些实施方式中，为了使两个工业相机对着车玻璃进行同帧同步采集图像，可以控制两个工业相机的帧率相同且帧率对齐。因为帧率相同且帧率对齐，就可以使两个工业相机获取数据缓存区的时间一致，进而可以使两个工业相机拍摄的同一时刻的车玻璃上的雨滴图像。在具体实施过程中，可以使用相同的时间戳记录每个雨滴图像的拍摄时间，确保两个工业相机的帧率对齐。也可以使用外部触发同步提供更精确的同步。也可以使用自适应同步算法自动调整帧率，使两个工业相机的帧率对齐。

在图像对的采集过程中，调节两个工业相机的景深范围，以使两个工业相机的景深范围不同：其中一个工业相机的景深范围在车玻璃区域，另一个工业相机模拟行车记录仪的景深范围。在一些实施方式中，两个工业相机的镜头规格不同，镜头规格不同主要在于两个工业相机的光圈不同但其他参数相同。应当理解的是，两个工业相机的镜头可以采用变焦或者定焦镜头均可，但要保持两个工业相机的镜头的焦距一致。在图像对的采集过程中，通过调节两个工业相机的光圈控制两个工业相机的景深范围，以使一个工业相机的景深范围在车玻璃区域，从而保证车玻璃区域的成像是清晰的，而车外的物体成像是模糊的。以使另一个工业相机则是模拟行车记录仪，车玻璃上的成像是模糊或者半模糊的，而车玻璃上的雨滴纹理不清晰。

在图像对的采集过程中，通过预先标定的真实空间和图像平面之间的映射关系，控制两个工业相机的视野相同，以使同一图像对中第一雨滴图像与第二雨滴图像是对应真实空间的同一车玻璃区域。在一些实施方式中，可以但不限于通过映射关系对两个工业相机的原始成像进行裁剪，形成对应真实空间的同一车玻璃区域的图像对。

S102：基于图像对数据集生成包括多个训练对的训练对数据集，训练对包括第一雨滴图像以及基于第二雨滴图像生成的掩码图像。

在一些实施方式中，可以从图像对数据集获取目标图像对；对获取的目标图像对中第二雨滴图像进行掩码获取，生成目标图像对中第二雨滴图像的掩码图像；基于目标图像对中第一雨滴图像和第二雨滴图像的掩码图像，生成训练对数据集中一个训练对。

图像对数据集包括M个图像对，M为大于1的整数。在一些实施方式中，可以将图像对数据集中M个图像对一一作为目标图像对，生成目标图像对中第二雨滴图像的掩码图像，而每个图像对中的第一雨滴图像不需要处理。由此，可以根据M个图像对一一对应生成M个训练对，得到包括M个训练对的训练对数据集。在另一些实施方式中，可以先从图像对数据集中筛选出符合预设图片要求的N个图像对，将筛选出的N个图像对一一作为目标图像对，对其第二雨滴图像进行掩码获取，得到包括N个训练的训练对数据集。

在一些实施方式中，对目标图像对中第二雨滴图像进行掩码获取的过程包括依次执行的图像预处理步骤、雨滴区域提取步骤、边缘提取步骤和膨胀处理步骤。

图像预处理步骤：获取目标图像对中第二雨滴图像的灰度图像和模糊图像，以及灰度图像和模糊图像之间的差值矩阵。

可以理解的是，通过处理目标图像对中第二雨滴图像，生成该第二雨滴图像的灰度图像；对灰度图像进行平滑处理，得到目标图像对中第二雨滴图像的模糊图像；将灰度图像与模糊图像进行做差，得到差值矩阵。

在一些实施方式中，为了避免背景干扰，可以是在过滤第二雨滴图像的无效图像区域之后生成灰度图像。比如，在夜晚可能会出现灯光产生干扰。在具体实施过程，可以根据颜色信息过滤掉第二雨滴图像的无效图像区域，默认这些区域不存在雨滴。可以理解的是，过滤掉第二雨滴图像的过滤无效图像区域的具体操作可以是：设置HSV颜色空间的每个颜色分量的过滤范围，将第二雨滴图像转换到HSV（Hue,Saturation,Value）颜色空间的三通道图片，基于HSV颜色空间的每个颜色分量的过滤范围确定并过滤掉三通道图片的无效图像区域。示例性的：h分量的过滤范围为[0，180]，s分量的过滤范围为[75，255]，v分量的过滤范围为[50，255]。将颜色分量在对应过滤范围内的作为无效图像区域进行过滤。

由于需要获取的是第二雨滴图像中雨滴区域的掩码图像，后续的边缘检测过程不需要使用到三通道的颜色信息。因此，需要将过滤掉无效图像区域之后的三通道图片转换为灰度图像，如图2所示。转换为灰度图像可以但不限于采用平均值法、加权法或者最大值法。

在一些实施方式中，可以通过高斯滤波对灰度图像进行平滑处理，得到的滤波后图像就是模糊图像。高斯滤波核为大尺寸核，比如可以采用经验值31×31。当然，可以根据实际进行调节高斯滤波核的大小。采用大尺寸核的目的是为了保证将图像模糊化处理。因为灰度图像上雨滴区域的纹理特征呈现局部光亮和局部暗黑的特性。通过平滑处理的模糊化，可以降低了这种对比的差异。

雨滴区域提取步骤：基于第二雨滴图像的灰度图像、模糊图像以及差值矩阵，生成目标图像对中第二雨滴图像的纹理特征图，纹理特征图呈现有雨滴区域的明暗纹理特征。

可以理解的是，纹理特征图包括两幅：一幅是雨滴亮部纹理特征图，如图3；另一幅是雨滴暗部纹理特征图，如图4所示。

可以理解的是，将差值矩阵中差值大于预设正阈值的像素点以灰度图像中对应的像素点表示，以及将差值矩阵中差值不大于预设正阈值的像素点以模糊图像中对应的像素点表示，由此可以生成雨滴亮部纹理特征图。

可以理解的是，将差值矩阵中差值小于预设负阈值的像素点以灰度图像中对应的像素点表示，以及将差值矩阵中不小于预设负阈值的像素点以模糊图像中对应的像素点表示，由此可以生成雨滴暗部纹理特征图。

预设正阈值和预设负阈值可以采用经验值，比如预设正阈值为10，预设负阈值为-10。

边缘提取步骤：对纹理特征图进行边缘检测，生成目标图像对中第二雨滴图像的雨滴边缘检测结果。

纹理特征图可以包括雨滴亮部纹理特征图和雨滴暗部纹理特征图，基于对雨滴亮部纹理特征图和雨滴暗部纹理特征图的边缘检测，生成目标图像对中第二雨滴图像的雨滴边缘检测结果。

在一些实施方式中，可以采用单一地滤波算子对雨滴亮部纹理特征图和雨滴暗部纹理特征图进行边缘检测，对应得到两幅边缘图像，对这两幅边缘图像进行图像叠加，得到边缘雨滴检测结果。比如，可以采用canny滤波算子分别对雨滴亮部纹理特征图和雨滴暗部纹理特征图进行边缘检测。canny滤波算子在内部采用了高斯平滑处理了噪声，并采用了非极大值抑制以及迟滞阈值对边缘进行筛选，在实际的操作中基本可以将雨滴边缘检测出来。

由于采用单一的滤波不能很好的进行雨滴边缘的检测。因此，在另一些实施方式中，对雨滴亮部纹理特征图和雨滴暗部纹理特征图分别采用第一滤波算子进行边缘检测，获得两幅第一边缘图像；对雨滴亮部纹理特征图和雨滴暗部纹理特征图分别采用第二滤波算子分别进行边缘检测，获得两幅第二边缘图像，第二滤波算子与第一滤波算子不同；将两幅第一边缘图像和两幅第二边缘图像进行图像叠加，得到雨滴边缘检测结果。

可以理解的是，第一滤波算子和第二滤波算子可以对应为canny滤波算子和sobel滤波算子。sobel滤波算子仅通过简单的梯度计算，在实际的操作中很容易出现将背景的边缘提取出来，而canny滤波算子在内部采用了高斯平滑处理了噪声，并采用了非极大值抑制以及迟滞阈值对边缘进行筛选，在实际的操作中基本可以将雨滴边缘描绘出来。因此，结合了canny滤波算子和sobel滤波算子能够更好地进行雨滴边缘的检测。先用sobel滤波算子分别对雨滴亮部纹理特征图和雨滴暗部纹理特征图进行边缘检测，sobel滤波算子沿着xy两个方向同时求梯度，得到两幅第一边缘图像，对应记为u_sobel_img、n_sobel_img，然后，采用canny滤波算子对分别对雨滴亮部纹理特征图和雨滴暗部纹理特征图进行边缘检测，得到两幅第二边缘图像，对应记为u_canny_img、n_canny_img，将得到的四幅边缘图像进行图像叠加，得到雨滴边缘检测结果edge_img：

edge_img=u_sobel_img+n_sobel_img+u_canny_img+n_canny_img

在得到雨滴边缘检测结果之后，基于雨滴边缘检测结果生成目标图像对中第二雨滴图像的掩码图像。在一些实施方式中，可以采用膨胀处理步骤实现：利用形态学算法对雨滴边缘检测结果进行膨胀，得到目标图像对中第二雨滴图像的掩码图像，如图5所示。为了保证雨滴中的区域能够尽量的联通，设置形态学算法的核尺寸尽可能的大，可以采用经验值10×10。

需要说明的是，步骤S102从第二雨滴图像进行掩码获取的过程是完全自动化的，训练对数据集可以无需人工干预不断补充。

S103：基于训练对数据集对语义分割模型进行训练，得到用于检测车玻璃上雨滴的雨滴检测模型。

在步骤S103中，需要将训练对数据集分为训练集、验证集和测试集，提供给语义分割模型进行训练。而语义分割模型的结构包括但不仅限于为UNet语义分割模型、HRNet语义分割模型或者SegNext语义分割模型。

在一些实施方式中，本说明书实施例提供的雨滴检测模型训练方法可以应用于一种模型训练系统。如图6所示，该模型训练系统可以包括：图像采集装置和计算机设备，其中，计算机设备包括图像处理系统和训练执行系统，图像采集装置的结构如前文所述，图像采集装置用于通过其双工业相机采集图像对通过数据传输并提供至像处理装置，图像处理系统对图像对的第二雨滴图像进行掩码获取，生成第二雨滴图像的掩码图像，并将第一雨滴图像和第二雨滴图像的掩码图像构成的训练对发送至训练执行系统，由训练执行系统利用该训练对进行语义分割模型的训练。反复执行上述操作，形成了数据采集，处理和模型训练的闭环执行，实现了语义分割模型的自动迭代优化，使得整个流程无需人工进行干预。

将训练得到的雨滴检测模型部署到端侧平台，也就是车机端。在车机端检测车玻璃上的雨滴，基于雨滴检测结果控制雨刷或者和其他设备联用给智能座舱赋能。

基于同一发明构思，本说明书实施例提供了一种基于雨滴检测的车辆控制方法。如图7所示，基于雨滴检测的车辆控制方法包括S701~ S703。

S701：获取行车记录仪的拍摄图像，拍摄图像为行车记录仪隔着挡风玻璃向车外拍摄的图像。

S702：将拍摄图像输入至雨滴检测模型进行检测，得到车玻璃的雨滴检测结果。

S703：根据雨滴检测结果控制车辆的雨刷，或者联合控制车辆的雨刷和其他车载设备。

其中，雨滴检测模型是基于第一方面任一实施方式所述的雨滴检测模型训练方法训练得到。对雨刷的控制包括自动调整雨刷范围、频率和速度。从而可以更加灵活地控制雨刷的运转，做出更加智能化的雨刷控制决策，且可以避免不必要的使用雨刷。通过雨刷与其他车载设备联用，给智能座舱赋能。比如，联合控制导航音量、多媒体音量等等。

基于同一发明构思，本说明书实施例提供了一种雨滴检测模型训练装置。如图8所示，该雨滴检测模型训练装置包括：数据获取单元801，用于获取包括多个图像对的图像对数据集，所述图像对包括同一车玻璃区域且同一时刻的第一雨滴图像和第二雨滴图像，所述第一雨滴图像是模拟行车记录仪拍摄的图像，所述第二雨滴图像的景深范围在车玻璃区域；训练数据生成单元802，用于基于所述图像对数据集生成包括多个训练对的训练对数据集，所述训练对包括所述第一雨滴图像以及基于所述第二雨滴图像生成的掩码图像；训练执行单元803，用于基于所述训练对数据集对语义分割模型进行训练，得到用于检测车玻璃上雨滴的雨滴检测模型。

在一些实施方式中，数据获取单元801包括同步子单元，用于在车玻璃落有雨滴的状态下，通过两个工业相机对着所述车玻璃进行同帧同步采集多个图像对，获得所述图像对数据集。

在一些实施方式中，数据获取单元801还包括：景深控制子单元，用于在所述图像对的采集过程中，调节所述两个工业相机的景深范围，以使其中一个工业相机的景深范围在所述车玻璃所在区域，另一个工业相机模拟行车记录仪的景深范围；视野控制子单元，用于在所述图像对的采集过程中，基于预先标定的真实空间和图像平面之间的映射关系，控制所述两个工业相机的视野相同。

在一些实施方式中，训练数据生成单元802包括：图像获取子单元，用于从所述图像对数据集获取目标图像对；掩码获取子单元，用于对所述目标图像对中第二雨滴图像进行掩码获取，生成所述目标图像对中第二雨滴图像的掩码图像； 训练对生成子单元，用于基于所述目标图像对中第二雨滴图像的掩码图像和第一雨滴图像，生成所述训练对数据集中一个训练对。

在一些实施方式中，掩码获取子单元具体用于：获取所述目标图像对中第二雨滴图像的灰度图像和模糊图像，以及所述灰度图像与所述模糊图像之间的差值矩阵；基于所述灰度图像、所述模糊图像以及所述差值矩阵，生成所述目标图像对中第二雨滴图像的纹理特征图，所述纹理特征图呈现有雨滴区域的明暗纹理特征；对所述纹理特征图进行边缘检测，生成所述目标图像对中第二雨滴图像的雨滴边缘检测结果；基于所述雨滴边缘检测结果，生成所述目标图像对中第二雨滴图像的掩码图像。

在一些实施方式中，掩码获取子单元具体用于：生成所述目标图像对中第二雨滴图像的灰度图像；对所述灰度图像进行平滑处理，得到所述模糊图像；将所述灰度图像与所述模糊图像进行做差，得到所述差值矩阵。

在一些实施方式中，掩码获取子单元具体用于：通过将所述差值矩阵中差值大于预设正阈值的像素点以所述灰度图像中对应的像素点表示，以及将所述差值矩阵中差值不大于所述预设正阈值的像素点以所述模糊图像中对应的像素点表示，生成雨滴亮部纹理特征图；通过将所述差值矩阵中差值小于预设负阈值的像素点以所述灰度图像中对应的像素点表示，以及将所述差值矩阵中不小于所述预设负阈值的像素点以所述模糊图像中对应的像素点表示，生成雨滴暗部纹理特征图。

在一些实施方式中，掩码获取子单元具体用于：所述对所述纹理特征图进行边缘检测，生成所述目标图像对中第二雨滴图像的雨滴边缘检测结果，包括：对所述雨滴亮部纹理特征图和所述雨滴暗部纹理特征图分别采用第一滤波算子进行边缘检测，对应获得两幅第一边缘图像；对所述雨滴亮部纹理特征图和所述雨滴暗部纹理特征图分别采用第二滤波算子进行边缘检测，对应获得两幅第二边缘图像，所述第二滤波算子与所述第一滤波算子不同；将所述两幅第一边缘图像和所述两幅第二边缘图像进行图像叠加，得到所述雨滴边缘检测结果。

基于同一发明构思，本说明书实施例提供了一种基于雨滴检测的车辆控制装置。如图9所示，该基于雨滴检测的车辆控制装置包括：图像获取单元901，用于获取行车记录仪的拍摄图像，所述拍摄图像为所述行车记录仪隔着挡风玻璃向车外拍摄的图像；雨滴检测单元902，用于将所述拍摄图像输入至雨滴检测模型进行检测，得到车玻璃的雨滴检测结果，所述雨滴检测模型是基于前述雨滴检测模型训练方法训练得到；控制单元903，用于根据所述雨滴检测结果控制车辆的雨刷，或者联合控制车辆的雨刷和其他车载设备。

基于同一发明构思，本说明书实施例还提供了一种电子设备。如图10所示，该电子设备包括存储器1004、处理器1002及存储在存储器1004上并可在处理器1002上运行的计算机程序，处理器1002执行所述计算机程序时实现前述雨滴检测模型训练方法的任一实施方式，或者前述基于雨滴检测的车辆控制方法的任一实施方式。

其中，在图10中，总线架构（用总线1000来代表），总线1000可以包括任意数量的互联的总线和桥，总线1000将包括由处理器1002代表的一个或多个处理器和存储器1004代表的存储器的各种电路衔接在一起。总线1000还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路衔接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口1005在总线1000和接收器1001和发送器1003之间提供接口。接收器1001和发送器1003可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器1002负责管理总线1000和通常的处理，而存储器1004可以被用于存储处理器1002在执行操作时所使用的数据。

基于同一发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述雨滴检测模型训练方法的任一实施方式，或者前述基于雨滴检测的车辆控制方法的任一实施方式。

本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (13)

1.一种雨滴检测模型训练方法，其特征在于，包括：

获取包括多个图像对的图像对数据集，所述图像对包括同一车玻璃区域且同一时刻的第一雨滴图像和第二雨滴图像，所述第一雨滴图像是模拟行车记录仪拍摄的图像，所述第二雨滴图像的景深范围在车玻璃区域；

基于所述图像对数据集生成包括多个训练对的训练对数据集，所述训练对包括所述第一雨滴图像以及基于所述第二雨滴图像生成的掩码图像；

基于所述训练对数据集对语义分割模型进行训练，得到用于检测车玻璃上雨滴的雨滴检测模型。

2.如权利要求1所述的方法，其特征在于，所述获取包括多个图像对的图像对数据集，包括：

在车玻璃落有雨滴的状态下，通过两个工业相机对着所述车玻璃进行同帧同步采集多个图像对，获得所述图像对数据集。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

在所述图像对的采集过程中，调节所述两个工业相机的景深范围，以使其中一个工业相机的景深范围在所述车玻璃所在区域，另一个工业相机模拟行车记录仪的景深范围；

在所述图像对的采集过程中，基于预先标定的真实空间和图像平面之间的映射关系，控制所述两个工业相机的视野相同。

4.如权利要求1所述的方法，其特征在于，所述基于所述图像对数据集生成包括多个训练对的训练对数据集，包括：

从所述图像对数据集获取目标图像对；

对所述目标图像对中第二雨滴图像进行掩码获取，生成所述目标图像对中第二雨滴图像的掩码图像；

基于所述目标图像对中第二雨滴图像的掩码图像和第一雨滴图像，生成所述训练对数据集中一个训练对。

5.如权利要求4所述的方法，其特征在于，所述对所述目标图像对中第二雨滴图像进行掩码获取，生成所述目标图像对中第二雨滴图像的掩码图像，包括：

获取所述目标图像对中第二雨滴图像的灰度图像和模糊图像，以及所述灰度图像与所述模糊图像之间的差值矩阵；

基于所述灰度图像、所述模糊图像以及所述差值矩阵，生成所述目标图像对中第二雨滴图像的纹理特征图，所述纹理特征图呈现有雨滴区域的明暗纹理特征；

对所述纹理特征图进行边缘检测，生成所述目标图像对中第二雨滴图像的雨滴边缘检测结果；

基于所述雨滴边缘检测结果，生成所述目标图像对中第二雨滴图像的掩码图像。

6.如权利要求5所述的方法，其特征在于，所述获取所述目标图像对中第二雨滴图像的灰度图像和模糊图像，以及所述灰度图像与所述模糊图像之间的差值矩阵，包括：

生成所述目标图像对中第二雨滴图像的灰度图像；

对所述灰度图像进行平滑处理，得到所述模糊图像；

将所述灰度图像与所述模糊图像进行做差，得到所述差值矩阵。

7.如权利要求5所述的方法，其特征在于，所述基于所述灰度图像、所述模糊图像以及所述差值矩阵，生成所述目标图像对中第二雨滴图像的纹理特征图，包括：

通过将所述差值矩阵中差值大于预设正阈值的像素点以所述灰度图像中对应的像素点表示，以及将所述差值矩阵中差值不大于所述预设正阈值的像素点以所述模糊图像中对应的像素点表示，生成雨滴亮部纹理特征图；

通过将所述差值矩阵中差值小于预设负阈值的像素点以所述灰度图像中对应的像素点表示，以及将所述差值矩阵中不小于所述预设负阈值的像素点以所述模糊图像中对应的像素点表示，生成雨滴暗部纹理特征图。

8.如权利要求7所述的方法，其特征在于，所述对所述纹理特征图进行边缘检测，生成所述目标图像对中第二雨滴图像的雨滴边缘检测结果，包括：

对所述雨滴亮部纹理特征图和所述雨滴暗部纹理特征图分别采用第一滤波算子进行边缘检测，对应获得两幅第一边缘图像；

对所述雨滴亮部纹理特征图和所述雨滴暗部纹理特征图分别采用第二滤波算子进行边缘检测，对应获得两幅第二边缘图像，所述第二滤波算子与所述第一滤波算子不同；

将所述两幅第一边缘图像和所述两幅第二边缘图像进行图像叠加，得到所述雨滴边缘检测结果。

9.一种基于雨滴检测的车辆控制方法，其特征在于，包括：

获取行车记录仪的拍摄图像，所述拍摄图像为所述行车记录仪隔着挡风玻璃向车外拍摄的图像；

将所述拍摄图像输入至雨滴检测模型进行检测，得到车玻璃的雨滴检测结果，所述雨滴检测模型是基于权利要求1-8中任一项所述的雨滴检测模型训练方法训练得到；

根据所述雨滴检测结果控制车辆的雨刷，或者联合控制车辆的雨刷和其他车载设备。

10.一种雨滴检测模型训练装置，其特征在于，包括：

数据获取单元，用于获取包括多个图像对的图像对数据集，所述图像对包括同一车玻璃区域且同一时刻的第一雨滴图像和第二雨滴图像，所述第一雨滴图像是模拟行车记录仪拍摄的图像，所述第二雨滴图像的景深范围在车玻璃区域；

训练数据生成单元，用于基于所述图像对数据集生成包括多个训练对的训练对数据集，所述训练对包括所述第一雨滴图像以及基于所述第二雨滴图像生成的掩码图像；

训练执行单元，用于基于所述训练对数据集对语义分割模型进行训练，得到用于检测车玻璃上雨滴的雨滴检测模型。

11.一种基于雨滴检测的车辆控制装置，其特征在于，包括：

图像获取单元，用于获取行车记录仪的拍摄图像，所述拍摄图像为所述行车记录仪隔着挡风玻璃向车外拍摄的图像；

雨滴检测单元，用于将所述拍摄图像输入至雨滴检测模型进行检测，得到车玻璃的雨滴检测结果，所述雨滴检测模型是基于权利要求1-8中任一项所述的雨滴检测模型训练方法训练得到；

控制单元，用于根据所述雨滴检测结果控制车辆的雨刷，或者联合控制车辆的雨刷和其他车载设备。

12.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述的雨滴检测模型训练方法，或者实现权利要求9所述的基于雨滴检测的车辆控制方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述的雨滴检测模型训练方法，或者实现权利要求9所述的基于雨滴检测的车辆控制方法。