CN114296152A

CN114296152A - 一种雨量确定方法、装置、设备以及存储介质

Info

Publication number: CN114296152A
Application number: CN202111541151.4A
Authority: CN
Inventors: 丁华杰; 王延帅
Original assignee: China Automotive Innovation Co Ltd
Current assignee: China Automotive Innovation Co Ltd
Priority date: 2021-12-16
Filing date: 2021-12-16
Publication date: 2022-04-08
Anticipated expiration: 2041-12-16
Also published as: CN114296152B

Abstract

本申请公开了一种雨量确定方法、装置、设备及存储介质，该方法包括：获取图片集，图片集中包括第一预设帧数内的图片，将图片集输入已训练好的天气确定模型，确定出图片集中每帧图片对应的天气信息，若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息，第一类图片为对应的天气信息为雨天的图片，若图片集中每帧图片均为第一类图片，基于每帧图片对应的降雨量信息确定当前雨量信息，如此，可以准确确定雨量，避免非雨天的天气下对雨量的误判。

Description

一种雨量确定方法、装置、设备以及存储介质

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种雨量确定方法、装置、设备及存储介质。

背景技术

汽车雨刷器是汽车中必不可少的部件，用于清理车前玻璃上的雨水和污物，防止雨水和污物影响视线，如何根据天气对汽车雨刷器的自动调节是自动驾驶中需要解决的重要问题。现有技术中，通常使用传感器监控车前玻璃的底部水量、水位高度或玻璃面雨滴等来判断降雨量，从而根据降雨量实时控制雨刷器频率。然而根据车前玻璃的底部水量或水位高度确定降雨量的方法，其准确度会收到车前玻璃处的水排出速率额的影响。根据玻璃面雨滴确定降雨量的方法，在晴天下会受到无关水滴的干扰从而造成降雨量误判。并且在汽车上加装传感器会带来额外的开销，成本较高。

发明内容

本申请实施例提供了一种雨量确定方法、装置、设备及存储介质，可以准确确定雨量，避免非雨天的天气下对雨量的误判。

一方面，本申请实施例提供了一种雨量确定方法，该方法包括：

获取图片集；图片集中包括第一预设帧数内的图片；

将图片集输入已训练好的天气确定模型，确定出图片集中每帧图片对应的天气信息；

若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息；第一类图片为对应的天气信息为雨天的图片；

若图片集中每帧图片均为第一类图片，基于每帧图片对应的降雨量信息确定当前雨量信息。

进一步的，该方法还包括：

若图片集中存在第二类图片，将每个第二类图片对应的降雨量信息确定为零；第二类图片为对应的天气信息不是雨天的图片。

进一步的，该方法还包括：

若图片集中第一类图片的数量大于或等于第二预设帧数，基于每个第一类图片和每个第二类图片对应的降雨量信息确定当前雨量信息；

第二预设帧数小于或等于第一预设帧数。

进一步的，基于每帧图片对应的降雨量信息确定当前雨量信息，包括：

若图片集中第三预设帧数的图片对应的降雨量信息大于或等于第一预设值，确定当前雨量信息为大雨；第三预设帧数小于或等于第一预设帧数；

若图片集对应的降雨量信息的平均值小于或等于第二预设值，或图片集对应的降雨量信息的中位数小于第三预设值，确定当前雨量信息为小雨；

否则，确定当前雨量信息为中雨。

进一步的，若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息，包括：

若图片集中存在第一类图片，确定每个第一类图片对应的特征平面；

根据每个第一类图片对应的特征平面确定每个第一类图片对应的雨滴像素数；

根据每个第一类图片对应的特征平面确定每个第一类图片对应的置信度信息；

根据每个第一类图片对应的雨滴像素数和每个第一类图片对应的置信度信息确定每个第一类图片对应的降雨量信息。

进一步的，根据每个第一类图片对应的特征平面确定每个第一类图片对应的雨滴像素数，包括：

将每个第一类图片对应的特征平面输入已训练好的雨滴分割模型，确定出每个第一类图片对应的雨滴区域；

根据每个第一类图片对应的雨滴区域确定每个第一类图片对应的雨滴像素数。

进一步的，根据每个第一类图片对应的特征平面确定每个第一类图片对应的置信度信息，包括：

将每个第一类图片对应的特征平面输入已训练好的透明度分类模型，确定出每个第一类图片对应的图片对应的分类信息和分类信息对应的置信度信息；

分类信息包括第一透明度、第二透明度和第三透明度；

置信度信息包括第一置信度信息、第二置信度信息和第三置信度信息；第一置信度信息为每个第一类图片位于第一透明度对应的置信度；第二置信度为每个第一类图片位于第二透明度对应的置信度；第三置信度为每个第一类图片位于第三透明度对应的置信度。

另一方面，本申请实施例提供了一种雨量确定装置，该装置包括：

图片集获取模块，用于获取图片集；图片集中包括第一预设帧数内的图片；

天气确定模块，用于将图片集输入已训练好的天气确定模型，确定出图片集中每帧图片对应的天气信息；

降雨量信息确定模块，用于若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息；第一类图片为对应的天气信息为雨天的图片；

当前雨量信息确定模块，用于若图片集中每帧图片均为第一类图片，基于每帧图片对应的降雨量信息确定当前雨量信息。

进一步的，该装置还包括：

降雨量信息确定模块，还用于若图片集中存在第二类图片，将每个第二类图片对应的降雨量信息确定为零；第二类图片为对应的天气信息不是雨天的图片。

进一步的，该装置还包括：

当前雨量信息确定模块，还用于若图片集中第一类图片的数量大于或等于第二预设帧数，基于每个第一类图片和每个第二类图片对应的降雨量信息确定当前雨量信息；

第二预设帧数小于或等于第一预设帧数。

进一步的，该装置还包括：

当前雨量信息确定模块，还用于若图片集中第三预设帧数的图片对应的降雨量信息大于或等于第一预设值，确定当前雨量信息为大雨；第三预设帧数小于或等于第一预设帧数；

否则，确定当前雨量信息为中雨。

进一步的，该装置还包括：

降雨量信息确定模块，还用于若图片集中存在第一类图片，确定每个第一类图片对应的特征平面；

进一步的，该装置还包括：

降雨量信息确定模块，还用于将每个第一类图片对应的特征平面输入已训练好的雨滴分割模型，确定出每个第一类图片对应的雨滴区域；

进一步的，该装置还包括：

降雨量信息确定模块，还用于将每个第一类图片对应的特征平面输入已训练好的透明度分类模型，确定出每个第一类图片对应的图片对应的分类信息和分类信息对应的置信度信息；

分类信息包括第一透明度、第二透明度和第三透明度；

另一方面，本申请实施例提供了一种电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行如上所述的雨量确定方法。

另一方面，本申请实施例提供了一种计算机存储介质，计算机存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上所述的雨量确定方法。

本申请实施例提供的雨量确定方法、装置、设备及存储介质，具有如下技术效果：

获取图片集，图片集中包括第一预设帧数内的图片，将图片集输入已训练好的天气确定模型，确定出图片集中每帧图片对应的天气信息，若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息，第一类图片为对应的天气信息为雨天的图片，若图片集中每帧图片均为第一类图片，基于每帧图片对应的降雨量信息确定当前雨量信息，如此，可以准确确定雨量，避免非雨天的天气下对雨量的误判。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种雨量确定方法的流程示意图；

图3是本申请实施例提供的一种雨量确定方法的流程示意图；

图4是本申请实施例提供的一种雨量确定方法的流程示意图；

图5是本申请实施例提供的一种雨量确定方法的流程示意图；

图6是本申请实施例提供的一种雨量确定方法的雨滴分割模型和透明度分类模型的示意图；

图7是本申请实施例提供的一种雨量确定装置的结构示意图；

图8是本申请实施例提供的一种雨量确定方法的服务器的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，包括摄像头101、服务器102和客户端103，其中摄像头101用于拍摄车前玻璃的照片，服务器102接收到摄像头101拍摄的车前玻璃的照片并对其进行处理，获得当前雨量信息，客户端103接收到服务器102获得的当前雨量信息并根据当前雨量信息执行对应的操作。

具体的，服务器102获取摄像头101发送的图片集，将该图片集输入已训练好的天气确定模型，确定出图片集中每帧图片对应的天气信息。若图片集中存在第一类图片，服务器根据每个第一类图片确定该每个第一类图片对应的降雨量信息，其中，第一类图片为对应的天气信息为雨天的图片。若图片集中每帧图片均为第一类图片，服务器基于每帧图片对应的降雨量信息确定当前雨量信息。

本申请实施例中，摄像头101可以是常规的单目前视摄像头，算法简单，系统延迟低；也可以是双目或多目摄像头，可以提升结果的可靠性。

本申请实施例中，服务器102还可以是和服务器有同样的功能的其他计算机终端，或者类似的运算设备。进一步的，该服务器102可以替换为一个服务器系统、运算平台或者包含多台服务器的服务器集群。

本申请实施例中，客户端103可以是雨刷控制模块。客户端103接收服务器102发送的当前雨量信息，根据当前雨量信息确定并调整雨刷的工作状态。服务器102也可以根据当前雨量信息确定对应的雨刷的工作状态，并生成雨刷状态的调整指令，将该调整指令发送给客户端103，客户端103直接根据该调整指令调整雨刷的工作状态。

本申请实施例中，客户端103还可以是汽车显示屏。客户端103接收服务器102发送的当前雨量信息，并将该当前雨量信息显示在汽车显示屏上，辅助驾驶人员调整雨刷。客户端103还可以根据接收到的当前雨量信息确定对应的雨刷的工作状态，并将该当前雨量信息和对应的雨刷的工作状态显示在汽车显示屏上，辅助驾驶人员调整雨刷。可选的，雨刷的工作状态也可以由服务器102根据当前雨量信息确定后发送给客户端103。

本申请实施例中，客户端103还可以是雨刷控制模块和汽车显示屏的集合。客户端103一方面将当前雨量信息和/或雨刷的工作状态显示在汽车显示屏上，告知驾驶人员当前的降雨情况，和/或当前降雨下雨刷的工作状态，另一方面直接调整雨刷的工作状态。

以下介绍本申请一种雨量确定方法的具体实施例，图2是本申请实施例提供的一种雨量确定方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：

S201：获取图片集。

本申请实施例中，图片集中包括第一预设帧数内的图片。第一预设帧数可根据实际需求进行调整。若系统对最终输出的当前雨量信息的准确度要求较高，可以将第一预设帧数调大；若系统对响应时间要求较高，可以将第一预设帧数调小。本申请实施例中，第一预设帧数为10帧。

S203：将图片集输入已训练好的天气确定模型，确定出图片集中每帧图片对应的天气信息。

本申请实施例中，天气确定模型预先通过卷积神经网络(CNN)模型训练好。可选的，该卷积神经网络模型可以是VGGNet、GoogleNet、ResNet和DenseNet等卷积神经网络模型。

本申请实施例中，天气确定模型的最后一层为softmax层，通过softmax层对输入的图片进行分类，并输出该图片对应的天气信息。

作为一种可选的实施方式，天气信息包括晴天、阴天、雨天、雪天和其他等天气情况。可选的，其他对应的天气情况可以包括雾天、沙尘等视野受限的天气情况。可选的，天气信息不局限于如上所述的天气情况，而可以包括如上所述的更多或更少的天气情况。

S205：若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息。

本申请实施例中，将图片集中的图片分为两类，即第一类图片和第二类图片。其中，第一类图片为对应的天气信息为雨天的图片，第二类图片为对应的天气信息不是雨天的图片。

本申请实施例中，在确定图片的天气信息后，仅对分类为第一类图片的图片进行下一步处理，确定其对应的降雨量信息，而对分类为第二类图片的图片不做处理，直接结束步骤，即分类为第二类图片的图片没有对应的降雨量信息。

由于摄像头每次拍摄一帧图片，相应的，系统每次接收一帧图片，因此，作为一种可选的实施方式，可以在系统接收到图片时就确定该图片的对应的天气信息和降雨量信息。作为一种可选的实施方式，也可以在系统接收到第一预设帧数的图片，即获取到图片集时再依次确定图片集中的每帧图片对应的天气信息和降雨量信息。

S207：若图片集中每帧图片均为第一类图片，基于每帧图片对应的降雨量信息确定当前雨量信息。

本申请实施例中，仅在图片集中每帧图片均为第一类图片，即图片集中每帧图片都有对应的降雨量信息的情况下，基于每帧图片对应的降雨量信息确定当前雨量信息。若图片集中存在第二类图片，即图片集中存在图片没有对应的降雨量信息，直接结束步骤，而不会确定当前雨量信息。

作为一种可选的实施方式，摄像头每次拍摄一帧图片，每获取一帧新的图片，则重新获取一次图片集，每帧图片对应存在于(第一预设帧数-1)个图片集中。此时由于图片集中除当前帧外的图片均已在之前的图片集中确定对应的天气信息以及降雨量信息，只需要对确定当前帧图片对应的天气信息。

若该图片为第一类图片，对应的天气信息为雨天，确定该图片的降雨量信息，并进一步确认此时的图片集中每帧图片对应的天气信息，若此时的图片集中每帧图片均为第一类图片，对应的天气信息均为雨天，基于每帧图片对应的降雨量确定当前雨量信息。

若该图片为第二图片，对应的天气信息不是雨天，该图片没有对应的降雨量信息，并且此时图片集中存在第二类图片，也不会进一步确定对当前雨量信息。在此种情况下，确定该图片的天气信息后直接结束步骤，并重新获取图片集，开始对下一个图片集的处理。

作为一种可选的实施方式，摄像头在拍摄第一预设帧数的图片后，获取一次图片集，每帧图片只对应存在于一个图片集中。此时图片集中的每帧图片均需要确定其对应的天气信息和降雨量信息。可选的，可以在系统接收到图片集中的图片时就确定该图片对应的天气信息和降雨量信息。可选的，若该图片是第二类图片，对应的天气信息不是雨天，重新获取图片集，从该图片后的下一帧图片开始重新对第一预设帧数计数。

可选的，也可以在系统接收到第一预设帧数的图片，即获取到图片集时再依次确定图片集中的每帧图片对应的天气信息和降雨量信息。

通过上述方法，使得仅在图片集中的每帧图片对应的天气信息均为雨天的情况下，通过多帧图片确定当前雨量信息，一方面提高了雨量识别的准确性，另一方面排除了非雨天的图片，从而避免了非雨天的天气下对雨量的误判。

作为一种可选的实施方式，图3是本申请实施例提供的一种雨量确定方法的流程示意图，如图3所示，该方法可以包括：

S201：获取图片集。

S301：若图片集中存在第二类图片，将每个第二类图片对应的降雨量信息确定为零。

S303：若图片集中第一类图片的数量大于或等于第二预设帧数，基于每个第一类图片和每个第二类图片对应的降雨量信息确定当前雨量信息。

本申请实施例中，第二预设帧数小于或等于第一预设帧数。第二预设帧数可以实际需求进行调整。若系统对最终输出的当前雨量信息的准确度要求较高，对误判要求较高，可以将第二预设帧数调大；若系统对最终输出的当前雨量信息的准确度要求较低，对误判要求较低，可以将第二预设帧数调小。

通过设置第二预设帧数，为对单帧图片对应的天气信息的误判提供容错空间。

作为一种可选的实施方式，图4是本申请实施例提供的一种雨量确定方法的流程示意图，如图4所示，基于每帧图片对应的降雨量信息确定当前雨量信息，可以包括：

S401：若图片集中第三预设帧数的图片对应的降雨量信息大于或等于第一预设值，确定当前雨量信息为大雨。

本申请实施例中，第三预设帧数小于或等于第一预设帧数。第三预设帧数和第一预设值可以根据实际需求进行调整。若对大雨的判定要求较高，可以将第三预设帧数和第一预设值调大；若对大雨的判定要求较低，可以将第三预设帧数和第一预设值调小。本申请实施例中，第三预设帧数为6帧，第一预设值为0.6。

S403：若图片集对应的降雨量信息的平均值小于或等于第二预设值，或图片集对应的降雨量信息的中位数小于第三预设值，确定当前雨量信息为小雨。

本申请实施例中，第二预设值可以根据实际需求进行调整。若对小雨的判定要求较高，可以将第二预设值调小；若对小雨的判定要求较低，可以将第二预设值调大。本申请实施例中，第二预设值为0.3。

本申请实施例中，第三预设值可以根据实际需求进行调整。若对小雨的判定要求较高，可以将第三预设值调小；若对小雨的判定要求较低，可以将第三预设值调大。本申请实施例中，第三预设值为0.5。

S405：否则，确定当前雨量信息为中雨。

本申请实施例中，当前雨量信息包括大雨、小雨和中雨，将不满足大雨和小雨的判定条件的当前雨量信息确定为中雨。

通过图片集中多帧图片的降雨量信息确定当前雨量信息，降低了单帧误检对当前雨量信息的影响，提高了当前雨量信息判定的准确性。

作为一种可选的实施方式，图5是本申请实施例提供的一种雨量确定方法的流程示意图，如图5所示，若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息，可以包括：

S501：若图片集中存在第一类图片，确定每个第一类图片对应的特征平面。

本申请实施例中，通过卷积神经网络对每个第一类图片进行特征提取，获得每个第一类图片对应的特征平面。

作为一种可选的实施方式，该卷积神经网络可以是MobileNetV3模型的主干网络的倒残差结构，先采用1x1的卷积核将输入的第一类图片进行升维，再采用3x3的卷积核对升维后的第一类图片进行深度可分离卷积，得到输入的第一类图片对应的特征平面。

MobileNetV3模型作为轻量级的注意力模型，参数量小，能够快速获得第一类图片对应的特征平面；同时其主干网络的倒残差结构，能够很好的保存和获取低维的特征，能够充分保证获得的特征平面的特征值，保证后续根据特征平面确定第一类图片对应的雨滴像素数和置信度信息的准确性。

S503：根据每个第一类图片对应的特征平面确定每个第一类图片对应的雨滴像素数。

本申请实施例中，通过雨滴分割模型确定出每个第一类图片对应的雨滴区域，再根据该雨滴区域确定每个第一类图片对应的雨滴像素数。

本申请实施例中，雨滴分割模型预先通过卷积神经网络(CNN)模型训练好。可选的，雨滴分割模型可以是DeepLabV3模型。DeepLabV3模型包括5段卷积层，其中第4段卷积层采用空洞卷积，第5段卷积层采用空间金字塔池化(ASPP)模块。DeepLabV3模型的空间金字塔池化(ASPP)模块由一个1x1的卷积层、3个3x3的空洞卷积层和一个全局平均池化层构成。第4段卷积层空洞卷积处理后的特征平面经空间金字塔池化(ASPP)模块中的各层分别处理后组合连接在一起，通过1x1的卷积融合得到第一最终特征平面，根据第一最终特征平面对每个像素进行分类，从而将输入的第一类图片分割，得到该第一类图片对应的雨滴区域。根据该雨滴区域计算雨滴区域内包含的像素，从而得到雨滴像素数。

通过采用DeepLabV3模型对每个第一类图片对应的特征平面分割，其空间金字塔池化(ASPP)模块能够得到多尺度信息，使得最终的分类分割结果更准确。

S505：根据每个第一类图片对应的特征平面确定每个第一类图片对应的置信度信息。

本申请实施例中，通过透明度分类模型确定出每个第一类图片对应的分类信息以及该分类信息对应的置信度信息。

作为一种可选的实施方式，分类信息可以包括第一透明度、第二透明度和第三透明度。相应的，置信度信息可以包括第一置信度信息、第二置信度信息和第三置信度信息，其中，第一置信度信息为每个第一类图片位于第一透明度对应的置信度，第二置信度为每个第一类图片位于第二透明度对应的置信度，第三置信度为每个第一类图片位于第三透明度对应的置信度。

作为一种可选的实施方式，第一透明度可以为透明的透明度，位于第一透明的图片上的物体清晰可见。第二透明度可以为半透明的透明度，位于第二透明度的图片上的物体轮廓明确，能够确定物体间的边界。第三透明度可以为模糊的透明度，位于第三透明度的图片上的物体模糊，无法确定物体的形状、类别等。

作为一种可选的实施方式，分类信息不局限于如上所述的透明度，而可以包括如上所述的更多或更少的透明度。

本申请实施例中，透明度分类模型预先通过卷积神经网络(CNN)模型训练好。可选的，透明度分类模型可以是在DeepLabV3模型提取的特征的基础上结合NIN模型得到的模型。

本申请实施例中，透明度分类模型采用特征平面经过DeepLabV3模型的主干网络处理后得到的两层多尺度特征，并将这两层多尺度特征融合，得到第二最终特征平面，将该第二最终特征平面输入NIN模型，得到第一类图片对应的分类信息和该分类信息对应的置信度信息。

作为一种可选的实施方式，透明度分类模型采用的两层多尺度特征包括第一特征和第二特征，其中第一特征可以取自DeepLabV3模型的主干网络的前段网络，第二特征可以取自DeepLabV3模型的主干网络的后段网络，第一特征与第二特征的分辨率，即尺度和大小不同。可选的，第一特征的大小为第二特征的两倍，通过对第一特征进行一次下采样，得到与第二特征大小一致的第一特征，将处理后的第一特征与第二特征组合连接并融合在一起，得到第二最终平面。

作为一种可选的实施方式，雨滴分割模型和透明度分类模型可以共用一个DeepLabV3模型的主干部分。具体的，图6是本申请实施例提供的一种雨量确定方法的雨滴分割模型和透明度分类模型的示意图，如图6所示，DeepLabV3模型为雨滴分割模型，最终输出第一类图片对应的雨滴区域。透明度分类模型采用DeepLabV3模型的第二段卷积层和第四段卷积层的特征，其中，第一特征为第二段卷积层的特征，第二特征为第四段卷积层的特征。第一特征的大小为第二特征的两倍，第一特征经过一次下采样后与第二特征融合，得到第二最终平面，第二特征平面输入NIN模型得到第一类图片对应的分类信息和该分类信息对应的置信度信息。

S507：根据每个第一类图片对应的雨滴像素数和每个第一类图片对应的置信度信息确定每个第一类图片对应的降雨量信息。

本申请实施例中，第一类图片对应的降雨量信息可由公式(1)表示如下：

其中，α为第一类图片对应的降雨量信息，n_rain为该第一类图片对应的雨滴像素数，n_all为该第一类图片的像素总数，λ₁为第一透明度对应的权重，s₁为第一透明对应的置信度，λ₂为第二透明度对应的权重，s₂为第二透明对应的置信度，λ₃为第三透明度对应的权重，s₃为第三透明对应的置信度。

其中，λ₁、λ₂和λ₃为预先通过卷积神经网络(CNN)训练后得到的常数。

通过上述方法确定降雨量信息，不仅考虑到雨滴的占比，还考虑到了整体车前玻璃的透明程度，从两方面确定降雨量信息，使得降雨量信息更可靠。同时采用卷积神经网络(CNN)模型确定天气信息、雨滴像素数和置信度信息，使得天气信息模型、雨滴分割模型和透明度分类模型可以迁移至前视多任务卷积神经网络(CNN)模型中，作为前视卷积神经网络(CNN)模型的分支输出，节省算力。

本申请实施例还提供了一种雨量确定装置，图7是本申请实施例提供的一种物体识别装置的结构示意图，如图7所示，该装置包括：

图片集获取模块701，用于获取图片集。图片集中包括第一预设帧数内的图片。

天气确定模块702，用于将图片集输入已训练好的天气确定模型，确定出图片集中每帧图片对应的天气信息。

降雨量信息确定模块703，用于若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息。第一类图片为对应的天气信息为雨天的图片。

当前雨量信息确定模块704，用于若图片集中每帧图片均为第一类图片，基于每帧图片对应的降雨量信息确定当前雨量信息。

作为一种可选的实施方式，该装置还包括：

降雨量信息确定模块703，还用于若图片集中存在第二类图片，将每个第二类图片对应的降雨量信息确定为零。第二类图片为对应的天气信息不是雨天的图片。

作为一种可选的实施方式，该装置还包括：

当前雨量信息确定模块704，还用于若图片集中第一类图片的数量大于或等于第二预设帧数，基于每个第一类图片和每个第二类图片对应的降雨量信息确定当前雨量信息。第二预设帧数小于或等于第一预设帧数。

作为一种可选的实施方式，该装置还包括：

当前雨量信息确定模块704，还用于若图片集中第三预设帧数的图片对应的降雨量信息大于或等于第一预设值，确定当前雨量信息为大雨。第三预设帧数小于或等于第一预设帧数。若图片集对应的降雨量信息的平均值小于或等于第二预设值，或图片集对应的降雨量信息的中位数小于第三预设值，确定当前雨量信息为小雨。否则，确定当前雨量信息为中雨。

作为一种可选的实施方式，该装置还包括：

降雨量信息确定模块703，还用于若图片集中存在第一类图片，确定每个第一类图片对应的特征平面；根据每个第一类图片对应的特征平面确定每个第一类图片对应的雨滴像素数；根据每个第一类图片对应的特征平面确定每个第一类图片对应的置信度信息；根据每个第一类图片对应的雨滴像素数和每个第一类图片对应的置信度信息确定每个第一类图片对应的降雨量信息。

作为一种可选的实施方式，该装置还包括：

降雨量信息确定模块703，还用于将每个第一类图片对应的特征平面输入已训练好的雨滴分割模型，确定出每个第一类图片对应的雨滴区域；根据每个第一类图片对应的雨滴区域确定每个第一类图片对应的雨滴像素数。

作为一种可选的实施方式，该装置还包括：

降雨量信息确定模块703，还用于将每个第一类图片对应的特征平面输入已训练好的透明度分类模型，确定出每个第一类图片对应的图片对应的分类信息和分类信息对应的置信度信息。分类信息包括第一透明度、第二透明度和第三透明度。置信度信息包括第一置信度信息、第二置信度信息和第三置信度信息；第一置信度信息为每个第一类图片位于第一透明度对应的置信度；第二置信度为每个第一类图片位于第二透明度对应的置信度；第三置信度为每个第一类图片位于第三透明度对应的置信度。

该装置实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图8是本申请实施例提供的一种雨量确定方法的服务器的硬件结构框图。如图8所示，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)810(处理器810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器830，一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中，存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器810可以设置为与存储介质820通信，在服务器800上执行存储介质820中的一系列指令操作。服务器800还可以包括一个或一个以上电源860，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口840，和/或，一个或一个以上操作系统821，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器800的通信供应商提供的无线网络。在一个实例中，输入输出接口840包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口840可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器900还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

本申请的实施例还提供了一种雨量确定设备，设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现雨量确定方法。

本申请的实施例还提供了一种存储介质，存储介质可设置于服务器之中以保存用于实现方法实施例中一种雨量确定方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的雨量确定方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的雨量确定方法、装置、设备及存储介质的实施例可见，本申请中获取图片集，图片集中包括第一预设帧数内的图片，将图片集输入已训练好的天气确定模型，确定出图片集中每帧图片对应的天气信息，若图片集中存在第一类图片，根据每个第一类图片确定每个第一类图片对应的降雨量信息，第一类图片为对应的天气信息为雨天的图片，若图片集中每帧图片均为第一类图片，基于每帧图片对应的降雨量信息确定当前雨量信息，如此，可以准确确定雨量，避免非雨天的天气下对雨量的误判。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种雨量确定方法，其特征在于，所述方法包括：

获取图片集；所述图片集中包括第一预设帧数内的图片；

将所述图片集输入已训练好的天气确定模型，确定出所述图片集中每帧图片对应的天气信息；

若所述图片集中存在第一类图片，根据每个第一类图片确定所述每个第一类图片对应的降雨量信息；所述第一类图片为对应的天气信息为雨天的图片；

若所述图片集中每帧图片均为所述第一类图片，基于所述每帧图片对应的降雨量信息确定当前雨量信息。

2.根据权利要求1所述的雨量确定方法，其特征在于，所述方法还包括：

若所述图片集中存在第二类图片，将每个第二类图片对应的降雨量信息确定为零；所述第二类图片为对应的天气信息不是雨天的图片。

3.根据权利要求2所述的雨量确定方法，其特征在于，所述方法还包括：

若所述图片集中所述第一类图片的数量大于或等于第二预设帧数，基于所述每个第一类图片和所述每个第二类图片对应的降雨量信息确定所述当前雨量信息；

所述第二预设帧数小于或等于第一预设帧数。

4.根据权利要求1所述的雨量确定方法，其特征在于，所述基于所述每帧图片对应的降雨量信息确定当前雨量信息，包括：

若所述图片集中第三预设帧数的图片对应的降雨量信息大于或等于第一预设值，确定所述当前雨量信息为大雨；所述第三预设帧数小于或等于第一预设帧数；

若所述图片集对应的降雨量信息的平均值小于或等于第二预设值，或所述图片集对应的降雨量信息的中位数小于第三预设值，确定所述当前雨量信息为小雨；

否则，确定所述当前雨量信息为中雨。

5.根据权利要求1所述的雨量确定方法，其特征在于，所述若所述图片集中存在第一类图片，根据每个第一类图片确定所述每个第一类图片对应的降雨量信息，包括：

若所述图片集中存在所述第一类图片，确定所述每个第一类图片对应的特征平面；

根据所述每个第一类图片对应的特征平面确定所述每个第一类图片对应的雨滴像素数；

根据所述每个第一类图片对应的特征平面确定所述每个第一类图片对应的置信度信息；

根据所述每个第一类图片对应的雨滴像素数和所述每个第一类图片对应的置信度信息确定所述每个第一类图片对应的降雨量信息。

6.根据权利要求5所述的雨量确定方法，其特征在于，所述根据所述每个第一类图片对应的特征平面确定所述每个第一类图片对应的雨滴像素数，包括：

将所述每个第一类图片对应的特征平面输入已训练好的雨滴分割模型，确定出所述每个第一类图片对应的雨滴区域；

根据所述每个第一类图片对应的雨滴区域确定所述每个第一类图片对应的雨滴像素数。

7.根据权利要求5所述雨量确定方法，其特征在于，所述根据所述每个第一类图片对应的特征平面确定所述每个第一类图片对应的置信度信息，包括：

将所述每个第一类图片对应的特征平面输入已训练好的透明度分类模型，确定出所述每个第一类图片对应的图片对应的分类信息和所述分类信息对应的所述置信度信息；

所述分类信息包括第一透明度、第二透明度和第三透明度；

所述置信度信息包括第一置信度信息、第二置信度信息和第三置信度信息；所述第一置信度信息为所述每个第一类图片位于所述第一透明度对应的置信度；所述第二置信度为所述每个第一类图片位于所述第二透明度对应的置信度；所述第三置信度为所述每个第一类图片位于所述第三透明度对应的置信度。

8.一种雨量确定装置，其特征在于，所述装置包括：

图片集获取模块，用于获取图片集；所述图片集中包括第一预设帧数内的图片；

天气确定模块，用于将所述图片集输入已训练好的天气确定模型，确定出所述图片集中每帧图片对应的天气信息；

降雨量信息确定模块，用于若所述图片集中存在第一类图片，根据每个第一类图片确定所述每个第一类图片对应的降雨量信息；所述第一类图片为对应的天气信息为雨天的图片；

当前雨量信息确定模块，用于若所述图片集中每帧图片均为所述第一类图片，基于所述每帧图片对应的降雨量信息确定当前雨量信息。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行如权利要求1-7任一所述的雨量确定方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7任一所述的雨量确定方法。