CN113378668A - 积水类别的确定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种积水类别的确定方法、装置、设备及存储介质，其中，所述方法包括：获取画面包括待分类积水的待检测图像；确定所述待检测图像中的待分类积水所属的第一类别；确定所述待检测图像对应的天气信息；基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别。

Description

积水类别的确定方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理技术领域，涉及但不限于一种积水类别的确定方法、装置、设备及存储介质。

背景技术

在城市场景中，由于自然灾害，城市道路积水问题是城市安全管理的重要部分。在相关技术中，通过对图像识别实现对城市道路场景下积水区域的分析，无法保证分析结果的准确度。

发明内容

本申请实施例提供一种积水类别的确定技术方案。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种积水类别的确定方法，所述方法包括：

获取画面包括待分类积水的待检测图像；

确定所述待检测图像中的待分类积水所属的第一类别；

确定所述待检测图像对应的天气信息；

基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别。

在一些实施例中，在所述第一类别为轻微积水的情况下，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，包括：在所述天气信息为雨天的情况下，确定在所述预设时长内的降雨量，以及，所述待检测图像中的积水图像面积与所述待检测图像的面积之间的比值；在所述降雨量大于第一预设阈值且所述比值小于预设比例，或，所述降雨量小于第二预设阈值的情况下，确定所述待分类积水在未来预设时长内的第二类别持续为所述轻微积水；其中，所述第一预设阈值大于所述第二预设阈值。如此，能够准确的预测出在未来预设时长内积水情况处持续为轻微积水。

在一些实施例中，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，还包括：在所述降雨量大于所述第一预设阈值且所述比值大于所述预设比例的情况下，确定所述待分类积水在未来预设时长内的第二类别从所述轻微积水变为内涝积水。如此，能够及时检测积水情况，及时发现积水的类别变化，便于管理人员做出响应。

在一些实施例中，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，还包括：在所述天气信息为非雨天的情况下，确定所述待分类积水在未来预设时长内的第二类别从所述轻微积水变为无积水。如此，在第一类别为轻微积水的情况下，如果天气信息为非雨天能够准确预测在未来预设时长后该区域变为无积水，能够为道路交通系统及时反馈路面积水情况，方便用户出行。

在一些实施例中，在所述第一类别为内涝积水的情况下，在以下情况之一，所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为洪涝积水，包括：所述天气信息为雨天，且所述待检测图像中的积水图像面积与所述待检测图像的面积之间的比值大于预设比例；所述天气信息为雨天，且在所述未来预设时长内的降雨量大于第一预设阈值。如此，能够准确的预测出待分类积水是否会从内涝积水变为洪涝积水。

在一些实施例中，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，包括：在所述天气信息为雨天，且在所述未来预设时长内的降雨量小于第二预设阈值的情况下，确定所述待分类积水在未来预设时长内的第二类别持续为所述内涝积水。如此，能够准确的预测出任一区域中待分类积水持续为内涝积水的时间，以便用于上层应用中。

在一些实施例中，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，还包括：在所述第一类别为内涝积水，且所述天气信息为非雨天的情况下，确定所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为轻微积水。如此，在预测到待分类积水变为轻微积水的情况下，可以生成提示信息，以提示该区域内的积水量会逐渐减少，便于用户做出行计划。

在一些实施例中，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别之后，所述方法还包括：在所述天气信息表征在所述预设时长内的降雨量大于第一预设阈值的情况下，确定对所述待分类积水进行监测的间隔时长；将所述间隔时长调整为小于预设间隔时长的更新间隔时长；基于所述更新间隔时长，对所述待检测图像的待分类积水进行监测；在监测到所述待分类积水的类别发生变化的情况下，生成并输出告警信息。如此，能够便于监测人员对内涝路段进行及时处理。

在一些实施例中，所述确定所述待分类积水当前所属的第一类别，包括：采用语义分割网络，对所述待检测图像中的待分类积水进行场景分割，得到所述待分类积水的第一类别；其中，所述语义分割网络是通过对画面中道路积水的不同类别进行标注的样本图像集，进行训练得到的。如此，通过采用鲁棒性较强的模型，对结构简单的待训练分割网络进行指导训练得到的，这样使得该语义分割网络在保持低复杂度的前提下，具有较高的性能。

本申请实施例提供一种积水类别的确定装置，所述装置包括：

第一获取模块，用于获取画面包括待分类积水的待检测图像；

第一确定模块，用于确定所述待检测图像中的待分类积水所属的第一类别；

第二确定模块，用于确定所述待检测图像对应的天气信息；

第三确定模块，用于基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别。

本申请实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现上述的积水类别的确定方法。

本申请实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现上述的积水类别的确定方法。

本申请实施例提供一种积水类别的确定方法、装置、设备及存储介质，通过首先确定待检测图像中待分类积水所呈现的第一类别；然后，确定待检测图像对应的天气信息；最后，在第一类别的基础上结合天气信息，能够准确且及时的预测出待分类积水在未来预设时长内的第二类别，以便于及时提醒积水管理人员。

附图说明

图1为本申请实施例提供的积水类别的确定方法的实现流程示意图；

图2为本申请实施例提供的积水类别的确定方法的另一实现流程示意图；

图3为本申请实施例提供的积水类别的确定方法的又一实现流程示意图；

图4为本申请实施例提供的积水类别的确定方法的应用场景示意图；

图5为本申请实施例提供的积水类别的确定方法的另一应用场景示意图；

图6为本申请实施例提供的积水类别的确定方法的另一应用场景示意图；

图7为本申请实施例积水类别的确定装置的结构组成示意图；

图8为本申请实施例计算机设备的组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)语义分割，将图片中的各类信息进行分割，例如人的轮廓标记为红色，马路标记为紫色，但是不同的人是没有办法区分的，相当的与将图片中的图片进行了大类的外部轮廓与标签的匹配。

2)残差神经网络(ResNet)，由残差模块构建的，用梯度下降算法训练一个神经网络，随着层数增加，训练误差越来越减小，这种方式能够到达网络更深层，有助于解决梯度消失和梯度爆炸的问题，让训练更深网络的同时又能保证良好的性能。

下面说明本申请实施例提供的积水类别的确定的设备的示例性应用，本申请实施例提供的设备可以实施为具有图像采集功能的笔记本电脑，平板电脑，台式计算机，相机，移动设备(例如，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为终端或服务器时示例性应用。

该方法可以应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。

本申请实施例提供一种积水类别的确定方法，如图1所示，结合如图1所示步骤进行说明：

步骤S101，获取画面包括待分类积水的待检测图像。

在一些实施例中，待分类积水可以是的道路积水，道路积水包括：一级公路积水、二级公路积水、三级公路积水或四级公路积水、城市街道积水、郊区街道积水或农村道路积水等。待检测图像为包括待分类积水的外观复杂的图像，还可以是包括待分类积水的外观简单的图像，待检测图像可以是任意采集设备采集到的图像，比如，以待分类积水的类别为轻微积水为例，在城市街区采集的画面中包括路面轻微积水的图像。

步骤S102，确定所述待检测图像中的待分类积水所属的第一类别。

在一些实施例中，待分类积水所属的第一类别为该待检测图像中所呈现的待分类积水的当前类别。第一类别，包括：内涝积水、轻微积水、晴天积水或大雨天气下的轻微积水等。即第一类别为待检测图像中实际呈现的积水的类别。

步骤S103，确定所述待检测图像对应的天气信息。

在一些实施例中，待检测图像对应的天气信息可以是在采集该待检测图像时的天气信息。比如，待检测图像是当前时刻采集，获取以当前时刻为起始点，未来一定时长内的天气信息；比如，以待检测图像的采集时刻为起始点，5个小时之内的天气信息。该天气信息可以是从网络中获取的，还可以是接收其他天气预报设备反馈的。该天气信息至少包括：降雨量。

步骤S104，基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别。

在一些实施例中，在第一类别的基础上，结合未来一定时长内的天气信息，预测在未来预设时长内积水的第二类别。比如，第一类别为轻微积水，即在当前时刻该区域是轻微积水，如果天气信息为在未来时段内有大暴雨，那么可以预测在未来预设时长内的待分类积水的类别会从轻微积水变为内涝积水。

在本申请实施例中，通过首先确定待检测图像中待分类积水所呈现的第一类别；然后，确定待检测图像对应的天气信息；最后，在第一类别的基础上结合天气信息，能够准确且及时的预测出待分类积水在未来预设时长内的第二类别，以便于及时提醒积水管理人员。

在一些实施例中，为提高对待检测图像中积水类别的识别准确度，采用已训练好的语义分割网络，确定待分类积水的第一类别，即上述步骤S102可以通过以下过程实现：采用语义分割网络，对所述待检测图像中的待分类积水进行场景分割，得到所述待分类积水的第一类别。

在一些可能的实现方式中，语义分割网络是通过对画面中道路积水类别进行标注的样本图像集，进行训练得到的。该语义分割网络是通过采用鲁棒性较强的模型，对结构简单的待训练分割网络进行指导训练得到的，这样使得该语义分割网络在保持低复杂度的前提下，具有较高的性能。

该语义分割网络通过对输入的图像进行特征提取，并对提取的特征进行语义分割，生成对图像中道路积水的不同类别进行分割的分割图。

该样本图像集中的每一样本图像，均已采用预设语义标签集合对画面中的道路积水类别进行标注。以道路积水类别为内涝积水和轻微积水为例，样本图像集为在城市场景中存在道路积水采集的图像。预设语义标签集合中的预设语义标签，是根据待检测图像中携带的待处理需求设定的。比如，待检测图像中携带的待处理需求是道路积水监测类的需求，那么在城市场景下，该道路积水监测类的需求包括：监督道路中积水位置、是否出现大面积的道路积水或是否存在内涝积水，那么实现该需求的道路积水类别为轻微积水、大面积积水或内涝积水，设定轻微积水的语义标签为1、大面积积水的语义标签为2或内涝积水的语义标签为3，那么在样本图像中将轻微积水、大面积积水或内涝积水分别标注为1、2或3。如此，通过这些预设语义标签对样本图像中的道路积水类别进行标注，得到能够作为训练集的样本图像集，以训练神经网络得到语义分割网络。

语义分割网络中包括：用于进行特征提取的残差神经网络、对提取的特征进行语义分割的深度实验室v3(Deeplab v3)网络、对语义分割结果进行上采样的上采样模块和最终结果预测模块。

在一些可能的实现方式中，将待检测图像输入语义分割网络中的残差神经网络，基于该残差神经网络对待检测图像进行特征提取，得到待检测图像的特征图，即图像特征。以待分类积水的类别为轻微积水为例，将包括该轻微积水的待检测图像输入语义分割网络的残差神经网络中，以实现对该待检测图像进行特征提取。

通过语义分割网络中的残差神经网络对待检测图像进行特征提取之后，将图像特征输入Deeplab v3网络，以实现对该图像特征中待分类积水的不同类别对应的特征进行语义分割。在一些可能的实现方式中，通过基于预设语义标签集合，在待检测图像的待分类积水占据的图像区域中，基于预设语义标签集合，确定每一待分类积水的类别相匹配的预设语义标签。对于每一待分类积水，采用相匹配的的预设语义标签对图像特征进行语义分割，得到分割结果。以预设语义标签集合包括：表示背景区域的标签0、表示轻微积水的标签1、表示内涝积水的标签2和表示准内涝积水的标签3等为例，如果待检测图像的待分类积水的类别包括：背景区域和内涝积水，那么基于背景区域和内涝积水对应的预设语义标签对待检测图像进行语义分割，得到待分类积水的第一类别。

在一些实施例中，在第一类别为轻微积水的情况下，结合天气信息，进一步分析待分类积水在未来预设时长内的第二类别，包括以下多种情况：

情况一：在第一类别为轻微积水的情况下，预测待分类积水在未来预设时长内的第二类别持续为轻微积水，可以通过图2所示的步骤实现：

步骤S201，在所述天气信息为雨天的情况下，确定在所述预设时长内的降雨量，以及，所述待检测图像中的积水图像面积与所述待检测图像的面积之间的比值。

雨天包括：大雨、中雨、小雨、暴雨或大暴雨等；基于在预设时长内的天气信息，确定在该预设时长内的降雨量。同时，通过在待检测图像中对待分类积水进行检测，确定出待分类积水在待检测图像中占据的图像面积，即积水图像面积；确定出该积水图像面积与待检测图像的面积之间的比值。

步骤S202，在所述降雨量大于第一预设阈值且所述比值小于预设比例，或，所述降雨量小于第二预设阈值的情况下，确定所述待分类积水在未来预设时长内的第二类别持续为所述轻微积水。

降雨量大于第一预设阈值，说明在该预设时长内的天气为大雨或者暴雨；在此基础上，进一步分析水图像面积与待检测图像的面积之间的比值的大小；如果该比值较小，说明待分类积水的实际积水面积比较小，即使在预设时长内降雨量较大，也不会造成内涝，所以预测该待分类积水在在未来预设时长内的第二类别持续为轻微积水。比如，设定预设时长为未来24小时，设定第一预设阈值为45毫升。

或者，在预设时长内的降雨量小于第二预设阈值，即在该预设时长内的降雨量较小；比如，设定预设时长为未来24小时，设定第二预设阈值为10毫升，如果在未来24小时之内，降雨量小于10毫升，那么确定待分类积水在未来预设时长内的第二类别持续为轻微积水。如此，在第一类别为轻微积水的情况下，通过进一步分析积水的面积和预设时长内的降雨量，能够准确的预测出在未来预设时长内积水情况处持续为轻微积水。

情况二：在第一类别为轻微积水的情况下，预测待分类积水在未来预设时长内的第二类别从轻微积水变为内涝积水，可以通过以下过程实现：

在所述降雨量大于所述第一预设阈值且所述比值大于所述预设比例的情况下，确定所述待分类积水在未来预设时长内的第二类别从所述轻微积水变为内涝积水。

在所述降雨量大于第一预设阈值的情况下，如果积水图像面积与待检测图像的面积之间的比值较大，说明该轻微积水的积水面积较大，在这样的情况下，持续长时间的强降雨，会造成该区域从轻微积水变成内涝积水。这样，在第一类别为轻微积水的情况下，如果积水面积较大，预测在未来预设时长内积水情况会从轻微积水转为内涝积水；如此，能够及时检测积水情况，及时发现积水的类别变化，便于管理人员做出响应。

情况三：在第一类别为轻微积水的情况下，预测待分类积水在未来预设时长内的第二类别从轻微积水变为无积水，可以通过以下过程实现：

在所述天气信息为非雨天的情况下，确定所述待分类积水在未来预设时长内的第二类别从所述轻微积水变为无积水。

在第一类别为轻微积水的情况下，如果在未来预设时长内的天气信息为非雨天(比如，晴天、多云或者阴天等)，那么在经过预设时长后，该轻微积水的积水量会逐渐减少，所以预设待分类积水在经过未来预设时长后，从轻微积水变为无积水。如此，在第一类别为轻微积水的情况下，如果天气信息为非雨天能够准确预测在未来预设时长后该区域变为无积水，能够为道路交通系统及时反馈路面积水情况，方便用户出行。

在一些实施例中，在第一类别为内涝积水的情况下，结合天气信息，进一步分析待分类积水在未来预设时长内的第二类别，包括以下多种情况：

情况一：在以下情况之一，所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为洪涝积水，包括：

一是：所述天气信息为雨天，且所述待检测图像中的积水图像面积与所述待检测图像的面积之间的比值大于预设比例。

在第一类别为内涝积水的情况下，如果在未来预设时长内的天气信息仍然为雨天，进一步分析积水图像面积与所述待检测图像的面积之间的比值；如果在第一类别为内涝积水的同时积水图像面积与所述待检测图像的面积之间的比值也比较大，那么说明在未来预设时长内积水的面积会越来越大，积水量会越来越多，所以预测待分类积水在未来预设时长内的第二类别从内涝积水变为洪涝积水。

在一个具体例子中，待检测图像中积水面积占据整张图像面积的比例大于比例阈值(比如，大于50％)，可生成告警信息，以提示监管人员，该路段出现大面积积水。

二是：所述天气信息为雨天，且在所述未来预设时长内的降雨量大于第一预设阈值。

在第一类别为内涝积水的情况下，如果在未来预设时长内的天气信息仍然为雨天，且在未来预设时长内的降雨量很大，那么该区域的积水情况会越来越严重；因此预测待分类积水在未来预设时长内的第二类别从内涝积水变为洪涝积水。这样，在第一类别为内涝积水的情况下，通过进一步分析积水图像面积或未来预设时长内的降雨量，能够准确的预测出待分类积水是否会从内涝积水变为洪涝积水。

情况二：在第一类别为内涝积水的情况下，预测待分类积水在未来预设时长内的第二类别从轻微积水变为无积水，可以通过以下过程实现：

在所述天气信息为雨天，且在所述未来预设时长内的降雨量小于第二预设阈值的情况下，确定所述待分类积水在未来预设时长内的第二类别持续为所述内涝积水。

在第一类别为内涝积水的情况下，如果在未来预设时长内的天气信息仍然为雨天，且在未来预设时长内的降雨量比较下，那么该区域的积水虽然会增多，但是不会增很多，所以预测待分类积水在未来预设时长内的第二类别持续为内涝积水；或者，在第一类别为内涝积水的情况下，天气信息为雨天，比值小于预设比例，且在未来预设时长内的降雨量小于所述第二预设阈值，仍然预测待分类积水在未来预设时长内的第二类别持续为内涝积水。这样，能够准确的预测出任一区域中待分类积水持续为内涝积水的时间，以便用于上层应用中。比如，将道路上轻微积水的区域位置上传至交通系统，以使管理人员能够及时了解道路积水的情况。

情况三：在第一类别为内涝积水的情况下，预测所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为轻微积水，包括：

在所述第一类别为内涝积水，且所述天气信息为非雨天的情况下，确定所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为轻微积水。

在第一类别为内涝积水的情况下，如果天气转晴，那么在未来预设时长内，该区域内的积水面积以及积水量均会逐渐减少；所以如果未来预设时长内的天气信息为非雨天，则预测待分类积水在未来预设时长内的第二类别从内涝积水变为轻微积水。如此，在预测到待分类积水变为轻微积水的情况下，可以生成提示信息，以提示该区域内的积水量会逐渐减少，便于用户做出行计划。

在一些实施例中，在预测到第二类别变为内涝积水，或者变为洪涝积水等强积水的情况下，通过对图像特征进行分类及位置回归，确定出待检测图像中包括的内涝积水的路段。将该路段反馈给交通系统，以便于路段管理人员可以及时对该积水路段进行处理。

在一些实施例中，通过以上多种方式确定积水类别之后，如果积水的第二类别为内涝积水，那么对该积水的监测时间间隔进行调整，以便于能够及时监测道路的积水情况，即在预测所述第二类别为内涝积水之后，还包括以下步骤：

第一步，在在所述天气信息表征在所述预设时长内的降雨量大于第一预设阈值的情况下，确定对所述待分类积水进行监测的间隔时长。

在一些实施例中，如果预设时长内的降雨量大于等于第一预设阈值，说明当前天气可能为大雨或者暴雨，在这种情况下，为了能够及时发现内涝路段，所以确定出目标对待分类积水进行检测的间隔时长，以便于对该间隔时长进行缩短。比如，当前对待分类积水进行监测的间隔时长为两个小时，监测一次。

第二步，将所述间隔时长调整为小于预设间隔时长的更新间隔时长。

在一些实施例中，对当前的间隔时长进行缩短，使得更新间隔时长小于等于预设间隔时长，该预设间隔时长可以是基于在未来预设时长内的降雨量进行设定的；在一些可能的实现方式中，未来预设时长内的降雨量与该预设间隔时长成反比，即未来预设时长内的降雨量越大，则设定预设间隔时长越小，从而能够及时监测道路积水情况。

第三步，基于所述更新间隔时长，对所述待检测图像的待分类积水进行监测。

比如，原始的间隔时长为两小时，预设间隔时长为1小时，那么更新间隔时长为小于等于1小时。如果更新间隔时长为30分钟，那么每间隔30分钟，对待检测图像的待分类积水进行一次监测，能够及时判断出该路段是否出现内涝。

第四步，在监测到所述待分类积水的类别发生变化的情况下，生成并输出告警信息。

在一些实施例中，在按照更新间隔时长进行积水监测的过程中，如果检测到当前路段的积水已经发展为内涝积水，那么生成并输出告警信息，并在该告警信息中携带发生内涝积水的位置信息，以便于监测人员对内涝路段进行及时处理。

在一些实施例中，通过采用预设语义标签对待标注图像的待分割元素进行标注之后，基于该样本图像集对待训练分割网络进行训练，以得到语义分割网络，其中，训练过程包括以下步骤：

第一步，将所述样本图像集中的样本图像输入待训练分割网络，得到样本图像特征。

在一些实施例中，采用预设语义标签对画面中的道路积水类别进行标注，得到作为训练集的样本图像，基于该样本图像对待训练分割网络进行训练；该样本图像为在城市场景下，针对存在积水的街道采集的图像。将任意一张样本图像输入待训练分割网络中，以进行特征提取，得到样本图像特征。在一些可能的实现方式中，采用深度残差网络实现对样本图像的特征提取。

第二步，基于预设语义标签集合，对样本图像特征进行语义分割，得到预测分割结果。

在一些实施例中，基于道路积水的类别与语义标签的匹配关系，在样本图像中，确定出道路积水占据的图像区域之后，即可确定与样本图像中包括的道路积水的类别相匹配的语义标签。在一些可能的实现方式中，采用Deeplab v3网络，对图像特征中的道路积水的类别进行预测，基于预测结果对该样本图像特征中的道路积水的类别进行分割，得到预测分割结果。

第三步，采用预测分割结果的损失，对所述待训练分割网络的网络参数进行调整，以使得到的所述语义分割网络输出的预测分割结果的损失满足收敛条件。

在一些实施例中，通过比较该预测分割结果和样本图像中的真值标签，可以确定确定预测分割结果的损失。通过该预测分割结果的损失，对待训练分割网络的权重值和调整量进行调整，使得训练好的语义分割网络输出的预测分割结果的损失收敛。

在本申请实施例中，通过获取大量的包括不同类别道路积水的待标注图像，然后，采用预设语义标签对待标注图像中的道路积水的类别进行标注，得到样本图像集，最后，基于该样本图像集对待训练分割网络进行训练，从而使得训练得到的语义分割网络能够有效对图像中的道路积水所在的区域进行分割。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，以采用创建的标签库，对城市道路场景下积水区域的准确分割和定位为例，进行说明。

由于自然灾害，城市道路积水问题是城市安全管理的重要部分，城市道路积水问题包括：晴天积水、雨后积水以及暴雨内涝积水。传统的积水预警主要依靠人力，往往导致执法成本高和效率低的问题。在新型的智能化城市积水预警系统中，对城市道路场景下积水区域的准确分割和定位为积水预警的基础，其中，场景分割是计算机视觉以及智能视频监测领域的重要问题，目的是对场景中的语义元素和实例元素进行定位。

然而在实际应用中，受光照明暗、背景杂乱和视角场景变换等因素的影响，分割问题的建模是复杂的。在相关技术中，由于没有对城市场景中的积水问题进行过深入探讨和分析，导致对于模型定义上无法统一，无法形成实际可用的标签体系。

基于此，本申请实施例提供一种积水类别的确定方法，通过创建统一且规范的城市场景下的道路积水的语义标签库，该语义标签库能够全面覆盖城市积水场景，切合实际需求，而且语义标签库体系独立、完备和基础。基于上述语义标签库，构建数据定义和标注规范，从而轻量级的语义分割网络，根据分割结果确定场景中的每处积水或者内涝所处的区域位置。该积水类别的确定方法的实现过程如下：

第一步，根据实际需求(对应于上述实施例中的待处理需求)，对城市场景下的道路积水的语义标签和对应的输出结果进行定义，创建道路积水的语义标签，得到语义标签库。

在一些实施例中，由于道路积水的面积形状不规则，可能任意形状的积水区域，根据积水区域的轮廓，对积水类型进行标注；当图像中的积水区域被其他物体遮挡时，可以通过假想标注的方式对图像中的积水类型进行标注。为提高标注速度，在本申请实施例中采用多边形对积水类型进行标注。其中，积水类型标注的语义标签和对应的输出结果包括：

a)类别id为1，语义标签为背景区域，对应的输出结果为图像内积水以外的区域。

b)类别id为1，语义标签为轻微积水，对应的输出结果是晴天或者雨后的路面积水，一般表示静态水面，有镜面反射。

c)类别id为2，语义标签为内涝积水，对应的输出结果是指暴雨时期，路面积水面积很大，有涟漪，水深超过9-10cm等。

d)类别id为3，语义标签为准内涝积水，对应的输出结果是指暴雨时期，路面积水面积不是很大，有涟漪，水深未超过9-10cm等。

e)类别id为4，语义标签为其他积水，对应的输出结果是指固定水渠、人工湖、自然湖或河流内的水。

第二步，基于语义标签库，对输入的待检测图像进行语义分割，得到语义分割图。

在一些可能的实现方式中，输出结果的格式可以为与原图大小一致的二维矩阵，用于表示语义分割图。其中，语义分割图包括表示不同积水类型的ID，比如，0，1、2、3和4四个数字，以及表示每一个积水类型的颜色，分别表示背景、轻微积水、内涝积水、即将内涝和其他积水。

第三步，基于语义分割图，确定该图像中每类积水所在的区域位置。

本申请实施例提供的积水类别的确定方法，可以通过图3所示的步骤实现，图3为本申请实施例提供的积水类别的确定方法的又一实现流程示意图，结合图3所示的步骤进行以下说明：

步骤S301，获取包括道路积水图像的待检测图像。

步骤S302，将图像输入残差神经网络，以进行特征提取。

步骤S303，将提取的特征输入卷积网络模型，以进行语义分割，得到语义分割结果。

在一些可能的实现方式中，卷积网络模型可以是带有空洞卷积的空间金字塔结构模型(Atrous Spatial Pyramid Pooling，ASPP)，该模型可以采用Deeplab v3网络实现。

步骤S304，对语义分割结果进行上采样，得到上采样结果。

步骤S305，基于上采样结果，输出积水类型为轻微积水和内涝积水所在的位置区域。

在一些可能的实现方式中，对语义分割结果进行上采样之后，即对语义分割结果进行放大，从而能够基于语义标签与输出结果的匹配关系，得到该语义分割结果所对应的最终检测结果。如图4所示，图4为本申请实施例提供的积水类别的确定方法的应用场景示意图，其中，图像401为采集的待检测图像，在该图像401中，包括：路面上的轻微积水411和无积水的其他区域412，将图像401输入残差神经网络以进行特征提取，然后，将特征提取结果输入到Deeplab v3网络，以对图像401中轻微积水411进行语义分割，得到语义分割结果413；从语义分割结果413可以看出，区域414表示轻微积水411在图像中的位置；空白区域415表示无积水的其他区域412在图像中的位置。

如图5所示，图5为本申请实施例提供的积水类别的确定方法的另一应用场景示意图，其中，图像501为采集的待检测图像，在该图像501中，包括：路面上的内涝积水511和其他区域512，将图像501输入残差神经网络以进行特征提取，然后，将特征提取结果输入到Deeplab v3网络，以对图像501中内涝积水511进行语义分割，得到语义分割结果513；从语义分割结果513可以看出，对图像501中积水深度较大的区域进行分割，得到区域514，即区域514表示内涝积水511在图像中的位置；空白区域515表示其他区域512在图像中的位置。

如图6所示，图6为本申请实施例提供的积水类别的确定方法的另一应用场景示意图，其中，图像600为采集的待检测图像，在该图像600中，包括：路面上的内涝积水601和其他区域，将对图像600上显示的内涝积水区域和其他背景区域标注之后，对这样标注的图像600中内涝积水601进行语义分割，得到语义分割结果603，其中，区域602表示内涝积水601在图像600中的位置；将对图像600上显示的内涝积水区域和其他背景区域以及被遮挡的内涝积水区域进行标注之后，对这样假想标注的图像600中内涝积水601进行语义分割，得到语义分割结果604；其中，区域605表示内涝积水601在图像600中的位置。通过对比语义分割结果603和604可以看出，由于图像600中内涝积水区域基本无遮挡，所以语义分割结果603和604上呈现的内涝积水区域的位置重叠度较高。

图像610为采集的待检测图像，在该图像610中，包括：路面上的内涝积水611和其他区域，将对图像610上显示的内涝积水区域和其他背景区域标注之后，对这样标注的图像610中内涝积水611进行语义分割，得到语义分割结果613，其中，区域612表示内涝积水611在图像610中的位置；将对图像610上显示的内涝积水区域和其他背景区域以及被遮挡的内涝积水区域进行标注之后，对这样假想标注的图像610中内涝积水611进行语义分割，得到语义分割结果614；其中，区域615表示内涝积水611在图像610中的位置。通过对比语义分割结果613和614可以看出，由于图像610中内涝积水区域基本无遮挡，所以语义分割结果613和614上呈现的内涝积水区域的位置重叠度较高。

图像620为采集的待检测图像，在该图像620中，包括：路面上的内涝积水621和其他区域，将对图像620上显示的内涝积水区域和其他背景区域标注之后，对这样标注的图像620中内涝积水621进行语义分割，得到语义分割结果623，其中，区域622表示内涝积水621在图像620中的位置；将对图像620上显示的内涝积水区域和其他背景区域以及被遮挡的内涝积水区域进行标注之后，对这样假想标注的图像620中内涝积水621进行语义分割，得到语义分割结果624。通过对比语义分割结果623和624可以看出，由于图像620中内涝积水区域存在部分遮挡，比如，图像620中的垃圾桶遮挡了部分内涝积水的区域，所以语义分割结果623中呈现的是不包括假想标注的内涝积水的区域，语义分割结果624中呈现的是包括假想标注的内涝积水的区域；其中，区域625表示内涝积水621在图像620中的位置；通过对比语义分割结果623和语义分割结果624可以看出，当图像中内涝积水区域存在被遮挡的情况下，通过对图像中的内涝积水进行假想标注，能够更加准确的分割出内涝积水在图像中的位置。这样，通过规范城市场景的道路积水标签定义规范，数据规范和统一接口，能够保证创建的语义标签库清晰覆盖道路积水场景，实用且易于操作；而且采用的定位网络能迅速分割出路面轻微积水和内涝积水，以便用于外部预警。

在本申请实施例中，通过综合分析大量城市道路的积水场景，定义完备、独立且基础的语义分割标签体系，从而能够提供轻量级语义分割算法框架，易于快速使用，同时输出标准的语义分割结果。

本申请实施例提供一种积水类别的确定装置，图7为本申请实施例积水类别的确定装置的结构组成示意图，如图7所示，所述积水类别的确定装置700包括：

第一获取模块701，用于获取画面包括待分类积水的待检测图像；

第一确定模块702，用于确定所述待检测图像中的待分类积水所属的第一类别；

第二确定模块703，用于确定所述待检测图像对应的天气信息；

第三确定模块704，用于基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别。

在一些实施例中，在所述第一类别为轻微积水的情况下，所述第三确定模块704，包括：

第一确定子模块，用于在所述天气信息为雨天的情况下，确定在所述预设时长内的降雨量，以及，所述待检测图像中的积水图像面积与所述待检测图像的面积之间的比值；

第二确定子模块，用于在所述降雨量大于第一预设阈值且所述比值小于预设比例，或，所述降雨量小于第二预设阈值的情况下，确定所述待分类积水在未来预设时长内的第二类别持续为所述轻微积水；其中，所述第一预设阈值大于所述第二预设阈值。

在一些实施例中，所述第三确定模块704，还包括：

第三确定子模块，用于在所述降雨量大于所述第一预设阈值且所述比值大于所述预设比例的情况下，确定所述待分类积水在未来预设时长内的第二类别从所述轻微积水变为内涝积水。

在一些实施例中，所述第三确定模块704，还包括：

第四确定子模块，用于在所述天气信息为非雨天的情况下，确定所述待分类积水在未来预设时长内的第二类别从所述轻微积水变为无积水。

在一些实施例中，在所述第一类别为内涝积水的情况下，在以下情况之一，所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为洪涝积水，包括：

所述天气信息为雨天，且所述待检测图像中的积水图像面积与所述待检测图像的面积之间的比值大于预设比例；

所述天气信息为雨天，且在所述未来预设时长内的降雨量大于第一预设阈值。

在一些实施例中，所述第三确定模块704，还包括：

第五确定子模块，用于在所述天气信息为雨天，且在所述未来预设时长内的降雨量小于第二预设阈值的情况下，确定所述待分类积水在未来预设时长内的第二类别持续为所述内涝积水。

在一些实施例中，所述第三确定模块704，还包括：

第六确定子模块，用于在所述第一类别为内涝积水，且所述天气信息为非雨天的情况下，确定所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为轻微积水。

在一些实施例中，所述装置还包括：

第四确定模块，用于在所述天气信息表征在所述预设时长内的降雨量大于第一预设阈值的情况下，确定对所述待分类积水进行监测的间隔时长；

第一调整模块，用于将所述间隔时长调整为小于预设间隔时长的更新间隔时长；

第一监测模块，用于基于所述更新间隔时长，对所述待检测图像的待分类积水进行监测；

第一生成模块，用于在监测到所述待分类积水的类别发生变化的情况下，生成并输出告警信息。

在一些实施例中，所述第一确定模块702，包括：

第一分割子模块，用于采用语义分割网络，对所述待检测图像中的待分类积水进行场景分割，得到所述待分类积水的第一类别；其中，所述语义分割网络是通过对画面中道路积水的不同类别进行标注的样本图像集，进行训练得到的。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的积水类别的确定方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、运动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令被执行后，能够实现本申请实施例提供的积水类别的确定方法中的步骤。

本申请实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，所述该计算机可执行指令被处理器执行时实现上述实施例提供的积水类别的确定方法。

本申请实施例提供一种计算机设备，图8为本申请实施例计算机设备的组成结构示意图，如图8所示，所述计算机设备800包括：一个处理器801、至少一个通信总线、通信接口802、至少一个外部通信接口和存储器803。其中，通信接口802配置为实现这些组件之间的连接通信。其中，通信接口802可以包括显示屏，外部通信接口可以包括标准的有线接口和无线接口。其中所述处理器801，配置为执行存储器中图像处理程序，以实现上述实施例提供的积水类别的确定方法。

以上积水类别的确定装置、计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同相应方法实施例相似的技术描述和有益效果，限于篇幅，可案件上述方法实施例的记载，故在此不再赘述。对于本申请积水类别的确定装置、计算机设备和存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ReadOnly Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种积水类别的确定方法，其特征在于，所述方法包括：

获取画面包括待分类积水的待检测图像；

确定所述待检测图像中的待分类积水所属的第一类别；

确定所述待检测图像对应的天气信息；

基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别。

2.根据权利要求1所述的方法，其特征在于，在所述第一类别为轻微积水的情况下，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，包括：

在所述天气信息为雨天的情况下，确定在所述预设时长内的降雨量，以及，所述待检测图像中的积水图像面积与所述待检测图像的面积之间的比值；

在所述降雨量大于第一预设阈值且所述比值小于预设比例，或，所述降雨量小于第二预设阈值的情况下，确定所述待分类积水在未来预设时长内的第二类别持续为所述轻微积水；其中，所述第一预设阈值大于所述第二预设阈值。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，还包括：

在所述降雨量大于所述第一预设阈值且所述比值大于所述预设比例的情况下，确定所述待分类积水在未来预设时长内的第二类别从所述轻微积水变为内涝积水。

4.根据权利要求2或3所述的方法，其特征在于，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，还包括：

在所述天气信息为非雨天的情况下，确定所述待分类积水在未来预设时长内的第二类别从所述轻微积水变为无积水。

5.根据权利要求1至4任一项所述的方法，其特征在于，在所述第一类别为内涝积水的情况下，在以下情况之一，所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为洪涝积水，包括：

所述天气信息为雨天，且所述待检测图像中的积水图像面积与所述待检测图像的面积之间的比值大于预设比例；

所述天气信息为雨天，且在所述未来预设时长内的降雨量大于第一预设阈值。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，包括：

在所述天气信息为雨天，且在所述未来预设时长内的降雨量小于第二预设阈值的情况下，确定所述待分类积水在未来预设时长内的第二类别持续为所述内涝积水。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别，还包括：

在所述第一类别为内涝积水，且所述天气信息为非雨天的情况下，确定所述待分类积水在所述未来预设时长内的第二类别从所述内涝积水变为轻微积水。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别之后，所述方法还包括：

在所述天气信息表征在所述预设时长内的降雨量大于第一预设阈值的情况下，确定对所述待分类积水进行监测的间隔时长；

将所述间隔时长调整为小于预设间隔时长的更新间隔时长；

基于所述更新间隔时长，对所述待检测图像的待分类积水进行监测；

在监测到所述待分类积水的类别发生变化的情况下，生成并输出告警信息。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述确定所述待分类积水当前所属的第一类别，包括：

采用语义分割网络，对所述待检测图像中的待分类积水进行场景分割，得到所述待分类积水的第一类别；其中，所述语义分割网络是通过对画面中道路积水的不同类别进行标注的样本图像集，进行训练得到的。

10.一种积水类别的确定装置，其特征在于，所述装置包括：

第一获取模块，用于获取画面包括待分类积水的待检测图像；

第一确定模块，用于确定所述待检测图像中的待分类积水所属的第一类别；

第二确定模块，用于确定所述待检测图像对应的天气信息；

第三确定模块，用于基于所述第一类别和所述天气信息，确定所述待分类积水在未来预设时长内的第二类别。

11.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现权利要求1至9任一项所述的积水类别的确定方法。

12.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时能够实现权利要求1至9任一项所述的积水类别的确定方法。

Images