CN115908816A - 基于人工智能的积水识别方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供一种基于人工智能的积水识别方法、装置、设备及存储介质，涉及人工智能领域，具体涉及图像识别、视频分析技术，用于在智慧城市、城市治理、应急管理场景下实现积水告警，具体实现方案为：在获取拍摄装置拍摄目标场景的待检测图像之后，根据待检测图像和预设的语义分割模型，确定包括积水区域图像的目标图像；进一步的，在确定积水区域满足积水告警条件的情况下，进行告警；其中，积水告警条件包括：目标图像中积水区域的图像与拍摄装置对应预设深度图像中的告警刻度线段存在重合线段，且重合线段的长度与告警刻度线段长度的占比大于第一阈值。

Description

基于人工智能的积水识别方法、装置、设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及计算机视觉技术、自然语言处理技术，具体涉及基于人工智能的积水识别方法、装置、设备及存储介质。

背景技术

路面积水是影响出行、交通以及驾驶安全的重要因素之一，尤其是在出行群众无法判断积水深度的情况下，很容易导致意外发生。

发明内容

本公开提供了一种基于人工智能的积水识别方法、装置、设备及存储介质，用于在智慧城市、城市治理、应急管理场景下实现积水告警。

根据本公开的一方面，提供了一种基于人工智能的积水识别方法，包括：

获取拍摄装置拍摄目标场景的待检测图像；

根据待检测图像和预设的语义分割模型，确定目标图像；目标图像包括目标场景中积水区域的图像；

判断积水区域是否满足积水告警条件；积水告警条件包括：目标图像中积水区域的图像与拍摄装置对应预设深度图像中的告警刻度线段存在重合线段，且重合线段的长度占比大于第一阈值；长度占比为重合线段的长度与告警刻度线段长度的比值；

在积水区域满足积水告警条件的情况下，进行告警。

根据本公开的另一方面，提供了一种基于人工智能的积水识别装置，包括获取单元、确定单元、判断单元和告警单元；

获取单元，用于获取拍摄装置拍摄目标场景的待检测图像；

确定单元，用于根据待检测图像和预设的语义分割模型，确定目标图像；目标图像包括目标场景中积水区域的图像；

判断单元，用于判断积水区域是否满足积水告警条件；积水告警条件包括：目标图像中积水区域的图像与拍摄装置对应预设深度图像中的告警刻度线段存在重合线段，且重合线段的长度占比大于第一阈值；长度占比为重合线段的长度与告警刻度线段长度的比值；

告警单元，用于在积水区域满足积水告警条件的情况下，进行告警。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开所提供的基于人工智能的积水识别方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行本公开所提供的基于人工智能的积水识别方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所提供的基于人工智能的积水识别方法。

本公开所提供的技术方案，可以基于语义分割模型确定待检测图像中存在积水区域的图像，进一步判断积水区域的区域和预设深度图像中的告警刻度线段是否重合线段，以及重合线段的长度占比是否大于第一阈值。在重合线段的长度占比大于第一阈值的情况下，进行告警。由于上述预设深度图像对应于拍摄设置，预设深度图像中的告警刻度线段能够指示目标环境中的告警深度，因此基于上述特征，能够对目标场景中的积水区域的深度进行告警。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例示出的一种基于人工智能的积水识别方法的原理图；

图2是根据本公开实施例示出的一种基于人工智能的积水识别方法的原理图；

图3是根据本公开实施例示出的一种积水识别系统的结构示意图；

图4是根据本公开实施例示出的一种基于人工智能的积水识别方法的流程示意图；

图5是根据本公开实施例示出的一种确定目标图像的示意图；

图6是根据本公开实施例示出的一种确定预设深度图像的示意图；

图7是根据本公开实施例示出的一种基于人工智能的积水识别方法的流程示意图；

图8是根据本公开实施例示出的一种基于人工智能的积水识别方法的流程示意图；

图9是用来实现本公开实施例的积水识别方法的积水识别装置的结构框图；

图10是用来实现本公开实施例的积水识别方法的电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

首先，针对本公开实施例的发明原理进行描述：

路面积水是影响出行、交通以及驾驶安全的重要因素之一。当前技术中，可以通过拍摄装置获取道路场景或者其他场景下的图像数据，并基于预设的积水识别模型对图像数据进行处理，以确定道路中存在积水点，但是该方法适用性不强，尤其是在出行群众无法判断积水深度的情况下，很容易导致意外发生。

基于上述技术问题，为了能够判断道路场景或者其他场景下的积水深度，如图1所示，本公开考虑到可以预先为摄像装置设置对应预设深度图像(如图1中的图像a)，该预设深度图像中包括告警刻度线段(如图像a中的实线段)。该告警刻度线段用于指示摄像装置的拍摄场景中的积水告警深度(例如为10厘米)。在获取拍摄装置拍摄到的拍摄场景的待检测图像(待检测图像为图1中的图像b，待检测图像中不规则的实线区域为积水区域)之后，根据预设的语义分割模型判断待检测图像中是否存在拍摄场景中积水区域的图像(如图1中图像c中的实线区域)。进一步的，在待检测图像中存在拍摄场景中积水区域的图像的情况下，判断积水区域的图像与告警刻度线段的重合线段(如图1图像d中的虚线段所示)的长度与告警刻度线段长度的比值是否大于第一阈值，若该比值大于第一阈值，则表明积水区域已经达到告警刻度线段所对应的积水告警深度。在这种情况下，进行告警，以提醒拍摄场景周边的行人或者车辆。

这样，就能够针对每个摄像装置对应的告警刻度线段与积水区域的覆盖关系，确定拍摄场景中的积水区域是否达到告警刻度线段对应的积水告警深度。

进一步的，本公开还考虑到基于拍摄装置的拍摄场景中可能存在道路反光等情况，判断待检测图像中是否存在积水区域不准确，会导致误告警。为了确保上述对积水深度判断的准确性，以避免误告警，如图2所示，本公开在获取待检测图像之后，还可以通过预设的积水等级分类模型，对待检测图像进行分类处理，确定待检测图像对应的积水等级。进一步的，本公开在基于待检测图像和预设深度图像确定积水区域的深度达到积水告警深度之后，基于积水等级对积水是否达到积水告警深度进行验证，并在通过验证后进行告警，以保证告警的准确性。

其次，针对本公开实施例的应用场景进行描述：

图3是根据本公开实施例示出的用于实施基于人工智能的积水识别方法(为便于描述，本公开实施例后续也以积水识别方法作为其简称)的积水识别系统的结构示意图，参见图3，该积水识别系统30包括电子设备31和基于人工智能的积水识别装置(为便于描述，图3中简称为积水识别装置32，以及本公开后续实施例中简称为积水识别装置)。电子设备31与积水识别装置32连接，电子设备31与积水识别装置32之间可以采用有线方式连接，也可以采用无线方式连接，本公开实施例对此不作限定。

电子设备31用于获取道路场景或者其他场景下的视频或者图像，并将视频或者图像发送至积水识别装置32。

积水识别装置32用于在接收到视频后，将视频进行解码处理，得到待检测图像，或者，用于在接收到图像之后，将接收到的图像确定为待检测图像。进一步的，积水识别装置32还用于基于预设的语义分割模型，对待检测图像进行分割，得到包括拍摄场景中积水区域的图像的目标图像，并基于积水区域的图像和拍摄装置对应有预设深度图像中的告警刻度线段，判断积水区域是否达到告警刻度线段对应的积水告警深度。

上述电子设备31和积水识别装置32均可以是物理机，例如：台式电脑，又称台式机或桌面机(desktop computer)、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)等终端设备。

在一种场景下，上述电子设备31可以为用于进行处理数据或者计算的服务器，或者多台服务器组成的服务器集群，电子设备31可以与监控摄像头、摄像机、带有拍摄功能的拍摄装置等连接。

在另外一种场景下，上述电子设备31还可以为监控摄像头、摄像机、带有拍摄功能的拍摄装置。

需要说明的，电子设备31和积水识别装置32可以为相互独立的设备，也可以集成于同一设备中，本公开对此不作具体限定。

当电子设备31和积水识别装置32集成于同一设备时，电子设备31和积水识别装置32之间的通信方式为该设备内部模块之间的通信。这种情况下，二者之间的通信流程与“电子设备31和积水识别装置32之间相互独立的情况下，二者之间的通信流程”相同。

在本公开提供的以下实施例中，本公开以电子设备31和积水识别装置32相互独立设置为例进行说明。

在一种可能的实现方式中，本公开实施例提供的基于人工智能的积水识别方法可以由电子设备31执行，也可以由电子设备31内部或外部的积水识别装置32执行，还可以由其他类似的设备执行。以下，以基于人工智能的积水识别方法由积水识别装置32执行为例进行说明。

图4是根据本公开实施例示出的一种基于人工智能的积水识别方法的流程示意图，如图4所示，该方法包括以下步骤：

S401、积水识别装置获取拍摄装置拍摄目标场景的待检测图像。

作为一种可能的实现方式，积水识别装置接收拍摄装置发送的关于目标场景的视频数据，并对视频数据进行解码，以得到待检测图像。

作为另外一种可能的实现方式，积水识别装置接收拍摄装置发送的关于目标场景的图像，并将该图像确定为待检测图像。

需要说明的，拍摄装置具体可以为设置在固定地点的摄像头，以保证拍摄到的目标场景为同一场景以及同一大小。

在实际应用过程中，上述待检测图像可以为彩色图像，也可以为黑白图像，本公开实施例对此不作限定。

S402、积水识别装置根据待检测图像和预设的语义分割模型，确定目标图像。

其中，目标图像包括目标场景中积水区域的图像。语义分割模型用于对输入的图像中每个像素位于积水区域的置信度，并基于每个像素对应的置信度输出图像。

作为一种可能的实现方式，积水识别装置将待检测图像输入语义分割模型，并判断输出的图像是否包括有目标环境中积水区域的图像。若语义分割模型输出的图像中包括有目标环境中积水区域的图像，则积水识别装置确定语义分割模型输出的图像为目标图像。

示例性的，待检测图像中包括有1000个像素，语义分割模型对每个像素是否位于积水区域的置信度进行预测，确定其中300个像素位于积水区域的置信度为1，700个像素位于积水区域的置信度为0。进一步的，语义分割模型将300个置信度为1的像素组成的图像呈现在目标图像中，并输出目标图像。在目标图像中，积水区域的图像即为300个像素所组成的图像。

图5示出了一种对待检测图像进行语义分割处理，得到目标图像的示意图。如图5所示，图5中的图像e为包括目标场景的待检测图像，图像f为目标图像。积水识别装置将图像e输入语义分割模型处理后，输出图像f。其中，待检测图像为拍摄装置拍摄目标场景的图像，目标场景中包括有积水区域，目标图像包括目标环境中积水区域的图像。目标图像与待检测图像的大小相同。

作为另外一种可能的实现方式，积水识别装置还可以对待检测图像进行标准化处理，并将标准化处理后的待检测图像输入语义分割模型，以输出目标图像。

需要说明的，上述标准化处理具体可以包括：对待检测图像依次进行缩放处理、归一化处理、减均值处理、除方差处理。

示例性的，上述缩放处理为将图像进行缩放，以得到固定尺寸的图像(例如图像大小可以为224*224)。

上述归一化处理，具体可以为将图像中每个像素的颜色值除以一个预设值(例如可以为255)。

上述减均值处理，为将图像中每个像素的颜色值减去图像中所有像素的颜色平均值。例如，图像中包括有1000个像素，每个像素的颜色为红、绿、蓝(R，G，B)，对于任意一个像素a的任意一种颜色G，首先计算1000个像素的颜色G颜色平均值G’(例如1000个像素的所有颜色的平均颜色值可以为(0.485，0456，0406))，再用像素a的颜色G的颜色值减去颜色平均值G’，如此对每个像素每种颜色进行相同处理，即得到减均值处理后的图像。

上述除方差处理，具体可以为将图像中每个像素的颜色值除以所有像素的颜色值方差(例如可以为(0.299，0224，0225))。例如对于图像中的任意一个像素a的任意一种颜色G，首先计算颜色G的颜色值方差，在用像素a的颜色G的颜色值除以该颜色G的颜色值方差。如此，对每个像素每种颜色都进行相同处理，记得到除方差处理后的图像。

S403、积水识别装置判断积水区域是否满足积水告警条件。

其中，积水告警条件包括：目标图像中积水区域的图像与拍摄装置对应预设深度图像中的告警刻度线段存在重合线段，且重合线段的长度占比大于第一阈值。长度占比为重合线段的长度与告警刻度线段长度的比值。拍摄装置对应预设深度图像中的告警刻度线段为基于目标场景中的参照物预先设定的。告警刻度线段在预设深度图像中的位置用于指示目标场景中的积水告警深度。

作为一种可能的实现方式，积水识别装置可以获取拍摄装置对应的包括告警刻度线段的预设深度图像，并将预设深度图像与目标图像融合，得到融合图像。

进一步的，积水识别装置基于告警刻度线段在融合图像中的位置以及积水区域的图像在融合图像中的位置，判断积水区域是否满足积水告警条件。

其中，预设深度图像与目标图像的大小相同，且预设深度图像中包括告警刻度线段。

可以理解的，本公开上述技术方案，提供了一种判断积水区域的图像与告警刻度线段是否重合的具体实现方式，已能够进一步实现判断积水区域是否满足积水告警条件。

以下介绍积水识别装置中存储有拍摄装置对应的预设深度图像的实现方式：

积水识别装置还与用户的客户端实现端到端连接，积水识别装置获取拍摄装置在历史时刻拍摄目标场景的历史图像，并将历史图像发送至用户的客户端。

相应的，用户的客户端在接收到历史图像后，显示历史图像。

进一步的，用户的客户端响应于用户客户端中对历史图像中的预设操作，生成包括告警刻度线段的预设深度图像。

其中，拍摄装置对应预设深度图像中的告警刻度线段为基于目标场景中的参照物预先设定的。上述预设操作可以包括点选操作，或者画线操作。预设操作用于在历史图像中绘制告警刻度线段，以得到预设深度图像。

示例性的，上述参照物可以为目标场景中的道路设施，或者其他固定设施。告警刻度线段为与路片平行的一条直线段，用于指示的目标场景中的积水告警深度，该积水告警深度具体可以为参照物的最高处与路面低洼处质检的高差。

可以理解的，本公开所提供的技术方案，由于告警刻度线段为基于目标场景中的参照物预先设定的，因此确定到的告警刻度线段更能真实反映目标现场的真实深度，从而保证了积水告警的准确性。

同时，由于告警刻度线段可以由用户结合场景自行设置，这样本公开实施例提供的技术方案更能适用于不同的场景。

图6示出了一种基于历史图像以及用户的预设操作生成预设深度图像的示意图。如图6所示，图像g为历史图像，其中显示有目标场景，图像h为预设深度图像，其中显示有告警刻度线段。图6中告警刻度线对应的参照物即为目标场景中的路边石。

在一些情况下，预设深度图像还可以为仅包括告警刻度线段的空白背景图像，以便于后续将预设深度图像与目标图像的融合处理。

当然，在一些场景下，预设深度图像也可以为用户在待检测图像中实时进行绘制得到的。

用户的客户端在生成预设刻度图像之后，向积水识别装置发送该预设刻度图像。

相应的，积水识别装置接收预设刻度图像，并存储预设刻度图像。

另外，需要说明的，本公开在对待检测图像进行标准处理的情况下，也对历史图像进行标准化处理，以使得生成的预设深度图像与目标图像的大小一致。

在又一种可能的实现方式中，积水识别装置也可以获取告警刻度线段在预设深度图像中的位置，并根据告警刻度线段在预设深度图像中的位置，在目标图像中绘制告警刻度线段。

进一步，积水识别装置根据积水区域的图像在目标图像中的位置，以及告警刻度线段在目标图像中的位置，判断积水区域是否满足积水告警条件。

在这种实现方式中，告警刻度线段在预设深度图像中的位置，可以由用户的客户端在生成预设深度图像之后，从预设深度图像中获取并向积水识别装置发送，也可以由积水识别装置在获取预设深度图像之后，从预设深度图像中获取。

在第三种可能的实现方式中，积水识别装置还可以获取积水区域的图像在目标图像中的位置，并根据积水区域的图像在目标图像中的位置，将积水区域的图像绘制在预设深度图像中。

进一步的，积水识别装置根据积水区域的图像在预设深度图像中的位置，以及告警刻度线段在预设深度图像中的位置，判断积水区域是否满足积水告警条件。

以下介绍在积水区域的图像和告警刻度线段位于同一图像(具体可以为上述三种实现方式中的融合图像、目标图像或者预设深度图像)的情况下，判断积水区域是否满足积水告警条件的具体实现方式：

积水识别装置首先判断积水区域的图像与告警刻度线段是否存在重合线段，若存在重合线段，则获取重合线段的长度以及告警刻度线段的长度。

进一步的，积水识别装置将重合线段的长度与告警刻度线段长度的比值确定为重合线段的长度占比，并判断重合线段的长度占比是否大于第一阈值。

最终，在重合线段的长度占比大于第一阈值的情况下，积水识别装置确定积水区域满足积水告警条件。在重合线段的长度占比小于或者等于第一阈值的情况下，积水识别装置确定积水区域不满足积水告警条件。

需要说明的，在积水区域不满足积水告警条件的情况下，积水识别装置则获取目标场景中的下一待检测图像，并重新执行本公开实施例提供的基于人工智能的积水识别方法。

另外，本公开实施例中涉及的第一阈值，可以由用户通过客户端在积水识别装置中设置，也可以由积水识别装置自行设置。

示例性的，第一阈值可以为0.9。

S404、积水识别装置在积水区域满足积水告警条件的情况下，进行告警。

作为一种可能的实现方式，积水识别装置在确定积水区域满足积水告警条件后，可以向用户的客户端、拍摄装置以及目标场景中的电子标牌中的至少一个发送告警信息，以提醒目标场景中积水区域附近的行人或者车辆。

其中，告警信息中至少包括目标场景的标识、拍摄装置的标识以及告警刻度线段对应的积水告警深度。

可以理解的，本公开所提供的技术方案，可以基于语义分割模型确定待检测图像中存在积水区域的图像，进一步判断积水区域的区域和预设深度图像中的告警刻度线段是否重合线段，以及重合线段的长度占比是否大于第一阈值。在重合线段的长度占比大于第一阈值的情况下，进行告警。由于上述预设深度图像对应于拍摄设置，预设深度图像中的告警刻度线段能够指示目标环境中的告警深度，因此基于上述特征，能够对目标场景中的积水区域的深度进行告警。

在一些实施例中，为了节省积水识别装置的计算资源，本公开实施例将语义分割模型设置为segformer网络。

其中，segformer网络为基于编码器-解码器结构构建的网络，其骨干(backbone)为2个16层的VGG模型(visual geometry group network，VGGNet)去掉全连接层。

由于segformer网络提出了基于最大池化(maxpool)的索引进行上采样的方法，从而免去了学习上采样的需要，可以响应的节省积水识别装置的计算资源。

以下介绍语义分割模型的训练过程：

S1.积水识别装置获取多个样本图像。

其中，多个样本图像均为不同场景中拍摄的图像。多个样本图像中的第一样本图像包括样本积水区域的图像，第二样本图像中不包括样本积水区域的图像。

S2.积水识别装置确定每个样本图像的标签。

其中，样本图像的标签包括样本图像中每个像素位于积水区域内的置信度。若样本图像中一个像素位于样本积水区域内，则该一个像素的置信度为1。若样本图像中一个像素不位于样本积水区域内，则该一个像素的置信度为0。

S3.积水识别装置根据多个样本图像以及每个样本图像的标签，对预设的神经网络进行训练，得到语义分割模型。

由于在实际应用中，包括样本区域的第一样本图像在训练过程中为长尾数据，可能会导致训练得到的语义分割模型不准确，因此为了提高训练得到语义分割模型的准确度，公开实施例还在语义分割模型的训练过程中，对包括样本积水区域的第一样本图像进行重采样。

其中，第一样本图像用于训练得到语义分割模型。

由于目标场景中可能存在道路反光的情况下，可能会导致语义分割模型输出的目标图像不够准确，进而导致告警的准确性不高，因此，为了提高告警的准确性，在积水告警条件包括存在重合长度，且重合长度的长度占比大于第一阈值的基础之上，本公开实施例提供的积水告警条件还包括：

目标场景中积水区域的积水等级为目标积水等级。目标积水等级用于指示存在积水。

在一种情况下，积水区域的积水等级可以设置为干燥和存在积水两种结果，目标积水等级即为存在积水。

在另外一种情况下，积水区域的积水等级可以设置为干燥、湿滑、轻度积水和重度积水四种结果，目标积水等级即为湿滑、轻度积水和重度积水中的任意一种。

作为一种可能的实现方式，积水识别装置确定目标场景中积水区域的积水等级，并在存在重合线段，且重合线段的长度占比大于第一阈值的情况下，若积水告警等级为目标积水等级，则确定积水区域满足积水告警条件，并进行告警。

可以理解的，采用上述技术特征，在积水区域的积水等级为目标积水等级对基于语义分割模型的判断结果进行验证，能够相应提高积水告警的准确性。

在另外一种实施例中，在积水告警条件包括存在重合长度，且重合长度的长度占比大于第一阈值的基础之上，本公开实施例提供的积水告警条件还可以包括：

目标场景中积水区域的积水等级对应的深度范围内包含积水告警深度。

其中，积水告警深度为基于目标场景中的参照物预先设定的。

作为一种可能的实现方式，积水识别装置获取积水区域的积水等级，以及告警刻度线段对应的积水告警深度，并判断积水告警深度是否位于积水区域的积水等级对应的深度范围内。

需要说明的，不同的积水等级对应有不同的深度范围，不同的深度范围可以由用户通过客户端在积水识别装置中设置。同时，该积水深度也可以由运维人员预先在积水识别装置中设置。

例如，干燥的对应的深度范围为0厘米(cm)，湿滑对应的深度范围为0-5cm，轻度积水对应的深度范围为5-10cm，重度积水对应的深度范围为10-30cm。

另外，用户在历史图像中绘制告警刻度线段前后，可以根据目标场景中参考物，在客户端中设置告警刻度线段对应的积水告警深度，并由客户端发送至积水识别装置。

例如，在路边石的上边缘绘制的告警刻度线段对应的积水告警深度为10cm。

可以理解的，采用上述技术特征，以积水区域的积水等级对应的深度范围内是否包含积水告警深度为条件，对基于语义分割模型的判断结果进行验证，能够相应提高积水告警的准确性。

以下，介绍本公开实施例提供的又一种基于人工智能的积水识别方法，其中还包括了具体确定积水区域的积水等级的实现方式，如图7所示，该积水识别方法包括以下步骤：

S701、积水识别装置获取拍摄装置拍摄目标场景的待检测图像。

此步骤的具体实现方式可以参照本公开实施例的上述S401，此处不再进行赘述。

S702、积水识别装置根据待检测图像和预设的语义分割模型，确定目标图像。

此步骤的具体实现方式可以参照本公开实施例的上述S402，此处不再进行赘述。

S703、积水识别装置获取拍摄装置对应的预设深度图像。

此步骤的具体实现方式可以参照本公开实施例的上述S403中积水识别装置获取或者接收预设深度图像的部分，此处不再进行赘述。

S704、积水识别装置判断目标图像中积水区域的图像与拍摄装置对应预设深度图像中的告警刻度线段是否存在重合线段。

此步骤的具体实现方式可以参照本公开实施例的上述S403中判断是否存在重合线段的三种实现方式，此处不再进行赘述。

需要说明的，积水识别装置在确定不存在重合线段的情况下，重新获取下一待检测图像，并重新执行本公开实施例提供的基于人工智能的积水识别方法。

S705、积水识别装置在存在重合线段的情况下，判断重合线段的长度占比是否大于第一阈值。

此步骤的具体实现方式可以参照本公开实施例的上述S403中判断重合线段的长度占比是否大于第一阈值的实现方式，此处不再进行赘述。

需要说明的，积水识别装置在确定重合线段的长度占比小于第一阈值的情况下，重新获取下一待检测图像，并重新执行本公开实施例提供的基于人工智能的积水识别方法。

S706、积水识别装置根据待检测图像以及预设的积水等级分类模型，确定目标场景中积水区域的积水等级。

其中，积水等级分类模型具备对输入的图像进行积水等级分类，并计算不同积水等级分类的置信度，以输出不同积水等级中置信度最大的积水等级的功能。不同积水等级包括干燥、湿滑、轻度积水和重度积水，或者不同积水等级包括干燥和存在积水。

作为一种可能的实现方式，积水识别装置将待检测图像输入积水等级分类模型中，输出积水区域的积水等级。

作为另外一种可能的实现方式，积水识别装置将检测图像进行标准化处理，并将标准化处理后的待检测图像输入积水等级分类模型中，以输出积水区域的积水等级。

需要说明的，在不同积水等级包括干燥、湿滑、轻度积水和重度积水的情况下，上述积水等级分类模型为四分类模型，在不同积水等级包括干燥和存在积水的情况下，上述积水等级分类模型为二分类模型。

在一些实施例中，上述积水等级分类模型可以为残差网络(residual network，ResNet)，具体可以为ResNet 24或者ResNet50。

在一些实施例中，由于积水等级分类模型为有监督模型，为了保证积水等级分类模型的准确性，本公开实施例在积水等级分类模型的训练过程中，将不同积水等级对应的样本图像的数量设置为相同。

例如，在积水等级分类模型为二分类模型的情况下，干燥对应样本图像的数量和存在积水对应样本图像的数量相同。在积水等级分类模型为四分类模型的情况下，干燥对应样本图像的数量、湿滑对应样本图像的数量、轻度积水对应样本图像的数量以及重度积水对应样本图像的数量为相同的数值。

S707、积水识别装置在长度占比大于第一阈值的情况下，若确定积水区域的积水等级为目标积水等级，或者，目标场景中积水区域的积水等级对应的深度范围内包含积水告警深度，则确定积水区域满足积水告警条件。

需要说明的，积水识别装置在确定积水区域不满足积水告警条件的情况下，重新获取下一待检测图像，并重新执行本公开实施例提供的基于人工智能的积水识别方法。

S708、积水识别装置进行告警。

此步骤的具体实现方式可以参照本公开实施例的上述S404的实现方式，但不同之处在于，此处积水识别装置还可以向外发送积水区域的积水等级以及该积水等级对应的深度范围，以提醒行人或者车辆采取不同的安全措施。

可以理解的，采样上述技术方案，能够基于预设的积水等级分类模型确定目标区域的积水等级，在实现确定积水等级的前提下，还能够将积水等级划分为多个等级，以适应不同的情况。

同时，在积水等级分类模型的训练过程中，将各个标签的样本数量确定为同样数量，可以相应提高积水等级分类模型的准确性。

在一些实施例中，为了能够提高告警的准确性，本公开实施例提供的积水等级分类模型还具备输出不同积水等级的置信度中最大置信度的功能，同时，积水告警条件还包括：最大置信度大于第二阈值。在这种情况下，如图8所示，本公开实施例提供的基于人工智能的积水识别方法，包括以下步骤：

S801、积水识别装置获取拍摄装置拍摄目标场景的待检测图像。

此步骤的具体实现方式可以参照本公开实施例的上述S401，此处不再进行赘述。

S802、积水识别装置根据待检测图像和预设的语义分割模型，确定目标图像。

此步骤的具体实现方式可以参照本公开实施例的上述S402，此处不再进行赘述。

S803、积水识别装置获取拍摄装置对应的预设深度图像。

此步骤的具体实现方式可以参照本公开实施例的上述S403中积水识别装置获取或者接收预设深度图像的部分，此处不再进行赘述。

S804、积水识别装置判断目标图像中积水区域的图像与拍摄装置对应预设深度图像中的告警刻度线段存在重合线段。

此步骤的具体实现方式可以参照本公开实施例的上述S403中判断是否存在重合线段的三种实现方式，此处不再进行赘述。

需要说明的，积水识别装置在确定不存在重合线段的情况下，重新获取下一待检测图像，并重新执行本公开实施例提供的基于人工智能的积水识别方法。

S805、积水识别装置在存在重合线段的情况下，判断重合线段的长度占比是否大于第一阈值。

此步骤的具体实现方式可以参照本公开实施例的上述S403中判断重合线段的长度是否大于第一阈值的实现方式，此处不再进行赘述。

需要说明的，积水识别装置在确定重合线段的长度占比小于第一阈值的情况下，重新获取下一待检测图像，并重新执行本公开实施例提供的基于人工智能的积水识别方法。

S806、积水识别装置根据待检测图像以及预设的积水等级分类模型，确定目标场景中积水区域的积水等级以及积水区域的积水等级的置信度。

S807、积水识别装置判断积水区域的积水等级的置信度是否大于第二阈值。

需要说明的，第二阈值可以由用户通过客户端在积水识别装置中预先设置。

示例性的，第二阈值可以为0.6。

另外，积水识别装置在确定积水区域的积水等级的置信度小于或者等于第二阈值的情况下，重新获取下一待检测图像，并重新执行本公开实施例提供的基于人工智能的积水识别方法。

S808、积水识别装置在长度占比大于第一阈值的情况下，且积水区域的积水等级的置信度大于第二阈值，若确定积水区域的积水等级为目标积水等级，或者，目标场景中积水区域的积水等级对应的深度范围内包含积水告警深度，则确定积水区域满足积水告警条件。

需要说明的，积水识别装置在确定积水区域不满足积水告警条件的情况下，重新获取下一待检测图像，并重新执行本公开实施例提供的基于人工智能的积水识别方法。

S809、积水识别装置进行告警。

此步骤的具体实现方式可以参照本公开实施例的上述S708，此处不再进行赘述。

可以理解的，在基于积水等级分类模型确定积水等级的过程中，还基于积水等级的最大置信度与第二阈值的比较，以确定积水等级分类模型的分类是否准确，将最大置信度大于第二阈值加入积水告警条件中，还能够进一步的提高积水告警的准确性。

图9是根据本公开实施例示出的一种基于人工智能的积水识别装置的结构框图，该装置应用于积水识别系统中的电子设备。参见图9，该积水识别装置900包括获取单元901、确定单元902、判断单元903和告警单元904；

获取单元901，用于获取拍摄装置拍摄目标场景的待检测图像；

确定单元902，用于根据待检测图像和预设的语义分割模型，确定目标图像；目标图像包括目标场景中积水区域的图像；

判断单元903，用于判断积水区域是否满足积水告警条件；积水告警条件包括：目标图像中积水区域的图像与拍摄装置对应预设深度图像中的告警刻度线段存在重合线段，且重合线段的长度占比大于第一阈值；长度占比为重合线段的长度与告警刻度线段长度的比值；

告警单元904，用于在积水区域满足积水告警条件的情况下，进行告警。

参见图9，本公开实施例提供的积水识别装置900中，拍摄装置对应预设深度图像中的告警刻度线段为基于目标场景中的参照物预先设定的。

参见图9，本公开实施例提供的积水识别装置900中，判断单元903具体用于：

获取拍摄装置对应的包括告警刻度线段的预设深度图像；预设深度图像与目标图像大小相同；

将预设深度图像与目标图像融合，得到融合图像；

基于告警刻度线段在融合图像中的位置以及积水区域的图像在融合图像中的位置，判断积水区域是否满足积水告警条件。

参见图9，本公开实施例提供的积水识别装置900中，语义分割模型为segformer网络；

装置900还包括处理单元；

处理单元，用于在语义分割模型的训练过程中，对包括样本积水区域的第一样本图像进行重采样；第一样本图像用于训练得到语义分割模型。

参见图9，本公开实施例提供的积水识别装置900中，积水告警条件还包括：

目标场景中积水区域的积水等级为目标积水等级；目标积水等级用于指示存在积水；

或者，目标场景中积水区域的积水等级对应的深度范围内包含积水告警深度；积水告警深度为基于目标场景中的参照物预先设定的。

参见图9，本公开实施例提供的积水识别装置900中，确定单元902还用于：

根据待检测图像以及预设的积水等级分类模型，确定目标场景中积水区域的积水等级；积水等级分类模型具备对输入的图像进行积水等级分类，并计算不同积水等级分类的置信度，以输出不同积水等级中置信度最大的积水等级的功能；不同积水等级包括干燥、湿滑、轻度积水和重度积水。

参见图9，本公开实施例提供的积水识别装置900中，积水等级分类模型还具备输出不同积水等级的置信度中最大置信度的功能；积水告警条件还包括：最大置信度大于第二阈值。

根据本公开的实施例，本公开还提供了一种电子设备，包括至少一个处理器。以及与该至少一个处理器通信连接的存储器。其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开所提供的基于人工智能的积水识别方法。

根据本公开的实施例，本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行本公开所提供的基于人工智能的积水识别方法。

根据本公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所提供的基于人工智能的积水识别方法。

图10示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图10所示，电子设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等。输出单元1007，例如各种类型的显示器、扬声器等。存储单元1008，例如磁盘、光盘等。以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如基于人工智能的积水识别方法。例如，在一些实施例中，基于人工智能的积水识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的基于人工智能的积水识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于人工智能的积水识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程积水识别装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)。以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)。并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种基于人工智能的积水识别方法，包括：

获取拍摄装置拍摄目标场景的待检测图像；

根据所述待检测图像和预设的语义分割模型，确定目标图像；所述目标图像包括所述目标场景中积水区域的图像；

判断所述积水区域是否满足积水告警条件；所述积水告警条件包括：所述目标图像中积水区域的图像与所述拍摄装置对应预设深度图像中的告警刻度线段存在重合线段，且所述重合线段的长度占比大于第一阈值；所述长度占比为所述重合线段的长度与所述告警刻度线段长度的比值；

在所述积水区域满足所述积水告警条件的情况下，进行告警。

2.根据权利要求1所述的积水识别方法，其中，所述拍摄装置对应预设深度图像中的告警刻度线段为基于所述目标场景中的参照物预先设定的。

3.根据权利要求1或2所述的积水识别方法，其中，所述判断所述积水区域是否满足积水告警条件，包括：

获取所述拍摄装置对应的包括所述告警刻度线段的预设深度图像；所述预设深度图像与所述目标图像大小相同；

将所述预设深度图像与所述目标图像融合，得到融合图像；

基于所述告警刻度线段在所述融合图像中的位置以及所述积水区域的图像在所述融合图像中的位置，判断所述积水区域是否满足所述积水告警条件。

4.根据权利要求1-3中任一项所述的积水识别方法，其中，所述语义分割模型为segformer网络；

所述方法还包括：

在所述语义分割模型的训练过程中，对包括样本积水区域的第一样本图像进行重采样；所述第一样本图像用于训练得到所述语义分割模型。

5.根据权利要求1-4中任一项所述的积水识别方法，其中，

所述积水告警条件还包括：

所述目标场景中积水区域的积水等级为目标积水等级；所述目标积水等级用于指示存在积水；

或者，所述目标场景中积水区域的积水等级对应的深度范围内包含积水告警深度；所述积水告警深度为基于所述目标场景中的参照物预先设定的。

6.根据权利要求5所述的积水识别方法，所述方法还包括：

根据所述待检测图像以及预设的积水等级分类模型，确定所述目标场景中积水区域的积水等级；所述积水等级分类模型具备对输入的图像进行积水等级分类，并计算不同积水等级分类的置信度，以输出所述不同积水等级中置信度最大的积水等级的功能；所述不同积水等级包括干燥、湿滑、轻度积水和重度积水。

7.根据权利要求6所述的积水识别方法，其中，所述积水等级分类模型还具备输出所述不同积水等级的置信度中最大置信度的功能；

所述积水告警条件还包括：所述最大置信度大于第二阈值。

8.一种基于人工智能的积水识别装置，包括获取单元、确定单元、判断单元和告警单元；

所述获取单元，用于获取拍摄装置拍摄目标场景的待检测图像；

所述确定单元，用于根据所述待检测图像和预设的语义分割模型，确定目标图像；所述目标图像包括所述目标场景中积水区域的图像；

所述判断单元，用于判断所述积水区域是否满足积水告警条件；所述积水告警条件包括：所述目标图像中积水区域的图像与所述拍摄装置对应预设深度图像中的告警刻度线段存在重合线段，且所述重合线段的长度占比大于第一阈值；所述长度占比为所述重合线段的长度与所述告警刻度线段长度的比值；

所述告警单元，用于在所述积水区域满足所述积水告警条件的情况下，进行告警。

9.根据权利要求8所述的积水识别装置，其中，所述拍摄装置对应预设深度图像中的告警刻度线段为基于所述目标场景中的参照物预先设定的。

10.根据权利要求8或9所述的积水识别装置，其中，所述判断单元具体用于：

获取所述拍摄装置对应的包括所述告警刻度线段的预设深度图像；所述预设深度图像与所述目标图像大小相同；

将所述预设深度图像与所述目标图像融合，得到融合图像；

基于所述告警刻度线段在所述融合图像中的位置以及所述积水区域的图像在所述融合图像中的位置，判断所述积水区域是否满足所述积水告警条件。

11.根据权利要求8-10中任一项所述的积水识别装置，其中，所述语义分割模型为segformer网络；

所述装置还包括处理单元；

所述处理单元，用于在所述语义分割模型的训练过程中，对包括样本积水区域的第一样本图像进行重采样；所述第一样本图像用于训练得到所述语义分割模型。

12.根据权利要求8-11中任一项所述的积水识别装置，其中，

所述积水告警条件还包括：

所述目标场景中积水区域的积水等级为目标积水等级；所述目标积水等级用于指示存在积水；

或者，所述目标场景中积水区域的积水等级对应的深度范围内包含积水告警深度；所述积水告警深度为基于所述目标场景中的参照物预先设定的。

13.根据权利要求12所述的积水识别装置，所述确定单元还用于：

根据所述待检测图像以及预设的积水等级分类模型，确定所述目标场景中积水区域的积水等级；所述积水等级分类模型具备对输入的图像进行积水等级分类，并计算不同积水等级分类的置信度，以输出所述不同积水等级中置信度最大的积水等级的功能；所述不同积水等级包括干燥、湿滑、轻度积水和重度积水。

14.根据权利要求13所述的积水识别装置，其中，所述积水等级分类模型还具备输出所述不同积水等级的置信度中最大置信度的功能；

所述积水告警条件还包括：所述最大置信度大于第二阈值。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images