CN113554001B - 搅拌车溢料识别方法、系统、电子设备及搅拌站 - Google Patents

Abstract

本发明提供一种搅拌车溢料识别方法、系统、电子设备及搅拌站，该方法包括：获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果。该方法通过视觉算法自动检测，无需人工干预，可降低人力成本。另外，本发明实施例中利用了像素点集合来确定溢料识别结果，可以避免由于溅料导致的误识别，提高了识别的准确率。

Description

搅拌车溢料识别方法、系统、电子设备及搅拌站

技术领域

本发明涉及搅拌站卸料技术领域，尤其涉及一种搅拌车溢料识别方法、系统、电子设备及搅拌站。

背景技术

随着社会的不断发展，公路、桥梁等基础设施也建设的越来越多，在基础设施的建设中，混凝土是必不可少的原料。混凝土的卸料过程就是指混凝土从搅拌站到搅拌车的过程，而在卸料的过程中，经常会发生溢料，这会造成混凝土的浪费，进而增加不必要的成本。因此，防止卸料过程中的溢料非常重要。

现有技术中一般采用人工监测的方式检测卸料过程中是否发生溢料，这种方法不仅增加了人工成本，而且可能由于人为因素而导致溢料识别不够准确。

因此，现急需提供一种搅拌车溢料识别方法。

发明内容

本发明提供一种搅拌车溢料识别方法、系统、电子设备及搅拌站，用以解决现有技术中存在的缺陷，实现以较低成本、较高准确率完成自动溢料识别。

本发明提供一种搅拌车溢料识别方法，包括：

获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；

其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。

根据本发明提供的一种搅拌车溢料识别方法，所述基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果，具体包括：

基于所述像素点集合，确定所述卸料监控图像中目标区域内预定区域的面积；

基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果。

根据本发明提供的一种搅拌车溢料识别方法，所述预定区域为所述卸料监控图像中目标区域内的第一类像素点集合构成的第一区域；相应地，所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果为具有溢料风险，具体包括：

若判断获知所述第一区域的面积小于第一预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第一预设阈值用于表征所述搅拌车接料斗未溢料时所述第一区域的最小面积值。

根据本发明提供的一种搅拌车溢料识别方法，还包括：

获取所述搅拌站卸料前的状态监控图像，并基于所述实例分割模型，对所述状态监控图像进行实例分割，确定所述状态监控图像中搅拌车接料斗内壁的基准像素点集合；

确定所述状态监控图像中所述目标区域内的第一基准像素点集合构成的第一基准区域的面积；

所述预定区域为所述卸料监控图像中目标区域内的第一类像素点集合构成的第一区域；相应地，所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果，具体还包括：

若判断获知所述第一区域的面积与所述第一基准区域的面积的比值小于第二预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险。

根据本发明提供的一种搅拌车溢料识别方法，还包括：

获取所述搅拌站卸料前的状态监控图像，并基于所述实例分割模型，确定所述状态监控图像中所述搅拌车接料斗的基准关键点；

基于所述基准关键点，对所述状态监控图像中所述目标区域进行划分，确定所述状态监控图像中目标区域内的重点区域；

确定所述状态监控图像中重点区域内的第二基准像素点集合，并确定所述第二基准像素点集合构成的第二基准区域的面积；

所述预定区域为所述卸料监控图像中重点区域的第二类像素点集合构成的第二区域；相应地，所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果，具体还包括：

若判断获知所述第二区域的面积与所述第二基准区域的面积的比值小于第三预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第三预设阈值用于表征所述搅拌车接料斗未溢料时所述第二区域的面积与所述第二基准区域的面积的最小比值。

根据本发明提供的一种搅拌车溢料识别方法，所述搅拌车接料斗包括接料斗本体和挡板，所述挡板固定于所述接料斗本体上；所述基准关键点包括第一关键点、第二关键点以及第三关键点，所述第一关键点与所述第二关键点分别为所述接料斗本体与所述挡板的临界接触点，所述第三关键点为所述接料斗本体上与所述挡板相对的一侧的目标边缘点，所述目标边缘点为与所述接料斗本体的中心轴线距离最远的工作边缘点；

所述基于所述基准关键点，对所述状态监控图像中所述目标区域进行划分，确定所述状态监控图像中所述目标区域内的重点区域，具体包括：

连接所述第一关键点和所述第二关键点，得到第一线段，并沿所述第三关键点从下至上做垂线至所述目标区域对应的区域矩形框，得到第二线段；

基于所述第一线段以及所述第二线段，将所述卸料监控图像中所述搅拌车接料斗划分成多个部分；

从多个部分中选取所述状态监控图像中目标区域内的重点区域。

根据本发明提供的一种搅拌车溢料识别方法，所述确定所述搅拌车接料斗的溢料识别结果为具有溢料风险，之后还包括：

向搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制搅拌站卸料口对应的卸料门开度。

本发明还提供一种搅拌车溢料识别系统，包括：

卸料监控图像获取模块，用于获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

溢料识别结果确定模块，用于基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；

其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。

本发明还提供一种搅拌站，包括搅拌站控制系统以及上述的搅拌车溢料识别系统；

所述搅拌站控制系统用于基于所述搅拌车溢料识别系统确定的溢料识别结果，控制搅拌站卸料。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述搅拌车溢料识别方法的步骤。

本发明提供的搅拌车溢料识别方法、系统、电子设备及搅拌站，通过实例分割模型得到搅拌车接料斗内壁的像素点集合，再通过像素点集合，获取搅拌车接料斗的溢料识别结果，该方法通过视觉算法自动检测，无需人工干预，可降低人力成本。另外，本发明实施例中利用了像素点集合来确定溢料识别结果，可以避免由于溅料导致的误识别，提高了识别的准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的搅拌车溢料识别方法的流程示意图之一；

图2是本发明提供的第二类关键点以及目标区域划分的示意图；

图3是本发明提供的搅拌车溢料识别方法的流程示意图之二；

图4是本发明提供的搅拌车溢料识别系统的结构示意图

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前在识别搅拌站卸料过程中是否发生了溢料，一般采用人工监测的方法，这种方法不仅增加了人工成本，而且可能由于人为因素而导致溢料识别不够准确。为此，本发明实施例中提供了一种搅拌车溢料识别方法。

图1是本发明提供的搅拌车溢料识别方法的流程示意图之一，如图1所述，该方法包括：

S1，获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

S2，基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；

其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。

具体地，本发明实施例中提供的搅拌车溢料识别方法，其执行主体可以是嵌入式边缘算力模块，该模块可以配置在搅拌站智能卸料监控系统中。其中，搅拌站智能卸料监控系统可以设置在搅拌站的中控室中。

首先执行步骤S1，获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗。

当搅拌车进入搅拌站后，在搅拌车停稳并且搅拌车接料斗与搅拌站卸料口已经对齐的情况下，说明搅拌站可以开始卸料，即可以进入卸料过程，因此，可以获取搅拌站卸料过程中的卸料监控图像，此时获取到的卸料监控图像就是搅拌站卸料过程中的包含有搅拌车接料斗且没有其他干扰信息的卸料监控图像。

其中，卸料监控图像可以通过搅拌站的监控摄像头获取。搅拌站的监控摄像头可以是搅拌站原有的监控摄像头，具有能够获取搅拌站卸料口的监控画面的功能。搅拌站监控摄像头的安装位置可以在搅拌站卸料口对面的墙上，安装高度要达到能够监控到完整搅拌车接料斗的高度，安装角度可以根据需要进行设置，本发明实施例中对此不作具体限定。当监控摄像头安装后，可以以一定角度拍摄得到卸料监控图像。

由于监控摄像头获取到的是搅拌车卸料过程中的卸料监控视频信息，因此，还需要把卸料监控视频信息解析成视频帧，将卸料监控视频信息解析成视频帧后的每一视频帧就是一张搅拌车卸料过程中的卸料监控图像。

然后执行步骤S2，基于实例分割模型，对卸料监控图像进行实例分割，进而确定出卸料监控图像中搅拌车接料斗内壁的像素点集合。本发明实施例中可以将卸料监控图像输入至实例分割模型，得到实例分割模型输出的卸料监控图像中搅拌车接料斗内壁的像素点集合。其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。搅拌车接料斗内壁是指搅拌车接料斗中除去混凝土等物料之外的区域。

实例分割模型可以是Mask RCNN神经网络模型等现有的开源实例分割神经网络模型等，本发明实施例对此不作具体限定。

实例分割模型可以对输入的卸料监控图像进行目标检测，也就是将卸料监控图像中的不同目标全部检测出来，再对不同目标中的像素点进行分类。也就是说，实例分割模型可以将卸料监控图像中的不同类别的像素点进行分类，例如，将所有归属于混凝土的像素点归为一类，将所有归属于搅拌车接料斗外壁的像素点归为一类等。因此，实例分割模型可以识别出搅拌车接料斗的内壁的像素点集合。

实例分割模型可以基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。具体可以通过如下方式训练得到实例分割模型：首先，收集大量包含有搅拌车接料斗的卸料监控图像样本，并在卸料监控图像样本上进行标注，即使用不同的图层标注出卸料监控图像样本中的不同类别的目标，一个图层对应一个目标，例如，将搅拌车接料斗的内壁标注为第一图层、将混凝土标注为第二图层等。随即，基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练初始模型，从而得到实例分割模型。

搅拌车接料斗内壁的像素点集合的表示形式可以是S=[（12,23）、（34,45）……（45,26）……]，S中的每一坐标对代表着像素点集合中的一个像素点在卸料监控图像中的坐标位置。

最后执行步骤S3。基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果。

其中，由于获取到的卸料监控图像是卸料过程中的卸料监控图像，因此，实例分割模型输出的卸料监控图像中搅拌车接料斗内壁的像素点集合可以用于表征卸料过程中的搅拌车接料斗内壁的面积变化。

在卸料的过程中，混凝土不断进入搅拌车接料斗，因此，混凝土的高度会不断的增高，也就意味着混凝土会不断地覆盖搅拌车接料斗内壁，因此，随着卸料的进行，搅拌车接料斗内壁的面积会越来越小，使用实例分割模型对卸料监控图像进行实例分割时，得到的搅拌车接料斗内壁的像素点集合中的像素点的数量也越来越少。

因此，可以根据搅拌车接料斗内壁的像素点集合确定搅拌车的溢料识别结果，例如当像素点集合中的像素点个数小于第一预设个数时，说明在卸料监控图像中，属于搅拌车接料斗内壁的像素点已经很少了，也就是说，搅拌车接料斗内壁已经被混凝土覆盖掉绝大部分，此时的搅拌车接料斗的溢料识别结果可以判断为将要发生溢料；当像素点集合中的像素点个数大于第一预设个数时，说明在卸料监控图像中，属于搅拌车接料斗内壁的像素点还比较多，搅拌车接料斗内壁还没有被混凝土覆盖掉太多，此时的搅拌车接料斗的溢料识别结果就不存在溢料风险。其中，不同的搅拌车接料斗对应的第一预设个数可能存在差别，因此第一预设个数可以根据不同的搅拌车接料斗的实际情况进行设定，本发明实施例中对此不作具体限定。

除此之外，本发明实施例中还可以通过搅拌车接料斗内壁的像素点集合所占的区域面积确定搅拌车的溢料识别结果，例如可以计算区域面积与预设面积之间的差值，然后根据差值与预设差值的比较结果确定搅拌车的溢料识别结果。当差值大于预设差值时，搅拌车接料斗的溢料识别结果就不存在溢料风险；当差值小于预设差值时，搅拌车接料斗的溢料识别结果可以判断为将要发生溢料。还可以计算区域面积与预设面积之间的比值，然后根据比值与预设比值的比较结果确定搅拌车的溢料识别结果。当比值大于预设比值时，搅拌车接料斗的溢料识别结果就不存在溢料风险；当比值小于预设比值时，搅拌车接料斗的溢料识别结果可以判断为将要发生溢料。

本发明实施例中的搅拌车溢料识别方法，通过实例分割模型得到搅拌车接料斗内壁的像素点集合，再通过像素点集合，获取搅拌车接料斗的溢料识别结果。该方法通过视觉算法自动检测，无需人工干预，可降低人力成本。另外，由于是利用了像素点集合来判断搅拌车接料斗的溢料识别结果，因此可以避免由于溅料导致的误识别，提高了识别的准确率。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别方法，所述基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果，具体包括：

基于所述像素点集合，确定所述卸料监控图像中目标区域内预定区域的面积；

基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果。

具体地，本发明实施例中，在通过像素点集合确定搅拌车接料斗的溢料识别结果时，可以先基于所述像素点集合，确定出卸料监控图像中目标区域内预定区域的面积。其中，目标区域是指卸料监控图像中包含有搅拌车接料斗的区域，可以是由搅拌车接料斗构成的区域。

目标区域可以通过实例分割模型确定。在训练初始模型时，可以在卸料监控图像样本中添加标注，使卸料监控图像样本携带有搅拌车接料斗区域的最左顶角和最右顶角的坐标点的标签，因此，在通过训练得到实例分割模型后，实例分割模型就可以输出搅拌车接料斗区域的最左顶角和最右顶角的坐标点，根据这两个坐标点，在卸料监控图像中可以确定出一个矩形框区域，这个矩形框区域包含了搅拌车接料斗，可以作为目标区域。

预定区域是指目标区域内的区域，例如可以是搅拌车接料斗内壁构成的区域，也可以通过对搅拌车接料斗内壁进行划分得到。在确定预定区域的面积时，可以先根据像素点集合，确定出目标区域的面积，然后根据目标区域的面积，通过划分目标区域的方式确定预定区域的面积。

然后根据预定区域的面积，确定出搅拌车接料斗的溢料识别结果。本发明实施例中，可以将预定区域的面积直接与给定面积进行比较，并根据比较结果确定搅拌车接料斗的溢料识别结果；也可以计算预定区域的面积与给定面积的差值，并根据差值确定搅拌车接料斗的溢料识别结果；还可以计算预定区域的面积与给定面积的比值，并根据比值确定搅拌车接料斗的溢料识别结果。本发明实施例中对此不作具体限定。其中，给定面积可以根据需要预先调研或计算得到。

本发明实施例中，通过卸料监控图像中目标区域内预定区域的面积，确定搅拌车接料斗的溢料识别结果，可以更加细粒度地对溢料识别结果进行确定，使得溢料识别结果精度更高。

在上述实施例的基础上，本发明实施例中提供的搅拌车溢料识别方法，所述预定区域为所述卸料监控图像中目标区域内的第一类像素点集合构成的第一区域；相应地，所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果为具有溢料风险，具体包括：

若判断获知所述第一区域的面积小于第一预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第一预设阈值用于表征所述搅拌车接料斗未溢料时所述第一区域的最小面积值。

具体地，本发明实施例中，可以先确定所述卸料监控图像中包含有搅拌车接料斗的目标区域内的第一类像素点集合构成的第一区域的面积。即此处，将预定区域设置为卸料监控图像中目标区域内的第一类像素点集合构成的第一区域。

第一类像素点集合是指目标区域内的像素点集合，也就是卸料过程中的搅拌车接料斗内壁的像素点集合，其表示形式与上述实施例中的像素点集合相同。又由于图像是由许多个像素点组成，每个像素点在图像中都是一个正方形，且像素点铺满整张图像，因此，可以确定由第一类像素点集合构成的第一区域的面积。第一区域的面积就可以表示卸料过程中的搅拌车接料斗内壁的面积。

因此，当确定第一区域的面积后，就可以判断第一区域的面积与第一预设阈值之间的大小关系，如果经过判断得知，第一区域的面积小于第一预设阈值，则说明在搅拌站卸料过程中，由于料位升高导致搅拌车接料斗内壁的面积已经被混凝土覆盖掉了绝大部分。因此，可以确定搅拌车接料斗的溢料识别结果为具有溢料风险。

其中，第一预设阈值用于表征搅拌车接料斗未溢料时第一区域的最小面积值。第一预设阈值可以根据实际情况进行设置，例如，可以先通过实例分割模型识别得到搅拌车接料斗的外边界或者通过车牌确定车型或尺寸，然后根据机器学习得到的接料斗内壁面积经验数据，进行第一预设阈值的相应设置。还可以采用其他方式设置，本发明实施例对此不作具体限定。

本发明实施例中的搅拌车溢料识别方法，通过卸料监控图像中目标区域内的第一类像素点集合构成第一区域的面积，再通过第一区域的面积与第一预设阈值的比较结果，确定搅拌车接料斗的溢料识别结果，由于是通过第一区域的面积确定的溢料识别结果，因此可以避免由于溅料造成的误识别，提高溢料识别的准确率。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别方法，还包括：

获取所述搅拌站卸料前的状态监控图像，并基于所述实例分割模型，对所述状态监控图像进行实例分割，确定所述状态监控图像中搅拌车接料斗内壁的基准像素点集合；

确定所述状态监控图像中所述目标区域内的第一基准像素点集合构成的第一基准区域的面积；

所述预定区域为所述卸料监控图像中目标区域内的第一类像素点集合构成的第一区域；相应地，所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果，具体还包括：

若判断获知所述第一区域的面积与所述第一基准区域的面积的比值小于第二预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第二预设阈值用于表征所述搅拌车接料斗未溢料时所述第一区域的面积与所述第一基准区域的面积的最小比值。

具体地，本发明实施例中，还可以获取搅拌车卸料前的状态监控图像，由于状态监控图像是搅拌车卸料前的图像，因此，状态监控图像中的搅拌车接料斗没有混凝土，也就是说，状态监控图像中的搅拌车接料斗内壁没有被混凝土覆盖。

在得到状态监控图像后，就可以基于实例分割模型，确定状态监控图像中搅拌车接料斗内壁的基准像素点集合。将状态监控图像输入至实例分割模型，就可以得到实例分割模型输出的状态监控图像中搅拌车接料斗内壁的基准像素点集合。

基准像素点集合的表示形式与上述实施例中的像素点集合的表示形式相同。在得到基准像素点集合后，也可以通过上述实施例的方法，根据基准像素点集合，确定状态监控图像中目标区域内的第一基准像素点集合构成的第一基准区域的面积。其中，第一基准像素点集合是指状态监控图像中目标区域内的基准像素点集合。第一基准区域的面积是指卸料之前的搅拌车接料斗内壁的面积。

然后，本发明实施例中，可以将预定区域设置为卸料监控图像中目标区域内的第一类像素点集合构成的第一区域。进而，可以通过第一区域的面积与第一基准区域的面积确定搅拌车接料斗的溢料识别结果。例如，可以通过第一区域的面积与第一基准区域的面积的比值来实现。也就是说，确定搅拌车接料斗的溢料识别结果还可以是通过卸料过程中的搅拌车接料斗内壁的面积和卸料之前的搅拌车接料斗内壁的面积的比值实现。

如果经过判断得知，第一区域的面积与第一基准区域的面积的比值小于第二预设阈值，也就是说，卸料过程中的搅拌车接料斗内壁的面积与卸料之前的搅拌车接料斗内壁的面积的比值小于第二预设阈值，则说明，卸料过程中的搅拌车接料斗内壁的面积已经比较小了，因此，可以确定搅拌车接料斗的溢料识别结果为具有溢料风险。

其中，第二预设阈值用于表征所述搅拌车接料斗未溢料时所述第一区域的面积与所述第一基准区域的面积的最小比值。第二预设阈值可以根据实际需要进行设置，例如，可以先通过实例分割模型识别得到搅拌车接料斗的外边界或者通过车牌确定车型或尺寸，然后根据机器学习得到的接料斗内壁面积经验数据，进行第二预设阈值的相应设置。还可以采用其他方式设置，本发明实施例对此不作具体限定。

本发明实施例中的搅拌车溢料识别方法，通过获取卸料前的状态监控图像，并基于实例分割模型，确定状态监控图像中搅拌车接料斗内壁的基准像素点集合，再确定由第一基准像素点集合构成的第一基准区域的面积，最后通过比较第一区域的面积和第一基准区域的面积，确定搅拌车接料斗的溢料识别结果，实现了通过比较卸料前和卸料过程中的搅拌车接料斗内壁的面积的比值确定搅拌车接料斗的溢料识别结果，进一步提高了溢料识别的准确率。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别方法，还包括：

获取所述搅拌站卸料前的状态监控图像，并基于所述实例分割模型，确定所述状态监控图像中所述搅拌车接料斗的基准关键点；

基于所述基准关键点，对所述状态监控图像中所述目标区域进行划分，确定所述状态监控图像中目标区域内的重点区域；

确定所述状态监控图像中重点区域内的第二基准像素点集合，并确定所述第二基准像素点集合构成的第二基准区域的面积；

所述预定区域为所述卸料监控图像中重点区域的第二类像素点集合构成的第二区域；相应地，所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果，具体还包括：

若判断获知所述第二区域的面积与所述第二基准区域的面积的比值小于第三预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第三预设阈值用于表征所述搅拌车接料斗未溢料时所述第二区域的面积与所述第二基准区域的面积的最小比值。

具体地，本发明实施例中，还可以基于实例分割模型，确定状态监控图像中搅拌车接料斗的基准关键点。将状态监控图像输入至实例分割模型，就可以得到实例分割模型输出的状态监控图像中搅拌车接料斗的基准关键点。

由于摄像头在安装好之后位置不会发生变化，因此，状态监控图像和卸料监控图像的拍摄角度相同，拍摄到的区域也相同，都会包含搅拌车接料斗，也就是说，状态监控图像和卸料监控图像表示的是同一区域的卸料前的图像和卸料过程中的图像。

因此，在训练初始模型时，可以在卸料监控图像样本中添加标注，使卸料监控图像样本携带有搅拌车接料斗的基准关键点标签，在通过训练得到实例分割模型后，实例分割模型就可以输出搅拌车接料斗的基准关键点。其中，搅拌车接料斗的基准关键点可以是状态监控图像中搅拌车接料斗外缘边界上具有一定特征的点。

在得到基准关键点后，就可以通过基准关键点，对状态监控图像中的目标区域进行划分，确定状态监控图像中目标区域内的重点区域。

其中，通过基准关键点，对目标区域进行划分的方法可以是通过将基准关键点进行连接实现。例如，当基准关键点包括上边缘关键点、下边缘关键点、左边缘关键点以及右边缘关键点时，可以通过分别连接上边缘关键点和下边缘关键点以及左边缘关键点和右边缘关键点，将目标区域划分成四个部分。

在划分完成后，就可以得到目标区域的各个部分，重点区域就是各个部分中的一个部分或多个部分。重点区域应该满足，重点区域内的搅拌车接料斗的内壁没有被遮挡，且重点区域的搅拌车接料斗的边缘低于搅拌车接料斗的工作边缘或与搅拌车接料斗的工作边缘重合。其中，搅拌车接料斗的工作边缘是指能够用于确定搅拌车接料斗的容量的最高外沿边缘。

由上述实施例可知，卸料监控图像是卸料过程中的图像，因此，在确定出重点区域后，就可以基于实例分割模型，确定重点区域内的第二类像素点集合。由上述实施例可知，将状态监控图像输入至实例分割模型，可以得到实例分割模型输出的状态监控图像中搅拌车接料斗内壁的第一基准像素点集合。再根据第一基准像素点集合中各个像素点的坐标位置，就可以确定出属于重点区域内的基准像素点，从而确定出状态监控图像中重点区域内的第二基准像素点集合。其中，第二基准像素点集合是指状态监控图像中重点区域内的基准像素点集合。第二类像素点集合的表示形式与上述实施例中的像素点集合的表示形式相同。

在得到第二基准像素点集合后，可以通过上述实施例的方法，确定状态监控图像中重点区域内的第二基准像素点集合构成的第二基准区域的面积。第二基准区域的面积，就是卸料之前的重点区域的搅拌车接料斗内壁的面积。

然后，可以将预定区域设置为卸料监控图像中重点区域的第二类像素点集合构成的第二区域。进而，根据第二区域的面积以及第二基准区域的面积即可确定搅拌车接料斗的溢料识别结果。例如，若第二区域的面积与第二基准区域的面积的比值小于第三预设阈值，则确定搅拌车接料斗的溢料识别结果为具有溢料风险。也就是说，可以通过卸料过程中的重点区域的搅拌车接料斗内壁的面积和卸料之前的重点区域的搅拌车接料斗内壁的面积的比值确定搅拌车接料斗的溢料识别结果。

如果经过判断得知，第二区域的面积与第二基准区域的面积的比值小于第三预设阈值，也就是说，卸料过程中的重点区域的搅拌车接料斗内壁的面积与卸料之前的重点区域的搅拌车接料斗内壁的面积的比值小于第三预设阈值，则说明，卸料过程中的重点区域的搅拌车接料斗内壁的面积已经比较小了，因此，可以确定搅拌车接料斗的溢料识别结果为具有溢料风险。

其中，第三预设阈值用于表征所述搅拌车接料斗未溢料时所述第二区域的面积与所述第二基准区域的面积的最小比值。第三预设阈值可以根据实际需要进行设置，例如，可以先通过实例分割模型识别得到搅拌车接料斗的外边界或者通过车牌确定车型或尺寸，然后根据机器学习得到的接料斗内壁面积经验数据，进行第三预设阈值的相应设置。还可以采用其他方式设置，本发明实施例对此不作具体限定。

本发明实施例中的搅拌车溢料识别方法，通过获取基准关键点，并根据基准关键点确定重点区域，再确定重点区域中的第二类像素点集合，最后通过第二类像素点集合确定搅拌车接料斗的溢料识别结果，由于对目标区域进行了划分，确定了重点区域，因此，进一步提高了溢料识别的准确率。通过确定第二区域的面积，再通过确定状态监控图像中重点区域内的第二基准像素点集合，通过第二基准像素点集合确定由第二基准像素点集合构成的第二基准区域的面积，最后通过比较第二区域的面积和第二基准区域的面积，确定搅拌车接料斗的溢料识别结果，实现了通过比较卸料前和卸料过程中的重点区域的搅拌车接料斗内壁的面积的比值确定搅拌车接料斗的溢料识别结果，进一步提高了溢料识别的准确率。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别方法，所述搅拌车接料斗包括接料斗本体和挡板，所述挡板固定于所述接料斗本体上；所述基准关键点包括第一关键点、第二关键点以及第三关键点，所述第一关键点与所述第二关键点分别为所述接料斗本体与所述挡板的临界接触点，所述第三关键点为所述接料斗本体上与所述挡板相对的一侧的目标边缘点，所述目标边缘点为与所述接料斗本体的中心轴线距离最远的工作边缘点；

所述基于所述基准关键点，对所述状态监控图像中所述目标区域进行划分，确定所述状态监控图像中所述目标区域内的重点区域，具体包括：

连接所述第一关键点和所述第二关键点，得到第一线段，并沿所述第三关键点从下至上做垂线至所述目标区域对应的区域矩形框，得到第二线段；

基于所述第一线段以及所述第二线段，将所述卸料监控图像中所述搅拌车接料斗划分成多个部分；

从多个部分中选取一个部分作为所述状态监控图像中所述目标区域内的所述重点区域。

具体地，图2是本发明提供的基准关键点以及目标区域划分的示意图，如图2所示，本发明实施例中，搅拌车接料斗可以包括接料斗本体21和挡板22，挡板22固定于接料斗本体21上。

实例分割模型输出的状态监控图像中搅拌车接料斗的基准关键点包括第一关键点23、第二关键点24以及第三关键点25，第一关键点23与第二关键点24分别为接料斗本体21与挡板22的临界接触点，第三关键点25为接料斗本体21上与挡板22相对的一侧的目标边缘点，目标边缘点为与接料斗本体21的中心轴线距离最远的工作边缘点，即搅拌车接料斗的工作边缘26上与接料斗中心轴线距离最远的边缘点。图2中的虚线矩形框221内的区域代表目标区域，27表示搅拌站卸料口。

在得到基准关键点后，可以将第一关键点23和第二关键点24连接起来，得到第一线段211；再沿第三关键点25从下至上做垂线至所述目标区域对应的区域矩形框221，得到第二线段212。

其中，区域矩形框即上述实施例中目标区域的外轮廓线，其确定的方法与上述实施例中确定目标区域的方法相同，均可以通过实例分割模型确定。

在得到第一线段和第二线段后，就可以根据第一线段和第二线段将卸料监控图像中的搅拌车接料斗划分成多个部分，例如图2中所示的4个部分，重点区域就可以从这4个部分中选取一个部分。

重点区域的选取可以根据以下的方法：

对于多个部分中的任一部分，若判断获知任一部分中的搅拌车接料斗边缘满足如下两个条件，则将任一部分作为重点区域：

任一部分中的搅拌车接料斗边缘低于搅拌车接料斗工作边缘或与搅拌车接料斗工作边缘重合；任一部分中的搅拌车接料斗边缘对应的内壁未被遮挡，也可以是属于任一部分的第二类像素点和个数最多，即任一部分中的搅拌车接料斗内壁的面积最大。

本发明实施例中的搅拌车溢料识别方法，通过基准关键点将目标区域划分成四个部分，再通过判断条件确定重点区域，由于重点区域的内壁没有被遮挡且侧壁高度低于搅拌车接料斗外沿的边缘部分，因此，使用重点区域进行溢料识别的结果更加准确。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别方法，所述确定所述搅拌车接料斗的溢料识别结果为具有溢料风险，之后还包括：

向搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制搅拌站卸料口对应的卸料门开度。

具体地，本发明实施例中，如果确定搅拌车接料斗的溢料识别结果为具有溢料风险，说明此时搅拌车接料斗内的混凝土的高度已经非常接近搅拌车接料斗的工作边缘，可能会发生溢料，因此，为了防止溢料，需要向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使搅拌站控制系统基于第一控制信号控制搅拌站卸料口对应的卸料门开度。第一控制信号可以用于指示控制搅拌站卸料口对应的卸料门半开、开1/3或全关等。

例如，当第一区域的面积与目标区域的面积的比值小于预设阈值，但与预设阈值之间的差距非常小，说明此时虽然具有溢料风险，但搅拌车接料斗内的混凝土的高度距离搅拌车接料斗的工作边缘还有一定的距离，因此，可以发送第一信号，以使搅拌站控制系统基于第一控制信号控制搅拌站卸料口对应的卸料门开1/3。

当第一区域的面积与目标区域的面积的比值小于预设阈值，且非常接近0时，说明此时具有溢料风险，且溢料风险很大，搅拌车接料斗内的混凝土的高度非常接近搅拌车接料斗的工作边缘，因此，可以发送第一信号，以使搅拌站控制系统基于第一控制信号控制搅拌站卸料口对应的卸料门全关。

当第一区域的面积与目标区域的面积的比值大于预设阈值时，说明此时不具有溢料风险，搅拌车接料斗内的混凝土的高度距离搅拌车接料斗的工作边缘还比较远，因此，可以不用发送第一信号，保持正常卸料即可。

本发明实施例中的搅拌车溢料识别方法，当第一区域的面积与目标区域的面积的比值小于预设阈值，也就是确定搅拌车接料斗的溢料识别结果为具有溢料风险之后，向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，从而控制卸料门的开度，保证了在搅拌车接料斗内的混凝土的高度较高或将要达到搅拌车接料斗的工作边缘高度时，能够及时对卸料口的开度进行控制，防止溢料。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别方法，所述获取搅拌车卸料过程中的卸料监控图像，之前还包括：

若确定所述搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

具体地，本发明实施例中，在获取搅拌车卸料过程中的卸料监控图像之前，还需要判断搅拌车是否处于停稳状态并且需要判断搅拌站卸料口与搅拌车接料斗是否已经对齐，如果这两个条件均满足，则说明此时可以开始进行卸料，因此，可以向搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，第二控制信号用于指示开始卸料。

判断搅拌车是否停稳可以通过获取监控视频的方式，在搅拌车逐步进入搅拌站时，获取搅拌站卸料口处的监控视频，将监控视频解析为视频帧。对视频帧进行全局识别，检测出包含有搅拌车接料斗图像的视频帧，将包含有搅拌车接料斗图像的视频帧输入至实例分割模型模型，得到搅拌车接料斗的第一类关键点。

可以判断预设时间范围内视频帧中的搅拌车接料斗的第一类关键点的位置信息变化是否在预设的距离范围内，如果在预设时间范围内视频帧中的搅拌车接料斗的第一类关键点的位置信息变化在预设的距离范围内，则说明此时搅拌车已经停稳，可以开始进行卸料。其中，预设时间范围和预设的距离范围可以根据实际需要进行设置，本发明实施例对此不作具体限定。

在搅拌车停稳后，可以通过比较搅拌车接料斗的第一类关键点的位置信息和搅拌站卸料口的中轴线的位置信息之间的垂直最短距离，判断搅拌车接料斗和搅拌站卸料口是否对齐。若搅拌车接料斗的第一类关键点的中心的位置信息和搅拌站卸料口的中轴线的位置信息之间的垂直最短距离在预设范围内，则说明搅拌车接料斗和搅拌站卸料口已经对齐。

其中，搅拌站卸料口的中轴线的位置信息可以根据搅拌站的实际情况进行设置，预设范围可以根据实际的需要进行设置，本发明实施例对此不作具体限定。

本发明实施例中的搅拌车溢料检测方法，通过在获取卸料过程中的卸料监控图像之前，判断搅拌车是否处于停稳状态并且判断搅拌站卸料口与搅拌车接料斗是否已对齐，在搅拌车停稳且搅拌站卸料口与搅拌车接料斗对齐的情况下向搅拌站卸料口对应的搅拌站控制系统发送第二控制信号用于指示开始卸料，避免了在未停稳或未对齐的情况下开始卸料，造成混凝土的浪费，同时也可以使后续的溢料检测结果更准确。

图3是本发明提供的搅拌车溢料识别方法的流程示意图之二，如图3所示，该方法包括：

S31，获取搅拌车卸料前的状态监控图像，卸料监控图像中的搅拌车接料斗内没有混凝土；

S32，将状态监控图像输入至实例分割模型，得到基准关键点以及基准像素点集合；

S33，基于基准关键点，确定重点区域；

S34，确定重点区域内的第二基准像素点集合，并根据第二基准像素点集合，确定第二基准区域的面积；

S35，获取搅拌车卸料过程中的卸料监控图像，卸料监控图像中的搅拌车接料斗内装有混凝土；

S36，将卸料监控图像输入至实例分割模型，得到卸料监控图像中搅拌车接料斗内壁的像素点集合；

S37，确定重点区域内的第二类像素点集合，并根据第二类像素点集合确定第二区域的面积；

S38，计算第二区域的面积与第二基准区域的面积的比值；

S39，判断比值是否小于第三预设阈值，如果是，执行步骤S310，如果不是，则执行步骤S311；

S310，向搅拌站卸料口对应的搅拌站控制系统发送控制信号，控制卸料门的开度；

S311，保持卸料状态。

本发明还提供一种搅拌车溢料识别系统，图4是本发明提供的搅拌车溢料识别系统的结构示意图，如图4所示，该系统包括：

卸料监控图像获取模块401，用于获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

溢料识别结果确定模块402，用于基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；

其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别系统，所述溢料识别结果确定模块，具体包括：

预定区域面积确定子模块，用于基于所述像素点集合，确定所述卸料监控图像中包含有所述搅拌车接料斗的目标区域内预定区域的面积；

判断子模块，用于基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别系统，预定区域为所述卸料监控图像中目标区域内的第一类像素点集合构成的第一区域；相应地，所述判断子模块具体用于：

若判断获知所述第一区域的面积小于第一预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第一预设阈值用于表征所述搅拌车接料斗未溢料时所述第一区域的最小面积值。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别系统，还包括：

状态监控图像获取模块，用于获取所述搅拌站卸料前的状态监控图像，并基于所述实例分割模型，对所述状态监控图像进行实例分割，确定所述状态监控图像中搅拌车接料斗内壁的基准像素点集合；

第一基准区域面积确定模块，用于确定所述状态监控图像中所述目标区域内的第一基准像素点集合构成的第一基准区域的面积；

所述预定区域为所述卸料监控图像中目标区域内的第一类像素点集合构成的第一区域；相应地，所述判断子模块，具体还用于：

若判断获知所述第一区域的面积与所述第一基准区域的面积的比值小于第二预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第二预设阈值用于表征所述搅拌车接料斗未溢料时所述第一区域的面积与所述第一基准区域的面积的最小比值。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别系统，还包括：

基准关键点确定模块，用于获取所述搅拌站卸料前的状态监控图像，并基于所述实例分割模型，确定所述状态监控图像中所述搅拌车接料斗的基准关键点；

重点区域确定模块，用于基于所述基准关键点，对所述状态监控图像中所述目标区域进行划分，确定所述状态监控图像中目标区域内的重点区域；

第二基准区域面积确定模块，用于确定所述状态监控图像中重点区域内的第二基准像素点集合，并确定所述第二基准像素点集合构成的第二基准区域的面积；

所述预定区域为所述卸料监控图像中重点区域的第二类像素点集合构成的第二区域；相应地，所述判断子模块，具体还用于：

若判断获知所述第二区域的面积与所述第二基准区域的面积的比值小于第三预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第三预设阈值用于表征所述搅拌车接料斗未溢料时所述第二区域的面积与所述第二基准区域的面积的最小比值。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别系统，所述基准关键点包括所述状态监控图像中左侧的搅拌车接料斗边缘的第一关键点、右侧的搅拌车接料斗边缘的第二关键点以及下侧的搅拌车接料斗边缘的第三关键点；

所述重点区域确定模块，具体包括：

连接子模块，用于连接所述第一关键点和所述第二关键点，得到第一线段，并沿所述第三关键点从下至上做垂线至区域矩形框，得到第二线段；所述区域矩形框基于所述实例分割模型确定；

划分子模块，用于基于所述第一线段以及所述第二线段，将所述卸料监控图像中所述搅拌车接料斗划分成多个部分；

选取子模块，用于从多个部分选取一个部分作为所述状态监控图像中所述目标区域内的所述重点区域。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别系统，还包括：

信号发送模块，用于向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料识别系统，所述信号发送模块还用于：

若确定所述搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

本发明还提供一种搅拌站，包括搅拌站控制系统以及如上述任一实施例所述的搅拌车溢料识别系统；

所述搅拌车溢料识别系统用于确定搅拌车接料斗的溢料识别结果；

所述搅拌站控制系统用于基于所述搅拌车溢料识别系统确定的溢料识别结果，控制搅拌站卸料，如对搅拌站卸料口对应的卸料门开度进行控制或控制卸料门的启闭。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行搅拌车溢料识别方法，该方法包括：获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的搅拌车溢料识别方法，该方法包括：获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的搅拌车溢料识别方法，该方法包括：获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种搅拌车溢料识别方法，其特征在于，包括：

获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；所述搅拌车接料斗内壁是指所述搅拌车接料斗中除去物料之外的区域；

其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到；

所述基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果，具体包括：

基于所述像素点集合，确定所述卸料监控图像中目标区域内预定区域的面积；

基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果；

所述目标区域为所述卸料监控图像中由所述搅拌车接料斗构成的区域；所述预定区域为所述卸料监控图像中目标区域内的第一类像素点集合构成的第一区域，或者所述卸料监控图像中重点区域的第二类像素点集合构成的第二区域；

所述第一类像素点集合是指所述搅拌站卸料过程中所述搅拌车接料斗内壁的像素点集合，所述重点区域为所述搅拌车接料斗内壁没有被遮挡，且所述搅拌车接料斗的边缘低于所述搅拌车接料斗的工作边缘或与所述搅拌车接料斗的工作边缘重合的区域；

所述获取搅拌站卸料过程中的卸料监控图像，之前还包括：

若确定搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

2.根据权利要求1所述的搅拌车溢料识别方法，其特征在于，所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果，具体包括：

若判断获知所述第一区域的面积小于第一预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第一预设阈值用于表征所述搅拌车接料斗未溢料时所述第一区域的最小面积值。

3.根据权利要求1所述的搅拌车溢料识别方法，其特征在于，还包括：

获取所述搅拌站卸料前的状态监控图像，并基于所述实例分割模型，对所述状态监控图像进行实例分割，确定所述状态监控图像中搅拌车接料斗内壁的基准像素点集合；

确定所述状态监控图像中所述目标区域内的第一基准像素点集合构成的第一基准区域的面积；

所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果，具体还包括：

若判断获知所述第一区域的面积与所述第一基准区域的面积的比值小于第二预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第二预设阈值用于表征所述搅拌车接料斗未溢料时所述第一区域的面积与所述第一基准区域的面积的最小比值。

4.根据权利要求1所述的搅拌车溢料识别方法，其特征在于，还包括：

获取所述搅拌站卸料前的状态监控图像，并基于所述实例分割模型，确定所述状态监控图像中所述搅拌车接料斗的基准关键点；

基于所述基准关键点，对所述状态监控图像中所述目标区域进行划分，确定所述状态监控图像中目标区域内的重点区域；

确定所述状态监控图像中重点区域内的第二基准像素点集合，并确定所述第二基准像素点集合构成的第二基准区域的面积；

所述基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果，具体还包括：

若判断获知所述第二区域的面积与所述第二基准区域的面积的比值小于第三预设阈值，则确定所述搅拌车接料斗的溢料识别结果为具有溢料风险；

其中，所述第三预设阈值用于表征所述搅拌车接料斗未溢料时所述第二区域的面积与所述第二基准区域的面积的最小比值。

5.根据权利要求4所述的搅拌车溢料识别方法，其特征在于，所述搅拌车接料斗包括接料斗本体和挡板，所述挡板固定于所述接料斗本体上；所述基准关键点包括第一关键点、第二关键点以及第三关键点，所述第一关键点与所述第二关键点分别为所述接料斗本体与所述挡板的临界接触点，所述第三关键点为所述接料斗本体上与所述挡板相对的一侧的目标边缘点，所述目标边缘点为与所述接料斗本体的中心轴线距离最远的工作边缘点；

所述基于所述基准关键点，对所述状态监控图像中所述目标区域进行划分，确定所述状态监控图像中所述目标区域内的重点区域，具体包括：

连接所述第一关键点和所述第二关键点，得到第一线段，并沿所述第三关键点从下至上做垂线至所述目标区域对应的区域矩形框，得到第二线段；

基于所述第一线段以及所述第二线段，将所述卸料监控图像中所述搅拌车接料斗划分成多个部分；

从多个部分中选取所述状态监控图像中目标区域内的重点区域。

6.根据权利要求1-5中任一项所述的搅拌车溢料识别方法，其特征在于，所述确定所述搅拌车接料斗的溢料识别结果为具有溢料风险，之后还包括：

向搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制搅拌站卸料口对应的卸料门开度。

7.一种搅拌车溢料识别系统，其特征在于，包括：

卸料监控图像获取模块，用于获取搅拌站卸料过程中的卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

溢料识别结果确定模块，用于基于实例分割模型，对所述卸料监控图像进行实例分割，确定所述卸料监控图像中搅拌车接料斗内壁的像素点集合，并基于所述像素点集合，确定所述搅拌车接料斗的溢料识别结果；所述搅拌车接料斗内壁是指所述搅拌车接料斗中除去物料之外的区域；

其中，所述实例分割模型基于携带有搅拌车接料斗的图层标签的卸料监控图像样本训练得到；

所述溢料识别结果确定模块，具体用于：

基于所述像素点集合，确定所述卸料监控图像中目标区域内预定区域的面积；

基于所述预定区域的面积，确定所述搅拌车接料斗的溢料识别结果；

所述目标区域为所述卸料监控图像中由所述搅拌车接料斗构成的区域；所述预定区域为所述卸料监控图像中目标区域内的第一类像素点集合构成的第一区域，或者所述卸料监控图像中重点区域的第二类像素点集合构成的第二区域；

所述第一类像素点集合是指所述搅拌站卸料过程中所述搅拌车接料斗内壁的像素点集合，所述重点区域为所述搅拌车接料斗内壁没有被遮挡，且所述搅拌车接料斗的边缘低于所述搅拌车接料斗的工作边缘或与所述搅拌车接料斗的工作边缘重合的区域；

还包括信号发送模块，用于：

若确定搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

8.一种搅拌站，其特征在于，包括搅拌站控制系统以及如权利要求7所述的搅拌车溢料识别系统；

所述搅拌站控制系统用于基于所述搅拌车溢料识别系统确定的溢料识别结果，控制搅拌站卸料。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述搅拌车溢料识别方法的步骤。

Images