CN113554004B - 搅拌车溢料检测方法、检测系统、电子设备及搅拌站 - Google Patents

Abstract

本发明提供一种搅拌车溢料检测方法、检测系统、电子设备及搅拌站，该方法包括获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；其中，所述料位分类模型基于携带有料位特征标签的监控图像样本训练得到，该方法可以实现自动检测是否溢料，无需人工的参与，不仅提高了检测的自动化程度，还可以避免引入人为因素的影响，降低了人力成本，可以使检测结果更加可靠准确。

Description

搅拌车溢料检测方法、检测系统、电子设备及搅拌站

技术领域

本发明涉及搅拌站卸料技术领域，尤其涉及一种搅拌车溢料检测方法、检测系统、电子设备及搅拌站。

背景技术

随着社会的不断发展，公路、桥梁等基础设施也建设的越来越多，在基础设施的建设中，混凝土是必不可少的原料。混凝土的卸料过程是指混凝土从搅拌站卸到搅拌车的过程，由于在卸料的过程中，经常会发生溢料，这会造成混凝土的浪费，进而增加不必要的成本。因此，防止卸料过程中的溢料非常重要。

现有技术中一般采用人工监测的方式检测卸料过程中是否发生溢料，即工作人员通过监控摄像头监测是否发生了溢料，如此不仅人力成本高，而且自动化程度较低，还会引入人为因素的影响，容易出现疏漏，导致监测结果不可靠。

为此，现急需提供一种搅拌车溢料检测方法。

发明内容

本发明提供一种搅拌车溢料检测方法、检测系统、电子设备及搅拌站，用以解决现有技术中采用人工监测的方式检测卸料过程中是否发生溢料时人力成本高、自动化程度较低、监测结果不可靠的缺陷，实现以低成本、高自动化程度和高可靠性完成搅拌车溢料自动检测。

本发明提供一种搅拌车溢料检测方法，包括：

获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；

基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；

其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到。

根据本发明提供的一种搅拌车溢料检测方法，所述卸料监控图像包括连续的预设数量帧卸料监控图像；

相应地，所述基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果，具体包括：

确定各卸料监控图像的料位特征对应的标识信息；

将所有标识信息中重复次数达到目标次数的标识信息对应的料位特征确定为所述搅拌车接料斗的溢料检测结果。

根据本发明提供的一种搅拌车溢料检测方法，所述料位特征包括非溢料特征和溢料特征；

所述非溢料特征与所述溢料特征对应的料位高度依次增加；

相应地，所述基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果，具体包括：

若所述料位特征为非溢料特征，则确定所述溢料检测结果为没有溢料风险；

若所述料位特征为溢料特征，则确定所述溢料检测结果为有溢料风险。

根据本发明提供的一种搅拌车溢料检测方法，所述基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果，之后还包括：

若所述溢料检测结果为没有溢料风险，则确定搅拌站卸料口对应的卸料门开度；

基于所述非溢料特征以及所述卸料门开度，预测所述搅拌车接料斗有溢料风险的时刻。

根据本发明提供的一种搅拌车溢料检测方法，所述基于所述料位特征确定所述搅拌车接料斗的溢料检测结果，之后还包括：

若所述搅拌车接料斗的溢料检测结果为有溢料风险，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度。

根据本发明提供的一种搅拌车溢料检测方法，所述卸料监控图像为基于双目摄像头获取的卸料监控深度图像；

相应地，所述方法还包括：

基于所述卸料监控深度图像，确定所述搅拌车接料斗的边缘深度距离以及所述搅拌车接料斗内混凝土平面的料位深度距离；

基于所述边缘深度距离以及所述料位深度距离，确定所述搅拌车接料斗的溢料检测结果。

根据本发明提供的一种搅拌车溢料检测方法，所述基于所述深度距离以及所述料位深度距离确定搅拌车接料斗溢料检测结果，具体包括：

若所述边缘深度距离与所述料位深度距离的差值小于预设阈值，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度。

根据本发明提供的一种搅拌车溢料检测方法，所述获取卸料监控图像，之前还包括：

若确定搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

根据本发明提供的一种搅拌车溢料检测方法，所述将所述卸料监控图像输入至料位分类模型，之前还包括：对所述卸料监控图像进行图像预处理。

本发明还提供一种搅拌车溢料检测系统，包括：

卸料监控图像获取模块，用于获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

料位分类模块，用于将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；

溢料检测结果确定模块，用于基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；

其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到。

本发明还提供一种搅拌站，包括搅拌站控制系统以及上述的搅拌车溢料检测系统；

所述搅拌站控制系统用于基于所述搅拌车溢料检测系统确定的溢料检测结果，对搅拌站卸料口对应的卸料门开度进行控制。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述搅拌车溢料检测方法的步骤。

本发明提供的搅拌车溢料检测方法、检测系统、电子设备及搅拌站，通过将卸料监控图像输入至料位分类模型，得到料位分类模型输出的卸料监控图像的料位特征，再基于料位特征确定搅拌车接料斗的溢料检测结果，可以实现自动检测搅拌车接料斗是否溢料，无需人工的参与，不仅提高了检测的自动化程度，还可以避免引入人为因素的影响，降低了人力成本，可以使检测结果更加可靠准确。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的搅拌车溢料检测方法的流程示意图之一；

图2是本发明提供的各个料位特征示意图；

图3是本发明提供的搅拌车溢料检测方法的流程示意图之二

图4是本发明提供的搅拌车溢料检测方法的流程示意图之三；

图5是本发明提供的搅拌车溢料检测系统的结构示意图之一；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前在检测搅拌站卸料过程中是否溢料一般采用人工检测的方式，如此不仅人力成本高，而且自动化程度较低，还会引入人为因素的影响，容易出现疏漏，导致监测结果不可靠。因此，本发明提供一种搅拌车溢料检测方法。

图1是本发明提供的搅拌车溢料检测方法的流程示意图之一，如图1所述，该方法包括：

S1，获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

S2，将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；

S3，基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；

其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到。

具体地，本发明实施例中提供的搅拌车溢料检测方法，其执行主体为服务器，该服务器可以是本地服务器，也可以是云端服务器，本地服务器具体可以是X86系统或者AI智能芯片等，本发明实施例中对此不作具体限定。

首先执行步骤S1，获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗。除此之外，卸料监控图像还可以包括搅拌站卸料口，用以判断搅拌站卸料口与搅拌车接料斗是否对齐，进而判断是否开始执行本发明实施例中的搅拌车溢料检测方法。其中，只有在搅拌站卸料口与搅拌车接料斗对齐时，才能够开始执行本发明实施例中的搅拌车溢料检测方法。因此，本发明实施例中的搅拌车溢料检测方法，其执行的前提默认是搅拌站卸料口与搅拌车接料斗对齐。

当搅拌车进入搅拌站后，在搅拌车停稳并且搅拌车接料斗与搅拌站卸料口已经对齐的情况下，说明可以开始卸料，即可以进入卸料过程，因此，可以开始获取卸料监控图像，此时获取到的卸料监控图像就是包含有搅拌车接料斗且没有其他干扰信息的卸料监控图像。

其中，卸料监控图像可以通过搅拌站的监控摄像头获取。搅拌站的监控摄像头可以是搅拌站原有的监控摄像头，具有能够至少获取到搅拌车接料斗的监控画面的功能。搅拌站监控摄像头的安装位置可以在搅拌站卸料口对面的墙上，也可以安装在检修平台上的立柱或其他可固定位置，安装高度要达到能够监控到完整搅拌车接料斗的高度，当监控摄像头标准安放时，可以正对搅拌车。

由于监控摄像头获取到的是卸料监控视频信息，因此，还需要把卸料监控视频信息解析成视频帧，将卸料监控视频信息解析成视频帧后的每一帧视频帧就是一帧卸料监控图像。

然后执行步骤S2，将卸料监控图像输入至料位分类模型，得到料位分类模型输出的卸料监控图像中搅拌车接料斗的料位特征，其中，料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到。

料位分类模型可以是轻量级神经网络模型，例如Resnet50神经网络模型、AlexNet神经网络模型或现有的开源图像分类神经网络模型等，本发明实施例对此不作具体限定。料位分类模型可以对输入的卸料监控图像进行料位特征的分类，输出监控图像中搅拌车接料斗的料位特征。其中，料位特征可以用于表征搅拌车接料斗内混凝土的高度。例如，料位特征可以分为溢料特征和非溢料特征，溢料特征是指搅拌车接料斗内混凝土的高度大于等于搅拌车接料斗的边缘高度的预设倍数，非溢料特征是指搅拌车接料斗内混凝土的高度低于搅拌车接料斗的边缘高度的预设倍数。其中，预设倍数可以小于1，具体可以根据需要进行设置，例如可以设置为2/3。

料位分类模型可以基于携带有料位特征标签的卸料监控图像样本训练得到。具体可以通过如下方式训练得到料位分类模型：首先，收集大量包含有搅拌车接料斗的卸料监控图像样本，并在卸料监控图像样本上进行标注，也即是使卸料监控图像样本携带料位特征标签。随即，基于携带有料位特征标签的卸料监控图像样本训练初始模型，从而得到料位分类模型。

在训练初始模型时，为了达到更好的训练效果，还可以在训练时使用标签平滑（Label smoothing）的方法使模型达到更好的效果。Label smoothing是一种正则化方法，可以防止初始模型在训练时的过拟合问题，改善初始模型泛化能力差的问题。为了避免外部因素对接料斗内混凝土特征提取的影响，该方法使用了模板匹配的方式，利用Yolov4算法中的技巧(RandomErase)，将图像中的卸料斗部分用马赛克进行遮挡，以此减少卸料斗对模型精度的影响。

由于在收集大量搅拌站卸料口的卸料监控图像样本时，会收集到来自不同搅拌站卸料口的卸料监控图像，因此在对卸料监控图像样本进行标注时，需要制定统一的标注标准，例如，统一将混凝土的料位高度达到搅拌车接料斗的边缘高度的预设倍数的监控图像样本进行溢料特征标注，将混凝土的料位高度低于搅拌车接料斗的边缘高度的预设倍数的监控图像样本进行非溢料特征标注等。

在对料位分类模型训练完成后，为了使料位分类模型的识别速度更快，还使用TensorRT引擎加速料位分类模型的推理速度。TensorRT引擎是英伟达平台的加速包，TensorRT引擎可以对料位分类模型的网络结构进行重构，将一些能够合并的运算进行合并，从而达到加速料位分类模型推理的目的。

最后执行步骤S3，基于料位特征，确定搅拌车接料斗的溢料检测结果。由于料位特征可以表征搅拌车接料斗内的混凝土的高度，因此，不同的料位特征就表征了搅拌车接料斗内的混凝土的不同的高度，通过混凝土的高度就可以确定在卸料过程中是否发生了溢料，即确定搅拌车接料斗的溢料检测结果。

例如，当料位特征是溢料特征时，表示搅拌车接料斗内的混凝土的高度已经达到了搅拌车接料斗边缘高度，即发生了或将要发生溢料，此时就需要控制卸料门关闭，避免溢料或使溢料停止；当料位特征是低料位特征时，表示搅拌车接料斗内的混凝土的高度还不算高，即不会发生溢料，此时可以控制继续卸料。

本发明实施例中的搅拌车溢料检测方法，通过将卸料监控图像输入至料位分类模型，得到料位分类模型输出的卸料监控图像的料位特征，再基于料位特征确定搅拌车接料斗的溢料检测结果，可以实现自动检测搅拌车接料斗是否溢料，无需人工的参与，不仅提高了检测的自动化程度，还可以避免引入人为因素的影响，降低了人力成本，可以使检测结果更加可靠准确。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测方法，所述料位特征包括非溢料特征和溢料特征；

所述非溢料特征与所述溢料特征对应的料位高度依次增加；

相应地，所述基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果，具体包括：

若所述料位特征为非溢料特征，则确定所述溢料检测结果为没有溢料风险；

若所述料位特征为溢料特征，则确定所述溢料检测结果为有溢料风险。

具体地，本发明实施例中，料位特征可以包括非溢料特征和溢料特征，非溢料特征与溢料特征对应的料位高度依次增加。即非溢料特征对应的料位高度低于溢料特征对应的料位高度。

非溢料特征可以包括第一料位特征、第二料位特征和第三料位特征，第一料位特征可以指搅拌车接料斗内混凝土的高度为0，第二料位特征可以指搅拌车接料斗内混凝土的高度高于0且低于1/2，第三料位特征可以指搅拌车接料斗内混凝土的高度高于1/2且低于2/3，第三料位特征可以指搅拌车接料斗内混凝土的高度高于2/3且低于搅拌车接料斗的边缘高度。因此，第一料位特征、第二料位特征和第三料位特征又可以分别叫做低料位特征、中料位特征和高料位特征。

溢料特征可以包括第四料位特征和第五料位特征，第四料位特征可以指搅拌车接料斗内的混凝土的高度大于2/3小于搅拌车接料斗的边缘高度，第五料位特征可以指搅拌车接料斗内的混凝土的高度达到搅拌车接料斗的边缘高度。

图2是本发明提供的各个料位特征示意图。图2中的无料位即是第一料位特征，低料位即是第二料位特征，中料位即是第三料位特征，高料位即是第四料位特征，溢料即是第五料位特征。

基于此，若料位特征为非溢料特征，则可以确定溢料检测结果为没有溢料风险，若料位特征为溢料特征，则可以确定溢料检测结果为有溢料风险。

本发明实施例中的搅拌车溢料检测方法，通过将料位特征分为非溢料特征和溢料特征，增加了卸料监控图像样本的多样性，使经过训练的料位分类模型输出的料位特征更加准确，从而提高溢料检测的准确性以及搅拌车溢料检测的精度。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测方法，所述卸料监控图像包括连续的预设数量帧卸料监控图像；

相应地，所述基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果，具体包括：

确定各卸料监控图像的料位特征对应的标识信息；

将所有标识信息中重复次数达到目标次数的标识信息对应的料位特征确定为所述搅拌车接料斗的溢料检测结果。

具体地，本发明实施例中，卸料监控图像包括预设数量帧连续的卸料监控图像。其中，预设数量可以根据实际需要进行设置，本发明实施例对此不作具体限定，连续是指预设数量帧的卸料监控图像是连续的。例如，可以将预设数量设定为8，则可以获取8帧卸料监控图像，且这8帧卸料监控图像是连续的8帧。

在获取预设数量帧连续的卸料监控图像后，就可以将各卸料监控图像输入至料位分类模型，得到料位分类模型输出的各卸料监控图像的料位特征。

例如，在上述的例子中，预设数量是8，将8帧连续的卸料监控图像均分别输入至料位分类模型，则可以得到这8帧卸料监控图像中每一帧卸料监控图像对应的料位特征。在得到料位分类模型输出的各帧卸料监控图像的料位特征之后，还可以确定各卸料监控图像的料位特征对应的标识信息。

标识信息可以用于表征料位特征，即不同的料位特征对应不同的标识信息，料位特征和标识信息之间的对应关系可以根据实际需要进行设置，本发明实施例对此不作具体限定。例如，可以将0作为标识信息表征低料位特征，将1作为标识信息表征高料位特征，将2作为标识信息表征溢料特征等。

在得到料位特征后就可以确定料位特征的标识信息，为了便于确定搅拌车接料斗的溢料检测结果，还可以并将各标识信息存储至数组中。由于预设数量帧的卸料监控图像是连续的，因此，在将各标识信息存储至数组中时，也需要按照获取的预设数量帧连续的卸料监控图像的顺序进行存储。

例如，预设数量是4，获取到的连续的卸料监控图像就应该是第一帧、第二帧、第三帧以及第四帧，这四帧卸料监控图像对应的标识信息按照图像帧的顺序依次是0，0，0，1，则在将这4个标识信息存储至数组中时，也需要按照图像帧的顺序进行存储，则数组的表示形式就应该是[0，0，0，1]。

在将各标识信息存储至数组中后，就可以将所有标识信息中重复次数达到目标次数的标识信息对应的料位特征确定为所述搅拌车接料斗的溢料检测结果。其中，目标次数可以根据预设数量进行设置，例如，可以设置为预设数量的1/2。

例如，预设数量是8，将目标次数设置为预设数量的1/2，则目标次数就是4。8帧连续的卸料监控图像就会对应8个料位特征，也就会有8个标识信息，将这8个标识信息存储至数组中，则数组中总标识信息个数就是8。如果这8个标识信息分别是0，0，0，0，0，0，0，1，则将这8个标识信息存储至数组中，数组的表示形式就可以是[0，0，0，0，0，0，0，1]，此时的数组中就包含有两个不同的标识信息0和1。0这个标识信息在数组中重复的次数是7，1这个标识信息在数组中重复的次数是1，0这个标识信息的重复次数达到了目标次数4，因此，可以将0这个标识信息对应的料位特征作为搅拌车接料斗的溢料检测结果。即如果标识信息0此时对应的料位特征是低料位特征，则此时的搅拌车接料斗的溢料检测结果就是低料位特征。

在将各标识信息存储至数组中后，也可以将所有标识信息中重复次数最多的标识信息对应的料位特征确定为搅拌车接料斗的溢料检测结果。例如，当数组的表示形式是[0，0，0，0，0，0，1，1]，由于0这个标识信息的重复次数是6，1这个标识信息的重复次数是2，0这个标识信息的重复次数是最多的，因此，可以认为1这个标识信息对应的料位特征出现误差，直接利用0这个标识信息对应的料位特征确定搅拌车接料斗的溢料检测结果。

需要说明的是，如果数组中的各个标识信息的重复次数相同，则将数组中的第一个标识信息对应的料位特征作为搅拌车接料斗的溢料检测结果。例如，预设数量是8，将8个标识信息存储至数组中后，数组的表示形式为[0，0，1，1，2，2，3，3]，此时数组中的各个标识信息的重复次数是相同的，因此，可以利用第一个标识信息对应的料位特征确定搅拌车接料斗的溢料检测结果，即利用0这个标识信息对应的料位特征确定搅拌车接料斗的溢料检测结果。也可以利用最后一个标识信息对应的料位特征确定搅拌车接料斗的溢料检测结果，即利用3这个标识信息对应的料位特征确定搅拌车接料斗的溢料检测结果。为防止溢料检测结果的误差导致实际溢料现象的产生，可以利用各标识信息对应的料位特征中高度最高的料位特征确定搅拌车接料斗的溢料检测结果，如此可以更加彻底地防止实际溢料现象的产生。

由上述内容可知，数组中的标识信息是按照图像帧的顺序进行存储的，也就是说，当数组中的各个标识信息的重复次数相同时，可以将第一帧监控图像的料位特征作为搅拌车接料斗的溢料检测结果。

本发明实施例中的搅拌车溢料检测方法，通过连续的预设数量帧卸料监控图像的料位特征，确定搅拌车接料斗的溢料检测结果，由于每一帧卸料监控图像均需要输入至料位分类模型，如果基于一帧卸料监控图像的料位特征确定搅拌车接料斗的溢料检测结果，可能会出现误识别的现象，因此，通过连续的预设数量帧卸料监控图像的料位特征确定搅拌车接料斗的溢料检测结果，因为是连续的，所以监控图像中的搅拌车接料斗的料位特征不会突变，因此，可以有效避免误识别，使溢料检测更准确。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测方法，所述基于所述料位特征确定所述搅拌车接料斗的溢料检测结果，之后还包括：

若所述溢料检测结果为没有溢料风险，则确定所述搅拌站卸料口对应的卸料门开度；

基于所述非溢料特征以及所述卸料门开度，预测所述搅拌车接料斗有溢料风险的时刻。

具体地，本发明实施例中，在确定出搅拌车接料斗的溢料检测结果之后，还可以根据溢料检测结果进行后续操作。例如，如果溢料检测结果为没有溢料风险，则可以先确定出搅拌站卸料口对应的卸料门开度，然后可以根据卸料门开度，并结合非溢料特征，预测搅拌车接料斗由没有溢料风险变为有溢料风险的时刻。如此可以使用户可以提前知晓搅拌车接料斗何时将会有溢料风险，使用户有充足时间提前准备有溢料风险时的操作，提高了用户体验感。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测方法，所述基于所述料位特征确定所述搅拌车接料斗的溢料检测结果，之后还包括：

若所述搅拌车接料斗的溢料检测结果为有溢料风险，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度。

具体地，本发明实施例中，在确定料位特征之后，还需要对溢料检测结果进行确定，如果料位特征为溢料特征，即第四料位特征或第五料位特征，则可以确定搅拌车接料斗的溢料检测结果为有溢料风险，说明此时搅拌车接料斗内的混凝土高度已经高于2/3，则需要向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使搅拌站控制系统基于第一控制信号控制搅拌站卸料口对应的卸料门开度。

例如，当料位特征为第四料位特征时，由上述实施例可知，此时搅拌车接料斗内的混凝土的高度超过了2/3，继续卸料可能会有发生溢料的风险，因此，可以向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，第一控制信号可以用于指示控制搅拌站卸料口对应的卸料门开度减小，例如半开或只开1/3等。

当料位特征为第五料位特征时，由上述实施例可知，此时搅拌车接料斗内的混凝土的高度已经达到了搅拌车接料斗的边缘高度，可能将要或者已经发生了溢料，因此，可以向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，第一控制信号可以用于指示控制搅拌站卸料口对应的卸料门开度继续减小，例如全关。

当料位特征为非溢料特征，即第一料位特征、第二料位特征或第三料位特征时，由上述实施例可知，此时搅拌车接料斗内的混凝土的高度均在2/3以下，即处于正常的卸料状态，因此，此时可以不用向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，保持正常卸料即可。

本发明实施例中的搅拌车溢料检测方法，在料位特征为溢料特征时向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，从而控制卸料门的开度，保证了在搅拌车接料斗内的混凝土的高度较高或达到搅拌车接料斗的边缘高度时，能够及时对卸料口的开度进行控制，防止溢料的发生。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测方法，所述获取卸料监控图像，之前还包括：

若确定搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

具体地，本发明实施例中，在获取卸料监控图像之前，还需要判断搅拌车是否处于停稳状态并且需要判断搅拌站卸料口与搅拌车接料斗是否已经对齐，如果这两个条件均满足，则说明此时可以开始进行卸料，因此，可以向搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，第二控制信号用于指示开始卸料。

判断搅拌车是否停稳可以通过获取监控视频的方式，在搅拌车逐步进入搅拌站时，获取搅拌站卸料口处的监控视频，将监控视频解析为视频帧。对视频帧进行全局识别，检测出包含有搅拌车接料斗图像的视频帧，将包含有搅拌车接料斗图像的视频帧输入至预设的神经网络模型，得到搅拌车接料斗的关键点的位置信息。其中，预设的神经网络模型可以是区域生成网络模型等，本发明实施例对此不作具体限定。

搅拌车接料斗的关键点是搅拌车接料斗外沿边界上、具有一定特征的点。也就是说，获取到的关键点位于搅拌车接料斗截面上，距离搅拌车接料斗的中心的距离相等。位置信息可以是坐标。搅拌车接料斗的关键点的位置信息可以通过坐标表示，即搅拌车接料斗的关键点坐标。通过预设的神经网络可以直接返回搅拌车接料斗的关键点的位置信息。

可以判断预设时间范围内视频帧中的搅拌车接料斗的关键点的位置信息变化是否在预设的距离范围内，如果在预设时间范围内视频帧中的搅拌车接料斗的关键点的位置信息变化在预设的距离范围内，则说明此时搅拌车已经停稳，可以开始进行卸料。其中，预设时间范围和预设的距离范围可以根据实际需要进行设置，本发明实施例对此不作具体限定。

在搅拌车停稳后，可以通过比较搅拌车接料斗的关键点的位置信息和搅拌站卸料口的中轴线的位置信息之间的垂直最短距离，判断搅拌车接料斗和搅拌站卸料口是否对齐。若搅拌车接料斗的关键点的中心的位置信息和搅拌站卸料口的中轴线的位置信息之间的垂直最短距离在预设范围内，则说明搅拌车接料斗和搅拌站卸料口已经对齐。

其中，搅拌车接料斗的关键点的位置信息可以通过上述的预设的神经网络模型获取，搅拌站卸料口的中轴线的位置信息可以根据搅拌站的实际情况进行设置，预设范围可以根据实际的需要进行设置，本发明实施例对此不作具体限定。

本发明实施例中的搅拌车溢料检测方法，通过在获取卸料监控图像之前，判断搅拌车是否处于停稳状态并且判断搅拌站卸料口与搅拌车接料斗是否已对齐，在搅拌车停稳且搅拌站卸料口与搅拌车接料斗对齐的情况下向搅拌站卸料口对应的搅拌站控制系统发送第二控制信号用于指示开始卸料，避免了在未停稳或未对齐的情况下开始卸料，造成混凝土的浪费，同时也可以使后续的溢料检测结果更准确。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测方法，所述将所述卸料监控图像输入至料位分类模型，之前还包括：对所述卸料监控图像进行图像预处理。

具体地，本发明实施例中，在将卸料监控图像输入至料位分类模型之前，还可以对卸料监控图像进行图像预处理，例如，可以将卸料监控图像进行灰度化处理，使卸料监控图像能够更加突出搅拌车接料斗内的混凝土的高度，还可以对灰度化之后的卸料监控图像进行高通滤波，达到锐化边缘的效果，可以提高溢料检测的准确性。在对卸料监控图像预处理完成后，再将卸料监控图像输入至料位分类模型。

本发明实施例中，通过对卸料监控图像进行图像预处理，可以提高溢料检测的准确性。

图3是本发明提供的搅拌车溢料检测方法的流程示意图之二，如图3所示，该方法包括：

S31，获取卸料监控视频，将卸料监控视频进行解析，得到解析后的单帧卸料监控图像，对单帧卸料监控图像进行搅拌车接料斗识别；

S32，在识别出搅拌车接料斗后，判断搅拌车是否已经停稳并且判断搅拌车接料斗与搅拌站卸料口是否已经对齐；

S33，判断是否开始卸料，如果搅拌车已经停稳并且搅拌车接料斗与搅拌站卸料口已经对齐，则执行步骤S4，否则，返回执行步骤S1；

S34，对卸料监控图像进行灰度化、高通滤波等预处理；

S35，将预处理后的卸料监控图像输入至料位分类模型，得到料位分类模型输出的料位特征；

S36，根据料位特征确定搅拌车接料斗的溢料检测结果；

S37，根据溢料检测结果向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，控制卸料门开度。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测方法，所述卸料监控图像为基于双目摄像头获取的卸料监控深度图像；

相应地，如图4所示，所述方法还包括：

S41，基于所述卸料监控深度图像，确定所述搅拌车接料斗的边缘深度距离以及所述搅拌车接料斗内混凝土平面的料位深度距离；

S42，基于所述边缘深度距离以及所述料位深度距离，确定所述搅拌车接料斗的溢料检测结果。

具体地，本发明实施例中，采用的卸料监控图像可以通过双目摄像头获取，双目摄像头可以获取到卸料监控深度图像中的每个像素点的坐标信息和深度信息，其中，深度信息即是指卸料监控深度图像中的物体到双目摄像头的距离。

在获取到卸料监控深度图像之后，就可以执行步骤S41，通过卸料监控深度图像确定搅拌车接料斗的边缘深度距离以及所述搅拌车接料斗内混凝土平面的料位深度距离。其中，边缘深度距离就是指搅拌车接料斗边缘与双目摄像头之间的距离，料位深度距离就是指搅拌车接料斗内的混凝土平面与双目摄像头之间的距离。

本发明实施例中，可以先对双目摄像头进行标定，得到两个双目摄像头的内参矩阵、外参矩阵和单应性矩阵，标定的方法可以是棋盘格标定法；然后根据标定的结果对双目摄像头拍摄的两张原始卸料监控深度图像进行校正，校正后的两张卸料监控深度图像位于同一平面且互相平行；对校正后的两张卸料监控深度图像进行像素点匹配，可以使用能量优化的方法进行匹配，最后根据匹配的结果计算校正后的卸料监控深度图像中每个像素的深度，得到边缘深度距离以及料位深度距离。

然后执行步骤S42，由于双目摄像头在安装好后的位置不变，因此，可以通过边缘深度距离以及料位深度距离确定搅拌车接料斗溢料检测结果。例如，当料位深度距离非常接近边缘深度距离时，就会发生溢料风险，此时可以确定搅拌车接料斗溢料检测结果为有溢料风险。

本发明实施例中的搅拌车溢料检测方法，通过双目摄像头可以直接获取搅拌车接料斗的边缘深度距离和搅拌车接料斗内混凝土的料位深度距离，通过边缘深度距离以及料位深度距离就可以确定搅拌车接料斗溢料检测结果，更简单方便，易于实现。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测方法，所述基于所述深度距离以及所述料位深度距离确定搅拌车接料斗溢料检测结果，具体包括：

若所述边缘深度距离与所述料位深度距离的差值小于预设阈值，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度。

具体地，本发明实施例中，由于双目摄像头在的位置不变，因此，如果边缘深度距离与料位深度距离的差值小于预设阈值，说明此时将要发生溢料，则需要向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使搅拌站控制系统基于第一控制信号控制搅拌站卸料口对应的卸料门开度。

其中，预设阈值可以根据搅拌站的实际情况进行设置，本发明实施例对此不做具体限定。

本发明还提供一种搅拌站，包括搅拌车溢料检测系统，所述搅拌车溢料检测系统用于基于上述任一项实施例提供的搅拌车溢料检测方法，确定搅拌车接料斗的溢料检测结果。

图5是本发明提供的搅拌车溢料检测系统的结构示意图之一，如图5所示，该系统包括：

卸料监控图像获取模块501，用于获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

料位分类模块502，用于将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；

溢料检测结果确定模块503，用于基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；

其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测系统，所述卸料监控图像包括连续的预设数量帧卸料监控图像；

相应地，所述溢料检测结果确定模块，具体包括：

标识信息确定子模块，用于确定各卸料监控图像的料位特征对应的标识信息；

溢料检测结果确定子模块，用于将所有标识信息中重复次数达到目标次数的标识信息对应的料位特征确定为所述搅拌车接料斗的溢料检测结果。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测系统，所述料位特征包括非溢料特征和溢料特征；

所述非溢料特征与所述溢料特征对应的料位高度依次增加；

相应地，所述溢料检测结果确定模块，具体用于：

若所述料位特征为非溢料特征，则确定所述溢料检测结果为没有溢料风险；

若所述料位特征为溢料特征，则确定所述溢料检测结果为有溢料风险。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测系统，还包括预测模块，用于：

若所述溢料检测结果为没有溢料风险，则确定所述搅拌站卸料口对应的卸料门开度；

基于所述非溢料特征以及所述卸料门开度，预测所述搅拌车接料斗有溢料风险的时刻。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测系统，还包括信号发送模块，用于：

若所述搅拌车接料斗的溢料检测结果为有溢料风险，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测系统，所述卸料监控图像为基于双目摄像头获取的卸料监控深度图像；

相应地，所述系统还包括：

距离确定模块，用于基于所述卸料监控深度图像，确定所述搅拌车接料斗的边缘深度距离以及所述搅拌车接料斗内混凝土平面的料位深度距离；

相应地，所述溢料检测结果确定模块还用于：

基于所述边缘深度距离以及所述料位深度距离，确定所述搅拌车接料斗的溢料检测结果。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测系统，所述信号发送模块还用于：

若所述边缘深度距离与所述料位深度距离的差值小于预设阈值，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测系统，所述信号发送模块，还用于：

若确定搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

在上述实施例的基础上，本发明实施例提供的搅拌车溢料检测系统，还包括预处理模块，用于：

所述将所述卸料监控图像输入至料位分类模型，之前还包括：对所述卸料监控图像进行图像预处理。

具体地，本发明实施例中提供的搅拌车溢料检测系统中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行搅拌车溢料检测方法，该方法包括：获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的搅拌车溢料检测方法，该方法包括：获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的搅拌车溢料检测方法，该方法包括：获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种搅拌车溢料检测方法，其特征在于，包括：

获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；

基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；

其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到；

所述卸料监控图像包括连续的预设数量帧卸料监控图像；

相应地，所述基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果，具体包括：

确定各卸料监控图像的料位特征对应的标识信息；

将所有标识信息中重复次数达到目标次数的标识信息对应的料位特征确定为所述搅拌车接料斗的溢料检测结果；

如果所有标识信息中各标识信息的重复次数均相同，则将第一个标识信息对应的料位特征、最后一个标识信息对应的料位特征以及各标识信息对应的料位特征中高度最高的料位特征中的任一个，确定为所述搅拌车接料斗的溢料检测结果；

所述溢料检测结果包括没有溢料风险和有溢料风险；

所述基于所述料位特征确定所述搅拌车接料斗的溢料检测结果，之后还包括：

若所述搅拌车接料斗的溢料检测结果为有溢料风险，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度；

所述获取卸料监控图像，之前还包括：

若确定搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

2.根据权利要求1所述的搅拌车溢料检测方法，其特征在于，所述料位特征包括非溢料特征和溢料特征；

所述非溢料特征与所述溢料特征对应的料位高度依次增加；

相应地，所述基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果，具体包括：

若所述料位特征为非溢料特征，则确定所述溢料检测结果为没有溢料风险；

若所述料位特征为溢料特征，则确定所述溢料检测结果为有溢料风险。

3.根据权利要求2所述的搅拌车溢料检测方法，其特征在于，所述基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果，之后还包括：

若所述溢料检测结果为没有溢料风险，则确定搅拌站卸料口对应的卸料门开度；

基于所述非溢料特征以及所述卸料门开度，预测所述搅拌车接料斗有溢料风险的时刻。

4.根据权利要求1所述的搅拌车溢料检测方法，其特征在于，所述卸料监控图像为基于双目摄像头获取的卸料监控深度图像；

相应地，所述方法还包括：

基于所述卸料监控深度图像，确定所述搅拌车接料斗的边缘深度距离以及所述搅拌车接料斗内混凝土平面的料位深度距离；

基于所述边缘深度距离以及所述料位深度距离，确定所述搅拌车接料斗的溢料检测结果。

5.根据权利要求4所述的搅拌车溢料检测方法，其特征在于，所述基于所述深度距离以及所述料位深度距离确定搅拌车接料斗溢料检测结果，具体包括：

若所述边缘深度距离与所述料位深度距离的差值小于预设阈值，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度。

6.根据权利要求1-5中任一项所述的搅拌车溢料检测方法，其特征在于，所述将所述卸料监控图像输入至料位分类模型，之前还包括：对所述卸料监控图像进行图像预处理。

7.一种搅拌车溢料检测系统，其特征在于，包括：

卸料监控图像获取模块，用于获取卸料监控图像，所述卸料监控图像包括搅拌车接料斗；

料位分类模块，用于将所述卸料监控图像输入至料位分类模型，得到所述料位分类模型输出的所述卸料监控图像中所述搅拌车接料斗的料位特征；

溢料检测结果确定模块，用于基于所述料位特征，确定所述搅拌车接料斗的溢料检测结果；

其中，所述料位分类模型基于携带有料位特征标签的卸料监控图像样本训练得到；

所述卸料监控图像包括连续的预设数量帧卸料监控图像；

相应地，所述溢料检测结果确定模块，具体包括：

标识信息确定子模块，用于确定各卸料监控图像的料位特征对应的标识信息；

溢料检测结果确定子模块，用于将所有标识信息中重复次数达到目标次数的标识信息对应的料位特征确定为所述搅拌车接料斗的溢料检测结果；

所述溢料检测结果确定子模块，还用于如果所有标识信息中各标识信息的重复次数均相同，则将第一个标识信息对应的料位特征、最后一个标识信息对应的料位特征以及各标识信息对应的料位特征中高度最高的料位特征中的任一个，确定为所述搅拌车接料斗的溢料检测结果；

所述溢料检测结果包括没有溢料风险和有溢料风险；

还包括信号发送模块，用于：

若所述搅拌车接料斗的溢料检测结果为有溢料风险，则向搅拌站卸料口对应的搅拌站控制系统发送第一控制信号，以使所述搅拌站控制系统基于所述第一控制信号控制所述搅拌站卸料口对应的卸料门开度；

所述信号发送模块，还用于：

若确定搅拌车处于停稳状态且搅拌站卸料口与所述搅拌车接料斗已对齐，则向所述搅拌站卸料口对应的搅拌站控制系统发送第二控制信号，所述第二控制信号用于指示开始卸料。

8.一种搅拌站，其特征在于，包括搅拌站控制系统以及如权利要求7所述的搅拌车溢料检测系统；

所述搅拌站控制系统用于基于所述搅拌车溢料检测系统确定的溢料检测结果，对搅拌站卸料口对应的卸料门开度进行控制。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述搅拌车溢料检测方法的步骤。

Images