CN111310645A - 货物堆积量的溢仓预警方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及图像识别技术领域，公开了一种基于货物堆积量的溢仓预警方法、装置、设备及存储介质，用于识别目标特征区域并计算目标特征区域对应的轮廓面积和目标货物堆积量，提高了货物识别的效率和准确率。货物堆积量的溢仓预警方法包括：通过监控平台获取待检测场景图像，待检测场景图像包括多个货物；根据训练后的实例分割模型和待检测场景图像，得到目标待检测场景图像和目标特征区域；基于开源计算机视觉库，根据目标待检测场景图像和目标特征区域获取目标特征区域对应的轮廓面积；根据目标特征区域对应的轮廓面积获取目标货物堆积率，并判断目标货物堆积率是否大于堆积率报警阈值；若目标货物堆积率大于堆积率报警阈值，则进行报警处理。

Description

货物堆积量的溢仓预警方法、装置、设备及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种货物堆积量的溢仓预警方法、装置、设备及存储介质。

背景技术

随着社会的发展和科技的进步，快递行业成为了生活中不可缺少一部分分，随着快递包裹数量的逐年增长，货物的堆积量也成为了一个新的仓储管理问题；快递行业每个网点都会有格口，不同格口的货物堆积量也不相同，如果货物堆积量超过一定的阈值，就会给仓储带来压力，称之为“爆仓”。

在现有的技术中，一般采用人工的方法判断货物是否“爆仓”或者采用深度学习的方法判断货物是否“爆仓”，但是现有的深度学习方法对货物识别的准确度和识别的效率都较低。

发明内容

本发明的主要目的在于解决对货物识别准确的较低且对货物的识别效率较低的问题。

本发明第一方面提供了一种货物堆积量的溢仓预警方法，包括：通过监控平台获取待检测场景图像，所述待检测场景图像包括多个货物；根据训练后的实例分割模型和所述待检测场景图像，得到目标待检测场景图像和目标特征区域，所述目标待检测场景图像包括多个目标单通道图像；基于开源计算机视觉库，根据所述目标待检测场景图像和所述目标特征区域获取目标特征区域对应的轮廓面积；根据所述目标特征区域对应的轮廓面积获取目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值；若所述目标货物堆积率大于所述堆积率报警阈值，则进行报警处理。

可选的，在本发明第一方面的第一种实现方式中，所述根据训练后的实例分割模型和所述待检测场景图像，得到目标待检测场景图像和目标特征区域，所述目标待检测场景图像包括多个目标单通道图像包括：采用训练后的实例分割模型对所述待检测场景图像进行目标检测，得到多个目标检测框；采用所述训练后的实例分割模型对每个目标检测框进行目标分类，得到多个目标特征类别；采用所述训练后的实例分割模型对所述多个目标特征类别进行像素级目标分割，得到目标待检测场景图像和目标特征区域。

可选的，在本发明第一方面的第二种实现方式中，所述基于开源计算机视觉库，根据所述目标待检测场景图像和所述目标特征区域获取目标特征区域对应的轮廓面积包括：针对所述目标待检测场景图像中的多个目标单通道图像，基于预置参数函数和所述目标特征区域，从每个目标单通道图像中获取多个初始特征轮廓；分别从每个初始特征轮廓中提取多个特征坐标点，得到多个初始特征坐标点；按照多个初始特征坐标点的坐标位置对所述多个初始特征坐标点进行筛选，得到多个目标特征坐标点，所述多个目标特征坐标点为坐标位置处于目标特征区域边缘的初始特征坐标点；基于开源计算机视觉库和所述多个目标特征坐标点，得到目标特征区域对应的轮廓面积。

可选的，在本发明第一方面的第三种实现方式中，所述根据所述目标特征区域对应的轮廓面积获取目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值包括：对待检测场景图像进行面积计算得到待检测场景图像的面积；基于待检测场景图像的面积、目标特征区域对应的轮廓面积和预置堆积率公式进行堆积率计算，得到目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值。

可选的，在本发明第一方面的第四种实现方式中，在所述通过监控平台获取待检测场景图像，所述待检测场景图像包括多个货物之前，所述货物堆积量的溢仓预警方法还包括：通过监控平台获取多个待训练场景图像，所述待训练场景图像包括多个货物；采用图像标注工具对所述多个训练场景图像进行标注，得到多个标注后的训练场景图像；采用实例分割算法对所述多个标注后的待训练场景图像进行模型训练，得到训练后的实例分割模型。

可选的，在本发明第一方面的第五种实现方式中，所述采用图像标注工具对所述多个训练场景图像进行标注，得到多个标注后的训练场景图像包括：针对多个待训练场景图像中的一个待训练场景图像，提取待训练场景图像的原图像数据；从所述待训练场景图像的原图像数据中读取多个待训练场景图像的连接坐标点；连接所述多个待训练场景图像的连接坐标点，得到一个待训练场景图像的杰森JSON文件；采用预置导出函数，导出所述待训练场景图像的JSON文件，得到标注后的待训练场景图像；针对多个待训练场景图像中的其他待训练场景图像，得到多个标注后的待训练场景图像。

可选的，在本发明第一方面的第六种实现方式中，在所述基于所述多个标注后的待训练场景图像和实例分割算法进行模型训练，得到训练后的实例分割模型之后，所述货物堆积量的溢仓预警方法还包括：获取训练后的实例分割模型的准确度，当训练后的实例分割模型的准确度低于准确度阈值时，获取图形处理器的数量和图形处理器处理的图像数量；计算所述图像处理器的数量和所述图形处理器处理的图像数量的乘积，得到待训练场景图像的样本数量；基于梯度阈值调整所述待训练场景图像的样本数量，得到调整后的待训练场景图像的样本数量，所述梯度阈值用于衡量是否需要调整待训练场景图像的样本数量；基于所述调整后的样本数量和对应的标注后的训练场景图像，获取调整后的实例分割模型。

本发明第二方面提供了一种货物堆积量的溢仓预警装置，包括：第一图像获取模块，用于通过监控平台获取待检测场景图像，所述待检测场景图像包括多个货物；目标区域识别模块，用于根据训练后的实例分割模型和所述待检测场景图像，得到目标待检测场景图像和目标特征区域，所述目标待检测场景图像包括多个目标单通道图像；面积计算模块，用于基于开源计算机视觉库，根据所述目标待检测场景图像和所述目标特征区域获取目标特征区域对应的轮廓面积；判断模块，用于根据所述目标特征区域对应的轮廓面积获取目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值；报警模块，若所述目标货物堆积率大于所述堆积率报警阈值，则用于进行报警处理。

可选的，在本发明第二方面的第一种实现方式中，所述目标区域识别模块具体用于：采用训练后的实例分割模型对所述待检测场景图像进行目标检测，得到多个目标检测框；采用所述训练后的实例分割模型对每个目标检测框进行目标分类，得到多个目标特征类别；采用所述训练后的实例分割模型对所述多个目标特征类别进行像素级目标分割，得到目标待检测场景图像和目标特征区域。

可选的，在本发明第二方面的第二种实现方式中，所述面积计算模块具体用于：针对所述目标待检测场景图像中的多个目标单通道图像，基于预置参数函数和所述目标特征区域，从每个目标单通道图像中获取多个初始特征轮廓；分别从每个初始特征轮廓中提取多个特征坐标点，得到多个初始特征坐标点；按照多个初始特征坐标点的坐标位置对所述多个初始特征坐标点进行筛选，得到多个目标特征坐标点，所述多个目标特征坐标点为坐标位置处于目标特征区域边缘的初始特征坐标点；基于开源计算机视觉库和所述多个目标特征坐标点，得到目标特征区域对应的轮廓面积。

可选的，在本发明第二方面的第三种实现方式中，所述判断模块具体用于：对待检测场景图像进行面积计算得到待检测场景图像的面积；基于待检测场景图像的面积、目标特征区域对应的轮廓面积和预置堆积率公式进行堆积率计算，得到目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值。

可选的，在本发明第二方面的第四种实现方式中，所述货物堆积量的溢仓预警还包括：第二图像获取模块，用于通过监控平台获取多个待训练场景图像，所述待训练场景图像包括多个货物；图像标注模块，用于采用图像标注工具对所述多个训练场景图像进行标注，得到多个标注后的训练场景图像；模型训练模块，用于采用实例分割算法对所述多个标注后的待训练场景图像进行模型训练，得到训练后的实例分割模型。

可选的，在本发明第二方面的第五种实现方式中，所述图像标注模块具体用于：针对多个待训练场景图像中的一个待训练场景图像，提取待训练场景图像的原图像数据；从所述待训练场景图像的原图像数据中读取多个待训练场景图像的连接坐标点；连接所述多个待训练场景图像的连接坐标点，得到一个待训练场景图像的JSON文件；采用预置导出函数，导出所述待训练场景图像的JSON文件，得到标注后的待训练场景图像；针对多个待训练场景图像中的其他待训练场景图像，得到多个标注后的待训练场景图像。

可选的，在本发明第二方面的第六种实现方式中，所述货物堆积量的溢仓预警装置还包括：图像数量统计模块，用于获取训练后的实例分割模型的准确度，当训练后的实例分割模型的准确度低于准确度阈值时，获取图形处理器的数量和图形处理器处理的图像数量；样本数量统计模块，计算所述图像处理器的数量和所述图形处理器处理的图像数量的乘积，得到待训练场景图像的样本数量；样本数量调整模块，用于基于梯度阈值调整所述待训练场景图像的样本数量，得到调整后的待训练场景图像的样本数量，所述梯度阈值用于衡量是否需要调整待训练场景图像的样本数量；模型调整模块，用于基于所述调整后的样本数量和对应的标注后的训练场景图像，获取调整后的实例分割模型。

本发明第三方面提供了一种货物堆积量的溢仓预警设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述货物堆积量的溢仓预警设备执行上述的货物堆积量的溢仓预警方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的货物堆积量的溢仓预警方法。

本发明提供的技术方案中，通过监控平台获取待检测场景图像，所述待检测场景图像包括多个货物；根据训练后的实例分割模型和所述待检测场景图像，得到目标待检测场景图像和目标特征区域，所述目标待检测场景图像包括多个目标单通道图像；基于开源计算机视觉库，根据所述目标待检测场景图像和所述目标特征区域获取目标特征区域对应的轮廓面积；根据所述目标特征区域对应的轮廓面积获取目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值；若所述目标货物堆积率大于所述堆积率报警阈值，则进行报警处理。本发明实施例中，采用训练后的实例分割模型和开源计算机视觉库识别目标特征区域并计算目标特征区域对应的轮廓面积和目标货物堆积量，提高了货物识别的效率和准确率，从而提高了目标货物堆积量溢仓预警的准确率。

附图说明

图1为本发明实施例中货物堆积量的溢仓预警方法的一个实施例示意图；

图2为本发明实施例中货物堆积量的溢仓预警方法的另一个实施例示意图；

图3为本发明实施例中货物堆积量的溢仓预警装置的一个实施例示意图；

图4为本发明实施例中货物堆积量的溢仓预警装置的另一个实施例示意图；

图5为本发明实施例中货物堆积量的溢仓预警设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种货物堆积量的溢仓预警方法、装置、设备及存储介质，用于对目标区域进行识别以及对目标区域面积进行计算，从而得到目标货物堆积率，提高了货物识别的效率、准确率以及提高了货物堆积量溢仓的预警准确率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中货物堆积量的溢仓预警方法的一个实施例包括：

101、通过监控平台获取待检测场景图像，待检测场景图像包括多个货物；

服务器通过监控平台获取包括多个货物的待检测场景图像。待检测场景图像可以为监控平台拍的照片或者可以为摄像头拍的视频的截图。

需要说明的是，监控平台为摄像头，摄像头拍摄得到的照片或者视频存储在硬盘录像机(digital video recorder，DVR)中，服务器可以直接通过客户端对视频进行截图，便于通过监控平台对待检测场景进行查看、控制以及管理。

例如，监控平台的监控视频为监控视频A，服务器通过客户端对监控视频A进行截图，得到待检测场景图像A，待检测场景图像A中包括多个货物。

可以理解的是，本发明的执行主体可以为货物堆积量的溢仓预警装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

102、根据训练后的实例分割模型和待检测场景图像，得到目标待检测场景图像和目标特征区域，目标待检测场景图像包括多个目标单通道图像；

服务器将待检测场景图像输入至训练后的实例分割模型进行处理，得到目标待检测场景图像，目标待检测场景图像中包括目标特征区域，目标特征区域为货物区域。

需要说明的是，目标特征区域不仅限于一个，且目标待检测场景图像包括多个目标单通道图像。本实施例中的模型为实例分割模型，具体为Mask R-CNN模型，现有的目标检测主要指检测一张图像中有什么目标，并使用方框表示出来；而实例分割的目标检测是要标出每个对象所属的类别，即不仅把每个物体的方框标注出来，并且把每个方框中对象所属的类别也标记出来。

服务器检测目标特征区域时，首先要得到训练集数据，并结合训练集数据得到训练后的实例分割模型，然后将待检测的场景图片输入至训练后的实例分割模型中进行目标检测、目标分类和前后背景分割，从而得到目标待检测场景图像，例如目标待检测场景图像中包括目标分类为货物的区域，目标分类为行人的区域和目标分类为背景的区域，服务器将这目标分类为货物的区域确定为目标特征区域。

103、基于开源计算机视觉库，根据目标待检测场景图像和目标特征区域获取目标特征区域对应的轮廓面积；

服务器调用开源计算机视觉库，根据目标待检测场景图像和目标特征区域进行目标特征区域面积的计算，得到目标特征区域对应的轮廓面积。

在本实施例中，开源计算机视觉库为Open CV，目标特征区域一般为不规则的图形，所以采用计算机视觉库中的视频分析、图像处理等功能模块对不规则的目标特征区域进行面积计算。

例如，服务器得到的目标特征区域为不规则图形A。服务器采用开源计算机视觉库将目标特征区域轮廓对应的多个目标坐标点A提取出来。由于预处理后的目标待检测场景图像由多个目标单通道图像组成，所以按照此方法能够得到多个目标坐标点B、多个目标坐标点C以及多个目标坐标点D等。最后服务器通过这些多通道中的多个目标坐标点获取得到目标特征区域对应的轮廓面积A。

104、根据目标特征区域对应的轮廓面积获取目标货物堆积率，并判断目标货物堆积率是否大于堆积率报警阈值；

服务器判断是否需要进行报警处理的前提为通过目标特征区域对应的轮廓面积和待检测场景图像的面积计算出目标货物的堆积率，然后将目标货物的堆积率和堆积率报警阈值进行对比，从而判断是否需要进行报警处理。

需要说明的是，目标货物的堆积率的通过采用目标特征区域对应的轮廓面积除以待检测场景图像的面积得到。

例如，计算得到的目标特征区域对应的轮廓面积为16平方厘米，预测场景图像的面积为64平方厘米，那么服务器计算得到的目标货物堆积率为25％。

105、若目标货物堆积率大于堆积率报警阈值，则进行报警处理。

如果服务器判断目标货物堆积率大于堆积率报警阈值，则进行报警处理，如果服务器判断目标货物堆积率小于或者等于堆积率报警阈值，则不进行报警处理。

例如，假设堆积率报警阈值为10％，服务器计算得到的目标货物堆积率A为25％，服务器计算得到的目标货物堆积率B为8％，服务器则对目标货物堆积率A对应的场景进行报警处理。

本发明实施例中，采用训练后的实例分割模型和开源计算机视觉库识别目标特征区域并计算目标特征区域对应的轮廓面积和目标货物堆积量，提高了货物识别的效率和准确率，从而提高了目标货物堆积量溢仓预警的准确率。

请参阅图2，本发明实施例中货物堆积量的溢仓预警方法的另一个实施例包括：

201、通过监控平台获取多个待训练场景图像，待训练场景图像包括多个货物；

服务器通过监控平台获取多个待训练场景图像，多个待训练场景图像用于训练模型，多个待训练场景图像包括多个货物。

例如，监控平台的监控视频为监控视频A、监控视频B和监控视频C等，服务器通过客户端对监控视频A、监控视频B和监控视频C等监控视频进行多次截图，得到多个待训练场景图像A、多个待训练场景图像B和多个待训练场景图像C等。

202、采用图像标注工具对多个训练场景图像进行标注，得到多个标注后的训练场景图像；

服务器采用图像标注工具对多个待训练场景图像进行标注，将标注好的多个待训练场景图像输入实例分割算法，通过训练得到训练后的实例分割模型。

需要说明的是，在深度学习中一般需要对大量的图像进行标注，从而得到训练模型用的数据集，结合实例分割算法对训练用的数据集进行训练，得到训练后的实例分割模型。

具体的，服务器从多个待训练场景图像中的一个待训练场景图像中提取待训练量场景图像的原图像数据；其次服务器从原图像数据中读取多个待训练场景图像的连接坐标点，并将多个待训练场景图像的连接坐标点进行相连，得到待训练场景图像的杰森(javaScript object notation，JSON)文件，并导出该JSON文件得到标注后的待训练场景图像。服务器再从多个待训练场景图像中的其他待训练场景图像中获取多个标注后的待训练场景图像。

为了便于理解，下面结合具体场景进行说明：

例如，待检测场景图像中包括货物、车和行人，服务器采用图像标注工具对多个待训练场景图像中的货物进行坐标点标注，得到多个货物坐标点，服务器连接这些货物坐标点，得到货物的JSON文件，货物的JSON文件包括货物的标注信息，按照此种方式，服务器能够得到车的标注信息、行人的标注信息和背景的标注信息，最后采用预置导出函数，导出JSON文件，得到标注后的待训练场景图像。按照此方法得到多个标注后的待训练场景图像。

203、采用实例分割算法对多个标注后的待训练场景图像进行模型训练，得到训练后的实例分割模型。

在训练模型的过程中，服务器结合实例分割算法对标注后的待训练场景图像进行训练，从而得到训练后的实例分割模型。

可选的，在基于多个标注后的待训练场景图像和实例分割算法进行模型训练，得到训练后的实例分割模型之后，货物堆积量的溢仓预警方法还包括：

服务器获取训练后的实例分割模型的准确度，当训练后的实例分割模型的准确度低于准确度阈值时，说明需要对训练后的实例分割模型进行优化调整，则获取图形处理器的数量和图形处理器处理的图像数量；服务器将基于图像处理器的数量与图形处理器处理的图像数量相乘，得到待训练场景图像的样本数量；判断待训练场景图像的样本数量是否小于基于梯度阈值，如果待训练场景图像的样本数量是否小于基于梯度阈值，服务器则增加待训练场景图像的样本数量，从而得到调整后的待训练场景图像的样本数量；基于调整后的样本数量和对应的标注后的训练场景图像，调整训练后的实例分割模型，从而获取调整后的实例分割模型。

204、通过监控平台获取待检测场景图像，待检测场景图像包括多个货物；

服务器通过监控平台获取包括多个货物的待检测场景图像。待检测场景图像可以为监控平台拍的照片或者可以为摄像头拍的视频的截图。

需要说明的是，监控平台为摄像头，摄像头拍摄得到的照片或者视频存储在硬盘录像机(digital video recorder，DVR)中，服务器可以直接通过客户端对视频进行截图，便于通过监控平台对待检测场景进行查看、控制以及管理。

例如，监控平台的监控视频为监控视频A，服务器通过客户端对监控视频A进行截图，得到待检测场景图像A；待检测场景图像A中包括多个货物。

可以理解的是，本发明的执行主体可以为货物堆积量的溢仓预警装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

205、根据训练后的实例分割模型和待检测场景图像，得到目标待检测场景图像和目标特征区域，目标待检测场景图像包括多个目标单通道图像；

服务器将待检测场景图像输入至训练后的实例分割模型进行处理，得到目标待检测场景图像，目标待检测场景图像中包括目标特征区域，目标特征区域为货物区域。

需要说明的是，目标特征区域不仅限于一个，且目标待检测场景图像包括多个目标单通道图像。本实施例中的模型为实例分割模型，具体为Mask R-CNN模型，现有的目标检测主要指检测一张图像中有什么目标，并使用方框表示出来；而实例分割要标出每个像素所属的类别，即不仅把每个物体的方框标注出来，并且把每个方框中像素所属的类别也标记出来。

服务器检测目标特征区域时，首先要得到训练集数据，并结合训练集数据得到训练后的实例分割模型，然后将待检测的场景图片输入至训练后的实例分割模型中进行目标检测、目标分类和前后背景分割，从而得到目标待检测场景图像，例如目标待检测场景图像中包括目标分类为货物的区域，目标分类为行人的区域和目标分类为背景的区域，服务器将这目标分类为货物的区域确定为目标特征区域。

具体的，服务器将待检测场景图像输入训练后的实例分割模型中进行目标检测，得到多个目标检测框；再在训练后的实例分割模型中对每个目标检测框进行目标分类，得到多个目标特征类别，最后服务器在训练后的实力分割模型中对待检测场景图像和多个目标特征类别进行像素级目标分割，得到目标待检测场景图像和目标特征区域。

例如，服务器将待检测场景图像A输入训练后的实例分割模型中进行目标检测，得到目标检测框A、目标检测框B、目标检测框C、目标检测框D、目标检测框E、目标检测框F以及目标检测框G，服务器通过训练后的实例分割模型对目标检测框A、目标检测框B、目标检测框C、目标检测框D、目标检测框E、目标检测框F以及目标检测框G进行目标分类，将目标检测框A、目标检测框B和目标检测框C划分为货物类别，将目标检测框D、目标检测框E和目标检测框F划分为车辆类别，将目标检测框G划分为行人类别；服务器再通过训练后的实例分割模型，对货物类别、车辆类别、行人类别以及结合待检测场景图像进行像素级目标分割，将这些类别与背景分割开，并确定货物类别为目标特征区域，从而得到目标待检测场景图像和目标特征区域。

206、基于开源计算机视觉库，根据目标待检测场景图像和目标特征区域获取目标特征区域对应的轮廓面积；

服务器调用开源计算机视觉库，根据目标待检测场景图像和目标特征区域进行目标特征区域面积的计算，得到目标特征区域对应的轮廓面积。

在本实施例中，本实施例中的开源计算机视觉库为Open CV，目标特征区域一般为不规则的图形，所以采用计算机视觉库中的视频分析、图像处理等功能模块对不规则的目标特征区域进行面积计算。

例如，服务器得到的目标特征区域为不规则图形A。服务器采用开源计算机视觉库将目标特征区域轮廓对应的多个目标坐标点A提取出来。由于预处理后的目标待检测场景图像由多个单通道图像组成，所以按照此方法能够得到多个目标坐标点B、多个目标坐标点C以及多个目标坐标点D等。最后服务器通过这些多通道中的多个目标坐标点获取得到目标特征区域对应的轮廓面积A。

具体的，服务器针对目标待检测场景图像中的多个目标单通道图像，结合预置参数函数在多个目标单通道图像中根据目标特征区域确定多个初始特征轮廓；然后服务器基于多个初始特征轮廓和计算机视觉库，得到多个初始特征坐标点；服务器根据多个初始特征坐标点的坐标位置对所述多个初始特征坐标点进行筛选，得到坐标位置处于目标特征区域边缘的多个目标特征坐标点，最后服务器根据多个目标特征坐标点获取目标特征区域对应的轮廓面积。

例如，服务器根据多个初始特征轮廓A、B、C、D、E和F得到多个初始特征坐标点A、多个初始特征坐标点B、多个初始特征坐标点C、多个初始特征坐标点D、多个初始特征坐标点E和多个初始特征坐标点F。服务器按照多个初始特征坐标点A、多个初始特征坐标点B、多个初始特征坐标点C、多个初始特征坐标点D、多个初始特征坐标点E和多个初始特征坐标点F的坐标位置进行筛选，得到坐标位置位于目标特征区域边缘的多个目标特征坐标点Y。最后服务器根据多个目标特征坐标点Y得到目标特征区域对应的轮廓面积。

需要说明的是，还可以采用另一种方式获取目标特征区域对应的轮廓面积。具体过程为：首先服务器针对目标待检测场景图像中的多个目标单通道图像，结合预置参数函数在多个目标单通道图像中根据目标特征区域确定多个初始特征轮廓；其次服务器基于多个初始特征轮廓和计算机视觉库，得到多个初始特征坐标点；然后服务器根据多个初始特征坐标点获取目标单通道图像对应的计算面积；最后服务器将多个目标单通道图像对应的计算面积进行叠加，并删除重叠部分的多余面积，从而获取目标特征区域对应的轮廓面积。

207、根据目标特征区域对应的轮廓面积获取目标货物堆积率，并判断目标货物堆积率是否大于堆积率报警阈值；

服务器判断是否需要进行报警处理的前提为通过目标特征区域对应的轮廓面积和待检测场景图像的面积计算出目标货物的堆积率，然后将目标货物的堆积率和堆积率报警阈值进行对比，从而判断是否需要进行报警处理。

需要说明的是，目标货物的堆积率的计算方法通过采用目标特征区域对应的轮廓面积除以待检测场景图像的面积得到。

具体的，服务器通过待检测场景图像计算得到待检测场景图像的面积；服务器再按照预置堆积率公式对待检测场景图像的面积和目标特征区域对应的轮廓面积进行堆积率计算，得到目标货物堆积率，并且判断目标货物堆积率是否大于堆积率报警阈值。

预置堆积率公式为：

其中，P为目标货物堆积率，S₁为目标特征区域对应的轮廓面积，S₂为待检测场景图像的面积。

例如，计算得到的目标特征区域对应的轮廓面积S₁为16平方厘米，预测场景图像的面积S₂为64平方厘米，那么服务器计算得到的目标货物堆积率为25％。

208、若目标货物堆积率大于堆积率报警阈值，则进行报警处理。

如果服务器判断目标货物堆积率大于堆积率报警阈值，则进行报警处理，如果服务器判断目标货物堆积率小于或者等于堆积率报警阈值，则不进行报警处理。

例如，假设堆积率报警阈值为10％，服务器计算得到的目标货物堆积率A为25％，服务器计算得到的目标货物堆积率B为8％，服务器则对目标货物堆积率A对应的场景进行报警处理。

本发明实施例中，采用训练后的实例分割模型和开源计算机视觉库识别目标特征区域并计算目标特征区域对应的轮廓面积和目标货物堆积量，提高了货物识别的效率和准确率，从而提高了目标货物堆积量溢仓预警的准确率。

上面对本发明实施例中货物堆积量的溢仓预警方法进行了描述，下面对本发明实施例中货物堆积量的溢仓预警装置进行描述，请参阅图3，本发明实施例中货物堆积量的溢仓预警装置一个实施例包括：

第一图像获取模块301，用于通过监控平台获取待检测场景图像，待检测场景图像包括多个货物；

目标区域识别模块302，用于根据训练后的实例分割模型和待检测场景图像，得到目标待检测场景图像和目标特征区域，目标待检测场景图像包括多个目标单通道图像；

面积计算模块303，用于基于开源计算机视觉库，根据目标待检测场景图像和目标特征区域获取目标特征区域对应的轮廓面积；

判断模块304，用于根据目标特征区域对应的轮廓面积获取目标货物堆积率，并判断目标货物堆积率是否大于堆积率报警阈值；

报警模块305，若目标货物堆积率大于堆积率报警阈值，则用于进行报警处理。

本发明实施例中，采用训练后的实例分割模型和开源计算机视觉库识别目标特征区域并计算目标特征区域对应的轮廓面积和目标货物堆积量，提高了货物识别的效率和准确率，从而提高了目标货物堆积量溢仓预警的准确率。

请参阅图4，本发明实施例中货物堆积量的溢仓预警装置的另一个实施例包括：

第一图像获取模块301，用于通过监控平台获取待检测场景图像，待检测场景图像包括多个货物；

目标区域识别模块302，用于根据训练后的实例分割模型和待检测场景图像，得到目标待检测场景图像和目标特征区域，目标待检测场景图像包括多个目标单通道图像；

面积计算模块303，用于基于开源计算机视觉库，根据目标待检测场景图像和目标特征区域获取目标特征区域对应的轮廓面积；

判断模块304，用于根据目标特征区域对应的轮廓面积获取目标货物堆积率，并判断目标货物堆积率是否大于堆积率报警阈值；

报警模块305，若目标货物堆积率大于堆积率报警阈值，则用于进行报警处理。

可选的，目标区域识别模块302还具体用于：

采用训练后的实例分割模型对待检测场景图像进行目标检测，得到多个目标检测框；

采用训练后的实例分割模型对每个目标检测框进行目标分类，得到多个目标特征类别；

采用训练后的实例分割模型对多个目标特征类别进行像素级目标分割，得到目标待检测场景图像和目标特征区域。

可选的，面积计算模块303还可以具体用于：

针对目标待检测场景图像中的多个目标单通道图像，基于预置参数函数和目标特征区域，从每个目标单通道图像中获取多个初始特征轮廓；

分别从每个初始特征轮廓中提取多个特征坐标点，得到多个初始特征坐标点；

按照多个初始特征坐标点的坐标位置对多个初始特征坐标点进行筛选，得到多个目标特征坐标点，多个目标特征坐标点为坐标位置处于目标特征区域边缘的初始特征坐标点；

基于开源计算机视觉库和多个目标特征坐标点，得到目标特征区域对应的轮廓面积。

可选的，判断模块304还可以具体用于：

对待检测场景图像进行面积计算得到待检测场景图像的面积；

基于待检测场景图像的面积、目标特征区域对应的轮廓面积和预置堆积率公式进行堆积率计算，得到目标货物堆积率，并判断目标货物堆积率是否大于堆积率报警阈值。

可选的，货物堆积量的溢仓预警装置还包括：

第二图像获取模块306，用于通过监控平台获取多个待训练场景图像，待训练场景图像包括多个货物；

图像标注模块307，用于采用图像标注工具对多个训练场景图像进行标注，得到多个标注后的训练场景图像；

模型训练模块308，用于采用实例分割算法对多个标注后的待训练场景图像进行模型训练，得到训练后的实例分割模型。

可选的，图像标注模块306具体还用于：针对多个待训练场景图像中的一个待训练场景图像，提取待训练场景图像的原图像数据；

从待训练场景图像的原图像数据中读取多个待训练场景图像的连接坐标点；

连接多个待训练场景图像的连接坐标点，得到一个待训练场景图像的JSON文件；

采用预置导出函数，导出待训练场景图像的JSON文件，得到标注后的待训练场景图像；

针对多个待训练场景图像中的其他待训练场景图像，得到多个标注后的待训练场景图像。

可选的，货物堆积量的溢仓预警装置还包括：

图像数量统计模块309，用于获取训练后的实例分割模型的准确度，当训练后的实例分割模型的准确度低于准确度阈值时，获取图形处理器的数量和图形处理器处理的图像数量；

样本数量统计模块310，用于计算图像处理器的数量和图形处理器处理的图像数量的乘积，得到待训练场景图像的样本数量；

样本数量调整模块311用于基于梯度阈值调整待训练场景图像的样本数量，得到调整后的待训练场景图像的样本数量，梯度阈值用于衡量是否需要调整待训练场景图像的样本数量；

模型调整模块312，用于基于调整后的样本数量和对应的标注后的训练场景图像，获取调整后的实例分割模型。

本发明实施例中，采用训练后的实例分割模型和开源计算机视觉库识别目标特征区域并计算目标特征区域对应的轮廓面积和目标货物堆积量，提高了货物识别的效率和准确率，从而提高了目标货物堆积量溢仓预警的准确率。

上面图3和图4从模块化功能实体的角度对本发明实施例中的货物堆积量的溢仓预警装置进行详细描述，下面从硬件处理的角度对本发明实施例中货物堆积量的溢仓预警设备进行详细描述。

图5是本发明实施例提供的一种货物堆积量的溢仓预警设备的结构示意图，该货物堆积量的溢仓预警设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对货物堆积量的溢仓预警设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在货物堆积量的溢仓预警设备500上执行存储介质530中的一系列指令操作。

基于货物堆积量的溢仓预警设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的货物堆积量的溢仓预警设备结构并不构成对基于货物堆积量的溢仓预警设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行货物堆积量的溢仓预警方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种货物堆积量的溢仓预警方法，其特征在于，所述货物堆积量的溢仓预警方法包括：

通过监控平台获取待检测场景图像，所述待检测场景图像包括多个货物；

根据训练后的实例分割模型和所述待检测场景图像，得到目标待检测场景图像和目标特征区域，所述目标待检测场景图像包括多个目标单通道图像；

基于开源计算机视觉库，根据所述目标待检测场景图像和所述目标特征区域获取目标特征区域对应的轮廓面积；

根据所述目标特征区域对应的轮廓面积获取目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值；

若所述目标货物堆积率大于所述堆积率报警阈值，则进行报警处理。

2.根据权利要求1所述的货物堆积量的溢仓预警方法，其特征在于，所述根据训练后的实例分割模型和所述待检测场景图像，得到目标待检测场景图像和目标特征区域，所述目标待检测场景图像包括多个目标单通道图像包括：

采用训练后的实例分割模型对所述待检测场景图像进行目标检测，得到多个目标检测框；

采用所述训练后的实例分割模型对每个目标检测框进行目标分类，得到多个目标特征类别；

采用所述训练后的实例分割模型对所述多个目标特征类别进行像素级目标分割，得到目标待检测场景图像和目标特征区域。

3.根据权利要求2所述的货物堆积量的溢仓预警方法，其特征在于，所述基于开源计算机视觉库，根据所述目标待检测场景图像和所述目标特征区域获取目标特征区域对应的轮廓面积包括：

针对所述目标待检测场景图像中的多个目标单通道图像，基于预置参数函数和所述目标特征区域，从每个目标单通道图像中获取多个初始特征轮廓；

分别从每个初始特征轮廓中提取多个特征坐标点，得到多个初始特征坐标点；

按照多个初始特征坐标点的坐标位置对所述多个初始特征坐标点进行筛选，得到多个目标特征坐标点，所述多个目标特征坐标点为坐标位置处于目标特征区域边缘的初始特征坐标点；

基于开源计算机视觉库和所述多个目标特征坐标点，得到目标特征区域对应的轮廓面积。

4.根据权利要求1所述的货物堆积量的溢仓预警方法，其特征在于，所述根据所述目标特征区域对应的轮廓面积获取目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值包括：

对待检测场景图像进行面积计算得到待检测场景图像的面积；

基于待检测场景图像的面积、目标特征区域对应的轮廓面积和预置堆积率公式进行堆积率计算，得到目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值。

5.根据权利要求1-4中任一项所述的货物堆积量的溢仓预警方法，其特征在于，在所述通过监控平台获取待检测场景图像，所述待检测场景图像包括多个货物之前，所述货物堆积量的溢仓预警方法还包括：

通过监控平台获取多个待训练场景图像，所述待训练场景图像包括多个货物；

采用图像标注工具对所述多个训练场景图像进行标注，得到多个标注后的训练场景图像；

采用实例分割算法对所述多个标注后的待训练场景图像进行模型训练，得到训练后的实例分割模型。

6.根据权利要求5所述的货物堆积量的溢仓预警方法，其特征在于，所述采用图像标注工具对所述多个训练场景图像进行标注，得到多个标注后的训练场景图像包括：

针对多个待训练场景图像中的一个待训练场景图像，提取待训练场景图像的原图像数据；

从所述待训练场景图像的原图像数据中读取多个待训练场景图像的连接坐标点；

连接所述多个待训练场景图像的连接坐标点，得到一个待训练场景图像的杰森JSON文件；

采用预置导出函数，导出所述待训练场景图像的JSON文件，得到标注后的待训练场景图像；

针对多个待训练场景图像中的其他待训练场景图像，得到多个标注后的待训练场景图像。

7.根据权利要求5所述的货物堆积量的溢仓预警方法，其特征在于，在所述基于所述多个标注后的待训练场景图像和实例分割算法进行模型训练，得到训练后的实例分割模型之后，所述货物堆积量的溢仓预警方法还包括：

获取训练后的实例分割模型的准确度，当训练后的实例分割模型的准确度低于准确度阈值时，获取图形处理器的数量和图形处理器处理的图像数量；

计算所述图像处理器的数量和所述图形处理器处理的图像数量的乘积，得到待训练场景图像的样本数量；

基于梯度阈值调整所述待训练场景图像的样本数量，得到调整后的待训练场景图像的样本数量，所述梯度阈值用于衡量是否需要调整待训练场景图像的样本数量；

基于所述调整后的样本数量和对应的标注后的训练场景图像，获取调整后的实例分割模型。

8.一种货物堆积量的溢仓预警装置，其特征在于，所述货物堆积量的溢仓预警装置包括：

第一图像获取模块，用于通过监控平台获取待检测场景图像，所述待检测场景图像包括多个货物；

目标区域识别模块，用于根据训练后的实例分割模型和所述待检测场景图像，得到目标待检测场景图像和目标特征区域，所述目标待检测场景图像包括多个目标单通道图像；

面积计算模块，用于基于开源计算机视觉库，根据所述目标待检测场景图像和所述目标特征区域获取目标特征区域对应的轮廓面积；

判断模块，用于根据所述目标特征区域对应的轮廓面积获取目标货物堆积率，并判断所述目标货物堆积率是否大于堆积率报警阈值；

报警模块，若所述目标货物堆积率大于所述堆积率报警阈值，则用于进行报警处理。

9.一种货物堆积量的溢仓预警设备，其特征在于，所述货物堆积量的溢仓预警设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述货物堆积量的溢仓预警设备执行如权利要求1-7中任意一项所述的货物堆积量的溢仓预警方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述货物堆积量的溢仓预警方法。

Images