CN115512134A - 快件堆积异常预警方法、装置、设备及存储介质 - Google Patents

快件堆积异常预警方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115512134A
CN115512134A CN202211343315.7A CN202211343315A CN115512134A CN 115512134 A CN115512134 A CN 115512134A CN 202211343315 A CN202211343315 A CN 202211343315A CN 115512134 A CN115512134 A CN 115512134A
Authority
CN
China
Prior art keywords
image
express
target
preset
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211343315.7A
Other languages
English (en)
Inventor
余刚
杨周龙
陈伟
胡大海
金虎
陈乃翁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongpu Software Co Ltd
Original Assignee
Dongpu Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongpu Software Co Ltd filed Critical Dongpu Software Co Ltd
Priority to CN202211343315.7A priority Critical patent/CN115512134A/zh
Publication of CN115512134A publication Critical patent/CN115512134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别技术领域，公开了一种快件堆积异常预警方法、装置、设备及存储介质。本方法包括：通过对目标场景在预设时间段内的实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。本发明通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。

Description

快件堆积异常预警方法、装置、设备及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种快件堆积异常预警方法、装置、设备及存储介质。
背景技术
在物流领域的相关技术中，越来越多的网络视频监控技术运用至物流领域中，由于网络视频监控系统所采集的图像信息丰富，像素高清，技术先进以及便利直观等优势和特点，在物流领域得到了良好的发展，目前网络视频监控领域主要依赖于人工操作，对快递企业来说每逢节假日时常会发生快递快件堆积过多的情况(俗称爆仓)，这不仅影响了客户的购物体验，而且会引发连锁效应，导致爆仓情况越来越严重。
为了解决这一问题，快递企业的每个大型操作场地都会设置上百个摄像头，并配备多名安保人员通过视频监控场地内快递快件堆积情况，在快递快件堆积过多时及时预警。由于需要配备多名相关人员持续查看监控视频，人工成本较高；而且人的视觉疲劳可能导致不能及时发现快递快件堆积异常的情况。
发明内容
本发明的主要目的是通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。
本发明第一方面提供了一种快件堆积异常预警方法，包括：基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像，其中，所述实时场景图像中包含有待分拣快件；对所述实时场景图像进行灰度处理，得到灰度图像，并将所述灰度图像输入预设快件标注模型，通过预设快件标注模型对所述实时场景图像进行分割处理，得到所述实时场景图像中的目标快件图像；基于预设图像分析算法，对所述目标快件图像进行解析，得到所述目标场景中的快件堆积数据；基于所述快件堆积数据，计算所述目标场景中对应格口的快件容积率，并根据所述快件容积率判断是否进行预警。
可选地，在本发明第一方面的第一种实现方式中，所述将所述灰度图像输入预设快件标注模型，通过预设快件标注模型对所述实时场景图像进行分割处理，得到所述实时场景图像中的目标快件图像，包括：基于预设快件标注模型，对所述灰度图像进行检测，得到所述灰度图像中包含的多个目标快件；基于所述快件标注模型，对多个所述目标快件进行分类，得到所述目标快件的特征类别；基于所述目标快件的特征类别，对所述实时场景图像中的目标快件进行标注，得到所述实时场景图像数据中的目标快件图像。
可选地，在本发明第一方面的第二种实现方式中，所述基于所述目标快件的特征类别，对所述实时场景图像中的目标快件进行标注，得到所述实时场景图像数据中的目标快件图像，包括：基于所述目标快件的特征类别，将所述灰度图像输入预设快件标注模型进行预处理，得到所述灰度图像的权值矩阵和所述灰度图像上的标记点；基于所述权值矩阵和预设最短路径算法，计算所述灰度图像上的标记点之间的最短路径，并根据所述最短路径确定图像分割边界；基于所述图像分割边界，对所述灰度图像进行分割标注，得到所述实时场景图像中的目标快件图像。
可选地，在本发明第一方面的第三种实现方式中，所述基于预设图像分析算法，对所述目标快件图像进行解析，得到所述目标场景中的快件堆积数据，包括：基于预设图像分析算法，对所述目标快件图像进行特征提取，得到所述目标快件图像中目标快件的特征区域；基于预设开源算法，根据所述目标快件图像和所述目标快件的区域特征，确定所述区域特征对应的目标快件轮廓范围；根据所述目标快件轮廓范围，确定所述目标场景中的快件堆积数据。
可选地，在本发明第一方面的第四种实现方式中，所述基于预设开源算法，根据所述目标快件图像和所述目标快件的区域特征，确定所述区域特征对应的目标快件轮廓范围，包括：通过所述目标场景中的多个目标快件图像，基于预设高斯函数和所述目标快件的特征区域，从所述目标快件图像中提取多个特征轮廓值；分别对多个所述特征轮廓值进行提取，得到目标特征位置坐标；基于预设开源算法和所述目标特征位置坐标，确定所述区域特征对应的目标快件轮廓范围。
可选地，在本发明第一方面的第五种实现方式中，所述基于所述快件堆积数据，计算所述目标场景中对应格口的快件容积率，并根据所述快件容积率判断是否进行预警，包括：基于所述快件堆积数据，计算所述目标场景中对应格口的的快件容积率；判断所述快件容积率是否大于预设容积率报警阈值；若所述快件容积率大于预设容积率报警阈值，则发送告警邮件至预设告警中心进行告警。
可选地，在本发明第一方面的第六种实现方式中，在所述基于预设数据采集设备获取目标场景在预设时间段内的场景图像数据之前，还包括：基于预设图像采集设备获取所述目标场景多帧历史场景图像，并将所述历史场景图像作为训练样本图像，其中，所述训练样本图像中包含多个待分拣快件；获取预先建立的图像标注网络，并将所述训练样本图像输入所述图像标注网络，得到所述训练样本图像的第一图像特征和第二图像特征；对所述第一图像特征和第二图像特征进行域分离，得到分离域特征；基于所述分离域特征，计算所述图像标注网络的损失函数；基于所述图像标注网络的损失函数对所述图像标注网络进行训练，直到所述图像标注网络中的相关参数使得所述损失函数收敛，得到快件标注模型。
本发明第二方面提供了一种快件堆积异常预警装置，包括：采集模块，用于基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像，其中，所述实时场景图像中包含有待分拣快件；标注模块，用于对所述实时场景图像进行灰度处理，得到灰度图像，并将所述灰度图像输入预设快件标注模型，通过预设快件标注模型对所述实时场景图像进行分割处理，得到所述实时场景图像中的目标快件图像；解析模块，用于基于预设图像分析算法，对所述目标快件图像进行解析，得到所述目标场景中的快件堆积数据；第一计算模块，用于基于所述快件堆积数据，计算所述目标场景中对应格口的快件容积率，并根据所述快件容积率判断是否进行预警。
可选地，在本发明第二方面的第一种实现方式中，所述标注模块包括：检测单元，用于基于预设快件标注模型，对所述灰度图像进行检测，得到所述灰度图像中包含的多个目标快件；分类单元，用于基于所述快件标注模型，对多个所述目标快件进行分类，得到所述目标快件的特征类别；标注单元，用于基于所述目标快件的特征类别，对所述实时场景图像中的目标快件进行标注，得到所述实时场景图像数据中的目标快件图像。
可选地，在本发明第二方面的第二种实现方式中，所述标注单元具体用于：基于所述目标快件的特征类别，将所述灰度图像输入预设快件标注模型进行预处理，得到所述灰度图像的权值矩阵和所述灰度图像上的标记点；基于所述权值矩阵和预设最短路径算法，计算所述灰度图像上的标记点之间的最短路径，并根据所述最短路径确定图像分割边界；基于所述图像分割边界，对所述灰度图像进行分割标注，得到所述实时场景图像中的目标快件图像。
可选地，在本发明第二方面的第三种实现方式中，所述解析模块包括：特征提取单元，用于基于预设图像分析算法，对所述目标快件图像进行特征提取，得到所述目标快件图像中目标快件的特征区域；第一确定单元，用于基于预设开源算法，根据所述目标快件图像和所述目标快件的区域特征，确定所述区域特征对应的目标快件轮廓范围；第二确定单元，用于根据所述目标快件轮廓范围，确定所述目标场景中的快件堆积数据。
可选地，在本发明第二方面的第四种实现方式中，所述第一确定单元具体用于：通过所述目标场景中的多个目标快件图像，基于预设高斯函数和所述目标快件的特征区域，从所述目标快件图像中提取多个特征轮廓值；分别对多个所述特征轮廓值进行提取，得到目标特征位置坐标；基于预设开源算法和所述目标特征位置坐标，确定所述区域特征对应的目标快件轮廓范围。
可选地，在本发明第二方面的第五种实现方式中，所述第一计算模块具体用于：基于所述快件堆积数据，计算所述目标场景中对应格口的的快件容积率；判断所述快件容积率是否大于预设容积率报警阈值；若所述快件容积率大于预设容积率报警阈值，则发送告警邮件至预设告警中心进行告警。
可选地，在本发明第二方面的第六种实现方式中，所述快件堆积异常预警装置还包括：获取模块，用于基于预设图像采集设备获取所述目标场景多帧历史场景图像，并将所述历史场景图像作为训练样本图像，其中，所述训练样本图像中包含多个待分拣快件；输入模块，用于获取预先建立的图像标注网络，并将所述训练样本图像输入所述图像标注网络，得到所述训练样本图像的第一图像特征和第二图像特征；域分离模块，用于对所述第一图像特征和第二图像特征进行域分离，得到分离域特征；第二计算模块，用于基于所述分离域特征，计算所述图像标注网络的损失函数；训练模块，用于基于所述图像标注网络的损失函数对所述图像标注网络进行训练，直到所述图像标注网络中的相关参数使得所述损失函数收敛，得到快件标注模型。
本发明第三方面提供了一种快件堆积异常预警设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述快件堆积异常预警设备执行上述的快件堆积异常预警方法的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的快件堆积异常预警方法的各个步骤。
本发明提供的技术方案中，通过对目标场景在预设时间段内的实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。本发明通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。
附图说明
图1为本发明提供的快件堆积异常预警方法的第一个实施例示意图；
图2为本发明提供的快件堆积异常预警方法的第二个实施例示意图；
图3为本发明提供的快件堆积异常预警方法的第三个实施例示意图；
图4为本发明提供的快件堆积异常预警装置的第一个实施例示意图；
图5为本发明提供的快件堆积异常预警装置的第二个实施例示意图；
图6为本发明提供的快件堆积异常预警设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种快件堆积异常预警方法、装置、设备及存储介质，本发明的技术方案中，首先通过对目标场景在预设时间段内的实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。本发明通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中快件堆积异常预警方法的第一个实施例包括：
101、基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像；
本实施例中，服务器通过图像采集设备获取目标场景在预设时间段内的实时场景图像。实时场景图像可以为数据采集设备拍的照片或者可以为数据采集设备拍的视频的截图。
需要说明的是，数据采集设备为摄像头，摄像头拍摄得到的照片或者视频存储在硬盘录像机(digital video recorder，DVR)中，服务器可以直接通过客户端对视频进行截图，便于通过数据采集设备对目标场景进行查看、控制以及管理。例如，数据采集设备的视频数据为视频A，服务器通过客户端对视频A进行截图，得到实时场景图像A，实时场景图像A中包括多个快件。
102、对实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；
本实施例中，灰度处理是指在图像处理过程中，三个通道的数据比较复杂，那就可以先将图像进行灰度化处理，灰度化的过程就是将每个像素点的RGB值统一成同一个值。灰度化后的图像将由三通道变为单通道，单通道的数据处理起来就会简单许多。
首先我们都了解图片的所有颜色都调节RGB的值来达到不同的效果。彩色图像有R，G，B三个分量，分别掌管红绿蓝三种基础色彩，灰度化就是使彩色的R，G，B分量相等的过程。灰度值大的像素点比较亮，反之比较暗这个过程就是指灰度化。具体地，灰度化是指，在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，因此，灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值)，灰度范围为0-255。
本实施例中，服务器将实时场景图像输入至训练后的快件标注模型进行处理，得到目标实时场景图像，目标实时场景图像中包括目标快件的特征区域，目标快件的特征区域为目标快件的区域。
需要说明的是，目标快件的特征区域不仅限于一个，且目标实时场景图像包括多个目标单通道图像。本实施例中的模型为快件标注模型，具体为Mask R-CNN模型，现有的目标检测主要指检测一张图像中有什么目标，并使用方框表示出来；而实例分割的目标检测是要标出每个对象所属的类别，即不仅把每个物体的方框标注出来，并且把每个方框中对象所属的类别也标记出来。
服务器检测目标快件的特征区域时，首先要得到训练集数据，并结合训练集数据得到训练后的快件标注模型，然后将待检测的场景图片输入至训练后的快件标注模型中进行目标检测、目标分类和前后背景分割，从而得到目标实时场景图像，例如目标实时场景图像中包括目标分类为快件的区域，目标分类为行人的区域和目标分类为背景的区域，服务器将这目标分类为快件的区域确定为目标快件的特征区域。
103、基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；
本实施例中，从服务器中获取到的图像数据首先经过Dijkstra图像分析算法进行数据处理得到计算机可以处理的图像数据，其中Di jkstra图像分析算法是从一个顶点到其余各顶点的最短路径算法，其图像数据处理策略为：1、通过Dijkstra计算图G中的最短路径时，需要指定起点s。2、引进两个集合S和U。S的作用是记录已求出最短路径的顶点，而U则是记录还未求出最短路径的顶点。3、初始时，S中只有起点s，U中是除s之外的顶点，并且U中顶点的路径是"起点s到该顶点的路径"。然后从U中找出路径最短的顶点，并将其加入到S中；更新U中的顶点和顶点对应的路径。…重复该操作，直到遍历完所有顶点。
104、基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。
本实施例中，服务器判断是否需要进行报警处理的前提为通过目标快件的特征区域对应的目标快件轮廓范围和待检测场景图像的面积计算出目标快件的堆积率，然后将目标快件的堆积率和堆积率报警阈值进行对比，从而判断是否需要进行报警处理。需要说明的是，目标快件的堆积率的通过采用目标快件的特征区域对应的目标快件轮廓范围除以待检测场景图像的面积得到。例如，计算得到的目标快件的特征区域对应的目标快件轮廓范围为16平方厘米，预测场景图像的面积为64平方厘米，那么服务器计算得到的目标快件堆积率为25％。
如果服务器判断目标快件堆积率大于堆积率报警阈值，则进行报警处理，如果服务器判断目标快件堆积率小于或者等于堆积率报警阈值，则不进行报警处理。例如，假设堆积率报警阈值为10％，服务器计算得到的目标快件堆积率A为25％，服务器计算得到的目标快件堆积率B为8％，服务器则对目标快件堆积率A对应的场景进行报警处理。
本发明实施例中，通过对目标场景在预设时间段内的实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。本发明通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。
请参阅图2，本发明实施例中快件堆积异常预警方法的第二个实施例包括：
201、基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像；
202、基于预设快件标注模型，对灰度图像进行检测，得到灰度图像中包含的多个目标快件；
本实施例中，
对获取的二维图像的灰度值进行判定，当判定为多通道图像时，则将多通道转换为单通道的灰度值，(如将RGB三通道像素点的颜色值转换为单通道的灰度值)再根据所述灰度图像其上各像素点的灰度值及各像素点的拓扑关系得到权值矩阵，其中，所述拓扑关系由对所述灰度图像的像素点进行三角剖分获得。
在另一具体实施例中，获取所述灰度图像上的标记点，其中，所述标记点为手动选取。
203、基于快件标注模型，对多个目标快件进行分类，得到目标快件的特征类别；
本实施例中，模型为快件标注模型，具体为Mask R-CNN模型，现有的目标检测主要指检测一张图像中有什么目标，并使用方框表示出来；而实例分割的目标检测是要标出每个对象所属的类别，即不仅把每个物体的方框标注出来，并且把每个方框中对象所属的类别也标记出来，也即，对多个目标快件进行分类，得到目标快件的特征类别。
204、基于目标快件的特征类别，将灰度图像输入预设快件标注模型进行预处理，得到灰度图像的权值矩阵和灰度图像上的标记点；
本实施例中，对获取的二维图像的灰度值进行判定，当判定为多通道图像时，则将多通道转换为单通道的灰度值，(如将RGB三通道像素点的颜色值转换为单通道的灰度值)再根据所述灰度图像其上各像素点的灰度值及各像素点的拓扑关系得到权值矩阵，其中，所述拓扑关系由对所述灰度图像的像素点进行三角剖分获得。
在另一具体实施例中，获取所述灰度图像上的标记点，其中，所述标记点为手动选取。
205、基于权值矩阵和预设最短路径算法，计算灰度图像上的标记点之间的最短路径，并根据最短路径确定图像分割边界；
本实施例中，手工在待分割的图像轮廓上依次选取若干点，记录各个标记点的标号，记为标记点M1,M2,M3,…,Mn；优选的，选取标记点的个数为6个或6个以上，可以通过增加标记点的数量提高分割精度；利用所述权值矩阵用最短路径算法计算各标记点间的最短路径获取图像分割边界；所述图像分割边界即分割路径为各个标记点间的最短路径的集合，各个标记点间的最短路径为标记点M(n)到标记点M(n+1)的最短路径上所有点的集合；在本实施例中，根据权值矩阵采用Dijkstra算法计算标记点M(n)与标记点M(n+1)之间的最短路径P(n,n+1)；获得各个标记点间的最短路径P(1,2)，P(2,3)，···，P(n-1,n)，P(n,1)，对其取并集最终获得待分割图像的图像分割边界。
206、基于图像分割边界，对灰度图像进行分割标注，得到实时场景图像中的目标快件图像；
本实施例中，在需要分割的图像中取任意点，从该点出发，不断寻找相连的点，直到寻找到分割路径上的点，将所有找到的点提取出来，即可完成图像的分割并输出分割图像，也即，对灰度图像进行分割标注，得到实时场景图像中的目标快件图像。
207、基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；
208、基于快件堆积数据，计算目标场景中对应格口的的快件容积率；
本实施例中，服务器判断是否需要进行报警处理的前提为通过目标特征区域对应的轮廓面积和待检测场景图像的面积计算出目标快件的容积率，然后将目标快件的容积率和容积率报警阈值进行对比，从而判断是否需要进行报警处理。
需要说明的是，目标快件的堆积率的计算方法通过采用目标特征区域对应的轮廓面积除以待检测场景图像的面积得到。
具体的，服务器通过待检测场景图像计算得到待检测场景图像的面积；服务器再按照预置堆积率公式对待检测场景图像的面积和目标特征区域对应的轮廓面积进行堆积率计算，得到目标快件堆积率，并且判断目标快件堆积率是否大于堆积率报警阈值。
例如，计算得到的目标特征区域对应的轮廓面积S1为16平方厘米，预测场景图像的面积S2为64平方厘米，那么服务器计算得到的目标快件堆积率为25％。
209、判断快件容积率是否大于预设容积率报警阈值；
本实施例中，服务器判断是否需要进行报警处理的前提为通过目标特征区域对应的轮廓面积和待检测场景图像的面积计算出目标快件的容积率，然后将目标快件的容积率和容积率报警阈值进行对比，从而判断是否需要进行报警处理。
210、若快件容积率大于预设容积率报警阈值，则发送告警邮件至预设告警中心进行告警。
本实施例中，如果服务器判断目标货物堆积率大于容积率报警阈值，则进行报警处理，如果服务器判断目标货物容积率小于或者等于容积率报警阈值，则不进行报警处理。
例如，假设容积率报警阈值为10％，服务器计算得到的目标货物容积率A为25％，服务器计算得到的目标货物容积率B为8％，服务器则对目标货物容积率A对应的场景进行报警处理。
本实施例中步骤201、207与第一实施例中的步骤101、103类似，此处不再赘述。
本发明实施例中，通过对目标场景在预设时间段内的实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。本发明通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。
请参阅图3，本发明实施例中快件堆积异常预警方法的第三个实施例包括：
301、基于预设图像采集设备获取目标场景多帧历史场景图像，并将历史场景图像作为训练样本图像，其中，训练样本图像中包含多个待分拣快件；
本实施例中，服务器通过图像采集设备获取目标场景多帧历史场景图像，并将所述历史场景图像作为多个训练样本图像，训练样本图像用于训练模型，多个训练样本图像包括多个快件。
例如，图像采集设备的监控视频为监控视频A、监控视频B和监控视频C等，服务器通过客户端对监控视频A、监控视频B和监控视频C等监控视频进行多次截图，得到多个待训练场景图像A、多个待训练场景图像B和多个待训练场景图像C等。
302、获取预先建立的图像标注网络，并将训练样本图像输入图像标注网络，得到训练样本图像的第一图像特征和第二图像特征；
本实施例中，图像标注网络包括：图像标注模块和特征域分离模块，图像标注模型可以是用于进行图像处理的卷积神经网络(例如包含卷积层、池化层、反池化层、反卷积层的各种卷积神经网络结构，可以依次进行降采样和上采样)；上述特征域分离模块可以是用于对图像标注模块输出的第一图像特征和第二图像特征进行域分离，并基于域分离特征调整图像标注网络的参数，从而保证训练完成的图像标注模块(图像标注模型)可以有效地对第一域的图像和第二域的图像进行区分。
本实施例中，图像标注模块是一种特征提取网络，通过该特征提取网络可以有效地提取输入的图像的特征，并且将一张图像输入图像标注模块，可以得到图像标注模块输出的图像标注结果。具体地，将训练样本图像输入图像标注模块，得到对应该样本的第一域的图像的第一图像特征，和对应该样本的第二域的图像的第二图像特征。
本实施例中，样本的选取方式和选取数量可以是随机选取至少一个样本，也可以是从中选取清晰度较好(即像素较高)的样本。每个样本可以是一对图像。一对图像中包括一个第一域的图像和一个第二域的图像。可根据实际需求选择第一域的图像和第二域的图像。
303、对第一图像特征和第二图像特征进行域分离，得到分离域特征，并基于分离域特征，计算图像标注网络的损失函数；
本实施例中，图像标注模块可以采用卷积神经网络，卷积神经网络用于采集图像的图像特征，基于图像特征识别图像中人物或动物的身份信息，图像标注模块可以单独对第一域的图像进行图像标注，也可以单独对第二域的图像进行图像标注。
本实施例中，也可以采用多分支联合训练技术，对图像标注网络的样本进行同批次多输入，其中分支一为第一域的图像，分支二为第二域的图像。
304、基于图像标注网络的损失函数对图像标注网络进行训练，直到图像标注网络中的相关参数使得损失函数收敛，得到快件标注模型；
本实施例中，通过交叉熵损失监督计算，可以得到与第一图像特征对应的第一图像损失值；通过交叉熵损失监督计算，可以得到与第二图像特征对应的第二图像损失值；通过特征域损失计算，可以得到与分离域特征对应的分离域损失值；将第一图像损失值、第二图像损失值、分离域损失值三者相加，可以得到图像标注网络的损失值。在每次迭代训练中，基于图像标注网络的损失值，对图像标注网络的参数进行调整，可以得到图像标注网络的最小的损失值，此时图像标注网络的参数为最优参数，图像标注模块为图像标注模型。，若图像标注网络满足训练完成条件，则将图像标注模块作为图像标注模型。
本实施例中，训练完成条件包括以下至少一项：训练迭代次数达到预定迭代阈值，图像标注网络的损失值小于预定损失值阈值。例如，训练迭代达到5千次。损失值小于0.05。训练完成后只保留图像标注模块作为图像标注模型。设置训练完成条件可以加快模型收敛速度。
在另一具体实施例，若图像标注网络不满足训练完成条件，则调整图像标注网络中的相关参数使得图像标注网络的损失值收敛。
305、基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像；
306、对实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；
307、基于预设图像分析算法，对目标快件图像进行特征提取，得到目标快件图像中目标快件的特征区域；
本实施例中，服务器将待检测场景图像输入至训练后的快件标注模型进行处理，得到目标快件图像，目标快件图像中包括目标快件的特征区域，目标快件的特征区域为快件区域。
需要说明的是，目标快件的特征区域不仅限于一个，且目标快件图像包括多个目标单通道图像。本实施例中的模型为快件标注模型，具体为Mask R-CNN模型，现有的目标检测主要指检测一张图像中有什么目标，并使用方框表示出来；而实例分割要标出每个像素所属的类别，即不仅把每个物体的方框标注出来，并且把每个方框中像素所属的类别也标记出来。
服务器检测目标快件的特征区域时，首先要得到训练集数据，并结合训练集数据得到训练后的快件标注模型，然后将待检测的场景图片输入至训练后的快件标注模型中进行目标检测、目标分类和前后背景分割，从而得到目标快件图像，例如目标快件图像中包括目标分类为快件的区域，目标分类为行人的区域和目标分类为背景的区域，服务器将这目标分类为快件的区域确定为目标快件的特征区域。
具体的，服务器将待检测场景图像输入训练后的快件标注模型中进行目标检测，得到多个目标检测框；再在训练后的快件标注模型中对每个目标检测框进行目标分类，得到多个目标特征类别，最后服务器在训练后的实力分割模型中对待检测场景图像和多个目标特征类别进行像素级目标分割，得到目标快件图像和目标快件的特征区域。
308、通过目标场景中的多个目标快件图像，基于预设高斯函数和目标快件的特征区域，从目标快件图像中提取多个特征轮廓值；
本实施例中，服务器调用开源计算机视觉库，根据目标快件图像和目标快件的特征区域进行目标快件的特征区域面积的计算，得到目标快件的特征区域对应的目标快件轮廓范围。
本实施例中，本实施例中的开源计算机视觉库为Open CV，目标快件的特征区域一般为不规则的图形，所以采用计算机视觉库中的视频分析、图像处理等功能模块对不规则的目标快件的特征区域进行面积计算例如，服务器得到的目标快件的特征区域为不规则图形A。
服务器采用开源计算机视觉库将目标快件的特征区域轮廓对应的多个目标坐标点A提取出来。由于预处理后的目标快件图像由多个单通道图像组成，所以按照此方法能够得到多个目标坐标点B、多个目标坐标点C以及多个目标坐标点D等。最后服务器通过这些多通道中的多个目标坐标点获取得到目标快件的特征区域对应的目标快件轮廓范围A。
309、分别对多个特征轮廓值进行提取，得到目标特征位置坐标；
本实施例中，服务器针对目标快件图像中的多个目标单通道图像，结合预置参数函数在多个目标单通道图像中根据目标特征区域确定多个初始特征轮廓；然后服务器基于多个初始特征轮廓和计算机视觉库，得到多个初始特征坐标点。
310、基于预设开源算法和目标特征位置坐标，确定区域特征对应的目标快件轮廓范围；
本实施例中，服务器根据多个初始特征坐标点的坐标位置对所述多个初始特征坐标点进行筛选，得到坐标位置处于目标特征区域边缘的多个目标特征坐标点，最后服务器根据多个目标特征坐标点获取目标特征区域对应的目标快件轮廓范围。
例如，服务器根据多个初始特征轮廓A、B、C、D、E和F得到多个初始特征坐标点A、多个初始特征坐标点B、多个初始特征坐标点C、多个初始特征坐标点D、多个初始特征坐标点E和多个初始特征坐标点F。服务器按照多个初始特征坐标点A、多个初始特征坐标点B、多个初始特征坐标点C、多个初始特征坐标点D、多个初始特征坐标点E和多个初始特征坐标点F的坐标位置进行筛选，得到坐标位置位于目标特征区域边缘的多个目标特征坐标点Y。最后服务器根据多个目标特征坐标点Y得到目标特征区域对应的目标快件轮廓范围。
311、基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。
本实施例中步骤305-306、311与第一实施例中的步骤101-102、105类似，此处不再赘述。
本发明实施例中，通过对目标场景在预设时间段内的实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。本发明通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。
上面对本发明实施例中快件堆积异常预警方法进行了描述，下面对本发明实施例中快件堆积异常预警装置进行描述，请参阅图4，本发明实施例中快件堆积异常预警装置的第一个实施例包括：
采集模块401，用于基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像，其中，所述实时场景图像中包含有待分拣快件；
标注模块402，用于对所述实时场景图像进行灰度处理，得到灰度图像，并将所述灰度图像输入预设快件标注模型，通过预设快件标注模型对所述实时场景图像进行分割处理，得到所述实时场景图像中的目标快件图像；
解析模块403，用于基于预设图像分析算法，对所述目标快件图像进行解析，得到所述目标场景中的快件堆积数据；
第一计算模块404，用于基于所述快件堆积数据，计算所述目标场景中对应格口的快件容积率，并根据所述快件容积率判断是否进行预警。
本发明实施例中，通过对目标场景在预设时间段内的实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。本发明通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。
请参阅图5，本发明实施例中快件堆积异常预警装置的第二个实施例，该快件堆积异常预警装置具体包括：
采集模块401，用于基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像，其中，所述实时场景图像中包含有待分拣快件；
标注模块402，用于对所述实时场景图像进行灰度处理，得到灰度图像，并将所述灰度图像输入预设快件标注模型，通过预设快件标注模型对所述实时场景图像进行分割处理，得到所述实时场景图像中的目标快件图像；
解析模块403，用于基于预设图像分析算法，对所述目标快件图像进行解析，得到所述目标场景中的快件堆积数据；
第一计算模块404，用于基于所述快件堆积数据，计算所述目标场景中对应格口的快件容积率，并根据所述快件容积率判断是否进行预警。
本实施例中，所述标注模块402包括：
检测单元4021，用于基于预设快件标注模型，对所述灰度图像进行检测，得到所述灰度图像中包含的多个目标快件；
分类单元4022，用于基于所述快件标注模型，对多个所述目标快件进行分类，得到所述目标快件的特征类别；
标注单元4023，用于基于所述目标快件的特征类别，对所述实时场景图像中的目标快件进行标注，得到所述实时场景图像数据中的目标快件图像。
本实施例中，所述标注单元4023具体用于：
基于所述目标快件的特征类别，将所述灰度图像输入预设快件标注模型进行预处理，得到所述灰度图像的权值矩阵和所述灰度图像上的标记点；
基于所述权值矩阵和预设最短路径算法，计算所述灰度图像上的标记点之间的最短路径，并根据所述最短路径确定图像分割边界；
基于所述图像分割边界，对所述灰度图像进行分割标注，得到所述实时场景图像中的目标快件图像。
本实施例中，所述解析模块403包括：
特征提取单元4031，用于基于预设图像分析算法，对所述目标快件图像进行特征提取，得到所述目标快件图像中目标快件的特征区域；
第一确定单元4032，用于基于预设开源算法，根据所述目标快件图像和所述目标快件的区域特征，确定所述区域特征对应的目标快件轮廓范围；
第二确定单元，用于根据所述目标快件轮廓范围，确定所述目标场景中的快件堆积数据4033。
本实施例中，所述第一确定单元4032具体用于：
通过所述目标场景中的多个目标快件图像，基于预设高斯函数和所述目标快件的特征区域，从所述目标快件图像中提取多个特征轮廓值；
分别对多个所述特征轮廓值进行提取，得到目标特征位置坐标；
基于预设开源算法和所述目标特征位置坐标，确定所述区域特征对应的目标快件轮廓范围。
本实施例中，所述第一计算模块404具体用于：
基于所述快件堆积数据，计算所述目标场景中对应格口的的快件容积率；
判断所述快件容积率是否大于预设容积率报警阈值；
若所述快件容积率大于预设容积率报警阈值，则发送告警邮件至预设告警中心进行告警。
本实施例中，所述快件堆积异常预警装置还包括：
获取模块405，用于基于预设图像采集设备获取所述目标场景多帧历史场景图像，并将所述历史场景图像作为训练样本图像，其中，所述训练样本图像中包含多个待分拣快件；
输入模块406，用于获取预先建立的图像标注网络，并将所述训练样本图像输入所述图像标注网络，得到所述训练样本图像的第一图像特征和第二图像特征；
域分离模块407，用于对所述第一图像特征和第二图像特征进行域分离，得到分离域特征；
第二计算模块408，用于基于所述分离域特征，计算所述图像标注网络的损失函数；
训练模块409，用于基于所述图像标注网络的损失函数对所述图像标注网络进行训练，直到所述图像标注网络中的相关参数使得所述损失函数收敛，得到快件标注模型。
本发明实施例中，通过对目标场景在预设时间段内的实时场景图像进行灰度处理，得到灰度图像，并将灰度图像输入预设快件标注模型，通过预设快件标注模型对实时场景图像进行分割标注，得到实时场景图像中的目标快件图像；基于预设图像分析算法，对目标快件图像进行解析，得到目标场景中的快件堆积数据；基于快件堆积数据，计算目标场景中对应格口的快件容积率，并根据快件容积率判断是否进行预警。本发明通过快件标注模型和最短路径算法计算目标场景中快件堆积率，提高了货物识别的效率和准确率，解决了快件堆积量异常预警准确率低的技术问题。
上面图4和图5从模块化功能实体的角度对本发明实施例中的快件堆积异常预警装置进行详细描述，下面从硬件处理的角度对本发明实施例中快件堆积异常预警设备进行详细描述。
图6是本发明实施例提供的一种快件堆积异常预警设备的结构示意图，该快件堆积异常预警设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对快件堆积异常预警设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在快件堆积异常预警设备600上执行存储介质630中的一系列指令操作，以实现上述各方法实施例提供的快件堆积异常预警方法的步骤。
快件堆积异常预警设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的快件堆积异常预警设备结构并不构成对本申请提供的快件堆积异常预警设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行上述快件堆积异常预警方法的步骤。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种快件堆积异常预警方法，其特征在于，所述快件堆积异常预警方法包括：
基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像，其中，所述实时场景图像中包含有待分拣快件；
对所述实时场景图像进行灰度处理，得到灰度图像，并将所述灰度图像输入预设快件标注模型，通过预设快件标注模型对所述实时场景图像进行分割标注，得到所述实时场景图像中的目标快件图像；
基于预设图像分析算法，对所述目标快件图像进行解析，得到所述目标场景中的快件堆积数据；
基于所述快件堆积数据，计算所述目标场景中对应格口的快件容积率，并根据所述快件容积率判断是否进行预警。
2.根据权利要求1所述的快件堆积异常预警方法，其特征在于，所述将所述灰度图像输入预设快件标注模型，通过预设快件标注模型对所述实时场景图像进行分割标注，得到所述实时场景图像中的目标快件图像，包括：
基于预设快件标注模型，对所述灰度图像进行检测，得到所述灰度图像中包含的多个目标快件；
基于所述快件标注模型，对多个所述目标快件进行分类，得到所述目标快件的特征类别；
基于所述目标快件的特征类别，对所述实时场景图像中的目标快件进行标注，得到所述实时场景图像数据中的目标快件图像。
3.根据权利要求2所述的快件堆积异常预警方法，其特征在于，所述基于所述目标快件的特征类别，对所述实时场景图像中的目标快件进行标注，得到所述实时场景图像数据中的目标快件图像，包括：
基于所述目标快件的特征类别，将所述灰度图像输入预设快件标注模型进行预处理，得到所述灰度图像的权值矩阵和所述灰度图像上的标记点；
基于所述权值矩阵和预设最短路径算法，计算所述灰度图像上的标记点之间的最短路径，并根据所述最短路径确定图像分割边界；
基于所述图像分割边界，对所述灰度图像进行分割标注，得到所述实时场景图像中的目标快件图像。
4.根据权利要求1所述的快件堆积异常预警方法，其特征在于，所述基于预设图像分析算法，对所述目标快件图像进行解析，得到所述目标场景中的快件堆积数据，包括：
基于预设图像分析算法，对所述目标快件图像进行特征提取，得到所述目标快件图像中目标快件的特征区域；
基于预设开源算法，根据所述目标快件图像和所述目标快件的区域特征，确定所述区域特征对应的目标快件轮廓范围；
根据所述目标快件轮廓范围，确定所述目标场景中的快件堆积数据。
5.根据权利要求4所述的快件堆积异常预警方法，其特征在于，所述基于预设开源算法，根据所述目标快件图像和所述目标快件的区域特征，确定所述区域特征对应的目标快件轮廓范围，包括：
通过所述目标场景中的多个目标快件图像，基于预设高斯函数和所述目标快件的特征区域，从所述目标快件图像中提取多个特征轮廓值；
分别对多个所述特征轮廓值进行提取，得到目标特征位置坐标；
基于预设开源算法和所述目标特征位置坐标，确定所述区域特征对应的目标快件轮廓范围。
6.根据权利要求1所述的快件堆积异常预警方法，其特征在于，所述基于所述快件堆积数据，计算所述目标场景中对应格口的快件容积率，并根据所述快件容积率判断是否进行预警，包括：
基于所述快件堆积数据，计算所述目标场景中对应格口的的快件容积率；
判断所述快件容积率是否大于预设容积率报警阈值；
若所述快件容积率大于预设容积率报警阈值，则发送告警邮件至预设告警中心进行告警。
7.根据权利要求1所述的快件堆积异常预警方法，其特征在于，在所述基于预设数据采集设备获取目标场景在预设时间段内的场景图像数据之前，还包括：
基于预设图像采集设备获取所述目标场景多帧历史场景图像，并将所述历史场景图像作为训练样本图像，其中，所述训练样本图像中包含多个待分拣快件；
获取预先建立的图像标注网络，并将所述训练样本图像输入所述图像标注网络，得到所述训练样本图像的第一图像特征和第二图像特征；
对所述第一图像特征和第二图像特征进行域分离，得到分离域特征；
基于所述分离域特征，计算所述图像标注网络的损失函数；
基于所述图像标注网络的损失函数对所述图像标注网络进行训练，直到所述图像标注网络中的相关参数使得所述损失函数收敛，得到快件标注模型。
8.一种快件堆积异常预警装置，其特征在于，所述快件堆积异常预警装置包括：
采集模块，用于基于预设数据采集设备，采集目标场景在预设时间段内的实时场景图像，其中，所述实时场景图像中包含有待分拣快件；
标注模块，用于对所述实时场景图像进行灰度处理，得到灰度图像，并将所述灰度图像输入预设快件标注模型，通过预设快件标注模型对所述实时场景图像进行分割处理，得到所述实时场景图像中的目标快件图像；
解析模块，用于基于预设图像分析算法，对所述目标快件图像进行解析，得到所述目标场景中的快件堆积数据；
第一计算模块，用于基于所述快件堆积数据，计算所述目标场景中对应格口的快件容积率，并根据所述快件容积率判断是否进行预警。
9.一种快件堆积异常预警设备，其特征在于，所述快件堆积异常预警设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述快件堆积异常预警设备执行如权利要求1-7中任一项所述的快件堆积异常预警方法的各个步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的快件堆积异常预警方法的各个步骤。
CN202211343315.7A 2022-10-31 2022-10-31 快件堆积异常预警方法、装置、设备及存储介质 Pending CN115512134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211343315.7A CN115512134A (zh) 2022-10-31 2022-10-31 快件堆积异常预警方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211343315.7A CN115512134A (zh) 2022-10-31 2022-10-31 快件堆积异常预警方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115512134A true CN115512134A (zh) 2022-12-23

Family

ID=84512312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211343315.7A Pending CN115512134A (zh) 2022-10-31 2022-10-31 快件堆积异常预警方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115512134A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311219A (zh) * 2023-01-29 2023-06-23 广州市玄武无线科技股份有限公司 一种基于透视变换的地堆本品占地面积计算方法及装置
CN117102375A (zh) * 2023-10-18 2023-11-24 沈阳欧施盾新材料科技有限公司 一种基于温度成像的异形件收口控制方法及设备
CN117611524A (zh) * 2023-10-26 2024-02-27 北京声迅电子股份有限公司 基于多源图像的快件安检方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311219A (zh) * 2023-01-29 2023-06-23 广州市玄武无线科技股份有限公司 一种基于透视变换的地堆本品占地面积计算方法及装置
CN116311219B (zh) * 2023-01-29 2024-02-09 广州市玄武无线科技股份有限公司 一种基于透视变换的地堆本品占地面积计算方法及装置
CN117102375A (zh) * 2023-10-18 2023-11-24 沈阳欧施盾新材料科技有限公司 一种基于温度成像的异形件收口控制方法及设备
CN117102375B (zh) * 2023-10-18 2024-01-02 沈阳欧施盾新材料科技有限公司 一种基于温度成像的异形件收口控制方法及设备
CN117611524A (zh) * 2023-10-26 2024-02-27 北京声迅电子股份有限公司 基于多源图像的快件安检方法
CN117611524B (zh) * 2023-10-26 2024-05-31 北京声迅电子股份有限公司 基于多源图像的快件安检方法

Similar Documents

Publication Publication Date Title
CN111310645B (zh) 货物堆积量的溢仓预警方法、装置、设备及存储介质
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN109241985B (zh) 一种图像识别方法及装置
CN115512134A (zh) 快件堆积异常预警方法、装置、设备及存储介质
CN104866616B (zh) 监控视频目标搜索方法
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN109635758B (zh) 智慧工地基于视频的高空作业人员安全带穿戴检测方法
CN109918971B (zh) 监控视频中人数检测方法及装置
CN106683073B (zh) 一种车牌的检测方法及摄像机和服务器
CN110781839A (zh) 一种基于滑窗的大尺寸图像中小目标识别方法
CN102542289A (zh) 一种基于多高斯计数模型的人流量统计方法
CN108090434B (zh) 一种矿石快速识别方法
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN111353452A (zh) 一种基于rgb图像的行为识别方法、装置、介质及设备
CN113324864A (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
Galsgaard et al. Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement
Lin et al. Cross camera people counting with perspective estimation and occlusion handling
CN111461101A (zh) 工服标志的识别方法、装置、设备及存储介质
CN111401301A (zh) 人员着装监控方法、装置、设备及存储介质
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
CN110569716A (zh) 一种货架图像翻拍检测方法
CN112528740A (zh) 一种压板状态识别方法
CN117330582A (zh) 一种高分子pe薄膜表面晶点检测系统
CN105184244B (zh) 视频人脸检测方法及装置
Wu et al. Real-time 2D hands detection and tracking for sign language recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination