CN110321927A - 违规检测模型的生成方法、计算机设备及可读存储介质 - Google Patents

Abstract

根据本发明的第一方面实施例，本发明提出了一种违规检测模型的生成方法，包括：接收样本图片；基于像素分割提取出样本图片中的样本，以多个样本组成训练集；以训练集训练待训练模型，生成违规检测模型。本发明提出的违规检测模型的生成方法，在接收样本图片后，基于像素分割的技术，提取出样本图片中样本，进而实现按样本的轮廓提取样本，以多个样本组成训练集；以训练集训练待训练模型，生成违规检测模型，其中，对于煤堆、沙堆等需覆盖运输或存放的物品而言，根据轮廓进行识别，能够避免提取出背景信息，避免多个样本重叠提取，进而降低甚至避免误检或漏检的风险，提升检测结果的准确性。

Description

违规检测模型的生成方法、计算机设备及可读存储介质

技术领域

本发明涉及环境检测技术领域，具体而言，涉及一种违规检测模型的生成方法、一种计算机设备及一种计算机可读存储介质。

背景技术

随着深度学习应用在图像和视频目标检测领域取得的成功，越来越多新的技术开始进一步提高目标检测的精度和速度。目前目标检测大致可以分为两类：One-stage(单级)和Two-stage(双级)，前者以各个不同版本的YOLO和SSD为代表，它们的特点是在检测的过程中提取候选框和提取目标的特征使用的是同一个网络，或者说两者合并为同一个过程，也因此被称为One-stage；而后者，即Two-stage的方法则是将提取候选框的过程和提取目标特征的过程分割开来，也因此Two-stage所消耗的时间比One-stage要多不少。总之，两者各有利弊，如果更多考虑实时性，One-stage的模型会更合适，反之如考虑准确性，则Two-stage会成为更好的选择。

但是，目前无论是哪类目标检测方法，都存在一个问题，即简单的用矩形框来给定目标的位置。实际上，这种检测方式在碰到比较复杂的问题，如目标的边缘不规则，目标和目标之间有重叠，以及不同类别紧邻这些类似的情况时，检测的精度相对比较低。第一种情况很好理解，因为矩形框往往会把实际上并不属于目标的背景信息也包括进去，第二种和第三种因为不同的矩形框和矩形框之间在判断是否合并时计算IoU(Intersection overUnion即评价函数)时往往会把不同目标的矩形框合并到一起，这三种情况最终都会导致目标的误检或漏检。而煤堆在实际场景中会涉及到以上提到的三种情况。

发明内容

本发明旨在至少解决现有技术中存在的如遇不规则形状的样本易造成目标的误检或漏检。

为此，本发明的第一方面实施例提出了一种可处理不规则样本的违规检测模型的生成方法。

本发明的第二方面实施例提出了一种计算机设备。

本发明的第三方面实施例提出了一种计算机可读存储介质。

有鉴于此，根据本发明的第一方面实施例，本发明提出了一种违规检测模型的生成方法，包括：接收样本图片；基于像素分割提取出样本图片中的样本，以多个样本组成训练集；以训练集训练待训练模型，生成违规检测模型。

本发明提出的违规检测模型的生成方法，在接收样本图片后，基于像素分割的技术，提取出样本图片中样本，进而实现按样本的轮廓提取样本，以多个样本组成训练集；以训练集训练待训练模型，生成违规检测模型，其中，对于煤堆、沙堆等需覆盖运输或存放的物品而言，根据轮廓进行识别，能够避免提取出背景信息，避免多个样本重叠提取，进而降低甚至避免误检或漏检的风险，提升检测结果的准确性。

另外，本发明提供的上述实施例中的违规检测模型的生成方法还可以具有如下附加技术特征：

在上述技术方案中，优选地，基于像素分割提取出所述样本图片中的样本，以多个样本组成训练集步骤，具体包括：对样本图片中样本的边缘进行第一标注，以及对样本进行是否违规的第二标注；基于像素分割按第一标注提取样本，根据第二标注归类多个样本，组成训练集。

在该技术方案中，基于像素分割提取出所述样本图片中的样本，以多个样本组成训练集具体为，对样本的边缘进行第一表示，即勾勒出样本的轮廓，在采用像素分割技术，将整个样本提取出来，并对样本进行是否违规的第二标注，在将标注有第一标注及第二标注的样本进行归类，组成训练集，以此得到高精度的训练集。

在上述任一技术方案中，优选地，对样本进行是否违规的第二标注的步骤，具体包括：判断样本的边缘的覆盖率是否低于预设阈值；若样本的边缘的覆盖率低于预设阈值，则对样本进行违规的第二标注；若样本的边缘的覆盖率不低于预设阈值，则对样本进行不违规的第二标注。

在该技术方案中，对样本进行是否违规的第二标注具体为，判断样本的边缘的覆盖率是否低于预设阈值，若样本的边缘的覆盖率低于预设阈值，例如：煤堆被防尘网的覆盖率是否低于预设阈值，则对样本标注违规的第二标准；若样本的边缘的覆盖率不低于预设阈值，例如：煤堆被防尘网的覆盖率是否不低于预设阈值，则对样本标注不违规的第二标准，以此对需覆盖存放或运输的物品进行违规或不违规的标注。

在上述任一技术方案中，优选地，基于像素分割提取样本的步骤，具体包括：以特征提取模型为骨干，建立实例分割模型；通过实例分割模型分割提取样本。

在该技术方案中，基于像素分割提取样本具体为，以特征提取模型作为骨干，建立实例分割模型，采用实例分割模型提取样本。

在上述任一技术方案中，优选地，以实例分割模型作为待训练模型。

在该技术方案中，以实例分割模型作为待训练模型。

在上述任一技术方案中，优选地，以训练集训练待训练模型，生成违规检测模型的步骤，具体包括：以训练集训练具有不同超参数的至少两个实例分割模型；验证至少两个实例分割模型的训练效果；根据训练效果，在至少两个实例分割模型中选取一个作为违规检测模型。

在该技术方案中，以训练集训练待训练模型，生成违规检测模型具体为，以训练集训练具有不同超参数的至少两个实例分割模型，并验证每个实力分割模型的训练效果，再根据训练效果在至少两个实例分割模型中选择一个训练效果更佳的，作为违规检测模型。

在上述任一技术方案中，优选地，还包括：对违规检测模型进行测试。

在该技术方案中，通过对违规检测模型的测试，在违规检测模型合格后投入使用，如果违规检测模型未合格，则继续进行训练。

在上述任一技术方案中，优选地，样本为粉尘类物质。

在该技术方案中，样本为粉尘类物质，例如：煤、砂、面粉等易扬尘物质。

根据本发明的第二方面实施例，本发明提出了一种计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上述技术方案中任一项所述的违规检测模型的生成方法。

本发明提出的计算机设备，包括用于执行所述计算机程序以实现如上述技术方案中任一项所述的违规检测模型的生成方法的处理器，因此，具有如上述技术方案中任一项所述的违规检测模型的生成方法的全部有益效果，在此不再一一陈述。

根据本发明的第三方面实施例，本发明提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述技术方案中任一项所述的违规检测模型的生成方法。

本发明提出的计算机可读存储介质，储存有被处理器执行时实现如上述技术方案中任一项所述的违规检测模型的生成方法的计算机程序，因此，具有如上述技术方案中任一项所述的违规检测模型的生成方法的全部有益效果，在此不再一一陈述。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出本发明第一个第一方面实施例提供的违规检测模型的生成方法的流程图；

图2示出本发明第二个第一方面实施例提供的违规检测模型的生成方法的流程图；

图3示出本发明第三个第一方面实施例提供的违规检测模型的生成方法的流程图；

图4示出本发明第四个第一方面实施例提供的违规检测模型的生成方法的流程图；

图5示出本发明第五个第一方面实施例提供的违规检测模型的生成方法的流程图；

图6示出本发明第六个第一方面实施例提供的违规检测模型的生成方法的流程图；

图7示出本发明第七个第一方面实施例提供的违规检测模型的生成方法的流程图；

图8示出本发明第八个第一方面实施例提供的违规检测模型的生成方法的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图8描述根据本发明一些实施例提供的违规检测模型的生成方法、计算机设备及计算机可读存储介质。

本发明提供一种基于像素分割的违规检测模型的生成方法，下面以检测煤堆是否违规进行说明，违规检测模型的生成方法包括：收集煤堆图片进行标注，包括收集原图、使用labelme(标签)工具进行煤堆边界第一标注(多条首尾相连的直线)、类别第二标注(覆盖和未覆盖两类)、构造训练集、选择检测模型结构Mask-RCNN(实例分割模型)、在训练集上训练模型、对超参数进行调整、在测试集上运行得到结果。通过本发明提供的一种基于像素分割的违规检测模型的生成方法，可以解决在煤堆边缘不规则以及煤堆覆盖和未覆盖出现在同一个煤堆的情况，提升了检测的准确率。

图1示出本发明第一个第一方面实施例提供的违规检测模型的生成方法的流程图。

如图1所示，本发明第一个第一方面实施例提供的违规检测模型的生成方法，具体流程如下：

步骤102，接收样本图片；

步骤104，基于像素分割提取出样本图片中的样本，以多个样本组成训练集；

步骤106，以训练集训练待训练模型，生成违规检测模型。

本发明提供的违规检测模型的生成方法，在接收样本图片后，基于像素分割的技术，提取出样本图片中样本，进而实现按样本的轮廓提取样本，以多个样本组成训练集；以训练集训练待训练模型，生成违规检测模型，其中，对于煤堆、沙堆等需覆盖运输或存放的物品而言，根据轮廓进行识别，能够避免提取出背景信息，避免多个样本重叠提取，进而降低甚至避免误检或漏检的风险，提升检测结果的准确性。

图2示出本发明第二个第一方面实施例提供的违规检测模型的生成方法的流程图。

如图2所示，本发明第二个第一方面实施例提供的违规检测模型的生成方法，具体流程如下：

步骤202，接收样本图片；

步骤204，对样本图片中样本的边缘进行第一标注，以及对样本进行是否违规的第二标注；

步骤206，基于像素分割按第一标注提取样本，根据第二标注归类多个样本，组成训练集；

步骤208，以训练集训练待训练模型，生成违规检测模型。

在该实施例中，基于像素分割提取出所述样本图片中的样本，以多个样本组成训练集具体为，对样本的边缘进行第一表示，即勾勒出样本的轮廓，在采用像素分割技术，将整个样本提取出来，并对样本进行是否违规的第二标注，在将标注有第一标注及第二标注的样本进行归类，组成训练集，以此得到高精度的训练集。

图3示出本发明第三个第一方面实施例提供的违规检测模型的生成方法的流程图。

如图3所示，本发明第三个第一方面实施例提供的违规检测模型的生成方法，具体流程如下：

步骤302，接收样本图片；

步骤304，对样本图片中样本的边缘进行第一标注，以及判断样本的边缘的覆盖率是否低于预设阈值；若样本的边缘的覆盖率低于预设阈值，则对样本进行违规的第二标注；若样本的边缘的覆盖率不低于预设阈值，则对样本进行不违规的第二标注；

步骤306，基于像素分割按第一标注提取样本，根据第二标注归类多个样本，组成训练集；

步骤308，以训练集训练待训练模型，生成违规检测模型。

在该实施例中，对样本进行是否违规的第二标注具体为，判断样本的边缘的覆盖率是否低于预设阈值，若样本的边缘的覆盖率低于预设阈值，例如：煤堆被防尘网的覆盖率是否低于预设阈值，则对样本标注违规的第二标准；若样本的边缘的覆盖率不低于预设阈值，例如：煤堆被防尘网的覆盖率是否不低于预设阈值，则对样本标注不违规的第二标准，以此对需覆盖存放或运输的物品进行违规或不违规的标注。

其中，优选地，样本未覆盖的边缘达到15％，视为违规，具体地，以煤堆为例，煤堆未覆盖防尘网的部分或表面超过15％，视为违规。

图4示出本发明第四个第一方面实施例提供的违规检测模型的生成方法的流程图。

如图4所示，本发明第四个第一方面实施例提供的违规检测模型的生成方法，具体流程如下：

步骤402，接收样本图片；

步骤404，对样本图片中样本的边缘进行第一标注，以及判断样本的边缘的覆盖率是否低于预设阈值；若样本的边缘的覆盖率低于预设阈值，则对样本进行违规的第二标注；若样本的边缘的覆盖率不低于预设阈值，则对样本进行不违规的第二标注；

步骤406，以特征提取模型为骨干，建立实例分割模型；通过实例分割模型分割提取样本，根据第二标注归类多个样本，组成训练集；

步骤408，以训练集训练待训练模型，生成违规检测模型。

在该实施例中，基于像素分割提取样本具体为，以特征提取模型作为骨干，建立实例分割模型，采用实例分割模型提取样本。

图5示出本发明第五个第一方面实施例提供的违规检测模型的生成方法的流程图。

如图5所示，本发明第五个第一方面实施例提供的违规检测模型的生成方法，具体流程如下：

步骤502，接收样本图片；

步骤504，对样本图片中样本的边缘进行第一标注，以及判断样本的边缘的覆盖率是否低于预设阈值；若样本的边缘的覆盖率低于预设阈值，则对样本进行违规的第二标注；若样本的边缘的覆盖率不低于预设阈值，则对样本进行不违规的第二标注；

步骤506，以特征提取模型为骨干，建立实例分割模型；通过实例分割模型分割提取样本，根据第二标注归类多个样本，组成训练集；

步骤508，以训练集训练具有不同超参数的至少两个实例分割模型；

步骤510，验证至少两个实例分割模型的训练效果；

步骤512，根据训练效果，在至少两个实例分割模型中选取一个作为违规检测模型。

在该实施例中，以实例分割模型作为待训练模型；以训练集训练待训练模型，生成违规检测模型具体为，以训练集训练具有不同超参数的至少两个实例分割模型，并验证每个实力分割模型的训练效果，再根据训练效果在至少两个实例分割模型中选择一个训练效果更佳的，作为违规检测模型。

在本发明的一个实施例中，优选地，还包括：对违规检测模型进行测试。

在该实施例中，通过对违规检测模型的测试，在违规检测模型合格后投入使用，如果违规检测模型未合格，则继续进行训练。

在本发明的一个实施例中，优选地，样本为粉尘类物质。

在该实施例中，样本为粉尘类物质，例如：煤、砂、面粉等易扬尘物质。

本发明的目的在于提供一种基于像素分割的煤堆违规检测网络，可以解决煤堆边缘不规则和遮挡的问题，提升煤堆违规检测的准确率。

本发明提供一种基于像素分割的违规检测模型的生成方法，包括：

收集煤堆图片样本；进行煤堆边缘和类别的标注；选择实例分割模型；使用标注的训练集训练基于像素分割的煤堆违规检测网络；调整超参数；对模型进行测试。

进一步优选地，收集煤堆图片样本具体包括：收集各个煤矿区摄像头采集的煤堆图片；

进一步优选地，进行煤堆边缘和类别的标注具体包括：对收集的每张图片上的每个煤堆的边缘位置进行首尾相连的直线型第一标注，对煤堆所属类别即覆盖和未覆盖进行第二标注；

进一步优选地，建立实例分割模型，具体包括：建立基于Mask-RCNN模型的分割模型，选取特征提取模型作为分割模型的backbone(骨干)，对Mask-RCNN模型的结构进行细微调整；

进一步优选地，使用标注的训练集训练基于像素分割的煤堆违规检测网络，具体包括：构造带标注的训练集，训练基于像素分割的Mask-RCNN模型用于煤堆违规检测；

进一步优选地，调整模型的超参数，具体包括：使用不同的超参数来训练模型，根据在验证集上的效果选出模型的最优超参数；

进一步优选地，对模型进行测试。

与现有技术相比，本发明提供一种基于像素分割的违规检测模型的生成方法，可以有效解决目标边缘不规则使得更多背景内容形成干扰和多目标之间互相遮挡的问题，最终提高了检测的精度。

图6示出本发明第六个第一方面实施例提供的违规检测模型的生成方法的流程图。

如图6所示，本发明第六个第一方面实施例提供的违规检测模型的生成方法，具体流程如下：

步骤602：收集煤堆图片，构造训练数据集；

步骤604：对每张图片的煤堆进行边缘和类别标注；

步骤606：基于Mask-RCNN选择分割模型；

步骤608：对Mask-RCNN在训练集上进行finetune(微调)；

步骤610：调整超参数，得到最优超参数组合；

步骤612：测试得到最终结果。

图7示出本发明第七个第一方面实施例提供的违规检测模型的生成方法的流程图。

如图7所示，本发明第七个第一方面实施例提供的违规检测模型的生成方法，具体流程如下：

在该实施例中，采用使用分割的方式对煤堆图片进行标注，包括边缘不规则的部分和类别覆盖和未覆盖，同时，使用基于Mask-RCNN的分割模型对煤堆违规情况进行检测，以其为例对本发明的内容进行说明。

步骤702，收集煤堆图片样本；

步骤704，进行煤堆边缘和类别的标注；

步骤706，选择基于Mask-RCNN的实例分割模型；

步骤708，使用标注的训练集训练基于像素分割的煤堆违规检测网络；

步骤710，调整超参数；

步骤712，测试产生结果。

图8示出本发明第八个第一方面实施例提供的违规检测模型的生成方法的流程图。

如图8所示，本发明第八个第一方面实施例提供的违规检测模型的生成方法，具体流程如下：

步骤802，收集煤堆图片样本；

步骤804，进行煤堆边缘和类别的标注；

步骤806，选择实例分割模型；

步骤808，使用标注的训练集训练基于像素分割的煤堆违规检测网络；

步骤810，调整超参数；

步骤812，对模型进行测试。

根据本发明的第二方面实施例，本发明提供了一种计算机设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上述任一实施例提供的违规检测模型的生成方法。

本发明提供的计算机设备，包括用于执行所述计算机程序以实现如上述任一实施例提供的违规检测模型的生成方法的处理器，因此，具有如上述任一实施例提供的违规检测模型的生成方法的全部有益效果，在此不再一一陈述。

根据本发明的第三方面实施例，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例提供的违规检测模型的生成方法。

本发明提供的计算机可读存储介质，储存有被处理器执行时实现如上述任一实施例提供的违规检测模型的生成方法的计算机程序，因此，具有如上述任一实施例提供的违规检测模型的生成方法的全部有益效果，在此不再一一陈述。

在本发明中，术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种违规检测模型的生成方法，其特征在于，包括：

接收样本图片；

基于像素分割提取出所述样本图片中的样本，以多个所述样本组成训练集；

以所述训练集训练待训练模型，生成违规检测模型。

2.根据权利要求1所述的违规检测模型的生成方法，其特征在于，所述基于像素分割提取出所述样本图片中的样本，以多个所述样本组成训练集步骤，具体包括：

对所述样本图片中样本的边缘进行第一标注，以及对所述样本进行是否违规的第二标注；

基于像素分割按所述第一标注提取所述样本，根据所述第二标注归类多个所述样本，组成训练集。

3.根据权利要求2所述的违规检测模型的生成方法，其特征在于，

所述对所述样本进行是否违规的第二标注的步骤，具体包括：

判断样本的边缘的覆盖率是否低于预设阈值；

若所述样本的边缘的覆盖率低于所述预设阈值，则对所述样本进行违规的所述第二标注；

若所述样本的边缘的覆盖率不低于所述预设阈值，则对所述样本进行不违规的所述第二标注。

4.根据权利要求1所述的违规检测模型的生成方法，其特征在于，所述基于像素分割提取所述样本的步骤，具体包括：

以特征提取模型为骨干，建立实例分割模型；

通过实例分割模型分割提取所述样本。

5.根据权利要求4所述的违规检测模型的生成方法，其特征在于，

以所述实例分割模型作为所述待训练模型。

6.根据权利要求5所述的违规检测模型的生成方法，其特征在于，所述以所述训练集训练待训练模型，生成违规检测模型的步骤，具体包括：

以所述训练集训练具有不同超参数的至少两个所述实例分割模型；

验证至少两个所述实例分割模型的训练效果；

根据所述训练效果，在至少两个所述实例分割模型中选取一个作为所述违规检测模型。

7.根据权利要求1至6中任一项所述的违规检测模型的生成方法，其特征在于，还包括：

对所述违规检测模型进行测试。

8.根据权利要求1至6中任一项所述的违规检测模型的生成方法，其特征在于，

所述样本为粉尘类物质。

9.一种计算机设备，其特征在于，包括：

存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如权利要求1至8中任一项所述的违规检测模型的生成方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的违规检测模型的生成方法。