CN117746028A - 一种未标注物品的视觉检测方法、装置、设备及介质 - Google Patents
一种未标注物品的视觉检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117746028A CN117746028A CN202410176009.1A CN202410176009A CN117746028A CN 117746028 A CN117746028 A CN 117746028A CN 202410176009 A CN202410176009 A CN 202410176009A CN 117746028 A CN117746028 A CN 117746028A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- training
- background
- filling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 title abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000011049 filling Methods 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 11
- 230000008030 elimination Effects 0.000 claims description 10
- 238000003379 elimination reaction Methods 0.000 claims description 10
- 238000011179 visual inspection Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 abstract description 12
- 238000002372 labelling Methods 0.000 abstract description 12
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供了一种未标注物品的视觉检测方法、装置、设备及介质，该方法包括：基于待测业务场景下的训练图像，得到背景模型；使用背景模型消除待检测帧的背景部分，得到目标二值图像；对待检测帧中已知物品的目标检测框进行填充，得到填充图像；根据填充图像去除目标二值图像中的已知目标剪影，得到待标注图像；从待标注图像的候选区域中，选择符合预设标注条件的目标区域。本申请方法能够在少量数据学习的情况下实现未标注物品的检出，不受标准图质量和数量的限制，能够适应各种业务场景；降低了人工标注成本，使得异常物品检测更加经济高效；对硬件配置的要求不高，可以在较低成本的环境下部署，便于在各种规模的监控系统中实施。
Description
技术领域
本申请涉及物品检测技术领域，具体而言，涉及一种未标注物品的视觉检测方法、装置、设备及介质。
背景技术
随着智能监控和自动化系统的广泛应用，异常物品检测在安全监控、仓储物流等领域的重要性日益凸显。现有技术中在对异常物品的方式包括通过孪生网络结构检测、通过文本信息分类和异常检测的结合检测、通过GAN生成真实图结合差异网络检测等。
现有的异常物品检测方式局限性较大，尤其是在处理未标注数据和未知类别物品时。例如，异常物品的种类繁多、形态复杂，使得模型训练和特征提取变得困难。此外，成本也是一个问题，高精度的异常物品检测往往需要昂贵的设备和大量的数据支持。
发明内容
有鉴于此，本申请的目的在于提供一种未标注物品的视觉检测方法、装置、设备及介质，以克服现有技术中的问题。
第一方面，本申请实施例提供了一种未标注物品的视觉检测方法，所述方法包括：训练阶段和使用阶段；
在所述训练阶段中，具体包括：
获取待测业务场景下的训练图像；基于所述训练图像，利用背景建模算法得到背景模型；
在所述使用阶段中，具体包括：
使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像；
使用预设的填充标识，对所述待检测帧中已知物品的目标检测框进行填充，得到填充图像；
根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像；
从所述待标注图像的候选区域中，选择符合预设标注条件的目标区域；所述目标区域用于标记未知物体。
在本申请一些技术方案中，上述获取待测业务场景下的训练图像，包括：
获取待测业务场景下的待选图像；
根据预设的筛选要求，从所述待选图像中筛选出所述训练图像；所述筛选要求包括清晰度要求和遮挡要求。
在本申请一些技术方案中，上述基于所述训练图像，利用背景建模算法得到背景模型，包括：
基于所述训练图像，使用以下方法得到背景模型：
高斯混合概率模型的背景建模、视频帧平均的背景建模、基于矩阵分解的背景建模、基于深度学习的背景建模、多尺度背景建模。
在本申请一些技术方案中，上述基于所述训练图像，利用背景建模算法得到背景模型，包括：
根据所述训练图像转化的列向量，构建所述训练图像的训练矩阵；
确定所述训练矩阵中的低秩矩阵；
根据所述低秩矩阵中的线性无关列，得到所述背景模型。
在本申请一些技术方案中，上述使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像，包括：
将所述待检测帧输入到所述背景模型中，得到所述背景模型进行背景消除后输出的初始前景图像；
对所述初始前景图像进行噪点消除处理，得到处理后的目标前景图像；
通过对所述目标前景图像进行转化所述目标二值图像。
在本申请一些技术方案中，上述通过对所述目标前景图像进行转化所述目标二值图像，包括：
通过对所述目标前景图像进行转化初始二值图像；
对所述初始二值图像进行降噪处理，得到所述目标二值图像。
在本申请一些技术方案中，上述根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像，包括：
将所述填充图像与所述目标二值图像进行逻辑与运算，去除所述目标二值图像中的已知目标剪影得到所述待标注图像。
第二方面，本申请实施例提供了一种未标注物品的视觉检测装置，所述装置包括：
训练模块和使用模块；
训练模块，用于获取待测业务场景下的训练图像；基于所述训练图像，利用背景建模算法得到背景模型；
使用模块，用于使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像；
使用预设的填充标识，对所述待检测帧中已知物品的目标检测框进行填充，得到填充图像；
根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像；
从所述待标注图像的候选区域中，选择符合预设标注条件的目标区域；所述目标区域用于标记未知物体。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的未标注物品的视觉检测方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的未标注物品的视觉检测方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请方法包括：训练阶段和使用阶段；在所述训练阶段中，具体包括：获取待测业务场景下的训练图像；基于所述训练图像，利用背景建模算法得到背景模型；在所述使用阶段中，具体包括：使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像；使用预设的填充标识，对所述待检测帧中已知物品的目标检测框进行填充，得到填充图像；根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像；从所述待标注图像的候选区域中，选择符合预设标注条件的目标区域；所述目标区域用于标记未知物体。
本申请方法能够在少量数据学习的情况下实现未标注物品的检出，不受标准图质量和数量的限制，能够适应各种业务场景；由于减少了对大量标注数据的依赖，降低了人工标注成本，使得异常物品检测更加经济高效；对硬件配置的要求不高，可以在较低成本的环境下部署，便于在各种规模的监控系统中实施。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种未标注物品的视觉检测方法的流程示意图；
图2示出了本申请实施例所提供的一种训练阶段和使用阶段的具体实施方式的示意图；
图3示出了本申请实施例所提供的一种未标注物品的视觉检测装置示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其他的特征。
随着智能监控和自动化系统的广泛应用，异常物品检测在安全监控、仓储物流等领域的重要性日益凸显。现有技术中在对异常物品的方式包括通过孪生网络结构检测、通过文本信息分类和异常检测的结合检测、通过GAN生成真实图结合差异网络检测等。
孪生网络结构检测，需要依赖场景的标准图，受限于标准图的质量和数量，不适合对未知类别物品进行检测。通过文本信息分类和异常检测的结合检测侧重于依赖文本分类模型，对于图像信息的处理能量有限，而且还需要大量的正常物品数据进行训练。通过GAN生成真实图结合差异网络检测对于硬件资源的需求较高，且在复杂环境中生成的真实图可能无法反应真实情况。
基于此，本申请实施例提供了一种未标注物品的视觉检测方法、装置、设备及介质，下面通过实施例进行描述。
图1示出了本申请实施例所提供的一种未标注物品的视觉检测方法的流程示意图，其中，该方法包括步骤S101-S102；具体的：所述方法包括：S101训练阶段和S102使用阶段；
S101、在所述训练阶段中，具体包括：
获取待测业务场景下的训练图像；基于所述训练图像，利用背景建模算法得到背景模型；
S102、在所述使用阶段中，具体包括：
使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像；
使用预设的填充标识，对所述待检测帧中已知物品的目标检测框进行填充，得到填充图像；
根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像；
从所述待标注图像的候选区域中，选择符合预设标注条件的目标区域；所述目标区域用于标记未知物体。
本申请方法能够在少量数据学习的情况下实现未标注物品的检出，不受标准图质量和数量的限制，能够适应各种业务场景；由于减少了对大量标注数据的依赖，降低了人工标注成本，使得异常物品检测更加经济高效；对硬件配置的要求不高，可以在较低成本的环境下部署，便于在各种规模的监控系统中实施。
下面对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
具体的实施过程如图2所示，针对一个新的待测业务场景，本申请实施例通过训练阶段得到一个适合该待测业务场景的背景模型，然后通过使用阶段对待测业务场景中的待检测帧进行未知物品的标注。
在上述S101中，本申请实施例先获取该待测业务场景下的训练图像，使用该训练图像训练得到背景模型。背景模型用于去除图像中的背景部分，保留前景部分。
为了得到待测业务场景的训练图像，本申请实施例先对该待测业务场景进行了图像采集，为了进行区分，本申请实施例将采集到的所有图像称为待选图像。为了能够得到背景模型，本申请实施例需要对待选图像进行筛选，选择符合预设的筛选要求的图像作为训练图像。如果待选图像中部分图像符合筛选要求，则将该部分图像作为训练图像。如果待选图像中所有图像均符合筛选要求，则将待选图像全部作为训练图像。这里的筛选要求包括清晰度要求和遮挡要求。具体的，清晰度要求为图像需要清晰呈现，清晰呈现的标准可以是人眼判断标准，也可以是清晰程度大于等于某个清晰程度阈值等。遮挡要求为图像的前景部分没有持续遮挡，这里的持续遮挡可以遮挡时间体现。例如，对于图像前景部分的遮挡时间要小于等于某一时间阈值。具体的，本申请实施例中的待选图像可以由对待测业务场景进行实拍视频得到，将视频中各个帧的图像作为待选图像。从待选图像中筛选出图像清晰呈现且前景部分没有持续遮挡的图像作为训练图像。
在得到了训练图像之后，本申请实施例要基于训练图像，利用背景建模算法得到背景模型。本申请实施例中的背景建模算法包括高斯混合概率模型的背景建模、视频帧平均的背景建模、基于矩阵分解的背景建模、基于深度学习的背景建模、多尺度背景建模。在具体使用的时候，可以选择其中任一方法使用，也可以将上述多种方式进行结合使用。具体的结合方式为：根据不同的背景建模方法得到多个背景模型，从多个背景模型中选择效果较好的一个；获取综合各个背景模型的优点，融合为一个。需要说明的是，这里的高斯混合概率模型的背景建模、视频帧平均的背景建模、基于矩阵分解的背景建模、基于深度学习的背景建模、多尺度背景建模都是能够通过现有技术实现的，在此不在赘述。
在一可选的实施方式中，本申请实施例按照以下方式得到背景模型：根据所述训练图像转化的列向量，构建所述训练图像的训练矩阵；确定所述训练矩阵中的低秩矩阵；根据所述低秩矩阵中的线性无关列，得到所述背景模型。
在一可选的实施方式中，以某公司某会议室监控场景为例，获取该会议室正常会议记录的视频数据总时长约为17分钟。以每秒1帧对视频数据进行采样得到待选图像，从待选图像中筛选出图像清晰呈现且没有持续遮挡的约1000张图片。将这1000张图片作为训练样本，记为D1。使用GoDec算法对训练数据D1进行处理。具体而言，将每一帧图像转换为列向量并组成一个大矩阵A，对该矩阵进行低秩分解和稀疏分解，得到A=L+S，其中L是低秩矩阵，S是稀疏矩阵。获取低秩矩阵L的r个线性无关列作为背景模型C。
在训练阶段结束后，得到了背景模型，然后进入使用阶段。在使用阶段，本申请实施例将待测业务场景中的待检测帧输入到背景模型中，得到背景模型输出的处理后的图像，基于处理后的图像对其包含的未知物品进行标记。
待检测帧输入到背景模型中，背景模型对其进行背景消除处理，得到所述背景模型进行背景消除后输出的初始前景图像。为了确保标记的准确性，本申请实施例对所述初始前景图像进行噪点消除处理，得到处理后的目标前景图像，并将目标前景图像转为二值图像。本申请实施例将目标前景图像转化得到的二值图像称为初始二值图像，在得到了初始二值图像之后，本申请实施例还需要对初始二值图像进行降噪处理，得到更加精准的目标二值图像。
在具体实施时，使用预先训练好的背景模型对输入的待检测帧进行背景消除操作，再使用图像处理技术腐蚀膨胀消除噪点影响。将输入的待检测视频帧转换为灰度图像I，I展平为列向量之后得到y；载入背景模型C后，利用增量的GoDec算法进行计算，得到:
y = C*x + Si；
其中，Si是稀疏向量，维度跟y一致；将Si进行阈值tau=8的二值化处理（小于tau的值置为0，大于tau的值置为1），得到的初始二值图像。
使用半径为2像素的方形基元去对初始二值图像行形态学的腐蚀和膨胀操作，得到噪点比较少的目标二值图像。
在得到了目标二值图像之后，本申请实施例还需要得到填充图像，基于目标二值图像和填充图像得到待标注图像。这里的填充图像是对待检测帧中已知物品的目标检测框进行填充得到的。需要对待检测帧进行目标检测识别，可以使用目标检测模型，例如Yolo、SSD、Retinanet等，检测出所有的已知目标，确定出已知物品的目标检测框，并使用预设的填充标识对目标检测框进行填充。对目标检测框进行填充，获得实心的区域掩膜，以二值图像的形式得到填充图像。这里预设的填充标识可以为数字“1”等。例如，使用目标检测算法yolox-s对待检测帧进行处理，得到已知物品（例如为某个确定的物体或人体）的目标检测框。如果已知目标是该确定的物体，则其目标检测框内填充1；如果已知目标是人体，则在人体骨骼点周边区域填充1。
在得到了填充图像之后，本申请实施例要基于该填充图像区排除目标二值图像中的已知区域。具体排除方式为将填充图像与目标二值图像进行形态学处理，得到待标注图像。待标注图像仅保留目标二值图形中的未知区域。在具体实施的时候，可以选择将填充图像与目标二值图像进行逻辑与运算，去除所述目标二值图像中的已知目标剪影得到所述待标注图像。
在待标注图像中包括有多个未知物体的区域，本申请实施例将其称为候选区域。具体的可以通过对待标注图像进行形态学处理，即可得到各个候选区域。在这些候选区域中，可能存在不是本申请实施例所需要找的未知物体的区域。所以本申请实施例需要对候选区域再次进行筛选。
在对候选区域进行筛选的时候，本申请实施例预设的了标注条件，将候选区域中符合标注条件的区域作为目标区域，目标区域标记为未知物体。即本申请实施例认为符合标注条件的区域中包含的物体时需要检测的未知物体，不符合标注条件的区域中没有包含需要检测的未知物体，不需要进行标记。
具体的，这里的标注条件为区域面积大于面积阈值。例如，面积阈值设置为200个像素。在得到了待标注图像之后，利用半径为10像素的方形基元对该待标注图像进行形态学的腐蚀和膨胀操作，然后利用Snake算法获得待标注图像的连续区域，判断区域是否满足“面积>200个像素”这一条件，如果满足，则将原区域认为是未知物体。
本申请方法具有以下方面的优势：
标注物体的检测能力：在没有标注数据的情况下进行未知物品的检测。这使得本申请方法能够适应各种业务场景，尤其对于数据稀缺的物品种类。
降低人工标注成本：由于减少了对大量标注数据的需求，本申请方法显著降低了人工标注的成本。这不仅节省了时间和资源，还提高了整体的工作效率。
硬件配置要求低：本申请方法对硬件配置的要求不高，可以在多种硬件平台上运行，包括那些成本较低的设备。这使得部署更加灵活，降低了整体的部署成本。
适应性强：本申请方法都能够有效地识别和处理异常物品，显示出强大的适应性和泛化能力。
易于集成和部署：由于对硬件的低要求和对数据量的低依赖，本申请方法易于与其他系统集成，并且可以在不同的监控环境中快速部署。
图3示出了本申请实施例所提供的一种未标注物品的视觉检测装置的结构示意图，所述装置包括：
训练模块和使用模块；
训练模块，用于获取待测业务场景下的训练图像；基于所述训练图像，利用背景建模算法得到背景模型；
使用模块，用于使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像；
使用预设的填充标识，对所述待检测帧中已知物品的目标检测框进行填充，得到填充图像；
根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像；
从所述待标注图像的候选区域中，选择符合预设标注条件的目标区域；所述目标区域用于标记未知物体。
获取待测业务场景下的训练图像，包括：
获取待测业务场景下的待选图像；
根据预设的筛选要求，从所述待选图像中筛选出所述训练图像；所述筛选要求包括清晰度要求和遮挡要求。
所述基于所述训练图像，利用背景建模算法得到背景模型，包括：
基于所述训练图像，使用以下方法得到背景模型：
高斯混合概率模型的背景建模、视频帧平均的背景建模、基于矩阵分解的背景建模、基于深度学习的背景建模、多尺度背景建模。
所述基于所述训练图像，利用背景建模算法得到背景模型，包括：
根据所述训练图像转化的列向量，构建所述训练图像的训练矩阵；
确定所述训练矩阵中的低秩矩阵；
根据所述低秩矩阵中的线性无关列，得到所述背景模型。
所述使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像，包括：
将所述待检测帧输入到所述背景模型中，得到所述背景模型进行背景消除后输出的初始前景图像；
对所述初始前景图像进行噪点消除处理，得到处理后的目标前景图像；
通过对所述目标前景图像进行转化所述目标二值图像。
所述通过对所述目标前景图像进行转化所述目标二值图像，包括：
通过对所述目标前景图像进行转化初始二值图像；
对所述初始二值图像进行降噪处理，得到所述目标二值图像。
所述根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像，包括：
将所述填充图像与所述目标二值图像进行逻辑与运算，去除所述目标二值图像中的已知目标剪影得到所述待标注图像。
如图4所示，本申请实施例提供了一种电子设备，用于执行本申请中的未标注物品的视觉检测方法，该设备包括存储器、处理器、总线及存储在该存储器上并可在该处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现上述的未标注物品的视觉检测方法的步骤。
具体地，上述存储器和处理器可以为通用的存储器和处理器，这里不做具体限定，当处理器运行存储器存储的计算机程序时，能够执行上述的未标注物品的视觉检测方法。
对应于本申请中的未标注物品的视觉检测方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述的未标注物品的视觉检测方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述的未标注物品的视觉检测方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其他的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种未标注物品的视觉检测方法，其特征在于，所述方法包括：训练阶段和使用阶段；
在所述训练阶段中，具体包括：
获取待测业务场景下的训练图像；基于所述训练图像，利用背景建模算法得到背景模型；
在所述使用阶段中，具体包括：
使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像；
使用预设的填充标识，对所述待检测帧中已知物品的目标检测框进行填充，得到填充图像；
根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像；
从所述待标注图像的候选区域中，选择符合预设标注条件的目标区域；所述目标区域用于标记未知物体。
2.根据权利要求1所述的方法，其特征在于，所述获取待测业务场景下的训练图像，包括：
获取待测业务场景下的待选图像；
根据预设的筛选要求，从所述待选图像中筛选出所述训练图像；所述筛选要求包括清晰度要求和遮挡要求。
3.根据权利要求1所述的方法，其特征在于，所述基于所述训练图像，利用背景建模算法得到背景模型，包括：
基于所述训练图像，使用以下方法得到背景模型：
高斯混合概率模型的背景建模、视频帧平均的背景建模、基于矩阵分解的背景建模、基于深度学习的背景建模、多尺度背景建模。
4.根据权利要求1所述的方法，其特征在于，所述基于所述训练图像，利用背景建模算法得到背景模型，包括：
根据所述训练图像转化的列向量，构建所述训练图像的训练矩阵；
确定所述训练矩阵中的低秩矩阵；
根据所述低秩矩阵中的线性无关列，得到所述背景模型。
5.根据权利要求1所述的方法，其特征在于，所述使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像，包括：
将所述待检测帧输入到所述背景模型中，得到所述背景模型进行背景消除后输出的初始前景图像；
对所述初始前景图像进行噪点消除处理，得到处理后的目标前景图像；
通过对所述目标前景图像进行转化所述目标二值图像。
6.根据权利要求5所述的方法，其特征在于，所述通过对所述目标前景图像进行转化所述目标二值图像，包括：
通过对所述目标前景图像进行转化初始二值图像；
对所述初始二值图像进行降噪处理，得到所述目标二值图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像，包括：
将所述填充图像与所述目标二值图像进行逻辑与运算，去除所述目标二值图像中的已知目标剪影得到所述待标注图像。
8.一种未标注物品的视觉检测装置，其特征在于，所述装置包括：训练模块和使用模块；
训练模块，用于获取待测业务场景下的训练图像；基于所述训练图像，利用背景建模算法得到背景模型；
使用模块，用于使用所述背景模型消除待测业务场景下的待检测帧的背景部分，得到目标二值图像；
使用预设的填充标识，对所述待检测帧中已知物品的目标检测框进行填充，得到填充图像；
根据所述填充图像去除所述目标二值图像中的已知目标剪影，得到待标注图像；
从所述待标注图像的候选区域中，选择符合预设标注条件的目标区域；所述目标区域用于标记未知物体。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的未标注物品的视觉检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的未标注物品的视觉检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176009.1A CN117746028B (zh) | 2024-02-08 | 2024-02-08 | 一种未标注物品的视觉检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410176009.1A CN117746028B (zh) | 2024-02-08 | 2024-02-08 | 一种未标注物品的视觉检测方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117746028A true CN117746028A (zh) | 2024-03-22 |
| CN117746028B CN117746028B (zh) | 2024-06-11 |
Family
ID=90278043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410176009.1A Active CN117746028B (zh) | 2024-02-08 | 2024-02-08 | 一种未标注物品的视觉检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746028B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021179971A (ja) * | 2020-05-27 | 2021-11-18 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 小目標を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム |
| CN114169381A (zh) * | 2020-08-19 | 2022-03-11 | 深圳云天励飞技术股份有限公司 | 图像标注方法、装置、终端设备及存储介质 |
| CN114663347A (zh) * | 2022-02-07 | 2022-06-24 | 中国科学院自动化研究所 | 无监督的物体实例检测方法及装置 |
| CN115171034A (zh) * | 2022-06-06 | 2022-10-11 | 阿里巴巴（中国）有限公司 | 道路异物检测方法、场景中异物检测方法及装置 |
| CN115984547A (zh) * | 2022-12-05 | 2023-04-18 | 湖南视比特机器人有限公司 | 目标检测模型、训练方法及系统、目标检测方法及系统 |
| CN116129343A (zh) * | 2022-11-02 | 2023-05-16 | 长沙海信智能系统研究院有限公司 | 消防通道占用检测方法、装置及电子设备 |
| CN116434160A (zh) * | 2023-04-18 | 2023-07-14 | 广州国交润万交通信息有限公司 | 基于背景模型与跟踪的高速公路抛洒物检测方法及装置 |
-
2024
- 2024-02-08 CN CN202410176009.1A patent/CN117746028B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021179971A (ja) * | 2020-05-27 | 2021-11-18 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 小目標を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム |
| CN114169381A (zh) * | 2020-08-19 | 2022-03-11 | 深圳云天励飞技术股份有限公司 | 图像标注方法、装置、终端设备及存储介质 |
| CN114663347A (zh) * | 2022-02-07 | 2022-06-24 | 中国科学院自动化研究所 | 无监督的物体实例检测方法及装置 |
| CN115171034A (zh) * | 2022-06-06 | 2022-10-11 | 阿里巴巴（中国）有限公司 | 道路异物检测方法、场景中异物检测方法及装置 |
| CN116129343A (zh) * | 2022-11-02 | 2023-05-16 | 长沙海信智能系统研究院有限公司 | 消防通道占用检测方法、装置及电子设备 |
| CN115984547A (zh) * | 2022-12-05 | 2023-04-18 | 湖南视比特机器人有限公司 | 目标检测模型、训练方法及系统、目标检测方法及系统 |
| CN116434160A (zh) * | 2023-04-18 | 2023-07-14 | 广州国交润万交通信息有限公司 | 基于背景模型与跟踪的高速公路抛洒物检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 吕轩轩;宫法明;: "结合对象分割和深度学习的运动行人检测", 内燃机与动力装置, no. 03, 15 June 2020 (2020-06-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117746028B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685060B (zh) | 图像处理方法和装置 | |
| CN111681273A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN108108731B (zh) | 基于合成数据的文本检测方法及装置 | |
| CN109934224B (zh) | 基于马尔科夫随机场和视觉对比机制的小目标检测方法 | |
| CN110781839A (zh) | 一种基于滑窗的大尺寸图像中小目标识别方法 | |
| CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
| CN115690102B (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
| Azad et al. | New method for optimization of license plate recognition system with use of edge detection and connected component | |
| CN111832504A (zh) | 一种面向卫星在轨应用的空间信息智能一体化生成方法 | |
| CN111489337A (zh) | 一种自动光学检测伪缺陷去除方法及系统 | |
| CN110276759B (zh) | 一种基于机器视觉的手机屏坏线缺陷诊断方法 | |
| CN108288274B (zh) | 模具检测方法、装置以及电子设备 | |
| CN112508910A (zh) | 用于多分类缺陷检测的缺陷提取方法及装置 | |
| CN111723634B (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
| CN112288727A (zh) | 磁环表面缺陷检测方法、装置、电子设备及存储介质 | |
| CN115690101A (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
| CN115908988A (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
| CN111178445A (zh) | 图像处理方法及装置 | |
| CN113468905A (zh) | 图形码识别方法、装置、计算机设备和存储介质 | |
| CN117746028B (zh) | 一种未标注物品的视觉检测方法、装置、设备及介质 | |
| CN110825896A (zh) | 一种商标检索系统及检索方法 | |
| CN113537253B (zh) | 一种红外图像目标检测方法、装置、计算设备及存储介质 | |
| CN111860326B (zh) | 一种建筑工地物品移动检测方法、装置、设备及存储介质 | |
| CN115374517A (zh) | 布线软件的测试方法、装置、电子设备及存储介质 | |
| CN115294035A (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |