CN111862036A - 一种基于双指标度量学习的工具异常放置检测方法及系统 - Google Patents

一种基于双指标度量学习的工具异常放置检测方法及系统 Download PDF

Info

Publication number
CN111862036A
CN111862036A CN202010690925.9A CN202010690925A CN111862036A CN 111862036 A CN111862036 A CN 111862036A CN 202010690925 A CN202010690925 A CN 202010690925A CN 111862036 A CN111862036 A CN 111862036A
Authority
CN
China
Prior art keywords
tool
picture
training
current
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010690925.9A
Other languages
English (en)
Other versions
CN111862036B (zh
Inventor
马锦华
李璐圆
严晓威
陈曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010690925.9A priority Critical patent/CN111862036B/zh
Publication of CN111862036A publication Critical patent/CN111862036A/zh
Application granted granted Critical
Publication of CN111862036B publication Critical patent/CN111862036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双指标度量学习的工具异常放置检测方法及系统，该方法包括：获取正确放置工具的工具箱图片并标记，得到标记信息；根据标记信息将工具箱图片中的工具单独裁剪出正确工具图片，并对正确工具图片进行数据扩充，得到训练集和验证集；通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型；获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常。本发明作为基于双指标度量学习的工具异常放置检测方法及系统，可广泛应用于图像处理领域。

Description

一种基于双指标度量学习的工具异常放置检测方法及系统
技术领域
本发明涉及图像处理领域，尤其涉及一种基于双指标度量学习的工具异常放置检测方法及系统。
背景技术
在航空领域，飞机的检修和维护是飞行准备中必不可少的环节。飞机检修所使用的工具由一个专门的工具箱来存放，其中每个工具在工具箱中都有特定的存放位置。在检修完成后，检修人员需要检查工具是否存在错放、漏放等异常，以避免下次拿错工具、工具忘记从飞机上拿回等问题。目前，工具异常放置检测大多通过人工进行，当工具繁多且形状相似时，这种方式速度慢且容易出错；此外还有一些自动化的检测方法，通过在工具箱内安装光传感器来判断工具是否覆盖到相应的位置，但这种方法涉及到工具箱箱体的硬件改造，改造难度大且成本过高。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于双指标度量学习的工具异常放置检测方法及系统，可解决现有的工具异常放置检测方法中存在的效率低、自动化程度低、易出错和成本高的问题。
本发明所采用的第一技术方案是：一种基于双指标度量学习的工具异常放置检测方法及系统，包括以下步骤：
获取正确放置工具的工具箱图片并标记，得到标记信息；
根据标记信息将工具箱图片中的工具单独裁剪出正确工具图片，并对正确工具图片进行数据扩充，得到训练集和验证集；
通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型；
获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常。
进一步，所述标记信息包括工具的横坐标、纵坐标、宽、高和工具编号。
进一步，所述数据扩充包括正样本扩充和负样本扩充，所述正样本扩充具体为：
对正确工具图片进行随机旋转、随机翻转、随机亮度调整、随机加噪声处理，得到正样本图片。
进一步，所述负样本扩充具体为：
选取工具的空图片和除该工具外其余工具正确放置的工具图片并将工具图片分别叠放在空图片中，得到负样本图片。
进一步，将正样本图片和负样本图片随机打乱并按预设数量构建工具的训练集和验证集。
进一步，所述基于双指标度量学习的工具异常放置检测模型包括特征提取网络和距离度量网络。
进一步，所述通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型这一步骤，其具体包括：
针对工具箱内的每个工具，通过训练集中该工具的训练工具图片对工具异常放置检测模型进行训练，得到训练后的工具异常检测模型。
通过验证集中该工具的验证工具图片对训练后的工具异常检测模型进行测试和参数调整，得到各个工具的最终工具异常检测模型。
进一步，所述针对工具箱内的每个工具，通过训练集中该工具的训练工具图片对工具异常放置检测模型进行训练，得到训练后的工具异常检测模型这一步骤，其具体包括：
获取工具的两张训练工具图片，通过特征提取网络分别提取出两张训练工具图片的的特征和二分类损失值；
将两张训练工具图片的特征进行叠加并输入到距离度量网络，得到关系分数；
根据二分类损失值和关系分数计算模型的总损失值，得到训练后的工具异常检测模型。
进一步，述获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常这一步骤，其具体包括：
获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片；
将当前工具图片和该工具的正确工具图片输入到最终工具异常检测模型，得到当前二分类损失值和当前关系损失值；
根据当前二分类损失值和当前关系损失值得到输出分数并判断当前工具是否放置异常，重复检测步骤直至当前工具箱图片中所有工具检测完成。
本发明所采用的第二技术方案是：一种基于双指标度量学习的工具异常放置检测系统，包括：
标记模块，用于获取正确放置工具的工具箱图片并标记，得到标记信息；
数据集生成模块，用于根据标记信息将工具箱图片中的工具单独裁剪出正确工具图片，并对正确工具图片进行数据扩充，得到训练集和验证集；
模型训练模块，用于通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型；
检测模块，用于获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常。
本发明方法及系统的有益效果是：通过读取工具箱图片并通过将图片进行图像处理和输入到检测模型，自动化地检测工具箱异常放置情况，避免了人工检测的耗时问题和传感器检测的高成本问题。
附图说明
图1是本发明一种基于双指标度量学习的工具异常放置检测方法的步骤流程图；
图2是本发明一种基于双指标度量学习的工具异常放置检测系统的结构框图；
图3是本发明具体实施例中训练检测模型的步骤示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
本发明对深度学习领域已有的度量学习网络结构——关系网络结构进行改进，将改进后的模型作为工具异常放置检测模型。该模型采用轻量级的MobileNetV2网络结构作为特征提取网络，提高模型训练及测试速度；采用三层卷积神经网络自动学习两张图片的相似度。该模型在已有关系网络模型只度量相似度的基础上，增加了两张图片的分类分数指标，将相似度与分类分数进行加权平均，作为最终的度量结果。图片分类分数的加入，使距离度量网络对正常和异常图片的区分能力进一步加强，使检测准确率相比原有的关系网络结构有所提高。
如图1所示，本发明提供了一种基于双指标度量学习的工具异常放置检测方法，该方法包括以下步骤：
S101、获取正确放置工具的工具箱图片并标记，得到标记信息；
具体地，通过固定在工具箱柜上的工业摄像头拍摄一张所有工具均正确放置的图片，再将所有工具移出，拍摄一张未放工具的工具箱图片。拍摄时应确保整个工具箱均被拍摄到，且其中的工具清晰。拍摄完成后，用户需要将工具的位置和编号信息记录到文本文档中，文档的每一行记录一个工具信息，从左至右分别为工具在图片中的横坐标、纵坐标、宽、高、编号。
S102、根据标记信息将工具箱图片中的工具单独裁剪出正确工具图片，并对正确工具图片进行数据扩充，得到训练集和验证集；
具体地，将S101中获取的工具箱图片中的每个工具单独裁剪出来，并对裁剪出来的工具图片进行数据扩充及预处理，形成工具箱内各个工具的训练集和验证集.
S103、通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型；
具体地，对于工具箱内的每个工具，通过S102得到的该工具的训练集对预设的基于深度度量学习的工具异常放置检测模型进行训练，通过S2102得到的该工具的验证集对训练后的异常检测模型进行测试和参数调整。最后得到每个工具的最终异常检测模型.
S104、获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常。
具体地，获取实际场景下的当前工具箱图片，根据S101中的标记信息分别裁剪出各个工具的图片，分别和一张正确放置的工具图片一起输入到S103得到的相应工具的最终异常检测模型中，根据输出的分数来判断出每个工具是否异常放置。
进一步作为本方法的优选实施例，所述标记信息包括工具的横坐标、纵坐标、宽、高和工具编号。
进一步作为本方法的优选实施例，所述数据扩充包括正样本扩充和负样本扩充，所述正样本扩充具体为：
对正确工具图片进行随机旋转、随机翻转、随机亮度调整、随机加噪声处理，得到正样本图片。
具体地，选取该工具正确放置的图片，进行随机旋转、随机翻转、随机亮度调整、随机加噪声处理，通过此方式产生80张正样本图片。
进一步作为本方法优选实施例，所述负样本扩充具体为：
选取工具的空图片和除该工具外其余工具正确放置的工具图片并将工具图片分别叠放在空图片中，得到负样本图片。
具体地，选取该工具的空图片以及除该工具之外的其他所有正确放置的工具图片，将其他工具的图片分别叠放在空图片中，从而模拟工具错放的情况。叠放时，若其他工具的图片的宽和高均小于该工具的空图片，则将其他工具图片叠放到空图片的随机位置；若宽和高的其中一边大于空图片，则将其他工具图片进行随机裁剪后再叠放；若宽和高均大于空图片，则不进行叠放处理。每个错放样本的产生数量可根据情况调整。最后，将空图片进行随机亮度调整和加噪声处理，从而模拟工具漏放情况。通过上述方法产生80-100张负样本图片。
对工具箱中的每个工具，分别采用上述扩充方法生成多张正样本图片和负样本图片。
进一步作为本方法优选实施例，将正样本图片和负样本图片随机打乱并按预设数量构建工具的训练集和验证集。
具体地，S102所述的训练集和验证集由扩充后的正样本和负样本产生。将正样本和负样本随机打乱，选取其中的100张图片作为训练集，剩下的图片作为验证集。
进一步作为本方法优选实施例，所述基于双指标度量学习的工具异常放置检测模型包括特征提取网络和距离度量网络。
具体地，所述基于双指标度量学习的工具异常放置检测模型采用经过改进后的关系网络(Relation Network)模型结构，该模型同时计算了图片的二分类损失值和关系分数，并将这两个指标综合考虑，使模型的检测能力增强。该模型由特征提取网络和距离度量网络两部分组成，其中特征提取网络采用深度学习领域公知的MobileNetV2网络结构，用于图片特征和分类指标的提取；距离度量网络采用三层卷积神经网络结构，用于两张图片特征相似度指标的度量。模型的输入数据为一对工具图片，输出数据为一个范围在0到1之间的总损失值。
进一步作为本方法优选实施例，所述通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型这一步骤，其具体包括：
针对工具箱内的每个工具，通过训练集中该工具的训练工具图片对工具异常放置检测模型进行训练，得到训练后的工具异常检测模型。
通过验证集中该工具的验证工具图片对训练后的工具异常检测模型进行测试和参数调整，得到各个工具的最终工具异常检测模型。
进一步作为本方法的优选实施例，所述针对工具箱内的每个工具，通过训练集中该工具的训练工具图片对工具异常放置检测模型进行训练，得到训练后的工具异常检测模型这一步骤，其具体包括：
获取工具的两张训练工具图片，通过特征提取网络分别提取出两张训练工具图片的的特征和二分类损失值；
将两张训练工具图片的特征进行叠加并输入到距离度量网络，得到关系分数；
根据二分类损失值和关系分数计算模型的总损失值，得到训练后的工具异常检测模型。
具体地，参照图3，从训练集中随机抽取训练工具图片，将大小缩放为224*224像素，色彩格式为RGB，训练采用随机梯度下降法更新模型参数。训练过程在GPU中进行。
进一步作为本方法优选实施例，所述所述获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常这一步骤，其具体包括：
获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片；
将当前工具图片和该工具的正确工具图片输入到最终工具异常检测模型，得到当前二分类损失值和当前关系损失值；
根据当前二分类损失值和当前关系损失值得到输出分数并判断当前工具是否放置异常，重复检测步骤直至当前工具箱图片中所有工具检测完成。
具体地，检测过程中，当前工具箱图片采用和S101相同的方式采集，输入到检测模型的图片对由一张正确放置的工具图片和一张当前工具图片组成，将输入图片缩放为224*224像素，分别输入S3中训练好的对应工具的模型中，计算出当前工具图片的二分类损失值c以及当前工具图片和正确放置图片的关系损失值r，最终的模型输出分数S为c和r的平均值，计算公式为S＝0.5c+0.5r，在此优选方案中，将大于等于0.5的工具判定为正常放置，小于0的工具判定为异常放置。
本发明使用的模型与现有模型的实验结果对比，实验采用的数据集为同一个工具箱的69张图片，每张图片中均有7个正常或异常放置的工具，实验指标为分类阈值设为0.5，所有图片缩放为224*224像素时，其中，真阳性、真阴性个数越多，假阳性、假阴性个数越少，总准确率越高，说明检测效果越好。根据实验结果，图片在缩放为224*224的正方形时，检测效果更好，本发明对比现有模型的检测准确率更高。
如图2所示，一种基于双指标度量学习的工具异常放置检测系统，包括：
标记模块，用于获取正确放置工具的工具箱图片并标记，得到标记信息；
数据集生成模块，用于根据标记信息将工具箱图片中的工具单独裁剪出正确工具图片，并对正确工具图片进行数据扩充，得到训练集和验证集；
模型训练模块，用于通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型；
检测模块，用于获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常。
进一步作为本系统的优选实施例，还包括：
前端交互模块，用于通过本地浏览器访问网页，进行工具箱图片上传、远程数据预处理、远程模型训练、模型下载等交互流程。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于双指标度量学习的工具异常放置检测方法，其特征在于，包括以下步骤：
获取正确放置工具的工具箱图片并标记，得到标记信息；
根据标记信息将工具箱图片中的工具单独裁剪出正确工具图片，并对正确工具图片进行数据扩充，得到训练集和验证集；
通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型；
获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常。
2.根据权利要求1所述一种基于双指标度量学习的工具异常放置检测方法，其特征在于，所述标记信息包括工具的横坐标、纵坐标、宽、高和工具编号。
3.根据权利要求2所述一种基于双指标度量学习的工具异常放置检测方法，其特征在于，所述数据扩充包括正样本扩充和负样本扩充，所述正样本扩充具体为：
对正确工具图片进行随机旋转、随机翻转、随机亮度调整、随机加噪声处理，得到正样本图片。
4.根据权利要求3所述一种基于双指标度量学习的工具异常放置检测方法，其特征在于，所述负样本扩充具体为：
选取工具的空图片和除该工具外其余工具正确放置的工具图片并将工具图片分别叠放在空图片中，得到负样本图片。
5.根据权利要求4一种基于双指标度量学习的工具异常放置检测方法，其特征在于，将正样本图片和负样本图片随机打乱并按预设数量构建工具的训练集和验证集。
6.根据权利要求5所述一种基于双指标度量学习的工具异常放置检测方法，其特征在于，所述基于双指标度量学习的工具异常放置检测模型包括特征提取网络和距离度量网络。
7.根据权利要求6所述一种基于双指标度量学习的工具异常放置检测方法，其特征在于，所述通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型这一步骤，其具体包括：
针对工具箱内的每个工具，通过训练集中该工具的训练工具图片对工具异常放置检测模型进行训练，得到训练后的工具异常检测模型。
通过验证集中该工具的验证工具图片对训练后的工具异常检测模型进行测试和参数调整，得到各个工具的最终工具异常检测模型。
8.根据权利要求7所述一种基于双指标度量学习的工具异常放置检测方法，其特征在于，所述针对工具箱内的每个工具，通过训练集中该工具的训练工具图片对工具异常放置检测模型进行训练，得到训练后的工具异常检测模型这一步骤，其具体包括：
获取工具的两张训练工具图片，通过特征提取网络分别提取出两张训练工具图片的的特征和二分类损失值；
将两张训练工具图片的特征进行叠加并输入到距离度量网络，得到关系分数；
根据二分类损失值和关系分数计算模型的总损失值，得到训练后的工具异常检测模型。
9.根据权利要求8所述一种基于双指标度量学习工具异常放置检测方法，其特征在于，所述获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常这一步骤，其具体包括：
获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片；
将当前工具图片和该工具的正确工具图片输入到最终工具异常检测模型，得到当前二分类损失值和当前关系损失值；
根据当前二分类损失值和当前关系损失值得到输出分数并判断当前工具是否放置异常，重复检测步骤直至当前工具箱图片中所有工具检测完成。
10.一种基于双指标度量学习的工具异常放置检测系统，其特征在于，包括：
标记模块，用于获取正确放置工具的工具箱图片并标记，得到标记信息；
数据集生成模块，用于根据标记信息将工具箱图片中的工具单独裁剪出正确工具图片，并对正确工具图片进行数据扩充，得到训练集和验证集；
模型训练模块，用于通过训练集和验证集对预设的基于双指标度量学习的工具异常放置检测模型进行训练和验证并调整参数，得到最终工具异常检测模型；
检测模块，用于获取当前工具箱图片，根据标记信息对当前工具箱图片裁剪出各个当前工具图片后，输入到最终工具异常检测模型并判断是否放置异常。
CN202010690925.9A 2020-07-17 2020-07-17 一种基于双指标度量学习的工具异常放置检测方法及系统 Active CN111862036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010690925.9A CN111862036B (zh) 2020-07-17 2020-07-17 一种基于双指标度量学习的工具异常放置检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010690925.9A CN111862036B (zh) 2020-07-17 2020-07-17 一种基于双指标度量学习的工具异常放置检测方法及系统

Publications (2)

Publication Number Publication Date
CN111862036A true CN111862036A (zh) 2020-10-30
CN111862036B CN111862036B (zh) 2023-10-20

Family

ID=73000490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010690925.9A Active CN111862036B (zh) 2020-07-17 2020-07-17 一种基于双指标度量学习的工具异常放置检测方法及系统

Country Status (1)

Country Link
CN (1) CN111862036B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743074A (zh) * 2022-06-13 2022-07-12 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN115168577A (zh) * 2022-06-30 2022-10-11 北京百度网讯科技有限公司 模型更新方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003304A (zh) * 2018-07-12 2018-12-14 南京云计趟信息技术有限公司 一种基于深度学习的摄像头角度移动检测系统和方法
CN110443130A (zh) * 2019-07-01 2019-11-12 国网湖南省电力有限公司 一种配电网架空线路异常状态检测方法
CN110992305A (zh) * 2019-10-31 2020-04-10 中山大学 基于深度学习和多目标跟踪技术的包裹计数方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003304A (zh) * 2018-07-12 2018-12-14 南京云计趟信息技术有限公司 一种基于深度学习的摄像头角度移动检测系统和方法
CN110443130A (zh) * 2019-07-01 2019-11-12 国网湖南省电力有限公司 一种配电网架空线路异常状态检测方法
CN110992305A (zh) * 2019-10-31 2020-04-10 中山大学 基于深度学习和多目标跟踪技术的包裹计数方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘国文;张彩霞;李斌;杨阳;张文生;: "基于改进RetinaNet模型的接触网鸟巢检测", 数据采集与处理, no. 03, pages 187 - 195 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743074A (zh) * 2022-06-13 2022-07-12 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN114743074B (zh) * 2022-06-13 2022-09-09 浙江华是科技股份有限公司 一种基于强弱对抗训练的船舶检测模型训练方法及系统
CN115168577A (zh) * 2022-06-30 2022-10-11 北京百度网讯科技有限公司 模型更新方法、装置、电子设备及存储介质
CN115168577B (zh) * 2022-06-30 2023-03-21 北京百度网讯科技有限公司 模型更新方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111862036B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN111340787B (zh) 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN110728225B (zh) 一种用于考勤的高速人脸搜索方法
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN109284355B (zh) 一种批改试卷中口算题的方法及装置
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN109993040A (zh) 文本识别方法及装置
CN105654066A (zh) 一种车辆识别方法及装置
CN109918523B (zh) 一种基于yolo9000算法的电路板元器件检测方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN111862036B (zh) 一种基于双指标度量学习的工具异常放置检测方法及系统
CN109284700B (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
CN111223078A (zh) 瑕疵等级判定的方法及存储介质
CN116721350A (zh) 一种用于目标检测的边界框回归损失计算方法
CN111415339A (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN114140463A (zh) 一种焊接缺陷识别方法、装置、设备及存储介质
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN110728269A (zh) 一种高铁接触网支柱杆号牌识别方法
CN114387266A (zh) 结核杆菌检测模型的训练方法、装置、设备及存储介质
CN115147684A (zh) 基于深度学习的目标打击效果评估方法
CN111127327B (zh) 一种图片倾斜检测方法及装置
CN114743048A (zh) 检测异常秸秆图片的方法和检测装置
CN107123105A (zh) 基于fast算法的图像匹配缺陷检测方法
CN112801013A (zh) 一种基于关键点识别校验的人脸识别方法、系统及装置
CN113239075A (zh) 一种施工数据自检方法及系统
CN112001388A (zh) 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant