CN117372791A - 细粒度定向能毁伤区域检测方法、装置及存储介质 - Google Patents
细粒度定向能毁伤区域检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117372791A CN117372791A CN202311675818.9A CN202311675818A CN117372791A CN 117372791 A CN117372791 A CN 117372791A CN 202311675818 A CN202311675818 A CN 202311675818A CN 117372791 A CN117372791 A CN 117372791A
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- feature
- normal
- target domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000001066 destructive effect Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims description 73
- 238000012549 training Methods 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请实施例提供一种细粒度定向能毁伤区域检测方法、装置及存储介质，属于图像数据处理技术领域，所述方法包括：获取待检测图像的目标域图像特征；将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值；基于所述特征得分值确定待检测图像的毁伤区域。本申请实施例提供的细粒度定向能毁伤区域检测方法、装置及存储介质，通过训练后的判别器可以获取目标域图像特征中每个位置的特征得分值，然后根据特征得分值确定待检测图像中的毁伤区域，规避了标注依赖以及毁伤区域样本稀少或缺失问题，提高了实用性。
Description
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种细粒度定向能毁伤区域检测方法、装置及存储介质。
背景技术
毁伤区域检测是工业界的一个重要问题，通常用于分析和识别图像中物体的受损或受影响区域，这些区域或由无意的事故灾害引起或由目的性打击所致。
定向能是利用激光、微波、粒子束、声波等的能量，产生高温、电离、辐射、声波等综合效应，从而对目标造成毁伤，定向能毁伤机制的多样性使得定向能毁伤区域检测任务变得更为复杂。
传统的定向能毁伤区域检测方法通常依赖于基于监督学习的目标检测方法，此类方法需要大量已标注的图像样本，通过训练深度学习模型来学习定向能毁伤区域的特征并进行检测，这些基于目标检测的方法在数据充足的情况下表现良好，但在数据稀少或缺失的情况下，模型的性能会急剧下降，导致实用性降低。
发明内容
本申请实施例提供一种细粒度定向能毁伤区域检测方法、装置及存储介质，用以解决现有技术中的定向能毁伤区域检测方法实用性低的技术问题。
第一方面，本申请实施例提供一种细粒度定向能毁伤区域检测方法，包括：
获取待检测图像的目标域图像特征；
将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的；
基于所述特征得分值确定待检测图像的毁伤区域。
在一些实施例中，所述判别器的训练步骤包括：
获取正常图像的正常特征；
将所述正常特征与噪声图相加，得到异常特征；
基于所述正常特征和所述异常特征，得到所述正常特征中每个位置的正常特征得分值和所述异常特征中每个位置的异常特征得分值；
基于所述正常特征得分值、所述异常特征得分值和截断损失函数确定所述判别器的损失值；
根据所述损失值训练所述判别器。
在一些实施例中，所述噪声图是基于噪声生成器生成的，所述噪声图与所述正常图像的正常特征的尺寸和通道数是相同的。
在一些实施例中，所述获取待检测图像的目标域图像特征，包括：
获取待检测图像的图像特征；
基于域配适器将所述待检测图像的图像特征转换为目标域图像特征。
在一些实施例中，所述基于域配适器将所述待检测图像的图像特征转换为目标域图像特征，包括：
基于所述待检测图像的图像特征确定所述待检测图像的源域图像特征；
对所述待检测图像的源域图像特征进行域转换，得到所述待检测图像的目标域图像特征。
在一些实施例中，所述基于所述特征得分值确定待检测图像的毁伤区域，包括：
基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果；
将所述分类结果上采样到所述待检测图像，得到所述待检测图像的毁伤区域。
在一些实施例中，所述基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果，包括：
确定绝对值最大的异常特征得分值对应的分类结果为毁伤结果。
第二方面，本申请实施例还提供一种细粒度定向能毁伤区域检测装置，包括：
第一获取模块，用于获取待检测图像的目标域图像特征；
第一处理模块，用于将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的；
第一确定模块，用于基于所述特征得分值确定待检测图像的毁伤区域。
在一些实施例中，所述判别器的训练步骤包括：
获取正常图像的正常特征；
将所述正常特征与噪声图相加，得到异常特征；
基于所述正常特征和所述异常特征，得到所述正常特征中每个位置的正常特征得分值和所述异常特征中每个位置的异常特征得分值；
基于所述正常特征得分值、所述异常特征得分值和截断损失函数确定所述判别器的损失值；
根据所述损失值训练所述判别器。
在一些实施例中，所述噪声图是基于噪声生成器生成的，所述噪声图与所述正常图像的正常特征的尺寸和通道数是相同的。
在一些实施例中，所述第一获取模块包括：
第一获取子模块，用于获取待检测图像的图像特征；
第一转换子模块，用于基于域配适器将所述待检测图像的图像特征转换为目标域图像特征。
在一些实施例中，所述第一转换子模块包括：
第一确定单元，用于基于所述待检测图像的图像特征确定所述待检测图像的源域图像特征；
第一转换单元，用于对所述待检测图像的源域图像特征进行域转换，得到所述待检测图像的目标域图像特征。
在一些实施例中，所述第一确定模块包括：
第一确定子模块，用于基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果；
第一处理子模块，用于将所述分类结果上采样到所述待检测图像，得到所述待检测图像的毁伤区域。
在一些实施例中，所述第一确定子模块包括：
第二确定单元，用于确定绝对值最大的异常特征得分值对应的分类结果为毁伤结果。
第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述细粒度定向能毁伤区域检测方法。
第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述细粒度定向能毁伤区域检测方法。
第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述细粒度定向能毁伤区域检测方法。
本申请实施例提供的细粒度定向能毁伤区域检测方法、装置及存储介质，通过训练后的判别器可以获取目标域图像特征中每个位置的特征得分值，然后根据特征得分值确定待检测图像中的毁伤区域，规避了标注依赖以及毁伤区域样本稀少或缺失问题，提高了实用性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的细粒度定向能毁伤区域检测方法的流程示意图；
图2是本申请实施例提供的细粒度定向能毁伤区域检测装置的结构示意图；
图3是本申请实施例提供的电子设备的实体结构示意图。
具体实施方式
无监督异常检测算法是一种不依赖于数据标注的方法，用于检测图像中的异常或不寻常区域，这种方法通常仅依赖于对正常数据的建模，无需人工标注，然后通过检测与正常数据模型不符的区域来识别异常，该技术常用于工业残次品检测、表面缺陷检测等场景。但目前较成熟的无监督异常检测算法更多关注于图像层面的异常，即检测出包含异常的图像即可，而缺少对图像中异常的精准定位，即细粒度的异常检测。
基于目标检测方法的定向能毁伤区域检测算法存在明显缺陷，因其十分依赖于标注数据，但真实场景下的毁伤样本不具有固定类型且无法穷举，限制了算法的实际应用，因此在定向能毁伤检测领域，基于目标检测的有监督方法实用性不强，且此类算法的泛化性能无法得到保障。
针对上述技术问题，本申请实施例提出的细粒度定向能毁伤区域检测方法可以将定向能毁伤区域检测问题抽象为无监督的异常检测问题，能够仅在正常图像的基础上，学习正常图像所具有的特征，同时具备发现图像中异常或受损区域的能力，而无需处理复杂的毁伤场景，为定向能毁伤区域检测提供了更为灵活和可行的解决方案。
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本申请实施例提供的细粒度定向能毁伤区域检测方法的流程示意图，如图1所示，本申请实施例提供一种细粒度定向能毁伤区域检测方法，包括：
步骤101，获取待检测图像的目标域图像特征。
具体地，本申请实施例提供的细粒度定向能毁伤区域检测方法包括训练过程和检测过程，检测过程可以利用训练后的检测模型对待检测图像进行检测。
在检测过程中，可以利用特征提取器获取待检测图像的多级语义特征，即图像特征，再利用域适配器对图像特征的特征域进行转换得到目标域图像特征。
步骤102，将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的。
具体地，判别器可以根据训练中输入的正常特征和异常特征学习到更紧凑的正常特征边界。判别器的具体实现方式是两层不含偏置的全连接层。
判别器将特征图中每个位置上的向量都看作一个样本，并针对每个样本给出一个表示正常或异常置信度的判别分数，对于正常特征给出正的置信度，对于异常特征给出负的置信度，通过此种方式判别器便得到了特征图每个位置的特征得分值。
步骤103基于所述特征得分值确定待检测图像的毁伤区域。
具体地，针对定向能毁伤检测场景，毁伤区域便拥有绝对值更大的负置信度，非毁伤区域拥有绝对值更大的正置信度，从而实现了更细粒度的定向能毁伤区域检测。
根据最终得到的判别分数图可得到特征图中每个位置的分类结果，将分类结果上采样到原图大小，便得到了像素级的定向能毁伤区域检测结果。图像级的定向能毁伤检测结果由判别分数图中最大绝对值对应的类别确定，即最大绝对值对应异常特征，该图像的分类结果便为毁伤图像。
本申请实施例提供的细粒度定向能毁伤区域检测方法，通过训练后的判别器可以获取目标域图像特征中每个位置的特征得分值，然后根据特征得分值确定待检测图像中的毁伤区域，规避了标注依赖以及毁伤区域样本稀少或缺失问题，提高了实用性。
在一些实施例中，所述判别器的训练步骤包括：
获取正常图像的正常特征；
将所述正常特征与噪声图相加，得到异常特征；
基于所述正常特征和所述异常特征，得到所述正常特征中每个位置的正常特征得分值和所述异常特征中每个位置的异常特征得分值；
基于所述正常特征得分值、所述异常特征得分值和截断损失函数确定所述判别器的损失值；
根据所述损失值训练所述判别器。
具体地，在训练过程中专注于学习正常图像的特征分布，无需图像标注参与。并利用噪声生成器，在特征层面向正常图像特征加入噪声，模拟异常特征。尽管基于无监督学习的异常检测方法期望学习到正常图像的特征分布，但仅学习正常图像的特征容易使模型陷入模式崩溃，也就无法获得泛化性能较高的判别器，因此本申请实施例采取在特征空间内向正常特征添加噪声的方式来生成异常样本，该方式可以获得更加逼真的异常特征分布,并可以通过控制噪声的参数对其范围进行调控，避免特征偏离过远。
结合生成对抗网络中对抗训练的思想，本申请实施例将正常特征和异常特征同时送入判别器，可以使得判别器学习到更紧凑的正常特征边界，与其他网络中的分类器类似，本申请实施例中判别器的具体实现方式是两层不含偏置的全连接层。
本申请实施例中的判别器将特征图中每个位置上的向量都看做一个样本，并针对每个样本给出一个表示正常或异常置信度的判别分数，对于正常特征给出正的置信度，对于异常特征给出负的置信度，通过此种方式判别器便得到了特征图每个位置的判别分数。针对定向能毁伤检测场景，毁伤区域便拥有绝对值更大的负置信度，非毁伤区域拥有绝对值更大的正置信度，从而实现了更细粒度的定向能毁伤区域检测，以上过程可抽象为以下公式：
其中表示正常特征/>对应的判别分数，/>表示异常特征/>对应的判别分数，表示两层全连接层，/>属于第/>级特征图位于/>处的向量，/>为特征图的高，/>为特征图的宽。
本申请实施例用到的损失函数属于截断损失函数，其对应公式如下所示：
其中，是第/>级特征图位于/>处的损失值，/>是正常特征的截断值,默认为0.5，/>是异常特征的截断值,默认为-0.5，/>表示第/>级正常特征在位置/>处对应的判别分数，/>表示第/>级异常特征在位置/>处对应的判别分数，/>分别对应第/>级特征图的高和宽，/>是该图像的整体损失。
本申请实施例针对正常特征和异常特征计算L1距离,然后结合截断值约束每个样本对损失函数的贡献上限。对于正常特征，计算判别分数与正样本目标值之间的L1距离,通过设定截断阈值防止某个样本损失过大影响训练，对异常特征同理，计算与负样本目标值的L1距离。正常特征与异常特征的损失之和作为判别器的最终损失。
相比交叉熵损失，本申请实施例损失函数采用的设计可以更简单有效地使判别器区分正常和异常特征。同时设置截断值可以避免个别样本由于距离过大而对损失函数贡献过度，起到正则化作用。本申请实施例中正常特征对应的截断值，异常特征对应的截断值/>。
本申请实施例提供的细粒度定向能毁伤区域检测方法，利用噪声生成器在特征层面上加入噪声，避免了在训练过程中引入大量的人工标注，也解决了定向能毁伤检测领域毁伤样本稀缺的问题，同时可以控制异常特征的分布范围，避免异常特征偏离过远，获得了更接近真实情况的异常特征分布。
在一些实施例中，所述噪声图是基于噪声生成器生成的，所述噪声图与所述正常图像的正常特征的尺寸和通道数是相同的。
具体地，噪声生成器的具体实现方式是生成一个大小以及通道数均与当前特征图相同的高斯噪声图，噪声图/>中的元素服从均值为0，标准差为/>的高斯分布，将噪声图/>与经过域调整的正常图像特征相加，便得到异常特征，对应公式如下所示。
其中是异常特征，/>是经过域调整的正常图像特征。
基于实验结果，本申请实施例将标准差设为0.01，因标准差/>设为0.01时可获得更为紧凑的正常特征边界。需要注意的是，本申请实施例在检测阶段会移除噪声生成器，直接利用判别器对定向能毁伤区域进行检测。
值得一提的是，在本申请实施例中高斯噪声也可以采用其他分布的噪声形式。
本申请实施例提供的细粒度定向能毁伤区域检测方法，利用噪声生成器在特征层面上加入噪声，避免了在训练过程中引入大量的人工标注，也解决了定向能毁伤检测领域毁伤样本稀缺的问题，同时可以控制异常特征的分布范围，避免异常特征偏离过远，获得了更接近真实情况的异常特征分布。
在一些实施例中，所述获取待检测图像的目标域图像特征，包括：
获取待检测图像的图像特征；
基于域配适器将所述待检测图像的图像特征转换为目标域图像特征。
具体地，可以利用特征提取器获取待检测图像的多级语义特征，即图像特征，为了兼顾模型的效果与效率，本申请实施例使用类残差神经网络（WideResNet50）作为特征提取器。残差神经网络在网络中引入了残差连接结构，以促进深层神经网络的有效训练，类残差神经网络通常被划分为四个主要阶段，每个阶段生成了不同尺寸的特征图，以一个大小为224×224像素的图像为例，当输入此图像到网络中时，将获得四个不同尺寸的特征图，它们的尺寸分别为56×56、28×28、以及14×14、7×7，将四个特征图分别标记为。
然后再利用域适配器对图像特征的特征域进行转换得到目标域图像特征。
值得一提的是，在本申请实施例中，WideResNet50还可以用其他可生产多尺度特征的类残差网络来替代。
本申请实施例提供的细粒度定向能毁伤区域检测方法，采用域适配器对学习到的预训练特征进行域调整，相比直接使用预训练特征，域适配器可以提高模型针对目标域的数据分布拟合能力，减少与目标域的偏差，获得针对目标域更好的特征表达。
在一些实施例中，所述基于域配适器将所述待检测图像的图像特征转换为目标域图像特征，包括：
基于所述待检测图像的图像特征确定所述待检测图像的源域图像特征；
对所述待检测图像的源域图像特征进行域转换，得到所述待检测图像的目标域图像特征。
具体地，由于预训练网络所学习到的特征分布偏向于其训练所在的数据集，即源域，因此在新的任务场景下，为了提取出更合理的图像特征，需要将提取到的特征进行特征域的转换，将其转换到更符合目标任务的特征域，即目标域。
本申请实施例利用域适配器对特征域进行转换，域转换器的输入是特征提取器的输出，其目的是实现域转化，由于注意力机制允许神经网络关注源域和目标域中的不同部分或特征，从而可以实现域之间的特征转换，因此本申请实施例利用注意力机制作为域适配器的具体实现方式，注意力机制的计算流程对应的公式为
其中，为待计算的矩阵，分别对应查询矩阵(Query)、键矩阵(Key)以及值矩阵(Value)，/>为缩放因子，/>的值根据/>计算结果确定，/>为/>函数，/>均由输入经过线性变换得到。
基于实验结果，本申请实施例使用两个层次的特征作为域适配器的输入，最终得到经过域调整的正常图像特征/>。
本申请实施例提供的细粒度定向能毁伤区域检测方法，采用域适配器对学习到的预训练特征进行域调整，相比直接使用预训练特征，域适配器可以提高模型针对目标域的数据分布拟合能力，减少与目标域的偏差，获得针对目标域更好的特征表达。
在一些实施例中，所述基于所述特征得分值确定待检测图像的毁伤区域，包括：
基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果；
将所述分类结果上采样到所述待检测图像，得到所述待检测图像的毁伤区域。
具体地，针对定向能毁伤检测场景，根据最终得到的判别分数图可得到特征图中每个位置的分类结果，将分类结果上采样到原图大小，便得到了定向能毁伤区域。
本申请实施例提供的细粒度定向能毁伤区域检测方法，利用基于无监督异常检测的细粒度定向能毁伤区域检测方法，规避了基于传统目标检测方法造成的标注依赖以及毁伤区域样本稀少或缺失问题，实现了效率更高、粒度更精细，定位更准确的定向能毁伤区域检测。
在一些实施例中，所述基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果，包括：
确定绝对值最大的异常特征得分值对应的分类结果为毁伤结果。
具体地，根据最终得到的判别分数图可得到特征图中每个位置的分类结果，将分类结果上采样到原图大小，便得到了像素级的定向能毁伤区域检测结果。图像级的定向能毁伤检测结果由判别分数图中最大绝对值对应的类别确定，即最大绝对值对应异常特征，该图像的分类结果便为毁伤图像。
本申请实施例提供的细粒度定向能毁伤区域检测方法，利用基于无监督异常检测的细粒度定向能毁伤区域检测方法，规避了基于传统目标检测方法造成的标注依赖以及毁伤区域样本稀少或缺失问题，实现了效率更高、粒度更精细，定位更准确的定向能毁伤区域检测。
图2是本申请实施例提供的细粒度定向能毁伤区域检测装置的结构示意图，如图2所示，本申请实施例提供的细粒度定向能毁伤区域检测装置，包括第一获取模块201，第一处理模块202，第一确定模块203，其中：
第一获取模块201，用于获取待检测图像的目标域图像特征；
第一处理模块202，用于将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的；
第一确定模块203，用于基于所述特征得分值确定待检测图像的毁伤区域。
在一些实施例中，所述判别器的训练步骤包括：
获取正常图像的正常特征；
将所述正常特征与噪声图相加，得到异常特征；
基于所述正常特征和所述异常特征，得到所述正常特征中每个位置的正常特征得分值和所述异常特征中每个位置的异常特征得分值；
基于所述正常特征得分值、所述异常特征得分值和截断损失函数确定所述判别器的损失值；
根据所述损失值训练所述判别器。
在一些实施例中，所述噪声图是基于噪声生成器生成的，所述噪声图与所述正常图像的正常特征的尺寸和通道数是相同的。
在一些实施例中，所述第一获取模块包括：
第一获取子模块，用于获取待检测图像的图像特征；
第一转换子模块，用于基于域配适器将所述待检测图像的图像特征转换为目标域图像特征。
在一些实施例中，所述第一转换子模块包括：
第一确定单元，用于基于所述待检测图像的图像特征确定所述待检测图像的源域图像特征；
第一转换单元，用于对所述待检测图像的源域图像特征进行域转换，得到所述待检测图像的目标域图像特征。
在一些实施例中，所述第一确定模块包括：
第一确定子模块，用于基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果；
第一处理子模块，用于将所述分类结果上采样到所述待检测图像，得到所述待检测图像的毁伤区域。
在一些实施例中，所述第一确定子模块包括：
第二确定单元，用于确定绝对值最大的异常特征得分值对应的分类结果为毁伤结果。
具体地，本申请实施例提供的上述细粒度定向能毁伤区域检测装置，能够实现上述细粒度定向能毁伤区域检测方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图3是本申请实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器（processor）310、通信接口（Communications Interface）320、存储器（memory）330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行细粒度定向能毁伤区域检测方法，该方法包括：
获取待检测图像的目标域图像特征；
将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的；
基于所述特征得分值确定待检测图像的毁伤区域。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
在一些实施例中，所述判别器的训练步骤包括：
获取正常图像的正常特征；
将所述正常特征与噪声图相加，得到异常特征；
基于所述正常特征和所述异常特征，得到所述正常特征中每个位置的正常特征得分值和所述异常特征中每个位置的异常特征得分值；
基于所述正常特征得分值、所述异常特征得分值和截断损失函数确定所述判别器的损失值；
根据所述损失值训练所述判别器。
在一些实施例中，所述噪声图是基于噪声生成器生成的，所述噪声图与所述正常图像的正常特征的尺寸和通道数是相同的。
在一些实施例中，所述获取待检测图像的目标域图像特征，包括：
获取待检测图像的图像特征；
基于域配适器将所述待检测图像的图像特征转换为目标域图像特征。
在一些实施例中，所述基于域配适器将所述待检测图像的图像特征转换为目标域图像特征，包括：
基于所述待检测图像的图像特征确定所述待检测图像的源域图像特征；
对所述待检测图像的源域图像特征进行域转换，得到所述待检测图像的目标域图像特征。
在一些实施例中，所述基于所述特征得分值确定待检测图像的毁伤区域，包括：
基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果；
将所述分类结果上采样到所述待检测图像，得到所述待检测图像的毁伤区域。
在一些实施例中，所述基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果，包括：
确定绝对值最大的异常特征得分值对应的分类结果为毁伤结果。
具体地，本申请实施例提供的上述电子设备，能够实现上述执行主体为电子设备的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的细粒度定向能毁伤区域检测方法，该方法包括：
获取待检测图像的目标域图像特征；
将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的；
基于所述特征得分值确定待检测图像的毁伤区域。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的细粒度定向能毁伤区域检测方法，该方法包括：
获取待检测图像的目标域图像特征；
将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的；
基于所述特征得分值确定待检测图像的毁伤区域。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
另外需要说明的是：本申请实施例中术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
本申请中的“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”，还应包括：“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C，基于C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如，“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种细粒度定向能毁伤区域检测方法，其特征在于，包括：
获取待检测图像的目标域图像特征；
将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的；
基于所述特征得分值确定待检测图像的毁伤区域。
2.根据权利要求1所述的细粒度定向能毁伤区域检测方法，其特征在于，所述判别器的训练步骤包括：
获取正常图像的正常特征；
将所述正常特征与噪声图相加，得到异常特征；
基于所述正常特征和所述异常特征，得到所述正常特征中每个位置的正常特征得分值和所述异常特征中每个位置的异常特征得分值；
基于所述正常特征得分值、所述异常特征得分值和截断损失函数确定所述判别器的损失值；
根据所述损失值训练所述判别器。
3.根据权利要求2所述的细粒度定向能毁伤区域检测方法，其特征在于，所述噪声图是基于噪声生成器生成的，所述噪声图与所述正常图像的正常特征的尺寸和通道数是相同的。
4.根据权利要求1所述的细粒度定向能毁伤区域检测方法，其特征在于，所述获取待检测图像的目标域图像特征，包括：
获取待检测图像的图像特征；
基于域配适器将所述待检测图像的图像特征转换为目标域图像特征。
5.根据权利要求4所述的细粒度定向能毁伤区域检测方法，其特征在于，所述基于域配适器将所述待检测图像的图像特征转换为目标域图像特征，包括：
基于所述待检测图像的图像特征确定所述待检测图像的源域图像特征；
对所述待检测图像的源域图像特征进行域转换，得到所述待检测图像的目标域图像特征。
6.根据权利要求1所述的细粒度定向能毁伤区域检测方法，其特征在于，所述基于所述特征得分值确定待检测图像的毁伤区域，包括：
基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果；
将所述分类结果上采样到所述待检测图像，得到所述待检测图像的毁伤区域。
7.根据权利要求6所述的细粒度定向能毁伤区域检测方法，其特征在于，所述基于所述特征得分值确定所述待检测图像的目标域图像特征中每个位置的分类结果，包括：
确定绝对值最大的异常特征得分值对应的分类结果为毁伤结果。
8.一种细粒度定向能毁伤区域检测装置，其特征在于，包括：
第一获取模块，用于获取待检测图像的目标域图像特征；
第一处理模块，用于将所述目标域图像特征输入到训练后的判别器中，得到所述训练后的判别器输出的所述待检测图像的目标域图像特征中每个位置的特征得分值，所述训练后的判别器是基于正常特征得分值和异常特征得分值训练得到的；
第一确定模块，用于基于所述特征得分值确定待检测图像的毁伤区域。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述细粒度定向能毁伤区域检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述细粒度定向能毁伤区域检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311675818.9A CN117372791B (zh) | 2023-12-08 | 2023-12-08 | 细粒度定向能毁伤区域检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311675818.9A CN117372791B (zh) | 2023-12-08 | 2023-12-08 | 细粒度定向能毁伤区域检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117372791A true CN117372791A (zh) | 2024-01-09 |
| CN117372791B CN117372791B (zh) | 2024-03-22 |
Family
ID=89391420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311675818.9A Active CN117372791B (zh) | 2023-12-08 | 2023-12-08 | 细粒度定向能毁伤区域检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372791B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170056928A1 (en) * | 2015-08-31 | 2017-03-02 | Covar Applied Technologies, Inc. | System and method for estimating damage to a shaker table screen using computer vision |
| CN110287932A (zh) * | 2019-07-02 | 2019-09-27 | 中国科学院遥感与数字地球研究所 | 基于深度学习图像语义分割的道路阻断信息提取 |
| CN111860494A (zh) * | 2020-06-16 | 2020-10-30 | 北京航空航天大学 | 图像目标检测的优化方法、装置、电子设备和存储介质 |
| WO2021120752A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技（深圳）有限公司 | 域自适应模型训练、图像检测方法、装置、设备及介质 |
| WO2021143267A1 (zh) * | 2020-09-07 | 2021-07-22 | 平安科技（深圳）有限公司 | 基于图像检测的细粒度分类模型处理方法、及其相关设备 |
| CN113610787A (zh) * | 2021-07-27 | 2021-11-05 | 广东省科技基础条件平台中心 | 图像缺陷检测模型的训练方法、装置、计算机设备 |
| CN114037650A (zh) * | 2021-05-17 | 2022-02-11 | 西北工业大学 | 变化检测及目标检测的地面目标可见光毁伤图像处理方法 |
| CN114663760A (zh) * | 2022-03-25 | 2022-06-24 | 清华大学 | 模型训练的方法、目标检测方法、存储介质及计算设备 |
| WO2022134354A1 (zh) * | 2020-12-25 | 2022-06-30 | 平安科技（深圳）有限公司 | 车损检测模型训练、车损检测方法、装置、设备及介质 |
| WO2022213465A1 (zh) * | 2021-04-08 | 2022-10-13 | 平安科技（深圳）有限公司 | 基于神经网络的图像识别方法、装置、电子设备及介质 |
| KR20220164097A (ko) * | 2021-06-03 | 2022-12-13 | 주식회사 크레스콤 | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| CN115546659A (zh) * | 2022-10-17 | 2022-12-30 | 江苏思远集成电路与智能技术研究院有限公司 | 一种基于卫星图像机场目标毁伤检测方法 |
| WO2023035425A1 (zh) * | 2021-09-08 | 2023-03-16 | 苏州浪潮智能科技有限公司 | 自编码器训练方法及组件，异常图像检测方法及组件 |
| CN116934725A (zh) * | 2023-07-28 | 2023-10-24 | 河海大学 | 一种基于无监督学习的铝箔封口密封性的检测方法 |
-
2023
- 2023-12-08 CN CN202311675818.9A patent/CN117372791B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170056928A1 (en) * | 2015-08-31 | 2017-03-02 | Covar Applied Technologies, Inc. | System and method for estimating damage to a shaker table screen using computer vision |
| CN110287932A (zh) * | 2019-07-02 | 2019-09-27 | 中国科学院遥感与数字地球研究所 | 基于深度学习图像语义分割的道路阻断信息提取 |
| CN111860494A (zh) * | 2020-06-16 | 2020-10-30 | 北京航空航天大学 | 图像目标检测的优化方法、装置、电子设备和存储介质 |
| WO2021120752A1 (zh) * | 2020-07-28 | 2021-06-24 | 平安科技（深圳）有限公司 | 域自适应模型训练、图像检测方法、装置、设备及介质 |
| WO2021143267A1 (zh) * | 2020-09-07 | 2021-07-22 | 平安科技（深圳）有限公司 | 基于图像检测的细粒度分类模型处理方法、及其相关设备 |
| WO2022134354A1 (zh) * | 2020-12-25 | 2022-06-30 | 平安科技（深圳）有限公司 | 车损检测模型训练、车损检测方法、装置、设备及介质 |
| WO2022213465A1 (zh) * | 2021-04-08 | 2022-10-13 | 平安科技（深圳）有限公司 | 基于神经网络的图像识别方法、装置、电子设备及介质 |
| CN114037650A (zh) * | 2021-05-17 | 2022-02-11 | 西北工业大学 | 变化检测及目标检测的地面目标可见光毁伤图像处理方法 |
| KR20220164097A (ko) * | 2021-06-03 | 2022-12-13 | 주식회사 크레스콤 | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| CN113610787A (zh) * | 2021-07-27 | 2021-11-05 | 广东省科技基础条件平台中心 | 图像缺陷检测模型的训练方法、装置、计算机设备 |
| WO2023035425A1 (zh) * | 2021-09-08 | 2023-03-16 | 苏州浪潮智能科技有限公司 | 自编码器训练方法及组件，异常图像检测方法及组件 |
| CN114663760A (zh) * | 2022-03-25 | 2022-06-24 | 清华大学 | 模型训练的方法、目标检测方法、存储介质及计算设备 |
| CN115546659A (zh) * | 2022-10-17 | 2022-12-30 | 江苏思远集成电路与智能技术研究院有限公司 | 一种基于卫星图像机场目标毁伤检测方法 |
| CN116934725A (zh) * | 2023-07-28 | 2023-10-24 | 河海大学 | 一种基于无监督学习的铝箔封口密封性的检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| 张天坤;李汶原;平凡;史振威;: "面向多源遥感图像的自适应目标检测", 信号处理, no. 09, 25 September 2020 (2020-09-25) * |
| 计宏磊;杨清文;: "基于图像分析的机场跑道功能性毁伤评估", 计算机应用, no. 1 * |
| 陈前;刘骊;付晓东;刘利军;黄青松;: "部件检测和语义网络的细粒度鞋类图像检索", 中国图象图形学报, no. 08 * |
| 陈国炜;刘磊;郭嘉逸;潘宗序;胡文龙;: "基于生成对抗网络的半监督遥感图像飞机检测", 中国科学院大学学报, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117372791B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Real-time monitoring of high-power disk laser welding based on support vector machine | |
| CN109543760B (zh) | 基于图像滤镜算法的对抗样本检测方法 | |
| CN113850242B (zh) | 一种基于深度学习算法的仓储异常目标检测方法及系统 | |
| KR20170092476A (ko) | 이미지에 포함된 텍스트를 검출하는 방법, 장치 및 컴퓨터 판독 가능한 기록매체 | |
| Zheng et al. | Active discriminative dictionary learning for weather recognition | |
| CN113052894A (zh) | 一种基于图像语义分割的门开关状态检测方法及系统 | |
| CN114611617A (zh) | 基于原型网络的深度领域自适应图像分类方法 | |
| CN113744153A (zh) | 双分支图像修复伪造检测方法、系统、设备及存储介质 | |
| CN117372791B (zh) | 细粒度定向能毁伤区域检测方法、装置及存储介质 | |
| Yang et al. | Tracking instances as queries | |
| Chhikara et al. | An improved discrete firefly and t-test based algorithm for blind image steganalysis | |
| Zheng et al. | Anomaly detection of metro station tracks based on sequential updatable anomaly detection framework | |
| WO2022067876A1 (en) | Method and system of image based anomaly localization for vehicles through generative contextualized adversarial network | |
| CN113012107B (zh) | 电网缺陷检测方法及系统 | |
| CN116524197B (zh) | 一种结合边缘点和深度网络的点云分割方法、装置及设备 | |
| CN112990357A (zh) | 一种基于稀疏扰动的黑盒视频对抗样本生成方法 | |
| CN116543333A (zh) | 电力系统的目标识别方法、训练方法、装置、设备和介质 | |
| CN116030076A (zh) | 基于因果推理的隧道点云多目标分割集成方法及系统 | |
| Zhang et al. | Edge detection by adaptive neuro-fuzzy inference system | |
| Kaur et al. | Performance Evaluation of various thresholding methods using canny edge detector | |
| CN113177599A (zh) | 一种基于gan的强化样本生成方法 | |
| Li et al. | Photovoltaic Panel Defect Detection Based on Ghost Convolution with BottleneckCSP and Tiny Target Prediction Head Incorporating YOLOv5 | |
| CN112541555A (zh) | 一种基于深度学习的分类器模型的训练方法 | |
| Du et al. | Multi-angle face detection based on improved RFCN algorithm using multi-scale training | |
| CN113706436A (zh) | 一种基于自监督生成对抗学习背景建模的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |