CN115205224A - 自适应特征增强的多源融合视觉检测方法、装置及介质 - Google Patents

自适应特征增强的多源融合视觉检测方法、装置及介质 Download PDF

Info

Publication number
CN115205224A
CN115205224A CN202210712634.4A CN202210712634A CN115205224A CN 115205224 A CN115205224 A CN 115205224A CN 202210712634 A CN202210712634 A CN 202210712634A CN 115205224 A CN115205224 A CN 115205224A
Authority
CN
China
Prior art keywords
feature
information
matrix
characteristic
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210712634.4A
Other languages
English (en)
Other versions
CN115205224B (zh
Inventor
何良雨
崔健
刘彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengrui Lingchuang Zhuhai Technology Co ltd
Original Assignee
Fengrui Lingchuang Zhuhai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengrui Lingchuang Zhuhai Technology Co ltd filed Critical Fengrui Lingchuang Zhuhai Technology Co ltd
Priority to CN202210712634.4A priority Critical patent/CN115205224B/zh
Publication of CN115205224A publication Critical patent/CN115205224A/zh
Application granted granted Critical
Publication of CN115205224B publication Critical patent/CN115205224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种自适应特征增强的多源融合视觉检测方法、装置、计算机设备及存储介质，其中自适应特征增强的多源融合视觉检测方法包括：获取多维度光学特征信息；对所述多维度光学特征信息进行融合，得到光学特征融合信息；对所述光学特征融合信息进行多尺度特征提取，得到多个原始特征图像；对多个所述原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像；根据多个所述增强特征图像，获取目标检测结果。本发明的技术方案，能够提高对缺陷检测结果的准确性。

Description

自适应特征增强的多源融合视觉检测方法、装置及介质
技术领域
本发明涉及智能制造的机器视觉技术领域，可应用于半导体精密检测，尤其涉及一种自适应特征增强的多源融合视觉检测方法、装置及介质。
背景技术
各类产品在生产过程中，由于工艺或环境的影响，不可避免会产生各种缺陷，有些缺陷仅会影响产品的使用体验和寿命，有些缺陷则会严重影响产品功能。特别对于半导体等微、纳米级别的超高精度制造而言，缺陷对产品质量的影响举足轻重，硅晶圆光刻环节被忽视的微小缺陷可能会造成最终芯片直接报废。因此对于半导体等高端制造业而言，对产品进行高标准的缺陷检测和品质管控尤为重要。
视觉检测是广泛使用的缺陷检测方法，但现有视觉检测方法大都仅采集单一的光强信息(比如利用CMOS/CCD等图像传感器)进行处理，在高反光、逆光、微光等光强失真场景下极易失效，而且当缺陷和背景的光强对比度低、相似度高时极易误判，难以满足半导体等高端工业场景高精度、高准确率的缺陷检测需求。为了克服现有视觉检测方法的不足，需要从光学和算法同时出发，采集除光强外其他的光学物理量(偏振、相位等)，并进行多源信息融合，全方位获取目标特征来提升检测效果。
发明内容
本发明实施例提供一种自适应特征增强的多源融合视觉检测方法、装置、计算机设备及存储介质，以至少解决上述缺陷检测方法存在的检测结果准确性差的问题。
为至少解决上述技术问题，本发明提供如下技术方案：
一种自适应特征增强的多源融合视觉检测方法，包括：
获取多维度光学特征信息；
对所述多维度光学特征信息进行融合，得到光学特征融合信息；
对所述光学特征融合信息进行多尺度特征提取，得到多个原始特征图像；
对多个所述原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像；
根据多个所述增强特征图像，获取目标检测结果。
根据本发明的一个实施例，所述多维度光学特征信息包括光的偏振信息、相位信息和光强信息，所述对所述多维度光学特征信息进行融合，得到光学特征融合信息，包括：
根据所述偏振信息得到偏振二维矩阵，根据所述相位信息得到相位二维矩阵，根据所述光强信息得到RGB特征信息；
将所述偏振二维矩阵、相位二维矩阵和所述RGB特征信息融合，得到所述光学特征融合信息。
根据本发明的一个实施例，所述将所述偏振二维矩阵、相位二维矩阵和所述RGB特征信息融合，得到所述光学特征融合信息，包括：
对所述偏振二维矩阵和相位二维矩阵进行归一化处理，得到偏振归一化二维矩阵和相位归一化二维矩阵；
将所述偏振归一化二维矩阵、相位归一化二维矩阵和所述RGB特征信息融合，得到所述光学特征融合信息。
根据本发明的一个实施例，所述对所述偏振二维矩阵和相位二维矩阵进行归一化处理，得到偏振归一化二维矩阵和相位归一化二维矩阵，包括：
将所述偏振二维矩阵中的数据划分为多个第一数据组，将所述相位二维矩阵中的数据划分为多个第二数据组；
计算各第一数据组中数据的平均值和方差，以及各第二数据组中数据的平均值和方差；
根据各第一数据组中数据的平均值和方差，对各第一数据组中的数据做归一化处理，得到所述偏振归一化二维矩阵；
根据各第二数据组中数据的平均值和方差，对各第二数据组中的数据做归一化处理，得到所述相位归一化二维矩阵。
根据本发明的一个实施例，所述对所述多维度光学特征信息进行融合，得到光学特征融合信息，包括：
将所述多维光学特征信息初步融合，得到初步融合的光学特征信息；
对所述初步融合的光学特征信息进行通道特征增强处理，得到所述光学特征融合信息。
根据本发明的一个实施例，所述对所述初步融合的光学特征信息进行通道特征增强处理，得到所述光学特征融合信息，包括：
对所述初步融合的光学特征信息的特征矩阵的特征图通道进行完全压缩，得到第一分支特征矩阵，对所述初步融合的光学特征信息的特征矩阵的特征图通道进行部分压缩，得到第二分支特征矩阵；
对所述第一分支特征矩阵进行特征增强处理，并将特征增强处理后的第一分支特征矩阵和所述第二分支特征矩阵相乘，得到通道距离关系矩阵；
将卷积层的特征矩阵拼接到所述通道距离关系矩阵上，然后调节所述通道距离关系矩阵的特征图通道维度，最后对所述通道距离关系矩阵的参数赋值，得到通道权重矩阵；
将所述通道权重矩阵与所述多维度光学特征信息的特征矩阵相乘，得到所述光学特征融合信息。
根据本发明的一个实施例，所述对所述光学特征融合信息进行多尺度特征提取，得到多个原始特征图像，包括：
将所述光学特征融合信息输入多分支网络模型，所述多分支网络模型具有多个网络分支，各网络分支分别具有不同扩张系数的空洞卷积层；
采用所述多分支网络模型中的多个网络分支，分别对所述光学特征融合信息进行不同尺度的特征提取，得到多个所述原始特征图像。
根据本发明的一个实施例，所述对多个所述原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像，包括：
对所述原始特征图像的特征矩阵的空间进行完全压缩，得到第三分支特征矩阵，对所述原始特征图像的特征矩阵的特征图通道进行部分压缩，得到第四分支特征矩阵；
对所述第三分支特征矩阵进行特性增强，并将特性增强后的第三分支特征矩阵与所述第四分支特征矩阵相乘，得到像素距离关系矩阵；
对所述像素距离关系矩阵进行参数赋值，得到空间权重矩阵；
将所述空间权重矩阵与所述原始特征图相乘，得到所述增强特征图像。
一种自适应特征增强的多源融合视觉检测装置，包括：
多维光学特征信息获取模块，用于获取多维度光学特征信息；
光学特征信息融合模块，用于对所述多维度光学特征信息进行融合，得到光学特征融合信息；
原始特征图像获取模块，用于对所述光学特征融合信息进行多尺度特征提取，得到多个原始特征图像；
自适应特征增强处理模块，用于对多个所述原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像；
目标检测结果获取模块，用于根据多个所述增强特征图像，获取目标检测结果。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如上述任意一项实施例所述的自适应特征增强的多源融合视觉检测方法。
本申请所提供的技术方案，首先获取多维光学特征信息，并对该多维光学特征信息融合，以得到光学特征融合信息，然后对光学特征融合信息进行多尺度的特征提取以得到多个原始特征图像，接着对多个原始特征图像分别进行自适应特征增强处理以得到多个增强特征图像，最后根据多个增强特征图像得到目标检测结果。由于本申请所提供的技术方案能够将多维光学特征信息进行有效融合，并且能够在多个尺度下进行特征提取以得到多个原始特征图像，通过空间自适应特征增强处理以突出缺陷目标的纹理特征，提高缺陷目标的辨识度，因此通过本申请所提供的技术方案能够提高对缺陷识别的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的一种自适应特征增强的多源融合视觉检测方法的流程图；
图2为根据本发明实施例的一种多维光学特征信息融合的流程图；
图3为根据本发明实施例的将偏振二维矩阵、相位二维矩阵和光强信息融合的示意图；
图4为根据本发明实施例的另一种多维光学特征信息融合的流程图；
图5为根据本发明实施例的一种多维光学特征信息融合的示意图；
图6为根据本发明实施例的一种对光学特征融合信息进行多尺度特征提取的流程图；
图7为根据本发明实施例的一种对原始特征图像进行自适应特征增强处理的流程图；
图8为根据本发明实施例的一种对原始特征图像进行自适应特征增强处理的示意图；
图9为根据本发明实施例的一种自适应特征增强的多源融合视觉检测装置的结构示意图；
图10为根据本发明实施例的一种计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一个实施例中，提供了一种自适应特征增强的多源融合视觉检测方法，该方法能够突出缺陷的纹理特征，提高对缺陷检测的准确性。下面结合图1所示出的流程，对本申请的自适应特征增强的多源融合视觉检测方法做详细的介绍。
如图1所示，本申请的自适应特征增强的多源融合视觉检测方法包括：
步骤S1：获取多维光学特征信息；
步骤S2：对多维光学特征信息进行融合，得到光学特征融合信息；
步骤S3，对上述光学特征信息进行多尺度的特征提取，得到多个原始特征图像；
步骤S4：对上述多个原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像；
步骤S5：根据上述多个增强特征图像，得到目标检测结果。
作为一个示例，上述步骤S1中获取多维光学特征信息，可以是通过机器视觉系统对元器件表面进行检测所得到，也可以通过信息交互的方式，从其他设备中接收到。例如，本申请所提供的缺陷检测方法的执行主体是机器视觉系统，则机器视觉系统中的图像采集设备和感光设备可以对元器件的表面进行检测，以得到多维光学特征信息。又例如，本申请所提供的缺陷检测方法的执行主体是上位机，则机器视觉系统中图像采集设备和感光设备可以对元器件的表面进行检测以得到多维光学特征信息，然后通过机器视觉系统与上位机之间的通信连接，将多维光学特征信息发送给上位机。
作为一个示例，上述步骤S2中将多维特征信息进行融合，是将多维度光学特征信息进行有效融合，以在后续步骤中进行数据处理时，便于对多维光学特征信息同时进行特征增强处理。
作为一个示例，上述步骤S3中，对光学特征融合信息进行多尺度的特征提取，是指采用不同的尺度作为特征提取的标准，对光学特征融合信息分别进行特征提取，以得到不同尺度下的原始特征图像。例如，可以采用具有多个网络分支的多分支网络对光学特征融合信息进行特征提取，各网络分支分别采用不同的尺度为标准，对光学特征融合信息进行特征提取，以得到多个原始特征图。由于缺陷目标的尺寸有大有小，在对光学特征融合信息进行特征提取时，如果采用的尺度过小或者过大，都可能造成缺陷目标检测结果不准确的问题；本实施例中在多个尺度下对光学特征融合信息进行特征提取，能够在不同的感受野下对缺陷目标进行检测，防止由于尺度与缺陷目标不匹配而导致检测结果准确性差的问题。
作为一个示例，上述步骤S4中，可以对步骤S3所得到的多个原始特征图像分别进行空间自适应特征增强处理，以将各原始特征图像中的特征增强，得到与各原始特征图像相对应的增强特征图像。经过空间自适应特征增强处理后，可以突出图像中缺陷目标的纹理特征，使缺陷目标更容易被检测和识别，从而提高对缺陷目标检测结果的准确性。
作为一个示例，上述步骤S5中在根据步骤S4中的多个增强特征图像获取目标检测结果时，可以将多个增强特征图像融合以得到增强特征融合图像，然后对增强特征融合图像上的缺陷进行识别，得到目标检测结果，例如，可以采用神经网络模型对增强特征融合图像上的缺陷目标进行识别，以得到缺陷目标的形状、尺寸和类型(比如划伤、缝隙等)。由于在步骤S4中对已经对原始特征图像做了空间自适应特征增强处理，突出了缺陷目标的纹理，因此采用增强特征融合图像，保证对缺陷目标检测的准确性。
在本示例中，可以通过卷积操作将多个增强特征图融合，设该卷积操作采用第一卷积网络，融合过程可以通过如下计算公式实现：
Figure BDA0003708625000000091
其中
Figure BDA0003708625000000092
表示第一卷积网络中各网络分支上卷积层的第c个通道对应的特征图，Hc表示第一卷积网络中各网络分支上第c个通道对应的卷积核，*表示卷积操作，C表示增强特征图的卷积层的通道总数，D表示利用卷积操作将各个通道上的特征进行特征融合后的特征信息。
综上所述，本申请所提供的自适应特征增强的多源融合视觉检测方法，首先将多维光学特征信息充分融合以得到光学特征融合信息，然后对光学特征融合信息进行多尺度的特征提取以得到多个原始特征图像，接着对多个原始特征图像分别进行自适应特征增强处理以得到多个增强特征图像，最后将多个增强特征图像融合，以得到目标检测结果。由于本申请的技术方案对多个原始特征图像分别进行自适应特征增强处理，以突出缺陷目标的纹理特征、提高缺陷目标的辨识度，因此通过本申请所提供的技术方案能够提高对缺陷识别的准确性。
在一个实施例中，上述多维光学特征信息包括光的偏振信息、相位信息和光强信息，上述步骤S2中对多维光学特征信息进行融合，得到光学特征融合信息包括：
步骤S201：根据偏振信息得到偏振二维矩阵，根据相位信息得到相位二维矩阵，根据光强信息得到RGB特征信息；
步骤S202：将偏振二维矩阵、相位二维矩阵和RGB特征信息融合，得到光学特征融合信息。
作为一个示例，可以在机器视觉系统中设置光偏振信息检测设备、光相位信息检测设备和光强度信息检测设备，通过光偏振信息检测设备检测光的偏振信息，通过光相位信息检测设备检测光的相位信息，通过光强度信息检测设备检测光强信息。由于在自适应特征增强的多源融合视觉检测方法中，光的偏振信息、相位信息和光强信息对缺陷目标检测结果的影响最大，因此本实施例中将光的偏振信息、相位信息和光强信息作为多维光学特征信息，能够提高对缺陷目标检测的准确性。
在本示例中，采用斯托克斯法定量描述偏振信息以得到偏振二维矩阵。斯托克斯的矢量包括(I,Q,U,V)T，其中I表示反射光的总强度，Q表示与水平方向夹角为0°和90°的方向上线偏振光分量的差值，U表示与水平方向夹角为45°和135°的方向上线偏振光分量的差值，V表示右旋与左旋圆偏振光分量之差，则可以得到偏振信息的斯托克斯参量为：
Figure BDA0003708625000000101
其中Ex和Ey表示光矢量在所选坐标系中沿x轴的振幅分量和沿y轴的振幅分量。由于上述右旋与左旋圆偏振光分量之差较小，因此可以将V的值设置为0；在与水平方向之间夹角为δ的偏振方向上的光强为
Figure BDA0003708625000000102
改变偏振片透光轴与所选参考坐标轴的夹角，分别得到水平方向之间夹角为0°、60°和120°时的光强，则上述偏振信息的斯托克斯参量为：
Figure BDA0003708625000000111
取斯托克斯参量S中的I分量、Q分量和U分量做成三通道二维矩阵，并将该三通道二维矩阵作为偏振二维矩阵T1，则
Figure BDA0003708625000000112
在本示例中，通过如下公式推导相位二维矩阵：
Figure BDA0003708625000000113
其中，I0(x,y)为坐标在(x,y)处的背景光强特征，V′(x,y)为坐标在(x,y)处的干涉条纹对比度，
Figure BDA0003708625000000114
为坐标在(x,y)处的提取的相位信息，Noise(x,y)为坐标在(x,y)处的随机噪声，U′(x,y)为相位二维矩阵中坐标在(x,y)处对应的干涉数据。
作为一个示例，上述步骤S201中在获取偏振二维矩阵和相位二维矩阵时，将偏振二维矩阵和相位二维矩阵设置为尺寸相同的二维矩阵，以避免偏振信息、相位信息和光强信息之间由于尺寸不统一而不便于融合的问题。
作为一个示例，上述步骤S202中将偏振二维矩阵、相位二维矩阵和RGB特征信息融合时，以偏振信息和相位信息作为补充特征，将偏振信息、相位信息与RGB特征信息进行融合。由于RGB特征信息是缺陷目标检测的主要依据，因此本实施例中以偏振信息和相位信息作为补充特征，能够将多维光学特征信息充分融合。
在一个实施例中，上述步骤S202中将偏振二维矩阵、相位二维矩阵和RGB特征信息融合，得到光学特征融合信息的方法包括：
首先对偏振二维矩阵和相位二维矩阵分别做归一化处理，以得到偏振归一化二维矩阵和相位归一化二维矩阵；
然后将偏振归一化二维矩阵、相位归一化二维矩阵和RGB特征融合，得到光学特征信息。
在一个示例中，对偏振二维矩阵和相位二维矩阵分别做归一化处理，能够消除偏振信息与相位信息之间的单位差异和尺度差异，统一偏振信息和相位信息之间的单位和尺度，避免由于偏振信息与相位信息之间的单位差异和尺度差异而影响多维光学特征信息的融合的问题。
在一个实施例中，对偏振二维矩阵和相位二维矩阵进行归一化处理，得到偏振归一化二维矩阵和相位归一化二维矩阵，包括：
将偏振二维矩阵中的数据划分为多个第一数据组，将相位二维矩阵中的数据划分为多个第二数据组；
计算各第一数据组中数据的平均值和方差，以及各第二数据组中数据的平均值和方差；
根据各第一数据组中数据的平均值和方差，对各第一数据组中的数据做归一化处理，得到偏振归一化二维矩阵；
根据各第二数据组中数据的平均值和方差，对各第二数据组中的数据做归一化处理，得到相位归一化二维矩阵。
作为一个示例，对偏振二维矩阵和相位二维矩阵做归一化处理的方法相同，下面以对偏振二维矩阵做归一化处理为例，对归一化处理的方法做详细的介绍。在本示例中首先将偏振二维矩阵中的数据分为n个批次，每个批次中样本数量为m，m和n均为大于1的正整数，则设其中一个批次的第i个数据为xi，该批次数据为{x1,x2,...xm}，则该批次数据的平均值E和方差P分别为：
Figure BDA0003708625000000131
Figure BDA0003708625000000132
然后根据该批次数据的平均值E和方差P，计算出该批次数据的归一化值，设数据xi归一化处理后为zi′，则zi′的计算公式为
Figure BDA0003708625000000133
其中ω为正实数，并且其值足够小，用于防止zi′的分母为0。
在本示例中，在对偏振二维矩阵和相位二维矩阵做归一化处理后，所得到的偏振归一化二维矩阵和相位归一化二维矩阵的特征值都满足均值为0、方差为1的分布规律，能够消除偏振信息与相位信息之间的单位差异和尺度差异，统一偏振信息和相位信息之间的单位和尺度，避免由于偏振信息与相位信息之间的单位差异和尺度差异而影响多维光学特征信息的融合的问题。
在一个实施例中，上述步骤S2中对多维度光学特征信息进行融合，得到光学特征融合信息，包括：
首先将多维光学特征信息初步融合，得到初步融合的光学特征信息；
然后对初步融合的光学特征信息进行通道特征增强处理，得到光学特征融合信息。
作为一个示例，由于多维光学特征信息具有多个光学特征信息，在对多维光学特征信息进行融合时，将多维光学特征信息初步融合，可以将多个光学特征信息结合在一起，以得到初步融合的光学特征信息。以多维光学特征信息包括偏振信息、相位信息和光强信息为例，如图3所示，以偏振信息和相位信息作为补充特征将偏振信息、相位信息与RGB特征信息结合，以将偏振信息、相位信息与RGB特征信息初步融合，得到初步融合的光学特征信息。
在本示例中，可以采用卷积操作将偏振信息、相位信息和光强信息的各个通道特征信息进行融合，设该融合所采用的卷积网络为第二卷积网络，融合时所采用的计算公式为：
Figure BDA0003708625000000141
其中Qc′M×N表示第二卷积网络中各个网络分支上卷积层的第c个通道对应的特征值，Hc′表示第c个通道对应的卷积核，*表示卷积操作，C表示第二卷积网络中卷积层的通道总数，R表示利用卷积操作将各个通道上的特征进行特征融合后的特征信息。
在本示例中，对初步融合的光学特征信息进行通道特征增强处理，可以增强初步融合的光学特征信息中的通道特征，不仅能够使多维光学特征信息充分融合，还能够增强其中的通道特征，提高对缺陷目标检测的准确性。
在一个实施例中，上述对初步融合的光学特征信息进行通道特征增强处理，得到光学特征融合信息的流程如图4所示，包括如下步骤：
步骤S211：对初步融合的光学特征信息的特征矩阵的特征图通道进行完全压缩，得到第一分支特征矩阵，对初步融合的光学特征信息的特征矩阵的特征图通道进行部分压缩，得到第二分支特征矩阵；
步骤S212：对第一分支特征矩阵进行特征增强处理，并将特征增强处理后的第一分支特征矩阵和第二分支特征矩阵相乘，得到通道距离关系矩阵；
步骤S213：将卷积层的特征矩阵拼接到通道距离关系矩阵上，然后调节通道距离关系矩阵的特征图通道维度，最后对通道距离关系矩阵的参数赋值，得到通道权重矩阵；
步骤S214：将通道权重矩阵与多维度光学特征信息的特征矩阵相乘，得到光学特征融合信息。
作为一个示例，如图5所示，设初步融合后的多维光学特征信息的特征矩阵为X，并且其尺寸为W×H×C，其中W、H和C分别为特征矩阵X的行数、列数和维度数，即特征矩阵X的维度与第一卷积网络中卷积层的通道总数、第二卷积网络中卷积层的通道总数相同。在上述步骤S211中，可以采用尺寸为1维的1×1卷积核对初始融合后的多维光学特征信息的特征矩阵X的特征图通道进行完全压缩处理，以得到尺寸为W×H×1的第一分支特征矩阵；采用尺寸为N维的1×1的卷积核对初始融合后的多维光学特征信息的特征矩阵X的特征图通道进行部分压缩处理，得到尺寸为W×H×N的第二分支特征矩阵。
作为一个示例，由于第一分支特征矩阵是将初始融合的多维光学特征信息的特征矩阵X的特征图通道完全压缩得到的，在压缩过程中会造成特征损失。本示例中，上述步骤S212中对第一分支特征矩阵进行特征增强处理，是采用如Softmax等激活函数对第一分支特征矩阵进行激活计算，以对第一分支特征矩阵进行特征增强，补偿第一分支特征矩阵由于通道维度被完全压缩而造成的特征损失。
在本示例中，将特征增强后的第一分支特征矩阵与第二分支特征矩阵进行矩阵乘法，可以得到用于表征多维光学特征信息的各特征图通道的距离关系的矩阵，即通道距离关系矩阵。
作为一个示例，在上述步骤S213中，在得到通道距离关系矩阵后，将尺寸为1×1的卷积特征矩阵拼接在通道距离关系矩阵的后面，然后再调节通道距离关系矩阵的维度，使通道距离关系矩阵的维度初始融合后多维光学特征信息的特征矩阵X维度相同的矩阵，即在通道距离关系矩阵的后面拼接尺寸为1×1的卷积特征矩阵，然后将通道距离关系矩阵的特征图通道的维度由N升为成C。
在本示例中，在调节通道距离关系矩阵的维度时，可以采用层标准化进行维度调整，即采用层标准化的方法，将拼接通道距离关系矩阵的特征图通道的维度由N升为成C。
在本示例中，在对通道距离关系矩阵的参数赋值时，可以通过sigmoid激活函数激活通道距离关系矩阵的方式，将通道距离关系矩阵中所有的参数都赋值在0-1之间，从而得到通道权重矩阵，并且该通道权重矩阵中的参数可以表征多维光学特征信息的各特征图通道的权重，并特征图通道的特征越重要，对应的权重值越大。
作为一个示例，由于通道权重矩阵中的参数可以表征多维光学特征信息的各特征图通道的权重，因此在上述步骤S214中将通道权重矩阵和初始融合的多维光学信息的特征矩阵相乘，能够将初始融合的多维光学特征信息中的各特征进行权重赋值，实现不同特征图通道间的特征增强。
本实施例中对多维光学特征信息进行融合的方法，可以通过如下计算公式实现：
Figure BDA0003708625000000161
其中Zθ、Zv、Zq均是尺寸为1×1的卷积层，δ1、δ2为矩阵维度变换函数，FM为softmax函数，FG为Sigmoid激活函数，
Figure BDA0003708625000000162
表示通道乘法运算。
在一个实施例中，如图6所示，对光学特征融合信息进行多尺度特征提取，得到多个原始特征图像，包括：
步骤S301：将光学特征融合信息输入多分支网络模型，多分支网络模型具有多个网络分支，各网络分支分别具有不同扩张系数的空洞卷积层；
步骤S302：采用多分支网络模型中的多个网络分支，分别对光学特征融合信息进行不同尺度的特征提取，得到多个原始特征图像。
作为一个示例，在上述步骤S301中，将光学特征融合信息输入到多分支网络模型中，由于多分支网络模型中的各网络分支具有不同扩张系数的空洞卷积层，因此各网络分支可以产生不同的感受野，提取不同细粒度的特征信息，以对不同尺寸的缺陷目标进行检测。假设卷积核的原始大小为k，则加入扩张系数为a的空洞卷积后，实际卷积核大小为：
D＝k+(k-1)(a-1)
作为一个示例，在上述步骤S302中，由于各网络分支分别对光学特征融合信息进行不同尺度的特征提取，因此所得到的多个原始特征图中，具有多个感受野下的缺陷目标。
在一个实施例中，由于得到的原始特征图像由多个，并且对各原始特征图像进行自适应特征增强处理的方法都相同，因此本实施例中以对其中一个原始特征图像进行自适应特征增强处理为例进行说明。
在本实施例中，对其中一个原始特征图像进行自适应特征增强处理的流程如图7所示，包括：
步骤S401：对原始特征图像的特征矩阵的空间进行完全压缩，得到第三分支特征矩阵，对原始特征图像的特征矩阵的特征图通道进行部分压缩，得到第四分支特征矩阵；
步骤S402：对第三分支特征矩阵进行特性增强，并将特性增强后的第三分支特征矩阵与第四分支特征矩阵相乘，得到像素距离关系矩阵；
步骤S403：对像素距离关系矩阵进行参数赋值，得到空间权重矩阵；
步骤S404：将空间权重矩阵与原始特征图相乘，得到增强特征图像。
在一个示例中，由于多维光学特征融合信息的特征矩阵的其尺寸为W×H×C，因此所得到的原始特征图像的尺寸也为W×H×C，即多维光学特征融合信息的特征矩阵的维度与撒上述特征矩阵X的维度相同。如图8所示，在上述步骤S401中，可以采用全局平均池化层对原始特征图像的特征矩阵进行空间维度的完全压缩，得到尺寸为W×1×1的第三分支特征矩阵；采用尺寸为1×1的卷积层将原始特征图像的特征矩阵的特征通道维度部分压缩，以得到尺寸为W×H×M的第四分支特征矩阵。由于在对第四分支特征矩阵没有被完全压缩，只压缩了部分特征通道，因此第四分支特征矩阵可以保留较多的特征信息。
在一个示例中，由于第三分支特征矩阵由原始特征图像的特征矩阵通过空间维度的完全压缩得到，由于压缩过程中会造成特征损失，因此在步骤S402中需要对第三分支特征进行特性增强，例如采用softmax激活函数对第三分支特征进行激活计算，以补偿压缩过程中所造成的特征损失；然后将特征增强后的第三分支特征矩阵与第四分支特征矩阵矩阵相乘以得到像素距离关系矩阵，该像素距离关系矩阵中的参数可以表征各特征图中各像素与其他像素之间的距离关系。
在一个示例中，上述步骤S403中对像素距离关系矩阵进行参数赋值，例如采用Sigmoid激活函数将像素距离关系矩阵激活，使像素距离关系矩阵中的参数都赋值在0-1之间，从而根据各特征图中像素点之间的距离得到空间权重，将像素点之间的距离关系矩阵转换为空间权重矩阵。
在一个示例中，上述步骤S404中将空间权重矩阵与原始特征图的特征矩阵相乘，可以将统一特征图中不同特征点的空间特性激活，实现根据包含特征信息的重要程度，为同一特征图中不同位置的特征点进行权重赋值，并且越重要的特征点，其赋予的权重值越大，进而实现对缺陷目标的特征增强。
本实施例中对原始特征图像进行自适应特征增强处理的方法，可以通过如下计算公式实现：
Figure BDA0003708625000000191
其中，X1′为一个原始特征图像，X1″为原始特征图像X1′经过自适应特征增强处理后的增强特征图像。Zq、Zv均为1×1的卷积层，δ1、δ2、δ3为矩阵维度变换函数，FP表示全局平均池化，FM为softmax函数，FG为Sigmoid激活函数，
Figure BDA0003708625000000192
表示空间乘法运算。
在一个实施例中，提供了一种自适应特征增强的多源融合视觉检测装置，如图9所示，该自适应特征增强的多源融合视觉检测装置包括多维光学特征融合模块、多尺度上下文自适应特征增强模块和缺陷检测结果获取模块。下面结合具体应用场景，对上述装置中的各功能模块详细说明如下：
多维光学特征信息获取模块901，用于获取多维度光学特征信息；
光学特征信息融合模块902，用于对多维度光学特征信息进行融合，得到光学特征融合信息；
原始特征图像获取模块903，用于对光学特征融合信息进行多尺度特征提取，得到多个原始特征图像；
自适应特征增强处理模块904，用于对多个原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像；
目标检测结果获取模块905，用于根据多个增强特征图像，获取目标检测结果。
关于自适应特征增强的多源融合视觉检测装置的具体限定可以参见上文中对于自适应特征增强的多源融合视觉检测方法的限定，在此不再赘述。上述自适应特征增强的多源融合视觉检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和系统数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和系统数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的系统数据库用于存储待迁移数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。上述计算机程序被上述处理器执行时，可以实现上述任意一项实施例所提供的自适应特征增强的多源融合视觉检测方法。
在一个实施例中，本申请还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中自适应特征增强的多源融合视觉检测方法，为避免重复，这里不再对该缺陷检测方法做赘述。或者，处理器执行计算机程序时实现自适应特征增强的多源融合视觉检测装置这一实施例中的各模块/单元的功能，例如图9所示的多维光学特征信息获取模块901、光学特征信息融合模块902、原始特征图像获取模块903、自适应特征增强模块904和目标检测结果获取模块905的功能，为避免重复，这里不再赘述。
在一个实施例中，提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中自适应特征增强的多源融合视觉检测方法，为避免重复，这里不再对该缺陷检测方法做赘述。或者，处理器执行计算机程序时实现自适应特征增强的多源融合视觉检测装置这一实施例中的各模块/单元的功能，例如图9所示的多维光学特征信息获取模块901、光学特征信息融合模块902、原始特征图像获取模块903、自适应特征增强模块904和目标检测结果获取模块905的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自适应特征增强的多源融合视觉检测方法，其特征在于，包括：
获取多维度光学特征信息；
对所述多维度光学特征信息进行融合，得到光学特征融合信息；
对所述光学特征融合信息进行多尺度特征提取，得到多个原始特征图像；
对多个所述原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像；
根据多个所述增强特征图像，获取目标检测结果。
2.根据权利要求1所述的自适应特征增强的多源融合视觉检测方法，其特征在于，所述多维度光学特征信息包括光的偏振信息、相位信息和光强信息，所述对所述多维度光学特征信息进行融合，得到光学特征融合信息，包括：
根据所述偏振信息得到偏振二维矩阵，根据所述相位信息得到相位二维矩阵，根据所述光强信息得到RGB特征信息；
将所述偏振二维矩阵、相位二维矩阵和所述RGB特征信息融合，得到所述光学特征融合信息。
3.根据权利要求2所述的自适应特征增强的多源融合视觉检测方法，其特征在于，所述将所述偏振二维矩阵、相位二维矩阵和所述RGB特征信息融合，得到所述光学特征融合信息，包括：
对所述偏振二维矩阵和相位二维矩阵进行归一化处理，得到偏振归一化二维矩阵和相位归一化二维矩阵；
将所述偏振归一化二维矩阵、相位归一化二维矩阵和所述RGB特征信息融合，得到所述光学特征融合信息。
4.根据权利要求3所述的自适应特征增强的多源融合视觉检测方法，其特征在于，所述对所述偏振二维矩阵和相位二维矩阵进行归一化处理，得到偏振归一化二维矩阵和相位归一化二维矩阵，包括：
将所述偏振二维矩阵中的数据划分为多个第一数据组，将所述相位二维矩阵中的数据划分为多个第二数据组；
计算各第一数据组中数据的平均值和方差，以及各第二数据组中数据的平均值和方差；
根据各第一数据组中数据的平均值和方差，对各第一数据组中的数据做归一化处理，得到所述偏振归一化二维矩阵；
根据各第二数据组中数据的平均值和方差，对各第二数据组中的数据做归一化处理，得到所述相位归一化二维矩阵。
5.根据权利要求1所述的自适应特征增强的多源融合视觉检测方法，其特征在于，所述对所述多维度光学特征信息进行融合，得到光学特征融合信息，包括：
将所述多维光学特征信息初步融合，得到初步融合的光学特征信息；
对所述初步融合的光学特征信息进行通道特征增强处理，得到所述光学特征融合信息。
6.根据权利要求5所述的自适应特征增强的多源融合视觉检测方法，其特征在于，所述对所述初步融合的光学特征信息进行通道特征增强处理，得到所述光学特征融合信息，包括：
对所述初步融合的光学特征信息的特征矩阵的特征图通道进行完全压缩，得到第一分支特征矩阵，对所述初步融合的光学特征信息的特征矩阵的特征图通道进行部分压缩，得到第二分支特征矩阵；
对所述第一分支特征矩阵进行特征增强处理，并将特征增强处理后的第一分支特征矩阵和所述第二分支特征矩阵相乘，得到通道距离关系矩阵；
将卷积层的特征矩阵拼接到所述通道距离关系矩阵上，然后调节所述通道距离关系矩阵的特征图通道维度，最后对所述通道距离关系矩阵的参数赋值，得到通道权重矩阵；
将所述通道权重矩阵与所述多维度光学特征信息的特征矩阵相乘，得到所述光学特征融合信息。
7.根据权利要求1所述的自适应特征增强的多源融合视觉检测方法，其特征在于，所述对所述光学特征融合信息进行多尺度特征提取，得到多个原始特征图像，包括：
将所述光学特征融合信息输入多分支网络模型，所述多分支网络模型具有多个网络分支，各网络分支分别具有不同扩张系数的空洞卷积层；
采用所述多分支网络模型中的多个网络分支，分别对所述光学特征融合信息进行不同尺度的特征提取，得到多个所述原始特征图像。
8.根据权利要求1所述的自适应特征增强的多源融合视觉检测方法，其特征在于，所述对多个所述原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像，包括：
对所述原始特征图像的特征矩阵的空间进行完全压缩，得到第三分支特征矩阵，对所述原始特征图像的特征矩阵的特征图通道进行部分压缩，得到第四分支特征矩阵；
对所述第三分支特征矩阵进行特性增强，并将特性增强后的第三分支特征矩阵与所述第四分支特征矩阵相乘，得到像素距离关系矩阵；
对所述像素距离关系矩阵进行参数赋值，得到空间权重矩阵；
将所述空间权重矩阵与所述原始特征图相乘，得到所述增强特征图像。
9.一种自适应特征增强的多源融合视觉检测装置，其特征在于，包括：
多维光学特征信息获取模块，用于获取多维度光学特征信息；
光学特征信息融合模块，用于对所述多维度光学特征信息进行融合，得到光学特征融合信息；
原始特征图像获取模块，用于对所述光学特征融合信息进行多尺度特征提取，得到多个原始特征图像；
自适应特征增强处理模块，用于对多个所述原始特征图像分别进行空间自适应特征增强处理，得到多个增强特征图像；
目标检测结果获取模块，用于根据多个所述增强特征图像，获取目标检测结果。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至8任一项所述的自适应特征增强的多源融合视觉检测方法。
CN202210712634.4A 2022-06-22 2022-06-22 自适应特征增强的多源融合视觉检测方法、装置及介质 Active CN115205224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210712634.4A CN115205224B (zh) 2022-06-22 2022-06-22 自适应特征增强的多源融合视觉检测方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210712634.4A CN115205224B (zh) 2022-06-22 2022-06-22 自适应特征增强的多源融合视觉检测方法、装置及介质

Publications (2)

Publication Number Publication Date
CN115205224A true CN115205224A (zh) 2022-10-18
CN115205224B CN115205224B (zh) 2023-06-09

Family

ID=83576839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210712634.4A Active CN115205224B (zh) 2022-06-22 2022-06-22 自适应特征增强的多源融合视觉检测方法、装置及介质

Country Status (1)

Country Link
CN (1) CN115205224B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117706058A (zh) * 2024-02-04 2024-03-15 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107806929A (zh) * 2017-10-10 2018-03-16 河海大学 一种三光通道光学成分检测方法
CN111462028A (zh) * 2020-03-16 2020-07-28 中国地质大学（武汉） 基于相位一致性和目标增强的红外和可见光图像融合方法
CN111768386A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 产品缺陷检测方法、装置、电子设备和存储介质
CN112819007A (zh) * 2021-01-07 2021-05-18 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN113971222A (zh) * 2021-10-28 2022-01-25 重庆紫光华山智安科技有限公司 一种多模态复合编码图像检索方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107806929A (zh) * 2017-10-10 2018-03-16 河海大学 一种三光通道光学成分检测方法
CN111462028A (zh) * 2020-03-16 2020-07-28 中国地质大学（武汉） 基于相位一致性和目标增强的红外和可见光图像融合方法
CN111768386A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 产品缺陷检测方法、装置、电子设备和存储介质
CN112819007A (zh) * 2021-01-07 2021-05-18 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN113971222A (zh) * 2021-10-28 2022-01-25 重庆紫光华山智安科技有限公司 一种多模态复合编码图像检索方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117706058A (zh) * 2024-02-04 2024-03-15 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质
CN117706058B (zh) * 2024-02-04 2024-05-10 浙江恒逸石化有限公司 丝锭数据的处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN115205224B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN115496975B (zh) 辅助加权数据融合方法、装置、设备及存储介质
CN113850807B (zh) 图像亚像素匹配定位方法、系统、设备及介质
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN112700406A (zh) 一种基于卷积神经网络的晶圆缺陷检测方法
CN108596905A (zh) 物体检测方法、系统、计算机设备和存储介质
WO2014203687A1 (ja) 画像処理方法、画像処理装置、および画像処理プログラム
CN115239946B (zh) 小样本迁移学习训练、目标检测方法、装置、设备和介质
CN111062324A (zh) 人脸检测方法、装置、计算机设备和存储介质
CN113570003B (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN111461113A (zh) 一种基于变形平面物体检测网络的大角度车牌检测方法
CN115496976A (zh) 多源异构数据融合的视觉处理方法、装置、设备及介质
JP2022064808A (ja) 画像認識方法および画像認識システム
CN115205224B (zh) 自适应特征增强的多源融合视觉检测方法、装置及介质
CN114764770A (zh) 晶圆检测方法、装置、设备及存储介质
CN112348116A (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN111340025A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN112150612A (zh) 三维模型构建方法、装置、计算机设备及存储介质
CN114863201A (zh) 三维检测模型的训练方法、装置、计算机设备和存储介质
CN113298885A (zh) 双目标定方法及装置、设备和存储介质
CN115619678B (zh) 一种图像变形的矫正方法、装置、计算机设备及存储介质
CN116958604A (zh) 基于输电线路图像匹配方法、装置、介质及设备
CN111915645A (zh) 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN114782756B (zh) 基于特征融合的缺陷检测方法、装置、设备及存储介质
EP4050560B1 (en) Wafer testing method and apparatus, and device and storage medium
CN115546271A (zh) 基于深度联合表征的视觉分析方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant