CN116109645B - 基于先验知识的智能处理方法、装置、设备和介质 - Google Patents

基于先验知识的智能处理方法、装置、设备和介质 Download PDF

Info

Publication number
CN116109645B
CN116109645B CN202310397509.3A CN202310397509A CN116109645B CN 116109645 B CN116109645 B CN 116109645B CN 202310397509 A CN202310397509 A CN 202310397509A CN 116109645 B CN116109645 B CN 116109645B
Authority
CN
China
Prior art keywords
feature
processed image
priori knowledge
features
activation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310397509.3A
Other languages
English (en)
Other versions
CN116109645A (zh
Inventor
何良雨
崔健
刘彤
张文刚
梅能华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengrui Lingchuang Zhuhai Technology Co ltd
Original Assignee
Fengrui Lingchuang Zhuhai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengrui Lingchuang Zhuhai Technology Co ltd filed Critical Fengrui Lingchuang Zhuhai Technology Co ltd
Priority to CN202310397509.3A priority Critical patent/CN116109645B/zh
Publication of CN116109645A publication Critical patent/CN116109645A/zh
Application granted granted Critical
Publication of CN116109645B publication Critical patent/CN116109645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，公开了一种基于先验知识的智能处理方法、装置、设备和介质，用于提高特征提取能力。方法包括：对被处理图像特征和先验知识特征进行全局特征融合后归一化激活，得到全局融合特征；使用全局融合特征，分别进行空间关联度非线性激活，得到被处理图像特征和先验知识特征；相加得到空间关联度非线性激活后的目标特征；通过目标特征，分别对被处理图像特征和先验知识特征进行通道关联度非线性激活，得到被处理图像特征和先验知识特征，并分别作为下一级的图像特征通道和先验知识特征通道的输入进行前向传播，直至得到输出图像特征；利用输出图像特征，对目标对象执行智能处理任务直至得到输出图像特征进行智能处理。

Description

基于先验知识的智能处理方法、装置、设备和介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于先验知识的智能处理方法、设备、装置和存储介质。
背景技术
深度学习依靠其强大的非线性特征提取能力，在计算机视觉和自然语言处理等人工智能领域取得了广泛的应用，但深度学习算法的性能十分依赖于数据源，使得在许多重要任务中深度学习算法难以取得满意的效果。例如，在半导体等微、纳米级别图像分析任务中，由于图像所含信息量有限，面对纹理特征不显著或与背景特征相似的对象时，目前的深度学习模型往往无法提取出高质量的特征，进而无法有效的完成图像分析任务。
因此，为了增加学习信息量，需要提供一定的先验知识作为互补信息，引导深度学习模型进行特征提取。随着传感器技术的发展，人们已经能够获取丰富的不同类型数据源的先验知识特征，能够协助深度学习模型产生更好的性能。
但是，发明人发现，目前缺乏对这些强异构数据的综合分析和解释能力，这些先验知识信息往往通过手工计算方式或直接拼接的方式进行特征整合，使得先验知识信息并未得到有效利用，导致深度学习模型特征提取能力依旧较差。
发明内容
本申请涉及人工智能技术领域，提供一种基于先验知识的智能处理方法、设备、装置和存储介质，用于让先验知识信息得到充分利用，提高了特征提取能力。
第一方面，提供了一种基于先验知识的智能处理方法，包括：
获取被处理图像特征F和先验知识特征X；
对被处理图像特征F和先验知识特征X进行全局特征融合后，并对融合特征进行归一化激活，得到全局融合特征S；
使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到空间关联度非线性激活后的被处理图像特征OF和先验知识特征OX；
对被处理图像特征OF和先验知识特征OX相加，得到空间关联度非线性激活后的目标特征O；
通过所述目标特征O，分别对被处理图像特征F和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2；
将被处理图像特征F2和先验知识特征X2，分别作为下一级的被处理图像特征通道和先验知识特征通道的输入进行前向传播，直至得到输出图像特征；
利用所述输出图像特征，对所述目标对象执行智能处理任务。
进一步地，所述对被处理图像特征F和先验知识特征X进行全局特征融合后，对融合特征进行归一化激活，得到全局融合特征S，包括：
分别对所述被处理图像特征F进行全局平均池化处理和最大池化处理，得到空间维度的全局平均池化值AC F与最大池化值BC F；
分别对所述先验知识特征X进行全局平均池化处理和最大池化处理，得到空间维度的全局平均池化值AC X与最大池化值BC X；
对所述全局平均池化值AC F、最大池化值BC F、全局平均池化值AC X与最大池化值BC X进行相加，得到尺度大小为1×1×1的空间维度池化特征QC；
使用归一化激活函数fE对空间维度池化特征QC进行非线性特征激活，得到归一化激活后的全局融合特征E；
使用投影函数β(·)对所述全局融合特征E进行转换处理，得到尺度大小为1×N的全局融合特征S。
进一步地，利用归一化激活后的全局融合特征，对被处理图像特征F进行空间关联度非线性激活的过程，包括：
使用投影函数α(·)对尺度大小为W×H×N的所述处理图像特征F进行转换处理，得到尺度大小为N×HW的转换矩阵GF；
使用归一化激活函数fE对转换矩阵GF进行激活处理，得到激活后的特征矩阵IF；
计算激活后的特征矩阵IF与所述全局融合特征S之间的关联度矩阵JF；
使用投影函数X(·)对关联度矩阵JF进行转换处理，得到尺度大小为W×H×1的特征矩阵PF；
对特征矩阵PF进行sigmoid激活，以转换为权重值JF`；
将所述被处理图像特征F与权重值JF`相乘，得到被所述先验知识特征X进行空间关联度非线性激活后的被处理图像特征OF。
进一步地，所述关联度矩阵JF通过如下公式获取：
Figure GDA0004243898540000041
其中，T为矩阵转置，‖IF‖2为对所述特征矩阵IF进行L2正则化处理，‖S‖2为对所述全局融合特征S进行L2正则化处理。
进一步地，所述通过所述目标特征O，分别对被处理图像特征和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2，包括：
分别对所述目标特征O进行全局平均池化处理和最大池化处理，得到通道维度的全局平均池化值AS O与最大池化值BS O；
对通道维度的全局平均池化值AS O与最大池化值BS O进行相加，得到尺度为W×H×1的通道维度池化特征QS；
使用投影函数δ(·)对所述通道维度池化特征QS进行转化处理，得到尺度为1×WH的特征向量U；
通过所述特征向量U，分别对被处理图像特征F和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2。
进一步地，通过所述特征向量U对被处理图像特征F进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2的过程，包括：
计算所述被处理图像特征F的特征矩阵IF与特征向量U的关联度矩阵RF；
使用投影函数η(·)对所述关联度矩阵RF进行转换处理，得到尺度大小为1×1×N的特征矩阵VF；
对所述特征矩阵VF进行sigmoid激活，以转换为权重值RF`；
将所述被处理图像特征F与权重值RF`相乘，得到被所述先验知识特征X进行通道关联度非线性激活后的被处理图像特征F2。
进一步地，所述智能处理任务包括如下其中任意一种处理任务：检测、识别和分割处理任务。
第二方面，提供了一种基于先验知识的智能处理装置，包括：
获取模块，用于获取被处理图像特征F和先验知识特征X；
融合模块，用于对被处理图像特征F和先验知识特征X进行全局特征融合后，并对融合特征进行归一化激活，得到全局融合特征S；
空间关联度非线性激活模块，用于使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到空间关联度非线性激活后的被处理图像特征OF和先验知识特征OX；对被处理图像特征OF和先验知识特征OX相加，得到空间关联度非线性激活后的目标特征O；
通道关联度非线性激活模块，用于通过所述目标特征O，分别对被处理图像特征F和先验知识特征O进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2；
输出模块，用于将被处理图像特征F2和先验知识特征X2，分别作为下一级的被处理图像特征通道和先验知识特征通道的输入进行前向传播，直至得到输出图像特征；
执行模块，用于利用所述输出图像特征，对所述目标对象执行智能处理任务。
第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述任一项的基于先验知识的智能处理方法的步骤。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前述任一项的基于先验知识的智能处理方法的步骤。
上述提供的其中一些方案中，先是图像特征和先验知识特征输入，接着实现全局特征融合，提高非线性表达能力，再依据全局融合特征进行空间关联度非线性激活以及通道关联度非线性激活，得到输出特征，通过构建一个多分支网络架构，利用关联度非线性激活，在深度学习模型的上下文中有效嵌入先验知识特征来引导深度学习模型网络的传播学习，以提取传播后的图像特征对目标对象进行智能处理，让先验知识信息得到充分利用，提高了特征提取能力，保证了最后的智能处理结果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中基于先验知识的智能处理方法的一流程示意图；
图2是本申请一实施例中基于先验知识的智能处理方法的一具体流程示意图；
图3是本申请一实施例中基于先验知识的智能处理方法的一处理流程框架示意图；
图4是本申请一实施例中特征提取结果对比示意图；
图5是本申请一实施例中基于先验知识的智能处理装置的一结构示意图；
图6是本申请一实施例中计算机设备的一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
由于图像所含信息量有限，目前的深度学习模型在一些任务中往往不能提取出高质量的特征，当对象纹理特征不显著或与背景特征相似时，依靠单一的图像很难达到满意效果，而传统的先验知识信息引导特征提取的方案中，对先验知识信息往往是通过手工计算方式或直接拼接的方式进行特征整合，这种方法缺乏对信息特征的非线性表达，使得先验知识信息并未得到有效利用，本申请中，提供了一种基于先验知识引导的智能处理方案，包括方法、装置、计算机设备和存储介质等内容，在于通过构建一个多分支网络架构，利用关联度非线性激活，在深度学习模型的上下文中有效嵌入先验知识特征来引导网络的学习，以提取特征，让先验知识信息得到充分利用，提高特征提取能力。其中，本申请实施例提供的基于先验知识引导的智能处理方法，大体包括如图1所示的流程所示，先是图像特征和先验知识特征输入，接着利用组合池化操作实现全局特征融合，再依据全局融合特征进行空间关联度非线性激活以及通道关联度非线性激活，得到输出特征。
需要说明的是，本申请实施例提出的基于先验知识引导的智能处理方法，可适用于各种各样的计算机智能处理任务中，包括但不局限于目标检测、语义分割等各类应用场景的智能处理任务中，具体不做限定。
示例性的，上述智能处理任务，具体可应用于包括但不局限于半导体等微、纳米级别等图像分析、检测和分割处理场景中，比如，具体可应用于薄膜电感或者叠层电感的识别检测中，具体本申请实施例不做限定。比如，如若应用于目标检测应用场景中，则可利用本申请提供的基于先验知识引导的智能处理方法最终得到的输出图像特征，进行目标检测处理，得到目标检测结果。
下面对上述各个方面进行详细、完整的描述。
A、一种基于先验知识的智能处理方法
在一实施例中，如图2所示，结合图3所示，提供了一种基于先验知识引导的智能处理方法，该方法包括如下步骤：
S10：获取被处理图像特征F和先验知识特征X；
该实施例中，首先需先获取目标对象的特征作为被处理图像特征F，比如，目标对象可以是流水线上的薄膜电感或者叠层电感等，具体不做限定。本申请实施例记为被处理图像特征F，并且获取先验知识信息的特征，本申请实施例记为先验知识特征X。
示例性的，上述先验知识特征包括现阶段或者以后能够获取的，且丰富的不同类型数据源，可以包括但不局限于深度特征、红外热成像特征、X射线透视图像特征中的其中一个或多种先验知识特征，具体不做限定。
示例性的，上述被处理图像为RGB图像，当然，也可以是其他类型的图像，本申请实施例也不做限定。
S20：对被处理图像特征F和先验知识特征X进行全局特征融合后，并对融合特征进行归一化激活，得到全局融合特征S；
S30：使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到空间关联度非线性激活后的被处理图像特征OF和先验知识特征OX；
在得到被处理图像特征F和先验知识特征X之后，对被处理图像特征F和先验知识特征X进行全局特征融合后，并对融合特征进行归一化激活，得到全局融合特征S，提高对信息的非线性表达，再使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到空间关联度非线性激活后的被处理图像特征OF和先验知识特征OX。
由于全局融合特征S是被处理图像特征F和先验知识特征X进行全局特征融合并归一化激活得到，全局融合特征S理包含被处理图像特征F和先验知识特征X的特性，因此，可在特征的空间维度上，对被处理图像特征F进行空间关联度非线性激活，得到用先验知识特征X进行空间关联度非线性激活后的被处理图像特征OF，建立被处理图像特征F与全局融合特征S之间的关联度关系，得到不同模态特征之间的关联程度，建立被处理图像特征F与先验知识特征X之间在空间维度的关系。
同理，可在特征的空间维度上，对先验知识特征X进行空间关联度非线性激活，得到用处理图像特征F进行空间关联度非线性激活后的先验知识特征OX，得到先验知识特征X与全局融合特征S之间的关联度关系。
S40：对被处理图像特征OF和先验知识特征OX相加，得到空间关联度非线性激活后的目标特征O；
S50：通过所述目标特征O，分别对被处理图像特征F和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2；
S60：将被处理图像特征F2和先验知识特征X2，分别作为下一级的被处理图像特征通道和先验知识特征通道的输入进行前向传播，直至得到输出图像特征；
S70：利用输出图像特征对目标对象进行智能处理。
该实施例中，使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到空间关联度非线性激活后的被处理图像特征OF和先验知识特征OX后，对被处理图像特征OF和先验知识特征OX相加，得到空间关联度非线性激活后的目标特征O，然后利用目标特征O，分别再对被处理图像特征F和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2。
如图3所示，图3为本申请实施例中，先验知识引导模块的处理结构处理图，对被处理图像特征F1和先验知识特征X1处理得到被处理图像特征F2和先验知识特征X2，将被处理图像特征F2和先验知识特征X2，分别作为下一级的被处理图像特征通道和先验知识特征通道的输入进行前向传播，下一级的被处理图像特征通道和先验知识特征通道分别得到被处理图像特征F3和先验知识特征X3，继续将被处理图像特征F3和先验知识特征X3作为下一级的被处理图像特征通道和先验知识特征通道的输入进行前向传播，以此类推，直至最后的被处理图像特征通道和先验知识特征通道得到输出图像特征。
该实施例中，通过构建一个多分支网络架构，利用关联度非线性激活，在深度学习模型的上下文中，利用先验知识引导模块有效嵌入先验知识特征来引导深度学习模型网络的传播学习，以提取特征，让先验知识信息得到充分利用，提高了特征提取能力。
具体而言，在一实施例中，可通过连续的3×3和1×1卷积层搭建一个浅层的全卷积神经网络框架，并嵌入先验知识引导模块作为最后的深度学习模型网络，具体不做限定，也可以是其他的卷积网络架构。
需要说明的是，在上述实施例中，涉及全局特征融合、空间关联度非线性激活以及通道关联度非线性激活的过程，下面分别针对这些过程，详细说明其存在的各种实施方式。
1、全局特征融合
在一实施例中，步骤S20中，也即对被处理图像特征F和先验知识特征X进行全局特征融合后，对融合特征进行归一化激活，得到全局融合特征S，包括如下步骤：
S21：分别对所述被处理图像特征F进行全局平均池化处理和最大池化处理，得到空间维度的全局平均池化值AC F与最大池化值BC F；
S22：分别对所述先验知识特征X进行全局平均池化处理和最大池化处理，得到空间维度的全局平均池化值AC X与最大池化值BC X；
S23：对所述全局平均池化值AC F、最大池化值BC F、全局平均池化值AC X与最大池化值BC X进行相加，得到尺度大小为1×1×N的空间维度池化特征QC；
S24：使用归一化激活函数fE对空间维度池化特征QC进行非线性特征激活，得到归一化激活后的全局融合特征E；
S25：使用投影函数β(·)对所述全局融合特征E进行转换处理，得到尺度大小为1×N的全局融合特征S。
上述步骤S21-S25为得到全局融合特征S的其中一种实施方式，该实施方式中，包括全局特征融合的过程以及归一化处理过程，下面分别进行详细描述。
首先，假设被处理图像特征F的尺度大小为W×H×N，先验知识特征X的尺度大小为W×H×N，对尺度大小为W×H×N的被处理图像特征F和先验知识特征X进行全局特征融合操作，得到尺度大小为的1×1×N的空间维度池化特征QC。示例性，在该实施例中，提供了一种全局特征融合操作，具体通过上述步骤S21-S23实现，具体而言：分别对被处理图像特征F进行全局平均池化处理和最大池化处理，得到空间维度的全局平均池化值AC F与最大池化值BC F，再分别对先验知识特征X进行全局平均池化处理和最大池化处理，得到空间维度的全局平均池化值AC X与最大池化值BC X，最后将全局平均池化值AC F、最大池化值BC F、全局平均池化值AC X与最大池化值BC X进行相加，得到尺度大小为1×1×N的空间维度池化特征QC。
其中，该过程如下公式所示：
Figure GDA0004243898540000121
BC F＝maxδi,j,i∈Fw,j∈Fh
Figure GDA0004243898540000122
BC X＝maxδi,j,i∈Xw,j∈Xh
QC＝AC F+BC F+AC X+BC X
其中，QC为空间维度池化计算的输出，AC F、BC F、AC X、BC X、分别为被处理图像特征F在空间维度的全局平均池化值与最大池化值、先验知识特征X在空间维度的全局平均池化值与最大池化值，δi,j为被处理图像特征F和先验知识特征X这两特征图相邻区域内所有的像素值，Fwh表示大小为Fw行Fh列的处理图像特征F邻域内像素值的总个数，Xwh表示大小为Xw行Xh列的先验知识特征X邻域内像素值的总个数。
该实施例中，利用两种池化操作结合的方式进行空间维度压缩，可有效地降低计算量，需要说明的是，全局平均值池化是指保留特征图的平均值，相当于提取特征图的全局性特征信息，这样可以更全面的保留图像背景特征。但全局平均值池化作为一种平滑处理，降低了特征的显著特点，损失大量纹理特征。而最大值池化就是在输入的特征图区域的像素值选取其中最大值作为唯一的输出，在邻域内保留最大值，减少了卷积层参数误差造成的估计均值偏移问题，可以起到对特征的突出作用，使网络提取到更多的纹理特征。因此，在对处理图像特征F与先验知识特征X进行全局特征融合时，采用全局平均值池化与最大值池化两者相结合的方式，对处理图像特征F与先验知识特征X进行空间维度压缩，可以降低数据计算量，同时能够保证网络提取到更多的纹理特征。
需要说明的是，在其他示例中，也可以有其他的池化操作或者池化组合操作，例如，在另一示例，可以直接进行最大值池化处理，而不进行全局平均值池化操作，具体不做限定。
在得到尺度大小为1×1×N的空间维度池化特征QC后，对其进行激活与归一化处理。具体而言，使用归一化激活函数fE对空间维度池化特征QC进行非线性特征激活，得到归一化激活后的全局融合特征E，再使用投影函数β(·)＝S1×1×N→S1×N对全局融合特征E进行转换处理，得到尺度大小为1×N的特征向量，也即全局融合特征S。
示例性的，使用归一化激活函数fE对空间维度池化特征QC进行非线性特征激活，得到归一化激活后的全局融合特征E，指的是使用如下公式进行非线性特征激活：
Figure GDA0004243898540000131
其中，C为空间维度池化特征QC中的最大特征值，e为自然底数，i为全局融合特征QC中第i个特征值，n表示通道数。
综上实施例，本申请通过双池化组合操作且归一化处理，可以得到所需的取到更多的纹理特征，且进行归一化处理方便处理特征。而且需要说明的是，该实施例是以池化后的尺度大小为1×1×N的空间维度池化特征QC为例进行说明，在有其他池化后的尺度变化后，可以有其他适应的处理过程，具体不做限定。
2、空间关联度非线性激活
步骤S30中，也即使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到空间关联度非线性激活后的被处理图像特征OF和先验知识特征OX，包括两个分支处理过程，其中一个分支处理过程为使用全局融合特征S对被处理图像特征F进行空间关联度非线性激活，得到空间关联度非线性激活后的被处理图像特征OF；另一个分支处理过程为使用全局融合特征S对先验知识特征X进行空间关联度非线性激活，得到空间关联度非线性激活后的先验知识特征OX。下面分别针对这两个空间关联度非线性激活的过程进行描述。
2.1、对被处理图像特征F进行空间关联度非线性激活
在一实施例中，步骤S30中，利用归一化激活后的全局融合特征S，对被处理图像特征F进行空间关联度非线性激活的过程，包括如下步骤：
S31a：使用投影函数α(·)对尺度大小为W×H×N的所述处理图像特征F进行转换处理，得到尺度大小为N×HW的转换矩阵GF；
S32a：使用归一化激活函数fE对转换矩阵GF进行激活处理，得到激活后的特征矩阵IF；
S33a：计算激活后的特征矩阵IF与所述全局融合特征S之间的关联度矩阵JF；
S34a：使用投影函数X(·)对关联度矩阵JF进行转换处理，得到尺度大小为W×H×1的特征矩阵PF；
S35a：对特征矩阵PF进行sigmoid激活，以转换为权重值JF`；
S36a：将所述被处理图像特征F与权重值JF`相乘，得到被所述先验知识特征X进行空间关联度非线性激活后的被处理图像特征OF。
该实施例中，首先将尺度大小为W×H×N的处理图像特征F，经过投影函数α(·)＝GW×H×N→GN×HW处理，转换成大小为N×HW的转换矩阵GF，再将转换矩阵GF经过归一化激活函数fE激活后，激活后的特征矩阵IF，示例性的，激活过程如下所示：
Figure GDA0004243898540000151
其中，C为转换矩阵GF中的最大特征值，e为自然底数，i为转换矩阵GF中第i个特征值，n表示通道个数。
然后，计算激活后的特征矩阵IF与全局融合特征S之间的关联度矩阵JF，示例性的，关联度矩阵JF通过如下公式获取：
Figure GDA0004243898540000152
其中，T为矩阵转置，‖IF‖2为对所述特征矩阵IF进行L2正则化处理，‖S‖2为对所述全局融合特征S进行L2正则化处理。通过关联度矩阵JF，可以对被处理图像特征F与全局融合特征S之间的关联程度进行建模，得到不同模态特征间的关联程度，建立先验知识信息与被处理图像在空间维的关系。
再将关联度矩阵JF经过投影函数X(·)＝J1×HW→JW×H×1进行转换处理，得到尺度大小为W×H×1的特征矩阵PF，将得到的关联度矩阵PF进行sigmoid激活，转换为权重值JF`，权重值JF`计算公式为：
Figure GDA0004243898540000161
该实施例中，值得说明的是，利用sigmoid函数，可以将被处理图像特征F与全局融合特征S之间的关联度矩阵JF转换为权重值JF`，并对权重值JF`进行激活，进一步增加不同类别间的特征差异，减少同一类别间的特征差异性，从而进一步提高了特征提取能力。
最后将被处理图像特征F与权重值JF`相乘，得到用先验知识特征X进行空间关联度非线性激活后的被处理图像特征OF，计算公式为：
OF＝F×JF'
需要说明的是，在该实施例的基础上，在另一些实施例中，对于上述空间关联度非线性激活的方式，其他有适应的变化处理方式，也在本申请的实施范围之内，比如，可以将得到的关联度矩阵PF进行其他激活方式激活转换得到权重值JF`，具体本申请实施例不做限定。
2.2、对被处理图像特征F进行空间关联度非线性激活
在一实施例中，步骤S30中，利用归一化激活后的全局融合特征S，对先验知识特征X进行空间关联度非线性激活的过程，包括如下步骤：
S31b：使用投影函数α(·)对尺度大小为W×H×N的先验知识特征X进行转换处理，得到尺度大小为N×HW的转换矩阵GX；
S32b：使用归一化激活函数fE对转换矩阵GX进行激活处理，得到激活后的特征矩阵IX；
S33b：计算激活后的特征矩阵IX与全局融合特征S之间的关联度矩阵JX；
S34b：使用投影函数X(·)对关联度矩阵JX进行转换处理，得到尺度大小为W×H×1的特征矩阵PX；
S35b：对特征矩阵PX进行sigmoid激活，以转换为权重值JX`；
S36b：将先验知识特征X与权重值JX`相乘，得到用处理图像特征F进行空间关联度非线性激活后的先验知识特征OX。
该实施例中，首先将尺度大小为W×H×N的先验知识特征X，经过投影函数α(·)＝GW×H×N→GN×HW处理，转换成大小为N×HW的转换矩阵GX，再将转换矩阵GX经过归一化激活函数fE激活后，激活后的特征矩阵IX，示例性的，激活过程如下所示：
Figure GDA0004243898540000171
其中，C为转换矩阵GX中的最大特征值，e为自然底数，i为转换矩阵GX中第i个特征值，n表示通道个数。
然后，计算激活后的特征矩阵IX与全局融合特征S之间的关联度矩阵JX，示例性的，关联度矩阵JX通过如下公式获取：
Figure GDA0004243898540000172
其中，T为矩阵转置，‖IX‖2为对特征矩阵IX进行L2正则化处理，‖S‖2为对全局融合特征S进行L2正则化处理。通过关联度矩阵JX，可以对先验知识特征X与全局融合特征S之间的关联程度进行建模，得到不同模态特征间的关联程度，进一步建立先验知识信息与被处理图像在空间维的关系。
再将关联度矩阵JX经过投影函数X(·)＝J1×HW→JW×H×1进行转换处理，得到尺度大小为W×H×1的特征矩阵PX，将得到的关联度矩阵PX进行sigmoid激活转换为权重值JX`，权重值JX`计算公式为：
Figure GDA0004243898540000181
该实施例中，值得说明的是，利用sigmoid函数，可以将验知识特征X与全局融合特征S之间的关联度矩阵JX转换为权重值JX`，并对权重值JX`进行激活，进一步增加不同类别间的特征差异，减少同一类别间的特征差异性，从而进一步提高了特征提取能力。
再将先验知识特征X与权重值JX`相乘，得到用处理图像特征F进行空间关联度非线性激活后的先验知识特征OX，计算公式为：
OX＝X×JX'
需要说明的是，在该实施例的基础上，在另一些实施例中，对于上述空间关联度非线性激活的方式，可以有适应的变化处理过程，也在本申请的实施范围之内，比如，可以将得到的关联度矩阵PX进行其他激活方式激活转换得到权重值JX`，具体本申请实施例不做限定。
3、通道关联度非线性激活
步骤S40中，也即通过目标特征O，分别对被处理图像特征F和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2，也是包括两个分支处理过程，其中一个分支处理过程为通过目标特征O对被处理图像特征F进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2；另一个分支处理过程为通过目标特征O对先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的先验知识特征X2。下面分别针对这两个通道关联度非线性激活的过程进行描述。
3.1、对被处理图像特征F进行通道关联度非线性激活
在一实施例中，步骤S40中，通过目标特征O，对被处理图像特征F进行通道关联度非线性激活的过程，包括如下内容：
S41a：分别对所述目标特征O进行全局平均池化处理和最大池化处理，得到通道维度的全局平均池化值AS O与最大池化值BS O；
S42a：对通道维度的全局平均池化值AS O与最大池化值BS O进行相加，得到尺度为W×H×1的通道维度池化特征QS；
S43a：使用投影函数δ(·)对所述通道维度池化特征QS进行转化处理，得到尺度为1×WH的特征向量U；
S44a：通过所述特征向量U，对被处理图像特征F进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2。
该实施例中，上述步骤S41a-S42a为得到通道维度池化特征QS的其中一种实施方式，该实施方式中，包括全局特征融合的过程、转换和激活处理过程。类似的，与得到空间维度池化特征QC的过程类似，分别对目标特征O进行全局平均池化处理和最大池化处理，得到通道维度的全局平均池化值AS O与最大池化值BS O，对通道维度的全局平均池化值AS O与最大池化值BS O进行相加，得到尺度为W×H×1的通道维度池化特征QS。相应的计算过程如下所示：
Figure GDA0004243898540000191
BS O＝maxδi,i∈N
QS＝AS O+BS O
其中，QS为通道维度池化计算的输出，AS O、BS O别为通道关联度非线性激活后的目标特征O在通道维度的全局平均池化值与最大池化值，δi为各个通道上的特征图相同位置上的像素值，N表示目标特征O的通道数。再将通道维度池化计算的输出QS经过投影函数δ(·)＝SW×H×1→S1×WH.转换为大小为1×WH的特征向量U。通过特征向量U，对被处理图像特征F进行通道关联度非线性激活，得到被先验知识特征X进行通道关联度非线性激活后的被处理图像特征F2。
该实施例中，利用两种池化操作结合的方式进行空间维度压缩，同样可有效地降低计算量和提高特征表达能力。
具体而言，上述步骤S44a中，通过特征向量U，对被处理图像特征F进行通道关联度非线性激活，得到被先验知识特征X进行通道关联度非线性激活后的被处理图像特征F2，包括：计算被处理图像特征F的特征矩阵IF与特征向量U的关联度矩阵RF；使用投影函数η(·)对关联度矩阵RF进行转换处理，得到尺度大小为1×1×N的特征矩阵VF；对特征矩阵VF进行sigmoid激活，以转换为权重值RF`；将被处理图像特征F与权重值RF`相乘，得到被先验知识特征X进行通道关联度非线性激活后的被处理图像特征F2。
其中，计算被处理图像特征F的特征矩阵IF与特征向量U的关联度矩阵RF，计算公式为：
Figure GDA0004243898540000201
其中，T为矩阵转置，‖IF‖2为对特征矩阵IF进行L2正则化处理，‖U‖2为对特征向量U进行L2正则化处理。通过关联度矩阵RF，可以对被处理图像特征F与空间关联度非线性激活后的特征之间的关联程度进行建模，得到不同模态特征间的关联程度，建立先验知识特征与图像特征在通道维度的深层次关系。
再使用投影函数η(·)对关联度矩阵RF进行转换处理，得到尺度大小为1×1×N的特征矩阵VF，对特征矩阵VF进行sigmoid激活，以转换为权重值RF`，计算过程如下所示：
Figure GDA0004243898540000211
利用sigmoid函数，可以将被处理图像特征F与空间关联度非线性激活后的特征之间的关联度RF矩阵转换为权重值RF`，并对权重值RF`进行激活，值得说明的是，该实施例中，利用sigmoid函数，可以将被处理图像特征F与空间关联度非线性激活后的特征之间的关联度矩阵RF转换为权重值RF`，并对权重值RF`进行激活，进一步增加不同类别间的特征差异，减少同一类别间的特征差异性，从而进一步提高了特征提取能力。
最后，再将被处理图像特征F与权重值RF`相乘，得到被先验知识特征X进行通道关联度非线性激活后的被处理图像特征F2，计算过程如下所示：
F2＝F×RF′
将所得的F2特征图将作为下一级的被处理图像特征通道的输入，继续进行前向传播。
需要说明的是，被处理图像特征F的特征矩阵IF的获取方式，可对应参阅前述全局特征融合处理过程中特征矩阵IF的获取方式，这里不重复描述。
另外需要说明的是，在该实施例的基础上，在另一些实施例中，对于上述通道关联度非线性激活的方式，其他有适应的变化处理方式，也在本申请的实施范围之内，比如，可以将得到的关联度矩阵RF进行其他激活方式激活转换得到权重值RF`，具体本申请实施例不做限定。
3.2、对先验知识特征X进行通道关联度非线性激活
在一实施例中，步骤S40中，通过目标特征O，对先验知识特征X进行通道关联度非线性激活的过程，包括如下内容：
S41b：分别对所述目标特征O进行全局平均池化处理和最大池化处理，得到通道维度的全局平均池化值AS O与最大池化值BS O；
S42b：对通道维度的全局平均池化值AS O与最大池化值BS O进行相加，得到尺度为W×H×1的通道维度池化特征QS；
S43b：使用投影函数δ(·)对所述通道维度池化特征QS进行转化处理，得到尺度为1×WH的特征向量U；
S44b：通过所述特征向量U，对先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征X2。
该实施例中，上述步骤S41b-S42b为得到通道维度池化特征QS的其中一种实施方式，该实施方式中，包括全局特征融合的过程、转换和激活处理过程。类似的，与得到空间维度池化特征QC的过程类似，分别对目标特征O进行全局平均池化处理和最大池化处理，得到通道维度的全局平均池化值AS O与最大池化值BS O，对通道维度的全局平均池化值AS O与最大池化值BS O进行相加，得到尺度为W×H×1的通道维度池化特征QS。相应的计算过程如下所示：
Figure GDA0004243898540000221
BS O＝maxδi,i∈N
QS＝AS O+BS O
其中，QS为通道维度池化计算的输出，AS O、BS O分别为通道关联度非线性激活后的特征O通道维度的全局平均池化值与最大池化值，δi为各个通道上的特征图相同位置上的像素值，N表示特征O的通道数。再将通道维度池化计算的输出QS经过投影函数δ(·)＝SW×H×1→S1×WH，转换为大小为1×WH的特征向量U。通过特征向量U，对先验知识特征X进行通道关联度非线性激活，得到用处理图像特征F进行通道关联度非线性激活后的先验知识特征X2。
该实施例中，利用两种池化操作结合的方式进行空间维度压缩，同样可有效地降低计算量和提高特征表达能力。
具体而言，上述步骤S44b中，对先验知识特征X进行通道关联度非线性激活，得到用处理图像特征F进行通道关联度非线性激活后的先验知识特征X2，包括：计算先验知识特征X的特征矩阵IX与特征向量U的关联度矩阵RX；使用投影函数η(·)＝R1×N→R1×1×N对关联度矩阵RX进行转换处理，得到尺度大小为1×1×N的特征矩阵VX；对特征矩阵VX进行sigmoid激活，以转换为权重值RX`；将先验知识特征X与权重值RX`相乘，用处理图像特征F进行通道关联度非线性激活后的先验知识特征X2。
其中，在一实施例中，计算先验知识特征X的特征矩阵IX与特征向量U的关联度矩阵RX，计算公式为：
Figure GDA0004243898540000231
其中，T为矩阵转置，‖IX‖2为对特征矩阵IX进行L2正则化处理，‖U‖2为对特征向量U进行L2正则化处理。通过关联度矩阵RX，可以对先验知识特征X与空间关联度非线性激活后的特征之间的关联程度进行建模，得到不同模态特征间的关联程度，建立先验知识特征与图像特征在通道维的关系。
再使用投影函数η(·)对关联度矩阵RX进行转换处理，得到尺度大小为1×1×N的特征矩阵VX，对特征矩阵VX进行sigmoid激活，以转换为权重值RX`，计算过程如下所示：
Figure GDA0004243898540000232
利用sigmoid函数，可以将先验知识特征X与空间关联度非线性激活后的特征之间的关联度RX矩阵转换为权重值RX`，并对权重值RX`进行激活，该实施例中，值得说明的是，利用sigmoid函数，可以将先验知识特征X与空间关联度非线性激活后的特征之间的关联度矩阵RX转换为权重值RX`，并对权重值RX`进行激活，进一步增加不同类别间的特征差异，减少同一类别间的特征差异性，从而进一步提高了特征提取能力。
再将先验知识特征X与权重值RX`相乘，用处理图像特征F进行通道关联度非线性激活后的先验知识特征X2，计算过程如下所示：
X2＝X×RX′
最后，将所得的X2特征图将作为下一级的先验知识特征通道的输入，继续进行前向传播。
需要说明的是，被处理图像特征F的特征矩阵IX的获取方式，可对应参阅前述全局特征融合处理过程中特征矩阵IX的获取方式，这里不重复描述。
同理，需要说明的是，在该实施例的基础上，在另一些实施例中，对于上述通道关联度非线性激活的方式，其他有适应的变化处理方式，也在本申请的实施范围之内，比如，可以将得到的关联度矩阵RX进行其他激活方式激活转换得到权重值RX`，具体本申请实施例不做限定。
需要说明的是，如前述提及，本申请实施例提出的基于先验知识的智能处理方法，可适用于各种各样的计算机智能智能处理任务中，包括但不局限于目标检测、语义分割等各类应用场景的智能处理任务中，具体不做限定。
该实施例中，通过构建一个多分支网络架构，利用关联度非线性激活函数，在深度学习模型的上下文中有效嵌入先验知识特征来引导网络的学习，可以提取到更为有效的特征，可以让智能处理任务的实现更加精确，提高智能处理效果。
结合上述实施例，为评估本申请实施例所提出的方法对网络特征提取性能提升的有效性和在实际应用中的实际效果，比如流水线上的薄膜电感或者叠层电感，本申请针对叠层电感缺陷检测项目利用本申请提供的方案设计一个深度卷积神经网络模型，用于对流水线上的叠层电感缺陷进行检测。在此对流水线上的叠层电感缺陷进行检测，利用本申请实施例提供的智能处理方法对流水线上的叠层电感进行检测为目的进行说明，也即以实际应用场景为例，描述出处理过程以及实验结果对比，如下所示：
首先，以流水线上的叠层电感作为目标对象，利用高清工业相机及X射线透视仪采集多模态叠层电感图像，包括不同规格、不同形状的多种类型的电感元件图像。例如构建了包括1000张叠层电感的可见光图像及1000张相对应的叠层电感的X射线透视图像，也即叠层电感的先验知识特征，包含各类叠层电感缺陷目标，图像分辨率为512×512，接着在Pytorch框架下使用Adam优化器以及交叉熵损失函数对模型进行训练，具体可使用Windows10操作系统，两个NVIDIA Quadro M5000图形处理单元(GPU)。网络的初始训练参数，如表1所示：
表1网络初始化参数
Figure GDA0004243898540000251
利用连续的3×3和1×1卷积层搭建一个8层的全卷积神经网络框架，在每层网络之间加入一个如图3所示的先验知识引导模块，提升模型的特征提取能力。
需要说明的是，由于叠层电感缺陷目标往往由轮廓、纹理等低阶特征组成，因此，高细粒度的浅层特征对于叠层电感检测十分重要，为了减少下采样过程中池化层所造成的浅层特征损失，本申请使用连续的3×3和1×1卷积层搭建一个浅层的全卷积神经网络框架，通过调整卷积核的步长代替池化层实现特征图的维度变换，减少了特征信息损失，保证了卷积输出的高分辨率，提高检测精度。在正向传播过程中，首先将输入的叠层电感的可见光图像与X射线透视图像分别通过3×3卷积核滑动计算，提取输入图像中的不同特征，如边缘、纹理、颜色等，然后将可见光图像与X射线透视图像卷积操作所生成的先验知识特征图输入先验知识引导模块进行两种模态特征的融合，再将先验知识引导模块所输出的两个融合特征分支都分别进行1×1卷积，实现将同一深度的不同通道上的特征图进行特征融合，然后再分别进行3×3卷积提取输入数据中的特征，同时，通过改变卷积核的数量，降低数据维度和参数数量，提高模型的性能和泛化能力。之后再将两个分支得到特征提取结果作为下一个先验知识引导模块的输入。本申请通过实验测试，确定了网络经过4次先验知识引导模块时，卷积神经网络对叠层电感缺陷的检测能力最强。网络框架如下表2所示：
表2网络框架
Figure GDA0004243898540000261
Figure GDA0004243898540000271
由于叠层电感缺陷目标尺寸较小，不易区分，因此，高细粒度的浅层特征对于叠层电感缺陷检测十分重要。为了更好的提取网络浅层特征，本申请采用多尺度特征提取方式，通过融合不同层次的特征信息，提高对叠层电感缺陷目标的特征提取能力。将在网络最后所提取的高阶特征，经过2倍上采样后与网络第3次先验知识引导模块输出的低阶特征图进行特征融合，并在融合后的特征图进行缺陷目标的特征提取，提升模型对高细粒度特征的提取能力，显著提高对叠层电感缺陷目标的检测效果。
针对该示例，如图4所示，图4是叠层电感的可见光图像、X射线透视图像、加入先验知识引导模块前提取特征图以及加入先验知识引导模块后提取特征图的对比示意图，可以看出，在相同的主网络结构下，分别对不添加先验知识引导模块以及添加先验知识引导模块的特征提取效果进行了对比，并将两种网络提取的特征图进行可视化处理发现，在相同的网络结构下，采用本申请实施例中添加先验知识引导模块算法的方式，可以明显提高对目标特征的提取能力，获得更好的缺陷目标的检测效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
B、一种基于先验知识的智能处理装置
在一实施例中，提供一种基于先验知识的智能处理装置，该基于先验知识的智能处理装置与上述实施例中基于先验知识的智能处理方法一一对应。如图5所示，该基于先验知识的智能处理装置包括获取模块101、融合模块102、空间关联度非线性激活模块103、通道关联度非线性激活模块104、输出模块105、执行模块106。各功能模块详细说明如下：
获取模块101，用于用于获取被处理图像特征F和先验知识特征X；
融合模块102，用于对被处理图像特征F和先验知识特征X进行全局特征融合后，并对融合特征进行归一化激活，得到全局融合特征S；
空间关联度非线性激活模块103，用于使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到空间关联度非线性激活后的被处理图像特征OF和先验知识特征OX；对被处理图像特征OF和先验知识特征OX相加，得到空间关联度非线性激活后的目标特征O；
通道关联度非线性激活模块104，用于通过所述目标特征O，分别对被处理图像特征F和先验知识特征O进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2；
输出模块105，用于将被处理图像特征F2和先验知识特征X2，分别作为下一级的被处理图像特征通道和先验知识特征通道的输入进行前向传播，直至得到输出图像特征；
执行模块106，用于利用输出图像特征，对目标对象执行智能处理任务。
需要说明的是，上述智能处理装置的更多内容，可对应参阅前述方法实施例中的对应描述，这里不重复说明。
C、计算机设备和计算机存储介质
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机程序和数据库。该内存储器为可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现前述实施例提供的一种基于先验知识的智能处理方法的步骤，或者以实现前述实施例提供的一种基于先验知识的智能处理装置的功能。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一实施例中，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如前述实施例提供给的一种基于先验知识的智能处理方法的步骤，或者实现前述实施例提供的一种基于先验知识的智能处理装置的功能。
在一个实施例中，提供了一个或多个存储有计算机程序的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机程序，计算机程序被一个或多个处理器执行时实现如前述实施例提供的一种基于先验知识的智能处理方法的步骤，或者实现前述实施例提供的一种基于先验知识的智能处理装置的功能。
关于计算机设备和计算机存储介质所实现的功能内容或步骤，可对应参阅前述实施例的描述，这里不重复描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于先验知识的智能处理方法，其特征在于，包括：
获取被处理图像特征F和先验知识特征X；
对被处理图像特征F和先验知识特征X进行全局特征融合后，对融合特征进行归一化激活，得到全局融合特征S；
使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到用所述先验知识特征X进行空间关联度非线性激活后的被处理图像特征OF，和用所述被处理图像特征F进行空间关联度非线性激活后的先验知识特征OX；
对被处理图像特征OF和先验知识特征OX相加，得到空间关联度非线性激活后的目标特征O；
通过所述目标特征O，分别对被处理图像特征F和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2；
将被处理图像特征F2和先验知识特征X2，分别作为下一级的被处理图像特征通道和先验知识特征通道的输入进行前向传播，直至得到输出图像特征；
利用所述输出图像特征，对目标对象执行智能处理任务；
利用归一化激活后的全局融合特征，对所述被处理图像特征F进行空间关联度非线性激活的过程，包括：
使用投影函数α(·)对尺度大小为W×H×N的所述被处理图像特征F进行转换处理，得到尺度大小为N×HW的转换矩阵GF；
使用归一化激活函数fE对转换矩阵GF进行激活处理，得到激活后的特征矩阵IF；
计算激活后的特征矩阵IF与所述全局融合特征S之间的关联度矩阵JF；
使用投影函数X(·)对关联度矩阵JF进行转换处理，得到尺度大小为W×H×1的特征矩阵PF；
对特征矩阵PF进行sigmoid激活，以转换为权重值JF `；
将所述被处理图像特征F与权重值JF `相乘，得到被所述先验知识特征X进行空间关联度非线性激活后的被处理图像特征OF。
2.如权利要求1所述的方法，其特征在于，所述对被处理图像特征F和先验知识特征X进行全局特征融合后，对融合特征进行归一化激活，得到全局融合特征S，包括：
分别对所述被处理图像特征F进行全局平均池化处理和最大池化处理，得到空间维度的全局平均池化值AC F与最大池化值BC F；
分别对所述先验知识特征X进行全局平均池化处理和最大池化处理，得到空间维度的全局平均池化值AC X与最大池化值BC X；
对所述全局平均池化值AC F、最大池化值BC F、全局平均池化值AC X与最大池化值BC X进行相加，得到尺度大小为1×1×N的空间维度池化特征QC；
使用归一化激活函数fE对空间维度池化特征QC进行非线性特征激活，得到归一化激活后的全局融合特征E；
使用投影函数β(·)对所述全局融合特征E进行转换处理，得到尺度大小为1×N的全局融合特征S。
3.如权利要求1所述的方法，其特征在于，所述关联度矩阵JF通过如下公式获取：
Figure FDA0004266258450000031
其中，T为矩阵转置，||IF||2为对所述特征矩阵IF进行L2正则化处理，||S||2为对所述全局融合特征S进行L2正则化处理。
4.如权利要求1-3任一项所述的方法，其特征在于，所述通过所述目标特征O，分别对被处理图像特征和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2，包括：
分别对所述目标特征O进行全局平均池化处理和最大池化处理，得到通道维度的全局平均池化值AS O与最大池化值BS O；
对通道维度的全局平均池化值AS O与最大池化值BS O进行相加，得到尺度为W×H×1的通道维度池化特征QS；
使用投影函数δ(·)对所述通道维度池化特征QS进行转化处理，得到尺度为1×WH的特征向量U；
通过所述特征向量U，分别对被处理图像特征F和先验知识特征X进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2。
5.如权利要求4所述的方法，其特征在于，通过所述特征向量U对被处理图像特征F进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2的过程，包括：
计算所述被处理图像特征F的特征矩阵IF与特征向量U的关联度矩阵RF；
使用投影函数η(·)对所述关联度矩阵RF进行转换处理，得到尺度大小为1×1×N的特征矩阵VF；
对所述特征矩阵VF进行sigmoid激活，以转换为权重值RF`；
将所述被处理图像特征F与权重值RF `相乘，得到被所述先验知识特征X进行通道关联度非线性激活后的被处理图像特征F2。
6.如权利要求1所述的方法，其特征在于，所述智能处理任务包括如下其中任意一种处理任务：检测、识别和分割处理任务。
7.一种基于先验知识的智能处理装置，其特征在于，包括：
获取模块，用于获取被处理图像特征F和先验知识特征X；
融合模块，用于对被处理图像特征F和先验知识特征X进行全局特征融合后，对融合特征进行归一化激活，得到全局融合特征S；
空间关联度非线性激活模块，用于使用全局融合特征S，分别对被处理图像特征F和先验知识特征X进行空间关联度非线性激活，得到用所述先验知识特征X进行空间关联度非线性激活后的被处理图像特征OF，和用所述被处理图像特征F进行空间关联度非线性激活后的先验知识特征OX；对被处理图像特征OF和先验知识特征OX相加，得到空间关联度非线性激活后的目标特征O；
通道关联度非线性激活模块，用于通过所述目标特征O，分别对被处理图像特征F和先验知识特征O进行通道关联度非线性激活，得到通道关联度非线性激活后的被处理图像特征F2和先验知识特征X2；
输出模块，用于将被处理图像特征F2和先验知识特征X2，分别作为下一级的被处理图像特征通道和先验知识特征通道的输入进行前向传播，直至得到输出图像特征；
执行模块，用于利用所述输出图像特征，对目标对象执行智能处理任务；
所述基于先验知识的智能处理装置，还用于：
使用投影函数α(·)对尺度大小为W×H×N的所述被处理图像特征F进行转换处理，得到尺度大小为N×HW的转换矩阵GF；
使用归一化激活函数fE对转换矩阵GF进行激活处理，得到激活后的特征矩阵IF；
计算激活后的特征矩阵IF与所述全局融合特征S之间的关联度矩阵JF；
使用投影函数X(·)对关联度矩阵JF进行转换处理，得到尺度大小为W×H×1的特征矩阵PF；
对特征矩阵PF进行sigmoid激活，以转换为权重值JF `；
将所述被处理图像特征F与权重值JF `相乘，得到被所述先验知识特征X进行空间关联度非线性激活后的被处理图像特征OF。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的智能处理方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的智能处理方法的步骤。
CN202310397509.3A 2023-04-14 2023-04-14 基于先验知识的智能处理方法、装置、设备和介质 Active CN116109645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310397509.3A CN116109645B (zh) 2023-04-14 2023-04-14 基于先验知识的智能处理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310397509.3A CN116109645B (zh) 2023-04-14 2023-04-14 基于先验知识的智能处理方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN116109645A CN116109645A (zh) 2023-05-12
CN116109645B true CN116109645B (zh) 2023-07-07

Family

ID=86258355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310397509.3A Active CN116109645B (zh) 2023-04-14 2023-04-14 基于先验知识的智能处理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116109645B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117826770B (zh) * 2024-03-04 2024-05-07 台山市南特金属科技有限公司 轴承阀座铣销控制系统的异常监测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021084530A1 (en) * 2019-10-27 2021-05-06 Ramot At Tel-Aviv University Ltd. Method and system for generating a depth map

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325972B (zh) * 2018-07-25 2020-10-27 深圳市商汤科技有限公司 激光雷达稀疏深度图的处理方法、装置、设备及介质
CN110298361B (zh) * 2019-05-22 2021-05-04 杭州未名信科科技有限公司 一种rgb-d图像的语义分割方法和系统
CN112634296B (zh) * 2020-10-12 2023-12-22 深圳大学 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端
CN113379707A (zh) * 2021-06-11 2021-09-10 大连理工大学 一种基于动态滤波解耦卷积网络的rgb-d显著性检测方法
CN114140611A (zh) * 2021-11-28 2022-03-04 东北石油大学 显著目标检测方法及装置、电子设备和存储介质
CN114372986B (zh) * 2021-12-30 2024-05-24 深圳大学 注意力引导多模态特征融合的图像语义分割方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021084530A1 (en) * 2019-10-27 2021-05-06 Ramot At Tel-Aviv University Ltd. Method and system for generating a depth map

Also Published As

Publication number Publication date
CN116109645A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Hazirbas et al. Deep depth from focus
JP7512262B2 (ja) 顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム
CN116109645B (zh) 基于先验知识的智能处理方法、装置、设备和介质
CN113012169B (zh) 一种基于非局部注意力机制的全自动抠图方法
CN112001399B (zh) 基于局部特征显著化的图像场景分类方法和装置
Gong et al. Combining sparse representation and local rank constraint for single image super resolution
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
KR20200046163A (ko) 딥러닝 기반 영상 처리 시스템 및 그 방법
Rodriguez-Pardo et al. Seamlessgan: Self-supervised synthesis of tileable texture maps
CN115272437A (zh) 一种基于全局与局部特征的图像深度估计方法及装置
Liu et al. Hallucinating color face image by learning graph representation in quaternion space
CN115496654A (zh) 基于自注意力机制的图像超分辨率重建方法、设备及介质
Li et al. Underwater Imaging Formation Model‐Embedded Multiscale Deep Neural Network for Underwater Image Enhancement
Tan et al. High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation
CN118297979A (zh) 图像处理方法、装置、电子设备、存储介质和程序产品
CN114565528A (zh) 一种基于多尺度和注意力机制的遥感影像降噪方法及系统
CN117635444A (zh) 基于辐射差和空间距离的深度补全方法、装置和设备
CN117788544A (zh) 一种基于轻量级注意力机制的图像深度估计方法
CN117496352A (zh) 基于相邻特征逐步融合的遥感变化检测方法、装置和设备
CN110310314A (zh) 图像配准方法、装置、计算机设备和存储介质
CN112862002A (zh) 多尺度目标检测模型的训练方法、目标检测方法和装置
CN112489068A (zh) 一种基于卷积神经网络的医学图像分割的方法
CN118014894B (zh) 基于边缘先验与注意力机制相结合的图像修复方法、装置、设备以及可读存储介质
EP3540695A1 (en) Method for transfer of a style of a reference visual object to another visual object, and corresponding electronic device, computer readable program products and computer readable storage medium
Wang Application of Dynamic Image Fusion Technology in Development of Innovation Capabilities of College Students Majoring in Art Design.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant