CN115496975B - 辅助加权数据融合方法、装置、设备及存储介质 - Google Patents
辅助加权数据融合方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115496975B CN115496975B CN202211064052.6A CN202211064052A CN115496975B CN 115496975 B CN115496975 B CN 115496975B CN 202211064052 A CN202211064052 A CN 202211064052A CN 115496975 B CN115496975 B CN 115496975B
- Authority
- CN
- China
- Prior art keywords
- feature
- features
- sub
- visual
- distance relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 488
- 239000011159 matrix material Substances 0.000 claims abstract description 305
- 238000006243 chemical reaction Methods 0.000 claims abstract description 139
- 230000004927 fusion Effects 0.000 claims abstract description 117
- 238000004364 calculation method Methods 0.000 claims abstract description 84
- 230000003287 optical effect Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000004913 activation Effects 0.000 claims description 120
- 238000007781 pre-processing Methods 0.000 claims description 119
- 230000006870 function Effects 0.000 claims description 96
- 238000005070 sampling Methods 0.000 claims description 88
- 238000007906 compression Methods 0.000 claims description 78
- 230000006835 compression Effects 0.000 claims description 75
- 238000011176 pooling Methods 0.000 claims description 60
- 238000000605 extraction Methods 0.000 claims description 32
- 230000003213 activating effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000017105 transposition Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 35
- 230000008569 process Effects 0.000 abstract description 29
- 239000011365 complex material Substances 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 239000000463 material Substances 0.000 description 18
- 230000004044 response Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能领域，尤其涉及机器视觉领域，公开了一种辅助加权数据融合方法、装置、设备及存储介质，其中，方法包括：获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据；分别对主要视觉数据和辅助视觉数据进行特征提取得到主要视觉特征和辅助视觉特征；对主要视觉特征和辅助视觉特征进行特征距离关系计算得到目标距离关系矩阵；基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算得到目标物的视觉融合特征；本发明以两种不同的光学信息数据为基础，利用距离关系矩阵加权，获得表达能力更强更全面的视觉融合特征，从而能够解决更多更复杂的材料工艺视觉分析问题。
Description
技术领域
本发明涉及人工智能领域，尤其涉及机器视觉领域，具体是一种辅助加权数据融合方法、装置、设备及存储介质。
背景技术
基于光学成像的视觉分析方法由于非接触、高速等优势，在工业制造中被广泛应用。尤其在半导体领域，光学视觉分析已成为硅片、晶圆、裸芯片生产质量在线控制和缺陷检测最主要的方式。但随着新材料、新工艺的不断发展，比如第三代半导体材料、10nm以下半导体工艺的逐步投产，基于光学成像进行视觉分析的难度也越来越大。光学成像通常仅采集光强信息，而一些新型材料、新型结构在光束透射、反射时的光强响应并不敏感，也就难以通过光强变化来分析材料、结构特性，检测工艺质量。因此，有必要研究新的光学视觉分析方法。
发明内容
本发明提供一种辅助加权数据融合理方法、装置、设备及存储介质，以解决现有视觉分析方法依赖单一光强数据而难以应对更多更复杂的材料工艺分析的问题。
提供一种辅助加权数据融合方法，包括：
获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据；
分别对主要视觉数据和辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征；
对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵；
基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算，得到目标物的视觉融合特征。
进一步地，对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵，包括：
对主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的主要视觉特征进行非线性激活，得到第一预处理特征；
对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征；
采用矩阵乘法对第一预处理特征和第二预处理特征进行协方差矩阵计算，得到主要视觉特征和辅助视觉特征的距离关系矩阵，作为目标距离关系矩阵。
进一步地，对主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的主要视觉特征进行非线性激活，得到第一预处理特征，包括：
获取维度压缩参数，并根据维度压缩参数对主要视觉特征进行维度压缩，得到预设维度的第一压缩特征；
对第一压缩特征进行矩阵维度转换，得到第一转换特征；
采用第一激活函数对第一转换特征进行非线性激活，得到第一预处理特征。
进一步地，对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征，包括：
根据维度压缩参数对辅助视觉特征进行维度压缩，得到预设维度的第二压缩特征；
对第二压缩特征进行全局平均池化处理，得到第二全局特征；
对第二全局特征进行向量转置，得到第二转换特征；
采用第二激活函数对第二转换特征进行非线性激活，得到第二预处理特征。
进一步地，对主要视觉特征进行矩阵维度转换之前，该方法还包括：
确定主要视觉特征是否包括多个子特征；
若主要视觉特征未包括多个子特征，则对主要视觉特征进行矩阵维度转换；
若主要视觉特征包括多个子特征，且多个子特征的图像尺度依次增加，则对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩阵；
对上一子特征的距离关系矩阵进行上采样，得到当前子特征对应的采样特征，并对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵；
将每一子特征的距离关系矩阵汇总作为目标距离关系矩阵。
进一步地，对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵，包括：
对每一子特征进行矩阵维度转换，并对矩阵维度转换后的子特征进行非线性激活，得到每一子特征的预处理特征；
对每一采样特征进行全局平均池化处理，并对全局平均池化后的采样特征进行非线性激活，得到每一采样特征的预处理特征；
分别对每一子特征的预处理特征和对应采样特征的预处理特征进行协方差矩阵计算，得到每一子特征的距离关系矩阵。
进一步地，目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵，基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算，得到目标物的视觉融合特征，包括：
采用第三激活函数对每一子特征的距离关系矩阵进行激活，得到每一子特征的权重值；
根据每一子特征的权重值对多个子特征进行融合，得到视觉融合特征，子特征的距离关系矩阵为基于辅助视觉特征对子特征进行特征距离关系计算获得的距离关系矩阵。
提供一种辅助加权数据融合装置，包括：
采集模块，用于获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据；
特征提取模块，用于分别对主要视觉数据和辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征；
距离关系计算模块，用于对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵；
融合模块，用于基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算，得到目标物的视觉融合特征。
提供一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现上述辅助加权数据融合方法的步骤。
提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述辅助加权数据融合的步骤。
上述辅助加权数据融合方法、装置、设备及存储介质所提供的一个技术方案中，通过获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据，然后分别对主要视觉数据和辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征，再对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵，最后基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算，得到目标物的视觉融合特征；本发明通过计算主要视觉数据和辅助视觉数据间的距离关系矩阵，并将该距离关系矩阵转换为权重值，实现了两种光学信息的有效融合并得到目标物的视觉融合特征，对目标物建立了更加丰富的视觉描述，对目标物的材料结构、纹理细节等特性的体现也更加全面，从而能够更出色地解决新型复杂材料工艺的视觉分析问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中辅助加权数据融合系统的一结构示意图；
图2是本发明一实施例中辅助加权数据融合方法的一流程示意图；
图3是图2中步骤S30的一实现流程示意图；
图4是图2中步骤S40的一实现流程示意图；
图5是本发明一实施例中视觉融合特征的一获取示意图；
图6是本发明一实施例中视觉融合特征的另一获取示意图；
图7是本发明一实施例中辅助加权数据融合装置的一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的辅助加权数据融合方法，可应用在如图1所示的辅助加权数据融合系统中，该辅助加权数据融合系统包括目标物和辅助加权数据融合装置。在需要对目标物进行材料工艺视觉分析时，辅助加权数据融合装置需要获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据，其中，主要视觉数据和辅助视觉数据为两个异构的光学数据；在获取目标物的主要视觉数据和辅助视觉数据之后，辅助加权数据融合装置需要分别对主要视觉数据和辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征；对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵，最后基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值和主要视觉特征计算得到目标物的视觉融合特征。本实施例中，通过获取目标物的两个异构的光学数据(即主要视觉数据和辅助视觉数据)，然后计算两个异构光学数据间的距离关系矩阵并将该距离关系矩阵转换为权重值，最后基于该权重值实现对目标物的两种光学信息的有效融合，以得到目标物的视觉融合特征，使得视觉融合特征可以显著降低两个异构光学数据的类内差异、增大两个异构光学数据的类间差异，提高了视觉融合特征对目标物结构纹理的突出能力，以便后续依据视觉融合特征进行视觉时能够有效地对复杂结构纹理特征进行提取，从而提高视觉分析的能力。
本实施例中，辅助加权数据融合系统包括目标物和辅助加权数据融合装置仅为示例性说明，在其他实施例中，辅助加权数据融合系统还可以包括数据采集装置，数据采集装置用于对目标物进行多源光学信息采集，从而得到两个异构光学数据(即主要视觉数据和辅助视觉数据)。数据采集装置可以包括多个传感器，不同传感器用于采集不同类型的光学数据，如数据采集装置可以是包括CCD传感器和深度传感器。
其中，辅助加权数据融合装置可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑等设备，还可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种辅助加权数据融合方法，以该方法应用在图1中的辅助加权数据融合装置为例进行说明，包括如下步骤：
S10：获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据。
需要理解的是，多源光学信息指的是来源不同的光学信息，即通过不同传感器采集得到的光学信息；经过对目标物进行多源光学信息采集后，可以获得至少两个异构光学数据(即主要视觉数据和辅助视觉数据)，异构光学数据指的多源光学信息经采集量化后得到的不同结构的光学数据。其中，主要视觉数据和辅助视觉数据，可以是光强数据、深度数据、相位数据、角度数据、频率数据等任意两种光学数据组合。
在需要对材料、产品进行工艺分析时，需要对目标物进行多源光学信息采集得到该目标物的至少两个异构光学数据，之后，辅助加权数据融合装置获取采集得到的两个异构光学数据，即主要视觉数据和辅助视觉数据，以便后续基于该两个异构光学数据对该目标物进行视觉分析。
S20：分别对主要视觉数据和辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征。
在得到目标物的主要视觉数据和辅助视觉数据之后，辅助加权数据融合装置需要对主要视觉数据进行特征提取得到主要视觉特征，并对辅助视觉数据进行特征提取得到辅助视觉特征。
其中，可以在获得目标物的主要视觉数据和辅助视觉数据之后，辅助加权数据融合装置可以调用预设的特征提取模型，直接将主要视觉数据输入预设的特征提取模型，通过该预设的特征提取模型对主要视觉数据进行特征提取得到主要视觉特征，并将辅助视觉数据输入预设的特征提取模型，通过预设的特征提取模型对辅助视觉数据进行特征提取得到辅助视觉特征，简单且特征提取效果好。
S30：对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵。
在分别对主要视觉数据和辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征之后，辅助加权数据融合装置需要对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵。例如，可以将主要视觉特征和辅助视觉特征进行矩阵特征距离关系计算，得到主要视觉特征和辅助视觉特征的距离关系矩阵，然后将主要视觉特征和辅助视觉特征的距离关系矩阵作为目标距离关系矩阵。
S40：基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算，得到目标物的视觉融合特征。
在对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵之后，辅助加权数据融合装置基于目标距离关系矩阵进行权重转换得到权重值，并根据该目标距离关系矩阵转换得到的权重值对主要视觉特征进行加权计算，实现特征融合，得到目标物的视觉融合特征。例如，直接将目标距离关系矩阵进行线性激活或者非线性激活得到权重值，然后基于该权重值对主要视觉特征的各个特征点(即像素点)进行权重赋值得到目标物的视觉融合特征，实现对辅助视觉特征与主要视觉特征的融合，即实现两种光学信息的融合，使得融合后的视觉融合特征能够显著降低目标物不同类型光学数据的类内差异，并增大不同类型光学数据的类间差异，可以扩大目标物在不同光学响应下的差异性，从而可以突出结构纹理的细节特征。
在得到目标物的视觉融合特征之后，便可以基于该视觉融合特征对目标物进行视觉分析，进而评估该目标物的材料工艺品质。
需要理解的是，产品材料结构种类繁多，传统的依靠单一的光强数据视觉分析方式往往难以捕捉到对光强响应比较微弱的材料特征，导致视觉分析的难度增大。而本实施例提供的辅助加权数据融合方法，通过获取目标物的主要视觉特征和辅助视觉特征，并对主要视觉特征和辅助视觉特征进行特征距离关系计算得到目标距离关系矩阵，然后基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算得到目标物的视觉融合特征，基于目标距离关系矩阵对主要视觉特征的各个光学特征点进行特征增强和融合，实现各个光学特征点的权重激活并有效融合得到视觉融合特征，能够显著降低目标物各类光学特征的类内差异、增大各类光学特征的类间差异，扩大目标物在不同光学响应下的差异性，突出结构纹理的细节特征，提高了视觉融合特征对目标物特性的表达能力，以便后续依据视觉融合特征进行视觉分析时能够有效地对复杂的材料特征进行提取，从而提高视觉分析的效果。
在一实施例中，如图3所示，步骤S30中，即对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵，具体包括如下步骤：
S31：对主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的主要视觉特征进行非线性激活，得到第一预处理特征。
在得到主要视觉特征之后，对主要视觉特征进行矩阵维度转换，得到矩阵维度转换后的主要视觉特征，然后采用激活函数对矩阵维度转换后的主要视觉特征进行非线性激活，得到第一预处理特征，以提高特征的表达能力。其中，激活函数可以是softmax函数或者softplus函数。
S32：对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征。
同理，在得到辅助视觉特征之后，对辅助视觉特征进行全局平均池化处理，得到全局平均池化后的辅助视觉特征，然后采用激活函数对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征，以提高特征的表达能力。其中，激活函数可以是softmax函数或者softplus函数。
S33：采用矩阵乘法对第一预处理特征和第二预处理特征进行协方差矩阵计算，得到主要视觉特征和辅助视觉特征的距离关系矩阵，作为目标距离关系矩阵。
其中，第一预处理特征和第二预处理特征均以特征矩阵的形式展示，特征矩阵中包括各像素点的特征。在得到第一预处理特征和第二预处理特征之后，采用矩阵乘法对第一预处理特征和第二预处理特征进行协方差矩阵计算，得到主要视觉特征和辅助视觉特征的距离关系矩阵，最后直接将主要视觉特征和辅助视觉特征的距离关系矩阵作为目标距离关系矩阵。即在得到第一预处理特征(特征矩阵U′)和第二预处理特征(特征矩阵L′)之后，对U′和L′进行矩阵乘法，完成特征矩阵U′与特征矩阵L′间的协方差矩阵计算，得到距离关系矩阵K，即得到第一预处理特征中各个像素点与第二预处理特征中各个像素点的距离关系。
本实施例中，通过对主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的主要视觉特征进行非线性激活，得到第一预处理特征；对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征；采用矩阵乘法对第一预处理特征和第二预处理特征进行协方差矩阵计算，得到主要视觉特征和辅助视觉特征的距离关系矩阵，明确了对主要视觉特征与辅助视觉特征进行特征距离关系计算得到目标距离关系矩阵的具体过程，在进行特征间的特征距离关系计算之前，先对两类光学特征进行特征降维，极大地减少了网络参数量，提高数据处理效率，然后对平均池化的光学特征进行非线性激活，便于后续处理。
在一实施例中，步骤S31中，即对主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的主要视觉特征进行非线性激活，得到第一预处理特征，具体包括如下步骤：
S3211：获取维度压缩参数，并根据维度压缩参数对主要视觉特征进行维度压缩，得到预设维度的第一压缩特征；
S3212：对第一压缩特征进行矩阵维度转换，得到第一转换特征；
S3213：采用第一激活函数对第一转换特征进行非线性激活，得到第一预处理特征。
首先，获取维度压缩参数N，然后将主要视觉特征输入卷积核为1*1卷积网络，利用简单的卷积网络改变输入的主要视觉特征的维度，将输入主要视觉特征的通道维度进行压缩，变为W×H×N的特征，即第一压缩特征。其中，W、H分别表示输入特征的宽和高，N表示可调节的维度压缩参数。其次，在得到W×H×N的第一压缩特征之后，采用第一投影函数将第一压缩特征进行矩阵维度转换得到数据维度为N×WH的特征向量，即第一转换特征，便于后续激活操作，最后采用第一激活函数softplus函数对第一转换特征进行非线性激活，得到第一预处理特征。
其中，当采用softplus函数对第一转换特征进行非线性激活时，第一预处理特征通过如下公式计算得到：
U′＝log(1+eU)；
其中，U′表示第一预处理特征，U表示第一转换特征，即主要视觉特征在经过第一投影函数μ(·)转换后得到的特征，μ(·)：EH×W×N→EN×HW。
其中，该维度压缩参数N为对异构数据的输入通道进行压缩的压缩比例，经试验验证可知，当N为输入通道的时，压缩效果最佳，因此，本实施例中维度压缩参数N为输入通道数量的
本实施例中，根据维度压缩参数对主要视觉特征进行维度压缩，得到预设维度的第一压缩特征，并对第一压缩特征进行矩阵维度转换得到第一转换特征，再采用第一激活函数对第一转换特征进行非线性激活，得到第一预处理特征，明确了对主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的主要视觉特征进行非线性激活的具体过程，且在进行矩阵维度转换之前，先对主要视觉特征进行降维，可以减少后续的处理量。
此外，对辅助视觉特征进行处理得到第二预处理特征过程，与对主要视觉特征进行处理得到第一预处理特征类似，确保第二预处理特征和第一预处理特征的维度和形态相同，以便后续进行特征距离关系计算。
在一实施例中，步骤S32中，即对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征，具体包括如下步骤：
S3221：根据维度压缩参数对辅助视觉特征进行维度压缩，得到预设维度的第二压缩特征；
S3222：对第二压缩特征进行全局平均池化处理，得到第二全局特征；
S3223：对第二全局特征进行矩阵维度变换，得到第二转换特征；
S3224：采用第二激活函数对第二转换特征进行非线性激活，得到第二预处理特征。
为保证处理得到的特征维度与第一预处理特征的维度一致，辅助视觉特征和辅助视觉特征的压缩过程完全相同，即压缩的卷积网络和维度压缩参数均相同。将辅助视觉特征输入卷积核为1*1卷积网络，将输入的辅助视觉特征的通道维度进行压缩，变为W×H×N的特征，即第二压缩特征，然后将第二压缩特征在W×H维度进行全局平均池化操作，得到维度为1×N的全局特征，作为第二全局特征。然后，采用第二投影函数对第二全局特征经过矩阵维度变换得到N×WH的特征向量，即第二转换特征，便于后续激活操作，最后采用第二激活函数(softmax函数)对第二转换特征进行非线性激活，得到第二预处理特征。本实施例中维度压缩参数N为输入通道数量的
由于根据试验结果可知，当采用softplus函数对第一转换特征进行非线性激活，得到第一预处理特征时，且采用softmax函数对第二转换特征进行非线性激活，得到第二预处理特征，对特征间的关系提取效果更佳，因此本实施例中，采用softmax函数对第二转换特征进行非线性激活，得到第二预处理特征。
当采用softmax函数对第二转换特征进行非线性激活，第二预处理特征通过如下公式计算：
其中，L′表示第二预处理特征，L表示第二转换特征，即辅助视觉特征在全局平均池化后，经过第二投影函数η(·)转换后得到的特征，η(·)：DH×W×N→DN×1；N表示输入通道的总数量，i∈N。
本实施例中，根据维度压缩参数对辅助视觉特征进行维度压缩，得到预设维度的第二压缩特征；对第二压缩特征进行全局平均池化处理，得到第二全局特征；对第二全局特征进行矩阵维度变换，得到第二转换特征；采用第二激活函数对第二转换特征进行非线性激活，得到第二预处理特征。明确了对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活的具体过程，且在进行全局平均池化处理之前，先对辅助视觉特征进行降维，可以减少后续的处理量。
在一实施例中，步骤S31之前，即对主要视觉特征进行矩阵维度转换之前，该方法还具体包括如下步骤：
S301：确定主要视觉特征是否包括多个子特征。
在分别对主要视觉数据和辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征之后，对主要视觉特征进行矩阵维度转换之前，需要判断主要视觉特征是否包括图像尺度不同的多个子特征，以根据判断结果执行不同的距离关系矩阵计算策略。
S302：若主要视觉特征未包括多个子特征，则执行步骤S31-步骤S32。
在确定主要视觉特征是否包括多个子特征之后，若主要视觉特征未包括多个子特征，即主要视觉特征仅包括一个特征向量，表示无需对辅助视觉特征进行多图像尺度的特征融合，可以对主要视觉特征与辅助视觉特征进行特征距离关系计算，则直接执行步骤S31-步骤S32，即对主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的主要视觉特征进行非线性激活，得到第一预处理特征，同时对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征，然后采用矩阵乘法对第一预处理特征和第二预处理特征进行协方差矩阵计算，得到主要视觉特征和辅助视觉特征的距离关系矩阵，作为目标距离关系矩阵，从而对主要视觉特征与辅助视觉特征进行特征距离关系计算，得到主要视觉特征与辅助视觉特征的距离关系矩阵，并将该距离关系矩阵作为目标距离关系。
S303：若主要视觉特征包括多个子特征，且多个子特征的图像尺度依次增加，则对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩阵。
在确定主要视觉特征是否包括多个子特征之后，若主要视觉特征包括图像尺度不同的多个子特征，表示需要以辅助视觉特征为辅助特征，对主要视觉特征的每一子特征进行特征距离关系计算，从而实现对主要视觉数据的多图像尺度特征融合得到视觉融合特征，进一步提高对复杂材料工艺的视觉分析能力。因此，当主要视觉特征包括图像尺度不同的多个子特征时，需要基于辅助视觉特征对主要视觉特征的每一子特征进行特征距离关系计算，得到每一子特征的距离关系矩阵，并将每一子特征的距离关系矩阵汇总得到距离关系数据。
具体地，当主要视觉特征包括图像尺度依次增加的多个子特征，即主要视觉特征的多个子特征的图像尺度依次增加时，需要先对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩阵。
S304：对上一子特征的距离关系矩阵进行上采样，得到当前子特征对应的采样特征，并分别对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵。
在得到第一个子特征的距离关系矩阵之后，针对其他的每一子特征，需要对上一子特征的距离关系矩阵进行上采样，得到当前子特征对应的采样特征，使得采样特征与当前子特征的特征数匹配，便于后续进行特征距离关系计算。在得到每子特征的采样预处理特征之后，分别对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵。
例如，主要视觉特征的多个子特征包括图像尺度依次增大的第一子特征、第二子特征，即A1、A2，在将辅助视觉特征与第一子特征A1进行特征距离关系计算，得到辅助视觉特征与第一子特征A1的距离关系矩阵，记为第一子特征的距离关系矩阵；然后对第一子特征A1的距离关系矩阵进行上采样，得到第二子特征A2的采样特征，并采用sigmoid函数对第二子特征A2的采样特征进行非线性激活，得到第二子特征A2的采样预处理特征。
S305：将每一子特征的距离关系矩阵汇总作为目标距离关系矩阵。
在分别对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵之后，需要将主要视觉特征中每一子特征的距离关系矩阵汇总作为目标距离关系矩阵，便于后续基于目标距离关系矩阵进行权重转换得到权重值。
本实施例中，对上一子特征的距离关系矩阵进行上采样时，需要将确定当前子特征的特征层与上一子特征的特征层的感受野倍数作为采样倍数，以根据该采样倍数对上一子特征的距离关系矩阵进行上采样，从而得到当前子特征对应的采样特征。例如，相邻两个子特征的图像尺度倍数为2倍，需要对上一子特征的距离关系矩阵进行2倍上采样得到当前子特征的采样特征。
本实施例中，在对主要视觉特征进行矩阵维度转换之前，需要对确定主要视觉特征是否包括多个子特征，若主要视觉特征未包括多个子特征，则执行步骤S31-步骤S33，即直接计算主要视觉特征与辅助视觉特征的距离关系。若主要视觉特征包括多个子特征，且多个子特征的图像尺度依次增加，则对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩阵；对上一子特征的距离关系矩阵进行上采样，得到当前子特征对应的采样特征，并对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵；将每一子特征的距离关系矩阵汇总作为目标距离关系矩阵，明确了对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵的另一具体过程。在对主要视觉特征进行矩阵维度转换之前，需要对主要视觉特征是否包括多个子特征，以便根据不同判断结果执行不同的目标距离关系矩阵计算策略，当主要视觉特征未包括多个子特征，执行步骤S31-步骤S33，即直接计算主要视觉特征与辅助视觉特征的距离关系；当主要视觉特征包括多个子特征，且多个子特征的图像尺度依次增加时，则对主要视觉特征的每一子特征进行特征距离关系计算，从而实现对主要视觉数据的多图像尺度特征融合得到视觉融合特征，进一步提高对复杂材料工艺的视觉分析能力。
此外，基于上一子特征的距离关系矩阵计算各子特征的距离关系矩阵，从而得到各子特征的距离关系矩阵，最后将每一子特征的距离关系矩阵汇总作为目标距离关系矩阵，以便后续对目标距离关系矩阵中每一子特征的距离关系矩阵进行权重转换得到每一子特征的权重值，进而根据每一子特征的权重值对多个子特征进行数据融合，得到目标物的视觉融合特征，可以基于辅助视觉特征对不同图像尺度的辅助视觉特征进行具有上下文特征增强，实现了对目标物的全局关系注意力特征增强，最后将增强后的特征进行融合得到更加准确的视觉融合特征，能够实现两种光学信息的多尺度上下文特征融合，进一步降低了各类光学数据特征的类内差异、增大类间差异，进一步地提升对复杂材料工艺特征的提取能力。
在其他实施例中，在对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩的过程中，以及分别对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵的过程中，需要对辅助视觉特征、各子特征对应的采样特征进行全局平均池化处理，并对全局平均池化后的各特征进行非线性激活，得到各特征对应的预处理特征；然后采用矩阵乘法对辅助视觉特征的预处理特征和第一个子特征的预处理特征进行协方差矩阵计算，得到第一个子特征的距离关系矩阵，还需要采用矩阵乘法分别对其他各子特征的预处理特征与其对应采样特征的预处理特征进行协方差矩阵计算，得到各子特征的距离关系矩阵。本实施例中，预处理特征的处理过程以及距离关系矩阵的计算过程，参照前文步骤S31和步骤32及其相关描述所述，在此不在赘述。
在一实施例中，步骤S303中，即对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩，具体包括如下步骤包括：
S3031：对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到辅助视觉特征的预处理特征。
在得到辅助视觉特征之后，对辅助视觉特征进行全局平均池化处理，得到全局平均池化后的辅助视觉特征，然后采用激活函数对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征，以提高特征的表达能力。其中，激活函数可以是softmax函数或者softplus函数。
其中，对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到辅助视觉特征的预处理特征，包括：根据维度压缩参数对辅助视觉特征进行维度压缩，得到预设维度的第二压缩特征；对第二压缩特征进行全局平均池化处理，得到第二全局特征；利用投影函数对第二全局特征进行矩阵维度变换，得到第二转换特征，最后采用softmax函数对第二转换特征进行非线性激活，得到辅助视觉特征的预处理特征。
其中，辅助视觉特征的预处理特征通过如下公式计算：
其中，L′表示第二预处理特征，L表示第二转换特征，即辅助视觉特征在全局平均池化后，经过第二投影函数η(·)转换后得到的特征；N表示输入通道的总数量，i∈N。
S3032：对图像尺度最小的第一个子特征进行矩阵维度转换，并对矩阵维度转换后的第一个子特征进行非线性激活，得到第一个子特征的预处理特征。
其中，需要根据维度压缩参数对第一个子特征进行维度压缩，得到预设维度的第一子压缩特征；利用投影函数对第一子压缩特征进行矩阵维度转换，得到第一子转换特征；采用第softplus函数对第一转换特征进行非线性激活，得到第一个子特征的预处理特征。
其中，第一个子特征的预处理特征通过如下公式计算得到：
其中，U1′表示第一个子特征的预处理特征，U1表示第一子转换特征，即第一个子特征在矩阵维度转换后，经过第一投影函数μ(·)转换后得到的特征。
其中，该维度压缩参数N为对异构数据的输入通道进行压缩的压缩比例，经试验验证可知，当N为输入通道的时，压缩效果最佳，因此，本实施例中维度压缩参数N为输入通道数量的
本实施例中，明确了对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩的具体步骤，在进行特征距离关系计算之前，需要进行维度压缩和全局平均池化处理，大大降低了特征维度和参数，在保证特征准确性满足精度要求的基础下，极大的降低了数据处理量。
在一实施例中，步骤S304中，即对分别对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵，具体包括如下步骤包括：
S3041：对每一子特征进行矩阵维度转换，并对矩阵维度转换后的每一子特征进行非线性激活，得到每一子特征的预处理特征。
在对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩阵之后，还需要对剩余的每一子特征进行矩阵维度转换，并对矩阵维度转换后的每一子特征进行非线性激活，得到剩余的每一子特征的预处理特征。
其中，需要根据维度压缩参数对每一子特征进行维度压缩，得到每一子特征的压缩特征；利用投影函数对该每一子特征的压缩特征进行矩阵维度转换，得到每一子特征的转换特征；采用第softplus函数对每一子特征的转换特征进行非线性激活，得到每一子特征的预处理特征。
其中，各子特征的预处理特征通过如下公式计算得到：
其中，Ux′表示第x个子特征的预处理特征，Ux表示第x个子特征的转换特征，即第x个子特征的在矩阵维度转换后，经过第一投影函数μ(·)转换后得到的特征。
S3042：对每一采样特征进行全局平均池化处理，并对全局平均池化后的采样特征进行非线性激活，得到各采样特征的预处理特征。
同时，还需要对每一子特征对应的采样特征进行全局平均池化处理，并对全局平均池化后的采样特征进行非线性激活，得到各采样特征的预处理特征。在进行特征间的特征距离关系计算之前，先进行特征降维，极大地减少了网络参数量，提高数据处理效率。
其中，需要根据维度压缩参数对各子特征对应的采样特征进行维度压缩，得到各采样特征的压缩特征；对各采样特征的压缩特征进行全局平均池化处理，得到各采样特征的全局特征；利用投影函数对各采样特征的全局特征进行矩阵维度变换，得到各采样特征的转换特征，最后采用softmax函数对各采样特征的转换特征进行非线性激活，得到各采样特征的预处理特征。
其中，各采样特征的预处理特征通过如下公式计算：
其中，L′表示子特征对应的采样特征，L表示各采样特征的转换特征，即采样特征在全局平均池化后，经过第二投影函数η(·)转换后得到的特征；N表示输入通道的总数量，i∈N。
本实施例中，通过对每一子特征进行矩阵维度转换，并对矩阵维度转换后的子特征进行非线性激活，得到每一子特征的预处理特征，并对每一采样特征进行全局平均池化处理，并对全局平均池化后的采样特征进行非线性激活，得到每一采样特征的预处理特征，然后分别对每一子特征的预处理特征和对应采样特征的预处理特征进行协方差矩阵计算，得到每一子特征的距离关系矩阵，明确了对分别对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵的具体步骤，在进行特征距离关系计算之前，需要进行维度压缩、维度转换，大大降低了特征维度和参数，在保证特征准确性满足精度要求的基础下，极大的降低了数据处理量。
在一实施例中，目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵。如图4所示，步骤S30中，即基于目标距离关系矩阵进行归一化激活得到权重值，并根据权重值对主要视觉特征进行加权计算，得到目标物的视觉融合特征，具体包括如下步骤：
S41：采用第三激活函数对每一子特征的距离关系矩阵进行激活，得到每一子特征的权重值。
本实施例中，目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵，子特征的距离关系矩阵为基于辅助视觉特征对子特征进行特征距离关系计算获得的距离关系矩阵。主要视觉特征中多个子特征为图像尺度不同的多个子特征。其中，可以利用多个特征提取模型分别对主要视觉特征进行特征提取，得到图像尺度不同的多个子特征，每一特征提取模型对应提取到一个图像尺度的子特征。在其他实施例中，还可以利用具有多个特征提取层的特征提取模型对主要视觉特征进行特征提取，得到图像尺度不同的多个子特征；每一特征提取层的感受野不同，输出的子特征的图像尺度不同。
当目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵时，表示主要视觉特征包括图像尺度不同的多个子特征，需要以辅助视觉特征为辅助特征对主要视觉特征的每一子特征进行特征距离关系计算得到每一子特征的距离关系矩阵，从而实现对主要视觉数据的多图像尺度特征加权融合，提高对复杂材料工艺的视觉分析能力。
因此，当目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵时，需要采用第三激活函数对每一子特征的距离关系矩阵进行激活，得到每一子特征的权重值。
其中，第三激活函数可以为Tanh函数。即当目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵时，采用Tanh函数对每一子特征的距离关系矩阵进行激活，得到每一子特征的权重值，使用Tanh函数进行激活，可以减少迭代次数，收敛速度快。在其他实施例中，第三激活函数还可以是其他非线性激活函数，例如sigmoid函数。
S42：根据每一子特征的权重值对多个子特征进行融合，得到视觉融合特征。
在得到每一子特征的权重值之后，根据每一子特征的权重值对多个子特征进行数据融合，得到目标物的视觉融合特征。其中，子特征的距离关系矩阵为基于辅助视觉特征对子特征进行特征距离关系计算获得的距离关系矩阵。
具体地，将每一子特征分别与其对应的权重值相乘，得到每一子特征对应的激活特征，然后对多个子特征对应的激活特征进行特征融合，得到视觉融合特征。
其中，采用Tanh函数对每一子特征的距离关系矩阵进行激活时，子特征对应的激活特征通过如下公式计算得到：
其中，Q表示子特征的激活特征；A表示子特征；表示矩阵相乘法；K表示子特征的距离关系矩阵；表示子特征的权重值，即采用Tanh函数激活子特征的距离关系矩阵得到的权重值。
其中，可以采用卷积操作对多个子特征对应的激活特征进行融合得到视觉融合特征，从而提高特征融合效果，得到准确性更高的视觉融合特征。此时，视觉融合特征通过如下公式融合得到：
其中，I表示目标物的视觉融合特征；表示各个卷积层的第m个通道对应的特征图，即第m个子特征的激活特征；X表示卷积层的通道总数，m∈X；Hm表示第m个通道对应的卷积核。
本实施例中，在目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵时，采用第三激活函数对每一子特征的距离关系矩阵进行激活，得到每一子特征的权重值，然后根据每一子特征的权重值对多个子特征进行融合得到视觉融合特征，子特征的距离关系矩阵为基于辅助视觉特征对子特征进行特征距离关系计算获得的距离关系矩阵，明确了基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算，得到目标物的视觉融合特征的具体过程，当主要视觉特征包括多个子特征时，将辅助视觉特征作为辅助对主要视觉特征的多个子特征进行数据融合，实现了对目标物不同图像尺度的光学数据加权融合，使得视觉分析过程中对目标物不同尺寸的材料结构都具备良好的分析能力，进一步提高视觉分析算法的适应性。
在其他实施例中，目标距离关系矩阵还可以是主要视觉特征和辅助视觉特征的距离关系矩阵。在进行特征距离关系计算时，需要基于辅助视觉特征对主要视觉特征进行距离关系矩阵计算，得到辅助视觉特征和主要视觉特征目标距离关系矩阵，从而建立材料结构的不同光学响应间的特征关系，提高对材料结构细节特征的表达能力。
当目标距离关系矩阵为主要视觉特征和辅助视觉特征的距离关系矩阵时，表示主要视觉特征仅包括一个特征向量，则无需对辅助视觉特征进行多图像尺度的特征融合，可以直接采用第四激活函数(如Tanh函数)对目标距离关系矩阵即主要视觉特征与辅助视觉特征的距离关系矩阵)进行激活得到目标权重值，并将目标权重值与主要视觉特征相乘，实现加权融合计算得到目标检测的视觉融合特征。其中，第四激活函数可以与第三激活函数不同，也可以相同。例如，第四激活函数和第三激活函数均可以为Tanh函数。
例如，主要视觉特征E与辅助视觉特征D的距离关系矩阵为K，当采用Tanh函数作为第三激活函数对目标距离关系矩阵进行激活时，视觉融合特征通过如下公式计算：
其中，Z表示目标物的视觉融合特征；E表示主要视觉特征，K表示主要视觉特征E与辅助视觉特征D的距离关系矩阵；表示矩阵乘法，即矩阵相乘；表示目标权重值，即采用Tanh函数对目标距离关系矩阵进行激活的权重值。
本实施例中，在得到目标距离关系矩阵之后，当目标距离关系矩阵为主要视觉特征和辅助视觉特征的距离关系矩阵时，采用第四激活函数对目标距离关系矩阵进行激活得到目标权重值，并将目标权重值与主要视觉特征相乘，得到视觉融合特征，明确了基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值对主要视觉特征进行加权计算，得到目标物的视觉融合特征的具体过程。将辅助视觉特征作为主要视觉特征的辅助，将两类光学特征的距离关系矩阵转换为权重值，赋予至主要视觉特征的各个特征点，实现对输入特征的全局自适应权重激活，为各个特征点进行特征增强，从而实现多源光学数据的有效融合与特征增强，显著降低各类光学数据的类内差异、增大类间差异，提高了视觉融合特征对目标物纹理的突出能力，以便后续依据视觉融合特征进行视觉分析时能够有效地对复杂材料结构特征进行提取。
其中，当主要视觉特征(Ex)未包括多个子特征时，即目标距离关系矩阵是主要视觉特征和辅助视觉特征的距离关系矩阵时，目标物的视觉融合特征的获取过程如图5所示。辅助视觉特征(Dx)在进行维度压缩和全局平均池化后，通过第二投影函数η(·)转换得到第二转换特征L1，然后使用softmax函数激活第二转换特征L1得到第二预处理特征L1′；同时主要视觉特征在进行维度压缩后，通过第一投影函数μ(·)转换得到第一转换特征U1，然后使用softplus函数激活第二转换特征U1得到第二预处理特征U1′；然后将第二预处理特征L1′和第二预处理特征U1′进行矩阵相乘，得到主要视觉特征和辅助视觉特征的距离关系矩阵K1(U1′,L1′)，并采用Tanh激活函数对距离关系矩阵K1(U1′,L1′)进行激活得到目标权重值，最后将目标权重值与主要视觉特征相乘，得到注意力激活后的特征图Z1，即得到目标物的视觉融合特征。
本实施例中，为了更好地表达材料结构细节，采用目标物的辅助视觉特征作为辅助特征，计算辅助视觉特征与主要视觉特征间的距离关系矩阵，以基于该距离关系矩阵进行多源异构光学数据融合，实现目标物各个特征点的权重激活，使得视觉融合特征可以扩大目标物在不同光学响应下的差异性，突出材料结构的细节特征，以便后续基于视觉融合特征进行视觉分析时可以提升对复杂材料结构特征的提取能力，从而提升了对产品材料工艺的视觉分析能力。
其中，当主要视觉特征(Ex)包括多个子特征，即目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵时，以多个子特征包括图像尺度依次增加的第一子特征A1、第二子特征A2和第三子特征A3为例，目标距离关系矩阵包括一子特征A1、第二子特征A2和第三子特征A3分别对应的距离关系矩阵，此时目标物的视觉融合特征的获取过程如图6所示：
辅助视觉特征(Dx)在进行维度压缩和全局平均池化后，通过投影函数η(·)转换得到第二转换特征L1，然后使用softmax函数激活第二转换特征L1得到第一预处理特征L1′。对第一子特征(即A1)进行维度压缩后，通过投影函数μ1(·)转换得到第一子转换特征U1，然后使用softplus函数激活第一子转换特征U1得到第一子预处理特征U1′；然后将第一预处理特征L1′和第一子预处理特征U1′进行矩阵相乘，得到辅助视觉特征和第一子特征的距离关系矩阵K1(U1′,L1′)，并采用Tanh激活函数对距离关系矩阵K1(U1′,L1′)进行激活得到第一权重值，再将第一权重值与第一子特征相乘，得到注意力激活后的特征图Q1，即第一子特征的激活特征Q1。
在得到辅助视觉特征和第一子特征的距离关系矩阵K1(U1′,L1′)之后，对距离关系矩阵K1(U1′,L1′)进行预设采样倍数的上采样得到第二子特征对应的采样特征，该预设倍采样数为第一子特征和第二子特征的图像尺度倍数；然后对第二子特征对应的采样特征进行维度压缩和全局平均池化处理得到全局特征，并利用投影函数η(·)转换该全局特征得到该采样特征的转换特征，最后采用softmax函数对该采样特征的转换特征进行非线性激活，得到该第二预处理特征L2′。同时，对第二子特征(即A2)进行维度压缩后，通过投影函数μ2(·)转换得到第二子转换特征U2，然后使用softplus函数激活第二子转换特征U2得到第二子预处理特征U2′；然后将第二预处理特征L2′和第二子预处理特征U2′进行矩阵相乘，得到第二子特征对应的采样特征和第二子特征的距离关系矩阵K2(U2′,L2′)，并采用Tanh激活函数对距离关系矩阵K2(U2′,L2′)进行激活得到第二权重值，再将第二权重值与第二子特征相乘，得到注意力激活后的特征图Q2，即第二子特征的激活特征Q2。
在得到第二子特征对应的采样特征和第二子特征的距离关系矩阵K2(U2′,L2′)之后，对距离关系矩阵K2(U2′,L2′)进行预设采样倍数的上采样得到第三子特征对应的采样特征，该预设倍采样数为第二子特征和第三子特征的图像尺度倍数；然后对第三子特征对应的采样特征进行维度压缩和全局平均池化处理得到全局特征，并利用投影函数η(·)转换该全局特征得到该采样特征的转换特征，最后采用softmax函数对该采样特征的转换特征进行非线性激活，得到该第三预处理特征L3′。同时，对第三子特征(即A3)进行维度压缩后，通过投影函数μ3(·)转换得到第三子转换特征U3，然后使用softplus函数激活第三子转换特征U3得到第三子预处理特征U3′；然后将第三预处理特征L3′和第三子预处理特征U3′进行矩阵相乘，得到第三子特征对应的采样特征和第三子特征的距离关系矩阵K3(U3′,L3′)，并采用Tanh激活函数对距离关系矩阵K3(U3′,L3′)进行激活得到第三权重值，再将第三权重值与第三子特征相乘，得到注意力激活后的特征图Q3，即第三子特征的激活特征Q3。
在得到第一子特征的激活特征Q1、第二子特征的激活特征Q2，以及第三子特征的激活特征Q3之后，对采用卷积操作对激活特征Q1、Q2和Q3进行特征融合，得到目标物的视觉融合特征。
本实施例中，为了更好地表达材料结构细节，采用目标物的多源异构光学数据中辅助视觉特征作为辅助特征，计算辅助视觉特征与主要视觉特征间的距离关系矩阵，进行多源异构光学数据的特征增强和有效数据融合，显著降低各类光学特征间的类内差异、增大类间差异，可以扩大目标物在不同光学响应下的差异性，突出材料结构的细节特征，提升对复杂材料结构特征的提取能力，同时，还利用多图像尺度的上下文融合方式，实现对主要视觉特征的全局上下文自适应特征激活，对不同尺寸的材料结构都具备良好的视觉分析能力，进一步提高视觉分析算法的适应性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种辅助加权数据融合的视觉分析装置，该辅助加权数据融合的视觉分析装置与上述实施例中辅助加权数据融合的视觉分析方法一一对应。如图7所示，该辅助加权数据融合的视觉分析装置包括采集模块701、特征提取模块702、距离关系计算模块703和融合模块704。各功能模块详细说明如下：
采集模块701，用于获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据；
特征提取模块702，用于分别对主要视觉数据和辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征；
距离关系计算模块703，用于对主要视觉特征和辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵；
融合模块704，用于基于目标距离关系矩阵进行权重转换得到权重值，并根据权重值和主要视觉特征计算得到目标物的视觉融合特征。
进一步地，距离关系计算模块703具体用于：
对主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的主要视觉特征进行非线性激活，得到第一预处理特征；
对辅助视觉特征进行全局平均池化处理，并对全局平均池化后的辅助视觉特征进行非线性激活，得到第二预处理特征；
采用矩阵乘法对第一预处理特征和第二预处理特征进行协方差矩阵计算，得到主要视觉特征和辅助视觉特征的距离关系矩阵，作为目标距离关系矩阵。
进一步地，距离关系计算模块703具体还用于：
获取维度压缩参数，并根据维度压缩参数对主要视觉特征进行维度压缩，得到预设维度的第一压缩特征；
对第一压缩特征进行矩阵维度转换，得到第一转换特征；
采用第一激活函数对第一转换特征进行非线性激活，得到第一预处理特征。
进一步地，距离关系计算模块703具体还用于：
根据维度压缩参数对辅助视觉特征进行维度压缩，得到预设维度的第二压缩特征；
对第二压缩特征进行全局平均池化处理，得到第二全局特征；
对第二全局特征进行向量转置，得到第二转换特征；
采用第二激活函数对第二转换特征进行非线性激活，得到第二预处理特征。
进一步地，对主要视觉特征进行矩阵维度转换之前，距离关系计算模块703具体还用于：
确定主要视觉特征是否包括多个子特征；
若主要视觉特征未包括多个子特征，则对主要视觉特征进行矩阵维度转换；
若主要视觉特征包括多个子特征，且多个子特征的图像尺度依次增加，则对辅助视觉特征和图像尺度最小的第一个子特征进行特征距离关系计算，得到第一个子特征的距离关系矩阵；
对上一子特征的距离关系矩阵进行上采样，得到当前子特征对应的采样特征，并对每一子特征和对应的采样特征进行特征距离关系计算，得到每一子特征的距离关系矩阵；
将每一子特征的距离关系矩阵汇总作为目标距离关系矩阵。
进一步地，距离关系计算模块703具体还用于：
对每一子特征进行矩阵维度转换，并对矩阵维度转换后的子特征进行非线性激活，得到每一子特征的预处理特征；
对每一采样特征进行全局平均池化处理，并对全局平均池化后的采样特征进行非线性激活，得到每一采样特征的预处理特征；
分别对每一子特征的预处理特征和对应采样特征的预处理特征进行协方差矩阵计算，得到每一子特征的距离关系矩阵。
进一步地，目标距离关系矩阵包括主要视觉特征中多个子特征对应的距离关系矩阵，融合模块704具体还用于：
采用第三激活函数对每一子特征的距离关系矩阵进行激活，得到每一子特征的权重值，并根据每一子特征的权重值对多个子特征进行融合，得到视觉融合特征，子特征的距离关系矩阵为基于辅助视觉特征对子特征进行特征距离关系计算获得的距离关系矩阵。
关于辅助加权数据融合的视觉分析装置的具体限定可以参见上文中对于辅助加权数据融合的视觉分析方法的限定，在此不再赘述。上述辅助加权数据融合的视觉分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述辅助加权数据融合的视觉分析方法用到、生成大大数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种辅助加权数据融合的视觉分析方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述辅助加权数据融合方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述辅助加权数据融合方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (9)
1.一种辅助加权数据融合方法，其特征在于，包括：
获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据；
分别对所述主要视觉数据和所述辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征；
对所述主要视觉特征和所述辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵；
基于所述距离关系矩阵进行权重转换得到权重值，并根据所述权重值对所述主要视觉特征进行加权计算，得到所述目标物的视觉融合特征；
所述对所述主要视觉特征进行矩阵维度转换之前，所述方法还包括：
确定所述主要视觉特征是否包括多个子特征；
若所述主要视觉特征未包括多个所述子特征，则对所述主要视觉特征进行矩阵维度转换；
若所述主要视觉特征包括多个所述子特征，且多个所述子特征的图像尺度依次增加，则对所述辅助视觉特征和图像尺度最小的第一个所述子特征进行特征距离关系计算，得到第一个所述子特征的距离关系矩阵；
对上一所述子特征的距离关系矩阵进行上采样，得到当前所述子特征对应的采样特征，并对每一所述子特征和对应的所述采样特征进行特征距离关系计算，得到每一所述子特征的距离关系矩阵；
将每一所述子特征的距离关系矩阵汇总作为所述目标距离关系矩阵。
2.如权利要求1所述的辅助加权数据融合方法，其特征在于，所述对所述主要视觉特征和所述辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵，包括：
对所述主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的所述主要视觉特征进行非线性激活，得到第一预处理特征；
对所述辅助视觉特征进行全局平均池化处理，并对全局平均池化后的所述辅助视觉特征进行非线性激活，得到第二预处理特征；
采用矩阵乘法对所述第一预处理特征和所述第二预处理特征进行协方差矩阵计算，得到所述主要视觉特征和所述辅助视觉特征的距离关系矩阵，作为所述目标距离关系矩阵。
3.如权利要求2所述的辅助加权数据融合方法，其特征在于，所述对所述主要视觉特征进行矩阵维度转换，并对矩阵维度转换后的所述主要视觉特征进行非线性激活，得到第一预处理特征，包括：
获取维度压缩参数，并根据所述维度压缩参数对所述主要视觉特征进行维度压缩，得到预设维度的第一压缩特征；
对所述第一压缩特征进行矩阵维度转换，得到第一转换特征；
采用第一激活函数对所述第一转换特征进行非线性激活，得到所述第一预处理特征。
4.如权利要求2所述的辅助加权数据融合方法，其特征在于，所述对所述辅助视觉特征进行全局平均池化处理，并对全局平均池化后的所述辅助视觉特征进行非线性激活，得到第二预处理特征，包括：
根据维度压缩参数对所述辅助视觉特征进行维度压缩，得到预设维度的第二压缩特征；
对所述第二压缩特征进行全局平均池化处理，得到第二全局特征；
对所述第二全局特征进行向量转置，得到第二转换特征；
采用第二激活函数对所述第二转换特征进行非线性激活，得到所述第二预处理特征。
5.如权利要求1所述的辅助加权数据融合方法，其特征在于，所述对每一所述子特征和对应的所述采样特征进行特征距离关系计算，得到每一所述子特征的距离关系矩阵，包括：
对每一所述子特征进行矩阵维度转换，并对矩阵维度转换后的所述子特征进行非线性激活，得到每一所述子特征的预处理特征；
对每一所述采样特征进行全局平均池化处理，并对全局平均池化后的所述采样特征进行非线性激活，得到每一所述采样特征的预处理特征；
分别对每一所述子特征的预处理特征和对应所述采样特征的预处理特征进行协方差矩阵计算，得到每一所述子特征的距离关系矩阵。
6.如权利要求1-5任一项所述的辅助加权数据融合方法，其特征在于，所述目标距离关系矩阵包括所述主要视觉特征中多个子特征对应的所述距离关系矩阵，所述基于所述距离关系矩阵进行权重转换得到权重值，并根据所述权重值对所述主要视觉特征进行加权计算，得到所述目标物的视觉融合特征，包括：
采用第三激活函数对每一所述子特征的距离关系矩阵进行激活，得到每一所述子特征的权重值；
根据每一所述子特征的权重值对多个所述子特征进行融合，得到所述视觉融合特征，所述子特征的距离关系矩阵为基于所述辅助视觉特征对所述子特征进行特征距离关系计算获得的距离关系矩阵。
7.一种辅助加权数据融合装置，其特征在于，包括：
采集模块，用于获取对目标物进行多源光学信息采集得到的主要视觉数据和辅助视觉数据；
特征提取模块，用于分别对所述主要视觉数据和所述辅助视觉数据进行特征提取，得到主要视觉特征和辅助视觉特征；
距离关系计算模块，用于对所述主要视觉特征和所述辅助视觉特征进行特征距离关系计算，得到目标距离关系矩阵；
融合模块，用于基于所述距离关系矩阵进行权重转换得到权重值，并根据所述权重值对所述主要视觉特征进行加权计算，得到所述目标物的视觉融合特征；
所述对主要视觉特征进行矩阵维度转换之前，所述距离关系计算模块具体还用于：
确定所述主要视觉特征是否包括多个子特征；
若所述主要视觉特征未包括多个所述子特征，则对所述主要视觉特征进行矩阵维度转换；
若所述主要视觉特征包括多个所述子特征，且多个所述子特征的图像尺度依次增加，则对所述辅助视觉特征和图像尺度最小的第一个所述子特征进行特征距离关系计算，得到第一个所述子特征的距离关系矩阵；
对上一所述子特征的距离关系矩阵进行上采样，得到当前所述子特征对应的采样特征，并对每一所述子特征和对应的所述采样特征进行特征距离关系计算，得到每一所述子特征的距离关系矩阵；
将每一所述子特征的距离关系矩阵汇总作为所述目标距离关系矩阵。
8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述辅助加权数据融合方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述辅助加权数据融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211064052.6A CN115496975B (zh) | 2022-08-29 | 2022-08-29 | 辅助加权数据融合方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211064052.6A CN115496975B (zh) | 2022-08-29 | 2022-08-29 | 辅助加权数据融合方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115496975A CN115496975A (zh) | 2022-12-20 |
| CN115496975B true CN115496975B (zh) | 2023-08-18 |
Family
ID=84469114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211064052.6A Active CN115496975B (zh) | 2022-08-29 | 2022-08-29 | 辅助加权数据融合方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115496975B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116363031B (zh) * | 2023-02-28 | 2023-11-17 | 锋睿领创(珠海)科技有限公司 | 基于多维光学信息融合的成像方法、装置、设备及介质 |
| CN117558058A (zh) * | 2024-01-12 | 2024-02-13 | 深圳兔展智能科技有限公司 | 用户登录方法、系统、计算机设备及存储介质 |
| CN118113994B (zh) * | 2024-02-04 | 2024-08-27 | 浙江伟卓科技有限责任公司 | 海洋信息获取方法、装置、设备及介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
| CN107909078A (zh) * | 2017-10-11 | 2018-04-13 | 天津大学 | 一种图间显著性检测方法 |
| WO2018076212A1 (zh) * | 2016-10-26 | 2018-05-03 | 中国科学院自动化研究所 | 基于反卷积神经网络的场景语义分割方法 |
| WO2018146558A2 (en) * | 2017-02-07 | 2018-08-16 | Mindmaze Holding Sa | Systems, methods and apparatuses for stereo vision and tracking |
| CN109712105A (zh) * | 2018-12-24 | 2019-05-03 | 浙江大学 | 一种结合彩色和深度信息的图像显著目标检测方法 |
| CN111242855A (zh) * | 2020-01-04 | 2020-06-05 | 西安交通大学 | 基于rgb-d的ssim结构相似度的迭代深度图结构修复方法 |
| CN112651423A (zh) * | 2020-11-30 | 2021-04-13 | 深圳先进技术研究院 | 一种智能视觉系统 |
| CN112734803A (zh) * | 2020-12-31 | 2021-04-30 | 山东大学 | 基于文字描述的单目标跟踪方法、装置、设备及存储介质 |
| CN113111974A (zh) * | 2021-05-10 | 2021-07-13 | 清华大学 | 基于深度典型相关分析的视觉-激光雷达融合方法及系统 |
| CN113221852A (zh) * | 2021-06-09 | 2021-08-06 | 中国人民解放军91977部队 | 一种目标识别方法及装置 |
| CN113688900A (zh) * | 2021-08-23 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | 雷达和视觉数据融合处理方法、路侧设备及智能交通系统 |
| US11210801B1 (en) * | 2020-10-26 | 2021-12-28 | Tsinghua University | Adaptive multi-sensor data fusion method and system based on mutual information |
| KR20220029335A (ko) * | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 깊이 이미지를 보완하는 방법 및 장치 |
| CN114372986A (zh) * | 2021-12-30 | 2022-04-19 | 深圳大学 | 注意力引导多模态特征融合的图像语义分割方法及装置 |
| CN114913565A (zh) * | 2021-01-28 | 2022-08-16 | 腾讯科技（深圳）有限公司 | 人脸图像检测方法、模型训练方法、装置及存储介质 |
| CN114926658A (zh) * | 2022-06-15 | 2022-08-19 | 平安科技（深圳）有限公司 | 图片特征的提取方法、装置、计算机设备及可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170032676A1 (en) * | 2015-07-30 | 2017-02-02 | Illinois Institute Of Technology | System for detecting pedestrians by fusing color and depth information |
| CN112560972B (zh) * | 2020-12-21 | 2021-10-08 | 北京航空航天大学 | 基于毫米波雷达先验定位和视觉特征融合的目标检测方法 |
-
2022
- 2022-08-29 CN CN202211064052.6A patent/CN115496975B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
| WO2018076212A1 (zh) * | 2016-10-26 | 2018-05-03 | 中国科学院自动化研究所 | 基于反卷积神经网络的场景语义分割方法 |
| WO2018146558A2 (en) * | 2017-02-07 | 2018-08-16 | Mindmaze Holding Sa | Systems, methods and apparatuses for stereo vision and tracking |
| CN107909078A (zh) * | 2017-10-11 | 2018-04-13 | 天津大学 | 一种图间显著性检测方法 |
| CN109712105A (zh) * | 2018-12-24 | 2019-05-03 | 浙江大学 | 一种结合彩色和深度信息的图像显著目标检测方法 |
| CN111242855A (zh) * | 2020-01-04 | 2020-06-05 | 西安交通大学 | 基于rgb-d的ssim结构相似度的迭代深度图结构修复方法 |
| KR20220029335A (ko) * | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 깊이 이미지를 보완하는 방법 및 장치 |
| US11210801B1 (en) * | 2020-10-26 | 2021-12-28 | Tsinghua University | Adaptive multi-sensor data fusion method and system based on mutual information |
| CN112651423A (zh) * | 2020-11-30 | 2021-04-13 | 深圳先进技术研究院 | 一种智能视觉系统 |
| CN112734803A (zh) * | 2020-12-31 | 2021-04-30 | 山东大学 | 基于文字描述的单目标跟踪方法、装置、设备及存储介质 |
| CN114913565A (zh) * | 2021-01-28 | 2022-08-16 | 腾讯科技（深圳）有限公司 | 人脸图像检测方法、模型训练方法、装置及存储介质 |
| CN113111974A (zh) * | 2021-05-10 | 2021-07-13 | 清华大学 | 基于深度典型相关分析的视觉-激光雷达融合方法及系统 |
| CN113221852A (zh) * | 2021-06-09 | 2021-08-06 | 中国人民解放军91977部队 | 一种目标识别方法及装置 |
| CN113688900A (zh) * | 2021-08-23 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | 雷达和视觉数据融合处理方法、路侧设备及智能交通系统 |
| CN114372986A (zh) * | 2021-12-30 | 2022-04-19 | 深圳大学 | 注意力引导多模态特征融合的图像语义分割方法及装置 |
| CN114926658A (zh) * | 2022-06-15 | 2022-08-19 | 平安科技（深圳）有限公司 | 图片特征的提取方法、装置、计算机设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 向程谕等.基于RGB-D融合特征的图像分类.计算机工程与应用.2017,第54卷(第08期),第178-254页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115496975A (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115496975B (zh) | 辅助加权数据融合方法、装置、设备及存储介质 | |
| CN109829894B (zh) | 分割模型训练方法、oct图像分割方法、装置、设备及介质 | |
| CN111598861B (zh) | 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法 | |
| CN110889325B (zh) | 多任务面部动作识别模型训练和多任务面部动作识别方法 | |
| CN112465748B (zh) | 基于神经网络的裂缝识别方法、装置、设备及存储介质 | |
| CN109816098B (zh) | 神经网络的处理方法及评估方法、数据分析方法及装置 | |
| CN111179419A (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| CN111681162A (zh) | 一种缺陷样本生成方法、装置、电子设备及存储介质 | |
| CN111062324A (zh) | 人脸检测方法、装置、计算机设备和存储介质 | |
| CN115496976A (zh) | 多源异构数据融合的视觉处理方法、装置、设备及介质 | |
| CN115457390A (zh) | 遥感影像变化检测方法、装置、计算机设备和存储介质 | |
| EP4350575A1 (en) | Image classification method and related device thereof | |
| CN114254584A (zh) | 芯片产品的对比方法、建模方法、装置及存储介质 | |
| CN114331985A (zh) | 电子元器件划痕缺陷检测方法、装置和计算机设备 | |
| CN112001399A (zh) | 基于局部特征显著化的图像场景分类方法和装置 | |
| JP2022064808A (ja) | 画像認識方法および画像認識システム | |
| CN115239946A (zh) | 小样本迁移学习训练、目标检测方法、装置、设备和介质 | |
| CN116797582A (zh) | 基于改进Yolov7网络模型检测光伏电池缺陷的方法及装置 | |
| CN111709415A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN110807428A (zh) | 煤类样品的识别方法、装置、服务器及存储介质 | |
| CN112766212B (zh) | 高光谱遥感图像水体固有属性反演方法、装置和设备 | |
| CN115205224B (zh) | 自适应特征增强的多源融合视觉检测方法、装置及介质 | |
| CN116433661B (zh) | 多任务学习的半导体晶圆检测方法、装置、设备及介质 | |
| CN110276802B (zh) | 医学图像中病症组织定位方法、装置与设备 | |
| CN115546271A (zh) | 基于深度联合表征的视觉分析方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |