CN115034257B - 一种基于特征融合的跨模态信息目标识别方法及装置 - Google Patents

一种基于特征融合的跨模态信息目标识别方法及装置 Download PDF

Info

Publication number
CN115034257B
CN115034257B CN202210498903.1A CN202210498903A CN115034257B CN 115034257 B CN115034257 B CN 115034257B CN 202210498903 A CN202210498903 A CN 202210498903A CN 115034257 B CN115034257 B CN 115034257B
Authority
CN
China
Prior art keywords
data
feature
fusion
radar
sar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210498903.1A
Other languages
English (en)
Other versions
CN115034257A (zh
Inventor
刘准钆
刘蕊
冯斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210498903.1A priority Critical patent/CN115034257B/zh
Publication of CN115034257A publication Critical patent/CN115034257A/zh
Application granted granted Critical
Publication of CN115034257B publication Critical patent/CN115034257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于特征融合的跨模态信息目标识别方法及装置，获取目标的雷达数据和第一SAR图像数据；将雷达数据转换为第二SAR图像数据；提取第一SAR图像数据的第一特征数据，以及提取第二SAR图像数据的第二特征数据，并对第一特征数据和第二特征数据进行联合，得到融合特征数据；根据融合特征数据确定目标的类别；本发明通过同时获取雷达数据和SAR图像，并将雷达数据转换为SAR图像，可以实现雷达数据的充分利用，缩小两模态之间的特征维度差异，再结合联合特征表达，可以有效地提升目标识别准确度。

Description

一种基于特征融合的跨模态信息目标识别方法及装置
技术领域
本发明属于信息融合及目标识别技术领域具体设计一种基于特征融合的跨模态信息目标识别方法及装置。
背景技术
目标识别技术已经广泛应用于国防等领域。异类网络的广泛使用产生了不同来源、不同类型、不同分布的多模式的数据。在复杂背景和干扰的存在下，多模态信息融合技术可以通过挖掘这些数据之间的差异性和互补性，提高目标识别的准确性、可靠性和鲁棒性。
海上舰船目标作为海上监测和战时打击的重点目标，能否被快速准确地识别尤为关键，对维护国防安全有着重要意义。目前合成孔径雷达(SAR)图像和雷达辐射源信号识别成为研究海洋目标检测与监视的常用途径。高分辨SAR系统的分辨率已经可以达到厘米级，能够清晰地对大型战术目标进行清晰地成像。雷达辐射源识别可以实时辨认对抗雷达的类型，确定雷达的载体、用途和威胁等级等。然而，SAR图像容易受到背景强散射杂波的不均匀性、目标的不完整性、十字旁瓣模糊和临近目标干扰等因素的影响，导致一些舰船不能很好地被识别。在不少的雷达技术性能中，有些数据相同或很近，也会导致识别结果有可能是多种雷达。
多模态数据的融合方法主要有基于模型和与模型无关两种。基于模型的方法主要有概率图模型、基于核的方法和神经网络模型。与模型无关的方法包括特征级融合、决策级融合和混合融合。特征级融合主要有协同特征表示和联合特征表示。决策级融合是对两类或多类数据分别进行决策任务，再将每种模态数据的决策结果通过贝叶斯规则融合、最大值融合或平均值融合等规则进行融合。混合融合则是特征级融合与决策级融合的结合。
目前，多模态信息特征融合的主要方法是联合特征表示和协同特征表示，再通过联合特征表示来完成特征融合时，由于SAR图像的特征维度远大于雷达数据，目前已有的直接相连或者相乘的方法可能会导致融合后雷达数据信息直接被忽略，进而造成目标识别准确度低和鲁棒性差。
发明内容
本发明的目的是提供一种基于特征融合的跨模态信息目标识别方法，以充分利用雷达数据的信息，并结合SAR图像信息提升目标识别的准确度。
本发明采用以下技术方案：一种基于特征融合的跨模态信息目标识别方法，包括以下步骤：
获取目标的雷达数据和第一SAR图像数据；
将雷达数据转换为第二SAR图像数据；
提取第一SAR图像数据的第一特征数据，以及提取第二SAR图像数据的第二特征数据，并对第一特征数据和第二特征数据进行联合，得到融合特征数据；
根据融合特征数据确定目标的类别。
优选的，将雷达数据转换为第二SAR图像数据包括：
通过雷达数据分类器为雷达数据进行分类；
根据分类结果为雷达数据选择对应的模态转换网络；
采用模态转换网络提升雷达数据的维度，得到第二SAR图像数据；其中，第二SAR图像数据的维度与第一SAR图像数据的维度相等。
优选的，模态转换网络由依次连接的全连接层组成。
优选的，模态转换网络由依次连接的五个全连接层组成；
依次连接的五个全连接层的输入特征维度和输出特征维度分别为(4，16)、(16，32)、(32，64)、(64，128)和(128，256)。
优选的，采用VGG19网络提取第一SAR图像数据的第一特征数据；
采用VGG19网络提取第二SAR图像数据的第二特征数据。
优选的，对第一特征数据和第二特征数据进行联合包括：
采用特征联合模型对对第一特征数据和第二特征数据进行联合；其中，特征联合模型为：
Figure BDA0003633979970000031
其中，F(s,r)表示融合特征数据，s表示第一特征数据，r表示第二特征数据，σ(r)表示第二特征数据的方差，μ(s)表示第一特征数据的均值，σ(s)表示第一特征数据的方差，μ(r)表示第二特征数据的均值。
优选的，特征联合模型使用均方误差损失函数计算融合前后的信息损失，并反向传播训练权值；其中，损失函数L为：
L＝Lsar+Lradar，
其中，Lsar表示第一SAR图像数据联合前后的损失值，Lsar＝||fsar-ffusion||2，fsar表示第一SAR图像数据经VGG19网络得到的第一特征图，ffusion表示联合特征图，Lradar表示第二SAR图像数据联合前后的损失值，Lradar＝||μ(ffusion)-μ(fradar)||2+||σ(ffusion)-σ(fradar)||2，μ(ffusion)表示联合特征图的均值，fradar第二SAR图像数据经VGG19网络得到的第二特征图，μ(fradar)表示第二特征图的均值，σ(ffusion)表示联合特征图的方差，σ(fradar)表示第二特征图的方差。
优选的，根据融合特征数据确定目标的类别包括：
以融合特征数据为输入数据，使用密集卷积网络确定目标的类别。
本发明的另一种技术方案：一种基于特征融合的跨模态信息目标识别装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种基于特征融合的跨模态信息目标识别方法。
本发明的有益效果是：本发明通过同时获取雷达数据和SAR图像，并将雷达数据转换为SAR图像，可以实现雷达数据的充分利用，缩小两模态之间的特征维度差异，再结合联合特征表达，可以有效地提升目标识别准确度。
附图说明
图1为本发明实施例一种基于特征融合的跨模态信息目标识别方法的流程图；
图2为本发明实施例一种基于特征融合的跨模态信息目标识别装置的结构示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
基于SAR图像与雷达辐射源信号识别不受彼此因素影响或影响较小的前提，上述两种信息具有一定的互补性。因此，本发明中将上述两种信息进行融合有利于提高目标识别的准确性和鲁棒性。
考虑到SAR图像和雷达辐射源数据模态不同、特征维度相差大，目前已有的通过相加或者相乘来联合特征的方法可能会导致维度较小的雷达辐射源信号的特征直接被忽略。本发明通过搭建的模态转换模块解决模态不同的问题，通过提出一种新的联合特征表示方法解决特征维度相差大的问题，解决或者规避两种信息特征维度差异过大的弊端，从而完成特征融合，再进一步完成目标识别。这同时对研究海上舰船目标检测问题有着实践意义和理论参考意义。
本发明公开了一种基于特征融合的跨模态信息目标识别方法，如图1所示，包括以下步骤：步骤S110、获取目标的雷达数据和第一SAR图像数据；步骤S120、将雷达数据转换为第二SAR图像数据；步骤S130、提取第一SAR图像数据的第一特征数据，以及提取第二SAR图像数据的第二特征数据，并对第一特征数据和第二特征数据进行联合，得到融合特征数据；步骤S140、根据融合特征数据确定目标的类别。
本发明通过同时获取雷达数据和SAR图像，并将雷达数据转换为SAR图像，可以实现雷达数据的充分利用，缩小两模态之间的特征维度差异，再结合联合特征表达，可以有效地提升目标识别准确度。
在本发明实施例中，将雷达数据转换为第二SAR图像数据包括：通过雷达数据分类器为雷达数据进行分类；根据分类结果为雷达数据选择对应的模态转换网络；采用模态转换网络提升雷达数据的维度，得到第二SAR图像数据；其中，第二SAR图像数据的维度与第一SAR图像数据的维度相等。
具体的，模态转换网络由依次连接的全连接层组成，以将雷达数据映射到更高维度。在本实施例中，雷达数据为N维，SAR图像为M维。其中，M＞＞N。以船只类的目标为例，船只共有L类(即A1,A2,...AL)。对于用于训练的雷达数据样本，其往往是标签已知的，因此，可以使用一些有标签的样本(如X＝{x1,…,xh})进行优化误差得到权值。
更为具体的，本实施例中的模态转换网络由依次连接的五个全连接层组成。依次连接的五个全连接层的输入特征维度和输出特征维度分别为(4，16)、(16，32)、(32，64)、(64，128)和(128，256)。也就是说，第一层全连接层的输入特征维度为4，输出特征维度为16；第二层全连接层的输入特征维度为16，输出特征维度为32；第三层全连接层的输入特征维度为32，输出特征维度为64；第四层全连接层的输入特征维度为64，输出特征维度为128；第五层全连接层的输入特征维度为128，输出特征维度为256。如此，达到了与SAR图像相同的特征维度。由此可以看出，每一层全连接层都会将雷达数据从低维映射到更高维度，最终映射为1*256维度的数据。
本实施例中仅对船只进行逐类训练，使用均方误差(Mean Squared Error，简称MSE)损失函数进行反向传播，计算雷达辐射源数据在最后一个全连接层的映射数据与对应的SAR图像数据间的MSE损失，不断进行权值更新，得到每一类船只下雷达数据向SAR图像转换的映射矩阵B(即B1,B2,...BL)，以方便在后续数据转换过程中获得损失最小的SAR图像，使得后续目标识别过程鲁棒性更好。
在一个实施例中，采用模态转换网络提升雷达数据的维度之前包括：对雷达数据先进行分类；根据分类结果选择对应的映射矩阵(即模态转换网络)。
具体的，本实施例使用高斯朴素贝叶斯分类器对雷达数据进行分类，按照分类结果对每一类船只的雷达辐射源信号(即雷达数据)进行模态转换。例如，被分类器分类为A1的雷达数据经过A1下的映射矩阵B1映射为SAR图像，并获得A1标签；被分类器分类为A2的雷达数据经过A2下的映射矩阵B2映射为SAR图像，并获得A2标签。
接下来是分别从第一SAR图像数据和第二SAR图像数据中提取分类所用的特征。本实施例中，采用VGG19网络提取第一SAR图像数据的第一特征数据；采用VGG19网络提取第二SAR图像数据的第二特征数据。
之后，进行联合特征表示。采用特征联合模型对对第一特征数据和第二特征数据进行联合；其中，特征联合模型为：
Figure BDA0003633979970000071
其中，F(s,r)表示融合特征数据，s表示第一特征数据，r表示第二特征数据，σ(r)表示第二特征数据的方差，μ(s)表示第一特征数据的均值，σ(s)表示第一特征数据的方差，μ(r)表示第二特征数据的均值。
优选的，特征联合模型使用均方误差(Mean Squared Error，简称MSE)损失函数计算融合前后的信息损失，并反向传播训练权值；其中，损失函数L为：
L＝Lsar+Lradar，
其中，Lsar表示第一SAR图像数据联合前后的损失值，Lsar＝||fsar-ffusion||2，fsar表示第一SAR图像数据经VGG19网络得到的第一特征图，ffusion表示联合特征图，Lradar表示第二SAR图像数据联合前后的损失值，Lradar＝||μ(ffusion)-μ(fradar)||2+||σ(ffusion)-σ(fradar)||2，μ(ffusion)表示联合特征图的均值，fradar第二SAR图像数据经VGG19网络得到的第二特征图，μ(fradar)表示第二特征图的均值，σ(ffusion)表示联合特征图的方差，σ(fradar)表示第二特征图的方差。
最后，根据融合特征数据确定目标的类别包括：以融合特征数据为输入数据，使用密集卷积网络确定目标的类别。
综上，本发明研究并实现了模态转换，采用五个全连接层，将低维的数据向高维的图像映射，使用MSE损失函数对网络进行训练，得到最佳的映射矩阵。该模块可以完成雷达数据向SAR图像的模态转换，一定程度缩小雷达数据与SAR图像的模态差异。另外，还研究并实现了基于风格迁移模型的特征融合网络，使用了新的特征联合表达方式。本实施例使用VGG19网络的前四层卷积完成对图像的特征提取，特征融合网络采用风格迁移的仿射变换，对提取到的特征进行融合，增加MSE损失函数，将损失反向传播来训练网络，减少融合过程中的信息损失，可以进一步减少特征维度差异带来的影响。
本发明针对SAR图像与雷达辐射源数据两类信息的模态差异问题，搭建了模态转换模块，该模块采用五个全连接层，将低维的数据向高维的图像映射，完成雷达数据向SAR图像的模态转换。这在一定程度上也可以缩小两模态信息特征维度间的差异。针对两模态信息特征维度差异大的问题，提出了一种新的联合特征表示的方法。首先使用VGG19网络的前四层卷积完成对图像的特征提取，再采用新的联合特征表示将提取到的特征映射到联合空间，得到联合特征。实验结果表明该发明可以获得较好的融合和识别效果。
在本发明中，为了进一步验证本发明方法的有益效果，进行了验证实施例。具体的，如表1所示，是验证过程中所使用的仿真验证数据集的基本信息表，通过这些仿真数据来实验证明本发明的有效性和准确性。
表1验证过程中所使用的数据集的基本信息
数据集 样本类别数 样本个数
OpenSARShip 5 300
雷达辐射源信号 5 500
本实验采用的对照方法为仅采用OpenSARShip和雷达辐射源信号其中一种信源进行船只分类，与联合特征之后的船只分类结果进行对比。表2是本发明方法的实验结果，从中可看出大部分情况下本发明提出的不同模态特征级融合识别方法相比有效的提高了准确率，能得到更好的分类精度。
表2特征联合前后的分类结果
OpenSARShip 雷达辐射源信号 联合后
Cargo 57 100 100
Dredging 75 100 83
Fishing 90 45 90
Tug 82 48 100
Tanker 92 100 100
Accuracy 76 79 94
根据表2可知，Cargo表示货船，该类船只的SAR图像分类精度为57％，雷达数据分类精度为100％，采用本方法联合特征后的分类精度为100％；Dredging表示捕捞船，该类船只的SAR图像分类精度为75％，雷达数据分类精度为100％，采用本方法联合特征后的分类精度为83％；Fishing表示渔船，该类船只的SAR图像分类精度为90％，雷达数据分类精度为45％，采用本方法联合特征后的分类精度为90％；Tug表示拖船，该类船只的SAR图像分类精度为82％，雷达数据分类精度为48％，采用本方法联合特征后的分类精度为100％；Tanker表示油船，该类船只的SAR图像分类精度为92％，雷达数据分类精度为100％，采用本方法联合特征后的分类精度为100％；Accuracy表示混合类别的船只，其包含了上述的五类船只，混合类船只的SAR图像分类精度为76％，雷达数据分类精度为79％，采用本方法联合特征后的分类精度为94％。
综上可知，本发明实施例中的方法对于大部分类别的船只的分类精度均有提升，特别是混合类的船只，其分类精度远远大于采用单独的某一种数据的分类精度。
本发明还公开了一种基于特征融合的跨模态信息目标识别装置，如图2所示，包括存储器210、处理器220以及存储在存储器210中并可在处理器220上运行的计算机程序230，处理器220执行计算机程序230时实现上述的一种基于特征融合的跨模态信息目标识别方法。
上述的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置的具体内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (7)

1.一种基于特征融合的跨模态信息目标识别方法，其特征在于，包括以下步骤：
获取目标的雷达数据和第一SAR图像数据；
将所述雷达数据转换为第二SAR图像数据；
提取所述第一SAR图像数据的第一特征数据，以及提取所述第二SAR图像数据的第二特征数据，并对所述第一特征数据和第二特征数据进行联合，得到融合特征数据；对所述第一特征数据和第二特征数据进行联合包括：
采用特征联合模型对对所述第一特征数据和第二特征数据进行联合；其中，所述特征联合模型为：
其中，F(s,r)表示融合特征数据，s表示第一特征数据，r表示第二特征数据，σ(r)表示第二特征数据的方差，μ(s)表示第一特征数据的均值，σ(s)表示第一特征数据的方差，μ(r)表示第二特征数据的均值；
所述特征联合模型使用均方误差损失函数计算融合前后的信息损失，并反向传播训练权值；其中，损失函数L为：
L＝Lsar+Lradar，
其中，Lsar表示所述第一SAR图像数据联合前后的损失值，Lsar＝||fsar-ffusion||2，fsar表示所述第一SAR图像数据经VGG19网络得到的第一特征图，ffusion表示联合特征图，Lradar表示所述第二SAR图像数据联合前后的损失值，Lradar＝||μ(ffusion)-μ(fradar)||2+||σ(ffusion)-σ(fradar)||2，μ(ffusion)表示联合特征图的均值，fradar表示所述第二SAR图像数据经VGG19网络得到的第二特征图，μ(fradar)表示第二特征图的均值，σ(ffusion)表示联合特征图的方差，σ(fradar)表示第二特征图的方差；
根据所述融合特征数据确定目标的类别。
2.如权利要求1所述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，将所述雷达数据转换为第二SAR图像数据包括：
通过雷达数据分类器为所述雷达数据进行分类；
根据分类结果为所述雷达数据选择对应的模态转换网络；
采用模态转换网络提升所述雷达数据的维度，得到第二SAR图像数据；其中，所述第二SAR图像数据的维度与所述第一SAR图像数据的维度相等。
3.如权利要求2所述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，所述模态转换网络由依次连接的全连接层组成。
4.如权利要求3述的所述一种基于特征融合的跨模态信息目标识别方法，其特征在于，所述模态转换网络由依次连接的五个全连接层组成；
依次连接的所述五个全连接层的输入特征维度和输出特征维度分别为(4，16)、(16，32)、(32，64)、(64，128)和(128，256)。
5.如权利要求2或4述的所述一种基于特征融合的跨模态信息目标识别方法，其特征在于，采用VGG19网络提取所述第一SAR图像数据的第一特征数据；
采用所述VGG19网络提取所述第二SAR图像数据的第二特征数据。
6.如权利要求1所述的一种基于特征融合的跨模态信息目标识别方法，其特征在于，根据所述融合特征数据确定目标的类别包括：
以所述融合特征数据为输入数据，使用密集卷积网络确定所述目标的类别。
7.一种基于特征融合的跨模态信息目标识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述的一种基于特征融合的跨模态信息目标识别方法。
CN202210498903.1A 2022-05-09 2022-05-09 一种基于特征融合的跨模态信息目标识别方法及装置 Active CN115034257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210498903.1A CN115034257B (zh) 2022-05-09 2022-05-09 一种基于特征融合的跨模态信息目标识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210498903.1A CN115034257B (zh) 2022-05-09 2022-05-09 一种基于特征融合的跨模态信息目标识别方法及装置

Publications (2)

Publication Number Publication Date
CN115034257A CN115034257A (zh) 2022-09-09
CN115034257B true CN115034257B (zh) 2023-04-07

Family

ID=83118610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210498903.1A Active CN115034257B (zh) 2022-05-09 2022-05-09 一种基于特征融合的跨模态信息目标识别方法及装置

Country Status (1)

Country Link
CN (1) CN115034257B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116127403B (zh) * 2022-10-26 2024-02-06 锋睿领创(珠海)科技有限公司 基于跨模态特征再校准的信息融合方法、设备和存储介质
CN116956212A (zh) * 2023-06-27 2023-10-27 四川九洲视讯科技有限责任公司 一种多源视觉信息特征识别与提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819686A (zh) * 2020-08-18 2021-05-18 腾讯科技（深圳）有限公司 基于人工智能的图像风格处理方法、装置及电子设备
CN113128269A (zh) * 2019-12-31 2021-07-16 天津中科虹星科技有限公司 一种基于图像风格迁移信息融合的活体检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239740B (zh) * 2017-05-05 2019-11-05 电子科技大学 一种多源特征融合的sar图像自动目标识别方法
CN109993716B (zh) * 2017-12-29 2023-04-14 微软技术许可有限责任公司 图像融合变换
CN110363820B (zh) * 2019-06-28 2023-05-16 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN111291639B (zh) * 2020-01-20 2023-05-16 西北工业大学 基于分层变分自编码的跨源舰船特征融合学习与识别方法
CN111931627A (zh) * 2020-08-05 2020-11-13 智慧互通科技有限公司 一种基于多模态信息融合的车辆再识别方法及装置
CN112131347A (zh) * 2020-09-25 2020-12-25 天津大学 一种基于多模态融合的假新闻检测方法
CN112434796B (zh) * 2020-12-09 2022-10-25 同济大学 一种基于局部信息学习的跨模态行人再识别方法
CN112800875A (zh) * 2021-01-14 2021-05-14 北京理工大学 一种混合特征融合和决策融合的多模态情感识别方法
CN113280829A (zh) * 2021-06-24 2021-08-20 广东盈峰智能环卫科技有限公司 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置
CN114241307B (zh) * 2021-12-09 2023-01-24 中国电子科技集团公司第五十四研究所 基于自注意力网络的合成孔径雷达飞机目标识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128269A (zh) * 2019-12-31 2021-07-16 天津中科虹星科技有限公司 一种基于图像风格迁移信息融合的活体检测方法
CN112819686A (zh) * 2020-08-18 2021-05-18 腾讯科技（深圳）有限公司 基于人工智能的图像风格处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN115034257A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
Pei et al. SAR automatic target recognition based on multiview deep learning framework
US11100320B2 (en) Image recognition method and apparatus
CN115034257B (zh) 一种基于特征融合的跨模态信息目标识别方法及装置
Cho et al. Multiple feature aggregation using convolutional neural networks for SAR image-based automatic target recognition
CN108122008B (zh) 基于稀疏表示和多特征决策级融合的sar图像识别方法
Zhu et al. Multiple 3-D feature fusion framework for hyperspectral image classification
Huang et al. An intelligent ship image/video detection and classification method with improved regressive deep convolutional neural network
Wan et al. Recognizing the HRRP by combining CNN and BiRNN with attention mechanism
Hong-hai et al. Radar emitter multi-label recognition based on residual network
Bhanu et al. Stochastic models for recognition of occluded targets
Cheng et al. A multi-domain collaborative transfer learning method with multi-scale repeated attention mechanism for underwater side-scan sonar image classification
CN111126504A (zh) 多源不完备信息融合图像目标分类方法
Sun et al. Nsd-ssd: A novel real-time ship detector based on convolutional neural network in surveillance video
CN113239959A (zh) 基于解耦表征变分自编码机的雷达hrrp目标识别方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
Sun et al. Vehicle classification approach based on the combined texture and shape features with a compressive DL
CN115205602A (zh) 基于最优传输距离函数的零样本sar目标识别方法
CN114973164A (zh) 一种基于图像风格迁移的舰船目标融合识别方法
Yu et al. A lightweight ship detection method in optical remote sensing image under cloud interference
Shi et al. SDNet: Image‐based sonar detection network for multi‐scale objects
CN112509019A (zh) 一种基于兼容性特征的三维对应关系分组方法
Mojarad Shafie et al. Decision fusion using virtual dictionary‐based sparse representation for robust SAR automatic target recognition
Bhanu et al. Stochastic Recognition of Occluded Objects
CN114445700B (zh) 一种面向不平衡sar图像数据的证据融合目标识别方法
CN110135280A (zh) 一种基于稀疏表征分类的多视图sar自动目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant