CN117150381A - 一种目标功能群识别及其模型训练方法 - Google Patents

一种目标功能群识别及其模型训练方法 Download PDF

Info

Publication number
CN117150381A
CN117150381A CN202310987514.XA CN202310987514A CN117150381A CN 117150381 A CN117150381 A CN 117150381A CN 202310987514 A CN202310987514 A CN 202310987514A CN 117150381 A CN117150381 A CN 117150381A
Authority
CN
China
Prior art keywords
model
target
functional group
data
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310987514.XA
Other languages
English (en)
Inventor
王朝阳
李琳
刘颢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
709th Research Institute of CSSC
Original Assignee
709th Research Institute of CSSC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 709th Research Institute of CSSC filed Critical 709th Research Institute of CSSC
Priority to CN202310987514.XA priority Critical patent/CN117150381A/zh
Publication of CN117150381A publication Critical patent/CN117150381A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标功能群识别及其模型训练方法，属于态势认知技术领域。目标功能群识别模型训练方法首先将查询目标相关的规范化数据、文本数据和图像数据输入多模态大模型，提取得到查询目标的多模态特征编码向量；其次所述特征编码经过基于交叉注意力机制的多模态编码对齐模块，实现向量对齐；再将对齐后的特征编码向量同查询编码向量拼接后输入多层感知机，经过SoftMax操作，得到查询目标属于各给定功能群属的概率；模型采用交叉熵损失函数更新所述功能群识别模型的参数。在强对抗条件下，本发明训练得到的目标功能群识别模型能更加有效地识别目标功能群。

Description

一种目标功能群识别及其模型训练方法
技术领域
本发明属于态势认知技术领域，更具体地，涉及一种目标功能群识别及其模型训练方法。
背景技术
在涉及群目标的强对抗场景下，敌方目标具有数量多、种类杂、运行轨迹乱等特点，专注于敌方个体的分析往往会陷入混乱，不利于把握敌方活动规律，难以形成易于理解的态势。然而，敌我双方的兵力都是按一定规则部署和聚集的，因此可以通过对敌目标的分群，减少信息熵，实现对态势认知更有效地支撑。
依据分群的抽象程度，对战场实体目标分群自底向上包括空间群、功能群、相互作用群和敌我中立群4个层级。功能群是指具有相同功能的目标集合，其中所有的目标实体都具有相同或相似的功能特征。对功能群的具体定义有狭义和广义之分。狭义地来讲，将空间群中类型相同的目标组合在一起，就得到了功能群。广义地来讲，不局限于同一空间群也不局限于同一类型，功能群是指执行相同作战任务或者实现相同功能的目标集合。从理论的角度分析，广义的功能群划分更加合理。然而，由于下列问题的存在，广义目标功能群划分方法难以实际应用。(1)广义功能群的识别需要依赖对战术战法、作战条令、开源情报等知识的学习，往往需要专家人工参与，现有自动化方法难以析取和匹配有效的功能分群规则；(2)广义功能群的识别在历史航迹训练数据上表现较好，然而其模型的泛化性不强、迁移能力差。强对抗环境下目标变化频繁，现有广义功能群划分方法难以保障实时的功能分群。(3)在强对抗条件下，目标信息不完备，群目标距离、方位等一系列信息难以有效获取，传统模型仅依赖当前信息，难以有效判别功能群属。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种目标功能群识别及其模型训练方法，其目的在于解决强对抗环境下，目标功能群识别困难以及需要人工参与的技术问题。
为实现上述目的，第一方面，本发明提供了一种目标功能群识别模型训练方法，所述方法包括：
将查询对象相关的规范化数据、文本数据和图像数据输入多模态大模型，获得查询对象相关的多模态特征编码向量；
所述特征编码向量经过基于交叉注意力机制的多模态编码对齐模块后实现对齐；
将对齐后的所述特征编码向量同查询编码向量拼接后输入多层感知机，经过SoftMax操作后输出查询目标的功能群；
采用交叉熵损失函数更新所述功能群识别模型的参数。
优选的，所述交叉熵损失函数为：
其中，M为功能群属数目；N为该批次样本数量；yic为指示函数，若样本i的真实功能群属等于c则yic取1，否则yic取0；pic为样本i属于功能群属c的概率；||θ||2表示模型参数的2范数，用来防止模型过拟合，为超参数。
优选的，根据目标功能群识别模型的识别结果在线优化所述识别模型，具体为：
若所述识别模型的识别结果准确，则反馈的计数加一；否则给出目标的实际功能群，且负反馈和反馈的计数均加一；
以先进先出的模式将所述识别模型的样本、预测值和真值存储在用户反馈缓冲池中；
每隔预设时间段，使用用户反馈缓冲池中的数据微调现值模型的参数；所述现值模型的初始参数和所述识别模型的参数相同；
若负反馈计数比例增至负反馈阈值，则使用所述现值模型替换所述识别模型。
优选的，使用用户反馈缓冲池中的数据微调现值模型的参数，具体为：在已有现值模型参数的基础上，用户反馈缓冲池中的数据继续训练现值模型，使得更新后的现值模型的识别结果为所述反馈缓冲池中的真值。
优选的，所述规范化数据包括空间群划分结果、航迹数据以及作战规则；所述文本数据包括战术战法和文字情报；所述图像数据包括战术规则图、卫星图像、抵近侦查图像以及图像情报。
优选的，采用Prompt的形式构建目标功能群识别模型识别所用的规则数据集。
优选的，采用模型蒸馏和裁剪模型的方式在保证识别功能和性能的前提下实现所述目标功能群识别模型的压缩。
第二方面，本发明提供了一种目标功能群识别方法，所述方法包括：
获取查询目标相关的规范化数据、文本数据和图像数据；
采用预先训练好的目标功能群识别模型对所述规范化数据、文本数据和图像数据进行识别，输出识别到的目标功能群；
其中，所述目标功能群识别模型是根据第一方面中任一方法训练得到的。
第三方面，本申请提供一种电子设备，包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面所描述的方法；或则，执行第二方面所描述的方法。
第四方面，本申请提供一种存储介质，存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面所描述的方法；或则，执行第二方面所描述的方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
(1)在强对抗条件下，信息不完备，本发明方法引入多模态大模型可以更加有效地识别群目标的身份等属性信息，有利于功能群属的确定；
(2)本发明方法有效利用了包括规范化数据、文本数据和图像数据在内的多模态数据，提升了目标功能群识别的自动化水平，可以提升识别的准确率；
(3)本发明方法包含识别结果在线优化机制，应用奖励函数驱动模型的自评估演进，增强了模型的泛化能力，提升了模型的实时响应能力。
附图说明
图1是本发明实施例中提供的一种利用多模态数据的目标功能群识别模型图；
图2是本发明实施例中提供的一种模型蒸馏示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或者两个以上，例如，多个处理单元是指两个或者两个以上的处理单元等；多个元件是指两个或者两个以上的元件等。
接下来，对本申请实施例中提供的技术方案进行介绍，本申请实施例是一种强对抗下目标功能群识别模型训练和在线优化方法，包括：自动化规则析取阶段和提示学习在线优化阶段，其中：
自动化规则析取阶段包括：
(1)采用端到端的功能群规则构建识别模型。
(1.1)定义模型的输入为目标群对应的规范化数据、文本数据和图像数据，输出为具体的功能群划分结果(如防御群、攻击群、侦察群等)。
(1.2)识别模型网络结构设计如图1所示。
具体地，识别模型的网络结构分为：多模态特征提取、多模态解码对齐和多层感知机(MLP)功能群属匹配三个部分。模型输入为查询对象(包括时间、空间以及其他属性信息)和与查询对象相关的多模态信息，输出为查询对象的功能群识别结果。
考虑到当前多模态预训练模型的强大能力，本发明的多模态特征提取部分直接采用预训练得到的多模态大模型为训练基础(如VisCPM和VisualGLM-6B等)，采用其开源模型参数初始化特征提取部分的参数，提取空间群划分结果、航迹数据、作战规则等规范化数据；战术战法、公开文字情报等文本数据；战术规则图、卫星图像、抵近侦查图像、公开图像情报等的特征。
然而，由于通用多模态大模型未考虑航迹这样的时序数据，因此难以将时序数据与文本、图片和推理规则等模态数据对齐。与此同时，考虑到部分大模型原始结构难以调整，针对通用多模态大模型在本应用中对齐能力有限的问题，本发明另外设计了基于交叉注意力机制的多模态编码对齐模块。该模块以大模型输出的编码向量为输入，输出经过对齐操作后的向量编码，实现同一对象向量化数据的对齐操作。
在获得对齐的高质量编码后，采用拼接操作⊕，先将特征对齐的多模态数据编码拼接，得到em，然后将查询向量编码eq也与其拼接，得到emq。最后，将得到的拼接向量输入多层感知机(MLP)，经过SoftMax操作，输出各功能群属的预测值。
针对功能群识别任务，本发明提出模型的参数的学习采用交叉熵损失函数，
其中，M为功能群属数目；N为该批次样本数量；yic为指示函数，若样本i的真实功能群属等于c则yic取1，否则yic取0；pic为样本i属于功能群属c的概率；||θ||2表示模型参数的2范数，用来防止模型过拟合，为超参数。
(2)采用Prompt的形式，构建应用于目标功能群识别的高质量规则数据集，数据包含格式化文本、航迹、图像等模态的信息；
航迹、图像等信息的Prompt数据构造方式与通用模型构造方式一致。特别地，格式化文本为已知的功能群属识别规则，其构造采用“Step by Step”的推理Prompt构造方式。
(3)利用构建的多模态功能群识别规则数据集，微调开源的多模态中文大模型；
具体地，使用(1)中构建的包含通用多模态大模型的结构，使用(2)中构建的Prompt数据集训练模型。其中，(1)中大模型部分采用其开源参数初始化，模型其他部分随机初始化。
(4)采用模型蒸馏，裁剪模型，在保证功能识别功能、性能的前提下实现模型压缩。
对预训练大模型参数的直接应用有助于模型具备较强的泛化、推理等能力。然而，对于目标功能群识别任务而言，如此大规模的模型会限制其应用场景，阻碍其应用。针对这个具体应用，大模型包含大量结构和参数冗余，需要对模型进行有效地裁剪。
具体地，采用“学生-教师”模式进行模型蒸馏。将原始模型定义为一个教师模型，待简化的为学生模型。首先，复制教师模型参数到学生模型；然后尝试逐步简化模型结构和模型参数。近年来，对抗训练在生成网络中取得了成功。受此启发，许多对抗知识蒸馏方法被提出，以使教师和学生网络更好地了解真实的数据分布。具体地，本研究将教师模型(T)和学生模型(S)的判别向量使用一个判别器(D)区分开。教师模型作为真实数据，训练过程中保持不变，学生模型作为生成器(G)，如图2所示。
(5)采用“人在回路”的模式，存储用户应用模型的反馈数据。
具体地，设置用户反馈缓冲池，以先进先出(FIFO)的管道结构，循环记录识别模型的样本、预测值和真值。对于模型给出的功能群属判断，如果与真实情况一致，则反馈数据计数加一；否则负反馈和反馈数目均加一。
(6)借鉴主流强化学习方法的模型参数调整策略，同时维护“应用”和“现值”两个模型(其中，应用模型的输出为模型输出，使用应用模型的参数初始化现值模型)。
(6.1)每间隔一定的时间步，使用(5)中用户反馈缓冲池的数据微调现值模型参数；
具体地，对现值模型进行微调，需要在已有现值模型参数的基础上，用户反馈缓冲池中的数据训练现值模型，使得训练得到的现值模型可以较好地拟合反馈缓冲池中的真值。
(6.2)记录用户负反馈比例，当负反馈比例增大至预设的阈值，则使用现值模型参数替换应用模型参数。
至此完成一种强对抗下目标功能群识别模型的训练和在线优化方法。
本申请实施例还实现了一种强对抗下目标功能群识别方法，包括以下步骤：
获取查询目标相关的规范化数据、文本数据和图像数据；
采用预先训练好的目标功能群识别模型对所述规范化数据、文本数据和图像数据进行识别，输出识别到的目标功能群；
应当理解的是，所述目标功能群识别方法基于上述实施例中的目标功能群识别模型，因此目标功能群识别模型的训练方法此处不再赘述。
基于上述实施例中的方法，本申请实施例还提供了一种电子设备。该设备可以包括：用于存储程序的存储器和用于执行存储器存储的程序的处理器。其中，当存储器存储的程序被执行时，处理器用于执行上述实施例中所描述的方法。
基于上述实施例中的方法，本申请实施例还提供了一种存储介质，存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行上述实施例中的方法。
可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在存储介质中，或者通过所述存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。
以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标功能群识别模型训练方法，其特征在于，所述方法包括：
将查询对象相关的规范化数据、文本数据和图像数据输入多模态大模型，获得查询对象相关的多模态特征编码向量；
所述特征编码向量经过基于交叉注意力机制的多模态编码对齐模块后实现对齐；
将对齐后的所述特征编码向量同查询编码向量拼接后输入多层感知机，经过SoftMax操作后输出查询目标的功能群；
采用交叉熵损失函数更新所述功能群识别模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述交叉熵损失函数为：
其中，M为功能群属数目；N为该批次样本数量；yic为指示函数，若样本i的真实功能群属等于c则yic取1，否则yic取0；pic为样本i属于功能群属c的概率；||θ||2表示模型参数的2范数，用来防止模型过拟合，为超参数。
3.根据权利要求1所述的方法，其特征在于，根据目标功能群识别模型的识别结果在线优化所述识别模型，具体为：
若所述识别模型的识别结果准确，则反馈的计数加一；否则给出目标的实际功能群，且负反馈和反馈的计数均加一；
以先进先出的模式将所述识别模型的样本、预测值和真值存储在用户反馈缓冲池中；
每隔预设时间段，使用用户反馈缓冲池中的数据微调现值模型的参数；所述现值模型的初始参数和所述识别模型的参数相同；
若负反馈计数比例增至负反馈阈值，则使用所述现值模型替换所述识别模型。
4.根据权利要求3所述的方法，其特征在于，使用用户反馈缓冲池中的数据微调现值模型的参数，具体为：在已有现值模型参数的基础上，用户反馈缓冲池中的数据继续训练现值模型，使得更新后的现值模型的识别结果为所述反馈缓冲池中的真值。
5.根据权利要求1所述的方法，其特征在于，所述规范化数据包括空间群划分结果、航迹数据以及作战规则；所述文本数据包括战术战法和文字情报；所述图像数据包括战术规则图、卫星图像、抵近侦查图像以及图像情报。
6.根据权利要求1所述的方法，其特征在于，采用Prompt的形式构建目标功能群识别模型识别所用的规则数据集。
7.根据权利要求1所述的方法，其特征在于，采用模型蒸馏和裁剪模型的方式在保证识别功能和性能的前提下实现所述目标功能群识别模型的压缩。
8.一种目标功能群识别方法，其特征在于，所述方法包括：
获取查询目标相关的规范化数据、文本数据和图像数据；
采用预先训练好的目标功能群识别模型对所述规范化数据、文本数据和图像数据进行识别，输出识别到的目标功能群；
其中，所述目标功能群识别模型是根据权利要求1-7任意一项所述的方法训练得到的。
9.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行权利要求1-7任一所述的方法；或则，执行权利要求8所述的方法。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，当所述计算机程序在处理器上运行时，使得所述处理器执行权利要求1-7任一所述的方法；或则，执行权利要求8所述的方法。
CN202310987514.XA 2023-08-07 2023-08-07 一种目标功能群识别及其模型训练方法 Pending CN117150381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310987514.XA CN117150381A (zh) 2023-08-07 2023-08-07 一种目标功能群识别及其模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310987514.XA CN117150381A (zh) 2023-08-07 2023-08-07 一种目标功能群识别及其模型训练方法

Publications (1)

Publication Number Publication Date
CN117150381A true CN117150381A (zh) 2023-12-01

Family

ID=88910996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310987514.XA Pending CN117150381A (zh) 2023-08-07 2023-08-07 一种目标功能群识别及其模型训练方法

Country Status (1)

Country Link
CN (1) CN117150381A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647662A (zh) * 2019-08-03 2020-01-03 电子科技大学 一种基于语义的多模态时空数据关联方法
CN111783020A (zh) * 2020-07-22 2020-10-16 中国人民解放军海军航空大学 一种多维特征的战场实体目标分群方法及系统
CN114139023A (zh) * 2022-01-30 2022-03-04 中国电子科技集团公司第十四研究所 一种基于Louvain算法的海上态势生成多目标层次化分群方法
CN114693949A (zh) * 2022-04-05 2022-07-01 东南大学 一种基于区域感知对齐网络的多模态评价对象抽取方法
CN114969534A (zh) * 2022-06-04 2022-08-30 哈尔滨理工大学 一种融合多模态数据特征的移动群智感知任务推荐方法
CN115238008A (zh) * 2022-07-12 2022-10-25 中国人民解放军战略支援部队信息工程大学 一种战场环境知识表示方法
CN115526259A (zh) * 2022-09-29 2022-12-27 清华大学 一种多模态预训练模型的训练方法和装置
CN115659279A (zh) * 2022-11-08 2023-01-31 国网浙江省电力有限公司杭州市富阳区供电公司 一种基于图文交互的多模态数据融合方法
CN115661594A (zh) * 2022-10-19 2023-01-31 海南港航控股有限公司 一种基于对齐和融合的图文多模态特征表示方法和系统
CN115688047A (zh) * 2022-10-20 2023-02-03 国网江苏省电力有限公司南京供电分公司 基于深度学习的城市能源多源数据融合方法及存储介质
CN115878811A (zh) * 2022-10-31 2023-03-31 北京计算机技术及应用研究所 一种基于事理图谱的军事情报智能分析及推演方法
EP4181079A1 (en) * 2021-11-15 2023-05-17 Samsung Electronics Co., Ltd. Method and apparatus with multi-modal feature fusion
CN116186275A (zh) * 2022-08-09 2023-05-30 中国船舶集团有限公司第七〇九研究所 战场态势的时空知识图谱构建、计算和感知方法和设备
CN116434741A (zh) * 2023-03-09 2023-07-14 平安科技（深圳）有限公司 语音识别模型训练方法、装置、计算机设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647662A (zh) * 2019-08-03 2020-01-03 电子科技大学 一种基于语义的多模态时空数据关联方法
CN111783020A (zh) * 2020-07-22 2020-10-16 中国人民解放军海军航空大学 一种多维特征的战场实体目标分群方法及系统
EP4181079A1 (en) * 2021-11-15 2023-05-17 Samsung Electronics Co., Ltd. Method and apparatus with multi-modal feature fusion
CN114139023A (zh) * 2022-01-30 2022-03-04 中国电子科技集团公司第十四研究所 一种基于Louvain算法的海上态势生成多目标层次化分群方法
CN114693949A (zh) * 2022-04-05 2022-07-01 东南大学 一种基于区域感知对齐网络的多模态评价对象抽取方法
CN114969534A (zh) * 2022-06-04 2022-08-30 哈尔滨理工大学 一种融合多模态数据特征的移动群智感知任务推荐方法
CN115238008A (zh) * 2022-07-12 2022-10-25 中国人民解放军战略支援部队信息工程大学 一种战场环境知识表示方法
CN116186275A (zh) * 2022-08-09 2023-05-30 中国船舶集团有限公司第七〇九研究所 战场态势的时空知识图谱构建、计算和感知方法和设备
CN115526259A (zh) * 2022-09-29 2022-12-27 清华大学 一种多模态预训练模型的训练方法和装置
CN115661594A (zh) * 2022-10-19 2023-01-31 海南港航控股有限公司 一种基于对齐和融合的图文多模态特征表示方法和系统
CN115688047A (zh) * 2022-10-20 2023-02-03 国网江苏省电力有限公司南京供电分公司 基于深度学习的城市能源多源数据融合方法及存储介质
CN115878811A (zh) * 2022-10-31 2023-03-31 北京计算机技术及应用研究所 一种基于事理图谱的军事情报智能分析及推演方法
CN115659279A (zh) * 2022-11-08 2023-01-31 国网浙江省电力有限公司杭州市富阳区供电公司 一种基于图文交互的多模态数据融合方法
CN116434741A (zh) * 2023-03-09 2023-07-14 平安科技（深圳）有限公司 语音识别模型训练方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
T1.FAKER: "多模态技术综述", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/weixin_42010722/article/details/129675633> *
王丽安 等: "图像—文本多模态指代表达理解研究综述", 《中国图象图形学报》, vol. 28, no. 5, 31 May 2023 (2023-05-31), pages 1308 - 1325 *

Similar Documents

Publication Publication Date Title
Shin et al. Two-phase pseudo label densification for self-training based domain adaptation
CN111462735B (zh) 语音检测方法、装置、电子设备及存储介质
CN110084281B (zh) 图像生成方法、神经网络的压缩方法及相关装置、设备
CN111753076B (zh) 对话方法、装置、电子设备及可读存储介质
CN112685597A (zh) 一种基于擦除机制的弱监督视频片段检索方法和系统
Yang et al. An improving faster-RCNN with multi-attention ResNet for small target detection in intelligent autonomous transport with 6G
CN112487217A (zh) 跨模态检索方法、装置、设备及计算机可读存储介质
Jie et al. Anytime recognition with routing convolutional networks
Chen et al. Multi-level attentive adversarial learning with temporal dilation for unsupervised video domain adaptation
Wang et al. Exploring vision-language models for imbalanced learning
CN116542297A (zh) 基于文本数据训练生成对抗网络的方法及装置
Wu et al. STR transformer: a cross-domain transformer for scene text recognition
CN116561322B (zh) 网络信息的关系抽取方法、关系抽取装置及介质
CN113569657A (zh) 一种行人重识别方法、装置、设备及存储介质
CN111507396B (zh) 缓解神经网络对未知类样本产生错误分类的方法及装置
CN113468323A (zh) 争议焦点类别及相似判断方法及系统及装置及推荐方法
CN117150381A (zh) 一种目标功能群识别及其模型训练方法
Zhao et al. Corner‐based object detection method for reactivating box constraints
CN115935265A (zh) 训练风险识别模型的方法、风险识别方法及对应装置
Kulkarni et al. Dynamic binary cross entropy: an effective and quick method for model convergence
CN115579053A (zh) 药物重定位方法、装置、电子设备及存储介质
Talo et al. Bigailab-4race-50K: Race Classification with a New Benchmark Dataset
CN111538806B (zh) 查询负例的泛化方法及装置
CN113536013B (zh) 一种跨媒体图像检索方法及系统
Zhang et al. Towards harnessing feature embedding for robust learning with noisy labels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Chaoyang

Inventor after: Zhou Yuting

Inventor after: Li Lin

Inventor after: Liu Hao

Inventor before: Wang Chaoyang

Inventor before: Li Lin

Inventor before: Liu Hao