CN116842127B - 一种基于多源动态数据的自适应辅助决策智能方法及系统 - Google Patents
一种基于多源动态数据的自适应辅助决策智能方法及系统 Download PDFInfo
- Publication number
- CN116842127B CN116842127B CN202311107462.9A CN202311107462A CN116842127B CN 116842127 B CN116842127 B CN 116842127B CN 202311107462 A CN202311107462 A CN 202311107462A CN 116842127 B CN116842127 B CN 116842127B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- text
- features
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003068 static effect Effects 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012800 visualization Methods 0.000 claims abstract description 11
- 238000005065 mining Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 10
- 230000004438 eyesight Effects 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/316—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多源动态数据的自适应辅助决策智能方法及系统。包括：多源数据获取与处理模块，用于对己方传感器设备、如雷达传感器、红外传感器和可见光传感器获得的动态数据以及专家标注后的静态数据进行预处理；有效信息挖掘模块，通过视觉‑语言模型获取图像特征和文本特征，并通过位置引导的特征融合模块将同一目标的多源数据对应的图像特征融合，利用文本特征和融合后的图像特征进行目标识别；战场态势可视化模块，基于己方目标及其位置信息以及所识别的敌方目标及其位置信息，利用三维场景重建模型对战场态势进行可视化；战场态势预测，利用网络结构，通过目标的历史位置信息，预测其未来时刻的位置信息，从而预测整个未来战场态势。
Description
技术领域
本发明涉及图像处理与分析领域，特别涉及一种基于多源动态数据的自适应辅助决策智能方法及系统。
背景技术
随着军事变革的继续深入，武器装备等硬件快速升级，主要体现为作战装备移动速度快和各类传感器传输速度快两个方面。这两个方面使得现代化战场具有数据量庞大和数据时效性强的特征。同时，在计算机、网络和通信技术发展的牵引下，现代化战争中填充的各类信息越来越庞杂。因此，如何充分且有效地利用战场信息，从而做出正确的决策，在现代化战争中越来越重要。
指挥员未来需要运用跨媒体数据融合技术，从海量数据中快速发掘支撑作战指挥决策的关键信息，极大的提升情况研判、趋势预测、方案评估、行动管控等能力。面对数量庞大且变化迅速的数据，决策者如果无法及时获取有效信息，那么就无法根据当前战场态势做出合适的决策。如图1所示，随着时间的推进，人处理数据的能力、装备移动的速度和传感器的能力三者的差距越来越大。和武器装备能力的变化相比，人处理数据的能力是有限的，因此需要利用计算机和人工智能技术辅助决策者做出决策。当代各类传感器(雷达传感器、红外传感器、视觉传感器)精度高、速度快，可以提供高质量的多源数据。基于深度学习的图像处理与分析算法具备从海量数据实时获取有效信息并做出推理的能力，能够帮助决策者统筹全局信息，辅助决策者做出决定。
为了解决以上面临的决策问题，本发明提出了一种基于多源动态数据的自适应辅助决策智能方法及其系统。该方法及系统可自适应地利用实时数据，挖掘关键数据，结合军事知识库，提供有效信息；同时，该方法及系统联合多源数据，对战场态势进行实时建模，为指挥人员提供直观的战场态势；最后，方法及系统基于历史信息，能够估计敌方目标轨迹，从而对未来战场态势做出预测。综上，本发明能够基于实时数据，自适应地处理和分析战场态势，辅助指挥人员决策。
发明内容
本发明提供了一种基于多源动态数据的自适应辅助决策智能方法及系统，旨在利用多源数据，实时提供战场态势信息，辅助指挥人员决策。
该基于多源动态数据的自适应辅助决策智能方法，包括以下步骤：
步骤101：多源数据获取与处理。本发明所涉及的数据包括两类：1)静态数据；静态数据指军事知识库，例如战机型号、坦克型号、枪械类型等。静态数据的目的是将战场实时获取的数据转换为可理解的信息。2)动态数据；动态数据指作战装备通过各类传感器(雷达传感器、红外传感器、视觉传感器)实时获取的战场数据。动态数据是辅助决策系统对战场态势建模的信息来源。本发明使用的数据处理步骤包括：1)数据清洗；2)数据标准化；3)专家标注；4)数据存储。数据获取与处理过程见图3；
所述多源数据获取与处理包括：
通过己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据；收集到的数据经过数据清洗和数据格式标准化，得到具有统一尺寸的RGB图像，作为动态数据并表示为Xd；同时，由专家收集整理并完成标注的军事知识，即装备图及描述信息构成静态数据，并表示为(Xs,Ys)；动态数据和静态数据分别进行数据存储。
步骤102：有效信息挖掘，即使用视觉-语言模型提取目标特征，基于位置引导的视觉特征融合模块，融合多源数据特征，实现目标识别。如图4所示，基于微调后的视觉-语言模型的文本编码器和视觉编码器，分别对静态数据和标准化后的动态数据进行编码，获得文本及图像特征；如图5所示，利用位置引导的视觉特征融合模块，将同一目标的不同源数据特征融合；如图6所示，将融合后的视觉特征与军事知识库对应的文本特征结合，利用识别模块(包括相似度计算和目标识别)确定目标及目标信息。有效信息挖掘整体过程如图7所示。
所述的基于微调后的视觉-语言模型是指一种特征编码器，为微调后的CLIP模型；CLIP模型是在4亿图像-文本对上进行了预训练的视觉-语言模型，其视觉和文本编码器具有强力的特征编码能力；为了消除在应用特征编码器时可能存在的特征偏差，首先利用静态数据(Xs,Ys)对预训练的视觉-语言模型进行模型微调。微调模型使用目标函数为公式(1)：
其中，M为静态数据量，(xi，yi)∈(Xs，Ys)，Ev和Et分别表示CLIP模型中的视觉编码器和文本编码器。
所述的对静态数据和标准化后的动态数据进行编码包括：
对于输入的动态数据xd∈Xd，使用视觉编码器Ev对其进行特征提取，如公式(2)；对于输入的静态数据ys∈Ys，使用文本编码器Et对其进行特征提取，如公式(3)；
Id＝Ev(xd) (2)
Ts＝Et(ys) (3)
其中，Id表示编码后的图像特征向量，Ts表示编码后的文本特征向量；视觉编码器和文本编码器分别由Vision Transformer和Text Transformer实现；Vision Transformer和Text Transformer分别由Lv层和Lt层Transformer Block组成，每一个TransformerBlock由一层Layer Normalization、一层多头自注意力模块、一层多层感知机，一层LayerNormalization组成；对于视觉编码器的输入xinput，Transformer Block对其处理过程如下：
z′l＝MSA(LN(zl-1))+zl-1 l＝1...L (5)
zl＝MLP(LN(z′l))+z′l l＝1...L (6)
xout＝LN(zl) (7)
其中，E表示全连接层，Epos表示位置编码，L表示Transformer Block数目，z为各网络的输出，z0表示全连接层E编码后的图像特征，z′l表示多头自注意力模块处理后的特征，zl表示感知机处理后的特征；xcls为类别编码，用于融合整个输入图像的信息；MSA表示多头自注意力模块，其计算方式为公式(8)；MLP表示多层感知机；LN表示Layer Normalization；
MSA(Q，K，V)＝Concat(head1，...，headh)WO (8)
其中，将整个图像特征按照通道维度拆分成h部分，表示为head1～headh，Qi,Ki,Vi分别表示第i个head的Query，Key和Value，表示归一化项，WO为输出变换矩阵，Concat表示拼接操作，MSA表示多头自注意力模块，softmax为归一化操作。
所述的同一目标不同源数据的特征融合包括：
针对同一目标的不同源数据特征，使用基于位置的特征融合模块进行特征融合，融合策略如公式(10)所示：
其中，MLP表示多层感知机，Concat表示将特征按照channel方向拼接；表示融合后的特征，/>表示属于位置k的第1个数据源特征，同理，/>表示属于位置k的第n个数据源特征，n的最大值为N，即多层感知机的层数。
所述的相似度计算包括：
输入编码后的视觉特征Id和文本特征Ts，计算两种特征的余弦相似度，计算公式如(11)：
||表示向量的模，sij表示视觉特征与文本特征/>的相似度，/>为第i个融合后的图像特征，/>为第j个文本特征。
所述的目标识别包括：
将识别目标(视觉特征)和所有文本特征/>计算相似度后进行目标识别，使用arg max函数获取与识别目标相似度最大的类别Oi：
数据库中预先加载了所有目标类型的索引，该索引下对应所有目标类型的顺序排列。通过目标识别得到相似度最大的类别Oi，对照该索引即可获得目标的类别。
由于模型使用视觉特征和文本特征计算相似度，因此，可以通过不断扩充静态数据库中的数据规模，增大静态数据量M，从而实现新类别目标的识别。
步骤103：基于战场态势可视化和战场态势预测结果，做出决策。
首先，使用场景生成技术进行战场态势可视化。基于系统使用方作战目标位置信息和识别到的敌方目标信息，进行双方作战目标的可视化建模，建模的目的是直观地提供双方作战单位的布局和战力对比，辅助决策者了解当前时刻的战场态势，有助于决策者统筹全局信息，及时做出正确决策。可视化过程见图8。
然后，进行战场态势预测。基于敌方各目标的历史信息，使用序列模型，对敌方目标的未来轨迹做出预测，从而获得未来一段时间敌方目标的布局。根据预测结果，决策者可以提前做出战略决策。预测过程见图9。
所述的战场态势可视化包括：
针对己方作战准备，已知其位置和类别，可以直接使用；针对敌方目标，通过步骤102可以获得其位置和类别；基于这两种信息，通过数据标准化，将目标类别和位置转换成文本特征，然后将文本特征输入基于文本的三维生成模型MAV3D，生成t时刻三维场景Scenet：
Scenet＝MAW3D(T敌,T己) (13)
其中，T敌和T己分别表示敌方目标和己方目标信息的文本特征，MAV3D表示基于文本的三维场景生成模型，为MetaAI开源模型。
所述的战场态势预测包括：
基于所获取敌方目标前m时刻的位置信息，使用时序模型预测下一时刻目标的位置信息；预测过程如以下公式所示：
其中，表示第d个目标t时刻的位置，/>表示第d个目标t时刻的位置特征，Ea表示位置编码器，使用全连接层实现；P表示位置预测模块，使用全连接层实现；Transformer函数表示用于融合前m个时刻位置信息的网络，经过(14)-(16)公式后，可以基于前m时刻目标d的位置信息，预测出其m+1时刻的位置信息。
基于多源动态数据的自适应辅助决策智能方法的系统流程如图10所示。
一种基于多源动态数据的自适应辅助决策智能方法及系统，包括多源数据获取与处理模块、有效信息挖掘模块、战场态势可视化模块和战场态势预测模块。
其中，多源数据获取与处理模块连接己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据，并进行数据清洗和数据格式标准化；
有效信息挖掘模块以图像处理服务器和远程数据库为依托，加载有效信息挖掘方法，用于将同一目标的多源数据的数据特征融合起来，达到更高效、更精确的目标识别，从而实现将大数据转化为有效信息的目标；
战场态势可视化模块以图像处理服务器和远程数据库为依托，加载战场态势可视化方法，用于将战场形式即己方目标和敌方目标的数量和位置以三维形式展现出来，提供更加直观的战场布局；
战场态势预测模块以计算服务器为依托，加载战场态势预测方法，充分挖掘历史信息，根据目标的历史位置预测未来位置，提供未来战场的形势。
与现有技术相比，本发明的有益效果是：
本发明提出了一种基于多源动态数据的自适应辅助决策智能方法及系统，可以充分利用不同传感器的数据，在海量数据中挖掘有效信息，并且基于获得的有效信息可视化战场态势，同时能够对未来战场态势做出预测，实现了减轻决策者处理数据的负担，起到了辅助决策者决策的作用。其优点如下：
(1)基于微调后的视觉-语言模型进行特征提取，在保证模型特征抽取能力的同时，消除了所提取特征可能存在的偏差性，提高了系统的鲁棒性。
(2)本发明设计的基于位置(己方目标)的多源数据特征融合模块，可以有效地融合不同维度的特征，提高系统对敌方目标的识别准确率，消除由于噪音带来的误识别，提高了系统的稳定性和可靠性。
(3)通过视觉特征和文本特征匹配，模型具有识别新类别目标的能力，更加符合实际应用场景。
(4)相较于传统的文本信息，本系统提供的可视化功能可以提供更直观的战场态势信息，缩短了决策者理解信息的时间，加快了决策者的决策过程。
(5)系统中的序列预测模型可以有效结合历史信息，对未来战场态势做出预估，使得决策者在做出决策时可以将未来可能的突发状况考虑在范围内，从而提高决策的准确性和有效性。
附图说明
图1是本发明提供的人类与武器装备能力变化对比图。
图2是本发明提供的基于多源数据进行辅助决策的基本流程示意图。
图3是本发明提供的多源数据获取与处理流程图。
图4是本发明提供的基于视觉-语言模型的特征编码示意图。
图5是本发明提供的基于位置引导的视觉特征融合模块示意图。
图6是本发明提供的基于多模态数据的目标识别模块示意图。
图7是本发明提供的有效信息挖掘整体流程图。
图8是本发明提供的基于场景生成技术的战场态势可视化示意图。
图9是本发明提供的基于序列模型的敌方目标轨迹预测示意图。
图10是本发明提供的基于多源动态数据的自适应辅助决策智能方法及系统整体流程图。
图11是本发明提供的基于多源动态数据的自适应辅助决策智能方法的简化步骤图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实例的一种基于多源动态数据的自适应辅助决策智能方法及系统。
图2为决策过程示意图，说明了决策者在辅助决策系统协助下，可以通过数据生成、信息生成和决策生成三个步骤，将海量的传感器采集动态数据和军事知识等静态数据转化为有效信息，并依据有效信息做出决策的整体过程。
图10为本发明实例所提供的一种基于多源动态数据的自适应辅助决策智能方法及系统流程示意图。该系统包括步骤如图11所示，具体包括：
步骤101：数据获取与处理
如图3所示，通过己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据。收集到的数据经过数据清洗和数据格式标准化，得到具有统一尺寸的RGB图像，作为动态数据并表示为Xd。同时，由专家收集整理并完成标注的军事知识，即装备图及描述信息构成静态数据，并表示为(Xs，Ys)。动态数据和静态数据分别进行数据存储。
步骤102：有效信息挖掘
图7为本发明提供的辅助决策模型有效信息挖掘部分流程图，该流程包括以下步骤：
(1)模型微调
本发明所使用的特征编码器为微调后的CLIP模型，CLIP模型是在4亿图像-文本对上进行了预训练的视觉-语言模型，其视觉和文本编码器具有强力的特征编码能力。为了消除在应用特征编码器时可能存在的特征偏差，如图4所示，首先利用静态数据(Xs，Ys)对预训练的视觉-语言模型进行模型微调。微调模型使用目标函数为公式(1)：
其中，M为静态数据量，为静态数据中同时包含(装备图+描述信息)数据对的数据对总数，(xi，yi)∈(Xs，Ys)，Ev和Et分别表示CLIP模型中的视觉编码器和文本编码器，后文将使用Ev和Et表示微调后的视觉编码器和文本编码器。
(2)特征编码
如图4所示，图中条形方格结构表示特征向量。将微调后的视觉-语言模型应用特征编码中，即对于输入的动态数据xd∈Xd，使用视觉编码器Ev对其进行特征提取，如公式(2)；对于输入的静态数据ys∈Ys，使用文本编码器Et对其进行特征提取，如公式(3)。
Id＝Ev(xd) (2)
Ts＝Et(ys) (3)
其中，Id表示编码后的图像特征向量，Ts表示编码后的文本特征向量。
视觉编码器Ev和文本编码器Et分别由Vision Transformer和Text Transformer实现。Vision Transformer和Text Transformer分别由Lv层和Lt层Transformer Block组成，每一个Transformer Block由一层Layer Normalization(LN)、一层多头自注意力模块、一层多层感知机、一层LayerNormalization组成。对于视觉编码器的输入xinput，TransformerBlock对其处理过程如下：
z′l＝MSA(LN(zl-1))+zl-1 l＝1...L (5)
zl＝MLP(LN(z′l))+z′l l＝1...l (6)
xout＝LN(zl) (7)
其中，E表示全连接层，Epos表示位置编码，L表示Transformer Block数目。z为各网络的输出，z0表示全连接层E编码后的图像特征，z′l表示多头自注意力模块处理后的特征，zl表示感知机处理后的特征；xcls为类别编码，用于融合整个输入图像的信息。MSA表示多头自注意力模块，其计算方式为公式(8)；MLP表示多层感知机；LN表示LayerNormalization。
MSA(Q,K,V)＝Concat(head1,...,headh)WO (8)
其中，将整个图像特征按照通道维度拆分成h部分，表示为head1～headh，Qi,Ki,Vi分别表示第i个head的Query，Key和Value，表示归一化项。WO为输出变换矩阵，Concat表示拼接操作，MSA表示多头自注意力模块，softmax为归一化操作。
(3)特征融合
如图5所示，图中条形方格结构表示特征向量，针对同一目标的不同源数据特征，使用基于位置的视觉特征融合模块进行特征融合，融合策略如公式(10)所示：
其中，MLP表示多层感知机，Concat表示将特征按照channel方向拼接；表示融合后的特征，/>表示属于位置k的第1个数据源特征，同理，/>表示属于位置k的第n个数据源特征，n的最大值为N，即多层感知机的层数。融合了不同数据源后的特征具有更丰富的特征信息，可以提高后续模型识别目标的准确率。
以图5为例，图中1、2表示获取数据的地理位置编号，每个位置各有2个不同数据源，即n＝2；具有相同位置编号的信息可以进行融合，因此，同一目标的数据由于位置k不同，图中输入4个向量，经特征融合后得到2个向量。
(4)相似度计算
如图6所示，图中条形方格结构表示特征向量，输入编码后的视觉特征Id和文本特征Ts进行相似度计算，计算两种特征的余弦相似度，计算公式如(11)：
||表示向量的模，sij表示视觉特征与文本特征/>的相似度，/>为第i个融合后的图像特征，/>为第j个文本特征。
(5)目标识别
如图6所示，将识别目标(视觉特征)和所有文本特征/>计算相似度后进行目标识别，即使用arg max函数获取与识别目标相似度最大的类别Oi。
数据库中预先加载了所有目标类型(如直升机、无人机、歼击机等)的索引，该索引下对应所有目标类型的顺序排列。通过目标识别得到相似度最大的类别Oi，对照该索引即可获得目标的类别。
由于模型使用视觉特征和文本特征计算相似度，因此，可以通过不断扩充静态数据库中的数据规模，增大静态数据量M，从而实现新类别目标的识别。
步骤103：
(1)战场态势可视化
针对己方作战准备，已知其位置和类别，可以直接使用；针对敌方目标，通过步骤102可以获得其位置和类别。如图8所示，基于这两种信息，通过数据标准化，将目标类别和位置转换成文本特征，然后将文本特征输入基于文本的三维生成模型MAV3D，生成t时刻三维场景Scenet。
Scenet＝MAV3D(T敌,T己) (13)
其中，T敌和T己分别表示敌方目标和己方目标信息的文本特征，MAV3D表示基于文本的三维场景生成模型，为MetaAI开源模型。图8中展示了三维场景中包含了直升机、无人机、坦克等目标的类型和位置信息。
(2)战场态势预测
除了了解当前战场局势，对未来局势的预测能够帮助决策者把握未来战场态势的发展动向，辅助决策者更全面的做出决策。如图9所示，图中条形方格结构表示特征向量，基于步骤102中所获取敌方目标前m时刻的位置信息，使用时序模型预测下一时刻目标的位置信息。预测过程如以下公式所示。
其中，表示第d个目标t时刻的位置，/>表示第d个目标t时刻的位置特征，Ea表示位置编码器，使用全连接层实现。P表示位置预测模块，使用全连接层实现。Transformer函数表示用于融合前m个时刻位置信息的网络，经过(14)-(16)公式后，可以基于前m时刻目标d的位置信息，预测出其m+1时刻的位置信息。图9事例中m＝6，各个时刻从前往后依次表示为t1、t2、t3、t4、t5和t6，前6个时刻的目标特征向量通过时序模型，得到了下一个时刻的目标预测模型，即获得了目标在t7时刻的位置信息。
综上，本发明提供的辅助决策系统能够通过步骤101-步骤103利用战场大数据，实时挖掘有效信息，辅助决策者进行可靠决策。
Claims (3)
1.一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，包括：
步骤101：多源数据获取与处理；处理数据包括静态数据和动态数据；数据处理包括数据清洗、数据标准化、专家标注和数据存储；
所述多源数据获取与处理包括：通过己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据；收集到的数据经过数据清洗和数据格式标准化，得到具有统一尺寸的RGB图像，作为动态数据并表示为Xd；同时，由专家收集整理并完成标注的军事知识，即装备图及描述信息构成静态数据，并表示为(Xs,Ys)；动态数据和静态数据分别进行数据存储；
步骤102：有效信息挖掘，即使用视觉-语言模型提取目标特征，基于位置引导的视觉特征融合模块，融合多源数据特征，实现目标识别；基于微调后的视觉-语言模型的文本编码器和视觉编码器，分别对静态数据和标准化后的动态数据进行编码，获得文本及图像特征；利用位置引导的视觉特征融合模块，将同一目标的不同源数据特征融合；将融合后的视觉特征与军事知识库对应的文本特征结合，利用识别模块确定目标及目标信息，识别模块包括相似度计算和目标识别；
所述的基于微调后的视觉-语言模型是指一种特征编码器，为微调后的CLIP模型；CLIP模型是在4亿图像-文本对上进行了预训练的视觉-语言模型；为了消除在应用特征编码器时可能存在的特征偏差，首先利用静态数据(Xs,Ys)对预训练的视觉-语言模型进行模型微调，微调模型使用目标函数为公式(1)：
其中，M为静态数据量，(xi,yi)∈(Xs,Ys)，Ev和Et分别表示CLIP模型中的视觉编码器和文本编码器；
所述的对静态数据和标准化后的动态数据进行编码包括：对于输入的动态数据xd∈Xd，使用视觉编码器Ev对其进行特征提取，如公式(2)；对于输入的静态数据ys∈Ys，使用文本编码器Et对其进行特征提取，如公式(3)；
Id＝Ev(xd) (2)
TS＝Et(ys) (3)
其中，Id表示编码后的图像特征向量，Ts表示编码后的文本特征向量；视觉编码器和文本编码器分别由Vision Transformer和Text Transformer实现；Vision Transformer和Text Transformer分别由Lv层和Lt层Transformer Block组成，每一个Transformer Block由一层Layer Normalization、一层多头自注意力模块、一层多层感知机，一层LayerNormalization组成；对于视觉编码器的输入xinput，Transformer Block对其处理过程如下：
z′l＝MSA(LN(zl-1))+zl-1 l＝1...L (5)
zl＝MLP(LN(z′l))+z′l l＝1...L (6)
xout＝LN(zl) (7)
其中，E表示全连接层，Epos表示位置编码，L表示Transformer Block数目，z为各网络的输出，z0表示全连接层E编码后的图像特征，z′l表示多头自注意力模块处理后的特征，zl表示感知机处理后的特征；xcls为类别编码，用于融合整个输入图像的信息；MSA表示多头自注意力模块，其计算方式为公式(8)；MLP表示多层感知机；LN表示Layer Normalization；
MSA(Q,K,V)＝Concat(head1，...，headh)WO (8)
其中，将整个图像特征按照通道维度拆分成h部分，表示为head1～headh，Qi,Ki,Vi分别表示第i个head的Query，Key和Value，表示归一化项，WO为输出变换矩阵，Concat表示拼接操作，MSA表示多头自注意力模块，softmax为归一化操作；
所述的同一目标不同源数据的特征融合包括：针对同一目标的不同源数据特征，使用基于位置的特征融合模块进行特征融合，融合策略如公式(10)所示：
其中，MLP表示多层感知机，Concat表示将特征按照channel方向拼接；表示融合后的特征，/>表示属于位置k的第1个数据源特征，同理，/>表示属于位置k的第n个数据源特征，n的最大值为N，即多层感知机的层数；
所述的相似度计算包括：输入编码后的视觉特征Id和文本特征Ts，计算两种特征的余弦相似度，计算公式如(11)：
||表示向量的模，sij表示视觉特征与文本特征/>的相似度，/>为第i个融合后的图像特征，/>为第j个文本特征；
所述的目标识别包括：将识别目标视觉特征和所有文本特征/>计算相似度后，使用arg max函数获取与识别目标相似度最大的类别Oi：
数据库中预先加载了所有目标类型的索引，该索引下对应所有目标类型的顺序排列，通过目标识别得到相似度最大的类别Oi，对照该索引即可获得目标的类别；
由于模型使用视觉特征和文本特征计算相似度，因此，可以通过不断扩充静态数据库中的数据规模，增大静态数据量M，从而实现新类别目标的识别；
步骤103：基于战场态势可视化和战场态势预测结果，做出决策；
首先，使用场景生成技术进行战场态势可视化；基于系统使用方作战目标位置信息和识别到的敌方目标信息，进行双方作战目标的可视化建模，建模的目的是直观地提供双方作战单位的布局和战力对比，辅助决策者了解当前时刻的战场态势，有助于决策者统筹全局信息，及时做出正确决策；
然后，进行战场态势预测；基于敌方各目标的历史信息，使用序列模型，对敌方目标的未来轨迹做出预测，从而获得未来一段时间敌方目标的布局；根据预测结果，决策者提前做出战略决策。
2.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，步骤103中所述的战场态势可视化包括：
针对己方作战准备，已知其位置和类别，直接使用；针对敌方目标，通过步骤102获得其位置和类别；基于这两种信息，通过数据标准化，将目标类别和位置转换成文本特征，然后将文本特征输入模型MAV3D，生成t时刻三维场景Scenet：
Scenet＝MAV3D(T敌，T己) (13)
其中，T敌和T己分别表示敌方目标和己方目标信息的文本特征，MAV3D表示基于文本的三维场景生成模型。
3.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，步骤103中所述的战场态势预测包括：
基于所获取敌方目标前m时刻的位置信息，使用时序模型预测下一时刻目标的位置信息；预测过程如以下公式所示：
其中，表示第d个目标t时刻的位置，/>表示第d个目标t时刻的位置特征，Ea表示位置编码器，使用全连接层实现；P表示位置预测模块，使用全连接层实现；Transformer函数表示用于融合前m个时刻位置信息的网络，经过(14)-(16)公式后，基于前m时刻目标d的位置信息，预测出其m+1时刻的位置信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311107462.9A CN116842127B (zh) | 2023-08-31 | 2023-08-31 | 一种基于多源动态数据的自适应辅助决策智能方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311107462.9A CN116842127B (zh) | 2023-08-31 | 2023-08-31 | 一种基于多源动态数据的自适应辅助决策智能方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116842127A CN116842127A (zh) | 2023-10-03 |
| CN116842127B true CN116842127B (zh) | 2023-12-05 |
Family
ID=88163825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311107462.9A Active CN116842127B (zh) | 2023-08-31 | 2023-08-31 | 一种基于多源动态数据的自适应辅助决策智能方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116842127B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117435918B (zh) * | 2023-12-20 | 2024-03-15 | 杭州市特种设备检测研究院(杭州市特种设备应急处置中心) | 一种基于空间注意力网络与特征划分的电梯风险预警方法 |
| CN117951648B (zh) * | 2024-03-26 | 2024-06-07 | 成都正扬博创电子技术有限公司 | 一种机载多源信息融合方法及系统 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107390706A (zh) * | 2017-07-26 | 2017-11-24 | 北京航空航天大学 | 一种基于预演机动规则系统的无人机近距格斗决策方法 |
| CN107748502A (zh) * | 2017-11-02 | 2018-03-02 | 北京华如科技股份有限公司 | 基于离散事件的作战仿真中实体的被动空间感知交互方法 |
| CN110866887A (zh) * | 2019-11-04 | 2020-03-06 | 深圳市唯特视科技有限公司 | 一种基于多传感器的目标态势融合感知方法和系统 |
| CN112509056A (zh) * | 2020-11-30 | 2021-03-16 | 中国人民解放军32181部队 | 一种动态战场环境实时路径规划系统及方法 |
| CN112966912A (zh) * | 2021-02-25 | 2021-06-15 | 李昌玺 | 一种战场态势实时更新算法 |
| CN113255916A (zh) * | 2021-05-31 | 2021-08-13 | 成都卡莱博尔信息技术股份有限公司 | 作战知识系统的使用方法、作战决策辅助方法 |
| CN113283110A (zh) * | 2021-06-11 | 2021-08-20 | 中国人民解放军国防科技大学 | 一种用于智能化对抗仿真推演的态势感知方法 |
| CN113657450A (zh) * | 2021-07-16 | 2021-11-16 | 中国人民解放军陆军炮兵防空兵学院 | 基于注意机制的陆战场图像-文本跨模态检索方法及其系统 |
| CN113887865A (zh) * | 2021-08-30 | 2022-01-04 | 北京遥测技术研究所 | 一种面向高分辨遥感卫星的地面运营与应用一体化系统 |
| CN115116066A (zh) * | 2022-06-17 | 2022-09-27 | 复旦大学 | 一种基于字符距离感知的场景文本识别方法 |
| CN115396484A (zh) * | 2022-08-18 | 2022-11-25 | 西北工业大学 | 基于网络传输的多层级态势信息分发生成方法 |
| CN115545018A (zh) * | 2022-10-14 | 2022-12-30 | 人民网股份有限公司 | 一种多模态多粒度实体识别系统及实体识别方法 |
| CN115796042A (zh) * | 2022-12-07 | 2023-03-14 | 中国电子科技集团公司第十研究所 | 一种面向电子侦察的智能博弈对抗推演系统及方法 |
| CN115878811A (zh) * | 2022-10-31 | 2023-03-31 | 北京计算机技术及应用研究所 | 一种基于事理图谱的军事情报智能分析及推演方法 |
| CN116308944A (zh) * | 2022-12-30 | 2023-06-23 | 应急管理部大数据中心 | 一种面向应急救援的数字战场实战指控平台及架构 |
| CN116340876A (zh) * | 2023-01-06 | 2023-06-27 | 苏州航遥启程科技有限公司 | 一种局域多源数据融合的空间目标态势感知方法 |
| CN116360503A (zh) * | 2023-05-31 | 2023-06-30 | 北京航空航天大学 | 一种无人机博弈对抗策略生成方法、系统及电子设备 |
| CN116543076A (zh) * | 2023-07-06 | 2023-08-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN116663384A (zh) * | 2022-12-30 | 2023-08-29 | 南京星耀智能科技有限公司 | 一种战场任务规划背景下的目标轨迹预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080319798A1 (en) * | 2007-06-20 | 2008-12-25 | Kelley James M | Personalized medical information card and method for managing same |
| US8571263B2 (en) * | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
-
2023
- 2023-08-31 CN CN202311107462.9A patent/CN116842127B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107390706A (zh) * | 2017-07-26 | 2017-11-24 | 北京航空航天大学 | 一种基于预演机动规则系统的无人机近距格斗决策方法 |
| CN107748502A (zh) * | 2017-11-02 | 2018-03-02 | 北京华如科技股份有限公司 | 基于离散事件的作战仿真中实体的被动空间感知交互方法 |
| CN110866887A (zh) * | 2019-11-04 | 2020-03-06 | 深圳市唯特视科技有限公司 | 一种基于多传感器的目标态势融合感知方法和系统 |
| CN112509056A (zh) * | 2020-11-30 | 2021-03-16 | 中国人民解放军32181部队 | 一种动态战场环境实时路径规划系统及方法 |
| CN112966912A (zh) * | 2021-02-25 | 2021-06-15 | 李昌玺 | 一种战场态势实时更新算法 |
| CN113255916A (zh) * | 2021-05-31 | 2021-08-13 | 成都卡莱博尔信息技术股份有限公司 | 作战知识系统的使用方法、作战决策辅助方法 |
| CN113283110A (zh) * | 2021-06-11 | 2021-08-20 | 中国人民解放军国防科技大学 | 一种用于智能化对抗仿真推演的态势感知方法 |
| CN113657450A (zh) * | 2021-07-16 | 2021-11-16 | 中国人民解放军陆军炮兵防空兵学院 | 基于注意机制的陆战场图像-文本跨模态检索方法及其系统 |
| CN113887865A (zh) * | 2021-08-30 | 2022-01-04 | 北京遥测技术研究所 | 一种面向高分辨遥感卫星的地面运营与应用一体化系统 |
| CN115116066A (zh) * | 2022-06-17 | 2022-09-27 | 复旦大学 | 一种基于字符距离感知的场景文本识别方法 |
| CN115396484A (zh) * | 2022-08-18 | 2022-11-25 | 西北工业大学 | 基于网络传输的多层级态势信息分发生成方法 |
| CN115545018A (zh) * | 2022-10-14 | 2022-12-30 | 人民网股份有限公司 | 一种多模态多粒度实体识别系统及实体识别方法 |
| CN115878811A (zh) * | 2022-10-31 | 2023-03-31 | 北京计算机技术及应用研究所 | 一种基于事理图谱的军事情报智能分析及推演方法 |
| CN115796042A (zh) * | 2022-12-07 | 2023-03-14 | 中国电子科技集团公司第十研究所 | 一种面向电子侦察的智能博弈对抗推演系统及方法 |
| CN116308944A (zh) * | 2022-12-30 | 2023-06-23 | 应急管理部大数据中心 | 一种面向应急救援的数字战场实战指控平台及架构 |
| CN116663384A (zh) * | 2022-12-30 | 2023-08-29 | 南京星耀智能科技有限公司 | 一种战场任务规划背景下的目标轨迹预测方法 |
| CN116340876A (zh) * | 2023-01-06 | 2023-06-27 | 苏州航遥启程科技有限公司 | 一种局域多源数据融合的空间目标态势感知方法 |
| CN116360503A (zh) * | 2023-05-31 | 2023-06-30 | 北京航空航天大学 | 一种无人机博弈对抗策略生成方法、系统及电子设备 |
| CN116543076A (zh) * | 2023-07-06 | 2023-08-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Automatic Recognition of Offensive Team Formation in American Football Plays;Narendra Ahuja等;2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops;991-998页 * |
| 民防综合态势图系统设计与实现;张叶;张兴晔;周海;;电子技术与软件工程(第11期);199-201页 * |
| 移动终端实时态势综合标绘系统的设计与实现;柳杨;郭蕊;;大众科技;第19卷(第03期);16-19+46页 * |
| 面向多源数据的军事信息系统设计;李卫星;王峰;李智国;李思阳;;中国电子科学研究院学报;第15卷(第03期);237-243页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116842127A (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116842127B (zh) | 一种基于多源动态数据的自适应辅助决策智能方法及系统 | |
| CN114926746B (zh) | 基于多尺度差分特征注意力机制的sar图像变化检测方法 | |
| CN111709410B (zh) | 一种强动态视频的行为识别方法 | |
| EP3671555A1 (en) | Object shape regression using wasserstein distance | |
| CN115223082A (zh) | 一种基于时空多尺度Transformer的航拍视频分类方法 | |
| KR102349854B1 (ko) | 표적 추적 시스템 및 방법 | |
| CN113516133B (zh) | 一种多模态图像分类方法及系统 | |
| CN113869170B (zh) | 一种基于图划分卷积神经网络的行人轨迹预测方法 | |
| CN114239935A (zh) | 一种针对非均匀轨迹序列的预测方法 | |
| CN112489119A (zh) | 一种增强可靠性的单目视觉定位方法 | |
| CN115131580B (zh) | 基于注意力机制的空间目标小样本识别方法 | |
| CN112348033A (zh) | 一种协同显著性目标检测方法 | |
| CN116663384A (zh) | 一种战场任务规划背景下的目标轨迹预测方法 | |
| CN111354028B (zh) | 基于双目视觉的输电通道隐患物识别追踪方法 | |
| CN116258744A (zh) | 基于可见光、红外和激光雷达数据融合的目标跟踪方法 | |
| CN117977576A (zh) | 一种基于多尺度历史负荷数据的台区负荷预测方法 | |
| CN115393404A (zh) | 双光图像配准方法、装置及设备、存储介质 | |
| CN117315617A (zh) | 基于师徒模式的网络优化方法、系统、电子设备及介质 | |
| CN113221450B (zh) | 一种针对稀疏不均匀时序数据的航位预测方法及系统 | |
| CN114663796A (zh) | 一种目标人物持续跟踪方法、装置及系统 | |
| CN116543283B (zh) | 一种考虑模态不确定性的多模态目标检测方法 | |
| CN117475080A (zh) | 基于多源信息融合的战场目标三维重建与毁伤评估方法 | |
| CN117237411A (zh) | 一种基于深度学习的行人多目标跟踪方法 | |
| CN116958027A (zh) | 三维工业异常检测方法、装置、存储介质及电子设备 | |
| Xu et al. | Learning to generalize aerial person re‐identification using the meta‐transfer method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |