CN116842127A - 一种基于多源动态数据的自适应辅助决策智能方法及系统 - Google Patents

一种基于多源动态数据的自适应辅助决策智能方法及系统 Download PDF

Info

Publication number
CN116842127A
CN116842127A CN202311107462.9A CN202311107462A CN116842127A CN 116842127 A CN116842127 A CN 116842127A CN 202311107462 A CN202311107462 A CN 202311107462A CN 116842127 A CN116842127 A CN 116842127A
Authority
CN
China
Prior art keywords
data
target
text
representing
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311107462.9A
Other languages
English (en)
Other versions
CN116842127B (zh
Inventor
王丽婷
陈青华
宋超
郑晓梅
吕晓峰
路翠华
李福强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naval Aeronautical University
Original Assignee
Naval Aeronautical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naval Aeronautical University filed Critical Naval Aeronautical University
Priority to CN202311107462.9A priority Critical patent/CN116842127B/zh
Publication of CN116842127A publication Critical patent/CN116842127A/zh
Application granted granted Critical
Publication of CN116842127B publication Critical patent/CN116842127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于多源动态数据的自适应辅助决策智能方法及系统。包括：多源数据获取与处理模块，用于对己方传感器设备、如雷达传感器、红外传感器和可见光传感器获得的动态数据以及专家标注后的静态数据进行预处理；有效信息挖掘模块，通过视觉‑语言模型获取图像特征和文本特征，并通过位置引导的特征融合模块将同一目标的多源数据对应的图像特征融合，利用文本特征和融合后的图像特征进行目标识别；战场态势可视化模块，基于己方目标及其位置信息以及所识别的敌方目标及其位置信息，利用三维场景重建模型对战场态势进行可视化；战场态势预测，利用网络结构，通过目标的历史位置信息，预测其未来时刻的位置信息，从而预测整个未来战场态势。

Description

一种基于多源动态数据的自适应辅助决策智能方法及系统
技术领域
本发明涉及图像处理与分析领域，特别涉及一种基于多源动态数据的自适应辅助决策智能方法及系统。
背景技术
随着军事变革的继续深入，武器装备等硬件快速升级，主要体现为作战装备移动速度快和各类传感器传输速度快两个方面。这两个方面使得现代化战场具有数据量庞大和数据时效性强的特征。同时，在计算机、网络和通信技术发展的牵引下，现代化战争中填充的各类信息越来越庞杂。因此，如何充分且有效地利用战场信息，从而做出正确的决策，在现代化战争中越来越重要。
指挥员未来需要运用跨媒体数据融合技术，从海量数据中快速发掘支撑作战指挥决策的关键信息，极大的提升情况研判、趋势预测、方案评估、行动管控等能力。面对数量庞大且变化迅速的数据，决策者如果无法及时获取有效信息，那么就无法根据当前战场态势做出合适的决策。如图1所示，随着时间的推进，人处理数据的能力、装备移动的速度和传感器的能力三者的差距越来越大。和武器装备能力的变化相比，人处理数据的能力是有限的，因此需要利用计算机和人工智能技术辅助决策者做出决策。当代各类传感器（雷达传感器、红外传感器、视觉传感器）精度高、速度快，可以提供高质量的多源数据。基于深度学习的图像处理与分析算法具备从海量数据实时获取有效信息并做出推理的能力，能够帮助决策者统筹全局信息，辅助决策者做出决定。
为了解决以上面临的决策问题，本发明提出了一种基于多源动态数据的自适应辅助决策智能方法及其系统。该方法及系统可自适应地利用实时数据，挖掘关键数据，结合军事知识库，提供有效信息；同时，该方法及系统联合多源数据，对战场态势进行实时建模，为指挥人员提供直观的战场态势；最后，方法及系统基于历史信息，能够估计敌方目标轨迹，从而对未来战场态势做出预测。综上，本发明能够基于实时数据，自适应地处理和分析战场态势，辅助指挥人员决策。
发明内容
本发明提供了一种基于多源动态数据的自适应辅助决策智能方法及系统，旨在利用多源数据，实时提供战场态势信息，辅助指挥人员决策。
该基于多源动态数据的自适应辅助决策智能方法，包括以下步骤：
步骤101：多源数据获取与处理。本发明所涉及的数据包括两类：1）静态数据；静态数据指军事知识库，例如战机型号、坦克型号、枪械类型等。静态数据的目的是将战场实时获取的数据转换为可理解的信息。2）动态数据；动态数据指作战装备通过各类传感器（雷达传感器、红外传感器、视觉传感器）实时获取的战场数据。动态数据是辅助决策系统对战场态势建模的信息来源。本发明使用的数据处理步骤包括：1）数据清洗；2）数据标准化；3）专家标注；4）数据存储；数据获取与处理过程见图3；
所述多源数据获取与处理包括：
通过己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据；收集到的数据经过数据清洗和数据格式标准化，得到具有统一尺寸的RGB图像，作为动态数据并表示为；同时，由专家收集整理并完成标注的军事知识，即装备图及描述信息构成静态数据，并表示为/>；动态数据和静态数据分别进行数据存储。
步骤102：有效信息挖掘，即使用视觉-语言模型提取目标特征，基于位置引导的视觉特征融合模块，融合多源数据特征，实现目标识别。如图4所示，基于微调后的视觉-语言模型的文本编码器和视觉编码器，分别对静态数据和标准化后的动态数据进行编码，获得文本及图像特征；如图5所示，利用位置引导的视觉特征融合模块，将同一目标的不同源数据特征融合；如图6所示，将融合后的视觉特征与军事知识库对应的文本特征结合，利用识别模块（包括相似度计算和目标识别）确定目标及目标信息。有效信息挖掘整体过程如图7所示。
所述的基于微调后的视觉-语言模型是指一种特征编码器，为微调后的CLIP模型；CLIP模型是在4亿图像-文本对上进行了预训练的视觉-语言模型，其视觉和文本编码器具有强力的特征编码能力；为了消除在应用特征编码器时可能存在的特征偏差，首先利用静态数据对预训练的视觉-语言模型进行模型微调。微调模型使用目标函数为公式：
；
其中，M为静态数据量，，/>和/>分别表示CLIP模型中的视觉编码器和文本编码器。
所述的对静态数据和标准化后的动态数据进行编码包括：
对于输入的动态数据，使用视觉编码器/>对其进行特征提取，如公式2；对于输入的静态数据/>，使用文本编码器/>对其进行特征提取，如公式3；
；
；
其中，表示编码后的图像特征向量，/>表示编码后的文本特征向量；视觉编码器和文本编码器分别由Vision Transformer和Text Transformer实现；Transformer网络分别由/>层和/>层Transformer Block组成，每一个Transformer Block由一层LayerNormalization、一层自注意力、一层多层感知机，一层Layer Normalization组成；对于输入/>，Transformer Block对其处理过程如下：
；
；
；
；
其中，表示全连接层，/>表示位置编码，/>表示Transformer Block数目，/>为各网络的输出，/>表示全连接层编码后的图像特征，/>表示多头自注意力模块处理后的特征，/>表示感知机处理后的特征；/>为类别编码，用于融合整个输入图像的信息；对于Vision Transformer和Text Transformer分别为/>和/>；/>表示多头自注意力模块，其计算方式为公式(8)；/>表示多层感知机；/>表示Layer Normalization；
；
；
其中，将整个图像特征按照通道维度拆分成h部分，表示为，分别表示第/>个head的Query，Key和Value，/>表示归一化项，/>为输出变换矩阵，/>表示拼接操作，/>表示多头自注意力操作，/>为归一化操作；视觉编码器和文本编码器均使用Transformer实现，因此对图像和文本的编码相同，以图像为例，基于公式（4）-（9）的编码过程为顺序执行N次公式（4）-（9）。
所述的同一目标不同源数据的特征融合包括：
针对同一目标的不同源数据特征，使用基于位置的特征融合模块进行特征融合，融合策略如公式（10）所示：
；
其中，表示多层感知机，/>表示将特征按照channel方向拼接；/>表示融合后的特征，/>表示属于位置/>的第1个数据源特征，同理，/>表示属于位置/>的第/>个数据源特征，/>的最大值为L，即多层感知机的层数。
所述的相似度计算包括：
输入编码后的视觉特征和文本特征/>，计算两种特征的余弦相似度，计算公式如（11）：
；
表示向量的模，/>表示视觉特征/>与文本特征/>的相似度，/>为第/>个融合后的图像特征，/>为第/>个文本特征。
所述的目标识别包括：
将识别目标（视觉特征）和所有文本特征/>计算相似度后进行目标识别，使用函数获取与识别目标相似度最大的类别/>：
；
数据库中预先加载了所有目标类型的索引，该索引下对应所有目标类型的顺序排列。通过目标识别得到相似度最大的类别，对照该索引即可获得目标的类别。
由于模型使用视觉特征和文本特征计算相似度，因此，可以通过不断扩充静态数据库中的数据规模，增大静态数据量，从而实现新类别目标的识别。
步骤103：基于战场态势可视化和战场态势预测结果，做出决策。
首先，使用场景生成技术进行战场态势可视化。基于系统使用方作战目标位置信息和识别到的敌方目标信息，进行双方作战目标的可视化建模，建模的目的是直观地提供双方作战单位的布局和战力对比，辅助决策者了解当前时刻的战场态势，有助于决策者统筹全局信息，及时做出正确决策。可视化过程见图8。
然后，进行战场态势预测。基于敌方各目标的历史信息，使用序列模型，对敌方目标的未来轨迹做出预测，从而获得未来一段时间敌方目标的布局。根据预测结果，决策者可以提前做出战略决策。预测过程见图9。
所述的战场态势可视化包括：
针对己方作战准备，已知其位置和类别，可以直接使用；针对敌方目标，通过步骤2可以获得其位置和类别；基于这两种信息，通过数据标准化，将目标类别和位置转换成文本特征，然后将文本特征输入基于文本的三维生成模型MAV3D，生成时刻三维场景/>：
；
其中，和/>分别表示敌方目标和己方目标信息的文本特征，/>表示基于文本的三维场景生成模型，为/>开源模型。
所述的战场态势预测包括：
基于所获取敌方目标前m时刻的位置信息，使用时序模型预测下一时刻目标的位置信息；预测过程如以下公式所示：
；
；
；
其中，表示第/>个目标/>时刻的位置，/>表示第/>个目标/>时刻的位置特征，表示位置编码器，使用全连接层实现；/>表示位置预测模块，使用全连接层实现；Transformer函数表示用于融合前/>个时刻位置信息的网络，经过(14)-（16）公式后，可以基于前/>时刻目标/>的位置信息，预测出其/>时刻的位置信息。
基于多源动态数据的自适应辅助决策智能方法的系统流程如图10所示。
一种基于多源动态数据的自适应辅助决策智能方法及系统，包括多源数据获取与处理模块、有效信息挖掘模块、战场态势可视化模块和战场态势预测模块。
其中，多源数据获取与处理模块连接己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据，并进行数据清洗和数据格式标准化；
有效信息挖掘模块以图像处理服务器和远程数据库为依托，加载有效信息挖掘方法，用于将同一目标的多源数据的数据特征融合起来，达到更高效、更精确的目标识别，从而实现将大数据转化为有效信息的目标；
战场态势可视化模块以图像处理服务器和远程数据库为依托，加载战场态势可视化方法，用于将战场形式即己方目标和敌方目标的数量和位置以三维形式展现出来，提供更加直观的战场布局；
战场态势预测模块以计算服务器为依托，加载战场态势预测方法，充分挖掘历史信息，根据目标的历史位置预测未来位置，提供未来战场的形势。
与现有技术相比，本发明的有益效果是：
本发明提出了一种基于多源动态数据的自适应辅助决策智能方法及系统，可以充分利用不同传感器的数据，在海量数据中挖掘有效信息，并且基于获得的有效信息可视化战场态势，同时能够对未来战场态势做出预测，实现了减轻决策者处理数据的负担，起到了辅助决策者决策的作用。其优点如下：
（1）基于微调后的视觉-语言模型进行特征提取，在保证模型特征抽取能力的同时，消除了所提取特征可能存在的偏差性，提高了系统的鲁棒性。
（2）本发明设计的基于位置（己方目标）的多源数据特征融合模块，可以有效地融合不同维度的特征，提高系统对敌方目标的识别准确率，消除由于噪音带来的误识别，提高了系统的稳定性和可靠性。
（3）通过视觉特征和文本特征匹配，模型具有识别新类别目标的能力，更加符合实际应用场景。
（4）相较于传统的文本信息，本系统提供的可视化功能可以提供更直观的战场态势信息，缩短了决策者理解信息的时间，加快了决策者的决策过程。
（5）系统中的序列预测模型可以有效结合历史信息，对未来战场态势做出预估，使得决策者在做出决策时可以将未来可能的突发状况考虑在范围内，从而提高决策的准确性和有效性。
附图说明
图1是本发明提供的人类与武器装备能力变化对比图。
图2是本发明提供的基于多源数据进行辅助决策的基本流程示意图。
图3是本发明提供的多源数据获取与处理流程图。
图4是本发明提供的基于视觉-语言模型的特征编码示意图。
图5是本发明提供的基于位置引导的视觉特征融合模块示意图。
图6是本发明提供的基于多模态数据的目标识别模块示意图。
图7是本发明提供的有效信息挖掘整体流程图。
图8是本发明提供的基于场景生成技术的战场态势可视化示意图。
图9是本发明提供的基于序列模型的敌方目标轨迹预测示意图。
图10是本发明提供的基于多源动态数据的自适应辅助决策智能方法及系统整体流程图。
图11是本发明提供的基于多源动态数据的自适应辅助决策智能方法的简化步骤图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实例的一种基于多源动态数据的自适应辅助决策智能方法及系统。
图2为决策过程示意图，说明了决策者在辅助决策系统协助下，可以通过数据生成、信息生成和决策生成三个步骤，将海量的传感器采集动态数据和军事知识等静态数据转化为有效信息，并依据有效信息做出决策的整体过程。
图10为本发明实例所提供的一种基于多源动态数据的自适应辅助决策智能方法及系统流程示意图。该系统包括步骤如图11所示，具体包括：
步骤101：数据获取与处理
如图3所示，通过己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据。收集到的数据经过数据清洗和数据格式标准化，得到具有统一尺寸的RGB图像，作为动态数据并表示为。同时，由专家收集整理并完成标注的军事知识，即装备图及描述信息构成静态数据，并表示为。动态数据和静态数据分别进行数据存储。
步骤102：有效信息挖掘
图7为本发明提供的辅助决策模型有效信息挖掘部分流程图，该流程包括以下步骤：
(1)模型微调
本发明所使用的特征编码器为微调后的CLIP模型，CLIP模型是在4亿图像-文本对上进行了预训练的视觉-语言模型，其视觉和文本编码器具有强力的特征编码能力。为了消除在应用特征编码器时可能存在的特征偏差，如图4所示，首先利用静态数据对预训练的视觉-语言模型进行模型微调。微调模型使用目标函数为公式(1)：
；
其中，为静态数据量，为静态数据中同时包含（装备图+描述信息）数据对的数据对总数，/>，/>和/>分别表示CLIP模型中的视觉编码器和文本编码器，后文将使用/>和/>表示微调后的视觉编码器和文本编码器。
(2)特征编码
如图4所示，图中条形方格结构表示特征向量。将微调后的视觉-语言模型应用特征编码中，即对于输入的动态数据，使用视觉编码器/>对其进行特征提取，如公式2；对于输入的静态数据/>，使用文本编码器/>对其进行特征提取，如公式3。
；
；
其中，表示编码后的图像特征向量，/>表示编码后的文本特征向量。
视觉编码器和文本编码器/>分别由Vision Transformer和Text Transformer实现。Transformer网络分别由/>层和/>层Transformer Block组成，每一个TransformerBlock由一层Layer Normalization（LN）、一层自注意力、一层多层感知机、一层LayerNormalization组成。对于输入/>，Transformer Block对其处理过程如下：
；
；
；
；
其中，表示全连接层，/>表示位置编码，/>表示Transformer Block数目。/>为各网络的输出，/>表示全连接层编码后的图像特征，/>表示多头自注意力模块处理后的特征，/>表示感知机处理后的特征；/>为类别编码，用于融合整个输入图像的信息。对于Vision Transformer和Text Transformer分别为/>和/>。/>表示多头自注意力模块，其计算方式为公式(8)；/>表示多层感知机；/>表示Layer Normalization。
；
；
其中，将整个图像特征按照通道维度拆分成部分，表示为/>，分别表示第/>个head的Query，Key和Value，表示归一化项。/>为输出变换矩阵，表示拼接操作，/>表示多头自注意力操作，/>为归一化操作。
本发明中，视觉编码器和文本编码器均使用Transformer实现，因此对图像和文本的编码相同，以图像为例，基于公式（4）-（9）的编码过程为顺序执行N次公式（4）-（9）。
(3)特征融合
如图5所示，图中条形方格结构表示特征向量，针对同一目标的不同源数据特征，使用基于位置的视觉特征融合模块进行特征融合，融合策略如公式(10)所示：
；
其中，表示多层感知机，/>表示将特征按照channel方向拼接；/>表示融合后的特征，/>表示属于位置/>的第1个数据源特征，同理，/>表示属于位置/>的第/>个数据源特征，/>的最大值为L，即多层感知机的层数。融合了不同数据源后的特征具有更丰富的特征信息，可以提高后续模型识别目标的准确率。
以图5为例，图中1、2表示获取数据的地理位置编号，每个位置各有2个不同数据源，即；具有相同位置编号的信息可以进行融合，因此，同一目标的数据由于位置K不同，图中输入4个向量，经特征融合后得到2个向量。
(4)相似度计算
如图6所示，图中条形方格结构表示特征向量，输入编码后的视觉特征和文本特征/>进行相似度计算，计算两种特征的余弦相似度，计算公式如(11)：
；
表示向量的模，/>表示视觉特征/>与文本特征/>的相似度，/>为第/>个融合后的图像特征，/>为第/>个文本特征。
(5)目标识别
如图6所示，将识别目标（视觉特征）和所有文本特征/>计算相似度后进行目标识别，即使用/>函数获取与识别目标相似度最大的类别/>。
；
数据库中预先加载了所有目标类型（如直升机、无人机、歼击机等）的索引，该索引下对应所有目标类型的顺序排列。通过目标识别得到相似度最大的类别，对照该索引即可获得目标的类别。
由于模型使用视觉特征和文本特征计算相似度，因此，可以通过不断扩充静态数据库中的数据规模，增大静态数据量，从而实现新类别目标的识别。
步骤103：
（1）战场态势可视化
针对己方作战准备，已知其位置和类别，可以直接使用；针对敌方目标，通过步骤2可以获得其位置和类别。如图8所示，基于这两种信息，通过数据标准化，将目标类别和位置转换成文本特征，然后将文本特征输入基于文本的三维生成模型MAV3D，生成t时刻三维场景。
；
其中，和/>分别表示敌方目标和己方目标信息的文本特征，/>表示基于文本的三维场景生成模型，为/>开源模型。图8中展示了三维场景中包含了直升机、无人机、坦克等目标的类型和位置信息。
（2）战场态势预测
除了了解当前战场局势，对未来局势的预测能够帮助决策者把握未来战场态势的发展动向，辅助决策者更全面的做出决策。如图9所示，图中条形方格结构表示特征向量，基于步骤2中所获取敌方目标前m时刻的位置信息，使用时序模型预测下一时刻目标的位置信息。预测过程如以下公式所示。
；
；
；
其中，表示第/>个目标t时刻的位置，/>表示第/>个目标/>时刻的位置特征，表示位置编码器，使用全连接层实现。/>表示位置预测模块，使用全连接层实现。Transformer函数表示用于融合前/>个时刻位置信息的网络，经过(14)-（16）公式后，可以基于前/>时刻目标/>的位置信息，预测出其/>时刻的位置信息。图9事例中m=6，各个时刻从前往后依次表示为t 1、t 2、t 3、t 4、t 5和t 6，前6个时刻的目标特征向量通过时序模型，得到了下一个时刻的目标预测模型，即获得了目标在t 7时刻的位置信息。
综上，本发明提供的辅助决策系统能够通过步骤1-步骤3利用战场大数据，实时挖掘有效信息，辅助决策者进行可靠决策。

Claims (10)

1.一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，包括：
步骤101：多源数据获取与处理；处理数据包括两类静态数据和动态数据；数据处理包括数据清洗、数据标准化、专家标注和数据存储；
步骤102：有效信息挖掘，即使用视觉-语言模型提取目标特征，基于位置引导的视觉特征融合模块，融合多源数据特征，实现目标识别；基于微调后的视觉-语言模型的文本编码器和视觉编码器，分别对静态数据和标准化后的动态数据进行编码，获得文本及图像特征；利用位置引导的视觉特征融合模块，将同一目标的不同源数据特征融合；将融合后的视觉特征与军事知识库对应的文本特征结合，利用识别模块确定目标及目标信息，识别模块包括相似度计算和目标识别；
步骤103：基于战场态势可视化和战场态势预测结果，做出决策；
首先，使用场景生成技术进行战场态势可视化；基于系统使用方作战目标位置信息和识别到的敌方目标信息，进行双方作战目标的可视化建模，建模的目的是直观地提供双方作战单位的布局和战力对比，辅助决策者了解当前时刻的战场态势，有助于决策者统筹全局信息，及时做出正确决策；
然后，进行战场态势预测；基于敌方各目标的历史信息，使用序列模型，对敌方目标的未来轨迹做出预测，从而获得未来一段时间敌方目标的布局；根据预测结果，决策者提前做出战略决策。
2.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于步骤101中所述多源数据获取与处理包括：
通过己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据；收集到的数据经过数据清洗和数据格式标准化，得到具有统一尺寸的RGB图像，作为动态数据并表示为；同时，由专家收集整理并完成标注的军事知识，即装备图及描述信息构成静态数据，并表示为/>；动态数据和静态数据分别进行数据存储。
3.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于步骤102中所述的基于微调后的视觉-语言模型是指一种特征编码器，为微调后的CLIP模型；CLIP模型是在4亿图像-文本对上进行了预训练的视觉-语言模型；为了消除在应用特征编码器时可能存在的特征偏差，首先在静态数据对预训练的视觉-语言模型进行模型微调；微调模型使用目标函数为公式/>：
；
其中，M为静态数据量，和/>分别表示CLIP模型中的视觉编码器和文本编码器。
4.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其
特征在于，步骤102中所述的对静态数据和标准化后的动态数据进行编码包括：
对于输入的动态数据，使用视觉编码器/>对其进行特征提取，如公式2；对于输入的静态数据/>，使用文本编码器/>对其进行特征提取，如公式3；
；
；
其中，表示编码后的图像特征向量，/>表示编码后的文本特征向量；视觉编码器和文本编码器分别由Vision Transformer和Text Transformer实现；Transformer网络分别由层和/>层Transformer Block组成，每一个Transformer Block由一层LayerNormalization、一层自注意力、一层多层感知机，一层Layer Normalization组成；对于输入/>，Transformer Block对其处理过程如下：
；
；
；
；
其中，表示全连接层，/>表示位置编码，/>表示Transformer Block数目，/>为各网络的输出，/>表示全连接层/>编码后的图像特征，/>表示多头自注意力模块处理后的特征，/>表示感知机处理后的特征；/>为类别编码，用于融合整个输入图像的信息；对于VisionTransformer和Text Transformer分别为/>和/>；/>表示多头自注意力模块，其计算方式为公式/>；/>表示多层感知机；/>表示Layer Normalization；
；
；
其中，将整个图像特征按照通道维度拆分成h部分，表示为，/>分别表示第/>个head的Query，Key和Value，/>表示归一化项，/>为输出变换矩阵，/>表示拼接操作，/>表示多头自注意力操作，/>为归一化操作；视觉编码器和文本编码器均使用Transformer实现，因此对图像和文本的编码相同，以图像为例，基于公式（4）-（9）的编码过程为顺序执行N次公式（4）-（9）。
5.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，步骤102中所述的同一目标不同源数据的特征融合包括：
针对同一目标的不同源数据特征，使用基于位置的特征融合模块进行特征融合，融合策略如公式所示：
；
其中，表示多层感知机，/>表示将特征按照channel方向拼接；/>表示融合后的特征，/>表示属于位置/>的第1个数据源特征，同理，/>表示属于位置/>的第/>个数据源特征，的最大值为L，即多层感知机的层数。
6.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，步骤102中所述的相似度计算包括：
输入编码后的视觉特征和文本特征/>，计算两种特征的余弦相似度，计算公式如/>：
；
表示向量的模，/>表示视觉特征/>与文本特征/>的相似度，/>为第/>个融合后的图像特征，/>为第/>个文本特征。
7.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，步骤102中所述的目标识别包括：
将识别目标视觉特征和所有文本特征/>计算相似度后，使用/>函数获取与识别目标相似度最大的类别/>：
；
数据库中预先加载了所有目标类型的索引，该索引下对应所有目标类型的顺序排列，通过目标识别得到相似度最大的类别O i ，对照该索引即可获得目标的类别；
由于模型使用视觉特征和文本特征计算相似度，因此，可以通过不断扩充静态数据库中的数据规模，增大静态数据量，从而实现新类别目标的识别。
8.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，步骤103中所述的战场态势可视化包括：
针对己方作战准备，已知其位置和类别，直接使用；针对敌方目标，通过步骤2获得其位置和类别；基于这两种信息，通过数据标准化，将目标类别和位置转换成文本特征，然后将文本特征输入模型MAV3D，生成t时刻三维场景：
；
其中，和/>分别表示敌方目标和己方目标信息的文本特征，/>表示基于文本的三维场景生成模型。
9.如权利要求1所述的一种基于多源动态数据的自适应辅助决策智能方法，其特征在于，步骤103中所述的战场态势预测包括：
基于所获取敌方目标前时刻的位置信息，使用时序模型预测下一时刻目标的位置信息；预测过程如以下公式所示：
；
；
；
其中，表示第/>个目标/>时刻的位置，/>表示第/>个目标/>时刻的位置特征，/>表示位置编码器，使用全连接层实现；/>表示位置预测模块，使用全连接层实现；Transformer函数表示用于融合前/>个时刻位置信息的网络，经过(14)-（16）公式后，基于前/>时刻目标d的位置信息，预测出其/>时刻的位置信息。
10.一种基于多源动态数据的自适应辅助决策智能系统，其特征在于包括多源数据获取与处理模块、有效信息挖掘模块、战场态势可视化模块和战场态势预测模块;
其中，多源数据获取与处理模块连接己方分布在战场上的各作战装备的传感器，包括雷达传感器、红外传感器和可见光传感器，收集作战装备所在位置周围的各类数据，并进行数据清洗和数据格式标准化；
有效信息挖掘模块以图像处理服务器和远程数据库为依托，加载有效信息挖掘方法，用于将同一目标的多源数据的数据特征融合起来，从而实现将大数据转化为有效信息的目标；
战场态势可视化模块以图像处理服务器和远程数据库为依托，加载战场态势可视化方法，用于将战场形式即己方目标和敌方目标的数量和位置以三维形式展现出来，提供直观的战场布局；
战场态势预测模块以计算服务器为依托，加载战场态势预测方法，挖掘历史信息，根据目标的历史位置预测未来位置，提供未来战场的形势。
CN202311107462.9A 2023-08-31 2023-08-31 一种基于多源动态数据的自适应辅助决策智能方法及系统 Active CN116842127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311107462.9A CN116842127B (zh) 2023-08-31 2023-08-31 一种基于多源动态数据的自适应辅助决策智能方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311107462.9A CN116842127B (zh) 2023-08-31 2023-08-31 一种基于多源动态数据的自适应辅助决策智能方法及系统

Publications (2)

Publication Number Publication Date
CN116842127A true CN116842127A (zh) 2023-10-03
CN116842127B CN116842127B (zh) 2023-12-05

Family

ID=88163825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311107462.9A Active CN116842127B (zh) 2023-08-31 2023-08-31 一种基于多源动态数据的自适应辅助决策智能方法及系统

Country Status (1)

Country Link
CN (1) CN116842127B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435918A (zh) * 2023-12-20 2024-01-23 杭州市特种设备检测研究院(杭州市特种设备应急处置中心) 一种基于空间注意力网络与特征划分的电梯风险预警方法
CN117951648A (zh) * 2024-03-26 2024-04-30 成都正扬博创电子技术有限公司 一种机载多源信息融合方法及系统
CN117951648B (zh) * 2024-03-26 2024-06-07 成都正扬博创电子技术有限公司 一种机载多源信息融合方法及系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080319798A1 (en) * 2007-06-20 2008-12-25 Kelley James M Personalized medical information card and method for managing same
US20120239174A1 (en) * 2011-03-17 2012-09-20 Microsoft Corporation Predicting Joint Positions
CN107390706A (zh) * 2017-07-26 2017-11-24 北京航空航天大学 一种基于预演机动规则系统的无人机近距格斗决策方法
CN107748502A (zh) * 2017-11-02 2018-03-02 北京华如科技股份有限公司 基于离散事件的作战仿真中实体的被动空间感知交互方法
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统
CN112509056A (zh) * 2020-11-30 2021-03-16 中国人民解放军32181部队 一种动态战场环境实时路径规划系统及方法
CN112966912A (zh) * 2021-02-25 2021-06-15 李昌玺 一种战场态势实时更新算法
CN113255916A (zh) * 2021-05-31 2021-08-13 成都卡莱博尔信息技术股份有限公司 作战知识系统的使用方法、作战决策辅助方法
CN113283110A (zh) * 2021-06-11 2021-08-20 中国人民解放军国防科技大学 一种用于智能化对抗仿真推演的态势感知方法
CN113657450A (zh) * 2021-07-16 2021-11-16 中国人民解放军陆军炮兵防空兵学院 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN113887865A (zh) * 2021-08-30 2022-01-04 北京遥测技术研究所 一种面向高分辨遥感卫星的地面运营与应用一体化系统
CN115116066A (zh) * 2022-06-17 2022-09-27 复旦大学 一种基于字符距离感知的场景文本识别方法
CN115396484A (zh) * 2022-08-18 2022-11-25 西北工业大学 基于网络传输的多层级态势信息分发生成方法
CN115545018A (zh) * 2022-10-14 2022-12-30 人民网股份有限公司 一种多模态多粒度实体识别系统及实体识别方法
CN115796042A (zh) * 2022-12-07 2023-03-14 中国电子科技集团公司第十研究所 一种面向电子侦察的智能博弈对抗推演系统及方法
CN115878811A (zh) * 2022-10-31 2023-03-31 北京计算机技术及应用研究所 一种基于事理图谱的军事情报智能分析及推演方法
CN116308944A (zh) * 2022-12-30 2023-06-23 应急管理部大数据中心 一种面向应急救援的数字战场实战指控平台及架构
CN116340876A (zh) * 2023-01-06 2023-06-27 苏州航遥启程科技有限公司 一种局域多源数据融合的空间目标态势感知方法
CN116360503A (zh) * 2023-05-31 2023-06-30 北京航空航天大学 一种无人机博弈对抗策略生成方法、系统及电子设备
CN116543076A (zh) * 2023-07-06 2023-08-04 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN116663384A (zh) * 2022-12-30 2023-08-29 南京星耀智能科技有限公司 一种战场任务规划背景下的目标轨迹预测方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080319798A1 (en) * 2007-06-20 2008-12-25 Kelley James M Personalized medical information card and method for managing same
US20120239174A1 (en) * 2011-03-17 2012-09-20 Microsoft Corporation Predicting Joint Positions
CN107390706A (zh) * 2017-07-26 2017-11-24 北京航空航天大学 一种基于预演机动规则系统的无人机近距格斗决策方法
CN107748502A (zh) * 2017-11-02 2018-03-02 北京华如科技股份有限公司 基于离散事件的作战仿真中实体的被动空间感知交互方法
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统
CN112509056A (zh) * 2020-11-30 2021-03-16 中国人民解放军32181部队 一种动态战场环境实时路径规划系统及方法
CN112966912A (zh) * 2021-02-25 2021-06-15 李昌玺 一种战场态势实时更新算法
CN113255916A (zh) * 2021-05-31 2021-08-13 成都卡莱博尔信息技术股份有限公司 作战知识系统的使用方法、作战决策辅助方法
CN113283110A (zh) * 2021-06-11 2021-08-20 中国人民解放军国防科技大学 一种用于智能化对抗仿真推演的态势感知方法
CN113657450A (zh) * 2021-07-16 2021-11-16 中国人民解放军陆军炮兵防空兵学院 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN113887865A (zh) * 2021-08-30 2022-01-04 北京遥测技术研究所 一种面向高分辨遥感卫星的地面运营与应用一体化系统
CN115116066A (zh) * 2022-06-17 2022-09-27 复旦大学 一种基于字符距离感知的场景文本识别方法
CN115396484A (zh) * 2022-08-18 2022-11-25 西北工业大学 基于网络传输的多层级态势信息分发生成方法
CN115545018A (zh) * 2022-10-14 2022-12-30 人民网股份有限公司 一种多模态多粒度实体识别系统及实体识别方法
CN115878811A (zh) * 2022-10-31 2023-03-31 北京计算机技术及应用研究所 一种基于事理图谱的军事情报智能分析及推演方法
CN115796042A (zh) * 2022-12-07 2023-03-14 中国电子科技集团公司第十研究所 一种面向电子侦察的智能博弈对抗推演系统及方法
CN116308944A (zh) * 2022-12-30 2023-06-23 应急管理部大数据中心 一种面向应急救援的数字战场实战指控平台及架构
CN116663384A (zh) * 2022-12-30 2023-08-29 南京星耀智能科技有限公司 一种战场任务规划背景下的目标轨迹预测方法
CN116340876A (zh) * 2023-01-06 2023-06-27 苏州航遥启程科技有限公司 一种局域多源数据融合的空间目标态势感知方法
CN116360503A (zh) * 2023-05-31 2023-06-30 北京航空航天大学 一种无人机博弈对抗策略生成方法、系统及电子设备
CN116543076A (zh) * 2023-07-06 2023-08-04 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
NARENDRA AHUJA等: "Automatic Recognition of Offensive Team Formation in American Football Plays", 2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, pages 991 - 998 *
张叶;张兴晔;周海;: "民防综合态势图系统设计与实现", 电子技术与软件工程, no. 11, pages 199 - 201 *
李卫星;王峰;李智国;李思阳;: "面向多源数据的军事信息系统设计", 中国电子科学研究院学报, vol. 15, no. 03, pages 237 - 243 *
柳杨;郭蕊;: "移动终端实时态势综合标绘系统的设计与实现", 大众科技, vol. 19, no. 03, pages 16 - 19 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117435918A (zh) * 2023-12-20 2024-01-23 杭州市特种设备检测研究院(杭州市特种设备应急处置中心) 一种基于空间注意力网络与特征划分的电梯风险预警方法
CN117435918B (zh) * 2023-12-20 2024-03-15 杭州市特种设备检测研究院(杭州市特种设备应急处置中心) 一种基于空间注意力网络与特征划分的电梯风险预警方法
CN117951648A (zh) * 2024-03-26 2024-04-30 成都正扬博创电子技术有限公司 一种机载多源信息融合方法及系统
CN117951648B (zh) * 2024-03-26 2024-06-07 成都正扬博创电子技术有限公司 一种机载多源信息融合方法及系统

Also Published As

Publication number Publication date
CN116842127B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
CN116842127B (zh) 一种基于多源动态数据的自适应辅助决策智能方法及系统
CN111709410B (zh) 一种强动态视频的行为识别方法
CN110046579B (zh) 一种深度哈希的行人再识别方法
CN115223082A (zh) 一种基于时空多尺度Transformer的航拍视频分类方法
CN112954399B (zh) 一种图像处理方法、装置以及计算机设备
CN115393404A (zh) 双光图像配准方法、装置及设备、存储介质
CN115294655A (zh) 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备
CN112906493A (zh) 一种基于互相关注意力机制的跨模态行人重识别方法
CN114882537B (zh) 一种基于神经辐射场的手指新视角图像生成方法
CN115048870A (zh) 基于残差网络和注意力机制的目标轨迹识别方法
Yang et al. [Retracted] A Method of Image Semantic Segmentation Based on PSPNet
Wang et al. Motionhint: Self-supervised monocular visual odometry with motion constraints
CN115272433B (zh) 用于无人机自动避障的轻量点云配准方法及系统
Wang et al. Learning embedding features based on multisense-scaled attention architecture to improve the predictive performance of air combat intention recognition
CN116663384A (zh) 一种战场任务规划背景下的目标轨迹预测方法
CN114399901B (zh) 一种控制交通系统的方法和设备
CN115830631A (zh) 基于姿态辅助遮挡人体再识别的一人一档系统构建方法
CN111354028B (zh) 基于双目视觉的输电通道隐患物识别追踪方法
Min et al. Online Fall Detection Using Attended Memory Reference Network
Xu et al. Learning to generalize aerial person re‐identification using the meta‐transfer method
CN115830408B (zh) 伪标签生成方法、装置、设备以及存储介质
CN115359271B (zh) 一种大尺度不变性的深空小天体图像匹配的方法
CN117033817B (zh) 路线确定方法和装置、存储介质及电子设备
CN116452397B (zh) 一种警务数字沙盘用的联动控制系统和控制方法
GB2624166A (en) A computer-implemented method for camera pose regression in a challenging traffic environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant