CN116881850B - 基于多模态数据融合的安全预警系统 - Google Patents

基于多模态数据融合的安全预警系统 Download PDF

Info

Publication number
CN116881850B
CN116881850B CN202311126201.1A CN202311126201A CN116881850B CN 116881850 B CN116881850 B CN 116881850B CN 202311126201 A CN202311126201 A CN 202311126201A CN 116881850 B CN116881850 B CN 116881850B
Authority
CN
China
Prior art keywords
data
mode data
fusion
mode
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311126201.1A
Other languages
English (en)
Other versions
CN116881850A (zh
Inventor
刘勇
吴明玖
申亮
陈继珺
王志敏
张连杰
孙士钢
徐腾
陈玉兰
陈保全
马乐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Hangtian Jiutong Car Network Co ltd
Original Assignee
Shandong Hangtian Jiutong Car Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Hangtian Jiutong Car Network Co ltd filed Critical Shandong Hangtian Jiutong Car Network Co ltd
Priority to CN202311126201.1A priority Critical patent/CN116881850B/zh
Publication of CN116881850A publication Critical patent/CN116881850A/zh
Application granted granted Critical
Publication of CN116881850B publication Critical patent/CN116881850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Alarm Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了基于多模态数据融合的安全预警系统，属于多模态数据融合技术领域，所述多模态数据融合识别模块用于获取多模态数据融合过程中的运行数据，基于运行数据对多模态数据融合过程中融合完整度进行识别，并将多模态数据融合完整度发送至服务器；所述多模态数据融合反馈模块接收服务器传送的多模态数据融合完整度好的信号，根据多模态数据融合完整度好所对应的数据得到多模态数据反馈端数据，基于多模态数据反馈端数据对多模态数据反馈端的工作状态进行识别，并将多模态数据反馈端的工作状态发送至服务器；所述多模态数据预警模块接收服务器传送的融合完整度差的异常数据信号及多模态数据反馈端工作异常的反馈信号进行预警。

Description

基于多模态数据融合的安全预警系统
技术领域
本发明涉及多模态数据融合技术领域，具体涉及基于多模态数据融合的安全预警系统。
背景技术
多模态数据融合通过联合多个模态的信息进行目标预测(分类或者回归)，以提高单个模态的预测精度，一直以来都是多模态机器学习的重要研究内容。现有的多模态数据融合方法通常假设：(1)一致性：每个模态都包含充分的、与目标任务相关的语义信息，各个模态可以得到一致的预测结果；(2)互补性：每个模态的数据包含了其他模态欠缺的信息，从而不同模态可以相互补充，提高预测精度。
然而在实际应用中，由于多模态数据采集和标注过程中存在的一些问题，上述假设并不总是成立，具体表现为数据样本中某个模态的内容可能与其语义标签不符。因此，如何判断数据样本中每个模态的置信水平，对语义表达质量不一致的多模态数据进行有效融合是值得研究的问题。
现有的多模态数据融合方法中，存在以下问题：在前期的多模态数据的融合过程中，通过提取不同模态输入信号的特征，然后对不同模态的特征进行简单拼接，导致多模态数据融合是否完整不能有效识别，同时，在后期的多模态数据的反馈过程中，在特征融合过程中信息传输过程中存在一定的局限性，不能有效保证多模态数据融合的完整性和安全性。
发明内容
本发明的目的在于提供基于多模态数据融合的安全预警系统，在多模态数据融合前对多模态数据采集端数据、多模态数据传输端数据和多模态数据使用端数据进行处理，即结合多模态数据采集端数据的采集端因子、多模态数据传输端数据的传输端因子和多模态数据使用端数据的使用端因子，对模态数据融合过程中的多模态数据融合的基准值进行识别，将多模态数据融合的基准值与多模态数据融合的基准值阈值进行识别，从而对多模态数据融合前的融合过程进行识别，对异常的多模态数据融合进行预警。
本发明的目的可以通过以下技术方案实现：
基于多模态数据融合的安全预警系统，包括：
多模态数据融合识别模块，所述多模态数据融合识别模块用于获取多模态数据融合过程中的运行数据，基于运行数据对多模态数据融合过程中融合完整度进行识别，并将多模态数据融合完整度发送至服务器；
其中，多模态数据融合完整度包括融合完整度差和融合完整度好，并生成相应的数据信号；
多模态数据融合反馈模块，所述多模态数据融合反馈模块接收服务器传送的多模态数据融合完整度好的信号，根据多模态数据融合完整度好所对应的数据得到多模态数据反馈端数据，基于多模态数据反馈端数据对多模态数据反馈端的工作状态进行识别，并将多模态数据反馈端的工作状态发送至服务器；
其中，多模态数据反馈端的工作状态包括多模态数据反馈端工作异常和多模态数据反馈端工作正常，并生成相应的反馈信号；
多模态数据预警模块，所述多模态数据预警模块接收服务器传送的融合完整度差的异常数据信号及多模态数据反馈端工作异常的反馈信号进行预警。
作为本发明进一步的方案：运行数据包括多模态数据采集端数据、多模态数据传输端数据和多模态数据使用端数据；
根据所述多模态数据采集端数据获取多模态数据采集端数据的采集端因子；
根据所述多模态数据传输端数据获取多模态数据传输端数据的传输端因子；
根据所述多模态数据使用端数据获取多模态数据使用端数据的使用端因子。
作为本发明进一步的方案：将多模态数据采集端数据的采集端因子记为J，将多模态数据传输端数据的传输端因子记为Z，将多模态数据使用端数据的使用端因子记为V；
通过公式计算得到多模态数据融合的基准值RH,其中，a1、a2、a3为预设比例系数。
作为本发明进一步的方案：预设多模态数据融合的基准值阈值的Rh，将模态数据融合的基准值RH与多模态数据融合的基准值阈值Rh进行比较；
若模态数据融合的基准值RH<多模态数据融合的基准值阈值Rh时，则表示多模态数据融合过程中融合完整度差，生成异常数据信号；
若模态数据融合的基准值RH≥多模态数据融合的基准值阈值Rh时，则表示多模态数据融合过程中融合完整度好，生成正常数据信号；
多模态数据融合识别模块将异常数据信号及异常数据信号所对应的数据和正常数据信号及正常数据信号所对应的数据传送至服务器。
作为本发明进一步的方案：多模态数据采集端数据包括多模态数据的获取速度和多模态数据的加密速度；
将多模态数据的获取速度记为j1，将多模态数据的加密速度记为j2，通过公式获取多模态数据采集端数据的采集端因子J，其中/>为预设比例系数。
作为本发明进一步的方案：多模态数据传输端数据包括多模态数据的加密传输时长和多模态数据的存储大小，将多模态数据的加密传输时长记为z1，将多模态数据的存储大小记为z2，通过公式获取多模态数据传输端数据的传输端因子Z，其中/>为修正因子。
作为本发明进一步的方案：多模态数据使用端数据包括多模态数据的解析速度、多模态数据的预览速度和多模态数据的下载速度；
将多模态数据的解析速度记为v1、多模态数据的预览速度记为v2、多模态数据的下载速度记为v3;
通过对多模态数据的解析速度记为v1、多模态数据的预览速度记为v2、多模态数据的下载速度记为v3进行加权处理，将多模态数据的解析速度v1权重占比分配为c1，将多模态数据的预览速度v2的权重占比分配为c2，将多模态数据的下载速度v3的权重占比分配为c3，其中，c1+c2+c3=1，根据公式V=v1*c1+v2*c2+v3*c3计算得到多模态数据使用端数据的使用端因子V。
作为本发明进一步的方案：所述模态数据反馈端数据包括多模态数据融合后的图片信息，将多模态数据融合后的图片信息投影在白色底纹图片上，得到融合图片；
将原始的多模态数据所对应的图片信息投影在白色底纹图片上，得到基准图片；
将融合图片投影在基准图片上得到参照图片，对参照图片非重合区域进行上色，对上色后参照图片进行拍照，得到基数照片，将基数照片放大若干倍形成像素格基数照片；统计像素格基数照片中上色区域的像素格个数，将上色区域的像素格个数记为Gi；
获取多模态数据反馈端的交互速度记为Vi；多模态数据反馈端工作接口连接数量与占用接口的数量之和记为Pi；
通过公式获取得到多模态数据反馈端的安全值EY；其中，d1、d2和d3均为预设比例系数，μ为修正因子，取值为0.9365；λ为误差干扰值，取值为2.872。
作为本发明进一步的方案：预设多模态数据反馈端的安全值阈值为Ey,将多模态数据反馈端安全值EY与多模态数据反馈端安全值阈值Ey进行比较；
若多模态数据反馈端安全值EY≥多模态数据反馈端安全值阈值Ey时，则表示多模态数据反馈端工作正常，生成反馈正常信号；
若多模态数据反馈端安全值EY＜多模态数据反馈端安全值阈值Ey时，则表示运多模态数据反馈端工作异常，生成反馈异常信号；
多模态数据融合反馈模块将反馈异常信号及反馈异常信号所对应的多模态融合数据发送至服务器。
作为本发明进一步的方案：所述多模态数据预警模块接收服务器传送的异常数据信号及异常数据信号所对应的数据，进行一级预警，并生成红色预警信号；
所述多模态数据预警模块接收服务器传送的反馈异常信号及反馈异常信号所对应的多模态融合数据，进行二级预警，并生成黄色预警信号。
本发明的有益效果：
本发明在多模态数据融合前对多模态数据采集端数据、多模态数据传输端数据和多模态数据使用端数据进行处理，即结合多模态数据采集端数据的采集端因子、多模态数据传输端数据的传输端因子和多模态数据使用端数据的使用端因子，对模态数据融合过程中的多模态数据融合的基准值进行识别，将多模态数据融合的基准值与多模态数据融合的基准值阈值进行识别，从而对多模态数据融合前的融合过程进行识别，对异常的多模态数据融合进行预警；
本发明对正常融合的多模态数据的反馈过程进行识别，即将得到的多模态融合数据与原始的多模态数据进行处理，得到多模态融合数据与实际数据的偏离值，结合多模态数据反馈端的交互速度及多模态数据反馈端工作接口连接数量与占用接口的数量，得到多模态数据反馈端的安全值，即完成对多模态数据融合过程-反馈过程中的二次预警，有效保证多模态数据融合的完整性和安全性。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明的程序框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为基于多模态数据融合的安全预警系统，包括多模态数据融合识别模块、多模态数据融合反馈模块、多模态数据预警模块和服务器；
所述多模态数据融合识别模块、多模态数据融合反馈模块、多模态数据预警模块与服务器电性连接；
多模态数据融合识别模块用于获取多模态数据融合过程中的运行数据，基于运行数据对多模态数据融合过程中融合完整度进行识别；
运行数据包括多模态数据采集端数据、多模态数据传输端数据和多模态数据使用端数据；
多模态数据采集端数据包括多模态数据的获取速度和多模态数据的加密速度；
将多模态数据的获取速度记为j1，将多模态数据的加密速度记为j2，通过公式获取多模态数据采集端数据的采集端因子J，其中/>为预设比例系数；
其中，多模态数据采集端用于对每一种模态的数据进行获取并加密处理，加密生成加密数据和相应的密钥；
进一步的加密方法可以是对称加密或非对称加密，具体的加密算法可以根据不同的模态和安全需求选择。
多模态数据传输端数据包括多模态数据的加密传输时长和多模态数据的存储大小，将多模态数据的加密传输时长记为z1，将多模态数据的存储大小记为z2，通过公式获取多模态数据传输端数据的传输端因子Z，其中/>为修正因子；
其中，多模态数据传输端，将不同模态的加密数据和密钥分别发送到不同的服务器或云平台，实现数据的分布式存储，同时，利用区块链技术记录每一笔数据的交易信息，包括数据的来源、目的地、时间戳、哈希值等，构建一个去中心化的、可追溯的、不可篡改的数据审计系统。
多模态数据使用端数据包括多模态数据的解析速度、多模态数据的预览速度和多模态数据的下载速度；
将多模态数据的解析速度记为v1、多模态数据的预览速度记为v2、多模态数据的下载速度记为v3;
通过对多模态数据的解析速度记为v1、多模态数据的预览速度记为v2、多模态数据的下载速度记为v3进行加权处理，将多模态数据的解析速度v1权重占比分配为c1，将多模态数据的预览速度v2的权重占比分配为c2，将多模态数据的下载速度v3的权重占比分配为c3，其中，c1+c2+c3=1，根据公式V=v1*c1+v2*c2+v3*c3计算得到多模态数据使用端数据的使用端因子V；
其中，多模态数据使用端根据用户的需求，从不同的服务器或云平台获取相应模态的加密数据和密钥，对加密数据进行解析还原，得到原始数据；
再利用深度学习或其他人工智能技术，对不同模态的原始数据进行融合分析，提取出有价值的信息或知识，融合分析方法可以是基于特征层、决策层或混合层的多模态融合。
通过公式计算得到多模态数据融合的基准值RH,其中，a1、a2、a3为预设比例系数，a1取1.25，a2取0.87，a3取2.23;
预设多模态数据融合的基准值阈值的Rh，将模态数据融合的基准值RH与多模态数据融合的基准值阈值Rh进行比较；
若模态数据融合的基准值RH<多模态数据融合的基准值阈值Rh时，则表示多模态数据融合过程中融合完整度差，生成异常数据信号；
若模态数据融合的基准值RH≥多模态数据融合的基准值阈值Rh时，则表示多模态数据融合过程中融合完整度好，生成正常数据信号。
多模态数据融合识别模块将异常数据信号及异常数据信号所对应的数据和正常数据信号及正常数据信号所对应的数据传送至服务器。
多模态数据融合反馈模块用于接收服务器传送的正常数据信号及正常数据信号所对应的数据得到多模态数据反馈端数据；
多模态数据反馈端数据包括多模态数据融合后的图片信息，将多模态数据融合后的图片信息投影在白色底纹图片上，得到融合图片；
将原始的多模态数据所对应的图片信息投影在白色底纹图片上，得到基准图片；
将融合图片投影在基准图片上得到参照图片，对参照图片非重合区域进行上色，对上色后参照图片进行拍照，得到基数照片，将基数照片放大若干倍形成像素格基数照片；统计像素格基数照片中上色区域的像素格个数，将上色区域的像素格个数记为Gi；
获取多模态数据反馈端的交互速度记为Vi；多模态数据反馈端工作接口连接数量与占用接口的数量之和记为Pi；
通过公式获取得到多模态数据反馈端的安全值EY；其中，d1、d2和d3均为预设比例系数，d1取0.43，d2取，0.27，d3取0.30，μ为修正因子，取值为0.9365；λ为误差干扰值，取值为2.872；
预设多模态数据反馈端的安全值阈值为Ey,将多模态数据反馈端安全值EY与多模态数据反馈端安全值阈值Ey进行比较；
若多模态数据反馈端安全值EY≥多模态数据反馈端安全值阈值Ey时，则表示多模态数据反馈端工作正常，生成反馈正常信号；
若多模态数据反馈端安全值EY＜多模态数据反馈端安全值阈值Ey时，则表示运多模态数据反馈端工作异常，生成反馈异常信号；
多模态数据融合反馈模块将反馈异常信号及反馈异常信号所对应的多模态融合数据发送至服务器；
其中，多模态数据反馈端是将融合分析得到的信息或知识以适当的形式呈现给用户，如图片信息、文本信息、语音信息等，本实施例以图片信息的形式进行展开，同时，将信息再次加密，并将加密结果和密钥返回到相应的服务器或云平台，更新区块链上的交易信息，完成一次完整的多模态数据安全融合过程。
其中，文本信息与语音信息均可转换成图片信息。
在一个具体的实施例中，在多模态数据反馈端过程中，将得到的信息再次加密，并将加密结果和密钥返回到相应的服务器或云平台，更新区块链上的交易信息，完成一次完整的多模态数据安全融合过程。
多模态数据预警模块接收服务器传送的异常数据信号及异常数据信号所对应的数据，进行一级预警，并生成红色预警信号；
多模态数据预警模块接收服务器传送的反馈异常信号及反馈异常信号所对应的多模态融合数据，进行二级预警，并生成黄色预警信号；
其中，红色预警信号则表示该多模态数据融合过程中出现融合问题，对融合问题进行预警；
红色预警信号则表示该多模态数据融合后反馈过程中出现反馈问题，导致融合后的数据出现反馈偏离，对反馈问题进行预警。
多模态数据预警模块将红色预警信号或黄色预警信号发送至服务器显示终端或管控人员智能终端。
本发明的核心点之一：在于多模态数据融合前对多模态数据采集端数据、多模态数据传输端数据和多模态数据使用端数据进行处理，即结合多模态数据采集端数据的采集端因子、多模态数据传输端数据的传输端因子和多模态数据使用端数据的使用端因子，对模态数据融合过程中的多模态数据融合的基准值进行识别，将多模态数据融合的基准值与多模态数据融合的基准值阈值进行识别，从而对多模态数据融合前的融合过程进行识别，对异常的多模态数据融合进行预警；
本发明的核心点之二：在于对正常融合的多模态数据的反馈过程进行识别，即将得到的多模态融合数据与原始的多模态数据进行处理，得到多模态融合数据与实际数据的偏离值，结合多模态数据反馈端的交互速度及多模态数据反馈端工作接口连接数量与占用接口的数量，得到多模态数据反馈端的安全值，即完成对多模态数据融合过程-反馈过程中的二次预警，有效保证多模态数据融合的完整性和安全性；
本发明的核心点之三：在于通过对不同模态的数据进行加密处理和分布式存储，有效地保护了数据的隐私和完整性，防止了数据被窃取、篡改或泄密，通过利用区块链技术构建一个去中心化的、可追溯的、不可篡改的数据审计系统，增强了数据的可信度和透明度，避免了数据被滥用或误用，同时通过利用深度学习或其他人工智能技术对不同模态的原始数据进行融合分析，提高了数据的可用性和价值，实现了对复杂现象或问题的深入理解和解决，再通过将融合分析得到的信息或知识以适当的形式呈现给用户，并将其再次加密返回到相应的服务器或云平台，实现了一个闭环的多模态数据安全融合系统，满足了用户在不同场景下对多模态数据安全使用和管理的需求。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (3)

1.基于多模态数据融合的安全预警系统，其特征在于，包括：
多模态数据融合识别模块，所述多模态数据融合识别模块用于获取多模态数据融合过程中的运行数据，基于运行数据对多模态数据融合过程中融合完整度进行识别，并将多模态数据融合完整度发送至服务器；
其中，多模态数据融合完整度包括融合完整度差和融合完整度好，并生成相应的数据信号；
多模态数据融合反馈模块，所述多模态数据融合反馈模块接收服务器传送的多模态数据融合完整度好的信号，根据多模态数据融合完整度好所对应的数据得到多模态数据反馈端数据，基于多模态数据反馈端数据对多模态数据反馈端的工作状态进行识别，并将多模态数据反馈端的工作状态发送至服务器；
其中，多模态数据反馈端的工作状态包括多模态数据反馈端工作异常和多模态数据反馈端工作正常，并生成相应的反馈信号；
多模态数据预警模块，所述多模态数据预警模块接收服务器传送的融合完整度差的异常数据信号及多模态数据反馈端工作异常的反馈信号进行预警；
运行数据包括多模态数据采集端数据、多模态数据传输端数据和多模态数据使用端数据；
根据所述多模态数据采集端数据获取多模态数据采集端数据的采集端因子；
根据所述多模态数据传输端数据获取多模态数据传输端数据的传输端因子；
根据所述多模态数据使用端数据获取多模态数据使用端数据的使用端因子；
将多模态数据采集端数据的采集端因子记为J，将多模态数据传输端数据的传输端因子记为Z，将多模态数据使用端数据的使用端因子记为V；
通过公式计算得到多模态数据融合的基准值RH,其中，a1、a2、a3为预设比例系数；
多模态数据采集端数据包括多模态数据的获取速度和多模态数据的加密速度；
将多模态数据的获取速度记为j1，将多模态数据的加密速度记为j2，通过公式J＝α*j1+β*j2获取多模态数据采集端数据的采集端因子J，其中α、β为预设比例系数；
多模态数据传输端数据包括多模态数据的加密传输时长和多模态数据的存储大小，将多模态数据的加密传输时长记为z1，将多模态数据的存储大小记为z2，通过公式获取多模态数据传输端数据的传输端因子Z，其中δ为修正因子；
多模态数据使用端数据包括多模态数据的解析速度、多模态数据的预览速度和多模态数据的下载速度；
将多模态数据的解析速度记为v1、多模态数据的预览速度记为v2、多模态数据的下载速度记为v3；
通过对多模态数据的解析速度记为v1、多模态数据的预览速度记为v2、多模态数据的下载速度记为v3进行加权处理，将多模态数据的解析速度v1权重占比分配为c1，将多模态数据的预览速度v2的权重占比分配为c2，将多模态数据的下载速度v3的权重占比分配为c3，其中，c1+c2+c3＝1，根据公式V＝v1*c1+v2*c2+v3*c3计算得到多模态数据使用端数据的使用端因子V；
所述模态数据反馈端数据包括多模态数据融合后的图片信息，将多模态数据融合后的图片信息投影在白色底纹图片上，得到融合图片；
将原始的多模态数据所对应的图片信息投影在白色底纹图片上，得到基准图片；
将融合图片投影在基准图片上得到参照图片，对参照图片非重合区域进行上色，对上色后参照图片进行拍照，得到基数照片，将基数照片放大若干倍形成像素格基数照片；统计像素格基数照片中上色区域的像素格个数，将上色区域的像素格个数记为Gi；
获取多模态数据反馈端的交互速度记为Vi；多模态数据反馈端工作接口连接数量与占用接口的数量之和记为Pi；
通过公式获取得到多模态数据反馈端的安全值EY；其中，d1、d2、d3均为预设比例系数，d1、d2和d3均大于零且d1+d2+d3＝1,μ为修正因子，取值为0.9365；λ为误差干扰值，取值为2.872；
预设多模态数据反馈端的安全值阈值为Ey,将多模态数据反馈端安全值EY与多模态数据反馈端安全值阈值Ey进行比较；
若多模态数据反馈端安全值EY≥多模态数据反馈端安全值阈值Ey时，则表示多模态数据反馈端工作正常，生成反馈正常信号；
若多模态数据反馈端安全值EY<多模态数据反馈端安全值阙值Ey时，则表示运多模态数据反馈端工作异常，生成反馈异常信号；
多模态数据融合反馈模块将反馈异常信号及反馈异常信号所对应的多模态融合数据发送至服务器。
2.根据权利要求1所述的基于多模态数据融合的安全预警系统,其特征在于，预设多模态数据融合的基准值阈值为Rh，将模态数据融合的基准值RH与多模态数据融合的基准值阈值Rh进行比较；
若模态数据融合的基准值RH<多模态数据融合的基准值阈值Rh时，则表示多模态数据融合过程中融合完整度差，生成异常数据信号；
若模态数据融合的基准值RH≥多模态数据融合的基准值阈值Rh时，则表示多模态数据融合过程中融合完整度好，生成正常数据信号；
多模态数据融合识别模块将异常数据信号及异常数据信号所对应的数据和正常数据信号及正常数据信号所对应的数据传送至服务器。
3.根据权利要求1所述的基于多模态数据融合的安全预警系统,其特征在于，所述多模态数据预警模块接收服务器传送的异常数据信号及异常数据信号所对应的数据，进行一级预警，并生成红色预警信号；
所述多模态数据预警模块接收服务器传送的反馈异常信号及反馈异常信号所对应的多模态融合数据，进行二级预警，并生成黄色预警信号。
CN202311126201.1A 2023-09-04 2023-09-04 基于多模态数据融合的安全预警系统 Active CN116881850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311126201.1A CN116881850B (zh) 2023-09-04 2023-09-04 基于多模态数据融合的安全预警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311126201.1A CN116881850B (zh) 2023-09-04 2023-09-04 基于多模态数据融合的安全预警系统

Publications (2)

Publication Number Publication Date
CN116881850A CN116881850A (zh) 2023-10-13
CN116881850B true CN116881850B (zh) 2023-12-08

Family

ID=88259018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311126201.1A Active CN116881850B (zh) 2023-09-04 2023-09-04 基于多模态数据融合的安全预警系统

Country Status (1)

Country Link
CN (1) CN116881850B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104244236A (zh) * 2014-09-09 2014-12-24 江苏大学 一种可保证机密性和完整性的数据融合方法
CN114237110A (zh) * 2021-12-13 2022-03-25 中国民用航空飞行学院 基于多模态数据驱动的通用航空机队可靠性监测预警系统
CN114463594A (zh) * 2021-11-19 2022-05-10 中国华能集团清洁能源技术研究院有限公司 多模态深度学习的发电设备异常一体化识别方法及设备
CN114841293A (zh) * 2022-07-04 2022-08-02 国网信息通信产业集团有限公司 一种面向电力物联网的多模态数据融合分析方法与系统
CN116206279A (zh) * 2023-03-03 2023-06-02 山东航天九通车联网有限公司 基于cnn卷积神经网络的安全驾驶预警深度学习方法
CN116304984A (zh) * 2023-03-14 2023-06-23 烟台大学 基于对比学习的多模态意图识别方法及系统
CN116665001A (zh) * 2023-06-01 2023-08-29 深圳市中壬速客信息技术有限公司 一种智慧园区多源数据动态监控和实时分析系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116552559A (zh) * 2022-01-29 2023-08-08 通用汽车环球科技运作有限责任公司 在自动驾驶系统基于融合数据检测异常行为的系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104244236A (zh) * 2014-09-09 2014-12-24 江苏大学 一种可保证机密性和完整性的数据融合方法
CN114463594A (zh) * 2021-11-19 2022-05-10 中国华能集团清洁能源技术研究院有限公司 多模态深度学习的发电设备异常一体化识别方法及设备
CN114237110A (zh) * 2021-12-13 2022-03-25 中国民用航空飞行学院 基于多模态数据驱动的通用航空机队可靠性监测预警系统
CN114841293A (zh) * 2022-07-04 2022-08-02 国网信息通信产业集团有限公司 一种面向电力物联网的多模态数据融合分析方法与系统
CN116206279A (zh) * 2023-03-03 2023-06-02 山东航天九通车联网有限公司 基于cnn卷积神经网络的安全驾驶预警深度学习方法
CN116304984A (zh) * 2023-03-14 2023-06-23 烟台大学 基于对比学习的多模态意图识别方法及系统
CN116665001A (zh) * 2023-06-01 2023-08-29 深圳市中壬速客信息技术有限公司 一种智慧园区多源数据动态监控和实时分析系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多分辨率分析的多模态医学图像融合方法研究;朱文维;中国优秀硕士学位论文全文数据库;全文 *
多模态信息融合的知识服务;张鹤;黄倩;;中国科技资源导刊(06);全文 *

Also Published As

Publication number Publication date
CN116881850A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN103020541B (zh) 个人空间（数据）对比于公司空间（数据）
CN116049397B (zh) 基于多模态融合的敏感信息发现并自动分类分级方法
CN108537422A (zh) 安全风险预警系统和方法
CN113111369B (zh) 一种数据标注中的数据保护方法及系统
CN110134930A (zh) 电子合同管理方法、装置、计算机设备和存储介质
CN110245940A (zh) 数字资产凭证继承转移中的信息处理方法、和相关装置
CN103873547A (zh) 存储区域网
CN106055994A (zh) 信息处理方法、系统和装置
CN116881881B (zh) 数据导出方法、装置、电子设备和计算机可读介质
CN110188648A (zh) 基于图像的防误入间隔方法、装置及终端设备
CN110069907A (zh) 基于数字水印的大数据溯源方法及系统
CN116881850B (zh) 基于多模态数据融合的安全预警系统
CN114064971A (zh) 一种基于深度学习的机坪视频语义检索方法及检索系统
CN116502187B (zh) 一种基于区块链的数字版权保护系统及方法
CN107437188A (zh) 一种利用条形码快速实现防伪验证的方法
CN113378723B (zh) 一种基于深度残差网络的输变电线路隐患自动安全识别系统
CN116996309A (zh) 基于区块链的语义通信方法及系统、存储介质、设备
CN116634098A (zh) 基于视频监控的电力生产操作票操作风险识别系统和方法
CN113378222A (zh) 一种基于数据内容识别的文件标密方法及系统
CN114329127B (zh) 特征分箱方法、装置及存储介质
CN115563942A (zh) 一种合同生成方法、装置、电子设备及计算机可读介质
KR102041994B1 (ko) 복수의 질의 이미지 검색을 위한 효과적인 이미지 벡터 병합
CN111221803A (zh) 一种特征库管理方法及协处理器
CN117424897B (zh) 一种储能电站远程监控的方法及系统
KR102520445B1 (ko) 인화된 한장의 사진이미지와 연계된 맵핑 컨텐츠 실시간 스트리밍 표출장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant