CN117034125B - 一种用于大数据融合的分类管理系统及方法 - Google Patents

一种用于大数据融合的分类管理系统及方法 Download PDF

Info

Publication number
CN117034125B
CN117034125B CN202311292085.0A CN202311292085A CN117034125B CN 117034125 B CN117034125 B CN 117034125B CN 202311292085 A CN202311292085 A CN 202311292085A CN 117034125 B CN117034125 B CN 117034125B
Authority
CN
China
Prior art keywords
information
identified
real
relation
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311292085.0A
Other languages
English (en)
Other versions
CN117034125A (zh
Inventor
李卓兵
李庆博
李扬扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhenyun Technology Co ltd
Original Assignee
Jiangsu Zhenyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhenyun Technology Co ltd filed Critical Jiangsu Zhenyun Technology Co ltd
Priority to CN202311292085.0A priority Critical patent/CN117034125B/zh
Publication of CN117034125A publication Critical patent/CN117034125A/zh
Application granted granted Critical
Publication of CN117034125B publication Critical patent/CN117034125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及大数据融合技术领域，具体为一种用于大数据融合的分类管理系统及方法，包括融合事件建立模块、信息特征分析模块、融合结果可视化模块、程度指数预警模块和影响关系调整模块；融合事件建立模块用于获取每一数据融合事件记录的目标信息；信息特征分析模块用于确定每一信息类别对应的信息特征以及信息特征之间的输入关系；融合结果可视化模块用于将已识别信息对象输入至数据融合中心获取融合结果并采用虚拟仿真技术实现数据可视化；程度指数预警模块用于在监测时段内分析数据融合对于每一类已识别信息对象的程度指数；影响关系调整模块用于分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系。

Description

一种用于大数据融合的分类管理系统及方法
技术领域
本发明涉及大数据融合技术领域，具体为一种用于大数据融合的分类管理系统及方法。
背景技术
数据融合技术能将来自多传感器或多源的信息和数据进行综合处理，有效排除干扰信息进行特征提取，进而对数据进行更科学、准确、高效的管理；而现有的JDL模型为不同领域的数据融合提供一个较为统一的流程，明确了数据融合的过程、功能和可用技术；但是由于数据输入的复杂多样性，融合前的数据分类往往会对融合结果带来偏差，且这种偏差通常不能及时发现和校准也难以和实时输入数据进行结合分析，从而导致在融合结果不尽人意时如何有效的处理融合前的输入数据成为一个难题。
发明内容
本发明的目的在于提供一种用于大数据融合的分类管理系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种用于大数据融合的分类管理方法，包括以下分析步骤：
步骤S1：获取每一数据融合事件记录的目标信息，目标信息是指通过传感器对目标识别对象采集的初始信息，每一传感器采集一种目标信息；将目标信息进行提取、确定可信度和格式转换生成待识别信息对象；记录每一数据融合事件中待识别信息对象的信息分类方式和输出的已识别信息对象，并确定每一信息类别对应的信息特征以及信息特征之间的输入关系；生成待识别信息对象是为了将获取的多源数据进行可信度高的数据选取以及时间和空间上的对齐；
步骤S2：基于分类完成的已识别信息对象，输入至数据融合中心中进行数据融合并获取融合结果；将融合结果采用虚拟仿真技术实现数据可视化；
步骤S3：基于可视化的融合结果，在监测时段内分析数据融合对于每一类已识别信息对象的程度指数，并通过程度指数反馈已识别信息对象对应的信息特征进行预警；预警是指在同一类已识别信息对象所属的信息特征下进行二次分类预警；
步骤S4：当无需预警时，获取信息特征之间的输入关系，分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，并基于影响关系进行信息调整；信息调整包括信息删除、反馈更新和保持输入。
进一步的，确定每一信息类别对应的信息特征以及信息特征之间的输入关系，包括以下分析步骤：
步骤S11：获取待识别信息对象输入样本训练集后进行决策的判决规则以及输出的已识别信息对象，提取每一已识别信息对应的判决路径A，A={a1,a2,...,ak}，a1,a2,...,ak表示生成已识别信息对应判决路径的第1、2、...、k个节点判决规则；
步骤S12：标记每一类已识别信息对象对应判决路径的末端节点判决规则ak为有效判决规则，并输出按照有效判决规则对待识别信息对象进行分类的判决特征为信息特征；
步骤S13：获取第i类已识别信息对象的信息特征所对应的有效判决规则aki；
当存在两类已识别信息对象的有效判决规则aki相同，且两类已识别信息对象除去有效判决规则前的判决路径{a1,a2,...,ak-1}完全相同时，输出两类已识别信息对象的输入关系为互补型；
当存在任一类已识别信息对象的判决路径重复且相同，则输出已识别信息对象的在先识别对象和在后识别对象的输入关系为冗余型；在先和在后是指时间维度上已识别信息对象的输出顺序；
当存在任意两类已识别信息对象的判决路径不完全相同或者完全不同时，输出两类已识别信息对象的输入关系为协作型。
进一步的，步骤S3包括以下分析步骤：
步骤S31：获取监测时段内可视化融合结果对应的预警数据，预警数据是指在可视化融合结果的基础上记录关于不同已识别信息对象的响应事件，针对于某一已识别信息对象的预警事件越多说明该信息对象的数据需要继续完善；响应事件至少包含一类已识别信息对象的信息特征；获取监测时段内可视化融合结果对应的操作数据，操作数据是指用户对可视化融合结果基于信息特征的操作行为；操作数据以开始操作到获取操作结果为一次操作流程，操作数据至少包含一类已识别信息对象的信息特征；
步骤S32：获取可视化融合结果中第i类信息特征的操作频次Di和响应事件个数Ui，计算第i类信息特征频度差值Ei，Ei=Ui-Di；标记Ei≥0且Di≥D0时对应的信息特征为待分析信息特征，D0表示操作频次阈值；筛选出待分析信息特征是表明这些信息特征对应的已识别信息对象在数据融合后的可视化显示中的实用性较强，计算第j类待分析信息特征对应已识别信息对象的程度指数Fj，Fj=Ej/E0，Ej表示第j类信息特征的频度差值，E0表示m1类信息特征的频度差值的平均值；m1表示待分析信息特征的总类数，j≤m1≤m2，m2表示可视化融合结果包含的信息特征总类数；程度指数越大说明该类信息特征对应的已识别信息对象需求量高但可利用率低；
步骤S33：设置程度指数阈值F0，当Fj≥F0时，对反馈程度指数对应已识别信息对象的信息特征进行预警。
对于操作频次进行分析是筛选出在融合后利用率不高的数据，不需做过多的分析反馈，提高系统处理能力的合理分配率；对于频度差值限定为大于等于零的数值是为了筛除利用率满足要求的信息对象，不需要进行二次融合前的数据处理；
进一步的，步骤S4中分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，包括以下分析步骤：
当Fj<F0时，无需预警；
获取同一传感器对应的实时目标信息，将实时目标信息生成已识别信息对象输入至数据融合中心后，获取实时目标信息对应信息特征的实时程度指数F0，若实时程度指数F0与程度指数Fj的差值小于差值阈值，说明新输入的目标信息对融合结果并未带来影响或改进；输出影响关系为不影响；
若实时程度指数F0与程度指数Fj的差值大于等于差值阈值，输出影响关系为影响；
若获取同一传感器对应的实时目标信息所属的信息特征为新增时，对新增信息特征进行识别分类，重新输入数据融合中心并获取新增程度指数F1，若新增程度指数F1小于F0时，则输出影响关系为新增影响；反之，则输出影响关系为不影响。
进一步的，步骤S4中基于影响关系进行信息调整，包括以下分析步骤：
当实时目标信息与可视化融合结果的影响关系为不影响时，获取实时目标信息所属的输入关系，当所属输入关系为冗余型时，对实时目标信息进行信息删除；
当所属输入关系不为冗余型时，对实时目标信息进行保持输入；
当实时目标信息与可视化融合结果的影响关系为影响时，对实时目标信息进行保持输入；
当实时目标信息与可视化融合结果的影响关系为新增影响时，对实时目标信息进行更新输入。
分类管理系统，包括融合事件建立模块、信息特征分析模块、融合结果可视化模块、程度指数预警模块和影响关系调整模块；
融合事件建立模块用于获取每一数据融合事件记录的目标信息，将目标信息进行提取、确定可信度和格式转换生成待识别信息对象；记录每一数据融合事件中待识别信息对象的信息分类方式和输出的已识别信息对象；
信息特征分析模块用于确定每一信息类别对应的信息特征以及信息特征之间的输入关系；
融合结果可视化模块用于将分类完成的已识别信息对象，输入至数据融合中心中进行数据融合并获取融合结果；将融合结果采用虚拟仿真技术实现数据可视化；
程度指数预警模块用于在监测时段内分析数据融合对于每一类已识别信息对象的程度指数，并通过程度指数反馈已识别信息对象对应的信息特征进行预警；
影响关系调整模块用于分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，并基于影响关系进行信息调整。
进一步的，信息特征分析模块包括信息特征确定单元和输入关系分析单元；
信息特征确定单元用于获取待识别信息对象输入样本训练集后进行决策的判决规则以及输出的已识别信息对象，提取每一已识别信息对应的判决路径，标记每一类已识别信息对象对应判决路径的末端节点判决规则为有效判决规则，并输出按照有效判决规则对待识别信息对象进行分类的判决特征为信息特征；
输入关系分析单元用于分析已识别信息对象的判决路径并确定对应的输入关系。
进一步的，程度指数预警模块包括预警数据获取单元、操作数据获取单元、频度差值计算单元、程度指数计算单元和识别预警单元；
预警数据获取单元用于获取监测时段内可视化融合结果对应的预警数据；
操作数据获取单元获取监测时段内可视化融合结果对应的操作数据；
频度差值计算单元获取可视化融合结果中信息特征的操作频次和响应事件个数，计算信息特征频度差值；
程度指数计算单元用于计算待分析信息特征对应已识别信息对象的程度指数；
识别预警单元用于设置程度指数阈值，在程度指数大于等于程度指数阈值时，对反馈程度指数对应已识别信息对象的信息特征进行预警。
进一步的，影响关系调整模块包括实时数据分析单元、影响关系判断单元、输入关系提取单元和分类调整单元；
实时数据分析单元用于获取同一传感器对应的实时目标信息，将实时目标信息生成已识别信息对象输入至数据融合中心后，获取实时目标信息对应信息特征的实时程度指数；
影响关系判断单元基于实时程度指数与程度指数的大小关系，输出对应影响关系；
输入关系提取单元用于在实时目标信息与可视化融合结果的影响关系为不影响时，获取实时目标信息所属的输入关系并分析；
分类调整单元用于对实时目标信息结合影响关系判断单元和输入关系提取单元的输出结果，输出对实时目标信息的调整。
与现有技术相比，本发明所达到的有益效果是：本发明通过对数据融合中心在融合前的数据处理入手，分析各类数据的输入关系，以及在融合后通过可视化体现数据动态走向，并结合可视化数据的预警信息和操作信息来分析数据在融合前的差异程度，从而有针对性的分析出在进行融合前的哪些数据为重点分析数据，使得融合结果更加高效和完善；而且本发明基于已完成的融合结果和实时获取的目标信息进行对比分析，不断提高融合结果的利用率；实现对多源知识和多个传感器所获得的信息进行综合处理,消除多传感器信息之间可能存在的冗余和矛盾，用信息互补来降低不确定性，以形成对系统环境相对完整一致的理解,从而提高系统智能规划和决策的科学性、反应的快速性和正确性，进而降低决策风险过程。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种用于大数据融合的分类管理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供技术方案：分类管理系统，包括融合事件建立模块、信息特征分析模块、融合结果可视化模块、程度指数预警模块和影响关系调整模块；
融合事件建立模块用于获取每一数据融合事件记录的目标信息，将目标信息进行提取、确定可信度和格式转换生成待识别信息对象；记录每一数据融合事件中待识别信息对象的信息分类方式和输出的已识别信息对象；
信息特征分析模块用于确定每一信息类别对应的信息特征以及信息特征之间的输入关系；
融合结果可视化模块用于将分类完成的已识别信息对象，输入至数据融合中心中进行数据融合并获取融合结果；将融合结果采用虚拟仿真技术实现数据可视化；
程度指数预警模块用于在监测时段内分析数据融合对于每一类已识别信息对象的程度指数，并通过程度指数反馈已识别信息对象对应的信息特征进行预警；
影响关系调整模块用于分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，并基于影响关系进行信息调整。
信息特征分析模块包括信息特征确定单元和输入关系分析单元；
信息特征确定单元用于获取待识别信息对象输入样本训练集后进行决策的判决规则以及输出的已识别信息对象，提取每一已识别信息对应的判决路径，标记每一类已识别信息对象对应判决路径的末端节点判决规则为有效判决规则，并输出按照有效判决规则对待识别信息对象进行分类的判决特征为信息特征；
输入关系分析单元用于分析已识别信息对象的判决路径并确定对应的输入关系。
程度指数预警模块包括预警数据获取单元、操作数据获取单元、频度差值计算单元、程度指数计算单元和识别预警单元；
预警数据获取单元用于获取监测时段内可视化融合结果对应的预警数据；
操作数据获取单元获取监测时段内可视化融合结果对应的操作数据；
频度差值计算单元获取可视化融合结果中信息特征的操作频次和响应事件个数，计算信息特征频度差值；
程度指数计算单元用于计算待分析信息特征对应已识别信息对象的程度指数；
识别预警单元用于设置程度指数阈值，在程度指数大于等于程度指数阈值时，对反馈程度指数对应已识别信息对象的信息特征进行预警。
影响关系调整模块包括实时数据分析单元、影响关系判断单元、输入关系提取单元和分类调整单元；
实时数据分析单元用于获取同一传感器对应的实时目标信息，将实时目标信息生成已识别信息对象输入至数据融合中心后，获取实时目标信息对应信息特征的实时程度指数；
影响关系判断单元基于实时程度指数与程度指数的大小关系，输出对应影响关系；
输入关系提取单元用于在实时目标信息与可视化融合结果的影响关系为不影响时，获取实时目标信息所属的输入关系并分析；
分类调整单元用于对实时目标信息结合影响关系判断单元和输入关系提取单元的输出结果，输出对实时目标信息的调整。
一种用于大数据融合的分类管理方法，包括以下分析步骤：
步骤S1：获取每一数据融合事件记录的目标信息，目标信息是指通过传感器对目标识别对象采集的初始信息，每一传感器采集一种目标信息；将目标信息进行提取、确定可信度和格式转换生成待识别信息对象；记录每一数据融合事件中待识别信息对象的信息分类方式和输出的已识别信息对象，并确定每一信息类别对应的信息特征以及信息特征之间的输入关系；生成待识别信息对象是为了将获取的多源数据进行可信度高的数据选取以及时间和空间上的对齐；
步骤S2：基于分类完成的已识别信息对象，输入至数据融合中心中进行数据融合并获取融合结果；将融合结果采用虚拟仿真技术实现数据可视化；
步骤S3：基于可视化的融合结果，在监测时段内分析数据融合对于每一类已识别信息对象的程度指数，并通过程度指数反馈已识别信息对象对应的信息特征进行预警；预警是指在同一类已识别信息对象所属的信息特征下进行二次分类预警；
步骤S4：当无需预警时，获取信息特征之间的输入关系，分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，并基于影响关系进行信息调整；信息调整包括信息删除、反馈更新和保持输入。
确定每一信息类别对应的信息特征以及信息特征之间的输入关系，包括以下分析步骤：
步骤S11：获取待识别信息对象输入样本训练集后进行决策的判决规则以及输出的已识别信息对象，提取每一已识别信息对应的判决路径A，A={a1,a2,...,ak}，a1,a2,...,ak表示生成已识别信息对应判决路径的第1、2、...、k个节点判决规则；
步骤S12：标记每一类已识别信息对象对应判决路径的末端节点判决规则ak为有效判决规则，并输出按照有效判决规则对待识别信息对象进行分类的判决特征为信息特征；
如：末端节点判决规则为：输出声音频率小于20Hz的声音信息，则信息特征为小于20Hz的声音信息或大于20Hz的声音信息；
步骤S13：获取第i类已识别信息对象的信息特征所对应的有效判决规则aki；
当存在两类已识别信息对象的有效判决规则aki相同，且两类已识别信息对象除去有效判决规则前的判决路径{a1,a2,...,ak-1}完全相同时，输出两类已识别信息对象的输入关系为互补型；如由两个不同方向对同一目标进行观测的相机得到的数据是互补的，且对应的有效判决规则为相机数据获取的方向；
当存在任一类已识别信息对象的判决路径重复且相同，则输出已识别信息对象的在先识别对象和在后识别对象的输入关系为冗余型；在先和在后是指时间维度上已识别信息对象的输出顺序；
当存在任意两类已识别信息对象的判决路径不完全相同或者完全不同时，输出两类已识别信息对象的输入关系为协作型。
路径不完全相同可以说明在信息进行粗分类时分类标准较宽泛，但后续由于进一步的分类导致信息差异化，完全不同说明这两类信息是属于完全两个领域的信息如图像和音频，那么最终都作为已识别的信息对象说明在进行数据融合前这两类信息是可以协作组合作为融合结果的。
步骤S3包括以下分析步骤：
步骤S31：获取监测时段内可视化融合结果对应的预警数据，预警数据是指在可视化融合结果的基础上记录关于不同已识别信息对象的响应事件，针对于某一已识别信息对象的预警事件越多说明该信息对象的数据需要继续完善；响应事件至少包含一类已识别信息对象的信息特征；获取监测时段内可视化融合结果对应的操作数据，操作数据是指用户对可视化融合结果基于信息特征的操作行为；操作数据以开始操作到获取操作结果为一次操作流程，操作数据至少包含一类已识别信息对象的信息特征；
步骤S32：获取可视化融合结果中第i类信息特征的操作频次Di和响应事件个数Ui，计算第i类信息特征频度差值Ei，Ei=Ui-Di；标记Ei≥0且Di≥D0时对应的信息特征为待分析信息特征，D0表示操作频次阈值；筛选出待分析信息特征是表明这些信息特征对应的已识别信息对象在数据融合后的可视化显示中的实用性较强，计算第j类待分析信息特征对应已识别信息对象的程度指数Fj，Fj=Ej/E0，Ej表示第j类信息特征的频度差值，E0表示m1类信息特征的频度差值的平均值；m1表示待分析信息特征的总类数，j≤m1≤m2，m2表示可视化融合结果包含的信息特征总类数；程度指数越大说明该类信息特征对应的已识别信息对象需求量高但可利用率低；
步骤S33：设置程度指数阈值F0，当Fj≥F0时，对反馈程度指数对应已识别信息对象的信息特征进行预警。
如实施例所示：
存在四组信息特征以及对应的已识别信息对象；数据分别如下：
信息对象1：D1=7，U1=9；
信息对象2：D2=9，U2=14；
信息对象3：D3=2，U3=3；
信息对象4：D4=6，U4=3；
设置D0=5，则筛选出的待分析信息特征为信息对象1和信息对象2；
分别计算程度指数F1=2/3.5，F2=5/3.5；设置F0=0.5，则对信息对象1和信息对象2的信息特征进行预警。
对于操作频次进行分析是筛选出在融合后利用率不高的数据，不需做过多的分析反馈，提高系统处理能力的合理分配率；对于频度差值限定为大于等于零的数值是为了筛除利用率满足要求的信息对象，不需要进行二次融合前的数据处理；
步骤S4中分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，包括以下分析步骤：
当Fj<F0时，无需预警；
获取同一传感器对应的实时目标信息，将实时目标信息生成已识别信息对象输入至数据融合中心后，获取实时目标信息对应信息特征的实时程度指数F0，若实时程度指数F0与程度指数Fj的差值小于差值阈值，说明新输入的目标信息对融合结果并未带来影响或改进；输出影响关系为不影响；
若实时程度指数F0与程度指数Fj的差值大于等于差值阈值，输出影响关系为影响；
若获取同一传感器对应的实时目标信息所属的信息特征为新增时，对新增信息特征进行识别分类，重新输入数据融合中心并获取新增程度指数F1，若新增程度指数F1小于F0时，则输出影响关系为新增影响；反之，则输出影响关系为不影响。
步骤S4中基于影响关系进行信息调整，包括以下分析步骤：
当实时目标信息与可视化融合结果的影响关系为不影响时，获取实时目标信息所属的输入关系，当所属输入关系为冗余型时，对实时目标信息进行信息删除；
当所属输入关系不为冗余型时，对实时目标信息进行保持输入；因为冗余型不存在影响其他信息的融合情况，当不需要时即可删除；
当实时目标信息与可视化融合结果的影响关系为影响时，对实时目标信息进行保持输入；
当实时目标信息与可视化融合结果的影响关系为新增影响时，对实时目标信息进行更新输入。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种用于大数据融合的分类管理方法，其特征在于，包括以下分析步骤：
步骤S1：获取每一数据融合事件记录的目标信息，所述目标信息是指通过传感器对目标识别对象采集的初始信息，每一传感器采集一种目标信息；将目标信息进行提取、确定可信度和格式转换生成待识别信息对象；记录每一数据融合事件中待识别信息对象的信息分类方式和输出的已识别信息对象，并确定每一信息类别对应的信息特征以及信息特征之间的输入关系；
所述确定每一信息类别对应的信息特征以及信息特征之间的输入关系，包括以下分析步骤：
步骤S11：获取待识别信息对象输入样本训练集后进行决策的判决规则以及输出的已识别信息对象，提取每一已识别信息对应的判决路径A，A＝{a1,a2,...,ak}，a1,a2,...,ak表示生成已识别信息对应判决路径的第1、2、...、k个节点判决规则；
步骤S12：标记每一类已识别信息对象对应判决路径的末端节点判决规则ak为有效判决规则，并输出按照有效判决规则对待识别信息对象进行分类的判决特征为信息特征；
步骤S13：获取第i类已识别信息对象的信息特征所对应的有效判决规则aki；
当存在两类已识别信息对象的有效判决规则aki相同，且两类已识别信息对象除去有效判决规则前的判决路径{a1,a2,...,ak-1}完全相同时，输出两类已识别信息对象的输入关系为互补型；
当存在任一类已识别信息对象的判决路径重复且相同，则输出所述已识别信息对象的在先识别对象和在后识别对象的输入关系为冗余型；在先和在后是指时间维度上已识别信息对象的输出顺序；
当存在任意两类已识别信息对象的判决路径不完全相同或者完全不同时，输出所述两类已识别信息对象的输入关系为协作型；
步骤S2：基于分类完成的已识别信息对象，输入至数据融合中心中进行数据融合并获取融合结果；将融合结果采用虚拟仿真技术实现数据可视化；
步骤S3：基于可视化的融合结果，在监测时段内分析数据融合对于每一类已识别信息对象的程度指数，并通过程度指数反馈所述已识别信息对象对应的信息特征进行预警；所述预警是指在同一类已识别信息对象所属的信息特征下进行二次分类预警；
所述步骤S3包括以下分析步骤：
步骤S31：获取监测时段内可视化融合结果对应的预警数据，所述预警数据是指在可视化融合结果的基础上记录关于不同已识别信息对象的响应事件，所述响应事件至少包含一类已识别信息对象的信息特征；获取监测时段内可视化融合结果对应的操作数据，所述操作数据是指用户对可视化融合结果基于信息特征的操作行为；所述操作数据以开始操作到获取操作结果为一次操作流程，所述操作数据至少包含一类已识别信息对象的信息特征；
步骤S32：获取可视化融合结果中第i类信息特征的操作频次Di和响应事件个数Ui，计算第i类信息特征频度差值Ei，Ei＝Ui-Di；标记Ei≥0且Di≥D0时对应的信息特征为待分析信息特征，所述D0表示操作频次阈值；计算第j类待分析信息特征对应已识别信息对象的程度指数Fj，Fj＝Ej/E0，Ej表示第j类信息特征的频度差值，E0表示m1类信息特征的频度差值的平均值；m1表示待分析信息特征的总类数，j≤m1≤m2，m2表示可视化融合结果包含的信息特征总类数；
步骤S33：设置程度指数阈值F0，当Fj≥F0时，对反馈程度指数对应已识别信息对象的信息特征进行预警；
步骤S4：当无需预警时，获取信息特征之间的输入关系，分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，并基于影响关系进行信息调整；所述信息调整包括信息删除、反馈更新和保持输入。
2.根据权利要求1所述的一种用于大数据融合的分类管理方法，其特征在于：所述步骤S4中分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，包括以下分析步骤：
当Fj<F0时，无需预警；
获取同一传感器对应的实时目标信息，将实时目标信息生成已识别信息对象输入至数据融合中心后，获取实时目标信息对应信息特征的实时程度指数F0，若实时程度指数F0与程度指数Fj的差值小于差值阈值，输出所述影响关系为不影响；
若实时程度指数F0与程度指数Fj的差值大于等于差值阈值，输出所述影响关系为影响；
若获取同一传感器对应的实时目标信息所属的信息特征为新增时，对新增信息特征进行识别分类，重新输入数据融合中心并获取新增程度指数F1，若新增程度指数F1小于F0时，则输出所述影响关系为新增影响；反之，则输出所述影响关系为不影响。
3.根据权利要求2所述的一种用于大数据融合的分类管理方法，其特征在于：所述步骤S4中基于影响关系进行信息调整，包括以下分析步骤：
当实时目标信息与可视化融合结果的影响关系为不影响时，获取实时目标信息所属的输入关系，当所属输入关系为冗余型时，对实时目标信息进行信息删除；
当所属输入关系不为冗余型时，对实时目标信息进行保持输入；
当实时目标信息与可视化融合结果的影响关系为影响时，对实时目标信息进行保持输入；
当实时目标信息与可视化融合结果的影响关系为新增影响时，对实时目标信息进行更新输入。
4.应用权利要求1-3中任一项所述的一种用于大数据融合的分类管理方法的分类管理系统，其特征在于，包括融合事件建立模块、信息特征分析模块、融合结果可视化模块、程度指数预警模块和影响关系调整模块；
所述融合事件建立模块用于获取每一数据融合事件记录的目标信息，将目标信息进行提取、确定可信度和格式转换生成待识别信息对象；记录每一数据融合事件中待识别信息对象的信息分类方式和输出的已识别信息对象；
所述信息特征分析模块用于确定每一信息类别对应的信息特征以及信息特征之间的输入关系；
所述信息特征分析模块包括信息特征确定单元和输入关系分析单元；
所述信息特征确定单元用于获取待识别信息对象输入样本训练集后进行决策的判决规则以及输出的已识别信息对象，提取每一已识别信息对应的判决路径，标记每一类已识别信息对象对应判决路径的末端节点判决规则为有效判决规则，并输出按照有效判决规则对待识别信息对象进行分类的判决特征为信息特征；
所述输入关系分析单元用于分析已识别信息对象的判决路径并确定对应的输入关系；
所述融合结果可视化模块用于将分类完成的已识别信息对象，输入至数据融合中心中进行数据融合并获取融合结果；将融合结果采用虚拟仿真技术实现数据可视化；
所述程度指数预警模块用于在监测时段内分析数据融合对于每一类已识别信息对象的程度指数，并通过程度指数反馈所述已识别信息对象对应的信息特征进行预警；
所述程度指数预警模块包括预警数据获取单元、操作数据获取单元、频度差值计算单元、程度指数计算单元和识别预警单元；
所述预警数据获取单元用于获取监测时段内可视化融合结果对应的预警数据；
所述操作数据获取单元获取监测时段内可视化融合结果对应的操作数据；
所述频度差值计算单元获取可视化融合结果中信息特征的操作频次和响应事件个数，计算信息特征频度差值；
所述程度指数计算单元用于计算待分析信息特征对应已识别信息对象的程度指数；
所述识别预警单元用于设置程度指数阈值，在程度指数大于等于程度指数阈值时，对反馈程度指数对应已识别信息对象的信息特征进行预警；
所述影响关系调整模块用于分析在监测周期内同一传感器获取的实时目标信息与可视化融合结果的影响关系，并基于影响关系进行信息调整。
5.根据权利要求4所述的分类管理系统，其特征在于：所述影响关系调整模块包括实时数据分析单元、影响关系判断单元、输入关系提取单元和分类调整单元；
所述实时数据分析单元用于获取同一传感器对应的实时目标信息，将实时目标信息生成已识别信息对象输入至数据融合中心后，获取实时目标信息对应信息特征的实时程度指数；
所述影响关系判断单元基于实时程度指数与程度指数的大小关系，输出对应影响关系；
所述输入关系提取单元用于在实时目标信息与可视化融合结果的影响关系为不影响时，获取实时目标信息所属的输入关系并分析；
所述分类调整单元用于对实时目标信息结合影响关系判断单元和输入关系提取单元的输出结果，输出对实时目标信息的调整。
CN202311292085.0A 2023-10-08 2023-10-08 一种用于大数据融合的分类管理系统及方法 Active CN117034125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311292085.0A CN117034125B (zh) 2023-10-08 2023-10-08 一种用于大数据融合的分类管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311292085.0A CN117034125B (zh) 2023-10-08 2023-10-08 一种用于大数据融合的分类管理系统及方法

Publications (2)

Publication Number Publication Date
CN117034125A CN117034125A (zh) 2023-11-10
CN117034125B true CN117034125B (zh) 2024-01-16

Family

ID=88624838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311292085.0A Active CN117034125B (zh) 2023-10-08 2023-10-08 一种用于大数据融合的分类管理系统及方法

Country Status (1)

Country Link
CN (1) CN117034125B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268247A (zh) * 2013-06-05 2013-08-28 中国电子科技集团公司第十五研究所 任务执行及调整线程池中保留线程的数量的方法和装置
CN103390039A (zh) * 2013-07-17 2013-11-13 北京建筑工程学院 基于网络信息的城市灾害专题图实时生成的方法
CN108027887A (zh) * 2015-05-15 2018-05-11 空气融合有限公司 用于实时自动化多传感器数据融合和分析的决策支持的便携式设备和方法
CN109768985A (zh) * 2019-01-30 2019-05-17 电子科技大学 一种基于流量可视化与机器学习算法的入侵检测方法
CN110019488A (zh) * 2018-09-12 2019-07-16 国网浙江省电力有限公司嘉兴供电公司 多源异构数据融合多核分类方法
CN111190900A (zh) * 2019-12-10 2020-05-22 浙江工业大学 一种云计算模式下json数据可视化优化方法
CN115099592A (zh) * 2022-06-14 2022-09-23 广西睿森大数据服务有限公司 一种信息监理风险的智能管控方法及系统
CN115202580A (zh) * 2022-07-28 2022-10-18 苏州浪潮智能科技有限公司 一种多路径设备检测方法、装置、设备、存储介质
CN115545667A (zh) * 2022-10-28 2022-12-30 青服(深圳)技术研究有限公司 基于大数据的软件产品信息管理系统及方法
WO2023030513A1 (zh) * 2021-09-05 2023-03-09 汉熵通信有限公司 物联网系统
CN115794804A (zh) * 2023-02-07 2023-03-14 北京至臻云智能科技有限公司 基于大数据技术的工程内控数据可视化处理系统及方法
CN116401311A (zh) * 2023-06-09 2023-07-07 江苏智绘空天技术研究院有限公司 一种基于gis的三维可视化数据管理系统及方法
CN116681402A (zh) * 2023-06-19 2023-09-01 深圳前海立方信息技术有限公司 一种基于物联网的项目信息库服务管理系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG10201406215YA (en) * 2014-09-30 2016-04-28 Mentorica Technology Pte Ltd Systems and methods for automated data analysis and customer relationship management
US20220035798A1 (en) * 2018-09-18 2022-02-03 Nec Corporation Data analysis support apparatus, data analysis support method, and computer-readable recording medium
US11222245B2 (en) * 2020-05-29 2022-01-11 Raytheon Company Systems and methods for feature extraction and artificial decision explainability

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268247A (zh) * 2013-06-05 2013-08-28 中国电子科技集团公司第十五研究所 任务执行及调整线程池中保留线程的数量的方法和装置
CN103390039A (zh) * 2013-07-17 2013-11-13 北京建筑工程学院 基于网络信息的城市灾害专题图实时生成的方法
CN108027887A (zh) * 2015-05-15 2018-05-11 空气融合有限公司 用于实时自动化多传感器数据融合和分析的决策支持的便携式设备和方法
CN110019488A (zh) * 2018-09-12 2019-07-16 国网浙江省电力有限公司嘉兴供电公司 多源异构数据融合多核分类方法
CN109768985A (zh) * 2019-01-30 2019-05-17 电子科技大学 一种基于流量可视化与机器学习算法的入侵检测方法
CN111190900A (zh) * 2019-12-10 2020-05-22 浙江工业大学 一种云计算模式下json数据可视化优化方法
WO2023030513A1 (zh) * 2021-09-05 2023-03-09 汉熵通信有限公司 物联网系统
CN115099592A (zh) * 2022-06-14 2022-09-23 广西睿森大数据服务有限公司 一种信息监理风险的智能管控方法及系统
CN115202580A (zh) * 2022-07-28 2022-10-18 苏州浪潮智能科技有限公司 一种多路径设备检测方法、装置、设备、存储介质
CN115545667A (zh) * 2022-10-28 2022-12-30 青服(深圳)技术研究有限公司 基于大数据的软件产品信息管理系统及方法
CN115794804A (zh) * 2023-02-07 2023-03-14 北京至臻云智能科技有限公司 基于大数据技术的工程内控数据可视化处理系统及方法
CN116401311A (zh) * 2023-06-09 2023-07-07 江苏智绘空天技术研究院有限公司 一种基于gis的三维可视化数据管理系统及方法
CN116681402A (zh) * 2023-06-19 2023-09-01 深圳前海立方信息技术有限公司 一种基于物联网的项目信息库服务管理系统及方法

Also Published As

Publication number Publication date
CN117034125A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN111178456B (zh) 异常指标检测方法、装置、计算机设备和存储介质
CN111459700B (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
JP2020500420A (ja) マシンラーニング基盤の半導体製造の収率予測システム及び方法
CN113222149B (zh) 模型训练方法、装置、设备和存储介质
JP7470784B2 (ja) 異常機器トレース検出および分類
CN114072808A (zh) 用于控制制造过程的分类模型
CN116986246A (zh) 一种用于对输煤皮带进行智能巡检系统及巡检方法
CN116382647A (zh) 一种基于大数据的软件开发管理系统及方法
CN117992953A (zh) 基于操作行为跟踪的异常用户行为识别方法
JP2009135649A (ja) データ処理装置及びデータ処理方法及びプログラム
CN115269438A (zh) 针对图像处理算法的自动化测试方法及装置
CN117034125B (zh) 一种用于大数据融合的分类管理系统及方法
CN116383606B (zh) 一种分布式医疗设备的恒流温度采集方法及系统
CN113609393A (zh) 一种基于数据服务和数据管理的数字化平台
CN113098912A (zh) 用户账户异常的识别方法、装置、电子设备及存储介质
CN117412070A (zh) 商家直播时长置信策略操作系统
CN116663904A (zh) 一种基于数据分析的智能目标监管系统及方法
CN115345600B (zh) 一种rpa流程的生成方法和装置
CN111031042A (zh) 一种基于改进d-s证据理论的网络异常检测方法
CN115904916A (zh) 一种硬盘故障预测的方法、装置、电子设备以及存储介质
CN112711651B (zh) 一种舆情监测方法及系统
CN114971532A (zh) 一种基于大数据的企业全渠道会员管理方法及系统
CN114238768A (zh) 资讯信息的推送方法、装置、计算机设备和存储介质
CN114926154B (zh) 一种多场景数据识别的保护切换方法及系统
CN113569879A (zh) 异常识别模型的训练方法、异常账号识别方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant