CN116186129A - 一种多源异构数据的处理方法及装置 - Google Patents

一种多源异构数据的处理方法及装置 Download PDF

Info

Publication number
CN116186129A
CN116186129A CN202211633737.8A CN202211633737A CN116186129A CN 116186129 A CN116186129 A CN 116186129A CN 202211633737 A CN202211633737 A CN 202211633737A CN 116186129 A CN116186129 A CN 116186129A
Authority
CN
China
Prior art keywords
data
data set
source heterogeneous
target
encryption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211633737.8A
Other languages
English (en)
Inventor
毛冬
李钟煦
陈祖歌
饶涵宇
张辰
章九鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202211633737.8A priority Critical patent/CN116186129A/zh
Publication of CN116186129A publication Critical patent/CN116186129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种多源异构数据的处理方法及装置。该方法中，对多源异构数据进行处理获得第一数据集；基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中的数据的加密指标；对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集；将所述第三数据集中的数据的按照主题分类存储在所述目标数据库。如此，通过对多源异构数据的处理，根据安全参数对已处理的多源异构数据进行标记，基于确定的加密指标对已标记的多源异构数据进行加密，并将已加密的多源异构数据按主题分类存储在目标数据库，一定程度上提高了多源异构数据的合规性和安全性。

Description

一种多源异构数据的处理方法及装置
技术领域
本申请涉及大数据处理技术领域，特别是涉及一种多源异构数据的处理方法及装置。
背景技术
在企业信息化的建设过程中，由于各业务数据存储技术(例如文件数据库、复杂网络数据库)具有差异性，导致企业积累了大量不同存储方式的数据，这些不同存储方式的数据构成了企业的多源异构数据。以电力企业为例，在电网运行过程中会产生大量的电力数据，这些电力数据主要由多源异构数据组成。电网作为日常生产生活的基础设施，关系到各领域的发展运营，那么，安全管理(例如存储和分析)多源异构数据就至关重要。
发明内容
本申请提供了一种多源异构数据的处理方法及装置，能够实现对多源异构数据安全管理，一定程度上提高了多源异构数据的合规性和安全性。
第一方面，本申请提供了一种多源异构数据的处理方法，包括：
对多源异构数据进行处理获得第一数据集，所述第一数据集中的数据为将所述多源异构数据的数据中符合目标需求的数据转换为目标格式后获得的数据，所述目标格式与目标数据库匹配；
基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中的数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次；
对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集；
将所述第三数据集中的数据的按照主题分类存储在所述目标数据库。
可选地，所述对多源异构数据进行处理获得第一数据集，包括：
对所述多源异构数据进行预处理，获得第四数据集；
抽取所述第四数据集中符合所述目标需求的数据，获得第五数据集；
根据所述目标数据库对应的所述目标格式对所述第五数据集中的数据进行格式转换，获得所述第一数据集。
可选地，在所述基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集之前，还包括：
响应于用户的配置操作，获得所述第一数据集中的数据的所述安全参数；
或，对所述第一数据集中的数据进行安全处理，获得所述第一数据集中的数据的所述安全参数。
可选地，所述基于所述第一数据集中的数据的安全参数，确定所述第一数据集中的数据的加密指标，包括：
基于所述安全参数中的至少一个参数的加权结果，确定所述加密指标。
可选地，所述方法还包括：
筛选所述目标数据库中属于目标阶段的数据，记作第六数据集；
按照分析需求对应的多个分析维度，对所述第六数据集中的数据进行分析，获得数据分析结果；
显示所述数据分析结果。
可选地，所述对所述第六数据集中的数据进行分析，获得数据分析结果，包括：
通过所述第六数据集中的数据的加密指标对应的解密方式对所述第六数据集中的数据进行解密，获得第七数据集；
基于所述第七数据集中的数据以及所述数据对应的标记，对所述第七数据集中的数据进行分析，获得所述数据分析结果。
可选地，所述多源异构数据包括：实时数据、历史数据、文本数据、多媒体数据或时间序列数据。
第二方面，本申请还提供了一种多源异构数据的处理装置，包括
处理单元，用于对多源异构数据进行处理获得第一数据集，所述第一数据集中的数据为将所述多源异构数据的数据中符合目标需求的数据转换为目标格式后获得的数据，所述目标格式与目标数据库匹配；
标记单元，用于基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中的数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次；
加密单元，用于对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集；
存储单元，用于将所述第三数据集中的数据的按照主题分类存储在所述目标数据库。
可选地，所述处理单元，具体用于：
对所述多源异构数据进行预处理，获得第四数据集；
抽取所述第四数据集中符合所述目标需求的数据，获得第五数据集；
根据所述目标数据库对应的所述目标格式对所述第五数据集中的数据进行格式转换，获得所述第一数据集。
可选地，在所述基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集之前，还包括：
响应于用户的配置操作，获得所述第一数据集中的数据的所述安全参数；
或，对所述第一数据集中的数据进行安全处理，获得所述第一数据集中的数据的所述安全参数。
可选地，所述标记单元，具体用于：
基于所述安全参数中的至少一个参数的加权结果，确定所述加密指标。
可选地，所述装置还包括：
筛选单元，用于筛选所述目标数据库中属于目标阶段的数据，记作第六数据集；
分析单元，用于按照分析需求对应的多个分析维度，对所述第六数据集中的数据进行分析，获得数据分析结果；
显示单元，用于显示所述数据分析结果。
可选地，所述分析单元，具体用于：
通过所述第六数据集中的数据的加密指标对应的解密方式对所述第六数据集中的数据进行解密，获得第七数据集；
基于所述第七数据集中的数据以及所述数据对应的标记，对所述第七数据集中的数据进行分析，获得所述数据分析结果。
可选地，所述多源异构数据包括：实时数据、历史数据、文本数据、多媒体数据或时间序列数据。
第三方面，本申请还提供了一种电子设备，所述电子设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行上述第一方面提供的所述方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面提供的所述方法。
由此可见，本申请具有如下有益效果：
本申请提供了一种多源异构数据的处理方法，包括：对多源异构数据进行处理获得第一数据集，所述第一数据集中的数据为将所述多源异构数据的数据中符合目标需求的数据转换为目标格式后获得的数据，所述目标格式与目标数据库匹配；基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次；对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集；将所述第三数据集中的数据的按照主题分类存储在所述目标数据库。如此，通过对多源异构数据的处理(例如基于目标数据库的目标格式对所述多源异构数据进行格式转换)得到第一数据集，基于所述第一数据集中数据的安全参数确定所述数据的加密指标并对所述数据进行相应标记得到第二数据集，根据所述加密指标对所述第二数据集中的数据进行加密得到第三数据集，然后将所述第三数据集中的数据的按照主题分类存储在目标数据库，实现对多源异构数据安全管理，一定程度上提高了多源异构数据的合规性和安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例中一种多源异构数据的处理方法的流程示意图；
图2为本申请实施例中一种多源异构数据的处理方法的一实例的流程示意图；
图3为本申请实施例提供的一种多源异构数据的处理装置300的结构示意图；
图4为本申请实施例提供的一种电子设备400的结构示意图。
具体实施方式
本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在现有的企业信息化的建设过程中，由于各业务数据存储技术(例如文件数据库、复杂网络数据库)具有差异性，导致企业积累了大量不同存储方式的数据，例如，结构化、半结构化和非结构化的数据，这些不同存储方式的数据构成了企业的多源异构数据。以电力企业为例，在电网运行过程中会收集各种渠道(例如通过传感器、视频监控设备、音频通信设备和移动终端等)的电力数据，正是收集渠道的广泛，使得电力数据具备了由多源异构数据组成的特性。而电网作为日常生产生活的基础设施，关系到各领域的发展运营，那么，面对大量的多源异构数据，如何安全管理(例如存储和分析)就至关重要。
基于此，本申请实施例提供了一种多源异构数据的处理方法，该方法中，对多源异构数据进行处理获得第一数据集，所述第一数据集中的数据为将所述多源异构数据的数据中符合目标需求的数据转换为目标格式后获得的数据，所述目标格式与目标数据库匹配；基于所述第一数据集中数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次；对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集；将所述第三数据集中的数据的按照主题分类存储在所述目标数据库。如此，通过对多源异构数据的处理(例如抽取所述多源异构数据中符合目标需求的数据、基于目标数据库的目标格式对所述多源异构数据进行格式转换)得到第一数据集，基于所述第一数据集中数据的安全参数确定所述数据的加密指标并对所述数据进行相应标记得到第二数据集，根据所述加密指标对所述第二数据集中的数据进行加密得到第三数据集，然后将所述第三数据集中的数据的按照主题分类存储在目标数据库，一定程度上提高了多源异构数据的合规性和安全性，实现对多源异构数据安全管理。
为了便于理解本申请实施例提供的多源异构数据的处理方法的具体实现，下面将结合附图进行说明。
需要说明的是，实施该多源异构数据的处理方法的主体可以为本申请实施例提供的多源异构数据的处理装置，该多源异构数据的处理装置可以承载于电子设备或电子设备的功能模块中。本申请实施例中的电子设备，可以是任意的能够实施本申请实施例中的多源异构数据的处理方法的设备，例如可以是物联网(InternetofThings，IoT)设备。
图1为本申请实施例提供的一种多源异构数据的处理方法的流程示意图。该方法可以应用于多源异构数据的处理装置，该多源异构数据的处理装置例如可以是如图3所述的多源异构数据的处理装置300，或者，该多源异构数据的处理装置也可以是集成于图4所示的电子设备400中的功能模块。
参见图1，本申请实施例中，可以包括如下步骤：
S101：对多源异构数据进行处理获得第一数据集，所述第一数据集中的数据为将所述多源异构数据的数据中符合目标需求的数据转换为目标格式后获得的数据，所述目标格式与目标数据库匹配。
需要说明的是，多源异构数据可以包括实时数据、历史数据、文本数据、多媒体数据或时间序列数据，当然，多源异构数据数据也可以是其他形式或结构的数据，均不影响本申请实施例的实现。存储多源异构数据的数据库中的数据应该以统一的格式存储，本申请实施例中将待存储多源异构数据的数据库称为目标数据库，将该目标数据库中要求的数据存储格式称为目标格式。
在一些实现方式中，为了使得多源异构数据具有规范化的存储格式，可以先对对所述多源异构数据进行处理获得第一数据集，该方法可以包括：对所述多源异构数据预处理，例如，对多源异构数据进行噪声平滑处理和/或通过规范化方式实现数据转换，获得第四数据集；抽取经过预处理的第四数据集中符合目标需求的数据，获得第五数据集；根据所述目标数据库对应的所述目标格式对所述第五数据集中的数据进行格式转换获得所述第一数据集。
S102：基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中的数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次。
需要说明的是，可以根据安全参数对第一数据集中的数据进行相应安全评估并进行相应的标记，作为一个示例，可以将安全等级或保密等级分为1、2、3和4级；将重要程度划分为一般重要、很重要、比较重要和非常重要，并做相应标记，例如IM1、IM2、IM3和IM4；根据预设的阈值将使用频次划分等级，例如使用频次为0～49为1级，50～99为2级等。
在一些实现方式中，获得安全参数的方式可以包括：响应于用户选取所需要的安全参数的操作，获得所述第一数据集中的数据的所述安全参数；或者，自动对所述第一数据集中的数据进行安全处理，获得所述第一数据集中的数据的所述安全参数。
在另一些实现方式中，所述基于所述第一数据集中的数据的安全参数，确定所述第一数据集中数据的加密指标可以包括：基于所述安全参数中的至少一个安全参数的加权结果，确定所述加密指标。可以对加权结果划分不同的加权范围，不同的加权范围对应不同的加密级别要求，加密指标即加密级别要求或加密级别要求对应的加密方式，通常，加密级别要求越高，加密方式的安全性越好。
作为一个示例，数据1的安全参数包括重要程度、使用频次和保密等级，其中重要程度为非常重要(对应的等级为1级)，使用频次为80次(划分到2级)，保密等级为3级，设定每级对应10分，重要程度占权重30％、使用频次占权重20％、保密等级占权重50％，得到加权结果＝1×10×30％+2×10×20％+30×50％＝22，加权结果为22，其中，加权结果1～20为A级，21～40为B级，41～60为C级，依次类推，得到数据1的加密指标为B级，对于加密指标，B级对应的加密方式的安全性低于C级对应的加密方式的安全性，B级对应的加密方式的安全性高于A级对应的加密方式的安全性。
S103：对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集。
根据上述举例，A级可以对应单向加密，B级可以对应对称加密，C级可以对应非对称加密，那么，对于数据1采用对称加密的方式进行加密。
S104：将所述第三数据集中的数据的按照主题分类存储在所述目标数据库。
主题分类例如可以根据数据参数种类分类，电流或电压，或者根据数据主体分类，传感器、变压器、巡检机器人等。
在一些实现方式中，本申请实施例所述的方法还可以包括：筛选所述目标数据库中属于目标阶段的数据，记作第六数据集；按照分析需求对应的多个分析维度，对所述第六数据集中的数据进行分析，获得数据分析结果；显示所述数据分析结果。
为了后续显示数据分析结果的合规性和安全性，可以筛选所述目标数据库中属于目标阶段的数据。以电力数据的生产环节和营销环节展示为例，在生产环节，可以筛选出符合基本电力规则的数据，在营销环节中，通过筛选可以剔除一些不该被公布的数据。
多个分析维度例如可以是，对巡检机器人的电能损耗进行分析、对变压器日均生产总量进行分析、对传感器输出的电力谐波比进行分析等，通过多个分析维度可以用于生产环节调优。
需要说明的是，为了提高分析过程的安全性，本申请实施例所述的方法可以包括：通过所述第六数据集中的数据的加密指标对应的解密方式，先对所述第六数据集中的数据进行解密，获得第七数据集；然后，基于所述第七数据集中的数据以及所述数据对应的标记，对所述第七数据集中的数据进行分析，获得所述数据分析结果。
可见，通过本申请实施例所述的方法，实现了对多源异构数据的处理、加密和存储，一定程度上提高了多源异构数据的合规性和安全性，除此之外，还可以对多源异构数据进行多维度分析，之后利用聚类分析模型等挖掘手段开展用户画像的的特征分析，实现对多源异构数据多元化管理。
为了使得本申请实施例提供的方法更加清楚且易于理解，下面结合具体的场景，对该方法的一个具体实例进行说明。
如图2所示，本申请实施例可以包括如下步骤：
S201：对多源异构数据进行预处理，获得第四数据集。
需要说明的是，所述多源异构数据可以包括实时数据、历史数据、文本数据、多媒体数据或时间序列数据，实现所述预处理的终端可以是配备强大算力的云计算设备，也可以是普通设备，通过边缘计算方式可以实现普通设备和云计算设备之间的算力共享。此外，可以将具有算力的设备作为区块链节点，架构联盟链或者私链，利用区块链共识机制、对等网络(Peer-to-Peer，P2P)分布式等特点对数据进行处理，使得数据可以得到备份，在终端或处理中心宕机时，一方面，不会造成数据丢失或难以复原的情况，另一方面，也不影响其他数据的处理。
S202：抽取第四数据集中符合目标需求的数据，获得第五数据集。
S203：根据目标数据库对应的目标格式对第五数据集中的数据进行格式转换，获得第一数据集。
S204：基于第一数据集中的数据的安全参数，对第一数据集中的数据进行相应的标记获得第二数据集。
需要说明的是，在区块数据构建时，利用标记可以进行同一标记数据的溯源构建，方便后期读取或查找。节点存储时，一方面存储区块，另一方面还按照标记存储数据，进一步方便快速读取。
S205：确定第一数据集中的数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次。
S206：对第二数据集中的数据按照与加密指标对应的加密方式进行加密，获得第三数据集。
S207：将第三数据集中的数据按照主题分类存储在目标数据库。
如此，通过本申请实施例所述的方法，实现了对多源异构数据的处理、加密和存储，一定程度上提高了多源异构数据的合规性和安全性。
参见图3，本申请实施例还提供了一种多源异构数据的处理装置300，所述装置300包括：
处理单元301，用于对多源异构数据进行处理获得第一数据集，所述第一数据集中的数据为将所述多源异构数据的数据中符合目标需求的数据转换为目标格式后获得的数据，所述目标格式与目标数据库匹配；
标记单元302，用于基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中的数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次；
加密单元303，用于对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集；
存储单元304，用于将所述第三数据集中的数据的按照主题分类存储在所述目标数据库。
可选地，所述处理单元301，具体用于：
对所述多源异构数据预处理；
抽取经过预处理的所述多源异构数据中符合目标需求的数据；
根据所述目标数据库的所述目标格式对所述符合目标需求的数据进行格式转换获得所述第一数据集。
可选地，在所述基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集之前，还包括：
响应于用户的配置操作，获得所述第一数据集中的数据的所述安全参数；
或，对所述第一数据集中的数据进行安全处理，获得所述第一数据集中的数据的所述安全参数。
可选地，所述标记单元302，具体用于：
基于所述安全参数中的至少一个参数的加权结果，确定所述加密指标。
可选地，所述装置300还包括：
筛选单元，用于筛选所述目标数据库中属于目标阶段的数据，记作第四数据集；
分析单元，用于按照分析需求对应的多个分析维度，对所述第四数据集中的数据进行分析，获得数据分析结果；
显示单元，用于显示所述数据分析结果。
可选地，所述分析单元，具体用于：
通过所述第四数据集中的数据的加密指标对应的解密方式对所述第四数据集中的数据进行解密，获得第五数据集；
基于所述第五数据集中的数据以及所述数据对应的标记，对所述第五数据集中的数据进行分析，获得所述数据分析结果。
可选地，所述多源异构数据包括：实时数据、历史数据、文本数据、多媒体数据或时间序列数据。
需要说明的是，该装置300具体实现方式以及达到的技术效果，均可以参见图1所示的方法中的相关描述。
此外，本申请实施例还提供了一种电子设备400，如图4所示，所述电子设备400包括处理器401以及存储器402：
所述存储器402用于存储计算机程序；
所述处理器401用于根据所述计算机程序执行图1或图2提供的方法。
此外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行本申请实施例提供的方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目标。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请的优选实施方式，并非用于限定本申请的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种多源异构数据的处理方法，其特征在于，包括：
对多源异构数据进行处理获得第一数据集，所述第一数据集中的数据为将所述多源异构数据的数据中符合目标需求的数据转换为目标格式后获得的数据，所述目标格式与目标数据库匹配；
基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中的数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次；
对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集；
将所述第三数据集中的数据按照主题分类存储在所述目标数据库。
2.根据权利要求1所述的方法，其特征在于，所述对多源异构数据进行处理获得第一数据集，包括：
对所述多源异构数据进行预处理，获得第四数据集；
抽取所述第四数据集中符合所述目标需求的数据，获得第五数据集；
根据所述目标数据库对应的所述目标格式对所述第五数据集中的数据进行格式转换，获得所述第一数据集。
3.根据权利要求1所述的方法，其特征在于，在所述基于所述第一数据集中的数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集之前，还包括：
响应于用户的配置操作，获得所述第一数据集中的数据的所述安全参数；
或，对所述第一数据集中的数据进行安全处理，获得所述第一数据集中的数据的所述安全参数。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一数据集中的数据的安全参数，确定所述第一数据集中的数据的加密指标，包括：
基于所述安全参数中的至少一个参数的加权结果，确定所述加密指标。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
筛选所述目标数据库中属于目标阶段的数据，记作第六数据集；
按照分析需求对应的多个分析维度，对所述第六数据集中的数据进行分析，获得数据分析结果；
显示所述数据分析结果。
6.根据权利要求5所述的方法，其特征在于，所述对所述第六数据集中的数据进行分析，获得数据分析结果，包括：
通过所述第六数据集中的数据的加密指标对应的解密方式对所述第六数据集中的数据进行解密，获得第七数据集；
基于所述第七数据集中的数据以及所述数据对应的标记，对所述第七数据集中的数据进行分析，获得所述数据分析结果。
7.根据权利要求1所述的方法，其特征在于，所述多源异构数据包括：实时数据、历史数据、文本数据、多媒体数据或时间序列数据。
8.一种多源异构数据的处理装置，其特征在于，包括：
处理单元，用于对多源异构数据进行处理获得第一数据集，所述第一数据集中的数据为将所述多源异构数据的数据中符合目标需求的数据转换为目标格式后获得的数据，所述目标格式与目标数据库匹配；
标记单元，用于基于所述第一数据集中数据的安全参数，对所述第一数据集中的数据进行相应的标记获得第二数据集，并确定所述第一数据集中数据的加密指标，所述安全参数包括下述参数中的至少一个：保密等级、重要程度、安全等级或使用频次；
加密单元，用于对所述第二数据集中的数据按照与所述加密指标对应的加密方式进行加密，获得第三数据集；
存储单元，用于将所述第三数据集中的数据的按照主题分类存储在所述目标数据库。
9.一种电子设备，其特征在于，所述电子设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-7任一项所述的方法。
CN202211633737.8A 2022-12-19 2022-12-19 一种多源异构数据的处理方法及装置 Pending CN116186129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211633737.8A CN116186129A (zh) 2022-12-19 2022-12-19 一种多源异构数据的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211633737.8A CN116186129A (zh) 2022-12-19 2022-12-19 一种多源异构数据的处理方法及装置

Publications (1)

Publication Number Publication Date
CN116186129A true CN116186129A (zh) 2023-05-30

Family

ID=86443266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211633737.8A Pending CN116186129A (zh) 2022-12-19 2022-12-19 一种多源异构数据的处理方法及装置

Country Status (1)

Country Link
CN (1) CN116186129A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116860859A (zh) * 2023-09-01 2023-10-10 江西省信息中心(江西省电子政务网络管理中心 江西省信用中心 江西省大数据中心) 一种多源异构数据的接口创建方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116860859A (zh) * 2023-09-01 2023-10-10 江西省信息中心(江西省电子政务网络管理中心 江西省信用中心 江西省大数据中心) 一种多源异构数据的接口创建方法、装置及电子设备
CN116860859B (zh) * 2023-09-01 2023-12-22 江西省信息中心(江西省电子政务网络管理中心 江西省信用中心 江西省大数据中心) 一种多源异构数据的接口创建方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Juneja et al. Big data quality framework: Pre-processing data in weather monitoring application
Zhou et al. The study on evaluation method of urban network security in the big data era
US11836162B2 (en) Unsupervised method for classifying seasonal patterns
US20170249376A1 (en) System for detecting and characterizing seasons
EP3928495B1 (en) Automated closed-loop actions in a network using a distributed ledger
CN111352808B (zh) 告警数据处理方法、装置、设备及存储介质
Adekitan et al. Data mining approach for predicting the daily Internet data traffic of a smart university
US20170249562A1 (en) Supervised method for classifying seasonal patterns
Sinaeepourfard et al. A data lifeCycle model for smart cities
Aranda et al. Context-aware Edge Computing and Internet of Things in Smart Grids: A systematic mapping study
CN116186129A (zh) 一种多源异构数据的处理方法及装置
Deceglie et al. RdTools: An open source python library for PV degradation analysis
Kumar et al. Development of a cloud-assisted classification technique for the preservation of secure data storage in smart cities
Hsu et al. Green communication approach for the smart city using renewable energy systems
CN104881326B (zh) 日志文件处理方法及装置
Acosta et al. City safety perception model based on visual content of street images
Kochetkov et al. Using patent landscapes for technology benchmarking: A case of 5g networks
CN116596574A (zh) 电网用户画像构建方法及系统
CN111625727B (zh) 用于社交关系数据的信息处理方法、装置和存储介质
CN114493262A (zh) 一种电力大数据的处理系统、方法、装置及计算机设备
CN114493853A (zh) 信用等级评价方法、装置、电子设备及存储介质
CN113988507A (zh) 一种输变电运行设备预警方法及装置
CN111813542A (zh) 一种并行处理大规模图分析任务的负载均衡方法及其装置
Kostadinov et al. Reducing the number of incidents in converged IT infrastructure using correlation approach
Shah et al. Administration of Big Data using the Cloud as base

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination