CN116662371A - 一种跨域数据融合方法 - Google Patents

一种跨域数据融合方法 Download PDF

Info

Publication number
CN116662371A
CN116662371A CN202310695616.4A CN202310695616A CN116662371A CN 116662371 A CN116662371 A CN 116662371A CN 202310695616 A CN202310695616 A CN 202310695616A CN 116662371 A CN116662371 A CN 116662371A
Authority
CN
China
Prior art keywords
data
query
user
metadata
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310695616.4A
Other languages
English (en)
Inventor
林笔星
魏华
林宇
陈正华
巫升俊
史亮
徐禄
宋柠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd
Original Assignee
Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd filed Critical Great Power Science and Technology Co of State Grid Information and Telecommunication Co Ltd
Priority to CN202310695616.4A priority Critical patent/CN116662371A/zh
Publication of CN116662371A publication Critical patent/CN116662371A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种跨域数据融合方法，涉及数据融合技术领域，所述融合方法包括以下步骤：通过数据解析、标准化和数据虚拟化引擎的支持，跨域数据融合可以将来自不同数据源的数据整合在一起，形成统一的数据视图，这使得数据可以在逻辑上统一访问和处理，避免了数据孤岛的问题，提高了数据的集成和整合效果，并且数据虚拟化引擎可以对查询请求进行优化和计划生成，以提高数据的访问效率和性能，数据整合完成后，对数据进行各种处理和分析操作，将处理和分析的结果呈现给用户。本发明通过智能的查询优化策略和缓存机制，可以减少数据访问的开销，并加速查询结果的生成和返回。

Description

一种跨域数据融合方法
技术领域
本发明涉及数据融合技术领域，具体涉及一种跨域数据融合方法。
背景技术
传统上，每个领域和组织都会独立收集、管理和分析自己的数据，然而，这种孤立的数据处理方式存在着一些问题，首先，不同领域和组织之间的数据无法进行有效的交互和共享，限制了数据的综合利用，其次，由于数据源的局限性，很多问题无法得到全面和准确的解决；
在现代社会中，数据已经成为了一种重要的资源，各个领域和组织都积累了大量的数据，然而，这些数据往往分布在不同的系统、数据库和组织之间，存在着隔离和壁垒，跨域数据融合是指将来自不同领域、不同源头的数据进行整合和合并，以生成新的洞察力和价值。
现有技术存在以下不足：
传统上，不同领域和组织的数据存储在各自独立的系统和数据库中，导致数据孤岛问题，数据无法进行有效的交互和共享，且当需要访问和处理跨域数据时，传统的方法可能需要在多个数据源之间进行数据传输和复制，导致数据访问效率低下和性能下降。
发明内容
本发明的目的是提供一种跨域数据融合方法，以解决背景技术中不足。
为了实现上述目的，本发明提供如下技术方案：一种跨域数据融合方法，所述融合方法包括以下步骤：
S1：数据融合系统在不同领域进行认证和授权后，接入不同领域的多个数据源；
S2：接入数据源后，对数据进行解析和标准化处理，将数据转化为统一的标准格式；
S3：数据源对标准化处理后，对不同领域数据源的元数据进行管理；
S4：通过数据虚拟化引擎将分布在不同数据源中的数据逻辑上统一起来，并根据用户的查询需求和数据源的特性对数据源进行查询优化；
S5：在数据虚拟化引擎的支持下，对数据进行整合和合并操作，生成新的数据集；
S6：数据整合完成后，对数据进行各种处理和分析操作，将处理和分析的结果呈现给用户。
在一个优选的实施方式中，步骤S3中，对不同领域数据源的元数据进行管理包括以下步骤：
S3.1：收集不同数据源的元数据信息，包括数据结构、数据字段、数据类型、数据编码、数据关系；
S3.2：存储和组织收集到的元数据，并对元数据进行描述和文档化；
S3.3：对元数据进行质量评估，将元数据质量不达标的数据源筛除；
S3.4：提供元数据查询和检索的功能，包括通过元数据属性、关键字、数据类型进行查询和检索。
在一个优选的实施方式中，步骤S4中，根据用户的查询需求和数据源的特性对数据源进行查询优化包括以下步骤：
S4.1：对用户的查询需求进行分析和理解，确定用户的查询范围；
S4.2：对数据源的特性进行分析，确定数据源的特性；
S4.3：根据查询范围以及数据源特性，生成查询执行计划，并依据查询执行计划以及结合用户历史查询记录信息预测用户是否发出查询请求，预测用户发出查询请求时提前进行查询优化和查询结果缓存。
在一个优选的实施方式中，步骤S4.3中，依据查询执行计划以及结合用户历史查询记录信息预测用户是否发出查询请求包括以下步骤：
S4.3.1：将用户历史查询特征以及查询执行计划中的查询特征基于TF-IDF表示为向量；
S4.3.2：计算查询执行计划查询特征向量与历史查询特征向量之间的相似度cos(theta)，计算表达式为：
式中，A和B分别是查询执行计划查询特征向量与历史查询特征向量，‘·’表示向量的点积操作，||A||和||B||分别表示查询执行计划查询特征向量与历史查询特征向量的范数；
S4.3.3：获取相似度cos(theta)后，将相似度cos(theta)与相似阈值进行对比，若相似度cos(theta)≥相似阈值，则预测用户发出查询请求，若相似度cos(theta)＜相似阈值，则预测用户不发出查询请求。
在一个优选的实施方式中，步骤S4.3中，预测用户发出查询请求时提前进行查询优化和查询结果缓存包括以下步骤：
S4.3.4：基于查询解析得到的信息进行查询优化；
S4.3.5：根据查询结果的重要性和频繁性，判断是否将查询结果缓存；
S4.3.6：在缓存查询结果的数据发生变化时，需要更新缓存。
在一个优选的实施方式中，步骤S5中，对数据进行整合和合并操作，生成新的数据集包括以下步骤：
S5.1：对于需要连接的数据，根据共同的字段或关联条件进行数据连接操作；
S5.2：对于不同结构的数据，使用数据联合操作合并为一个数据集；
S5.3：对于需要汇总和统计的数据，使用数据聚合操作生成新的数据集。
在一个优选的实施方式中，步骤S6中，对数据进行各种处理和分析操作包括以下步骤：
S6.1：识别并处理数据中的缺失值，检测和处理数据中的异常值，消除数据中的噪声；
S6.2：将数据从一种格式转换为另一种格式，并对数据进行规范化处理。
在一个优选的实施方式中，步骤S6中，将处理和分析的结果呈现给用户包括以下步骤：
S6.3：对处理和分析的结果进行整理和汇总，根据分析结果的性质和用户需求，设计数据可视化形式；
S6.4：基于设计的要求，使用相应的工具开发数据可视化界面；
S6.5：将处理和分析的结果以数据可视化的形式呈现给用户。
在上述技术方案中，本发明提供的技术效果和优点：
1、本发明通过数据解析、标准化和数据虚拟化引擎的支持，跨域数据融合可以将来自不同数据源的数据整合在一起，形成统一的数据视图，这使得数据可以在逻辑上统一访问和处理，避免了数据孤岛的问题，提高了数据的集成和整合效果，并且数据虚拟化引擎可以对查询请求进行优化和计划生成，以提高数据的访问效率和性能，通过智能的查询优化策略和缓存机制，可以减少数据访问的开销，并加速查询结果的生成和返回；
2、本发明通过将用户历史查询特征以及查询执行计划中的查询特征基于TF-IDF表示为向量，并计算查询执行计划查询特征向量与历史查询特征向量之间的相似度，最后依据相似度与相似阈值的对比结果来预测用户是否发出查询请求，从而能够在用户发出查询请求前进行查询优化和查询结果缓存，从而提高查询的响应速度和性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：请参阅图1所示，本实施例所述一种跨域数据融合方法，所述融合方法包括以下步骤：
数据融合系统在不同领域进行认证和授权后，接入不同领域的多个数据源，包括不同领域的数据库、文件系统、API等，进行认证和授权以确保只有合法的用户和系统能够访问数据源；
数据融合系统在不同领域进行认证和授权后，接入不同领域的多个数据源包括以下步骤：
A、认证和授权：在跨域数据融合系统中，首先需要对各个数据源进行认证和授权，这包括验证数据源的身份和权限，确保只有合法的用户和系统能够访问和使用数据源，认证和授权可以采用各种安全机制，如身份验证、访问令牌、API密钥等；
B、连接和配置：一旦数据源通过认证和授权，就可以建立与数据源的连接，这通常涉及配置连接参数，如数据库地址、端口号、用户名和密码等，不同数据源可能需要不同的连接方式和配置信息，根据数据源的类型和特性进行相应的设置；
C、数据源管理和监控：对于接入的多个数据源，需要进行管理和监控，以确保数据源的可用性和稳定性，这包括监测数据源的状态、连接情况、数据更新频率等，并及时处理异常情况，如连接中断、数据源故障等；
D、数据抽取和同步：一旦数据源接入成功，就可以开始进行数据的抽取和同步操作，这涉及从数据源中抽取数据，并将数据同步到跨域数据融合系统中进行进一步的处理和整合，数据抽取和同步可以根据数据源的更新策略和需求进行定期或实时的操作；
E、数据源更新和变化管理：数据源可能会发生更新和变化，包括数据结构的变更、新数据源的接入等，因此，需要进行数据源更新和变化管理，及时更新数据抽取和同步的逻辑，保证系统能够适应数据源的变化，并确保数据的持续可用性和一致性。
在接入数据源后，需要对数据进行解析和标准化处理，这涉及识别和处理不同数据格式和结构的差异，将数据转化为统一的标准格式，以方便后续的处理和整合；
在接入数据源后，需要对数据进行解析和标准化处理包括以下步骤：
A、数据识别和类型推断：首先，需要识别数据的格式和类型，根据数据源的特征和元数据，推断数据的结构、字段类型、编码方式等信息，这可以通过分析数据源的元数据、文件头部信息、数据样本等方式来进行；
B、数据解析和抽取：根据数据的格式和结构，进行数据解析和抽取，这涉及使用相应的解析器或算法来从原始数据中提取出结构化的数据，如表格、字段、记录等，针对不同的数据格式，可以使用各种解析技术，如文本解析、XML解析、JSON解析、正则表达式匹配等；
C、数据清洗和转换：在解析后，需要对数据进行清洗和转换，以消除数据中的噪音、错误或不一致性，这可以包括去除空值、处理缺失数据、纠正错误数据、规范化数据格式等，同时，根据数据的需求和标准，进行数据的转换操作，如单位转换、日期格式化、编码转换等，以确保数据的一致性和可用性；
D、数据结构和模式匹配：对于不同数据源之间的数据结构差异，需要进行结构和模式匹配，这包括识别和映射不同数据源的字段、表格和关系，以便后续的数据整合和查询操作，在这一步骤中，可能需要进行字段重命名、表格拆分合并、关系建立等操作；
E、数据标准化和规范化：为了实现数据的统一访问和处理，需要将数据转化为统一的标准格式，这包括统一的数据命名规范、数据类型规范、数据编码规范等，通过数据标准化和规范化，可以提高数据的一致性、可比性和可用性。
数据源对标准化处理后，对不同领域数据源的元数据进行管理，元数据包括数据结构、数据类型、数据质量指标等信息，这有助于理解和使用数据，提高数据融合的效果和质量；
数据源对标准化处理后，对不同领域数据源的元数据进行管理包括以下步骤：
A、元数据收集：首先，需要收集不同数据源的元数据信息，这包括数据结构、数据字段、数据类型、数据编码、数据关系等，可以通过数据源的文档、数据字典、元数据描述文件等途径来收集元数据信息；
B、元数据存储和组织：收集到的元数据需要进行存储和组织，以便后续的管理和使用，可以采用元数据管理系统、数据库或其他存储设施来存储元数据，元数据存储的组织方式可以采用层次结构、关系模型、图形模型等，根据实际需求进行选择；
C、元数据描述和文档化：为了更好地理解和使用元数据，需要对元数据进行描述和文档化，这包括对数据结构、字段含义、数据类型、数据质量指标等进行说明和解释，元数据描述和文档化可以采用标准的元数据描述语言或工具，如XML、JSON、UML等；
D、元数据质量管理：对元数据进行质量评估，将元数据质量不达标的数据源筛除，从而减少数据处理量，有效提高对不同领域数据源的数据处理效率；
对元数据进行质量评估，将元数据质量不达标的数据源筛除包括以下步骤：
获取数据质量指标以及数据加密强度，将数据质量指标以及数据加密强度去除量纲后，计算获取数据系数sjx，计算表达式为：
式中，jmq为数据加密强度，为数据质量指标，α、β分别为数据加密强度、数据质量指标的比例系数，且α、β均大于0；
数据加密强度为数据的密钥长度；
数据质量指标中，i为影响数据质量的参数编号，i为{1、2、3}，zli表示第i个影响数据质量的参数值求和，/>zl1为数据缺失值比例，zl2为数据重复值比例，zl3为数据异常值比例，数据质量指标越大，表明数据质量越差；
若数据系数sjx＜筛除阈值，则评估数据质量差，需要筛除，若数据系数sjx≥筛除阈值，则评估数据质量好，不需要筛除。
E、元数据查询和检索：为了方便用户查询和获取元数据信息，需要提供元数据查询和检索的功能，这包括通过元数据属性、关键字、数据类型等进行查询和检索，可以利用元数据管理系统提供的查询功能，或者开发自定义的元数据查询工具。
通过数据虚拟化引擎将分布在不同数据源中的数据逻辑上统一起来，处理用户的查询请求，根据查询需求和数据源的特性，进行查询优化和数据访问的计划生成；
在数据虚拟化引擎的支持下，对数据进行整合和合并操作，包括数据的连接、联合、聚合等操作，以生成新的数据集，需要注意的是，在数据整合过程中，需要解决数据的一致性、冲突和重复问题，确保数据的准确性和完整性；
数据整合完成后，对数据进行各种处理和分析操作，包括数据清洗。这有助于发现数据中的模式、趋势和规律，提供对数据的深入理解和洞察；
最后，将处理和分析的结果进行呈现和可视化，以便用户理解和使用，这可以包括报表、图表、可视化仪表板等形式，使用户能够直观地理解数据融合的结果，并做出相应的决策。
本申请通过数据解析、标准化和数据虚拟化引擎的支持，跨域数据融合可以将来自不同数据源的数据整合在一起，形成统一的数据视图，这使得数据可以在逻辑上统一访问和处理，避免了数据孤岛的问题，提高了数据的集成和整合效果，并且数据虚拟化引擎可以对查询请求进行优化和计划生成，以提高数据的访问效率和性能，通过智能的查询优化策略和缓存机制，可以减少数据访问的开销，并加速查询结果的生成和返回。
实施例2：通过数据虚拟化引擎将分布在不同数据源中的数据逻辑上统一起来，处理用户的查询请求，根据查询需求和数据源的特性，进行查询优化和数据访问的计划生成；
根据用户的查询需求和数据源的特性对数据源进行查询优化包括以下步骤：
对用户的查询需求进行分析和理解，了解用户的查询范围，查询范围包括数据对象、查询条件、排序要求等，这有助于确定查询的范围和目标，为后续的查询优化提供依据；
对数据源的特性进行分析，包括数据源的存储方式、索引结构、数据分布情况、数据量大小等，了解数据源的特性可以帮助确定合适的查询优化策略和方法；
根据查询范围以及数据源特性，生成查询执行计划，并依据查询执行计划以及结合用户历史查询记录信息预测用户是否发出查询请求，预测用户发出查询请求时提前进行查询优化和查询结果缓存，从而提高查询的响应速度和性能，查询执行计划定义了查询的具体执行方式，包括使用哪些索引、连接操作的顺序、数据过滤的顺序等；
依据查询执行计划以及结合用户历史查询记录信息预测用户是否发出查询请求包括以下步骤：
1)将用户历史查询特征以及查询执行计划中的查询特征基于TF-IDF表示为向量，其中每个特征维度对应一个特征属性，具体步骤如下：
1.1)分词：将文本数据集中的每个文档进行分词操作，将文本划分为独立的单词或词语，可以使用分词工具或库来实现，例如NLTK(NaturalLanguageToolkit)或SpaCy；
1.2)计算词频(TermFrequency)：对于每个文档，计算每个词语在该文档中的出现次数，词频可以简单地表示为词语的计数，或者进行归一化，例如采用词频除以文档中的总词数，以平衡文档的长度差异；
1.3)计算逆文档频率(InverseDocumentFrequency)：对于每个词语，计算它在整个文档集合中的逆文档频率，逆文档频率可以通过以下公式计算：
IDF＝log(N/(DF+1))；
其中，N是文档集合的总文档数，DF是包含该词语的文档数；
1.4)计算TF-IDF权重：将词频(TF)和逆文档频率(IDF)相乘，得到每个词语在每个文档中的TF-IDF权重，TF-IDF权重反映了词语在文档中的重要程度，即在该文档中频繁出现且在整个文档集合中罕见的词语具有较高的权重；
1.5)向量化：对于每个文档，将词语的TF-IDF权重作为特征向量的值，形成查询特征向量，特征向量的维度是词语的数量，每个维度对应一个词语，向量中的值表示对应词语的TF-IDF权重。
2)计算查询执行计划查询特征向量与历史查询特征向量之间的相似度cos（theta），计算表达式为：
式中，A和B分别是查询执行计划查询特征向量与历史查询特征向量，‘·’表示向量的点积操作，||A||和||B||分别表示查询执行计划查询特征向量与历史查询特征向量的范数(长度)。
3)获取相似度cos（theta）后，将相似度cos(theta)与相似阈值进行对比，若相似度cos(theta)≥相似阈值，则预测用户发出查询请求，若相似度cos(theta)＜相似阈值，则预测用户不发出查询请求。
本申请通过将用户历史查询特征以及查询执行计划中的查询特征基于TF-IDF表示为向量，并计算查询执行计划查询特征向量与历史查询特征向量之间的相似度，最后依据相似度与相似阈值的对比结果来预测用户是否发出查询请求，从而能够在用户发出查询请求前进行查询优化和查询结果缓存，从而提高查询的响应速度和性能。
例如，在电网中预测可能的查询请求时，我们可以基于电力负荷数据进行相似度计算：
1)查询特征向量化：将查询特征表示为一个向量，其中每个特征维度对应一个特征属性，例如，可以使用以下特征属性：
年份：查询的负荷数据所属的年份；
季节：查询的负荷数据所处的季节(春、夏、秋、冬)；
时间段：查询的负荷数据所处的具体时间段(早晨、白天、晚上)；
2)计算相似度：使用余弦相度量方法，计算查询特征向量与历史查询特征向量之间的相似度，相似度值越高表示两个查询特征越相似。
设查询特征向量为：
年份：2023；
季节：夏季；
时间段：晚上。
历史查询特征向量为：
年份：2022；
季节：夏季；
时间段：晚上。
使用余弦相似度作为相似度度量方法，计算查询特征向量与历史查询特征向量之间的相似度，若计算结果为相似度值；
若查询执行计划查询特征向量A取值为：[3,5,2]；
历史查询特征向量A取值为：[1,4,6]；
计算向量A和向量B的点积，表达式为：
A·B＝(3*1)+(5*4)+(2*6)＝3+20+12＝35；
计算向量A的范数(长度)，表达式为：
||A||＝√((32)+(52+(22))＝√(9+25+4)＝√38≈6.164；
计算向量B的范数(长度)，表达式为：
||B||＝√((1^2)+(4^2)+(6^2))＝√(1+16+36)＝√53≈7.280；
计算余弦相似度，表达式为：
cos(theta)＝(A·B)/(||A||*||B||)＝35/(6.164*7.280)≈0.806；
因此，向量A和向量B之间的余弦相似度约为0.806；
将相似阈值设定为0.8，由于余弦相似度cos(theta)≈0.806＞0.8，因此，预测用户发出查询请求。
预测用户发出查询请求时提前进行查询优化和查询结果缓存包括以下步骤：
1)查询优化：基于查询解析得到的关键信息，系统进行查询优化，优化步骤可以包括以下几个方面：
查询重写：根据查询语句和查询参数，对查询进行重写，优化查询的结构和逻辑；
查询分析：分析查询的特征和查询目标，选择合适的查询计划和查询执行策略；
数据访问路径选择：根据目标数据源的特性和查询要求，选择最佳的数据访问路径，包括索引选择、表连接顺序等；
查询计划调整：基于历史查询数据和统计信息，判断当前查询的执行时间、资源消耗等，用于调整查询计划和资源分配；
2)查询结果缓存：根据查询结果的重要性和频繁性，决定是否将查询结果缓存起来，以便后续的查询可以直接从缓存中获取结果，而不需要再次执行查询，缓存的策略可以根据查询的特征和系统需求来定制，例如基于时间戳、LRU(LeastRecentlyUsed)算法等；
3)查询结果更新：对于涉及到缓存的查询结果，如果相关的数据发生变化，需要及时更新缓存，以保持查询结果的准确性和实时性。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。
实施例3：在数据虚拟化引擎的支持下，对数据进行整合和合并操作，包括数据的连接、联合、聚合等操作，以生成新的数据集，需要注意的是，在数据整合过程中，需要解决数据的一致性、冲突和重复问题，确保数据的准确性和完整性；
在数据虚拟化引擎的支持下，对数据进行整合和合并操作包括以下步骤：
1)数据连接：对于需要连接的数据，根据共同的字段或关联条件进行数据连接操作，数据连接可以是内连接(INNERJOIN)、左连接(LEFTJOIN)、右连接(RIGHTJOIN)等，以根据数据之间的关联关系将它们连接在一起；
2)数据联合：对于不同结构但具有相似含义的数据，可以使用数据联合操作将它们合并为一个数据集，数据联合可以是垂直联合(VERTICALUNION)或水平联合(HORIZONTALUNION)，将不同的数据集按行或列合并在一起；
3)数据聚合：对于需要汇总和统计的数据，可以使用数据聚合操作生成新的数据集，聚合操作可以包括求和、计数、平均值、最大值、最小值等；
4)数据整合和合并结果：经过上述操作，生成新的数据集，包含了从不同数据源中整合和合并而来的数据，这个新的数据集可以作为统一的数据视图，方便后续的数据访问和处理。
数据整合完成后，对数据进行各种处理和分析操作，包括数据清洗，这有助于发现数据中的模式、趋势和规律，提供对数据的深入理解和洞察；
数据整合完成后，对数据进行各种处理和分析操作包括以下步骤：
1)数据清洗：
1.1)缺失值处理：识别并处理数据中的缺失值，可以选择删除包含缺失值的记录、进行插值填充或使用其他合适的处理方法。
1.2)异常值处理：检测和处理数据中的异常值，可以基于统计方法、规则或机器学习算法进行异常值识别和处理。
1.3)噪声处理：消除数据中的噪声，例如平滑数据、滤波或使用其他信号处理技术。
2)数据转换和规范化：
2.1)数据格式转换：将数据从一种格式转换为另一种格式，例如日期格式转换、文本编码转换等。
2.2)数据规范化：对数据进行规范化处理，例如将数值数据进行标准化、归一化等。
最后，将处理和分析的结果进行呈现和可视化，以便用户理解和使用，这可以包括报表、图表、可视化仪表板等形式，使用户能够直观地理解数据融合的结果，并做出相应的决策；
将处理和分析的结果进行呈现和可视化包括以下步骤：
1)结果整理：对处理和分析的结果进行整理和汇总，以便更好地呈现给用户，这包括对关键指标、数据特征、模型输出等进行梳理和组织；
2)数据可视化设计：根据分析结果的性质和用户需求，设计合适的数据可视化形式，这可以包括图表、图形、地图、仪表盘等，以及交互式的界面元素，使用户能够与数据进行交互和探索；
3)数据可视化开发：基于设计的要求，使用相应的工具和技术来开发数据可视化界面，这可以涉及编程语言、可视化库、数据可视化平台等，以实现数据的可视化展示和交互功能；
4)数据呈现：将处理和分析的结果以数据可视化的形式呈现给用户，这可以包括生成静态图像或动态图表，展示数据关系、趋势、分布等，也可以包括创建交互式仪表盘，使用户能够根据需要进行数据筛选、切片和钻取。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(randomaccessmemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种跨域数据融合方法，其特征在于：所述融合方法包括以下步骤：
S1：数据融合系统在不同领域进行认证和授权后，接入不同领域的多个数据源；
S2：接入数据源后，对数据进行解析和标准化处理，将数据转化为统一的标准格式；
S3：数据源对标准化处理后，对不同领域数据源的元数据进行管理；
S4：通过数据虚拟化引擎将分布在不同数据源中的数据逻辑上统一起来，并根据用户的查询需求和数据源的特性对数据源进行查询优化；
S5：在数据虚拟化引擎的支持下，对数据进行整合和合并操作，生成新的数据集；
S6：数据整合完成后，对数据进行各种处理和分析操作，将处理和分析的结果呈现给用户。
2.根据权利要求1所述的一种跨域数据融合方法，其特征在于：步骤S3中，对不同领域数据源的元数据进行管理包括以下步骤：
S3.1：收集不同数据源的元数据信息，包括数据结构、数据字段、数据类型、数据编码、数据关系；
S3.2：存储和组织收集到的元数据，并对元数据进行描述和文档化；
S3.3：对元数据进行质量评估，将元数据质量不达标的数据源筛除；
S3.4：提供元数据查询和检索的功能，包括通过元数据属性、关键字、数据类型进行查询和检索。
3.根据权利要求2所述的一种跨域数据融合方法，其特征在于：步骤S4中，根据用户的查询需求和数据源的特性对数据源进行查询优化包括以下步骤：
S4.1：对用户的查询需求进行分析和理解，确定用户的查询范围；
S4.2：对数据源的特性进行分析，确定数据源的特性；
S4.3：根据查询范围以及数据源特性，生成查询执行计划，并依据查询执行计划以及结合用户历史查询记录信息预测用户是否发出查询请求，预测用户发出查询请求时提前进行查询优化和查询结果缓存。
4.根据权利要求3所述的一种跨域数据融合方法，其特征在于：步骤S4.3中，依据查询执行计划以及结合用户历史查询记录信息预测用户是否发出查询请求包括以下步骤：
S4.3.1：将用户历史查询特征以及查询执行计划中的查询特征基于TF-IDF表示为向量；
S4.3.2：计算查询执行计划查询特征向量与历史查询特征向量之间的相似度cos(theta)，计算表达式为：
式中，A和B分别是查询执行计划查询特征向量与历史查询特征向量，‘·’表示向量的点积操作，||A||和||B||分别表示查询执行计划查询特征向量与历史查询特征向量的范数；
S4.3.3：获取相似度cos(theta)后，将相似度cos(theta)与相似阈值进行对比，若相似度cos(theta)≥相似阈值，则预测用户发出查询请求，若相似度cos(theta)＜相似阈值，则预测用户不发出查询请求。
5.根据权利要求4所述的一种跨域数据融合方法，其特征在于：步骤S4.3中，预测用户发出查询请求时提前进行查询优化和查询结果缓存包括以下步骤：
S4.3.4：基于查询解析得到的信息进行查询优化；
S4.3.5：根据查询结果的重要性和频繁性，判断是否将查询结果缓存；
S4.3.6：在缓存查询结果的数据发生变化时，需要更新缓存。
6.根据权利要求5所述的一种跨域数据融合方法，其特征在于：步骤S5中，对数据进行整合和合并操作，生成新的数据集包括以下步骤：
S5.1：对于需要连接的数据，根据共同的字段或关联条件进行数据连接操作；
S5.2：对于不同结构的数据，使用数据联合操作合并为一个数据集；
S5.3：对于需要汇总和统计的数据，使用数据聚合操作生成新的数据集。
7.根据权利要求6所述的一种跨域数据融合方法，其特征在于：步骤S6中，对数据进行各种处理和分析操作包括以下步骤：
S6.1：识别并处理数据中的缺失值，检测和处理数据中的异常值，消除数据中的噪声；
S6.2：将数据从一种格式转换为另一种格式，并对数据进行规范化处理。
8.根据权利要求7所述的一种跨域数据融合方法，其特征在于：步骤S6中，将处理和分析的结果呈现给用户包括以下步骤：
S6.3：对处理和分析的结果进行整理和汇总，根据分析结果的性质和用户需求，设计数据可视化形式；
S6.4：基于设计的要求，使用相应的工具开发数据可视化界面；
S6.5：将处理和分析的结果以数据可视化的形式呈现给用户。
CN202310695616.4A 2023-06-13 2023-06-13 一种跨域数据融合方法 Pending CN116662371A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310695616.4A CN116662371A (zh) 2023-06-13 2023-06-13 一种跨域数据融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310695616.4A CN116662371A (zh) 2023-06-13 2023-06-13 一种跨域数据融合方法

Publications (1)

Publication Number Publication Date
CN116662371A true CN116662371A (zh) 2023-08-29

Family

ID=87715018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310695616.4A Pending CN116662371A (zh) 2023-06-13 2023-06-13 一种跨域数据融合方法

Country Status (1)

Country Link
CN (1) CN116662371A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116975043A (zh) * 2023-09-21 2023-10-31 国网信息通信产业集团有限公司 一种基于流式框架的数据实时传输构建方法
CN117331926A (zh) * 2023-12-01 2024-01-02 太平金融科技服务（上海）有限公司 一种数据稽核方法、装置、电子设备和存储介质
CN117540343A (zh) * 2024-01-09 2024-02-09 苏州元澄科技股份有限公司 一种数据融合方法与系统
CN117828539A (zh) * 2024-03-06 2024-04-05 昆明智合力兴信息系统集成有限公司 数据智能融合分析系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116975043A (zh) * 2023-09-21 2023-10-31 国网信息通信产业集团有限公司 一种基于流式框架的数据实时传输构建方法
CN116975043B (zh) * 2023-09-21 2023-12-08 国网信息通信产业集团有限公司 一种基于流式框架的数据实时传输构建方法
CN117331926A (zh) * 2023-12-01 2024-01-02 太平金融科技服务（上海）有限公司 一种数据稽核方法、装置、电子设备和存储介质
CN117331926B (zh) * 2023-12-01 2024-03-01 太平金融科技服务（上海）有限公司 一种数据稽核方法、装置、电子设备和存储介质
CN117540343A (zh) * 2024-01-09 2024-02-09 苏州元澄科技股份有限公司 一种数据融合方法与系统
CN117540343B (zh) * 2024-01-09 2024-04-16 苏州元澄科技股份有限公司 一种数据融合方法与系统
CN117828539A (zh) * 2024-03-06 2024-04-05 昆明智合力兴信息系统集成有限公司 数据智能融合分析系统及方法
CN117828539B (zh) * 2024-03-06 2024-05-24 昆明智合力兴信息系统集成有限公司 数据智能融合分析系统及方法

Similar Documents

Publication Publication Date Title
CN116662371A (zh) 一种跨域数据融合方法
EP2909747B1 (en) Characterizing data sources in a data storage system
CN112699175A (zh) 一种数据治理系统及其方法
Stvilia et al. A framework for information quality assessment
CN103177061B (zh) 分区表中的唯一值估计
US20160328432A1 (en) System and method for management of time series data sets
Aboulnaga et al. Accurate estimation of the cost of spatial selections
CN112527783B (zh) 一种基于Hadoop的数据质量探查系统
WO2015060892A1 (en) Providing performance metadata in interest-driven business intelligence systems
CN103262076A (zh) 分析数据处理
US11803865B2 (en) Graph based processing of multidimensional hierarchical data
CN112131203A (zh) 一种数据仓库搭建的方法和系统
US20230315728A1 (en) Methods and systems for undetermined query analytics
Bellini et al. Metadata quality assessment tool for open access cultural heritage institutional repositories
Cai-Ming et al. Preprocessing method of structured big data in human resource archives database
Vu et al. Using deep learning for big spatial data partitioning
CN117235524A (zh) 自动估值模型的学习训练平台
Egri et al. Cross-correlation based clustering and dimension reduction of multivariate time series
CN112001539B (zh) 一种高精度的客运预测方法及客运预测系统
CN113553341A (zh) 多维数据分析方法、装置、设备及计算机可读存储介质
CN116506186A (zh) 网络安全等级保护测评数据的大数据分层分析方法
KR102358874B1 (ko) 빅데이터 기반의 도서관 의사결정 지원 시스템
KR102259073B1 (ko) 데이터 표준화 관리 시스템
JP6201053B2 (ja) 素性データ管理システム、および素性データ管理方法
Rong et al. Direct out-of-memory distributed parallel frequent pattern mining

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination