CN116610730B - 基于知识图谱的时空大数据深度分析方法及系统 - Google Patents

基于知识图谱的时空大数据深度分析方法及系统 Download PDF

Info

Publication number
CN116610730B
CN116610730B CN202310893384.3A CN202310893384A CN116610730B CN 116610730 B CN116610730 B CN 116610730B CN 202310893384 A CN202310893384 A CN 202310893384A CN 116610730 B CN116610730 B CN 116610730B
Authority
CN
China
Prior art keywords
data
classification
format
historical data
semantic analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310893384.3A
Other languages
English (en)
Other versions
CN116610730A (zh
Inventor
郭富涛
谢鹏
冀宗童
马伟
胡贵贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhicheng Spacetime Xi'an Innovation Technology Co ltd
Original Assignee
Zhicheng Spacetime Xi'an Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhicheng Spacetime Xi'an Innovation Technology Co ltd filed Critical Zhicheng Spacetime Xi'an Innovation Technology Co ltd
Priority to CN202310893384.3A priority Critical patent/CN116610730B/zh
Publication of CN116610730A publication Critical patent/CN116610730A/zh
Application granted granted Critical
Publication of CN116610730B publication Critical patent/CN116610730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及时空数据分析技术领域，具体公开了一种基于知识图谱的时空大数据深度分析方法及系统，其中，所述系统包括：基础配置模块、历史数据表结构形成模块、格式标注模块、分类模板构建模块、分类模板配置模块、语义分析模型构建模块、分类矩阵构建模块、导向链接构建模块以及识别模块；本申请在利用知识图谱进行分类之前，构建了数据的导出机制，且数据从数据库导出时是按照设定表结构来导出的，并限定了数据结构特征，使得导出的数据为时空数据，直接过滤掉了其他数据，在利用知识图谱分类时，按照设定格式进行分类并标注，在通过设置的语义分析模型进行对应的语义分析和关系抽取，来分析不同的数据特征之间的关联性。

Description

基于知识图谱的时空大数据深度分析方法及系统
技术领域
本发明涉及一种时空数据分析技术领域，具体的涉及一种基于知识图谱的时空大数据深度分析方法及系统。
背景技术
目前地理信息正由单一静态向多源动态、精确结构化向模糊异构化转变。知识图谱本质上是一种以图Graph作为数据结构的语义网络，用边连接由节点代表实体或概念，用有向图的方式来表达语义关系，比如在《地理信息世界》，2021年公开了的基于时空知识图谱的空间分析方法研究，以图谱检索的方式替代传统空间分析过程,降低了时间复杂度,可以有效提高空间分析检索效率，以便民生活圈中地理实体变化作为典型空间分析案例,比较了传统多图层空间分析和时空知识图谱检索方式的分析效率，具体的，本研究从数据存储架构出发，引入知识图谱作为新框架，以检索替代空间分析的复杂过程，来提升空间分析效率。知识图谱是一种对数据用语义网络进行的表达，通过节点（Point）和边（Edge）把不同信息连接在一起形成一个关系网络，这种基于图的结构可以有效地提高信息查询效率。本研究以地理格网为基础进行图谱网络的拓展，基于 Jena 构建地理信息空间分析的知识图谱数据库，以RDF形式化表示SPO（Subject，Predicate，Object）的三元关系。其中主体（Subject）是被描述的资源，谓语（Predicate）用于描述主体属性和宾语之间的关系，宾语（Object）表示资源或属性值。此外，我们在空间信息的知识图谱上以节点形式加入了时间属性，形成地理信息的时空知识图谱。结果表明,基于时空知识图谱的检索方法比传统多图层空间分析存在着一个量级的提升,这对于解决地理信息系统空间分析效率问题具有参考意义。因此，利用知识图谱可以对庞大的时空数据进行分析。
但是时空数据还是有别于其他制图系统和空间数据库，其在利用知识图谱在进行分类分析时，需要将数据库的时空数据按照不同的格式导出并标注，并对应的构建用于时空数据分析的语义特征，才能从时间维度和空间维度对时空数据进行精确的分析。上述公开的技术仅通过知识图谱进行一次分类，显然达不到深度分析的要求。
发明内容
有鉴于此，本发明的目的在于提供一种基于知识图谱的时空大数据深度分析方法及系统。
为实现上述目的，本发明提供了一种基于知识图谱的时空大数据深度分析方法，包括如下步骤：
步骤1、运行数据库脚本，在数据库脚本中配置数据表结构，并为数据库中的历史数据与历史数据表结构构建链接路径，形成数据导出的基础配置，在数据库脚本中运行同步代码，将基础配置通过数据库脚本中的同步代码同步至数据导出工具中，利用数据导出工具导出历史数据表结构，基于链接路径从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；
步骤2、加载历史数据表结构及对应的历史数据目录，调用知识图谱中设定格式将历史数据目录下对应的历史数据进行格式标注，并按照分布式图存储的形式对格式标注以及对应的历史数据进行缓存；
步骤3、获取分布式图存储的结构，提取格式标注，按照格式标注构建对应的分类模板，在每一分类模板中构建空间位置信息语义特征以及时间演进信息语义特征，基于每一分类模板构建的空间位置信息语义特征以及时间演进信息语义特征来构建神经网络模型，将历史数据按照格式标注对应的输入至分类模板中，按照设定的空间位置信息语义特征和时间演进信息语义特征进行语义分析，并将对应的语义分析结果同步至神经网络模型中，同时基于每一分类模板的空间位置信息语义特征以及时间演进信息语义特征来构建每一分类模板对应的关系特征，基于所述关系特征构建关系网络，并将所述关系网络配置到神经网络模型中，通过神经网络模型对语义分析结果进行迭代训练得到语义分析模型，其中语义分析模型包括了所述关系网络；将多个分类模板组合构成分类矩阵，在分类矩阵中通过格式标注构建分类模板的导向链接，将导向链接添加至识别模块中，通过导向链接将识别模块和分类矩阵中的分类模板建立连接；将分类矩阵通过同步模块连接所述语义分析模型；
步骤4、当有新数据产生时，设定数据导出工具的数据导出周期，并按照步骤1获取新数据表结构及对应的新数据目录，从新数据目录下加载对应的新数据输入至识别模块中，通过识别模块获取新数据对应的格式标注，通过格式标注对应的导向链接将新数据输入至分类矩阵对应的分类模板中，在分类模板中按照空间位置信息语义特征和时间演进信息语义特征分别进行语义分析，得到新语义分析结果，保存新语义分析结果并将新语义分析结果输入至语义分析模型，通过语义分析模型得到语义分析结果和对应的实体关系。
本发明还公开了一种基于知识图谱的时空大数据深度分析系统，包括：
基础配置模块，用于运行数据库脚本，运行数据库脚本以查看数据库结构代码，在数据库结构代码中配置数据结构代码，在数据结构代码中插入链接路径和约束条件，形成数据导出的基础配置；
历史数据表结构形成模块，用于数据库脚本中运行同步代码，将基础配置通过数据库脚本中的同步代码同步至数据导出工具中，利用数据导出工具导出历史数据表结构，得到历史数据表结构，并配置历史数据目录下对应的历史数据目录；基于链接路径从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；
格式标注模块，用于加载历史数据表结构及对应的历史数据目录，调用知识图谱中设定格式将历史数据目录下对应的历史数据进行格式标注，并按照分布式图存储的形式对格式标注以及对应的历史数据进行缓存；
分类模板构建模块，用于获取分布式图存储的结构，提取格式标注，按照格式标注构建对应的分类模板；
分类模板配置模块，用于为每一分类模板配置空间位置信息语义特征以及时间演进信息语义特征；
语义分析模型构建模块，用于基于每一分类模板构建的空间位置信息语义特征以及时间演进信息语义特征来构建神经网络模型，将历史数据按照格式标注对应的输入至所述分类模板中，在所述分类模板中按照设定的空间位置信息语义特征和时间演进信息语义特征进行语义分析，并将对应的语义分析结果同步至神经网络模型中，同时基于每一分类模板的空间位置信息语义特征以及时间演进信息语义特征来构建每一分类模板对应的关系特征，基于所述关系特征构建关系网络，并将所述关系网络配置到神经网络模型中，通过神经网络模型对语义分析结果进行迭代训练得到语义分析模型，且语义分析模型包括了所述关系网络；
分类矩阵构建模块，用于将多个分类模板组合构成分类矩阵；
导向链接构建模块，用于在分类矩阵中通过格式标注构建分类模板的导向链接；以及识别模块；
将所述导向链接添加至识别模块中，通过导向链接将识别模块和分类矩阵中的分类模板建立连接；将分类矩阵通过同步模块连接所述语义分析模型。
进一步地，所述识别模块包括：
识别库，用于存储格式标注；
识别单元，用于加载所述识别库，识别输入数据的格式标注；
导向管理单元，用于存储导向链接，且连接所述识别单元，基于识别任务的进行来对应的配置驱动线程；
监测器，所述监测器连接所述识别单元，且所述监测器被配置成用于获取识别单元得到的格式标注，将所述格式标注对应的转化为导向指令；
导向配置单元，用于连接所述导向管理单元和所述监测器，将所述导向指令配置成激活相对应的驱动线程，所述驱动线程用于加载所述导向链接，并基于导向链接内设置的导向路径将识别模块的识别结果对应的导入至分类模板中。
进一步地，所述驱动线程设置有多个指向符，每一个指向符具有指令存储区和数据存储区，所述指令存储区设置有指令字段，指令字段用于存储一激活代码；所述数据存储区设置有指向信息，且所述激活代码用于指向对应的指向信息，通过所述指向信息来对应的指向到所述导向链接。
本申请在利用知识图谱进行分类之前，构建了数据的导出机制，且数据从数据库导出时是按照设定表结构来导出的，并限定了数据结构特征，使得导出的数据为时空数据，直接过滤掉了其他数据，在利用知识图谱分类时，按照设定格式进行分类并标注，在通过设置的语义分析模型进行对应的语义分析和关系抽取，来分析不同的数据特征之间的关联性。
本申请通过基于时空大数据包含大量基础地理信息数据和专题时空业务数据的特征，深度分析和挖掘基于地理空间场景下的业务数据资源内在联系特征，提供出更高价值的知识数据。
附图说明
图1为本发明的方法流程图；
图2为本发明中系统的框架原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
参照图1，为实现上述目的，本发明提供了一种基于知识图谱的时空大数据深度分析方法，包括如下步骤：
步骤1、运行数据库脚本，在数据库脚本中配置数据表结构，并为数据库中的历史数据与历史数据表结构构建链接路径，形成数据导出的基础配置，在数据库脚本中运行同步代码，将基础配置通过数据库脚本中的同步代码同步至数据导出工具中，利用数据导出工具导出历史数据表结构，基于链接路径从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；
步骤2、加载历史数据表结构及对应的历史数据目录，调用知识图谱中设定格式将历史数据目录下对应的历史数据进行格式标注，并按照分布式图存储的形式对格式标注以及对应的历史数据进行缓存；
步骤3、获取分布式图存储的结构，提取格式标注，按照格式标注构建对应的分类模板，在每一分类模板中构建空间位置信息语义特征以及时间演进信息语义特征，基于每一分类模板构建的空间位置信息语义特征以及时间演进信息语义特征来构建神经网络模型，将历史数据按照格式标注对应的输入至分类模板中，按照设定的空间位置信息语义特征和时间演进信息语义特征进行语义分析，并将对应的语义分析结果同步至神经网络模型中，同时基于每一分类模板的空间位置信息语义特征以及时间演进信息语义特征来构建每一分类模板对应的关系特征，基于所述关系特征构建关系网络，并将所述关系网络配置到神经网络模型中，通过神经网络模型对语义分析结果进行迭代训练得到语义分析模型，其中语义分析模型包括了所述关系网络；将多个分类模板组合构成分类矩阵，在分类矩阵中通过格式标注构建分类模板的导向链接，将导向链接添加至识别模块中，通过导向链接将识别模块和分类矩阵中的分类模板建立连接；将分类矩阵通过同步模块连接所述语义分析模型；
步骤4、当有新数据产生时，设定数据导出工具的数据导出周期，并按照步骤1获取新数据表结构及对应的新数据目录，从新数据目录下加载对应的新数据输入至识别模块中，通过识别模块获取新数据对应的格式标注，通过格式标注对应的导向链接将新数据输入至分类矩阵对应的分类模板中，在分类模板中按照空间位置信息语义特征和时间演进信息语义特征分别进行语义分析，得到新语义分析结果，保存新语义分析结果并将新语义分析结果输入至语义分析模型，通过语义分析模型得到语义分析结果和对应的实体关系。
在一些实施例中，所述基础配置的方法包括如下步骤：调用数据库脚本，运行数据库脚本以查看数据库结构代码，在数据库结构代码中配置数据结构代码，在数据结构代码中插入链接路径和约束条件，以形成数据表结构的配置，其中，链接路径用于从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；所述约束条件用于定义数据结构中时间特征和空间特征，通过所述时间特征来标注数据形成时间，通过空间特征来筛选形成的数据，并限定只有符合空间特征的数据才能被保留至数据库中。其中，所述约束条件还用于定义数据结构的基础分类特征，所述基础分类特征用于将产生的数据划分为结构化数据、半结构化数据和非结构化数据。
在上述中，所述知识图谱的设定格式至少包括HDF格式和RDF格式；HDF格式和RDF格式的主要优势在于，对于一个文件里的每一个数据对象，有关于该数据的元数据，可以定义成只允许应用程序解释HDF/RDF文件的结构和内容。且通过使用HDF/RDF数据结构，符号、数字和图形数据可以同时存储在一个HDF/RDF文件里，不需要形成多个文件夹，便于后期数据的再次处理。
在上述中，所述导向链接能够将识别模块和分类矩阵中的分类模板建立连接，且所述导向链接被配置成通过监测识别模块的导向指令，基于导向指令来激活驱动线程，所述驱动线程用于加载所述导向链接，并基于导向链接内设置的导向路径将识别模块的识别结果对应的导入至分类模板中。具体的，所述驱动线程设置有多个指向符，每一个指向符具有指令存储区和数据存储区，所述指令存储区设置有指令字段，指令字段用于存储一激活代码；所述数据存储区设置有指向信息，且所述激活代码用于指向对应的指向信息，通过所述指向信息来对应的指向到所述导向链接。
本申请在利用知识图谱进行分类之前，构建了数据的导出机制，且数据从数据库导出时是按照设定表结构来导出的，并限定了数据结构特征，使得导出的数据为时空数据，直接过滤掉了其他数据，在利用知识图谱分类时，按照设定格式进行分类并标注，在通过设置的语义分析模型进行对应的语义分析和关系抽取，来分析不同的数据特征之间的关联性。本申请通过基于时空大数据包含大量基础地理信息数据和专题时空业务数据的特征，深度分析和挖掘基于地理空间场景下的业务数据资源内在联系特征，提供出更高价值的知识数据。
实施例2：
参照图2，本发明还公开了一种基于知识图谱的时空大数据深度分析系统，包括：
基础配置模块，用于运行数据库脚本，运行数据库脚本以查看数据库结构代码，在数据库结构代码中配置数据结构代码，在数据结构代码中插入链接路径和约束条件，形成数据导出的基础配置；
历史数据表结构形成模块，用于数据库脚本中运行同步代码，将基础配置通过数据库脚本中的同步代码同步至数据导出工具中，利用数据导出工具导出历史数据表结构，得到历史数据表结构，并配置历史数据目录下对应的历史数据目录；基于链接路径从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；
格式标注模块，用于加载历史数据表结构及对应的历史数据目录，调用知识图谱中设定格式将历史数据目录下对应的历史数据进行格式标注，并按照分布式图存储的形式对格式标注以及对应的历史数据进行缓存；
分类模板构建模块，用于获取分布式图存储的结构，提取格式标注，按照格式标注构建对应的分类模板；
分类模板配置模块，用于为每一分类模板配置空间位置信息语义特征以及时间演进信息语义特征；
语义分析模型构建模块，用于基于每一分类模板构建的空间位置信息语义特征以及时间演进信息语义特征来构建神经网络模型，将历史数据按照格式标注对应的输入至所述分类模板中，在所述分类模板中按照设定的空间位置信息语义特征和时间演进信息语义特征进行语义分析，并将对应的语义分析结果同步至神经网络模型中，同时基于每一分类模板的空间位置信息语义特征以及时间演进信息语义特征来构建每一分类模板对应的关系特征，基于所述关系特征构建关系网络，并将所述关系网络配置到神经网络模型中，通过神经网络模型对语义分析结果进行迭代训练得到语义分析模型，且语义分析模型包括了所述关系网络；
分类矩阵构建模块，用于将多个分类模板组合构成分类矩阵；
导向链接构建模块，用于在分类矩阵中通过格式标注构建分类模板的导向链接；以及识别模块；
将所述导向链接添加至识别模块中，通过导向链接将识别模块和分类矩阵中的分类模板建立连接；将分类矩阵通过同步模块连接所述语义分析模型。
进一步地，所述识别模块包括：
识别库，用于存储格式标注；
识别单元，用于加载所述识别库，识别输入数据的格式标注；
导向管理单元，用于存储导向链接，且连接所述识别单元，基于识别任务的进行来对应的配置驱动线程；
监测器，所述监测器连接所述识别单元，且所述监测器被配置成用于获取识别单元得到的格式标注，将所述格式标注对应的转化为导向指令；
导向配置单元，用于连接所述导向管理单元和所述监测器，将所述导向指令配置成激活相对应的驱动线程，所述驱动线程用于加载所述导向链接，并基于导向链接内设置的导向路径将识别模块的识别结果对应的导入至分类模板中。
进一步地，所述驱动线程设置有多个指向符，每一个指向符具有指令存储区和数据存储区，所述指令存储区设置有指令字段，指令字段用于存储一激活代码；所述数据存储区设置有指向信息，且所述激活代码用于指向对应的指向信息，通过所述指向信息来对应的指向到所述导向链接。
在一些实施例中，所述基础配置的方法包括如下步骤：调用数据库脚本，运行数据库脚本以查看数据库结构代码，在数据库结构代码中配置数据结构代码，在数据结构代码中插入链接路径和约束条件，以形成数据表结构的配置，其中，链接路径用于从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；所述约束条件用于定义数据结构中时间特征和空间特征，通过所述时间特征来标注数据形成时间，通过空间特征来筛选形成的数据，并限定只有符合空间特征的数据才能被保留至数据库中。其中，所述约束条件还用于定义数据结构的基础分类特征，所述基础分类特征用于将产生的数据划分为结构化数据、半结构化数据和非结构化数据。
在上述中，所述知识图谱的设定格式至少包括HDF格式和RDF格式；HDF格式和RDF格式的主要优势在于，对于一个文件里的每一个数据对象，有关于该数据的元数据，可以定义成只允许应用程序解释HDF/RDF文件的结构和内容。且通过使用HDF/RDF数据结构，符号、数字和图形数据可以同时存储在一个HDF/RDF文件里，不需要形成多个文件夹，便于后期数据的再次处理。
本申请的原理为：调用数据库脚本，运行数据库脚本以查看数据库结构代码，在数据库结构代码中配置数据结构代码，在数据结构代码中插入链接路径和约束条件，以形成数据表结构的配置，其中，链接路径用于从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；所述约束条件用于定义数据结构中时间特征和空间特征，通过所述时间特征来标注数据形成时间，通过空间特征来筛选形成的数据，并限定只有符合空间特征的数据才能被保留至数据库中；加载历史数据表结构及对应的历史数据目录，调用知识图谱中设定格式将历史数据目录下对应的历史数据进行格式标注，并按照分布式图存储的形式对格式标注以及对应的历史数据进行缓存；获取分布式图存储的结构，提取格式标注，按照格式标注构建对应的分类模板，在每一分类模板中构建空间位置信息语义特征以及时间演进信息语义特征，基于每一分类模板构建的空间位置信息语义特征以及时间演进信息语义特征来构建神经网络模型，将历史数据按照格式标注对应的输入至分类模板中，按照设定的空间位置信息语义特征和时间演进信息语义特征进行语义分析，并将对应的语义分析结果同步至神经网络模型中，同时基于每一分类模板的空间位置信息语义特征以及时间演进信息语义特征来构建每一分类模板对应的关系特征，基于所述关系特征构建关系网络，并将所述关系网络配置到神经网络模型中，通过神经网络模型对语义分析结果进行迭代训练得到语义分析模型，其中语义分析模型包括了所述关系网络；将多个分类模板组合构成分类矩阵，在分类矩阵中通过格式标注构建分类模板的导向链接，将导向链接添加至识别模块中，通过导向链接将识别模块和分类矩阵中的分类模板建立连接；将分类矩阵通过同步模块连接所述语义分析模型；当有新数据产生时，设定数据导出工具的数据导出周期，并按照步骤1获取新数据表结构及对应的新数据目录，从新数据目录下加载对应的新数据输入至识别模块中，通过识别模块获取新数据对应的格式标注，通过格式标注对应的导向链接将新数据输入至分类矩阵对应的分类模板中，在分类模板中按照空间位置信息语义特征和时间演进信息语义特征分别进行语义分析，得到新语义分析结果，保存新语义分析结果并将新语义分析结果输入至语义分析模型，通过语义分析模型得到语义分析结果和对应的实体关系。本申请在利用知识图谱进行分类之前，构建了数据的导出机制，且数据从数据库导出时是按照设定表结构来导出的，并限定了数据结构特征，使得导出的数据为时空数据，直接过滤掉了其他数据，在利用知识图谱分类时，按照设定格式进行分类并标注，在通过设置的语义分析模型进行对应的语义分析和关系抽取，来分析不同的数据特征之间的关联性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.基于知识图谱的时空大数据深度分析方法，其特征在于，包括如下步骤：
步骤1、运行数据库脚本，在数据库脚本中配置数据表结构，并为数据库中的历史数据与历史数据表结构构建链接路径，形成数据导出的基础配置，在数据库脚本中运行同步代码，将基础配置通过数据库脚本中的同步代码同步至数据导出工具中，利用数据导出工具导出历史数据表结构，基于链接路径从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；
步骤2、加载历史数据表结构及对应的历史数据目录，调用知识图谱中设定格式将历史数据目录下对应的历史数据进行格式标注，并按照分布式图存储的形式对格式标注以及对应的历史数据进行缓存；
步骤3、获取分布式图存储的结构，提取格式标注，按照格式标注构建对应的分类模板，在每一分类模板中构建空间位置信息语义特征以及时间演进信息语义特征，基于每一分类模板构建的空间位置信息语义特征以及时间演进信息语义特征来构建神经网络模型，将历史数据按照格式标注对应的输入至分类模板中，按照设定的空间位置信息语义特征和时间演进信息语义特征进行语义分析，并将对应的语义分析结果同步至神经网络模型中，同时基于每一分类模板的空间位置信息语义特征以及时间演进信息语义特征来构建每一分类模板对应的关系特征，基于所述关系特征构建关系网络，并将所述关系网络配置到神经网络模型中，通过神经网络模型对语义分析结果进行迭代训练得到语义分析模型，其中语义分析模型包括了所述关系网络；将多个分类模板组合构成分类矩阵，在分类矩阵中通过格式标注构建分类模板的导向链接，将导向链接添加至识别模块中，通过导向链接将识别模块和分类矩阵中的分类模板建立连接；将分类矩阵通过同步模块连接所述语义分析模型；
步骤4、当有新数据产生时，设定数据导出工具的数据导出周期，并按照步骤1获取新数据表结构及对应的新数据目录，从新数据目录下加载对应的新数据输入至识别模块中，通过识别模块获取新数据对应的格式标注，通过格式标注对应的导向链接将新数据输入至分类矩阵对应的分类模板中，在分类模板中按照空间位置信息语义特征和时间演进信息语义特征分别进行语义分析，得到新语义分析结果，保存新语义分析结果并将新语义分析结果输入至语义分析模型，通过语义分析模型得到语义分析结果和对应的实体关系。
2.基于知识图谱的时空大数据深度分析系统，其特征在于，包括：
基础配置模块，用于运行数据库脚本，运行数据库脚本以查看数据库结构代码，在数据库结构代码中配置数据结构代码，在数据结构代码中插入链接路径和约束条件，形成数据导出的基础配置；
历史数据表结构形成模块，用于数据库脚本中运行同步代码，将基础配置通过数据库脚本中的同步代码同步至数据导出工具中，利用数据导出工具导出历史数据表结构，得到历史数据表结构，并配置历史数据目录下对应的历史数据目录；基于链接路径从数据库中将历史数据对应的导出并保存至历史数据表结构下配置的历史数据目录中；
格式标注模块，用于加载历史数据表结构及对应的历史数据目录，调用知识图谱中设定格式将历史数据目录下对应的历史数据进行格式标注，并按照分布式图存储的形式对格式标注以及对应的历史数据进行缓存；
分类模板构建模块，用于获取分布式图存储的结构，提取格式标注，按照格式标注构建对应的分类模板；
分类模板配置模块，用于为每一分类模板配置空间位置信息语义特征以及时间演进信息语义特征；
语义分析模型构建模块，用于基于每一分类模板构建的空间位置信息语义特征以及时间演进信息语义特征来构建神经网络模型，将历史数据按照格式标注对应的输入至所述分类模板中，在所述分类模板中按照设定的空间位置信息语义特征和时间演进信息语义特征进行语义分析，并将对应的语义分析结果同步至神经网络模型中，同时基于每一分类模板的空间位置信息语义特征以及时间演进信息语义特征来构建每一分类模板对应的关系特征，基于所述关系特征构建关系网络，并将所述关系网络配置到神经网络模型中，通过神经网络模型对语义分析结果进行迭代训练得到语义分析模型，且语义分析模型包括了所述关系网络；
分类矩阵构建模块，用于将多个分类模板组合构成分类矩阵；
导向链接构建模块，用于在分类矩阵中通过格式标注构建分类模板的导向链接；以及识别模块；
将所述导向链接添加至识别模块中，通过导向链接将识别模块和分类矩阵中的分类模板建立连接；将分类矩阵通过同步模块连接所述语义分析模型。
3.根据权利要求2所述的基于知识图谱的时空大数据深度分析系统，其特征在于，所述识别模块包括：
识别库，用于存储格式标注；
识别单元，用于加载所述识别库，识别输入数据的格式标注；
导向管理单元，用于存储导向链接，且连接所述识别单元，基于识别任务的进行来对应的配置驱动线程；
监测器，所述监测器连接所述识别单元，且所述监测器被配置成用于获取识别单元得到的格式标注，将所述格式标注对应的转化为导向指令；
导向配置单元，用于连接所述导向管理单元和所述监测器，将所述导向指令配置成激活相对应的驱动线程，所述驱动线程用于加载所述导向链接，并基于导向链接内设置的导向路径将识别模块的识别结果对应的导入至分类模板中。
4.根据权利要求3所述的基于知识图谱的时空大数据深度分析系统，其特征在于，所述驱动线程设置有多个指向符，每一个指向符具有指令存储区和数据存储区，所述指令存储区设置有指令字段，指令字段用于存储一激活代码；所述数据存储区设置有指向信息，且所述激活代码用于指向对应的指向信息，通过所述指向信息来对应的指向到所述导向链接。
CN202310893384.3A 2023-07-20 2023-07-20 基于知识图谱的时空大数据深度分析方法及系统 Active CN116610730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310893384.3A CN116610730B (zh) 2023-07-20 2023-07-20 基于知识图谱的时空大数据深度分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310893384.3A CN116610730B (zh) 2023-07-20 2023-07-20 基于知识图谱的时空大数据深度分析方法及系统

Publications (2)

Publication Number Publication Date
CN116610730A CN116610730A (zh) 2023-08-18
CN116610730B true CN116610730B (zh) 2023-09-12

Family

ID=87684032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310893384.3A Active CN116610730B (zh) 2023-07-20 2023-07-20 基于知识图谱的时空大数据深度分析方法及系统

Country Status (1)

Country Link
CN (1) CN116610730B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022033072A1 (zh) * 2020-08-12 2022-02-17 哈尔滨工业大学 一种面向知识图谱表示学习训练的局部训练方法
CN114860884A (zh) * 2022-05-23 2022-08-05 中国科学院空天信息创新研究院 一种面向动态分析的时空知识图谱构建系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022033072A1 (zh) * 2020-08-12 2022-02-17 哈尔滨工业大学 一种面向知识图谱表示学习训练的局部训练方法
CN114860884A (zh) * 2022-05-23 2022-08-05 中国科学院空天信息创新研究院 一种面向动态分析的时空知识图谱构建系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于非分类关系提取技术的知识图谱构建;韦韬;王金华;;工业技术创新(02);全文 *

Also Published As

Publication number Publication date
CN116610730A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN109446344B (zh) 一种基于大数据的智能分析报告自动生成系统
CN110597999A (zh) 一种依存句法分析关系抽取模型的司法案件知识图谱构建方法
CN112181960B (zh) 一种基于AIOps的智能运维框架系统
CN110941612A (zh) 基于关联数据的自治数据湖构建系统及方法
CN112100800B (zh) 面向地缘环境的时空信息智能分析体系架构设计方法
Kasica et al. Table scraps: an actionable framework for multi-table data wrangling from an artifact study of computational journalism
CN112163017B (zh) 一种知识挖掘系统及方法
CN116361487A (zh) 一种多源异构政策知识图谱构建和存储方法及系统
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN113360599A (zh) 一种基于内容识别的多源异构情报汇聚协同处理平台
Mesiti et al. Towards a user-friendly loading system for the analysis of big data in the internet of things
CN115080765A (zh) 一种航天质量知识图谱构建方法、系统、介质和设备
CN114564482A (zh) 一种面向多实体的标签系统及处理方法
CN115858829A (zh) 一种基于算力网络的多源异构环境数据资产构建方法
CN115827862A (zh) 一种多元费用凭证数据关联采集方法
CN115309749A (zh) 一种用于科技服务的大数据实验系统
CN116127047B (zh) 企业信息库的建立方法与装置
Chen et al. A multimedia case-based reasoning framework for assembly sequence planning
CN116610730B (zh) 基于知识图谱的时空大数据深度分析方法及系统
McNeill et al. Communication in emergency management through data integration and trust: an introduction to the CEM-DIT system
CN113326345A (zh) 基于动态本体的知识图谱分析、应用方法、平台及设备
CN112883122B (zh) 一种基于多视图模型的嵌入式软件知识表示方法及管理系统
CN113779215A (zh) 数据处理平台
CN113032496A (zh) 一种基于产业知识图谱的产业大脑数据分析系统
CN115687623B (zh) 一种工业数字孪生数据空间构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant