CN114218234B - 一种原生图数据存储方法 - Google Patents

一种原生图数据存储方法 Download PDF

Info

Publication number
CN114218234B
CN114218234B CN202210159785.1A CN202210159785A CN114218234B CN 114218234 B CN114218234 B CN 114218234B CN 202210159785 A CN202210159785 A CN 202210159785A CN 114218234 B CN114218234 B CN 114218234B
Authority
CN
China
Prior art keywords
record data
database
production
native
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210159785.1A
Other languages
English (en)
Other versions
CN114218234A (zh
Inventor
周柳阳
蒋林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yihao Hulian Technology Co ltd
Original Assignee
Shenzhen Yihao Hulian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yihao Hulian Technology Co ltd filed Critical Shenzhen Yihao Hulian Technology Co ltd
Priority to CN202210159785.1A priority Critical patent/CN114218234B/zh
Publication of CN114218234A publication Critical patent/CN114218234A/zh
Application granted granted Critical
Publication of CN114218234B publication Critical patent/CN114218234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及图形数据库领域,具体公开了一种原生图数据存储方法。本发明实施例通过采集一个生产周期中的多个第一生产记录数据;构建第一原生图数据库;将第一原生图数据库转移至第二存储空间中,将剩余的第一生产记录数据留存在第一存储空间中;对第一原生图数据库和第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。能够根据生产周期进行生产记录数据的采集,进而根据采集的数据进行原生图数据库和非关系数据库的构建,且将原生图数据库和非关系数据库分别存储,并能够通过后续生产周期中采集的生产记录数据进行原生图数据库和非关系数据库的优化,使得原生图数据的存储应用在产品生产中。

Description

一种原生图数据存储方法
技术领域
本发明属于图形数据库领域,尤其涉及一种原生图数据存储方法。
背景技术
图形数据库是NoSQL数据库的一种类型,它应用图形理论存储实体之间的关系信息。图形数据库是一种非关系型数据库,它应用图形理论存储实体之间的关系信息。
现有的原生图数据存储和构建通常都是应用于金融和社交中,而在企业的产品生产中很少应用。而产品生产过程中的数据采集与存储通常都是暂时性的,只能够通过实时采集和存储的数据,进行产品加工问题的判断,而无法根据整个生产过程中的数据进行原生图数据存储,从而无法对生产中的问题进行追根溯源。
发明内容
本发明实施例的目的在于提供一种原生图数据存储方法,旨在解决背景技术中提出的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种原生图数据存储方法,所述方法具体包括以下步骤:
采集一个生产周期中的多个第一生产记录数据,将多个所述第一生产记录数据存储在第一存储空间中,并对所述第一存储空间中的虚假数据进行识别与删除,生成留存记录数据集;
以所述留存记录数据集中的每个第一生产记录数据为构图结点,标记多个所述构图结点的边属性,根据多个所述边属性之间的联系,构建第一原生图数据库;
将所述第一原生图数据库转移至第二存储空间中,将没有构建所述第一原生图数据库的多个所述第一生产记录数据留存在所述第一存储空间中,生成第一非关系数据库;
采集下一个生产周期中的多个第二生产记录数据,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。
作为本发明实施例技术方案进一步的限定,所述采集一个生产周期中的多个第一生产记录数据,将多个所述第一生产记录数据存储在第一存储空间中,并对所述第一存储空间中的虚假数据进行识别与删除,生成留存记录数据集具体包括以下步骤:
实时采集一个生产周期中的多个第一生产记录数据;
将一个生产周期中的多个所述第一生产记录数据存储在第一存储空间中;
将多个第一生产记录数据中的虚假数据进行识别标记;
将标记的所述虚假数据删除,生成留存记录数据集。
作为本发明实施例技术方案进一步的限定,所述以所述留存记录数据集中的每个第一生产记录数据为构图结点,标记多个所述构图结点的边属性,根据多个所述边属性之间的联系,构建第一原生图数据库具体包括以下步骤:
以所述留存记录数据集中的每个第一生产记录数据为构图结点;
对所述构图结点进行分析,获取所述构图结点的多个边属性;
建立多个所述构图结点之间所述边属性的联系,生成连接属性;
根据多个所述构图结点、多个所述边属性和多个所述连接属性,构建第一原生图数据库。
作为本发明实施例技术方案进一步的限定,所述将所述第一原生图数据库转移至第二存储空间中,将没有构建所述第一原生图数据库的多个所述第一生产记录数据留存在所述第一存储空间中,生成第一非关系数据库具体包括以下步骤:
将所述第一原生图数据库转移至第二存储空间中;
在所述第一存储空间中,根据多个没有构建所述第一原生图数据库的第一生产记录数据构建第一非关系数据库。
作为本发明实施例技术方案进一步的限定,所述采集下一个生产周期中的多个第二生产记录数据,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库具体包括以下步骤:
实时采集下一个生产周期中的多个第二生产记录数据;
将多个所述第二生产记录数据存储在所述第一存储空间中;
根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。
作为本发明实施例技术方案进一步的限定,所述根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库具体包括以下步骤:
将多个所述第二生产记录数据中的虚假数据进行识别删除,生成补充记录数据集;
通过多个所述第二生产记录数据与所述第一原生图数据库和所述第一非关系数据库之间的数据联系,对所述第一原生图数据库进行优化,生成第二原生图数据库;
标记多个没有构建所述第二原生图数据库的第一生产记录数据为剩余记录数据集;
根据所述剩余记录数据集对所述第一非关系数据库优化,生成第二非关系数据库。
一种原生图数据存储系统,所述系统包括第一数据采集处理单元、第一原生图数据库构建单元、第一非关系数据库生成单元和关系数据库优化单元,其中:
第一数据采集处理单元,用于采集一个生产周期中的多个第一生产记录数据,将多个所述第一生产记录数据存储在第一存储空间中,并对所述第一存储空间中的虚假数据进行识别与删除,生成留存记录数据集;
第一原生图数据库构建单元,用于以所述留存记录数据集中的每个第一生产记录数据为构图结点,标记多个所述构图结点的边属性,根据多个所述边属性之间的联系,构建第一原生图数据库;
第一非关系数据库生成单元,用于将所述第一原生图数据库转移至第二存储空间中,将没有构建所述第一原生图数据库的多个所述第一生产记录数据留存在所述第一存储空间中,生成第一非关系数据库;
关系数据库优化单元,用于采集下一个生产周期中的多个第二生产记录数据,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。
作为本发明实施例技术方案进一步的限定,所述第一数据采集处理单元具体包括:
第一数据采集模块,用于实时采集一个生产周期中的多个第一生产记录数据;
数据存储转移模块,用于将一个生产周期中的多个所述第一生产记录数据存储在第一存储空间中;
虚假数据识别模块,用于将多个第一生产记录数据中的虚假数据进行识别标记;
虚假数据删除模块,用于将标记的所述虚假数据删除,生成留存记录数据集。
作为本发明实施例技术方案进一步的限定,所述第一原生图数据库构建单元具体包括:
第一数据处理模块,用于以所述留存记录数据集中的每个第一生产记录数据为构图结点;
边属性获取模块,用于对所述构图结点进行分析,获取所述构图结点的多个边属性;
连接属性生成模块,用于建立多个所述构图结点之间所述边属性的联系,生成连接属性;
第一原生图数据库构建模块,用于根据多个所述构图结点、多个所述边属性和多个所述连接属性,构建第一原生图数据库。
作为本发明实施例技术方案进一步的限定,所述关系数据库优化单元具体包括:
补充数据集生成模块,用于将多个所述第二生产记录数据中的虚假数据进行识别删除,生成补充记录数据集;
原生图数据库优化模块,用于通过多个所述第二生产记录数据与所述第一原生图数据库和所述第一非关系数据库之间的数据联系,对所述第一原生图数据库进行优化,生成第二原生图数据库;
剩余数据集标记模块,用于标记多个没有构建所述第二原生图数据库的第一生产记录数据为剩余记录数据集;
非关系数据库优化模块,用于根据所述剩余记录数据集对所述第一非关系数据库优化,生成第二非关系数据库。
与现有技术相比,本发明的有益效果是:
本发明实施例通过采集一个生产周期中的多个第一生产记录数据;构建第一原生图数据库;将第一原生图数据库转移至第二存储空间中,将剩余的第一生产记录数据留存在第一存储空间中;对第一原生图数据库和第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。能够根据生产周期进行生产记录数据的采集,进而根据采集的数据进行原生图数据库和非关系数据库的构建,且将原生图数据库和非关系数据库分别存储,并能够通过后续生产周期中采集的生产记录数据进行原生图数据库和非关系数据库的优化,使得原生图数据的存储应用在产品生产中。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1示出了本发明实施例提供的方法的流程图。
图2示出了本发明实施例提供的方法中留存记录数据集生成的流程图。
图3示出了本发明实施例提供的方法中第一原生图数据库构建的流程图。
图4示出了本发明实施例提供的方法中第一非关系数据库生成的流程图。
图5示出了本发明实施例提供的方法中原生图数据库和非关系数据库优化的流程图。
图6示出了本发明实施例提供的方法中第二原生图数据库和第二非关系数据库生成的流程图。
图7示出了本发明实施例提供的系统的应用架构图。
图8示出了本发明实施例提供的系统中第一数据采集处理单元的结构框图。
图9示出了本发明实施例提供的系统中第一原生图数据库构建单元的结构框图。
图10示出了本发明实施例提供的系统中关系数据库优化单元的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解的是,现有技术中,原生图数据存储和构建大都应用于金融和社交中,而在企业的产品生产中很少应用。而产品生产过程中的数据采集与存储通常都是暂时性的,只能够通过实时采集和存储的数据,进行产品加工问题的判断,而无法根据整个生产过程中的数据进行原生图数据存储,从而无法对生产中的问题进行追根溯源。
为解决上述问题,本发明实施例通过采集一个生产周期中的多个第一生产记录数据;构建第一原生图数据库;将第一原生图数据库转移至第二存储空间中,将剩余的第一生产记录数据留存在第一存储空间中;对第一原生图数据库和第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。能够根据生产周期进行生产记录数据的采集,进而根据采集的数据进行原生图数据库和非关系数据库的构建,且将原生图数据库和非关系数据库分别存储,并能够通过后续生产周期中采集的生产记录数据进行原生图数据库和非关系数据库的优化,使得原生图数据的存储应用在产品生产中。
图1示出了本发明实施例提供的方法的流程图。
具体的,一种原生图数据存储方法,所述方法具体包括以下步骤:
步骤S101,采集一个生产周期中的多个第一生产记录数据,将多个所述第一生产记录数据存储在第一存储空间中,并对所述第一存储空间中的虚假数据进行识别与删除,生成留存记录数据集。
在本发明实施例中,在产品生产过程中,可以根据产品生产的批次进行周期划分,通过对产品第一批次的生产周期中的第一生产记录数据进行采集,并将采集的多个第一生产记录数据存储在第一存储空间中,且对第一存储空间中的第一生产记录数据进行虚假数据进行识别与删除,使得保留下的多个第一生产记录数据构成留存记录数据集。
可以理解的是,第一生产记录数据可以是:生产线的运行数据、产品加工时的监测数据、产品的质量检测数据、加工时的环境数据、加工时的工装辅具的数据等。虚假数据可以是采集的错误数据。
具体的,图2示出了本发明实施例提供的方法中留存记录数据集生成的流程图。
其中,在本发明提供的优选实施方式中,所述采集一个生产周期中的多个第一生产记录数据,将多个所述第一生产记录数据存储在第一存储空间中,并对所述第一存储空间中的虚假数据进行识别与删除,生成留存记录数据集具体包括以下步骤:
步骤S1011,实时采集一个生产周期中的多个第一生产记录数据。
步骤S1012,将一个生产周期中的多个所述第一生产记录数据存储在第一存储空间中。
在本发明实施例中,将第一个生产周期中采集的第一生产记录数据实时存储在第一存储空间中。
步骤S1013,将多个第一生产记录数据中的虚假数据进行识别标记。
在本发明实施例中,对第一存储空间中的多个第一生产记录数据中错误数据进行识别,并将识别出的错误数据标记为虚假数据。
步骤S1014,将标记的所述虚假数据删除,生成留存记录数据集。
进一步的,所述原生图数据存储方法还包括以下步骤:
步骤S102,以所述留存记录数据集中的每个第一生产记录数据为构图结点,标记多个所述构图结点的边属性,根据多个所述边属性之间的联系,构建第一原生图数据库。
在本发明实施例中,以图数据的结构形式,将留存记录数据集中的每个第一生产记录数据为构图结点,并根据每个第一生产记录数据的数据属性、采集端的属性标记构图结点的多个边属性,并根据多个构图结点之间边属性的联系,进行第一原生图数据库的构建。
具体的,图3示出了本发明实施例提供的方法中第一原生图数据库构建的流程图。
其中,在本发明提供的优选实施方式中,所述以所述留存记录数据集中的每个第一生产记录数据为构图结点,标记多个所述构图结点的边属性,根据多个所述边属性之间的联系,构建第一原生图数据库具体包括以下步骤:
步骤S1021,以所述留存记录数据集中的每个第一生产记录数据为构图结点。
步骤S1022,对所述构图结点进行分析,获取所述构图结点的多个边属性。
在本发明实施例中,通过对构图结点进行联系属性分析,以第一生产记录数据的数据类型、采集端的属性标记构图结点的多个边属性。
步骤S1023,建立多个所述构图结点之间所述边属性的联系,生成连接属性。
在本发明实施例中,实现对构图结点两两之间边属性之间联系的建立,在相联系的两个边属性之间生成连接属性。
步骤S1024,根据多个所述构图结点、多个所述边属性和多个所述连接属性,构建第一原生图数据库。
进一步的,所述原生图数据存储方法还包括以下步骤:
步骤S103,将所述第一原生图数据库转移至第二存储空间中,将没有构建所述第一原生图数据库的多个所述第一生产记录数据留存在所述第一存储空间中,生成第一非关系数据库。
在本发明实施例中,将完成构建的第一原生图数据库转移至第二存储空间中,并将没有构建第一原生图数据库的第一生产记录数据保留在第一存储空间中,并通过多个保留的第一生产记录数据构建第一非关系数据库。
可以理解的是,第一非关系数据库是NoSQL数据库的一种,NoSQL,泛指非关系型的数据库,具有易扩展、大数据量、高性能、灵活性高、可用性高的特点。
具体的,图4示出了本发明实施例提供的方法中第一非关系数据库生成的流程图。
其中,在本发明提供的优选实施方式中,所述将所述第一原生图数据库转移至第二存储空间中,将没有构建所述第一原生图数据库的多个所述第一生产记录数据留存在所述第一存储空间中,生成第一非关系数据库具体包括以下步骤:
步骤S1031,将所述第一原生图数据库转移至第二存储空间中。
步骤S1032,在所述第一存储空间中,根据多个没有构建所述第一原生图数据库的第一生产记录数据构建第一非关系数据库。
进一步的,所述原生图数据存储方法还包括以下步骤:
步骤S104,采集下一个生产周期中的多个第二生产记录数据,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。
在本发明实施例中,在后续的生产周期中,对第二生产记录数据进行实时采集,并将采集的第二生产记录数据存储在第一存储空间中,并在一个生产周期结束之后,通过多个第二生产记录数据与第一原生图数据库之间的联系,对第一原生图数据库进行优化,并根据第二生产记录数据和第一非关系数据库中的第一生产记录数据与第一原生图数据库之间的联系,对第一原生图数据库进行优化,生成第二原生图数据库,并综合第一非关系数据库中剩余的第一生产记录数据和未构建第二原生图数据库的第二生产记录数据,生成第二非关系数据库。
具体的,图5示出了本发明实施例提供的方法中原生图数据库和非关系数据库优化的流程图。
其中,在本发明提供的优选实施方式中,所述采集下一个生产周期中的多个第二生产记录数据,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库具体包括以下步骤:
步骤S1041,实时采集下一个生产周期中的多个第二生产记录数据。
步骤S1042,将多个所述第二生产记录数据存储在所述第一存储空间中。
步骤S1043,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。
在本发明实施例中,构建第二生产记录数据与第一原生图数据库之间的联系,对第一原生图数据库进行补充与优化,并根据第二生产记录数据和第一非关系数据库中的第一生产记录数据与第一原生图数据库之间的联系,对第一原生图数据库进行再次补充与优化,生成第二原生图数据库,并将剩余的第一生产记录数据和第二生产记录数据构建第二非关系数据库。
具体的,图6示出了本发明实施例提供的方法中第二原生图数据库和第二非关系数据库生成的流程图。
其中,在本发明提供的优选实施方式中,所述根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库具体包括以下步骤:
步骤S10431,将多个所述第二生产记录数据中的虚假数据进行识别删除,生成补充记录数据集。
步骤S10432,通过多个所述第二生产记录数据与所述第一原生图数据库和所述第一非关系数据库之间的数据联系,对所述第一原生图数据库进行优化,生成第二原生图数据库。
步骤S10433,标记多个没有构建所述第二原生图数据库的第一生产记录数据为剩余记录数据集。
步骤S10434,根据所述剩余记录数据集对所述第一非关系数据库优化,生成第二非关系数据库。
进一步的,图7示出了本发明实施例提供的系统的应用架构图。
其中,在本发明提供的又一个优选实施方式中,一种原生图数据存储系统,包括:
第一数据采集处理单元101,用于采集一个生产周期中的多个第一生产记录数据,将多个所述第一生产记录数据存储在第一存储空间中,并对所述第一存储空间中的虚假数据进行识别与删除,生成留存记录数据集。
在本发明实施例中,在产品生产过程中,可以根据产品生产的批次进行周期划分,第一数据采集处理单元101通过对产品第一批次的生产周期中的第一生产记录数据进行采集,并将采集的多个第一生产记录数据存储在第一存储空间中,且对第一存储空间中的第一生产记录数据进行虚假数据进行识别与删除,使得保留下的多个第一生产记录数据构成留存记录数据集。
具体的,图8示出了本发明实施例提供的系统中第一数据采集处理单元101的结构框图。
其中,在本发明提供的优选实施方式中,所述第一数据采集处理单元101具体包括:
第一数据采集模块1011,用于实时采集一个生产周期中的多个第一生产记录数据。
数据存储转移模块1012,用于将一个生产周期中的多个所述第一生产记录数据存储在第一存储空间中。
虚假数据识别模块1013,用于将多个第一生产记录数据中的虚假数据进行识别标记。
在本发明实施例中,虚假数据识别模块1013对第一存储空间中的多个第一生产记录数据中错误数据进行识别,并将识别出的错误数据标记为虚假数据。
虚假数据删除模块1014,用于将标记的所述虚假数据删除,生成留存记录数据集。
进一步的,所述原生图数据存储系统还包括:
第一原生图数据库构建单元102,用于以所述留存记录数据集中的每个第一生产记录数据为构图结点,标记多个所述构图结点的边属性,根据多个所述边属性之间的联系,构建第一原生图数据库。
在本发明实施例中,第一原生图数据库构建单元102以图数据的结构形式,将留存记录数据集中的每个第一生产记录数据为构图结点,并根据每个第一生产记录数据的数据属性、采集端的属性标记构图结点的多个边属性,并根据多个构图结点之间边属性的联系,进行第一原生图数据库的构建。
具体的,图9示出了本发明实施例提供的系统中第一原生图数据库构建单元102的结构框图。
其中,在本发明提供的优选实施方式中,所述第一原生图数据库构建单元102具体包括:
第一数据处理模块1021,用于以所述留存记录数据集中的每个第一生产记录数据为构图结点。
边属性获取模块1022,用于对所述构图结点进行分析,获取所述构图结点的多个边属性。
在本发明实施例中,边属性获取模块1022通过对构图结点进行联系属性分析,以第一生产记录数据的数据类型、采集端的属性标记构图结点的多个边属性。
连接属性生成模块1023,用于建立多个所述构图结点之间所述边属性的联系,生成连接属性。
在本发明实施例中,连接属性生成模块1023实现对构图结点两两之间边属性之间联系的建立,在相联系的两个边属性之间生成连接属性。
第一原生图数据库构建模块1024,用于根据多个所述构图结点、多个所述边属性和多个所述连接属性,构建第一原生图数据库。
进一步的,所述原生图数据存储系统还包括:
第一非关系数据库生成单元103,用于将所述第一原生图数据库转移至第二存储空间中,将没有构建所述第一原生图数据库的多个所述第一生产记录数据留存在所述第一存储空间中,生成第一非关系数据库。
在本发明实施例中,第一非关系数据库生成单元103将完成构建的第一原生图数据库转移至第二存储空间中,并将没有构建第一原生图数据库的第一生产记录数据保留在第一存储空间中,并通过多个保留的第一生产记录数据构建第一非关系数据库。
关系数据库优化单元104,用于采集下一个生产周期中的多个第二生产记录数据,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。
在本发明实施例中,在后续的生产周期中,关系数据库优化单元104对第二生产记录数据进行实时采集,并将采集的第二生产记录数据存储在第一存储空间中,并在一个生产周期结束之后,通过多个第二生产记录数据与第一原生图数据库之间的联系,对第一原生图数据库进行优化,并根据第二生产记录数据和第一非关系数据库中的第一生产记录数据与第一原生图数据库之间的联系,对第一原生图数据库进行优化,生成第二原生图数据库,并综合第一非关系数据库中剩余的第一生产记录数据和未构建第二原生图数据库的第二生产记录数据,生成第二非关系数据库。
具体的,图10示出了本发明实施例提供的系统中关系数据库优化单元104的结构框图。
其中,在本发明提供的优选实施方式中,所述关系数据库优化单元104具体包括:
补充数据集生成模块1041,用于将多个所述第二生产记录数据中的虚假数据进行识别删除,生成补充记录数据集。
原生图数据库优化模块1042,用于通过多个所述第二生产记录数据与所述第一原生图数据库和所述第一非关系数据库之间的数据联系,对所述第一原生图数据库进行优化,生成第二原生图数据库。
剩余数据集标记模块1043,用于标记多个没有构建所述第二原生图数据库的第一生产记录数据为剩余记录数据集。
非关系数据库优化模块1044,用于根据所述剩余记录数据集对所述第一非关系数据库优化,生成第二非关系数据库。
在本发明实施例中,非关系数据库优化模块1044构建第二生产记录数据与第一原生图数据库之间的联系,对第一原生图数据库进行补充与优化,并根据第二生产记录数据和第一非关系数据库中的第一生产记录数据与第一原生图数据库之间的联系,对第一原生图数据库进行再次补充与优化,生成第二原生图数据库,并将剩余的第一生产记录数据和第二生产记录数据构建第二非关系数据库。
综上所述,本发明实施例能够根据生产周期进行生产记录数据的采集,进而根据采集的数据进行原生图数据库和非关系数据库的构建,且将原生图数据库和非关系数据库分别存储,并能够通过后续生产周期中采集的生产记录数据进行原生图数据库和非关系数据库的优化,使得原生图数据的存储应用在产品生产中。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种原生图数据存储方法,其特征在于,所述方法具体包括以下步骤:
采集一个生产周期中的多个第一生产记录数据,将多个所述第一生产记录数据存储在第一存储空间中,并对所述第一存储空间中的虚假数据进行识别与删除,生成留存记录数据集;
以所述留存记录数据集中的每个第一生产记录数据为构图结点,标记多个所述构图结点的边属性,根据多个所述边属性之间的联系,构建第一原生图数据库;
将所述第一原生图数据库转移至第二存储空间中,将没有构建所述第一原生图数据库的多个所述第一生产记录数据留存在所述第一存储空间中,生成第一非关系数据库;
采集下一个生产周期中的多个第二生产记录数据,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库;
所述根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库具体包括以下步骤:
将多个所述第二生产记录数据中的虚假数据进行识别删除,生成补充记录数据集;
通过多个所述第二生产记录数据与所述第一原生图数据库和所述第一非关系数据库之间的数据联系,对所述第一原生图数据库进行优化,生成第二原生图数据库;
标记多个没有构建所述第二原生图数据库的第一生产记录数据为剩余记录数据集;
根据所述剩余记录数据集对所述第一非关系数据库优化,生成第二非关系数据库。
2.根据权利要求1所述的原生图数据存储方法,其特征在于,所述采集一个生产周期中的多个第一生产记录数据,将多个所述第一生产记录数据存储在第一存储空间中,并对所述第一存储空间中的虚假数据进行识别与删除,生成留存记录数据集具体包括以下步骤:
实时采集一个生产周期中的多个第一生产记录数据;
将一个生产周期中的多个所述第一生产记录数据存储在第一存储空间中;
将多个第一生产记录数据中的虚假数据进行识别标记;
将标记的所述虚假数据删除,生成留存记录数据集。
3.根据权利要求1所述的原生图数据存储方法,其特征在于,所述以所述留存记录数据集中的每个第一生产记录数据为构图结点,标记多个所述构图结点的边属性,根据多个所述边属性之间的联系,构建第一原生图数据库具体包括以下步骤:
以所述留存记录数据集中的每个第一生产记录数据为构图结点;
对所述构图结点进行分析,获取所述构图结点的多个边属性;
建立多个所述构图结点之间所述边属性的联系,生成连接属性;
根据多个所述构图结点、多个所述边属性和多个所述连接属性,构建第一原生图数据库。
4.根据权利要求1所述的原生图数据存储方法,其特征在于,所述将所述第一原生图数据库转移至第二存储空间中,将没有构建所述第一原生图数据库的多个所述第一生产记录数据留存在所述第一存储空间中,生成第一非关系数据库具体包括以下步骤:
将所述第一原生图数据库转移至第二存储空间中;
在所述第一存储空间中,根据多个没有构建所述第一原生图数据库的第一生产记录数据构建第一非关系数据库。
5.根据权利要求1所述的原生图数据存储方法,其特征在于,所述采集下一个生产周期中的多个第二生产记录数据,根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库具体包括以下步骤:
实时采集下一个生产周期中的多个第二生产记录数据;
将多个所述第二生产记录数据存储在所述第一存储空间中;
根据多个所述第二生产记录数据对所述第一原生图数据库和所述第一非关系数据库优化,分别生成第二原生图数据库和第二非关系数据库。
CN202210159785.1A 2022-02-22 2022-02-22 一种原生图数据存储方法 Active CN114218234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210159785.1A CN114218234B (zh) 2022-02-22 2022-02-22 一种原生图数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210159785.1A CN114218234B (zh) 2022-02-22 2022-02-22 一种原生图数据存储方法

Publications (2)

Publication Number Publication Date
CN114218234A CN114218234A (zh) 2022-03-22
CN114218234B true CN114218234B (zh) 2022-04-29

Family

ID=80709183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210159785.1A Active CN114218234B (zh) 2022-02-22 2022-02-22 一种原生图数据存储方法

Country Status (1)

Country Link
CN (1) CN114218234B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017161471A1 (zh) * 2016-03-21 2017-09-28 刘春阳 基于光盘的异构类型数据库存储系统及利用该系统的方法
CN109344269A (zh) * 2018-08-14 2019-02-15 北京奇虎科技有限公司 图形数据库写入的方法、电子设备及计算机可读存储介质
CN109446343A (zh) * 2018-11-05 2019-03-08 上海德拓信息技术股份有限公司 一种公共安全知识图谱构建的方法
CN111190904A (zh) * 2019-12-30 2020-05-22 四川蜀天梦图数据科技有限公司 一种图-关系数据库混合存储的方法和装置
CN111858483A (zh) * 2020-07-29 2020-10-30 湖南泛联新安信息科技有限公司 基于多种数据库与文件系统的软件样本混合存储系统
CN112100451A (zh) * 2020-09-14 2020-12-18 上海飞机制造有限公司 基于图数据库搭建工业神经网络的方法
WO2021072646A1 (zh) * 2019-10-15 2021-04-22 西门子(中国)有限公司 使用生产数据快速建模的方法、系统、和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115314A (zh) * 2020-09-16 2020-12-22 江苏开拓信息与系统有限公司 一种政务通用大数据聚合检索系统及构建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017161471A1 (zh) * 2016-03-21 2017-09-28 刘春阳 基于光盘的异构类型数据库存储系统及利用该系统的方法
CN109344269A (zh) * 2018-08-14 2019-02-15 北京奇虎科技有限公司 图形数据库写入的方法、电子设备及计算机可读存储介质
CN109446343A (zh) * 2018-11-05 2019-03-08 上海德拓信息技术股份有限公司 一种公共安全知识图谱构建的方法
WO2021072646A1 (zh) * 2019-10-15 2021-04-22 西门子(中国)有限公司 使用生产数据快速建模的方法、系统、和存储介质
CN111190904A (zh) * 2019-12-30 2020-05-22 四川蜀天梦图数据科技有限公司 一种图-关系数据库混合存储的方法和装置
CN111858483A (zh) * 2020-07-29 2020-10-30 湖南泛联新安信息科技有限公司 基于多种数据库与文件系统的软件样本混合存储系统
CN112100451A (zh) * 2020-09-14 2020-12-18 上海飞机制造有限公司 基于图数据库搭建工业神经网络的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于子模式的关系数据到图数据ETL方法研究;丁强龙等;《计算机工程与应用》;20171231(第12期);76-84 *

Also Published As

Publication number Publication date
CN114218234A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
WO2020211299A1 (zh) 数据清理方法
JP6262874B2 (ja) データベース実現方法
CN112286941B (zh) 一种基于Binlog+HBase+Hive的大数据同步方法和装置
CN110727724B (zh) 数据抽取方法、装置、计算机设备和存储介质
CN110780950B (zh) 接口元数据管理方法、装置、计算机设备及存储介质
CN112000649A (zh) 一种基于map reduce的增量数据同步的方法和装置
CN114817230A (zh) 一种数据流过滤方法及系统
CN114218234B (zh) 一种原生图数据存储方法
CN112948504B (zh) 数据采集方法、装置、计算机设备和存储介质
CN107577809A (zh) 离线小文件处理方法及装置
CN108647243B (zh) 基于时间序列的工业大数据存储方法
CN111221967A (zh) 一种基于区块链架构的语言数据分类存储系统
CN116452123A (zh) 清单项目特征值的生成方法、装置和计算机设备
US20240045888A1 (en) Key name generation method and apparatus and non-transitory computer-readable storage medium
CN106776704B (zh) 统计信息收集方法和装置
CN113032495B (zh) 基于数据仓库的多层数据存储系统、处理方法、及服务器
CN113420036A (zh) 一种电网监控系统内存库关系库一致性校验方法
CN112948369A (zh) 基于配置规则的数据清洗方法、系统及存储介质
CN112527786A (zh) 数据表分区新增方法、装置、计算机设备及存储介质
CN113391916A (zh) 组织架构数据处理方法、装置、计算机设备和存储介质
CN116166760B (zh) 一种基于物联网的制程数据管理方法及系统
CN111125047A (zh) 冷热数据目录识别方法及装置
CN115146003B (zh) 非侵入式实现数据库增量数据实时同步处理的方法和系统
CN116955300B (zh) 一种基于标签技术的文件生成方法及系统
CN115794875A (zh) 一种支持时序数据存储的图数据库系统和融合存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant