CN108876244A - 一种物料清单bom的存储查询系统及方法 - Google Patents

Abstract

本发明属于数据库技术领域，提供了一种物料清单BOM的存储查询系统及方法。具体为一种基于图数据库和大数据的BOM存储和查询方法，用图数据库建立起BOM数据的对应关系，用hadoop平台分布式存储海量的历史数据，用缓存数据库实时查询，对接口服务请求进行数据路由发到不同的数据接口，对执行结果进行数据汇聚获得服务请求对应的最终结果，用的接口输入输出数据，改变了传统的BOM表数据存储方式，提高了数据检索效率，让BOM表数据各节点间关系可视化，使BOM的数据库具有扩展性和高可用性，获得更大的数据吞吐量，充分利用多种数据处理手段，发挥不同类型数据库的优势，满足了不同业务需求对BOM查询及展示的支持。

Description

一种物料清单BOM的存储查询系统及方法

技术领域

本发明属于数据库技术领域，特别涉及一种物料清单BOM的存储查询系统及方法。

背景技术

BOM是物料清单bill of material的简称，产生于上世纪六十年代，以一种能被计算机识别的数据结构存储于磁盘文件系统，是一种说明产品装配件结构化的零件表。

通常产品由多个零部件装配而成，而BOM表达了产品由哪些零部件构成，以及这些零部件的数量、位置、材料等信息，其包含所有的子装配件、零件、原材料的清单详情，和生产一个装配件所需物料的数量，例如材料、工时、工装、设备等。

BOM又称为产品结构表或产品结构树，作为制造企业的核心基础数据，在产品的设计、制造、售后服务等全生命周期管理过程中，发挥着极为重要的作用。

随着个性化定制需求的增加，企业内BOM数据版本众多、层次复杂，逐步呈现大数据态，造成基于关系数据库的BOM管理系统在高并发读写、海量数据存储和访问、高可扩展性和高可用性等方面存在的问题日显突出。

发明内容

本发明的目的是针对现有技术的不足，提供一种物料清单BOM的存储查询系统。

为了实现上述目的，本发明采用以下技术方案：

一种物料清单BOM的存储查询系统，包括：接口模块、数据路由模块、数据库模块、数据分析模块；所述接口模块，用于和外部建立通信，转换数据格式数据，接收服务请求和发送存储查询结果；所述数据路由模块，用于解析服务请求的具体内容，确认需要用到的数据类型，选择并调用数据库；所述数据库模块，用于存储查询数据，提供三种数据库，分别对应不同的服务请求；所述数据分析模块，用于数据汇总，将三种数据库的存储查询结果，对应到服务请求。

进一步的，接口模块包括：链接产生模块、协议转换模块、编译模块、显示模块；其中所述链接产生模块，用于产生外部服务请求和系统接口之间的链接；所述协议转换模块，用于在外部数据类型和系统数据类型之间转换协议；所述编译模块，用于重新编译数据代码以适应系统需要；所述显示模块，用于为用户界面提供数据的逻辑和物理视图。

进一步的，数据路由模块包括：缓存模块、解析模块、目标模块、路由模块；其中所述缓存模块，用于接收接口模块发送的数据查询或操作请求并缓存；所述解析模块，用于对不同查询和操作请求解析各数据包的参数；目标模块，用于根据各处理请求内容找到目标数据所在；路由模块，用于建立送达路径将所述请求路由至所述目标数据库。

进一步的，数据库模块包括：图数据库、缓存数据库、分布式数据库；其中所述图数据库，用于存储查询BOM数据，以图数据库的数据组织方式，管理BOM数据；所述缓存数据库，用于查询BOM实时数据，将查询频率高的数据存入内存，直接从内存读写；所述分布式数据库，用于存储BOM历史数据，将BOM的海量大数据，分布式存储在不同位置。

进一步的，图数据库包括：数据关联模块、数据更新模块、点转化模块、边转化模块；其中所述数据关联模块，用于对每条数据所涉及的物料信息之间建立层级关系；所述数据更新模块，用于将物料信息和层级关系更新至图数据库；所述点转化模块，用于将物料信息对应的数据转化为图数据中的点；所述边转化模块，用于将物料信息之间的关系转化为相应点之间的边。

进一步的，缓存数据库包括：查询计数模块、内存调用模块、数据映射模块、内存释放模块；其中所述查询计数模块，用于每次查询时统计各数据的查询次数；所述内存调用模块，用于在内存中开辟空间；所述数据映射模块，用于将查询频率高的数据映射到内存空间中；所述内存释放模块，用于删除查询频率低的数据以释放内存。

进一步的，分布式数据库为hadoop数据库包括：文件拆分模块、副本复制模块、查重删除模块、分类分布模块、文件索引模块、整合还原模块；其中所述文件拆分模块，用于将历史数据拆分多个为小文件；所述副本复制模块，用于将每份小文件复制多个相同的副本；所述查重删除模块，用于删除过多的相同小文件；所述分类分布模块，用于按某个标准分类小文件相似相近存储在不同位置；所述文件索引模块，用于为小文件和大文件建立多对多的关联；所述整合还原模块，用于为每个大文件配备还原所需的小文件。

进一步的，数据分析模块包括：搜集汇聚模块、识别分类模块、答复封装模块；其中所述搜集汇聚模块，用于将数据库处理的数据回收到数据分析模块；所述识别分类模块，用于识别数据对应的查询和操作请求并分类；所述答复封装模块，用于针对同一个服务请求的数据集合成处理结果并打包。

本发明还提供了一种物料清单BOM的存储查询方法，为了实现该方法，本发明采用以下技术步骤：

一种物料清单BOM的储存查询方法，包括：接收外部对BOM数据的服务请求，并转换成可以被系统识别的数据；解析接收到的请求内容和参数，根据需要的数据类型，调用不同的数据库并建立路由；同时运用三种不同类型的数据库，分别对应不同的数据存储查询需要；将调用多个数据库存储查询后得到的结果进行数据汇聚，对应到每个服务请求；将每个存储查询结果重新封装数据包，转换成相应请求端口的数据类型，发送回去。

进一步的，数据接收包括以下步骤：建立外部端口到系统的链接；将外部数据格式转换系统可以识别的；用编译模块重新编译代码；为使用者提供可视化操作界面。

进一步的，数据路由解析分发包括以下步骤：接收服务请求数据包并缓存；分别解析每个服务请求的内容涉及的所有数据；将所有数据分类并确认所在数据库；调用相应数据库并建立路由传输数据。

进一步的，同时运用三种数据库包括以下步骤：用图数据库存储查询BOM数据，以图数据库的数据组织方式，管理BOM数据；用缓存数据库查询BOM实时数据，将查询频率高的数据存入内存，直接从内存读写；用分布式数据库存储BOM历史数据，将BOM的海量大数据，分布式存储在不同位置。

进一步的，图数据库存储查询包括以下步骤：在每条数据所涉及的物料信息之间建立层级关系；将物料信息和层级关系更新至图数据库；将物料信息对应的数据转化为图数据中的点；将物料信息之间的关系转化为相应点之间的边。

进一步的，缓存数据查询包括以下步骤：在内存中开辟空间；计算各数据的访问次数；将查询频率高的数据映射到内存；删除查询频率低的数据。

进一步的，分布式存储包括以下步骤：将查询频率低的BOM历史数据拆分多个为小文件；将每份小文件复制多个相同的副本；统计比对小文件并删除冗余小文件；将小文件分类并相似相近的存储在不同位置；为小文件和大文件建立多对多的关联；为每个大文件配备还原所需的小文件。

进一步的，数据汇聚包括以下步骤：对每个服务请求的数据集合成存储查询结果，并打包发送给接口模块。将数据库模块存储查询的数据回收；识别数据对应的服务请求，将同一服务请求的数据划分在一起；对每个服务请求的数据集合成存储查询结果，并打包发送给接口模块。

进一步的，数据发送包括以下步骤：建立系统到外部端口的链接；将系统数据还原成外部端口的原始格式并发送回去。

本发明的有益效果：

1.提供了一种基于多种数据库的BOM存储、查询系统和方法，充分利用多种数据处理手段，发挥不同类型数据库的优势，满足了不同业务需求对BOM查询及展示的支持。

2.通过该方案，不仅解决了目前技术中使用单一关系型数据库的缺陷，而且实现了系统整体性能的大幅提升。

3.基于多种数据库的BOM存储、查询方法，解决了在应用传统关系型数据库进行BOM存储和查询对数据库扩展性、高可用性以及数据吞吐量的限制。

4.基于多种数据库的BOM数据处理系统，解决了BOM表数据存储方式、数据检索效率的问题以及BOM表数据各节点间关联关系的可视化问题。

附图说明

图1是基于多种数据库的物料清单BOM存储和查询系统及方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

一种物料清单BOM的存储查询系统，包括接口模块、数据路由模块、数据库模块、数据分析模块。

接口模块，输入和输出数据查询或操作请求，接收操作请求和发送查询结果。接口模块包括链接产生模块、协议转换模块、编译模块、显示模块。

链接产生模块，产生外部服务请求和系统接口之间的链接。协议转换模块，在外部数据类型和系统数据类型之间转换协议。编译模块，重新编译数据代码以适应系统需要。显示模块，为用户界面提供数据的逻辑和物理视图。

数据路由模块，对查询、操作请求的参数进行解析，并根据查询需要的不同将请求分发到不同的数据库的服务接口。数据路由模块包括缓存模块、解析模块、目标模块、路由模块。

缓存模块，接收接口模块发送的数据查询或操作请求并缓存。解析模块，对不同查询和操作请求解析各数据包的参数。目标模块，根据各处理请求内容找到目标数据所在。路由模块，建立送达路径将所述请求路由至所述目标数据库。

数据库模块，用于存储查询数据，提供三种数据库，分别对应不同的服务请求。

图数据库，存储BOM数据，并根据接收到的查询、操作请求进行查询。图数据库包括数据关联模块、数据更新模块、点转化模块、边转化模块。

数据关联模块，对每条数据所涉及的物料信息之间建立层级关系。数据更新模块，将物料信息和层级关系更新至图数据库。点转化模块，将物料信息对应的数据转化为图数据中的点。边转化模块，将物料信息之间的关系转化为相应点之间的边。

分布式数据库，储存BOM历史数据，并进行批量处理和分析。分布式数据库采用hadoop数据库，包括文件拆分模块、副本复制模块、查重删除模块、分类分布模块、文件索引模块、整合还原模块。

文件拆分模块，将历史数据拆分多个为小文件。副本复制模块，将每份小文件复制多个相同的副本。查重删除模块，删除过多的相同小文件。分类分布模块，按某个标准分类小文件相似相近存储在不同位置。文件索引模块，为小文件和大文件建立多对多的关联。整合还原模块，为每个大文件配备还原所需的小文件。

缓存数据库，储存查询频率高的，并在接收新的查询请求时，先从缓存数据库进行查询，在未查到时再从图数据库或分布式数据库平台进行查询。缓存数据库包括查询计数模块、内存调用模块、数据映射模块、内存释放模块。

查询计数模块，每次查询时统计各数据的查询次数。内存调用模块，在内存中开辟空间。数据映射模块，将查询频率高的数据映射到内存空间中。内存释放模块，删除查询频率低的数据以释放内存。

数据分析模块，对一个或多个请求在图数据库、分布式数据库和缓存数据库的执行结果进行数据汇聚，并发送给接口模块输出。数据分析模块包括：搜集汇聚模块、识别分类模块、答复封装模块。

搜集汇聚模块，将数据库处理的数据回收到数据分析模块。识别分类模块，识别数据对应的查询和操作请求并分类。答复封装模块，针对同一个服务请求的数据集合成处理结果并打包。

一种物料清单BOM的储存查询方法，具体包括以下步骤：接收、数据路由分发、多种数据库处理、数据分析汇聚、发送。

接收外部对BOM数据的查询或操作请求，并转换成可以被系统识别的数据。

接收和发送包括以下步骤：建立外部端口到系统的链接、将数据格式在外部和系统之间转换、用编译模块重新编译代码、为使用者提供可视逻辑和物理图。

数据路由分发将接收到的请求内容和参数，根据查询或操作需要的不同将请求分发到不同的数据库的服务接口。

数据路由解析分发包括以下步骤：将数据查询或操作请求暂存在缓存模块、解析不同查询和操作请求包含的参数、根据各处理请求内容找到目标数据所在、建立送达路径将所述请求路由至目标所在位置。

缓存数据查询先从内存开始查询或操作，优先访问频率高的BOM数据，相应的修改查询次数清单。

缓存数据查询包括以下步骤：在内存中开辟空间、计算各数据的访问次数、将查询频率高的数据映射到内存、删除查询频率低的数据。

分布式大数据存储，在内存找不到目标数据时，从分布式存储空间对照文件索引，搜索并还原出所需数据；

分布式存储包括以下步骤：将查询频率低的BOM历史数据拆分多个为小文件、将每份小文件复制多个相同的副本、统计比对小文件并删除冗余小文件、将小文件分类并相似相近的存储在不同位置、为小文件和大文件建立多对多的关联、为每个大文件配备还原所需的小文件。

用图数据库的结构形式组织和管理BOM数据，将物料信息和物料信息之间的关系以点和边的形式储存，供查询或操作。

图数据库的管理包括以下步骤：在每条数据所涉及的物料信息之间建立层级关系、将物料信息和层级关系更新至图数据库、将物料信息对应的数据转化为图数据中的点、将物料信息之间的关系转化为相应点之间的边。

数据分析汇聚将一个或多个通过不同路径处理后得到的结果进行数据汇聚，对应到每个查询或操作请求。

数据分析汇聚包括以下步骤：将数据库处理的数据回收到数据分析模块、识别数据对应的查询和操作请求并分类、对同一个服务请求的数据集合成处理结果并打包。

可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

Claims (20)

1.一种物料清单BOM的存储查询系统，其特征在于包括：

接口模块，用于建立通信，转换数据格式数据，接收服务请求和发送存储查询结果；

数据路由模块，用于解析服务请求的具体内容，确认需要用到的数据类型，选择并调用数据库；

数据库模块，由于存储查询数据，提供三种数据库，分别对应不同的服务请求；

数据分析模块，用于数据汇总，将三种数据库的存储查询结果，对应到服务请求。

2.根据权利要求1所述的物料清单BOM的存储查询系统，其特征在于：所述接口模块包括：

链接产生模块，用于产生服务请求和系统接口之间的链接；

协议转换模块，用于在请求数据类型和系统数据类型之间转换协议；

编译模块，用于重新编译数据代码以适应系统需要；

显示模块，用于为用户界面提供数据的逻辑和物理视图。

3.根据权利要求1所述的物料清单BOM的存储查询系统，其特征在于：所述数据路由模块包括：

缓存模块，用于接收接口模块发送的服务请求数据包并缓存；

解析模块，用于分别解析每个服务请求的内容涉及的所有数据；

目标模块，用于将所有数据分类并确认所在数据库；

路由模块，用于调用相应数据库并建立路由传输数据。

4.根据权利要求1所述的物料清单BOM的存储查询系统，其特征在于：所述数据库模块包括：

图数据库，用于存储查询BOM数据，以图数据库的数据组织方式，管理BOM数据；

缓存数据库，用于查询BOM实时数据，将查询频率高的数据存入内存，直接从内存读写；

分布式数据库，用于存储BOM历史数据，将BOM的海量大数据，分布式存储在不同位置。

5.根据权利要求4所述的物料清单BOM的数据库模块，其特征在于：所述图数据库包括：

数据关联模块，用于对每条数据所涉及的物料信息之间建立层级关系；

数据更新模块，用于将物料信息和层级关系更新至图数据库；

点转化模块，用于将物料信息对应的数据转化为图数据中的点；

边转化模块，用于将物料信息之间的关系转化为相应点之间的边。

6.根据权利要求4所述的物料清单BOM的数据库模块，其特征在于：所述缓存数据库包括：

查询计数模块，用于每次查询时统计各数据的查询次数；

内存调用模块，用于在内存中开辟空间；

数据映射模块，用于将查询频率高的数据映射到内存空间中；

内存释放模块，用于删除查询频率低的数据以释放内存。

7.根据权利要求4所述的物料清单BOM的数据库模块，其特征在于：所述分布式数据库为hadoop数据库。

8.根据权利要求7所述的分布式数据库，其特征在于：所述hadoop数据库包括：

文件拆分模块，用于将历史数据拆分多个为小文件；

副本复制模块，用于将每份小文件复制多个相同的副本；

查重删除模块，用于删除过多的相同小文件；

分类分布模块，用于按某个标准分类小文件相似相近存储在不同位置；

文件索引模块，用于为小文件和大文件建立多对多的关联；

整合还原模块，用于为每个大文件配备还原所需的小文件。

9.根据权利要求1所述的物料清单BOM的存储查询系统，其特征在于：所述数据分析模块包括：

搜集汇聚模块，用于将数据库模块存储查询的数据回收；

识别分类模块，用于识别数据对应的服务请求，将同一服务请求的数据划分在一起；

答复封装模块，用于对每个服务请求的数据集合成存储查询结果，并打包发送给接口模块。

10.一种物料清单BOM的存储查询方法，其特征在于包括以下步骤：

接收对BOM数据的服务请求，并转换成可以被系统识别的数据；

解析接收到的请求内容和参数，根据需要的数据类型，调用不同的数据库并建立路由；

同时运用三种不同类型的数据库，分别对应不同的数据存储查询需要；

将调用三种数据库存储查询后得到的结果进行数据汇聚，对应到每个服务请求；

将每个存储查询结果重新封装数据包，转换成相应请求端口的数据类型，发送回去。

11.根据权利要求10所述的物料清单BOM的存储查询方法，其特征在于：所述接收服务请求包括以下步骤：

建立服务请求端口到系统接口的链接；

将请求数据格式转换系统可以识别的格式；

用编译模块重新编译代码；

为使用者提供可视化操作界面。

12.根据权利要求10所述的物料清单BOM的存储查询方法，其特征在于：所述数据路由包括以下步骤：

接收服务请求数据包并缓存；

分别解析每个服务请求的内容涉及的所有数据；

将所有数据分类并确认所在数据库；

调用相应数据库并建立路由传输数据。

13.根据权利要求10所述的物料清单BOM的存储查询方法，其特征在于：所述同时运用三种数据库包括以下步骤：

用图数据库存储查询BOM数据，以图数据库的数据组织方式，管理BOM数据；

用缓存数据库查询BOM实时数据，将查询频率高的数据存入内存，直接从内存读写；

用分布式数据库存储BOM历史数据，将BOM的海量大数据，分布式存储在不同位置。

14.根据权利要求13所述的同时运用三种数据库，其特征在于：

优先从内存中访问频率高的BOM数据，相应的修改查询次数清单；

若内存找不到目标数据，从分布式存储空间对照文件索引，搜索并还原出所需数据。

15.根据权利要求13所述的同时运用三种数据库，其特征在于：所述图数据库存储查询包括以下步骤：

对每条数据所涉及的物料信息之间建立层级关系；

将物料信息和层级关系更新至图数据库；

将物料信息对应的数据转化为图数据中的点；

将物料信息之间的关系转化为相应点之间的边。

16.根据权利要求13所述的同时运用三种数据库，其特征在于：所述缓存数据库查询包括以下步骤：

在内存中开辟空间；

计算各数据的访问次数；

将查询频率高的数据映射到内存；

删除查询频率低的数据。

17.根据权利要求13所述的同时运用三种数据库，其特征在于：所述分布式数据库存储为hadoop数据库存储。

18.根据权利要求17所述的物料清单BOM的同时运用三种数据库，其特征在于：所述hadoop数据库存储包括以下步骤：

将查询频率低的BOM历史数据拆分多个为小文件；

将每份小文件复制多个相同的副本；

统计比对小文件并删除冗余小文件；

将小文件分类并相似相近的存储在不同位置；

为小文件和大文件建立多对多的关联；

为每个大文件配备还原所需的小文件。

19.根据权利要求10所述的物料清单BOM的存储查询方法，其特征在于：所述数据汇聚包括以下步骤：

对每个服务请求的数据集合成存储查询结果，并打包发送给接口模块。

将数据库模块存储查询的数据回收；

识别数据对应的服务请求，将同一服务请求的数据划分在一起；

对每个服务请求的数据集合成存储查询结果，并打包发送给接口模块。

20.根据权利要求10所述的物料清单BOM的存储查询方法，其特征在于：所述数据转换发送包括以下步骤：

建立系统到外部端口的链接；

将系统数据还原成端口的原始格式并发送回去。