CN112364032B - 基于互联网技术的数据中台数据查询方法 - Google Patents

Abstract

本申请公开了本申请提供一种基于互联网技术的数据中台数据查询方法，包括：获取发送至数据中台的数据接口的查询请求；分析查询请求的内容，提取关键字段；将关键字段作为输入数据输入至一个已经经过训练的人工神经网络以使神经人工神经网络输出对应查询请求的数据索引路径数据以及置信度；判断置信度是否超过预设的置信度阈值；当置信度超过阈值时，按照人工神经网络输出数据索引路径数据获取数据，当置信度低于阈值时，进行一般数据查询以获取所需数据。本申请的有益之处在于提供一种采用人工神经网络智能进行数据查询的基于互联网技术的数据中台数据查询方法。

Description

基于互联网技术的数据中台数据查询方法

技术领域

本申请涉及一种数据查询方法，具体而言，本申请涉及一种基于互联网技术的数据中台数据查询方法。

背景技术

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。

数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而提供高效服务。

这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。

数据中台是一个数据集成平台，它不仅仅是为数据分析挖掘而建，它更重要的功能是作为各个业务的数据源，为业务系统提供数据和计算服务。数据中台的本质就是“数据仓库+数据服务中间件”。

中台构建这种服务时是考虑到可复用性的，每个服务就像一块积木，可以随意组合，非常灵活，有些个性化的需求在前台解决，这样就避免了重复建设，既省时、省力，又省钱。

在相关技术中，在现有技术中，数据中台的数据存储模型主要包括：雪花模型和星型模型，其中，星型模型的具体示例图可参见附图1，雪花模型的具体示例图可参见附图2。该雪花模型和星型模型均是以事实表为核心，将各维度表直接或分层连接至事实表上，当需要进行数据查询时，以事实表为入口点，关联其对应的维度表信息，完成数据查询工作。

在需要大量数据尤其是短时间重复访问时，会造成系统资源浪费。

发明内容

为了解决现有技术的不足之处，本申请提供一种基于互联网技术的数据中台数据查询方法，包括：获取发送至数据中台的数据接口的查询请求；分析查询请求的内容，提取关键字段；将关键字段作为输入数据输入至一个已经经过训练的人工神经网络以使神经人工神经网络输出对应查询请求的数据索引路径数据以及置信度；判断置信度是否超过预设的置信度阈值；当置信度超过置信度阈值时，按照人工神经网络输出数据索引路径数据获取数据，当置信度低于置信度阈值时，进行一般数据查询以获取所需数据。

进一步地,基于互联网技术的数据中台数据查询方法还包括：在分析查询请求时，在提取关键字段后，根据预设字段类型的顺序表将提取的关键字段排序形成关键字段列表并输入至人工神经网络。

进一步地,设置多个人工神经网络，每个人工神经网络对应预设字段类型的顺序表中的一个预设字段类型并由以该预设字段类型为首选项的关键字段列表作为输入数据训练而成；根据关键字段列表的首项数据的字段类型选择对应的人工神经网络。

进一步地,为对应不同预设字段类型的人工神经网络设置分别的置信度阈值；根据预设字段类型的顺序表的顺序,将关键字段列表分别依次输入至剩余的对应不同预设字段类型的多个人工神经网络,进而获取多组数据索引路径数据和置信度；以置信度超过各自人工神经网络阈值的置信度阈值的多个置信度按照大小顺序排序形成置信度顺序表。

进一步地,按照置信度顺序表的顺序使用对应的数据索引路径数据获取数据，并判断获取的数据是否满足需求，如果满足需求，则停止按照置信度顺序表对应的路径获取数据；如果不满足需求，则继续按顺序继续获取数据。

进一步地,多个人工神经网络分别对应数据中台的事实表中的维度项目。

进一步地,关键字段列表的项目为数据的主键。

进一步地,针对一个查询请求，人工神经网络输出数据索引路径数据中包含多个索引路径。

进一步地,将通过一般数据查询获取的数据索引路径数据反馈至人工神经网络作为训练数据。

进一步地,设置多个数据接口以对应不同的人工神经网络，一个数据接口可以对应不同人工神经网络。

本申请的有益之处在于：提供一种采用人工神经网络智能进行数据查询的基于互联网技术的数据中台数据查询方法。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是数据中心的星型模型结构的一个具体示例图；

图2是数据中心的雪花模型结构的一个具体示例图；

图3是根据本申请一种实施例的数据查询方法的步骤示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，星型模式是多维的数据关系，它由事实表和维表组成。每个维表中都会有一个维作为主键，所有这些维的主键结合成事实表的主键。事实表的非主键属性称为事实，它们一般都是数值或其他可以进行计算的数据。

如图2所示，雪花模型是当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花模型。雪花模型是对星型模型的扩展。

如图1和图2所示可以，如果按照事实表和维表一步一步进行索引将会非常依赖数据结构并且容易造成系统负荷过大。

如图3所示，本申请提供一种基于互联网技术的数据中台数据查询方法，包括如下步骤：

获取发送至数据中台的数据接口的查询请求；

分析查询请求的内容，提取关键字段；

将关键字段作为输入数据输入至一个已经经过训练的人工神经网络以使神经人工神经网络输出对应查询请求的数据索引路径数据以及置信度；

判断置信度是否超过预设的置信度阈值；

当置信度超过置信度阈值时，按照人工神经网络输出数据索引路径数据获取数据，当置信度阈值低于预设值时，进行一般数据查询以获取所需数据。

这里需要说明的是，索引是指一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。如果想按特定职员的姓来查找他或她，则与在表中搜索所有的行相比，索引有助于更快地获取信息。索引的一个主要目的就是加快检索表中数据，亦即能协助信息搜索者尽快的找到符合限制条件的记录ID的辅助数据结构。

以图1所示数据结构为例，如果我需要查询“北京市A品牌的月销售量”，按照一般数据检出方法，需要按照事实表进行事实表和维度表的连接，从而通过事实表和维度表的连接产生索引路径从而访问到数据库的物理存储地址，索引的数据通过数据体现事实表和维度表的连接关系。

无论是为了获取单项数据还是获取批量数据进行数据分析，一般数据查询都会通过事实表和维度表的连接进行历尽查询，即依照连接生产索引。而本申请的方案，不根据事实表和维度表进行多次连接。索引路径可以为B+树索引等形式。

作为一个实例，比如数据接口发出的查询请求为“北京市A品牌的月销售量”，经过系统分析，将关键词分为“北京市”、“A品牌”、“月”和“销量”。将关键词输入至人工神经网络，人工神经网络输出对应的索引路径数据，获取所需的所有数据。

需要说明的是，置信度阈值的设置可以根据业务类型和数据结构的情况进行设置，其主要考量点在于数据的准确性，基于结构化数据服务器的特点，可以将置信度阈值设为100％。

具体而言，基于互联网技术的数据中台数据查询方法还包括：在分析查询请求时，在提取关键字段后，根据预设字段类型的顺序表将提取的关键字段排序形成关键字段列表并输入至人工神经网络。

比如，查询请求为“北京市A品牌的月销售量”分析完了之后，将关键字进行排序：销量、品牌、地区、时间进行排序，这样好处提高神经网络的识别效率。

具体而言，设置多个人工神经网络，每个人工神经网络对应预设字段类型的顺序表中的一个预设字段类型并由以该预设字段类型为首选项的关键字段列表作为输入数据训练而成；根据关键字段列表的首项数据的字段类型选择对应的人工神经网络。

为每个对应不同预设字段类型的人工神经网络设置对应分别的置信度阈值；根据预设字段类型的顺序表的顺序,将关键字段列表分别依次输入至剩余的对应不同预设字段类型的多个人工神经网络,进而获取多组数据索引路径数据和置信度；以置信度超过各自人工神经网络阈值的置信度阈值的多个置信度按照大小顺序排序形成置信度顺序表。

按照置信度顺序表的顺序使用对应的数据索引路径数据获取数据，并判断获取的数据是否满足需求，如果满足需求，则停止按照置信度顺序表对应的路径获取数据；如果不满足需求，则继续按顺序继续获取数据。

采用这样的方案，对应每个项目设置多个对应神经网络，从而使数据结构查询逻辑能对应到不同的神经网络，比如进行地域分析和销售额分析时，数据查询都会连接到地址和销售额，但是它们索引节点数据的顺序是不同的。

另外，根据关键字段列表的首项数据的字段类型选择对应的人工神经网络具体实例为：查询请求为“北京市A品牌的月销售量”分析完了之后，将关键字进行排序：销量、品牌、地区、时间进行排序，则其首选项为“销量”，则将该查询请求输入到“销量”对应的人工神经网络中去处理，而“销量”人工神经网络中去处理在进行训练时，也是以“销量”作为首选字段的训练集、验证集进行训练的。如果查询请求书为“北京市A品牌的发货地址分布”，则可能首选项为“地址”，此时则送入以地址为“首选项”的人工神经网络中。

再根据以上实例，作为本申请的扩展方案，将输入请求形成的关键字段列表也分别输入至以其他剩余的预设字段类型对应的人工神经网络中，比如输入到“品牌”对应的人工神经网络、“地区”对应的人工神经网络和“时间”对应的人工神经网络，进行数据分析，得出对应各个人工神经网络的索引数据和置信度。

多个人工神经网络对应数据中台的事实表中的维度项目。经过这样的分解，缩短查询路径，并且在更改事实表时，可以对应训练新的人工神经网络模型。作为更有选的方案，关键字段排序表的项目为数据的主键。

针对一个查询请求人工神经网络输出数据索引路径数据中包含多个索引路径。这样可以一次性获取所需数据群。

具体而言，将通过一般数据查询获取的数据索引路径数据反馈至人工神经网络作为训练数据。在一般查询时，使人工神经网络同步进行学习，从而使神经网络具备数据归纳能力，在进行相同或类似请求的数据查询时可以不用进行一一匹配的数据查询，解决了时间提高了系统效率。

另外，设置多个数据接口以对应不同的人工神经网络，一个数据接口可以对应不同人工神经网络。采用分立的数据接口，可以通过数据接口获取分类信息进而进行数据处理的分流。

作为扩展的技术方案，查询请求中还包括查询发起者的权限数据，数据接口根据不同的权限数据，分配不同的人工神经网络进行数据查询工作。

作为扩展的技术方案，设置第一置信度阈值和第二置信度阈值两种阈值，其中第一置信度阈值大于等于第二置信度阈值，当查询的索引路径数据对应的置信度大于第一置信度阈值时，则采用人工神经网络输出的索引路径数据，当对应的置信度小于第二置信度阈值时，则采用一般数据查询方式获得数据。

当置信度大于第二置信度阈值而又小于等于第一置信度阈值时，采用一般数据查询方式进行查询，在获取某些路径数据或数据内容时，将其与人工神经网络输出的路径数据进行比对，如果是人工神经网络输出的路径数据中没有出现字段数据，则将其定义为补充字段，将补充字段作为人工神经网络的输入数据和原始查询请求一并输入至人工神经网络，如果人工神经网络再次输出的路径数据结果和置信度大于第一置信度阈值，则按照人工神经网络的结果进行数据获取，并将原始查询请求作为输入数据，将输出路径数据作为输出数据构成一组训练集，对人工神经网络进行再次训练，将原始查询请与补充字段进行关联形成修正查询请求，作为输入数据，将输出路径数据作为输出数据构成另一组训练集，对人工神经网络进行再次训练。在输出结果仍小于第二置信度时，将原始查询请求作为输入数据，将一般查询得到的结果作为输出数据，对人工神经网络进行训练。

比如，第一置信度阈值和第二置信度阈值分别为95％和90％，查询请求为“北京市A品牌的月销售量”，输出的路径结果的置信度小于95％但是大于等于90％，进行一般数据查询，此时获取索引数据中出现了“中关村”，而人工神经网络输出的内容中却没有该字段对应索引数据，此时，将原始请求和“北京市A品牌的月销售量”和“中关村”均输入到人工神经网络，如果能获取置信度大于95％的输出结果，则采用输出结果，并将该输出结果与“北京市A品牌的月销售量”分别作为输出和输入对神经网络进行训练。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于互联网技术的数据中台数据查询方法，其特征在于：

所述基于互联网技术的数据中台数据查询方法包括：

获取发送至所述数据中台的数据接口的查询请求；

分析所述查询请求的内容，提取关键字段；

将关键字段作为输入数据输入至一个已经经过训练的人工神经网络以使所述人工神经网络输出对应查询请求的数据索引路径数据以及置信度；

判断所述置信度是否超过预设的置信度阈值；

当所述置信度超过所述置信度阈值时，按照所述人工神经网络输出数据索引路径数据获取数据，当所述置信度低于所述置信度阈值时，进行一般数据查询以获取所需数据；

所述基于互联网技术的数据中台数据查询方法还包括：

在分析所述查询请求时，在提取关键字段后，根据预设字段类型的顺序表将提取的关键字段排序形成关键字段列表并输入至所述人工神经网络；

设置多个所述人工神经网络，每个所述人工神经网络对应所述预设字段类型的顺序表中的一个预设字段类型并由以该预设字段类型为首选项的关键字段列表作为输入数据训练而成；根据所述关键字段列表的首项数据的字段类型选择对应的所述人工神经网络。

2.根据权利要求1所述的基于互联网技术的数据中台数据查询方法，其特征在于：

为对应不同预设字段类型的所述人工神经网络设置分别的置信度阈值；根据预设字段类型的顺序表的顺序,将所述关键字段列表分别依次输入至剩余的对应不同预设字段类型的多个所述人工神经网络,进而获取多组数据索引路径数据和置信度；以置信度超过各自人工神经网络阈值的置信度阈值的多个置信度按照大小顺序排序形成置信度顺序表。

3.根据权利要求2所述的基于互联网技术的数据中台数据查询方法，其特征在于：

按照所述置信度顺序表的顺序使用对应的数据索引路径数据获取数据，并判断获取的数据是否满足需求，如果满足需求，则停止按照置信度顺序表对应的路径获取数据；如果不满足需求，则继续按顺序继续获取数据。

4.根据权利要求3所述的基于互联网技术的数据中台数据查询方法，其特征在于：

多个所述人工神经网络分别对应所述数据中台的事实表中的维度项目。

5.根据权利要求3所述的基于互联网技术的数据中台数据查询方法，其特征在于：

所述关键字段列表的项目为数据的主键。

6.根据权利要求4所述的基于互联网技术的数据中台数据查询方法，其特征在于：

针对一个所述查询请求，所述人工神经网络输出数据索引路径数据中包含多个索引路径。

7.根据权利要求5所述的基于互联网技术的数据中台数据查询方法，其特征在于：

将通过一般数据查询获取的数据索引路径数据反馈至所述人工神经网络作为训练数据。

8.根据权利要求7所述的基于互联网技术的数据中台数据查询方法，其特征在于：

设置多个数据接口以对应不同的所述人工神经网络，一个所述数据接口对应不同所述人工神经网络。

Images