CN110909065B

CN110909065B - 一种多数据源智能调用方法

Info

Publication number: CN110909065B
Application number: CN201911243262.XA
Authority: CN
Inventors: 王飞飞
Original assignee: Everbright Xinglong Trust Co ltd
Current assignee: Everbright Xinglong Trust Co ltd
Priority date: 2019-12-06
Filing date: 2019-12-06
Publication date: 2020-10-27
Anticipated expiration: 2039-12-06
Also published as: CN110909065A

Abstract

本发明涉及一种多数据源智能调用方法，所述方法包括：步骤S1：客户端接收数据处理指令，获取数据调用属性；步骤S2：服务器选择智能调用模型进行数据源选择；步骤S3：客户端发送数据处理指令给所选择的数据源以进行数据源的数据调用。本发明将对于数据源的调用不仅考虑了基本信息，还考虑了调用发生的场景，在进行模型的选择上基于基本调用属性和场景调用属性进行人工智能的选择，从而大大的提高了多数据源选择的准确性，在选择过程中，通过三维查询表的折叠、属性缓冲、三方交叉验证提高了选择的安全性，降低了选择所带来的系统开销。

Description

一种多数据源智能调用方法

技术领域

本发明属于计算机技术领域，尤其涉及一种多数据源智能调用方法。

背景技术

在信息化高度发展的今天，信息技术在各个行业中的应用都得到了前所未有的重视，对于信息系统的依赖也越来越深。同时随着数据信息化的发展，数据量增长飞快，大数据呈现出多元化、分散化的趋势。伴随着数据量的增长，也产生了信息冗杂、难以辨别的问题。多元化的数据呈现出来多元化的特点，就算是同类型数据，根据其所属的硬件设备的不同也会表现出不同的可用性、I/O性能、数据安全性、实时性、数据源类型、版本、主机地址、端口设置等多个方面的不同。在实际业务过程中，会涉及多类数据源的同时、多类同质数据源同时调用的场景，如何从海量的数据以及繁杂的数据源中选择能够满足当前数据处理要求的信息，是利用好大数据，进而更好地服务于社会发展的重要组成本分。本发明将对于数据源的调用不仅考虑了基本信息，还考虑了调用发生的场景，在进行模型的选择上基于基本调用属性和场景调用属性进行人工智能的选择，从而大大的提高了多数据源选择的准确性，在选择过程中，通过三维查询表的折叠、属性缓冲、三方交叉验证提高了选择的安全性，降低了选择所带来的系统开销。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种多数据源智能调用方法，所述方法包含：

步骤S1：客户端接收数据处理指令，获取数据调用属性；

步骤S2：服务器选择智能调用模型进行数据源选择；

步骤S3：客户端发送数据处理指令给所选择的数据源以进行数据源的数据调用。

进一步的，客户端获接收数据处理指令，获取指令基本信息作为基本调用属性，基于基本调用属性进行权限判定并获取场景调用属性；将基本调用属性和场景调用属性发送给服务器。

进一步的，将基本调用属性和场景调用属性输入标签网络，将标签网络的输出向量作为选择结果，将选择结果发送给客户端和所选择的数据源。

进一步的，所述步骤S3具体为：客户端接收选择结果，基于选择结果对数据处理指令进行重新打包，并将经过打包的数据处理指令发送给和选择结果对应的数据源；数据源接收选择服务器发送的选择结果，并对选择结果进行验证，在验证通过后基于数据处理指令对客户端提供数据。

进一步的，基本调用属性为和指令本身的属性及其所属执行主体相关的属性信息；场景调用属性为指令执行的软硬件环境相关的属性信息。

进一步的，所述基于基本调用属性进行权限判定并获取场景调用属性，具体为：基于指令标识、程序标识和数据源类型查询三维查询表以判断是否有获取权限，如果是，则获取场景调用属性；否则，基于数据处理指令从默认数据源获取数据。

进一步的，所述获取场景调用属性，具体为：获取基本调用属性的键值，基于键值匹配场景标识队列以确定所述键值对应的场景调用属性是否在场景缓存中，如果是，则基于所述键值查找场景缓存以获取和所述键值对应的场景调用属性，否则，进行程序和/或操作系统调用以获取场景信息，并基于场景信息构建场景调用属性。

进一步的，键值和标识的对应方式为n对1的对应方式，这样可以使得多个相似的基本调用属性获取相同的场景调用属性；从而通过获取精度的降低来提高调用的速度；这里n的值可以根据对精度和速度的要求来动态调整。

进一步的，基于基本调用属性和场景调用属性样本对标签网络进行训练；将训练样本的两种属性信息作为样本特征来输入，并将训练样本的选择结果作为输出标记来输出。进一步的，所述标签网络为三层神经网络，第一层包括基础层和场景层，第二层是关联层，第三层是Q反层。

本发明的有益效果包括：将对于数据源的调用不仅考虑了基本信息，还考虑了调用发生的场景，在进行模型的选择上基于基本调用属性和场景调用属性进行人工智能的选择，从而大大的提高了多数据源选择的准确性，在选择过程中，通过三维查询表的折叠、属性缓冲、三方交叉验证提高了选择的安全性，降低了选择所带来的系统开销。

附图说明

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1为本发明的多数据源智能调用方法示意图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

对本发明所应用的一种多数据源智能调用方法进行详细说明，如附图1所示，所述方法包含：

步骤S1:客户端接收数据处理指令，获取数据调用属性；具体的：客户端获接收数据处理指令，获取指令基本信息作为基本调用属性，基于基本调用属性进行权限判定并获取场景调用属性；将基本调用属性和场景调用属性发送给服务器；

优选的：发送基本调用属性和场景调用属性的标识信息，所述标识信息为客户端和服务器之间所共享的；

其中：基本调用属性为和指令本身的属性及其所属执行主体相关的属性信息，例如：所调用的数据源类型、数据源名称、数据量、程序标识、进程标识等；场景调用属性为指令执行的软硬件环境相关的属性信息，例如：操作系统版本信息、存储资源使用情况、通信资源使用情况等，还包括和指令以及所属程序相关的环境相关的属性信息，例如安全环境等；现有技术中针对多数据源的调用方法通常很简单，仅仅是根据所调用数据的类型进行优质数据源的选择，而显然，数据源是否优质，实质上不仅仅和所需要调用的数据本身相关，还和调用者的属性相关，不同调用者和不同数据源之间的适配性肯定是有所不同的，因此采用两级属性信息进行数据源的选择能够大大的提高数据源选择的准确性；例如：不同数据源所需要的通信资源不同，当通信资源较大的时候，数据源能够得到快速的访问从而实时性很强，此时需要和客户端的通信资源使用情况相匹配才能够取得应有的效果；

所述基于基本调用属性进行权限判定并获取场景调用属性，具体为：基于指令标识、程序标识和数据源类型查询三维查询表以判断是否有获取权限，如果是，则获取场景调用属性；否则，基于数据处理指令从默认数据源获取数据；这里考虑到从指令或者程序级对环境信息的从底向上的跃层获取如果不进行权限控制可能会导致严重的安全问题和系统性能降低；其中，三维查询表为分别以指令标识、程序标识和数据源类型为三个维度的查询表，所述三维查询表是预设表；优选的：根据程序权限、指令权限的不同而将三维查询表压缩为一维度或二维查询表，具体的：当程序权限和指令权限均高时，压缩三维查询表为一维查询表；当程序权限高而指令权限不确定时，将三维查询表为二维查询表；考虑到多数程序的权限是具有对数据源的访问权限的，因此设置这样的压缩能够大大的节省权限查询时间以及表的存储空间，同时扩展性也很强；

所述获取场景调用属性，具体为：获取基本调用属性的键值，基于键值匹配场景标识队列以确定所述键值对应的场景调用属性是否在场景缓存中，如果是，则基于所述键值查找场景缓存以获取和所述键值对应的场景调用属性，否则，进行程序和/或操作系统调用以获取场景信息，并基于场景信息构建场景调用属性；考虑到如果所有的数据处理指令都要对场景信息进行查询，而对场景信息的查询可能会涉及系统层面的反复参数查询，因而会带来更多的非必要开销；其中：场景标识队列中保存所有被缓存的场景调用属性的标识，所述队列是采用先出的管理策略，标识的命中次数高会使得标识更容易保持在所述队列中；场景缓存用于缓存场景调用属性信息，所述缓存的大小和所述场景标识队列的长度、场景调用属性的多少相关；优选的：所述键值为基本调用属性的哈希函数映射值；

优选的：键值和标识的对应方式为n对1的对应方式，这样可以使得多个相似的基本调用属性获取相同的场景调用属性；从而通过获取精度的降低来提高调用的速度；这里n的值可以根据对精度和速度的要求来动态调整；当然也可以采用1对1的对应方式来提高精度，相应的速度会降低；对应的方式采用枚举的方式，基本调用属性和场景之间的对应并非连续的；

步骤S2：服务器选择智能调用模型进行数据源选择；具体的：将基本调用属性和场景调用属性输入标签网络，将标签网络的输出向量作为选择结果，将选择结果发送给客户端和所选择的数据源；其中：标签网络为人工智能学习网络，优选的：为多层神经网络；

优选的：标签网络的输出被转换成所选择的数据源标识以作为选择结果；

优选的：基于基本调用属性和场景调用属性样本对标签网络进行训练；将训练样本的两种属性信息作为样本特征来输入，并将训练样本的选择结果作为输出标记来输出；

其中，基本调用属性和场景调用属性为服务器从不同客户端获取的；所述服务器优选为云服务器；所述标签网络为三层神经网络，第一层包括基础层和场景层，第二层是关联层，第三层是Q反层；其中：基础层包含多个独立神经网络模型，这些独立的神经网络模型用来分别学习每个基础调用属性本身的特征信息表示，场景层包含多个独立神经网络模型，这些独立的神经网络模型用来分别学习每个场景调用属性本身的特征信息表示；关联层包含二个独立的神经网络模型，第一个神经网络模型用于学习来自基础层的多个输入项之间的关联关系，第二个神经网络模型用于学习来自场景层的多个输入项之间的关联关系，Q反层为最上一层的神经网络，关联层的两个神经网络模型的输出项，以及Q反层的输出被输入到Q反层，Q反层的输出项被作为选择结果；

优选的：Q反层的输出项QT为向量的形式以表示一个多标签选择；其中，Q反层的输出项被输入到Q反层后能够进行基础调用属性和场景调用属性之间关联关系的调整；Q反层为最上一层的神经网络，其基于样本选择结果和其输出项之间的差异来进行人工智能学习；

优选的：Q反层的输出项QT被有条件的作为Q反层的输入；也就是说，当条件满足时，Q反层的输出项被直接作为Q反层输入以进行基础层和场景关联性的反馈调整，从而进行两者之间的去关联；当两者之间的关联性不大时，QT反馈被关断；优选的：所述条件为当连续输出项之间的相似性过大、相似输出结果的连续次数过多、输出之间的连续性和基础调用属性之间的连续性之间的不一致等；所述条件可以被关断，从而停止进行Q反层对自身的反馈；优选的：输出项QT经过函数映射后被输入到Q反层作为反馈输入；考虑到场景调用特征本身和基础调用属性之间存在一定的关联性，一方面将这两个层之间设置相对独立的层来去关联，另一方面，进行独立层设置能够便于进行不同层之间的权重调整；

优选的：针对不同类型的客户端选择不同的标签网络进行智能调用模型的选择；所述类型非场景调用属性，而是从服务器角度看客户端对服务器呈现出不同的外部属性；具体的，标签网络的整体结构保持不变，基于客户端类型的不同进行第一层中基础层和场景层之间的权重调整，进行重新的样本训练从而得到不同类型的标签网络；实际上，如果仅仅是进行权重调整，实际上所需要的训练时间很短，甚至是不需要进行重新的训练，只要恰当的选择权重值就能够适应不同类型的客户端，从而从服务器的角度进行客户端类型的匹配；

所述将选择结果发送给客户端和所选择的数据源，具体为：将所选择的数据源标识发送给客户端，将客户端标识和附加属性发送给所选择的数据源；其中：所述附加属性为基本调用属性和/或场景调用属性中的一个或者多个属性；

步骤S3：客户端发送数据处理指令给所选择的数据源以进行数据源的数据调用；具体为：客户端接收选择结果，基于选择结果对数据处理指令进行重新打包，并将经过打包的数据处理指令发送给和选择结果对应的数据源；数据源接收选择服务器发送的选择结果，并对选择结果进行验证，在验证通过后基于数据处理指令对客户端提供数据；服务器对于客户端对数据的获取起到一个适配和管理作用，对于客户端的数据处理请求，通过选择结果进行三方的交叉验证，从而保证客户端对于数据的获取都是合法的，实际上通过这样的三方验证，验证所需要的信息都是简单的必要信息，信息的传递也是在必要的信息传递过程中传递，因此，不会因为三方验证而增加或者仅仅增加很小的开销；

所述基于选择结果对数据处理指令进行重新打包，具体为：在数据处理指令中增加附加信息，所述附加信息用于进行验证；所述附加信息包括数据源标识、客户端标识以及基本调用属性和/或场景调用属性中的一个或者多个属性；例如：附加信息包括数据源标识、客户端标识、操作系统版本信息和指令标识；

可替换的：所述附加信息为校验信息，所述校验信息包括两个部分，第一部分为对数据处理指令产生的校验信息，第二部分为针对包括数据源标识、客户端标识以及基本调用属性和/或场景调用属性中的一个或者多个属性信息所产生的校验信息；

数据源对选择结果进行验证，具体为：数据源基于从服务器接收的选择结果对客户端发送的数据处理指令进行验证，验证数据处理指令中的附加信息是否和选择结果一致，如果是，则确定通过验证；

当附加信息为校验信息时，第二部分所针对的属性是服务器和客户端约定好的，数据源基于从服务器获取的选择结果来获取第二部分所针对的属性以重新生成第二部分，以对从客户端接收到的第二部分信息进行验证；

优选的：所述附加信息中包含第三部分，所述第三部分包含指令发送的时间信息，数据源在进行附加信息的验证时需要对第三部分中包含的时间进行时效验证；

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种多数据源智能调用方法，其特征在于，所述方法包含：

步骤S1：客户端接收数据处理指令，获取数据调用属性；

步骤S2：服务器选择智能调用模型进行数据源选择；

步骤S3：客户端发送数据处理指令给所选择的数据源以进行数据源的数据调用；

所述步骤S1具体为：客户端获接收数据处理指令，获取指令基本信息作为基本调用属性，基于基本调用属性进行权限判定并获取场景调用属性；将基本调用属性和场景调用属性发送给服务器；

所述步骤S2具体为:将基本调用属性和场景调用属性输入标签网络，将标签网络的输出向量作为选择结果，将选择结果发送给客户端和所选择的数据源；

所述步骤S3具体为：客户端接收选择结果，基于选择结果对数据处理指令进行重新打包，并将经过打包的数据处理指令发送给和选择结果对应的数据源；数据源接收选择服务器发送的选择结果，并对选择结果进行验证，在验证通过后基于数据处理指令对客户端提供数据；

基本调用属性为和指令本身的属性及其所属执行主体相关的属性信息；场景调用属性为指令执行的软硬件环境相关的属性信息；

所述基于基本调用属性进行权限判定并获取场景调用属性，具体为：基于指令标识、程序标识和数据源类型查询三维查询表以判断是否有获取权限，如果是，则获取场景调用属性；否则，基于数据处理指令从默认数据源获取数据；

所述获取场景调用属性，具体为：获取基本调用属性的键值，基于键值匹配场景标识队列以确定所述键值对应的场景调用属性是否在场景缓存中，如果是，则基于所述键值查找场景缓存以获取和所述键值对应的场景调用属性，否则，进行程序和/或操作系统调用以获取场景信息，并基于场景信息构建场景调用属性。

2.根据权利要求1所述的多数据源智能调用方法，其特征在于，键值和标识的对应方式为n对1的对应方式，这样可以使得多个相似的基本调用属性获取相同的场景调用属性；从而通过获取精度的降低来提高调用的速度；这里n的值可以根据对精度和速度的要求来动态调整。

3.根据权利要求2所述的多数据源智能调用方法，其特征在于，基于基本调用属性和场景调用属性样本对标签网络进行训练；将训练样本的两种属性信息作为样本特征来输入，并将训练样本的选择结果作为输出标记来输出。

4.根据权利要求3所述的多数据源智能调用方法，其特征在于，所述标签网络为三层神经网络，第一层包括基础层和场景层，第二层是关联层，第三层是Q反层。