CN111209100A - 一种业务处理和数据源确定方法 - Google Patents

Abstract

本发明涉及一种业务处理和数据源确定方法，所述方法包括：为通道列表中的通道确定数据源集合；对数据源进行处理以进行数据源的复用；从通道列表的头部选择一通道进行业务处理，直到通道列表尾部为止。本发明能够在考虑业务多层次特征的基础上，进行业务通道，计算节点、数据源确定的全局考虑，在进行业务的处理过程中，同时对业务的处理速度、节点的复用性，可用性，通道的历史处理情况等角度出发进行及业务的处理和数据源的选择，在确定了计算节点和数据源的大范围的情况下，支持多节点的业务并行处理，能够保障数据计算的准确度和实时性。

Description

一种业务处理和数据源确定方法

【技术领域】

本发明属于计算机技术领域，尤其涉及一种业务处理和数据源确定方法。

【背景技术】

随着社会工业化、信息化水平的不断提高，如今数据已取代计算成为信息计算的中心，云计算、大数据正在成为一种趋势和潮流。包括存储容量、可用性、I/O性能、数据安全性、可扩展性等诸多方面。由于大数据中包含海量的信息，在对海量信息中的可用数据资源进行分布式的大数据分析和挖掘是最优选方式。在进行业务处理时，很多对于大数据透明使用的相关研究，但是对于业务处理节点来说，很多业务需要大量的数据分析和对比，这就需要大量的计算和数据传输。在进行业务处理时，现有技术中往往是进行业务处理通道的选择，而对通道的考虑往往是仅仅局限于业务处理过程的方式以及业务处理的节点。或者往往集中于如何进行数据源自身的评估，并集中于研究如何进行数据源本身的选择，但是在进行业务处理过程中，业务处理的效率不仅和业务本身相关，还和业务处理所选择的通道以及处理过程中涉及的数据源相关，现有技术中没有针对将这三者进行联合考虑，从而从一个整体的效率研究如何提高业务处理效率这个问题。此外，现有的业务规模已经相当大了，如果仅仅还是采用传统的任务调度方法是进行业务处理则过于局部而缺乏全局性。本发明能够在考虑业务多层次特征的基础上，进行业务通道，计算节点、数据源确定的全局考虑，在进行业务的处理过程中，同时对业务的处理速度、节点的复用性，可用性，通道的历史处理情况等角度出发进行及业务的处理和数据源的选择，在确定了计算节点和数据源的大范围的情况下，支持多节点的业务并行处理，能够保障数据计算的准确度和实时性；

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种业务处理和数据源确定方法，所述方法包含：

步骤S1：基于业务数据确定处理通道；

步骤S2：缩小候选通道列表以得到通道列表；

步骤S3：对通道列表中的每个通道确定计算节点；

步骤S4：对计算节点进行处理以消除通道间的重复计算节点；

步骤S5：为通道列表中的通道确定数据源集合；

步骤S6：对数据源进行处理以进行数据源的复用；

步骤S7：从通道列表的头部选择一通道进行业务处理，直到通道列表尾部为止。

进一步的，所述步骤S1具体为：于业务数据抽取业务特征，基于业务特征的特点对业务特征进行分类，基于分类的业务特征确定候选通道列表。

进一步的，所述步骤S2具体为:确定候选通道列表中每个通道的通道转移概率，从候选通道列表的头部开始依次选择P个通道使得所述P个通道均发生通道转移的概率小于转移阈值，舍弃从P+1开始的通道以得到缩小后的候选通道列表，将所述缩小后的候选通道列表作为通道列表。

进一步的，所述基于分类的业务特征确定候选通道列表。

进一步的，所述基于分类的业务特征确定候选通道列表，具体为：对于n类业务特征中的每个类型的业务特征，计算所述类型的业务特征的归一化向量，计算所述归一化向量的模；对于n类业务特征对应n个模值；基于所述n个模值确定候选通道列表。

进一步的，预先保存n个模值和候选通道列表之间的对应关系，并通过查找获得所述n个模值对应候选通道列表。

进一步的，所述对应关系为根据历史处理数据填写。

进一步的，其中，对于n个模值，确定历史处理数据中所采用的通道列表中处理效率最高和/或重复次数最多的通道列表作为和所述n个模值对应的候选通道列表。

进一步的，n等于3。

进一步的，当不能找到P个通道满足条件时，不缩短候选业务通道。

本发明的有益效果包括：能够在考虑业务多层次特征的基础上，进行业务通道，计算节点、数据源确定的全局考虑，在进行业务的处理过程中，同时对业务的处理速度、节点的复用性，可用性，通道的历史处理情况等角度出发进行及业务的处理和数据源的选择，在确定了计算节点和数据源的大范围的情况下，支持多节点的业务并行处理，能够保障数据计算的准确度和实时性；。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1为本发明的业务处理和数据源确定方法示意图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

在进行业务的处理过程中，业务的处理方式和处理要求是可以不同的，例如：可以采用不同的通道模式进行同一个业务的处理，例如：鉴权，采用多种鉴权方式对统一目标主体进行鉴权，那么鉴权过程中所涉及的计算节点和数据源可能都是不同的，针对不同的通道模式，处理步骤可能也是不同的；同时业务本身对时间要求可能也是很高的，例如支付业务，考验用户的耐心，人脸识别业务，也是相同个，例如人脸识别，可以采用多种识别机制，通过多个通道来完成识别，那么在这样的情况下，如何对这样的业务进行高效有保障的处理，如何进行计算节点，以及更重要的数据源的确定，是很重要的问题。

对本发明所应用的一种业务处理和数据源确定方法进行详细说明，如附图1所示，所述方法包含：

步骤S1:基于业务数据确定处理通道；具体的：基于业务数据抽取业务特征，基于业务特征的特点对业务特征进行分类，基于分类的业务特征确定候选通道列表；例如：所述将业务特征进行分类，具体为：将业务特征分为三类，第一类为业务主体相关(例如：A类型手机终端和B类型的服务器)、第二类为业务类型相关(例如：支付业务、鉴权业务等)、第三类为业务场景相关(例如：当前业务所运行的操作系统和应用程序等)；

所述基于分类的业务特征确定候选通道列表，具体为：将经过分类后的业务特征按照类别输入人工智能模型，并基于所述人工智能模型的输出确定候选通道列表；其中：所述人工智能模型的输出为多元向量，向量中的每个元素对应一个通道，每个元素的取值是0和1之间的任何一个数值，而非确定性的值；元素的大小表征选择所述通道的权重值；例如：输出向量为[0.1，0.3，0.6，0.1],表示对第三通道的权重值最大，因此可以将第三通道作为主选通道；按照输出向量中元素值的大小将对应的通道按照权重值的大小从大到小排序，以得到待选通道列表；并将所述通道列表作为后面进行业务处理的基础；

优选的：通道列表中仅包含权重值大于预设值的元素所对应的通道；可以通过灵活的设置预设值来调整可选通道的多少，这样的设置可以根据用户容忍时间以及硬件的资源多少来进行动态调整；其中：所述权重值大小为动态设置的值，按照业务特征类型对通道选择的影响大小进行动态设置；

可替换的，所述基于分类的业务特征确定候选通道列表，具体为：对于n类业务特征中的每个类型的业务特征，计算所述类型的业务特征的归一化向量，计算所述归一化向量的模；对于n类业务特征对应n个模值；基于所述n个模值确定候选通道列表；例如：预先保存n个模值和候选通道列表之间的对应关系，并查找获得所述n个模值对应候选通道列表；对应关系根据历史处理数据填写，对于n个模值，确定历史处理数据中所采用的通道列表中处理效率最高和/或重复次数最多的通道列表作为和所述n个模值对应的候选通道列表；

所述计算所述类型的业务特征的归一化向量，具体为：求取所述类型的业务特征中的每一业务特征在历史业务中的出现频率，将所有出现频率进行归一化以得到归一化向量；

步骤S2：缩小候选通道列表以得到通道列表；具体为：确定候选通道列表中每个通道的通道转移概率，从候选通道列表的头部开始依次选择P个通道使得所述P个通道均发生通道转移的概率小于转移阈值，舍弃从P+1开始的通道以得到缩小后的候选通道列表，将所述缩小后的候选通道列表作为通道列表；其中：通道转移概率为，该通道不能够完成业务而发生通道切换的概率，所述概率为根据历史数据计算得到；例如：业务处理失败时该通道为不能够完成业务，此时发生通道转移，采用下一通道模式进行当前业务的处理；

优选的：当不能找到P个通道满足条件时，不缩短候选业务通道；

优选的：所述P个通道均发生通道转移的概率等于所述P个通道的转移概率的乘积；也可以基于历时数据计算P-1个通道均发生转移情况下第P个通道也发生转移的后验概率来确定；

优选的：P和转移阈值均为预设值；

步骤S3：对通道列表中的每个通道确定计算节点；具体为：对于通道列表中的每个通道，确定能够满足每个通道处理要求的计算节点集合的组合；其中：每个通道在处理过程中需要一种或多种类型计算节点，一种类型的计算机节点对应通道处理步骤(或者通道处理步骤类型)中的一个或多个，对于每个处理步骤(或者通道处理步骤类型)对应一个计算节点集合，集合中的所有计算节点都能够用于所述处理步骤(或者所述通道处理步骤类型)的计算；满足通道处理要求的计算节点集合的组合为所述处理步骤(处理步骤类型)对应的所有计算节点集合的组合；如果通道列表中存在多个通道，该步骤得到多个计算节点集合的组合；

优选的：所述计算节点集合的组合是有序组合，组合的顺序对应通道处理步骤(或者通道处理步骤的类型)的顺序；

步骤S4：对计算节点进行处理以消除通道间的重复计算节点；具体为：从通道列表中的前两个通道对应的两个计算节点集合的组合开始，依次对相邻的两个组合进行重复节点的消除，直到通道列表中的最后两个计算节点集合对应的组合为止；

优选的：所述消除为非完全消除；消除的目的是使得相邻的两个通道之间重复节点的数量较少，从而避免可能出现的连续失败；

所述依次对相邻的两个组合进行重复节点的消除，具体为：两个组合分别为第一组合和第二组合，对于第二组合中的任一计算节点Ci，计算该计算节点Ci的可用值VLi；在第二组合中，从可用值最小的计算节点开始删除，直到该组合中的任一集合中节点的数量少于第一数量阈值为止；其中：所述第一数量阈值为和具体集合相关而非针对组合中的所有集合统一预设；

所述可用值表示了计算节点在通道内的可重复使用程度和在通道间的重复使用程度的叠加情况；通道内的重复使用会带来较小的通信开销，而通道间的重复使用带来了较多的业务处理失败情况；

优选的：通过下式(1)计算可用值VLi；

其中：N1i表示计算节点Ci在第一组合中出现的次数；N2i表示计算节点Ci在第二组合中出现的次数；CLS1i表示第一组合中集合的数量；CLS2i表示第二组合中集合的数量；W为调整值，该值默认为1；计算节点在组合中出现的次数也就是在组合中的不同集合中出现的次数的加和；

优选的：第一数量阈值为预设值，该预设值可以根据第一组合对应通道的转移概率来设置，转移概率越高则所述阈值设置为越高，反之亦然；

当一个通道处理业务失败时，很多情况和处理节点本身相关，或者和处理节点与数据源之间出现不一致而导致，如果引入过多的重复节点会导致通道处理业务的连续失败从而大大的降低用户体验；此外，在进行结算节点去重复后计算节点的数量，尤其是候选通道的计算节点数量会大幅度的减小，从而减少了后续数据源的选定复杂度；

步骤S5为通道列表中的通道确定数据源集合；具体为：对于通道列表中的任一个通道，确定其对应的计算节点集合的组合，对于组合中的任一计算节点集合，确定该通道完成业务所需要的数据源集合，从而得到和所述计算节点集合的组合对应的数据源集合的组合；对于存在多于一个通道的通道列表来说，就得到多个数据源集合的组合；

对于不同的通道来说，其处理的步骤是确定的，虽然计算节点可以选择，但是在计算节点相对确定且业务类型明确的情况下，所能够选择的数据源也是相对固定的；例如：对于支付业务来说，支付通道确定后，其支付通道需要执行的步骤是相对明确的，其计算节点是可以选择的，但是对于一笔特定的支付业务，其计算节点确定的情况下，需要进行支付处理的数据源是集合是确定的；

优选的：所述数据源集合中的数据源为一个或者多个；

步骤S6:对数据源进行处理以进行数据源的复用；具体为：从通道列表中的前两个通道对应的两个数据源集合的组合开始，依次对相邻两个组合进行数据源的处理，直到通道列表中的最后两个计算节点集合对应的组合为止；

在前面的步骤中，已经对节点的重复情况进行了消除，而实际上，由于计算节点之间的不存在复用导致的通信开销是较少的；通过计算节点的重复消除可以减少由于计算节点和数据源之间的不配合而导致的业务处理失败的情况；反之，数据源之间不存在复用会导致较大的通信开销，因此，在对数据源进行处理的过程中，需要尽量保留复用的数据源而淘汰不复用的数据源；

所述依次对相邻两个组合进行数据源的处理，具体为：两个组合分别为第一组合和第二组合，对于第二组合中的任一数据源DSi，计算该数据源DSi的复用度DDi，在第二组合中，从复用度最小的数据源开始删除，直到该组合中的任一集合中数据源的数量少于第二数量阈值为止；其中，所述复用度体现了数据源在通道内以及通道间的复用程度；

优选的；通过下式(2)计算复用度DDi；

其中：M1i表示数据源DSi在第一组合中出现的次数；M2i表示数据源DSi在第二组合中出现的次数；CLSD1i表示第一组合中数据源集合的数量；CLSD1i表示第二组合中数据源集合的数量；P1表示第一组合对应的通道出现转移的次数；优选的：第二数量阈值为预设值，该第二数量阈值可以动态设置；

步骤S7：从通道列表的头部选择一通道进行业务处理，直到通道列表尾部为止；具体的：在进行业务处理的过程中，依次从通道列表中选择通道进行所述业务的处理，如果业务处理成功，则业务处理完毕；否则，如果业务处理失败，继续从通道列表中选择下一通道进行所述业务的处理，直到通道列表尾部为止；

对于一个业务来说，可以选择多种不同的通道类型进行业务的处理，在一个通道不能完成的情况下，继续下一通道进行处理。

优选的：在选择一通道进行业务处理时，先对通道进行计算节点和数据源的评估，基于评估结果选择计算节点和数据源组合进行业务的处理；具体的：对于通道对应的计算节点集合的组合中的任一计算节点集合，对于计算节点集合中的任一计算节点，确定所述计算节点和其对应的数据源集合中的每一个数据源组合进行业务计算时的计算效率，选择计算效率最高的计算节点和数据源组合或者计算效率排名前N位的计算节点和数据源组合，进行业务的计算；这样对于通道对应的计算节点集合为N个的时候，对于每个计算节点集合都要进行相应的计算以得到一个或者N个组合；

优选的：所述计算效率为计算速度；通过历史数据计算所述计算节点和数据源组合的计算效率；求取历史数据中，所述计算节点和数据源组合的情况下完成业务的平均效率，将所述平均效率作为计算效率；可以具体的根据和当前业务的一项或者多项特征相同的业务的历史数据进行上述平均效率的计算以增加评估的准确性；

优选的：在业务处理过程中可以同时向几个计算节点和数据源组合发送业务处理请求，同时让多个计算节点进行计算；这样，在同时向排名前N位的计算节点和数据源组合发送业务请求的情况下，可以根据N个处理结果，选择处理速度最快(或处理效率最高)的处理结果用于进行通道的下一处理步骤；或者在收集到所有的N个处理结果的情况下，从中选择最可能正确的处理结果用于进行通道的下一处理步骤；通过这样的方式来保障数据计算的准确度和实时性；

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种业务处理和数据源确定方法，其特征在于，所述方法包含：

步骤S1：基于业务数据确定处理通道；

步骤S2：缩小候选通道列表以得到通道列表；

步骤S3：对通道列表中的每个通道确定计算节点；

步骤S4：对计算节点进行处理以消除通道间的重复计算节点；

步骤S5：为通道列表中的通道确定数据源集合；

步骤S6：对数据源进行处理以进行数据源的复用；

步骤S7：从通道列表的头部选择一通道进行业务处理，直到通道列表尾部为止。

2.根据权利要求1所述的业务处理和数据源确定方法，其特征在于，所述步骤S1具体为：于业务数据抽取业务特征，基于业务特征的特点对业务特征进行分类，基于分类的业务特征确定候选通道列表。

3.根据权利要求2所述的业务处理和数据源确定方法，其特征在于，所述步骤S2具体为:确定候选通道列表中每个通道的通道转移概率，从候选通道列表的头部开始依次选择P个通道使得所述P个通道均发生通道转移的概率小于转移阈值，舍弃从P+1开始的通道以得到缩小后的候选通道列表，将所述缩小后的候选通道列表作为通道列表。

4.根据权利要求3所述的业务处理和数据源确定方法，其特征在于，所述基于分类的业务特征确定候选通道列表。

5.根据权利要求4所述的业务处理和数据源确定方法，其特征在于，所述基于分类的业务特征确定候选通道列表，具体为：对于n类业务特征中的每个类型的业务特征，计算所述类型的业务特征的归一化向量，计算所述归一化向量的模；对于n类业务特征对应n个模值；基于所述n个模值确定候选通道列表。

6.根据权利要求5所述的业务处理和数据源确定方法，其特征在于，预先保存n个模值和候选通道列表之间的对应关系，并通过查找获得所述n个模值对应候选通道列表。

7.根据权利要求6所述的业务处理和数据源确定方法，其特征在于，所述对应关系为根据历史处理数据填写。

8.根据权利要求7所述的业务处理和数据源确定方法，其特征在于，其中，对于n个模值，确定历史处理数据中所采用的通道列表中处理效率最高和/或重复次数最多的通道列表作为和所述n个模值对应的候选通道列表。

9.根据权利要求8所述的业务处理和数据源确定方法，其特征在于，n等于3。

10.根据权利要求9所述的业务处理和数据源确定方法，其特征在于，当不能找到P个通道满足条件时，不缩短候选业务通道。

Images