在云计算业务通信网络下的大数据处理方法及云计算平台
技术领域
本发明涉及大数据和云计算技术领域,特别涉及一种在云计算业务通信网络下的大数据处理方法及云计算平台。
背景技术
大数据(mega data)时代的到来显著改变了人们的日常生产生活方式。依附于大数据时代的各种便利,传统行业的业务处理实现了智能化和高效率化。
作为支撑大数据的关键技术,云计算技术(cloud computing)能够通过分布式计算架构实现庞大数据业务的并发处理,进而实现众多传统业务领域(例如工业制造、视频监控、游戏运营、智慧城市服务、远程医疗服务和数字金融服务等)的数据化服务。
随着大数据规模的不断扩增,不同设备之间会进行频繁的数据业务交互,然而在实际应用场景下,如何界定不同设备之间的数据业务交互是否适配是确保正常的业务流程的关键。
发明内容
为改善相关技术中存在的上述技术问题,本发明提供了在云计算通信网络下的大数据处理方法及云计算平台。
第一方面提供一种在云计算业务通信网络下的大数据处理方法,应用于云计算平台,包括:
获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求;
在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息;
基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;
判断所述业务适配信息是否满足设定条件,在所述业务适配信息不满足所述设定条件时,依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
第二方面提供一种云计算平台,包括:
请求获取模块,用于获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求;
信息提取模块,用于在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息;
信息确定模块,用于基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;
业务修改模块,用于判断所述业务适配信息是否满足设定条件,在所述业务适配信息不满足所述设定条件时,依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
第三方面提供一种云计算平台,包括:处理器和存储器;其中:所述处理器用于从所述存储器中读取计算机程序,并运行所述计算机程序以实现上述的方法。
第四方面提供一种计算机用存储介质,其上存储有计算机程序,所述计算机程序在运行时实现上述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果。
云计算平台能够在数据业务发起端和数据业务处理端进行业务交互时分别从数据业务发起端侧获取当前业务发起请求以及从数据业务处理端侧获取应用场景信息,进而通过当前业务发起请求与应用场景信息确定数据业务发起端和数据业务处理端之间的业务适配信息,这样能够在基于业务适配信息判定出数据业务发起端和数据业务处理端之间不适配时,对它们的业务配对关系进行修改。如此,避免了将业务适配功能集成到数据业务发起端,进而避免数据业务发起端根据其检测到的业务适配结果而频繁地切换与之对接的数据业务处理端,确保了多个业务发起端和多个业务处理端之间的大数据业务对接关系不会被打乱。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据本发明所涉及的在云计算业务通信网络下的大数据处理系统的示意图;
图2是根据一示例性实施例示出的一种在云计算业务通信网络下的大数据处理方法的流程图;
图3是根据一示例性实施例示出的一种云计算平台的框图;
图4是根据另一示例性实施例示出的一种云计算平台的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
针对背景技术存在的技术问题,发明人经过长期研究和分析之后发现,不同设备之间在进行数据业务交互时,业务发起端设备并不具有直接评判业务处理端的业务处理能力的功能,而如果在业务发起端集成这一功能,可能会使得业务发起端频繁地切换与之对接的业务处理端,这样会打乱多个业务发起端和多个业务处理端之间的业务对接关系。
为了改善上述技术问题,本发明实施例旨在提供一种在云计算业务通信网络下的大数据处理方法及云计算平台,能够通过云计算平台来判断数据业务发起端和数据业务处理端之间的业务是否适配,并在数据业务发起端和数据业务处理端之间存在业务适配现象时对数据业务发起端和数据业务处理端的业务配对关系进行修改,如此,避免了将业务适配功能集成到数据业务发起端,进而避免数据业务发起端根据其检测到的业务适配结果而频繁地切换与之对接的数据业务处理端,确保了多个业务发起端和多个业务处理端之间的业务对接关系不会被打乱。
请首先参阅图1,示出了在云计算业务通信网络下的大数据处理系统100的通信架构示意图,该大数据处理系统100可以包括互相之间通信连接的云计算平台200、数据业务发起端300以及数据业务处理端400。在本实施例中,上述大数据处理系统100可以应用于智慧城市、智能医疗、在线教育、在线办公、工业互联网和区块链金融等领域,在此不作限定。在图1的基础上,本发明实施例还提供了一种在云计算业务通信网络下的大数据处理方法,如图2所示,所述方法可以包括以下步骤S21-步骤S24所描述的内容。
步骤S21,获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求。
例如,所述数据资源池是所述云计算平台所部署的用于进行业务数据存储的数据库。
例如,所述开放状态用于表征所述数据资源池处于可访问状态。
例如,所述当前业务发起请求用于指示所述数据业务处理端进行数据处理,当前业务发起请求中还携带有与所述数据资源池中的目标业务数据对应的查询标识,该查询标识用于指示所述数据业务处理端在所述数据资源池中对所述目标业务数据进行查询。
步骤S22,在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息。
例如,所述应用场景信息用于表征所述数据业务处理端针对所述数据业务发起端的用户行为数据所生成的与所述数据业务发起端对应的应用层面上的描述信息。所述应用场景信息用于表征所述数据业务发起端针对所述当前业务发起请求所指向的实际业务场景。
步骤S23,基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息。
例如,所述业务适配信息用于表针所述数据业务发起端和所述数据业务处理端在数据业务交互上的配合程度,所述配合程度用于表征所述数据业务处理端对所述当前业务发起请求对应的实际应用场景的判定准确性。
步骤S24,判断所述业务适配信息是否满足设定条件,在所述业务适配信息不满足所述设定条件时,依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
可以理解,通过上述步骤S21-步骤S24,云计算平台能够在数据业务发起端和数据业务处理端进行业务交互时分别从数据业务发起端侧获取当前业务发起请求以及从数据业务处理端侧获取应用场景信息,进而通过当前业务发起请求与应用场景信息确定数据业务发起端和数据业务处理端之间的业务适配信息,这样能够在基于业务适配信息判定出数据业务发起端和数据业务处理端之间不适配时,对它们的业务配对关系进行修改。如此,避免了将业务适配功能集成到数据业务发起端,进而避免数据业务发起端根据其检测到的业务适配结果而频繁地切换与之对接的数据业务处理端,确保了多个业务发起端和多个业务处理端之间的业务对接关系不会被打乱。
在一个可能的实施例中,步骤S21进一步可以包括以下步骤S211-步骤S213所描述的内容。
步骤S211,在云计算平台对应的数据资源池处于开放状态的情况下,检测所述数据业务发起端的请求接口的当前状态。
步骤S212,在检测到所述请求接口的当前状态为激活状态时,获取所述数据业务发起端通过所述请求接口外发的多个业务请求。
步骤S213,从所述业务请求中确定出携带所述数据业务处理端的端口标识的当前业务发起请求。
如此,能够直接对接数据业务发起端的请求接口,在数据业务发起端外发了多个业务请求的情况下,可以通过对业务请求携带的端口标识快速进行区分并获取当前业务发起请求,避免在多个业务请求中查询当前业务发起请求时出现混乱。
在一个可能的实施例中,步骤S22进一步可以包括以下步骤S221-步骤S223所描述的内容。
步骤S221,将所述业务处理结果中的业务项目信息按照应用标签进行分类,得到每个应用标签下对应的业务项目信息。
例如,所述业务项目信息是所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理之后所生成的不同类型的项目信息。
步骤S222,确定每个应用标签对应的标签属性信息。
步骤S223,从所述标签属性信息筛选出用于表征所述目标业务数据的场景属性的目标标签属性信息对应的目标应用标签,并根据所述目标应用标签下的业务项目信息提取所述应用场景信息。
这样以来,可以确保确定出的应用场景信息和目标业务数据的对应的。
基于步骤S21和步骤S22,步骤S23所描述的基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息,示例性地可以包括以下步骤S231-步骤S234所描述的内容。
步骤S231,提取所述当前业务发起请求的业务需求列表,并确定所述应用场景信息的场景参数列表。
步骤S232,针对所述业务需求列表中的每个需求列表元素,在所述场景参数列表确定与该需求列表元素对应的参数列表元素。
例如,每个需求列表元素与所述场景参数列表中的其中一个参数列表元素对应,且需求列表元素的数量小于等于参数列表元素的数量。
步骤S233,计算每个需求列表元素与其对应的参数列表元素之间的评价系数。
例如,所述评价系数用于指示每个需求列表元素与其对应的参数列表元素之间的适配程度。
步骤S234,基于计算得到的评价系数生成所述当前业务发起请求与所述应用场景信息之间的业务评价矩阵,并根据所述业务评价矩阵确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息。
例如,所述业务评价矩阵为多维矩阵,所述数据业务发起端和所述数据业务处理端之间的业务适配信息通过对所述业务评价矩阵进行业务评价整合而得到。
可以理解,基于上述步骤S231-步骤S234,能够对当前业务发起请求的业务需求列表以及应用场景信息的场景参数列表进行列表元素之间的评价系数计算,从而确定出当前业务发起请求与应用场景信息之间的业务评价矩阵,这样可以通过业务评价矩阵从多个维度来提取业务适配信息,确保业务适配信息的全面性,避免丢失某些维度的业务评价。
在具体实施过程中发明人发现,在根据业务适配信息判断数据业务发起端和数据业务处理端之间的适配性时,常常出现误判的问题。究其原因,是没有考虑业务适配信息中每个适配指标在数据业务发起端中以及在数据业务处理端中的不同步性。这样一来,在对业务适配信息进行分析时,则会忽略每个适配指标之间的相互影响,最终导致判断数据业务发起端和数据业务处理端之间的适配性时出现误判。为改善这一技术问题,步骤S24所描述的判断所述业务适配信息是否满足设定条件,具体可以包括以下步骤S241-步骤S245所描述的内容。
步骤S241,获取所述业务适配信息中的每个适配指标数据在所述数据业务发起端中的第一指标时序变量以及所述业务适配信息中的每个适配指标数据在所述数据业务处理端中的第二指标时序变量,并根据所述数据业务发起端和所述数据业务处理端之间的业务交互记录确定所述业务适配信息中的每个适配指标数据的第三指标时序变量。
步骤S242,确定出所述第一指标时序变量对应的第一指标数据描述信息与所述第二指标时序变量对应的第二指标数据描述信息之间的第一适配指标同步权重以及所述第二指标时序变量对应的第二指标数据描述信息与所述第三指标时序变量对应的第三指标数据描述信息之间的第二适配指标同步权重;针对所述第一指标时序变量,以所述第一指标数据描述信息为基准信息按照所述第一适配指标同步权重对所述第一指标时序变量进行时序校正得到第四指标时序变量;针对所述第二指标时序变量,以所述第二指标数据描述信息为基准信息按照所述第二适配指标同步权重对所述第二指标时序变量进行时序校正得到第五指标时序变量。
步骤S243,分别将所述第一指标时序变量和所述第二指标时序变量、所述第一指标时序变量和所述第四指标时序变量、所述第二指标时序变量和所述第三指标时序变量、以及所述第二指标时序变量和所述第五指标时序变量进行时序差异比较,得到第一时序差异比较结果、第二时序差异比较结果、第三时序差异比较结果和第四时序差异比较结果;确定出所述第一时序差异比较结果和所述第二时序差异比较结果之间的第一相关性权重以及所述第三时序差异比较结果和所述第四时序差异比较结果之间的第二相关性权重。
步骤S244,判断所述第一相关性权重和所述第二相关性权重是否均落入预设权重区间内;若是,根据所述第一时序差异比较结果和所述第三时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量;若否,分别确定出所述第一相关性权重和所述第二相关性权重与所述预设权重区间的第一权重差值和第二权重差值;比较所述第一权重差值和所述第二权重差值的大小;在所述第一权重差值小于所述第二权重差值时,根据所述第一时序差异比较结果和所述第二时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量;在所述第一权重差值大于等于所述第二权重差值时,根据所述第三时序差异比较结果和所述第四时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量。
步骤S245,基于所述融合时序变量对每个指标适配数据进行适配性检测得到检测结果;统计所述检测结果中表征所述数据业务发起端与所述数据业务处理端为业务适配的目标检测结果的占比;在所述占比达到设定占比时判定所述业务适配信息满足所述设定条件;在所述占比没有达到所述设定占比时判定所述业务适配信息不满足所述设定条件。
可以理解,通过执行上述步骤S241-步骤S245,能够通过不同业务处理角度来获取业务适配信息中的每个适配指标数据对应的第一指标时序变量、第二指标时序变量以及第三指标时序变量,进而对这些指标时序变量进行时序校正,然后进行两两之间的时序差异比较。这样可以根据不同的时序差异比较结果确定多个检测维度分布信息,从而对第一指标时序变量、第二指标时序变量和第三指标时序变量进行时序一致性融合得到融合时序变量。如此,能够削弱每个适配指标数据之间在时序上的互相影响。进而在对每个指标适配数据进行适配性检测时,能够确保得到的检测结果的完整性。在根据多个检测结果判定业务适配信息是否满足设定条件时,由于多个检测结果是没有受到时序异步性影响的,这样能够避免对数据业务发起端和数据业务处理端之间的适配性的误判。
在一个可能的实施方式中,步骤S245所描述的基于所述融合时序变量对每个指标适配数据进行适配性检测得到检测结果,进一步可以包括以下步骤S2451-步骤S2453所描述的内容。
步骤S2451,基于所述融合时序变量中的变量特征分布确定每个指标适配数据的适配相关性系数以及各适配业务特征;若基于所述适配相关性系数确定出所述每个指标适配数据中包含有数据业务标签,根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值确定所述每个指标适配数据在系统业务标签下的各适配业务特征与所述每个指标适配数据在所述数据业务标签下的各适配业务特征之间的特征关联因子,并将所述每个指标适配数据在所述系统业务标签下的与在所述数据业务标签下的适配业务特征之间的特征关联因子位于目标数值区间内的适配业务特征调整到所述数据业务标签下。
步骤S2452,在每个指标适配数据的系统业务标签下包含有多个存在传递标识的适配业务特征的情况下,根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值确定所述每个指标适配数据在所述系统业务标签下的各存在传递标识的适配业务特征之间的特征关联因子,并根据所述各存在传递标识的适配业务特征之间的特征关联因子对所述系统业务标签下的各存在传递标识的适配业务特征进行特征融合;根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值为上述特征融合获得的目标业务特征设置检测标签,并按照所述检测标签的检测优先级将至少部分目标业务特征调整到所述数据业务标签下。
步骤S2453,根据所述数据业务标签下的业务特征生成所述每个指标适配数据对应的检测特征分布,提取所述检测特征分布中的分布轨迹并根据所述分布轨迹得到所述检测结果。
这样以来,基于上述步骤S2451-步骤S2453,首先基于融合时序变量中的变量特征分布确定每个指标适配数据的适配相关性系数以及各适配业务特征,然后在确定出数据业务标签和系统业务标签之后,对这两个业务标签下的适配业务特征进行调整,从而实现适配业务特征区域性校正和重组,这样能够确保数据业务标签下的业务特征准确生成每个指标适配数据对应的检测特征分布,进而确保检测特征分布的完整性。如此,在对检测特征分布进行分布轨迹提取时,能够考虑到不同适配业务特征之间的关联性,从而确保检测结果在整体业务处理上的全局可信度。
在实际应用时,为了在修改业务配对关系时不打乱数据业务发起端和数据业务处理端之外的其他数据业务发起端和其他数据业务处理端的业务配对关系,需要从多个并行的业务处理进程的层面对第一业务优先级和第二业务优先级进行分析和比较。为实现上述目的,步骤S24所描述的依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改,示例性地可以包括:根据所述第一业务优先级、所述第二业务优先级、所述数据业务发起端的业务需求进程以及所述数据业务处理端的业务处理进程,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
进一步地,根据所述第一业务优先级、所述第二业务优先级、所述数据业务发起端的业务需求进程以及所述数据业务处理端的业务处理进程,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改,示例性地可以包括以下步骤a-步骤e所描述的内容。
步骤a,从所述数据业务发起端的第一设备配置数据中确定出所述数据业务发起端的第一初始优先级以及从所述数据业务处理端的第二设备配置数据中确定出所述数据业务处理端的第二初始优先级;其中,所述第一初始优先级和所述第二初始优先级是处于相同优先级层级的优先级。
步骤b,监测所述数据业务发起端的业务需求进程并统计得到所述数据业务发起端在目标时段内的多个业务需求进程标识,针对每个业务需求进程标识,按照该业务需求进程标识所对应的业务需求进程的进程运行参数确定该业务需求进程标识所对应的业务需求进程的第一传递优先级;其中,不同业务需求进程的第一传递优先级不同,所述第一传递优先级的优先级层级低于所述第一初始优先级的优先级层级,所述第一传递优先级用于表征不同业务需求进程的业务重要程度;监测所述数据业务处理端的业务处理进程并统计得到所述数据业务处理端在所述目标时段内的多个业务处理进程标识,针对每个业务处理进程标识,按照该业务处理进程标识所对应的业务处理进程的进程运行参数确定该业务处理进程标识所对应的业务处理进程的第二传递优先级;其中,不同业务处理进程的第二传递优先级不同,所述第二传递优先级的优先级层级低于所述第二初始优先级的优先级层级,所述第二传递优先级用于表征不同业务处理进程的业务重要程度。
步骤c,按照优先级层级由高到低的顺序对所述第一初始优先级和所述第一传递优先级进行排序得到所述数据业务发起端的第一业务优先级排序,以及对所述第二初始优先级和所述第二传递优先级进行排序得到所述数据业务处理端的第二业务优先级排序,确定所述当前业务发起请求对应的第一目标优先级在所述第一业务优先级排序中的第一排序队列编号以及所述应用场景信息对应的第二目标优先级在所述第二业务优先级排序中的第二排序队列编号。
步骤d,比较所述第一排序队列编号与所述第二排序队列编号的大小;在所述第一排序队列编号大于所述第二排序队列编号时,将所述数据业务处理端确定为配对关系修改对象;在所述第一排序队列编号小于等于所述第二排序队列编号时,将所述数据业务发起端确定为配对关系修改对象。
步骤e,在所述配对关系修改对象为所述数据业务处理端时,根据所述数据业务处理端与所述数据业务发起端之间的配对关系标识将所述数据业务处理端替换为目标业务处理端;在所述配对关系修改对象为所述数据业务发起端时,根据所述数据业务发起端与所述数据业务处理端之间的配对关系标识将所述数据业务发起端替换为目标业务发起端。
如此,基于上述步骤a-步骤e,在对第一业务优先级和第二业务优先级进行分析和比较时,能够从多个并行的业务处理进程的层面实现优先级的层级关系分析,如此一来,能够将数据业务发起端和数据业务处理端之外的其他数据业务发起端和其他数据业务处理端的业务配对关系一并考虑在内,进而考虑整个数据业务网络的协同运行。这样,能够在修改业务配对关系时不打乱数据业务发起端和数据业务处理端之外的其他数据业务发起端和其他数据业务处理端的业务配对关系,将修改业务配对关系所产生的影响最小化。
在一种可替换的实施方式中,在步骤S21-步骤S24的基础上,所述方法还可以包括以下步骤S25和步骤S26所描述的内容。
步骤S25,确定所述数据业务发起端与所述数据业务处理端的历史配对关系列表,按照时序先后顺序从所述历史配对关系列表中提取出所述数据业务发起端与所述数据业务处理端的每条业务配对关系对应的配置数据轨迹,获取每条配置数据轨迹中的轨迹拓扑并从所述轨迹拓扑中确定出节点属性不随时间变化的多个基准轨迹节点以及每个基准轨迹节点对应的节点传递路径。
步骤S26,将每条配置轨迹数据对应的节点传递路径映射到预设坐标平面中,并在所述预设坐标平面中获取路径交点数量达到设定数量的目标节点传递路径,将所述目标节点传递路径在所述数据业务发起端中对应的第一配置路径与所述目标节点传递路径在所述数据业务处理端中对应的第二配置路径进行关联存储;其中,所述预设坐标平面用于表征所述数据业务发起端与所述数据业务处理端的交互数据配置路径所对应的映射平面。
在应用上述步骤S25和步骤S26所描述的内容时,能够在确定出目标节点传递路径的基础上,将目标节点传递路径在数据业务发起端中对应的第一配置路径与目标节点传递路径在数据业务处理端中对应的第二配置路径进行关联存储。这样以来,关联存储的第一配置路径和第二配置路径能够供云计算平台进行业务适配性分析,从而在后续的数据业务处理中调控数据业务发起端和数据业务处理段之间的业务配对情况,确保数据业务处理的效率。
基于上述同样的发明构思,请结合参阅图3,还示出了云计算平台200的框图,所述云计算平台200包括:
请求获取模块210,用于获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求;
信息提取模块220,用于在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息;
信息确定模块230,用于基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;
业务修改模块240,用于判断所述业务适配信息是否满足设定条件,在所述业务适配信息不满足所述设定条件时,依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
在上述基础上,还提供了如图4所示的云计算平台200,处理器250和存储器260;其中:所述处理器250用于从所述存储器260中读取计算机程序,并运行所述计算机程序以实现上述的方法。
在上述基础上,提供一种计算机用存储介质,其上存储有计算机程序,所述计算机程序在运行时实现上述的方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。
基于上述相同或相似的技术内容,还提供了两种可替换的实施方式,它们分别是实施方式A和实施方式B。
关于实施方式A的描述如下。
A1.一种基于云计算业务通信网络的大数据处理方法,应用于云计算平台,包括:
获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求;其中,所述当前业务发起请求用于指示所述数据业务处理端进行数据处理,当前业务发起请求中还携带有与所述数据资源池中的目标业务数据对应的查询标识,该查询标识用于指示所述数据业务处理端在所述数据资源池中对所述目标业务数据进行查询;
在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息;
基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;
判断所述业务适配信息是否满足设定条件,在所述业务适配信息不满足所述设定条件时,依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
A2.根据A1所述的方法,所述获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求,包括:
在云计算平台对应的数据资源池处于开放状态的情况下,检测所述数据业务发起端的请求接口的当前状态;
在检测到所述请求接口的当前状态为激活状态时,获取所述数据业务发起端通过所述请求接口外发的多个业务请求;
从所述业务请求中确定出携带所述数据业务处理端的端口标识的当前业务发起请求。
A3.根据A1所述的方法,所述在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息,包括:
将所述业务处理结果中的业务项目信息按照应用标签进行分类,得到每个应用标签下对应的业务项目信息;其中,所述业务项目信息是所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理之后所生成的不同类型的项目信息;
确定每个应用标签对应的标签属性信息;
从所述标签属性信息筛选出用于表征所述目标业务数据的场景属性的目标标签属性信息对应的目标应用标签,并根据所述目标应用标签下的业务项目信息提取所述应用场景信息。
A4.根据A1所述的方法,所述基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息,包括:
提取所述当前业务发起请求的业务需求列表,并确定所述应用场景信息的场景参数列表;
针对所述业务需求列表中的每个需求列表元素,在所述场景参数列表确定与该需求列表元素对应的参数列表元素;其中,每个需求列表元素与所述场景参数列表中的其中一个参数列表元素对应,且需求列表元素的数量小于等于参数列表元素的数量;
计算每个需求列表元素与其对应的参数列表元素之间的评价系数;其中,所述评价系数用于指示每个需求列表元素与其对应的参数列表元素之间的适配程度;
基于计算得到的评价系数生成所述当前业务发起请求与所述应用场景信息之间的业务评价矩阵,并根据所述业务评价矩阵确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;其中,所述业务评价矩阵为多维矩阵,所述数据业务发起端和所述数据业务处理端之间的业务适配信息通过对所述业务评价矩阵进行业务评价整合而得到。
A5.根据A1-A4任一项所述的方法,所述判断所述业务适配信息是否满足设定条件,包括:
获取所述业务适配信息中的每个适配指标数据在所述数据业务发起端中的第一指标时序变量以及所述业务适配信息中的每个适配指标数据在所述数据业务处理端中的第二指标时序变量,并根据所述数据业务发起端和所述数据业务处理端之间的业务交互记录确定所述业务适配信息中的每个适配指标数据的第三指标时序变量;
确定出所述第一指标时序变量对应的第一指标数据描述信息与所述第二指标时序变量对应的第二指标数据描述信息之间的第一适配指标同步权重以及所述第二指标时序变量对应的第二指标数据描述信息与所述第三指标时序变量对应的第三指标数据描述信息之间的第二适配指标同步权重;针对所述第一指标时序变量,以所述第一指标数据描述信息为基准信息按照所述第一适配指标同步权重对所述第一指标时序变量进行时序校正得到第四指标时序变量;针对所述第二指标时序变量,以所述第二指标数据描述信息为基准信息按照所述第二适配指标同步权重对所述第二指标时序变量进行时序校正得到第五指标时序变量;
分别将所述第一指标时序变量和所述第二指标时序变量、所述第一指标时序变量和所述第四指标时序变量、所述第二指标时序变量和所述第三指标时序变量、以及所述第二指标时序变量和所述第五指标时序变量进行时序差异比较,得到第一时序差异比较结果、第二时序差异比较结果、第三时序差异比较结果和第四时序差异比较结果;确定出所述第一时序差异比较结果和所述第二时序差异比较结果之间的第一相关性权重以及所述第三时序差异比较结果和所述第四时序差异比较结果之间的第二相关性权重;
判断所述第一相关性权重和所述第二相关性权重是否均落入预设权重区间内;若是,根据所述第一时序差异比较结果和所述第三时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量;若否,分别确定出所述第一相关性权重和所述第二相关性权重与所述预设权重区间的第一权重差值和第二权重差值;比较所述第一权重差值和所述第二权重差值的大小;在所述第一权重差值小于所述第二权重差值时,根据所述第一时序差异比较结果和所述第二时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量;在所述第一权重差值大于等于所述第二权重差值时,根据所述第三时序差异比较结果和所述第四时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量;
基于所述融合时序变量对每个指标适配数据进行适配性检测得到检测结果;统计所述检测结果中表征所述数据业务发起端与所述数据业务处理端为业务适配的目标检测结果的占比;在所述占比达到设定占比时判定所述业务适配信息满足所述设定条件;在所述占比没有达到所述设定占比时判定所述业务适配信息不满足所述设定条件。
A6.根据A5所述的方法,所述基于所述融合时序变量对每个指标适配数据进行适配性检测得到检测结果,包括:
基于所述融合时序变量中的变量特征分布确定每个指标适配数据的适配相关性系数以及各适配业务特征;若基于所述适配相关性系数确定出所述每个指标适配数据中包含有数据业务标签,根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值确定所述每个指标适配数据在系统业务标签下的各适配业务特征与所述每个指标适配数据在所述数据业务标签下的各适配业务特征之间的特征关联因子,并将所述每个指标适配数据在所述系统业务标签下的与在所述数据业务标签下的适配业务特征之间的特征关联因子位于目标数值区间内的适配业务特征调整到所述数据业务标签下;
在每个指标适配数据的系统业务标签下包含有多个存在传递标识的适配业务特征的情况下,根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值确定所述每个指标适配数据在所述系统业务标签下的各存在传递标识的适配业务特征之间的特征关联因子,并根据所述各存在传递标识的适配业务特征之间的特征关联因子对所述系统业务标签下的各存在传递标识的适配业务特征进行特征融合;根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值为上述特征融合获得的目标业务特征设置检测标签,并按照所述检测标签的检测优先级将至少部分目标业务特征调整到所述数据业务标签下;
根据所述数据业务标签下的业务特征生成所述每个指标适配数据对应的检测特征分布,提取所述检测特征分布中的分布轨迹并根据所述分布轨迹得到所述检测结果。
A7.根据A5所述的方法,所述依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改,包括:
根据所述第一业务优先级、所述第二业务优先级、所述数据业务发起端的业务需求进程以及所述数据业务处理端的业务处理进程,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
A8.一种云计算平台,包括:
请求获取模块,用于获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求;
信息提取模块,用于在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息;
信息确定模块,用于基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;
业务修改模块,用于判断所述业务适配信息是否满足设定条件,在所述业务适配信息不满足所述设定条件时,依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
关于实施方式B的描述如下。
B1.一种基于云计算业务通信网络的大数据处理方法,应用于云计算平台,包括:
获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求;
在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息;
基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;
判断所述业务适配信息是否满足设定条件,在所述业务适配信息不满足所述设定条件时,依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改;
其中,所述方法还包括:
确定所述数据业务发起端与所述数据业务处理端的历史配对关系列表,按照时序先后顺序从所述历史配对关系列表中提取出所述数据业务发起端与所述数据业务处理端的每条业务配对关系对应的配置数据轨迹,获取每条配置数据轨迹中的轨迹拓扑并从所述轨迹拓扑中确定出节点属性不随时间变化的多个基准轨迹节点以及每个基准轨迹节点对应的节点传递路径;
将每条配置轨迹数据对应的节点传递路径映射到预设坐标平面中,并在所述预设坐标平面中获取路径交点数量达到设定数量的目标节点传递路径,将所述目标节点传递路径在所述数据业务发起端中对应的第一配置路径与所述目标节点传递路径在所述数据业务处理端中对应的第二配置路径进行关联存储;其中,所述预设坐标平面用于表征所述数据业务发起端与所述数据业务处理端的交互数据配置路径所对应的映射平面。
B2.根据B1所述的方法,所述获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求,包括:
在云计算平台对应的数据资源池处于开放状态的情况下,检测所述数据业务发起端的请求接口的当前状态;
在检测到所述请求接口的当前状态为激活状态时,获取所述数据业务发起端通过所述请求接口外发的多个业务请求;
从所述业务请求中确定出携带所述数据业务处理端的端口标识的当前业务发起请求。
B3.根据B1所述的方法,所述在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息,包括:
将所述业务处理结果中的业务项目信息按照应用标签进行分类,得到每个应用标签下对应的业务项目信息;其中,所述业务项目信息是所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理之后所生成的不同类型的项目信息;
确定每个应用标签对应的标签属性信息;
从所述标签属性信息筛选出用于表征所述目标业务数据的场景属性的目标标签属性信息对应的目标应用标签,并根据所述目标应用标签下的业务项目信息提取所述应用场景信息。
B4.根据B1所述的方法,所述基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息,包括:
提取所述当前业务发起请求的业务需求列表,并确定所述应用场景信息的场景参数列表;
针对所述业务需求列表中的每个需求列表元素,在所述场景参数列表确定与该需求列表元素对应的参数列表元素;其中,每个需求列表元素与所述场景参数列表中的其中一个参数列表元素对应,且需求列表元素的数量小于等于参数列表元素的数量;
计算每个需求列表元素与其对应的参数列表元素之间的评价系数;其中,所述评价系数用于指示每个需求列表元素与其对应的参数列表元素之间的适配程度;
基于计算得到的评价系数生成所述当前业务发起请求与所述应用场景信息之间的业务评价矩阵,并根据所述业务评价矩阵确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;其中,所述业务评价矩阵为多维矩阵,所述数据业务发起端和所述数据业务处理端之间的业务适配信息通过对所述业务评价矩阵进行业务评价整合而得到。
B5.根据B1-B4任一项所述的方法,所述判断所述业务适配信息是否满足设定条件,包括:
获取所述业务适配信息中的每个适配指标数据在所述数据业务发起端中的第一指标时序变量以及所述业务适配信息中的每个适配指标数据在所述数据业务处理端中的第二指标时序变量,并根据所述数据业务发起端和所述数据业务处理端之间的业务交互记录确定所述业务适配信息中的每个适配指标数据的第三指标时序变量;
确定出所述第一指标时序变量对应的第一指标数据描述信息与所述第二指标时序变量对应的第二指标数据描述信息之间的第一适配指标同步权重以及所述第二指标时序变量对应的第二指标数据描述信息与所述第三指标时序变量对应的第三指标数据描述信息之间的第二适配指标同步权重;针对所述第一指标时序变量,以所述第一指标数据描述信息为基准信息按照所述第一适配指标同步权重对所述第一指标时序变量进行时序校正得到第四指标时序变量;针对所述第二指标时序变量,以所述第二指标数据描述信息为基准信息按照所述第二适配指标同步权重对所述第二指标时序变量进行时序校正得到第五指标时序变量;
分别将所述第一指标时序变量和所述第二指标时序变量、所述第一指标时序变量和所述第四指标时序变量、所述第二指标时序变量和所述第三指标时序变量、以及所述第二指标时序变量和所述第五指标时序变量进行时序差异比较,得到第一时序差异比较结果、第二时序差异比较结果、第三时序差异比较结果和第四时序差异比较结果;确定出所述第一时序差异比较结果和所述第二时序差异比较结果之间的第一相关性权重以及所述第三时序差异比较结果和所述第四时序差异比较结果之间的第二相关性权重;
判断所述第一相关性权重和所述第二相关性权重是否均落入预设权重区间内;若是,根据所述第一时序差异比较结果和所述第三时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量;若否,分别确定出所述第一相关性权重和所述第二相关性权重与所述预设权重区间的第一权重差值和第二权重差值;比较所述第一权重差值和所述第二权重差值的大小;在所述第一权重差值小于所述第二权重差值时,根据所述第一时序差异比较结果和所述第二时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量;在所述第一权重差值大于等于所述第二权重差值时,根据所述第三时序差异比较结果和所述第四时序差异比较结果确定出针对每个指标适配数据进行适配性检测的检测维度分布信息并按照每个指标适配数据对应的检测维度分布信息对所述第一指标时序变量、所述第二指标时序变量和所述第三指标时序变量进行时序一致性融合得到融合时序变量;
基于所述融合时序变量对每个指标适配数据进行适配性检测得到检测结果;统计所述检测结果中表征所述数据业务发起端与所述数据业务处理端为业务适配的目标检测结果的占比;在所述占比达到设定占比时判定所述业务适配信息满足所述设定条件;在所述占比没有达到所述设定占比时判定所述业务适配信息不满足所述设定条件。
B6.根据B5所述的方法,所述基于所述融合时序变量对每个指标适配数据进行适配性检测得到检测结果,包括:
基于所述融合时序变量中的变量特征分布确定每个指标适配数据的适配相关性系数以及各适配业务特征;若基于所述适配相关性系数确定出所述每个指标适配数据中包含有数据业务标签,根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值确定所述每个指标适配数据在系统业务标签下的各适配业务特征与所述每个指标适配数据在所述数据业务标签下的各适配业务特征之间的特征关联因子,并将所述每个指标适配数据在所述系统业务标签下的与在所述数据业务标签下的适配业务特征之间的特征关联因子位于目标数值区间内的适配业务特征调整到所述数据业务标签下;
在每个指标适配数据的系统业务标签下包含有多个存在传递标识的适配业务特征的情况下,根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值确定所述每个指标适配数据在所述系统业务标签下的各存在传递标识的适配业务特征之间的特征关联因子,并根据所述各存在传递标识的适配业务特征之间的特征关联因子对所述系统业务标签下的各存在传递标识的适配业务特征进行特征融合;根据所述每个指标适配数据在所述数据业务标签下的适配业务特征及其特征描述值为上述特征融合获得的目标业务特征设置检测标签,并按照所述检测标签的检测优先级将至少部分目标业务特征调整到所述数据业务标签下;
根据所述数据业务标签下的业务特征生成所述每个指标适配数据对应的检测特征分布,提取所述检测特征分布中的分布轨迹并根据所述分布轨迹得到所述检测结果。
B7.根据B5所述的方法,所述依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改,包括:
根据所述第一业务优先级、所述第二业务优先级、所述数据业务发起端的业务需求进程以及所述数据业务处理端的业务处理进程,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
B8.一种基于云计算业务通信网络的大数据处理系统,包括云计算平台以及与所述云计算平台通信连接的数据业务发起端以及数据业务处理端;其中,所述云计算平台用于:
获取数据业务发起端在所述云计算平台对应的数据资源池处于开放状态的情况下针对所述数据资源池向数据业务处理端所提交的当前业务发起请求;
在所述数据业务处理端响应所述当前业务发起请求对所述数据资源池中所存储的目标业务数据进行数据处理并生成对应的业务处理结果之后,从所述业务处理结果中提取所述目标业务数据的应用场景信息;
基于所述当前业务发起请求以及所述应用场景信息,确定所述数据业务发起端和所述数据业务处理端之间的业务适配信息;
判断所述业务适配信息是否满足设定条件,在所述业务适配信息不满足所述设定条件时,依据所述数据业务发起端的第一业务优先级以及所述数据业务处理端的第二业务优先级,对所述数据业务发起端和所述数据业务处理端的业务配对关系进行修改。
可以理解,关于上述实施方式A和实施方式B的具体实现过程可以参阅前述所记载的内容,在此不作赘述。