CN115481197B - 一种分布式数据处理方法、系统及云平台 - Google Patents

一种分布式数据处理方法、系统及云平台 Download PDF

Info

Publication number
CN115481197B
CN115481197B CN202211177872.6A CN202211177872A CN115481197B CN 115481197 B CN115481197 B CN 115481197B CN 202211177872 A CN202211177872 A CN 202211177872A CN 115481197 B CN115481197 B CN 115481197B
Authority
CN
China
Prior art keywords
data
grouping
analyzed
result
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211177872.6A
Other languages
English (en)
Other versions
CN115481197A (zh
Inventor
高维国
沈有林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guolian Video Information Technology Co ltd
Original Assignee
Beijing Guolian Video Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guolian Video Information Technology Co ltd filed Critical Beijing Guolian Video Information Technology Co ltd
Priority to CN202211177872.6A priority Critical patent/CN115481197B/zh
Publication of CN115481197A publication Critical patent/CN115481197A/zh
Application granted granted Critical
Publication of CN115481197B publication Critical patent/CN115481197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278Data partitioning, e.g. horizontal or vertical partitioning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及地图生成技术领域,具体而言,涉及一种分布式数据处理方法、系统及云平台。本申请提供的一种分布式数据处理方法、系统及云平台,可以仅对第一分团结果中,偏执度低于指定偏执度判定值的数据重要程度进行进一步的业务互动特征分团,而不再对第一分团结果中其他数据重要程度进行业务互动特征分团,即偏执度高于指定偏执度判定值的数据重要程度仅作一次分团,从而可以在业务互动数据各数据重要程度的偏执度均得以保证的同时,改善对全部数据重要程度均进行二次业务互动特征分团,对目标分团结果进行分析处理,得到业务数据分析结果,从而可以提高对业务互动数据处理的效率,尽可能的规避了数据处理异常的问题。

Description

一种分布式数据处理方法、系统及云平台
技术领域
本申请涉及地图生成技术领域,具体而言,涉及一种分布式数据处理方法、系统及云平台。
背景技术
分布式计算是计算机科学中一个研究方向,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给多个计算机进行处理,最后把这些计算结果综合起来得到最终的结果。分布式网络存储技术是将数据分散地存储于多台独立的机器设备上。
现目前,在数据处理的过程中,因为业务互动数据中可能存在异常数据或者噪声数据等,这样一来,在对业务互动数据进行处理时,由于存在干扰信息,所以不能快速地对业务互动数据进行处理。因此,亟需一种技术方案以改善上述技术问题。
发明内容
为改善相关技术中存在的技术问题,本申请提供了一种分布式数据处理方法、系统及云平台。
第一方面,提供一种分布式数据处理方法,应用于数据处理云平台,所述方法至少包括:对业务互动数据进行分团处理得到第一分团结果,其中,所述第一分团结果包括所述业务互动数据中各数据重要程度的偏执度;响应于所述第一分团结果中需要进行分析的第一数据重要程度的倾向百分比超过第一指定倾向百分比判定值,对各所述需要进行分析的第一数据重要程度进行分团处理,生成与所述业务互动数据对应的目标分团结果,其中,所述需要进行分析的第一数据重要程度的偏执度低于第一指定偏执度判定值;对所述目标分团结果进行分析处理,得到业务数据分析结果。
在一种独立实施的实施例中,还包括:响应于所述第一分团结果中所述需要进行分析的第一数据重要程度的倾向百分比不大于所述第一指定倾向百分比判定值,将所述第一分团结果确定为所述目标分团结果。
在一种独立实施的实施例中,所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成所述业务互动数据对应的目标分团结果,包括:对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;响应于所述第二分团结果中需要进行分析的第二数据重要程度的倾向百分比不大于第二指定倾向百分比判定值,将所述第二分团结果确定为所述目标分团结果,所述需要进行分析的第二数据重要程度的偏执度低于第二指定偏执度判定值。
在一种独立实施的实施例中,所述方法还包括:响应于第X分团结果中第Y需要进行分析的数据重要程度的倾向百分比超过第K指定倾向百分比判定值,对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,所述第Y需要进行分析的数据重要程度的偏执度低于第Z指定偏执度判定值;响应于所述第X+1分团结果中第Y+1需要进行分析的数据重要程度的倾向百分比不大于第K+1指定倾向百分比判定值,将所述第X+1分团结果确定为所述目标分团结果,所述第Y+1需要进行分析的数据重要程度的偏执度低于第Z+1指定偏执度判定值;其中,所述X为不小于1的整数。
在一种独立实施的实施例中,所述方法还包括:响应于所述X等于指定向量,将所述第X分团结果确定为所述目标分团结果且不对所述第X分团结果进行分团处理。
在一种独立实施的实施例中,所述对业务互动数据进行分团处理得到第一分团结果,包括:对所述业务互动数据进行特征提取,得到所述业务互动数据的第一分团结果。
在一种独立实施的实施例中,所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:对各所述需要进行分析的第一数据重要程度进行特征提取,生成所述第二分团结果;所述对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,包括:对各所述第Y需要进行分析的数据重要程度进行特征提取,生成所述第X+1分团结果。
在一种独立实施的实施例中,所述对业务互动数据进行分团处理得到第一分团结果,包括:利用若干个人工智能线程的第一分团处理单元对所述业务互动数据进行分团处理,得到所述第一分团结果。
在一种独立实施的实施例中,所述对业务互动数据进行分团处理得到第一分团结果,包括:利用若干个人工智能线程的第一分团处理单元对所述业务互动数据进行分团处理,得到所述第一分团结果。
在一种独立实施的实施例中,所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:利用所述若干个人工智能线程的任意一个第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;所述对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,包括:利用所述若干个人工智能线程的任意一个第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果;其中,所述若干个人工智能线程包括一个或多个第二分团处理单元,且任意一个所述第二分团处理单元与所述第一分团处理单元关联。
在一种独立实施的实施例中,所述若干个人工智能线程包括多个串联的第二分团处理单元;所述利用所述若干个人工智能线程的任意一个第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:将所述需要进行分析的第一数据重要程度输入第二个的所述第二分团处理单元,利用所述第二个的所述第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;所述利用所述若干个人工智能线程的任意一个第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果,包括:将所述第Y需要进行分析的数据重要程度输入第M+1个的所述第二分团处理单元,利用所述第M+1个的所述第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果。
第二方面,提供一种分布式数据处理系统,包括:数据处理云平台和数据采集端,所述数据处理云平台和所述数据采集端通信连接;
其中,所述数据处理云平台,用于:对业务互动数据进行分团处理得到第一分团结果,其中,所述第一分团结果包括所述业务互动数据中各数据重要程度的偏执度;响应于所述第一分团结果中需要进行分析的第一数据重要程度的倾向百分比超过第一指定倾向百分比判定值,对各所述需要进行分析的第一数据重要程度进行分团处理,生成与所述业务互动数据对应的目标分团结果,其中,所述需要进行分析的第一数据重要程度的偏执度低于第一指定偏执度判定值;对所述目标分团结果进行分析处理,得到业务数据分析结果。
第三方面,提供一种数据处理云平台,包括:存储器,用于存储计算机程序;与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现上述的方法。
本申请实施例所提供的一种分布式数据处理方法、系统及云平台,在对实时智能网关训练数据进行处理时,可以仅对第一分团结果中,偏执度低于指定偏执度判定值的数据重要程度进行进一步的业务互动特征分团,而不再对第一分团结果中其他数据重要程度进行业务互动特征分团,即偏执度高于指定偏执度判定值的数据重要程度仅作一次分团,从而可以在业务互动数据各数据重要程度的偏执度均得以保证的同时,改善对全部数据重要程度均进行二次业务互动特征分团,对目标分团结果进行分析处理,得到业务数据分析结果,从而可以提高对业务互动数据处理的效率,尽可能的规避了数据处理异常的问题。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种分布式数据处理方法的流程图。
图2为本申请实施例所提供的一种分布式数据处理装置的框图。
图3为本申请实施例所提供的一种数据处理云平台的硬件结构示意图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
请参阅图1,示出了一种分布式数据处理方法,该方法可以包括以下步骤步骤210A和步骤220A所描述的技术方案。
步骤210A,对业务互动数据进行分团处理得到第一分团结果,其中,第一分团结果包括业务互动数据中各数据重要程度的偏执度。
在这里,业务互动数据的重要属性内容可以是任何可以表征该业务互动数据中所涵盖的用户的交互种类特征。通过对业务互动数据进行分团处理,可以划分出该业务互动数据中,具有不同重要属性内容的数据集。
第一分团结果中,业务互动数据中各数据重要程度的偏执度可以理解为能够表征第一分团结果中各数据重要程度被正确划分到某一重要属性内容的置信度。譬如,第一分团结果中,与某一数据重要程度对应的偏执度越高,可以表明该数据重要程度被正确划分到某一重要属性内容的置信度越高。反之,第一分团结果中,与某一数据重要程度对应的偏执度较低,则可以表明该数据重要程度被正确划分到某一重要属性内容的置信度较低。
步骤220A,响应于第一分团结果中需要进行分析的第一数据重要程度的倾向百分比超过第一指定倾向百分比判定值,对各需要进行分析的第一数据重要程度进行分团处理,生成与业务互动数据对应的目标分团结果,其中,需要进行分析的第一数据重要程度的偏执度低于第一指定偏执度判定值;对所述目标分团结果进行分析处理,得到业务数据分析结果。
在这里,需要进行分析的第一数据重要程度可以是经步骤210A得到的第一分团结果中,偏执度低于第一指定偏执度判定值的数据重要程度。
优选地,采用上述方式对第一分团结果中,全部的需要进行分析的第一数据重要程度进行分团处理,可生成目标分团结果。
通过对需要进行分析的第一数据重要程度二次进行分团处理,可以矫正步骤210A的第一分团结果中与需要进行分析的第一数据重要程度相对应的偏执度,也即,对第一分团结果中偏执度较低(低于第一偏执度判定值)的需要进行分析的第一数据重要程度进行二次分团处理,而改善对第一分团结果中其它的数据重要程度进行二次的分团处理。
依照第一分团结果中的偏执度进行区分,若第一分团结果中需要进行分析的第一数据重要程度的倾向百分比超过第一指定倾向百分比判定值,则进一步将第一分团结果中偏执度较低(譬如,低于指定偏执度判定值)的数据重要程度(需要进行分析的第一数据重要程度)进行二次的分团处理,而不再对第一分团结果中偏执度较高(譬如,不低于指定偏执度判定值)的数据重要程度进行二次的分团处理。从而可以在业务互动数据各数据重要程度的偏执度均得以保证的同时,改善对全部数据重要程度均进行二次业务互动特征分团,对目标分团结果进行分析处理,得到业务数据分析结果,从而可以提高对业务互动数据处理的效率,尽可能的规避了数据处理异常的问题。
进一步包括步骤230B,响应于第一分团结果中需要进行分析的第一数据重要程度的倾向百分比不大于第一指定倾向百分比判定值,将第一分团结果确定为目标分团结果。
当第一分团结果中需要进行分析的第一数据重要程度的倾向百分比不大于第一指定倾向百分比判定值时,可以认为第一分团结果满足了预期的分团处理要求。
本实施例的方法还可包括如下步骤。
步骤310,对业务互动数据进行分团处理得到第一分团结果,其中,第一分团结果包括业务互动数据中各数据重要程度的偏执度。
步骤320,响应于第一分团结果中需要进行分析的第一数据重要程度的倾向百分比超过第一指定倾向百分比判定值,对各需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果。
步骤330,响应于第二分团结果中需要进行分析的第二数据重要程度的倾向百分比不大于第二指定倾向百分比判定值,将第二分团结果确定为目标分团结果。需要进行分析的第二数据重要程度的偏执度低于第二指定偏执度判定值。
本实施例中,仅在第二分团结果中需要进行分析的第二数据重要程度的倾向百分比不大于第二指定倾向百分比判定值时,将第二分团结果确定为目标分团结果。而当第二分团结果中需要进行分析的第二数据重要程度的倾向百分比超过第二指定倾向百分比判定值时,譬如可以通过对需要进行分析的第二数据重要程度进行进一步的分团处理从而进一步提升这部分数据重要程度的偏执度,直到满足第二分团结果中需要进行分析的第二数据重要程度的倾向百分比不大于第二指定倾向百分比判定值这一条件时,再将第二分团结果确定为目标分团结果。这样一来,可以进一步提升业务互动数据整体和各个局部的分团处理正确率。
在一种可替换的实施例中,本实施例的方法还可以进一步包括以下步骤。
步骤340,响应于第X分团结果中第Y需要进行分析的数据重要程度的倾向百分比超过第K指定倾向百分比判定值,对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,第Y需要进行分析的数据重要程度的偏执度低于第Z指定偏执度判定值。
步骤350,响应于第X+1分团结果中第Y+1需要进行分析的数据重要程度的倾向百分比不大于第K+1指定倾向百分比判定值,将第X+1分团结果确定为目标分团结果,第Y+1需要进行分析的数据重要程度的偏执度低于第Z+1指定偏执度判定值。其中,X为不小于1的整数。
上述步骤340和步骤350可以循环迭代地执行。
示例性的,在步骤340a中,响应于第二分团结果中需要进行分析的第二数据重要程度的倾向百分比超过第二指定倾向百分比判定值,对各需要进行分析的第二数据重要程度进行分团处理,生成第三分团结果。在步骤350a中,响应于第三分团结果中需要进行分析的第三数据重要程度的倾向百分比不大于第三指定倾向百分比判定值,将第三分团结果确定为目标分团结果;在步骤340b中,响应于第三分团结果中需要进行分析的第三数据重要程度的倾向百分比超过第三指定倾向百分比判定值,对各需要进行分析的第三数据重要程度进行分团处理,生成第四分团结果。随着数值X的递增,在步骤340X-1中,响应于第X分团结果中第Y需要进行分析的数据重要程度的倾向百分比超过第K指定倾向百分比判定值,对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果;在步骤350X-2中,响应于第X分团结果中第Y需要进行分析的数据重要程度的倾向百分比不大于第K指定倾向百分比判定值,将第X分团结果确定为目标分团结果;在步骤340X中,响应于第X+1分团结果中第Y需要进行分析的数据重要程度的倾向百分比超过第K+1指定倾向百分比判定值,对各第Y+1需要进行分析的数据重要程度进行分团处理,生成第X+2分团结果;而在步骤350X-1中,响应于第X+1分团结果中第Y+1需要进行分析的数据重要程度的倾向百分比不大于第K+1指定倾向百分比判定值,将第X+1分团结果确定为目标分团结果。
从如上描述可以看出,若第a次分团结果中,第a需要进行分析的数据重要程度的倾向百分比不大于第a指定倾向百分比判定值,则将第a分团结果确定为目标分团结果,相应地,也不再执行后续的分团步骤。相反,若第a次分团结果中,第a需要进行分析的数据重要程度的倾向百分比超过第a指定倾向百分比判定值,则继续执行后续的分团步骤,也即,将该第a次分团结果中的第a需要进行分析的数据重要程度继续进行分团处理,生成第a+1分团结果。
此外,在一种可替换的实施例中,本实施例的方法还可以进一步包括步骤360:响应于X等于指定向量,将第X分团结果确定为目标分团结果且不对第X分团结果进行分团处理。
为本发明的用于分团重要属性内容的方法。在本应用场景中,假设各指定偏执度判定值(包括第一指定偏执度判定值、第二指定偏执度判定值、第Z指定偏执度判定值、第Z+1指定偏执度判定值等)均等于z1,各指定倾向百分比判定值(包括第一预倾向百分比判定值、第二指定倾向百分比判定值、第K指定倾向百分比判定值、第K+1指定倾向百分比判定值等)均等于z2。
在步骤410中,对业务互动数据A进行分团处理,生成第一分团结果。若第一分团结果中,偏执度低于z1的需要进行分析的第一数据重要程度的倾向百分比超过z2,则在步骤420中,对需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果。接着,若第二分团结果中,偏执度低于z1的需要进行分析的第二数据重要程度的倾向百分比超过z2,则在步骤430中,继续对需要进行分析的第二数据重要程度进行分团处理,生成第三分团结果。接着,若第三分团结果中,偏执度低于z1的需要进行分析的第三数据重要程度的倾向百分比超过z2,则在步骤440中,继续对需要进行分析的第三数据重要程度进行分团处理,生成第四分团结果。若第四分团结果中,偏执度低于z1的需要进行分析的第四数据重要程度的倾向百分比不超过z2,则在步骤450中,将第四分团结果确定为目标分团结果。至此,对业务互动数据A进行分团处理的过程执行完毕。
另一方面,若第四分团结果中,偏执度低于z1的需要进行分析的第四数据重要程度的倾向百分比超过z2,那么,需要对需要进行分析的第四数据重要程度进行进一步的分团处理从而生成第五分团结果。
可以理解的是,本发明各实施例中,各指定偏执度判定值(包括第一指定偏执度判定值、第二指定偏执度判定值、第Z指定偏执度判定值、第Z+1指定偏执度判定值等)可以根据实际应用场景的需求来进行配置,各指定偏执度判定值可以相同或者不尽相同。举例而言,各指定倾向百分比判定值(包括第一预倾向百分比判定值、第二指定倾向百分比判定值、第K指定倾向百分比判定值、第K+1指定倾向百分比判定值等)也可以根据实际应用场景的需求来进行配置,各指定置倾向百分比判定值同样可以相同或者不尽相同。本发明各实施例中,对业务互动数据进行分团处理得到第一分团结果的步骤可以通过如下的方式来实现:对业务互动数据进行特征提取,得到业务互动数据的第一分团结果。
通过对业务互动数据执行特征提取来得到业务互动数据的第一分团结果可以理解为,采用某一个或某几个不尽相同的卷积核对业务互动数据所涵盖的全部数据重要程度均执行一次或者多次的特征提取。
示例性的,本发明各实施例中,对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果的步骤可以通过如下的方式来实现:对各需要进行分析的第一数据重要程度进行特征提取,生成第二分团结果。
对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果的步骤可以通过如下的方式来实现:
对各第Y需要进行分析的数据重要程度进行特征提取,生成第X+1分团结果。
对各需要进行分析的第一数据重要程度/第Y需要进行分析的数据重要程度进行特征提取可以理解为,采用某一个或某几个不尽相同的卷积核对需要进行分析的第一数据重要程度/第Y需要进行分析的数据重要程度均执行一次或者多次的特征提取。这样一来,仅对需要进行分析的第一数据重要程度/第Y需要进行分析的数据重要程度进行特征提取,与对第一分团结果/第X分团结果中的全部数据重要程度进行特征提取相比,提升分团处理效率和实时性。
在一些应用场景中,本发明各实施例的分布式数据处理方法可以采用若干个人工智能线程来实现。
这样一来,本发明各实施例中,对各需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果的步骤可以包括:利用若干个人工智能线程的任意一个第二分团处理单元对需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果。而实施例中步骤340中的对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果可以包括:利用若干个人工智能线程的任意一个第二分团处理单元对第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果在一种可替换的实施例中,若干个人工智能线程的各个第二分团处理单元。
在一种可能实施的实施例中,利用所述若干个人工智能线程的任意一个第二分团处理单元对需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果可以进一步包括:将需要进行分析的第一数据重要程度输入第二个的第二分团处理单元,利用第二个的第二分团处理单元对需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果。
举例而言,利用若干个人工智能线程的任意一个第二分团处理单元对第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果可以进一步包括:将第Y需要进行分析的数据重要程度输入第M+1个的所述第二分团处理单元,利用第M+1个的所述第二分团处理单元对第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果。
在上述基础上,请结合参阅图2,提供了一种分布式数据处理装置200,应用于分布式数据处理系统,所述装置包括:
结果分团模块210,用于对业务互动数据进行分团处理得到第一分团结果,其中,所述第一分团结果包括所述业务互动数据中各数据重要程度的偏执度;
结果生成模块220,用于响应于所述第一分团结果中需要进行分析的第一数据重要程度的倾向百分比超过第一指定倾向百分比判定值,对各所述需要进行分析的第一数据重要程度进行分团处理,生成与所述业务互动数据对应的目标分团结果,其中,所述需要进行分析的第一数据重要程度的偏执度低于第一指定偏执度判定值;对所述目标分团结果进行分析处理,得到业务数据分析结果。
在上述基础上,请结合参阅图3,示出了一种分布式数据处理系统300,包括互相之间通信的处理器310和存储器320,所述处理器310用于从所述存储器320中读取计算机程序并执行,以实现上述的方法。
在上述基础上,还提供了一种计算机可读存储介质,其上存储的计算机程序在运行时实现上述的方法。
综上,基于上述方案,可以仅对第一分团结果中,偏执度低于指定偏执度判定值的数据重要程度进行进一步的业务互动特征分团,而不再对第一分团结果中其他数据重要程度进行业务互动特征分团,即偏执度高于指定偏执度判定值的数据重要程度仅作一次分团,从而可以在业务互动数据各数据重要程度的偏执度均得以保证的同时,改善对全部数据重要程度均进行二次业务互动特征分团,对目标分团结果进行分析处理,得到业务数据分析结果,从而可以提高对业务互动数据处理的效率,尽可能的规避了数据处理异常的问题。
应当理解,上述所示的系统及其模块可以利用各种方式来实现。例如,在一些实施例中,系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有适应性的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外,对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是,如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方,以本申请的描述、定义和/或术语的使用为准。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不仅限于本申请明确介绍和描述的实施例。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (5)

1.一种分布式数据处理方法,其特征在于,应用于数据处理云平台,所述方法至少包括:
对业务互动数据进行分团处理得到第一分团结果,其中,所述第一分团结果包括所述业务互动数据中各数据重要程度的偏执度;
响应于所述第一分团结果中需要进行分析的第一数据重要程度的倾向百分比超过第一指定倾向百分比判定值,对各所述需要进行分析的第一数据重要程度进行分团处理,生成与所述业务互动数据对应的目标分团结果,其中,所述需要进行分析的第一数据重要程度的偏执度低于第一指定偏执度判定值;对所述目标分团结果进行分析处理,得到业务数据分析结果;
所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成所述业务互动数据对应的目标分团结果,包括:对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;响应于所述第二分团结果中需要进行分析的第二数据重要程度的倾向百分比不大于第二指定倾向百分比判定值,将所述第二分团结果确定为所述目标分团结果,所述需要进行分析的第二数据重要程度的偏执度低于第二指定偏执度判定值;所述方法还包括:
响应于第X分团结果中第Y需要进行分析的数据重要程度的倾向百分比超过第K指定倾向百分比判定值,对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,所述第Y需要进行分析的数据重要程度的偏执度低于第Z指定偏执度判定值;
响应于所述第X+1分团结果中第Y+1需要进行分析的数据重要程度的倾向百分比不大于第K+1指定倾向百分比判定值,将所述第X+1分团结果确定为所述目标分团结果,所述第Y+1需要进行分析的数据重要程度的偏执度低于第Z+1指定偏执度判定值;其中,所述X为不小于1的整数;
所述对业务互动数据进行分团处理得到第一分团结果,包括:对所述业务互动数据进行特征提取,得到所述业务互动数据的第一分团结果;
其中,所述对业务互动数据进行分团处理得到第一分团结果,包括:利用若干个人工智能线程的第一分团处理单元对所述业务互动数据进行分团处理,得到所述第一分团结果;
所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:对各所述需要进行分析的第一数据重要程度进行特征提取,生成所述第二分团结果;所述对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,包括:对各所述第Y需要进行分析的数据重要程度进行特征提取,生成所述第X+1分团结果;
所述对业务互动数据进行分团处理得到第一分团结果,包括:利用若干个人工智能线程的第一分团处理单元对所述业务互动数据进行分团处理,得到所述第一分团结果;
其中,所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:利用所述若干个人工智能线程的任意一个第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;
所述对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,包括:利用所述若干个人工智能线程的任意一个第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果;其中,所述若干个人工智能线程包括一个或多个第二分团处理单元,且任意一个所述第二分团处理单元与所述第一分团处理单元关联;
其中,所述若干个人工智能线程包括多个串联的第二分团处理单元;所述利用所述若干个人工智能线程的任意一个第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:将所述需要进行分析的第一数据重要程度输入第二个的所述第二分团处理单元,利用所述第二个的所述第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;
所述利用所述若干个人工智能线程的任意一个第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果,包括:将所述第Y需要进行分析的数据重要程度输入第M+1个的所述第二分团处理单元,利用所述第M+1个的所述第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果。
2.根据权利要求1所述的方法,其特征在于,还包括:响应于所述第一分团结果中所述需要进行分析的第一数据重要程度的倾向百分比不大于所述第一指定倾向百分比判定值,将所述第一分团结果确定为所述目标分团结果。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:响应于所述X等于指定向量,将所述第X分团结果确定为所述目标分团结果且不对所述第X分团结果进行分团处理。
4.一种分布式数据处理系统,其特征在于,包括:数据处理云平台和数据采集端,所述数据处理云平台和所述数据采集端通信连接;
其中,所述数据处理云平台,用于:对业务互动数据进行分团处理得到第一分团结果,其中,所述第一分团结果包括所述业务互动数据中各数据重要程度的偏执度;响应于所述第一分团结果中需要进行分析的第一数据重要程度的倾向百分比超过第一指定倾向百分比判定值,对各所述需要进行分析的第一数据重要程度进行分团处理,生成与所述业务互动数据对应的目标分团结果,其中,所述需要进行分析的第一数据重要程度的偏执度低于第一指定偏执度判定值;对所述目标分团结果进行分析处理,得到业务数据分析结果;
所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成所述业务互动数据对应的目标分团结果,包括:对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;响应于所述第二分团结果中需要进行分析的第二数据重要程度的倾向百分比不大于第二指定倾向百分比判定值,将所述第二分团结果确定为所述目标分团结果,所述需要进行分析的第二数据重要程度的偏执度低于第二指定偏执度判定值;
所述数据处理云平台,还用于:
响应于第X分团结果中第Y需要进行分析的数据重要程度的倾向百分比超过第K指定倾向百分比判定值,对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,所述第Y需要进行分析的数据重要程度的偏执度低于第Z指定偏执度判定值;
响应于所述第X+1分团结果中第Y+1需要进行分析的数据重要程度的倾向百分比不大于第K+1指定倾向百分比判定值,将所述第X+1分团结果确定为所述目标分团结果,所述第Y+1需要进行分析的数据重要程度的偏执度低于第Z+1指定偏执度判定值;其中,所述X为不小于1的整数;
所述对业务互动数据进行分团处理得到第一分团结果,包括:对所述业务互动数据进行特征提取,得到所述业务互动数据的第一分团结果;
其中,所述对业务互动数据进行分团处理得到第一分团结果,包括:利用若干个人工智能线程的第一分团处理单元对所述业务互动数据进行分团处理,得到所述第一分团结果;
所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:对各所述需要进行分析的第一数据重要程度进行特征提取,生成所述第二分团结果;所述对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,包括:对各所述第Y需要进行分析的数据重要程度进行特征提取,生成所述第X+1分团结果;
所述对业务互动数据进行分团处理得到第一分团结果,包括:利用若干个人工智能线程的第一分团处理单元对所述业务互动数据进行分团处理,得到所述第一分团结果;
其中,所述对各所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:利用所述若干个人工智能线程的任意一个第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;
所述对各第Y需要进行分析的数据重要程度进行分团处理,生成第X+1分团结果,包括:利用所述若干个人工智能线程的任意一个第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果;其中,所述若干个人工智能线程包括一个或多个第二分团处理单元,且任意一个所述第二分团处理单元与所述第一分团处理单元关联;
其中,所述若干个人工智能线程包括多个串联的第二分团处理单元;所述利用所述若干个人工智能线程的任意一个第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果,包括:将所述需要进行分析的第一数据重要程度输入第二个的所述第二分团处理单元,利用所述第二个的所述第二分团处理单元对所述需要进行分析的第一数据重要程度进行分团处理,生成第二分团结果;
所述利用所述若干个人工智能线程的任意一个第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果,包括:将所述第Y需要进行分析的数据重要程度输入第M+1个的所述第二分团处理单元,利用所述第M+1个的所述第二分团处理单元对所述第Y需要进行分析的数据重要程度进行分团处理,生成所述第X+1分团结果。
5.一种数据处理云平台,其特征在于,包括:
存储器,用于存储计算机程序;
与所述存储器连接的处理器,用于执行该存储器存储的计算机程序,以实现权利要求1-3任意一项所述的方法。
CN202211177872.6A 2022-09-26 2022-09-26 一种分布式数据处理方法、系统及云平台 Active CN115481197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211177872.6A CN115481197B (zh) 2022-09-26 2022-09-26 一种分布式数据处理方法、系统及云平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211177872.6A CN115481197B (zh) 2022-09-26 2022-09-26 一种分布式数据处理方法、系统及云平台

Publications (2)

Publication Number Publication Date
CN115481197A CN115481197A (zh) 2022-12-16
CN115481197B true CN115481197B (zh) 2023-10-31

Family

ID=84393426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211177872.6A Active CN115481197B (zh) 2022-09-26 2022-09-26 一种分布式数据处理方法、系统及云平台

Country Status (1)

Country Link
CN (1) CN115481197B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858418B (zh) * 2023-02-09 2023-05-05 成都有为财商教育科技有限公司 一种数据缓存的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581258A (zh) * 2020-05-11 2020-08-25 腾讯科技(深圳)有限公司 一种安全数据分析方法、装置、系统、设备及存储介质
CN112396108A (zh) * 2020-11-19 2021-02-23 腾讯科技(深圳)有限公司 业务数据评估方法、装置、设备及计算机可读存储介质
CN113052566A (zh) * 2020-10-17 2021-06-29 严怀华 结合智慧政企云服务的大数据分析方法及大数据云平台
WO2021185113A1 (zh) * 2020-03-17 2021-09-23 华为技术有限公司 基于多分析任务的数据分析方法及电子设备
CN114911992A (zh) * 2022-05-17 2022-08-16 常州品太智能科技有限公司 一种基于智能锁的智能交互数据处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021185113A1 (zh) * 2020-03-17 2021-09-23 华为技术有限公司 基于多分析任务的数据分析方法及电子设备
CN111581258A (zh) * 2020-05-11 2020-08-25 腾讯科技(深圳)有限公司 一种安全数据分析方法、装置、系统、设备及存储介质
CN113052566A (zh) * 2020-10-17 2021-06-29 严怀华 结合智慧政企云服务的大数据分析方法及大数据云平台
CN112396108A (zh) * 2020-11-19 2021-02-23 腾讯科技(深圳)有限公司 业务数据评估方法、装置、设备及计算机可读存储介质
CN114911992A (zh) * 2022-05-17 2022-08-16 常州品太智能科技有限公司 一种基于智能锁的智能交互数据处理方法

Also Published As

Publication number Publication date
CN115481197A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
CN115481197B (zh) 一种分布式数据处理方法、系统及云平台
CN116737975A (zh) 应用于图像分析的公共卫生数据查询方法及系统
CN113903473A (zh) 基于人工智能的医疗信息智能交互的方法及系统
CN115373688B (zh) 一种软件开发线程的优化方法、系统及云平台
CN115473822B (zh) 一种5g智能网关数据传输方法、系统及云平台
CN116112746B (zh) 在线教育直播视频压缩方法及系统
CN115359203B (zh) 一种三维高精度地图生成方法、系统及云平台
CN108733691A (zh) 数据预处理方法和装置
CN113626538B (zh) 基于大数据的医疗信息智能分类的方法及系统
CN117037982A (zh) 一种医疗大数据信息智能采集方法及系统
CN113947709A (zh) 基于人工智能的图像处理方法及系统
CN115514570A (zh) 一种网络诊断处理方法、系统及云平台
CN115079882B (zh) 基于虚拟现实的人机交互处理方法及系统
CN113627490B (zh) 基于多核异构处理器的运维多模态决策方法及系统
CN116912351B (zh) 基于人工智能的颅内结构成像的修正方法及系统
CN115759698B (zh) 基于数字工厂的瓦楞原纸生产进度数据监控方法及系统
CN115631829B (zh) 一种基于穴位按摩设备的网络连接多模态检测方法及系统
CN114611478B (zh) 一种基于人工智能的信息处理方法、系统及云平台
CN115409510B (zh) 一种在线交易安全系统及方法
CN115563153B (zh) 基于人工智能的任务批量处理方法、系统及服务器
CN116048029A (zh) 基于数字工厂与人工智能的数据监控方法及系统
CN115345194A (zh) 基于混合树形算法的信号处理方法及系统
CN113590952B (zh) 一种数据中心构建的方法及系统
CN113643818B (zh) 基于区域数据的医疗数据集成数据的方法及系统
CN114691830B (zh) 一种基于大数据的网络安全分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231011

Address after: 9th Floor, Building 3, Zone 6, No. 188 South Fourth Ring West Road, Fengtai District, Beijing, 100070

Applicant after: Beijing Guolian video information technology Co.,Ltd.

Address before: 145 Daguang Road, Qinhuai District, Nanjing, Jiangsu Province, 210000

Applicant before: Gao Weiguo

GR01 Patent grant
GR01 Patent grant