CN116258470A - 一种数据处理方法、系统、存储介质及电子设备 - Google Patents
一种数据处理方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116258470A CN116258470A CN202310541368.8A CN202310541368A CN116258470A CN 116258470 A CN116258470 A CN 116258470A CN 202310541368 A CN202310541368 A CN 202310541368A CN 116258470 A CN116258470 A CN 116258470A
- Authority
- CN
- China
- Prior art keywords
- collaboration
- behavior data
- efficiency
- data
- collaborative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/101—Collaborative creation, e.g. joint development of products or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Algebra (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种数据处理方法、系统、存储介质及电子设备,获取各个协作类型的协作行为数据,协作行为数据表征各个用户节点之间发生协作关系的行为数据,通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据距离权重和用户节点数,确定协作效率,距离权重为代表团队生产力的协作权重,协作效率表征在同一协作网络下存在协作关系的用户节点之间的通信效率。
Description
技术领域
本申请涉及数据处理技术领域,更具体地说,涉及一种数据处理方法、系统、存储介质及电子设备。
背景技术
随着云计算和人工智能技术的发展,越来越多的协作工具得到了广泛的应用,例如在线多人协同设计工具MasterGo、figma等,可以支持多人同时在线协作完成产品的设计,提高了团队间的协作效率。
企业越来越注重协作与沟通,通过协作工具可以实现多人协同完成产品的设计、开发、测试、发布等环节。但是,在跨部门的企业中,由于不同部门之间的协作可能存在效率低下、信息不对称等问题,这些问题会导致项目延误、质量不佳等不良后果的出现。
因此,如何提高企业内不同部门之间的协作效率,避免出现由于协作效率低所导致项目延误、质量不佳等不良后果,是本申请亟需解决的问题。
发明内容
有鉴于此,本申请公开了一种数据处理方法、系统、存储介质及电子设备,旨在通过协作效率模型对不同的协作类型的协作行为数据所对应的权重中拟合出最能代表团队生产力的协作权重,并根据各个用户节点之间的距离和协作权重能够准确计算出协作效率,通过该协作效率为企业内部的不同部门之间的协作提供准确、高效的协作效率评估,避免出现由于协作效率低所导致项目延误、质量不佳等不良后果。
为了实现上述目的,其公开的技术方案如下:
本申请第一方面公开了一种数据处理方法,所述方法包括:
获取各个协作类型的协作行为数据;所述协作行为数据表征各个用户节点之间发生协作关系的行为数据;
通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率;所述距离权重为代表团队生产力的协作权重;所述协作效率表征在同一协作网络下存在协作关系的用户节点之间的通信效率。
优选的,通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率,包括:
通过协作效率模型,从各个协作类型的协作行为数据中获取发生协作关系之间的各个用户节点所对应的权重;
通过协作效率模型计算发生协作关系的各个用户节点之间的距离,并通过所述权重对所述各个用户节点之间的距离进行加权求和,得到距离权重;
通过协作效率模型获取同一协作网络下的用户节点数;
通过协作效率模型对所述距离权重和所述用户节点数进行计算,得到协作效率。
优选的,在获取各个协作类型的协作行为数据之后,在通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率之前,还包括:
对各个协作类型的协作行为数据进行数据清洗处理和归一化处理。
优选的,对各个协作类型的协作行为数据进行归一化处理的过程,包括:
对各个协作类型的协作行为数据进行数据分布分析,得到分析结果;所述数据分布分析用于分析各个协作类型的协作行为数据之间的分布参数;所述分布参数至少包括平均值、标准差、偏度和峰度;
当分析结果为分布均匀的协作行为数据时,对分布均匀的协作行为数据进行最小-最大归一化处理;
当分析结果为正态分布的协作行为数据时,对正态分布的协作行为数据进行零-均值规范化处理;
当分析结果为非分布均匀且非正态分布的协作行为数据时,对非分布均匀且非正态分布的协作行为数据进行小数定标标准化处理。
优选的,还包括:
通过预设展示方式,展示所述协作效率对应的协作效率图;所述协作效率图包括多个节点和多条边;所述多个节点表示团队中的各个用户;所述多条边表示各个用户之间的协作关系;所述协作效率图用于体现团队内各个用户之间的协作程度和协作效率。
优选的,在获取各个协作类型的协作行为数据之后,在通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率之前,还包括:
对各个协作类型的协作行为数据进行脱敏处理和权限管理;所述权限管理为对协作行为数据中拥有权限的用户增加对应的权限控制。
优选的,协作行为数据的协作类型至少包括共同访问行为、修改设计稿行为和评论设计稿行为。
本申请第二方面公开了一种数据处理系统,所述系统包括:
获取单元,用于获取各个协作类型的协作行为数据;所述协作行为数据表征各个用户节点之间发生协作关系的行为数据;
确定单元,用于通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率;所述距离权重为代表团队生产力的协作权重;所述协作效率表征在同一协作网络下存在协作关系的用户节点之间的通信效率。
本申请第三方面公开了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如第一方面任意一项所述的数据处理方法。
本申请第四方面公开了一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如第一方面任意一项所述的数据处理方法。
经由上述技术方案可知,本申请公开了一种数据处理方法、系统、存储介质及电子设备,获取各个协作类型的协作行为数据,协作行为数据表征各个用户节点之间发生协作关系的行为数据,通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据距离权重和用户节点数,确定协作效率,距离权重为代表团队生产力的协作权重,协作效率表征在同一协作网络下存在协作关系的用户节点之间的通信效率。通过上述方案,无需依赖个人经验和主观判断进行协作效率的评估,只需通过通过协作效率模型根据不同的维度计算出企业内部的协作效率,即,通过协作效率模型对不同的协作类型的协作行为数据所对应的权重中拟合出最能代表团队生产力的协作权重,并根据各个用户节点之间的距离和协作权重能够准确计算出协作效率,通过该协作效率为企业内部的不同部门之间的协作提供准确、高效的协作效率评估,避免出现由于协作效率低所导致项目延误、质量不佳等不良后果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种数据处理方法的流程示意图;
图2为本申请实施例公开的协作网络示意图;
图3为本申请实施例公开的协作关系图;
图4为本申请实施例公开的数据处理的示意图;
图5为本申请实施例公开的一种数据处理系统的结构示意图;
图6为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,企业越来越注重协作与沟通,通过协作工具可以实现多人协同完成产品的设计、开发、测试、发布等环节。但是,在跨部门的企业中,由于不同部门之间的协作可能存在效率低下、信息不对称等问题,这些问题会导致项目延误、质量不佳等不良后果的出现。因此,如何提高企业内不同部门之间的协作效率,避免出现由于协作效率低所导致项目延误、质量不佳等不良后果,是本申请亟需解决的问题。
为了解决上述问题,本申请实施例公开了一种数据处理方法、系统、存储介质及电子设备,无需依赖个人经验和主观判断进行协作效率的评估,只需通过通过协作效率模型根据不同的维度计算出企业内部的协作效率,即,通过协作效率模型对不同的协作类型的协作行为数据所对应的权重中拟合出最能代表团队生产力的协作权重,并根据各个用户节点之间的距离和协作权重能够准确计算出协作效率,通过该协作效率为企业内部的不同部门之间的协作提供准确、高效的协作效率评估,避免出现由于协作效率低所导致项目延误、质量不佳等不良后果。具体实现方式通过下述实施例进行说明。
参考图1所示,为本申请实施例公开的一种数据处理方法的流程示意图,该数据处理方法主要包括如下步骤:
S101:获取各个协作类型的协作行为数据;协作行为数据表征各个用户节点之间发生协作关系的行为数据。
为了实现协作效率的评估,本申请需要收集各个协作类型的企业内部的协作行为数据。
在本申请中,定义了不同的协作类型和行为,具体协作行为数据的协作类型包括互相评论、共同创作、共同访问一个设计稿、对设计稿进行标注、共同访问行为、修改设计稿行为、评论设计稿行为、邀请成员加入团队/文件、创建及引用可复用组件等。同时结合团队内人数,角色分布,编辑时长,产出文件数/图层数等。
各个用户节点之间进行互相评论、共同创作、共同访问一个设计稿、对设计稿进行标注、共同访问行为、修改设计稿行为、评论设计稿行为、邀请成员加入团队/文件、创建及引用可复用组件等,即为各个用户节点之间发生了协作关系。
在实际实现中,通过应用端动态网页技术(JS)等采集技术进行各个协作类型的协作行为数据的采集。具体的,通过JS技术采集用户在协作平台上的各种协作类型的协作行为数据,并将这些数据通过超文本传输协议(Hyper Text Transfer Protocol,HTTP)等传输协议传输到后端,在后端使用列式数据库关联系统clickhouse进行数据存储和管理。其中,采集技术和传输协议的确定,本申请不做具体限定。
在协作行为数据采集和处理过程中涉及到了用户信息(如用户身份信息,用户头像,用户文档资产等)和企业机密的保护,因此需要对各个协作类型的协作行为数据进行脱敏处理和权限管理。
其中,本申请涉及到协作行为数据中的用户信息均提前得到用户授权,对用户信息、企业机密等数据处理均符合相关法律法规要求。
脱敏处理用于对协作行为数据中的用户信息进行混淆、隐藏等。
权限管理为对协作行为数据中拥有权限的用户增加对应的权限控制。例如,在协作行为数据采集,训练和展示全过程中增加权限控制,只有对应权限的用户才有数据获取的权限。权限需要企业管理员进行授权。
对各个协作类型的协作行为数据进行数据清洗处理和归一化处理,数据清洗处理和归一化处理用于保证协作行为数据的准确性和可靠性。
在收集到各个协作类型的协作行为数据后,会对各个协作类型的协作行为数据进行清洗处理、归一化处理,以保证数据的准确性和可靠性。同时,还会根据用户的授权,选择使用数据进行后续的分析。
S102:通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据距离权重和用户节点数,确定协作效率;距离权重为代表团队生产力的协作权重;协作效率表征在同一协作网络下存在协作关系的用户节点之间的通信效率。
在S102中,协作效率模型的表达式如公式(1)所示。
其中,E(G)为整个协作网络的通信效率(协作效率);N为协作网络中用户节点数;i和j为均为用户节点;V为节点集合;d i,j 为节点i和节点j的距离权重。
协作效率模型能够根据企业内各个协作类型的协作行为数据,准确评估出团队的协作效率。
协作效率模型的训练过程如下:
获取训练数据,将训练数据输入待训练的协作效率模型,通过待训练的协作效率模型利用训练数据进行训练,并对待训练的协作效率模型的模型参数进行调整,直至待训练的协作效率模型达到收敛时,得到协作效率模型。
其中,训练数据可为历史的协作行为数据。
为了方便理解协作行为,这里结合图2进行说明,图2示出了协作网络示意图。
图2中,将企业内的每个成员看作是协作网络的一个节点(用户节点),用户之间的每次协作都是节点之间的一次通信,而用户之间的每次协作(共同编辑文档、评论等协作行为)都会使得节点之间的距离减少,通信成本降低。
具体通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据距离权重和用户节点数,确定协作效率的过程如A1-A4所示。
A1:通过协作效率模型,从各个协作类型的协作行为数据中获取发生协作关系之间的各个用户节点所对应的权重。
其中,初始状态,默认每个节点之间的距离为无穷大(没有建立链接),d i,j =∞,当节点与节点之间发生协作关系(产生协作行为,如评论协作)时,建立发生协作关系的节点与节点之间对应的链接,并赋予发生协作关系之间的各个用户节点所对应的权重,赋予发生协作关系之间的各个用户节点所对应的权重的表达式为d i,j =weight k ,其中,weight k 为权重。
例如,用户和用户之间产生评论协作行为的评论关系时,统计用户之间的协作关系,增加评论协作行为的权重。
A2:通过协作效率模型计算发生协作关系的各个用户节点之间的距离,并通过权重对各个用户节点之间的距离进行加权求和,得到距离权重。
在A2中,通过协作效率模型计算发生协作关系的各个用户节点之间的距离,该距离为多个协作行为的累积和,具体距离权重的表达式如公式(2)所示。
其中,n为协作行为总数。
计算发生协作关系的各个用户节点之间的距离需要基于实际的协作行为数据分布情况,对协作行为数据进行归一化处理,确保数据分布的合理性。
具体对各个协作类型的协作行为数据进行归一化处理的过程如B1-B4所示。
B1:对各个协作类型的协作行为数据进行数据分布分析,得到分析结果;数据分布分析用于分析协作行为数据之间的分布参数;分布参数至少包括平均值、标准差、偏度和峰度。
在B1中,数据分布分析用于统计各个协作类型的协作行为数据之间的平均值,标准差,偏度,峰度等,并绘制直方图,散点图进行可视化分析。
分析结果包括分布均匀的协作行为数据、正态分布的协作行为数据和其他协作行为数据(非分布均匀且非正态分布的协作行为数据)。
通过不同的分析结果选择不同的归一化处理方法,具体如下述B2-B4所示。
B2:当分析结果为分布均匀的协作行为数据时,对分布均匀的协作行为数据进行最小-最大归一化处理(Min-Max Scaling)。
在B2中,最小-最大归一化处理为将分布均匀的协作行为数据映射到0到1的范围内,具体最小-最大归一化处理的表达式如公式(3)所示。
X_new=(X-X_min)/(X_max-X_min)(3)
其中,X_new为最小-最大归一化处理后的协作行为数据;X为分布均匀的协作行为数据;X_min为最小归一化;X_max为最大归一化。
B3:当分析结果为正态分布的协作行为数据时,对正态分布的协作行为数据进行零-均值规范化处理。
在B3中,对正态分布的协作行为数据进行零-均值规范化处理,即为将正态分布的协作行为数据转换为标准正态分布来归一化,具体零-均值规范化处理的表达式如公式(4)所示。
X_new=(X-mean)/std(4)
其中,X_new为零-均值规范化处理后的协作行为数据;X为正态分布的协作行为数据;mean为均值;std为标准差。
B4:当分析结果为非分布均匀且非正态分布的协作行为数据时,对非分布均匀且非正态分布的协作行为数据进行小数定标标准化处理。
在B4中,对非分布均匀且非正态分布的协作行为数据进行小数定标标准化处理,即为通过移动小数点的位置将非分布均匀且非正态分布的协作行为数据映射到[-1,1]之间。具体小数定标标准化处理的表达式如公式(5)所示。
X_new=X/(10^j)(5)
其中,X_new为小数定标标准化处理后的协作行为数据;X为非分布均匀且非正态分布的协作行为数据;j为使得非分布均匀且非正态分布的协作行为数据的绝对值最大的整数的基础上再乘以一个合适的正整数,其中,合适的正整数用来调整数据范围的因子,合适的正整数的确定具体根据数据特点和精度需求来调整。
A3:通过协作效率模型获取同一协作网络下的用户节点数。
在A3中,通过协作效率模型获取同一协作网络下发生协作关系的用户节点数。
A4:通过协作效率模型对距离权重和用户节点数进行计算,得到协作效率。
具体协作效率的表达式如公式(6)所示。
其中,Effiency(network)为协作效率;n为协作行为总数;i和j为均为用户节点;d i,j 为节点i和节点j的距离权重。
需要说明的是,在实际过程中,不同的协作类型具有不同的权重,因此需要根据已有的生产力数据(完成的工作,包括创建的文档,完成的需求数,图层数等)和协同行为数据情况,利用机器学习技术,拟合最能代表团队生产力的协作权重(距离权重)。
例如,在某些团队中,互相访问设计稿的协作行为会对团队生产力产生更大的贡献,则调整加大互相访问设计稿的协作行为的权重,得到对应的协作效率;而在另一些团队中,则更注重对设计稿进行标注和共同编辑等协作行为,则调整加大对设计稿进行标注和共同编辑的权重来得到对应的协作效率。因此,根据不同团队的情况,需要调整协作权重,以得到最准确的协作效率评估。
通过预设展示方式,展示协作效率对应的协作效率图;协作效率图包括多个节点和多条边;多个节点表示团队中的各个用户;多条边表示各个用户之间的协作关系;协作效率图用于体现团队内各个用户之间的协作程度和协作效率。
预设展示方式可以是展示在可视化面板的方式、也可以是展示在显示屏方式等,预设展示方式本申请不做具体限定。
有了协作效率模型之后,将协作效率对应的得分情况、排名以及网络协作效率图,展示在可视化面板中,方便管理员查看和比较。
首先是团队成员情况和角色分布情况。其次是团队的产出情况,让企业管理员能够快速了解团队的基本情况。
然后是协作效率得分和排名。在面板中展示企业团队的协作效率得分和同行业的排名。协作效率得分是基于协作效率模型计算出来的,可以直观地了解整个团队的协作效率。排名则是基于同行业的其他企业的协作效率得分进行比较而得出的,可以帮助管理员了解当前企业在行业内的协作效率位置。
其次是协作效率图。在可视化面板中展示团队内成员之间的协作关系图,以及每个节点的协作效率得分。协作关系图如3所示,采用图论中的网络图来表示,每个成员作为一个节点,协作关系作为边。节点之间的连通情况和距离,体现了团队内成员之间的协作程度和效率。节点的大小和颜色,则表示了节点的协作效率得分,大的和深色的表示效率高,小的和浅色的表示效率低。这样的网络协作效率图,可以帮助管理员快速了解团队内的协作状况,找到协作效率较高和较低的节点,为团队的优化提供指导。
通过预设展示方式可以帮助管理员直观地了解团队的协作效率和行业内的比较情况,并且通过网络协作效率图,可以发现团队内的协作状况,提供指导和帮助优化团队协作效率。
为了方便理解本方案的数据处理的过程,这里结合图4进行说明,图4示出了数据处理的示意图。
图4中,当用户端发生用户行为(协作行为)时,应用端生成业务请求,并将业务请求发送至业务后端,触发业务后端的后端埋点、应用端的前端埋点(前端js埋点)、日志采集服务采集用户在协作平台上的各种协作类型的协作行为数据,将协作行为数据进行分布式实时数据处理,即将协作行为数据实时数据入库到数据仓库,将数据仓库中的协作行为数据进行数据清洗和归一化处理,通过协作效率模型将数据清洗处理和归一化处理后的协作行为数据进行计算,得到协作效率,可视化展示协作效率并生成协作效率报告,将协作效率报告发送至用户端。
其中,应用端即为前端。
分布式实时数据处理即为flink实时数据处理。
数据仓库即为maxcompute数据仓库。
应用端通过日志采集服务将各种协作类型的协作行为数据批量数据入库到数据仓库中。
业务后端通过业务数据库将业务数据(用户所在团队/文档数等情况)同步到数据仓库中。
其中,业务数据库即为db业务数据库。
通过本申请提出的协作效率模型,可以客观地衡量企业内部协作效率,并为企业提供有针对性的协作优化方案,从而提高企业协作效率;通过本申请提出的数据采集技术和协作效率模型,可以准确地记录协作数据,降低协作成本,并为企业提供有价值的协作数据分析服务;通过本申请提出的可视化展示,可以直观地了解企业的协作效率和团队内的协作状况,为企业管理层提供数据支持,从而提高决策效率;通过本申请提出的同行业排名功能,可以为企业提供与同行业企业的协作效率对比数据,从而为企业提供有针对性的协作优化方案,增强企业的竞争力。
本申请实施例中,无需依赖个人经验和主观判断进行协作效率的评估,只需通过通过协作效率模型根据不同的维度计算出企业内部的协作效率,即,通过协作效率模型对不同的协作类型的协作行为数据所对应的权重中拟合出最能代表团队生产力的协作权重,并根据各个用户节点之间的距离和协作权重能够准确计算出协作效率,通过该协作效率为企业内部的不同部门之间的协作提供准确、高效的协作效率评估,避免出现由于协作效率低所导致项目延误、质量不佳等不良后果。
基于上述实施例图1公开的一种数据处理方法,本申请还对应公开了一种数据处理系统,如图5所示,该数据处理系统包括获取单元501和确定单元502。
获取单元501,用于获取各个协作类型的协作行为数据;协作行为数据表征各个用户节点之间发生协作关系的行为数据。
确定单元502,用于通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据距离权重和用户节点数,确定协作效率;距离权重为代表团队生产力的协作权重;协作效率表征在同一协作网络下存在协作关系的用户节点之间的通信效率。
进一步的,确定单元502包括第一获取模块、第一计算模块、第二获取模块和第二计算模块。
第一获取模块,用于通过协作效率模型,从各个协作类型的协作行为数据中获取发生协作关系之间的各个用户节点所对应的权重。
第一计算模块,用于通过协作效率模型计算发生协作关系的各个用户节点之间的距离,并通过权重对各个用户节点之间的距离进行加权求和,得到距离权重。
第二获取模块,用于通过协作效率模型获取同一协作网络下的用户节点数。
第二计算模块,用于通过协作效率模型对距离权重和用户节点数进行计算,得到协作效率。
进一步的,数据处理系统还包括第一处理单元。
第一处理单元,用于对各个协作类型的协作行为数据进行数据清洗处理和归一化处理。
进一步的,对各个协作类型的协作行为数据进行归一化处理的处理单元包括分析模块、第一处理模块、第二处理模块和第三处理模块。
分析模块,用于对各个协作类型的协作行为数据进行数据分布分析,得到分析结果;数据分布分析用于分析各个协作类型的协作行为数据之间的分布参数;分布参数至少包括平均值、标准差、偏度和峰度。
第一处理模块,用于当分析结果为分布均匀的协作行为数据时,对分布均匀的协作行为数据进行最小-最大归一化处理。
第二处理模块,用于当分析结果为正态分布的协作行为数据时,对正态分布的协作行为数据进行零-均值规范化处理。
第三处理模块,用于当分析结果为非分布均匀且非正态分布的协作行为数据时,对非分布均匀且非正态分布的协作行为数据进行小数定标标准化处理。
进一步的,数据处理系统还包括展示单元。
展示单元,用于通过预设展示方式,展示协作效率对应的协作效率图;协作效率图包括多个节点和多条边;多个节点表示团队中的各个用户;多条边表示各个用户之间的协作关系;协作效率图用于体现团队内各个用户之间的协作程度和协作效率。
进一步的,数据处理系统还包括第二处理单元。
第二处理单元,用于对各个协作类型的协作行为数据进行脱敏处理和权限管理;权限管理为对协作行为数据中拥有权限的用户增加对应的权限控制。
进一步的,协作行为数据的协作类型至少包括共同访问行为、修改设计稿行为和评论设计稿行为。
本申请实施例中,无需依赖个人经验和主观判断进行协作效率的评估,只需通过通过协作效率模型根据不同的维度计算出企业内部的协作效率,即,通过协作效率模型对不同的协作类型的协作行为数据所对应的权重中拟合出最能代表团队生产力的协作权重,并根据各个用户节点之间的距离和协作权重能够准确计算出协作效率,通过该协作效率为企业内部的不同部门之间的协作提供准确、高效的协作效率评估,避免出现由于协作效率低所导致项目延误、质量不佳等不良后果。
本申请实施例还提供了一种存储介质,存储介质包括存储的指令,其中,在指令运行时控制存储介质所在的设备执行上述数据处理方法。
本申请实施例还提供了一种电子设备,其结构示意图如图6所示,具体包括存储器601,以及一个或者一个以上的指令602,其中一个或者一个以上指令602存储于存储器601中,且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602执行上述数据处理方法。
上述各个实施例的具体实施过程及其衍生方式,均在本申请的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为聚类部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
获取各个协作类型的协作行为数据;所述协作行为数据表征各个用户节点之间发生协作关系的行为数据;
通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率;所述距离权重为代表团队生产力的协作权重;所述协作效率表征在同一协作网络下存在协作关系的用户节点之间的通信效率。
2.根据权利要求1所述的方法,其特征在于,通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率,包括:
通过协作效率模型,从各个协作类型的协作行为数据中获取发生协作关系之间的各个用户节点所对应的权重;
通过协作效率模型计算发生协作关系的各个用户节点之间的距离,并通过所述权重对所述各个用户节点之间的距离进行加权求和,得到距离权重;
通过协作效率模型获取同一协作网络下的用户节点数;
通过协作效率模型对所述距离权重和所述用户节点数进行计算,得到协作效率。
3.根据权利要求1所述的方法,其特征在于,在获取各个协作类型的协作行为数据之后,在通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率之前,还包括:
对各个协作类型的协作行为数据进行数据清洗处理和归一化处理。
4.根据权利要求3所述的方法,其特征在于,对各个协作类型的协作行为数据进行归一化处理的过程,包括:
对各个协作类型的协作行为数据进行数据分布分析,得到分析结果;所述数据分布分析用于分析各个协作类型的协作行为数据之间的分布参数;所述分布参数至少包括平均值、标准差、偏度和峰度;
当分析结果为分布均匀的协作行为数据时,对分布均匀的协作行为数据进行最小-最大归一化处理;
当分析结果为正态分布的协作行为数据时,对正态分布的协作行为数据进行零-均值规范化处理;
当分析结果为非分布均匀且非正态分布的协作行为数据时,对非分布均匀且非正态分布的协作行为数据进行小数定标标准化处理。
5.根据权利要求1所述的方法,其特征在于,还包括:
通过预设展示方式,展示所述协作效率对应的协作效率图;所述协作效率图包括多个节点和多条边;所述多个节点表示团队中的各个用户;所述多条边表示各个用户之间的协作关系;所述协作效率图用于体现团队内各个用户之间的协作程度和协作效率。
6.根据权利要求1所述的方法,其特征在于,在获取各个协作类型的协作行为数据之后,在通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率之前,还包括:
对各个协作类型的协作行为数据进行脱敏处理和权限管理;所述权限管理为对协作行为数据中拥有权限的用户增加对应的权限控制。
7.根据权利要求1所述的方法,其特征在于,协作行为数据的协作类型至少包括共同访问行为、修改设计稿行为和评论设计稿行为。
8.一种数据处理系统,其特征在于,所述系统包括:
获取单元,用于获取各个协作类型的协作行为数据;所述协作行为数据表征各个用户节点之间发生协作关系的行为数据;
确定单元,用于通过协作效率模型,从各个协作类型的协作行为数据所对应的权重中拟合出距离权重,并根据所述距离权重和用户节点数,确定协作效率;所述距离权重为代表团队生产力的协作权重;所述协作效率表征在同一协作网络下存在协作关系的用户节点之间的通信效率。
9.一种存储介质,其特征在于,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如权利要求1至7任意一项所述的数据处理方法。
10.一种电子设备,其特征在于,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如权利要求1至7任意一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310541368.8A CN116258470A (zh) | 2023-05-15 | 2023-05-15 | 一种数据处理方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310541368.8A CN116258470A (zh) | 2023-05-15 | 2023-05-15 | 一种数据处理方法、系统、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116258470A true CN116258470A (zh) | 2023-06-13 |
Family
ID=86688375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310541368.8A Pending CN116258470A (zh) | 2023-05-15 | 2023-05-15 | 一种数据处理方法、系统、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116258470A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110007324A (ko) * | 2009-07-16 | 2011-01-24 | 고려대학교 산학협력단 | 무선 애드혹 네트워크의 토폴로지 제어장치 및 방법, 무선 애드혹 네트워크의 노드장치, 그리고 무선 애드혹 네트워크의 노드장치의 통신 링크 형성방법 |
CN113869509A (zh) * | 2021-09-06 | 2021-12-31 | 北方民族大学 | 一种多设备参与的协作场景分析方法及系统 |
US20220138651A1 (en) * | 2020-10-30 | 2022-05-05 | Microsoft Technology Licensing, Llc | Generation of recommended actions based on strength and diversity of collaboration in a user network |
WO2022156328A1 (zh) * | 2021-01-19 | 2022-07-28 | 青岛科技大学 | 一种融合服务协作关系的Restful类型Web服务聚类方法 |
CN115795101A (zh) * | 2022-10-25 | 2023-03-14 | 钉钉(中国)信息技术有限公司 | 描述协作关系的组织网络的处理方法、装置、设备及介质 |
-
2023
- 2023-05-15 CN CN202310541368.8A patent/CN116258470A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110007324A (ko) * | 2009-07-16 | 2011-01-24 | 고려대학교 산학협력단 | 무선 애드혹 네트워크의 토폴로지 제어장치 및 방법, 무선 애드혹 네트워크의 노드장치, 그리고 무선 애드혹 네트워크의 노드장치의 통신 링크 형성방법 |
US20220138651A1 (en) * | 2020-10-30 | 2022-05-05 | Microsoft Technology Licensing, Llc | Generation of recommended actions based on strength and diversity of collaboration in a user network |
WO2022156328A1 (zh) * | 2021-01-19 | 2022-07-28 | 青岛科技大学 | 一种融合服务协作关系的Restful类型Web服务聚类方法 |
CN113869509A (zh) * | 2021-09-06 | 2021-12-31 | 北方民族大学 | 一种多设备参与的协作场景分析方法及系统 |
CN115795101A (zh) * | 2022-10-25 | 2023-03-14 | 钉钉(中国)信息技术有限公司 | 描述协作关系的组织网络的处理方法、装置、设备及介质 |
Non-Patent Citations (1)
Title |
---|
李南 等: "团队中枢节点的效率模型", 数学的实践与认识, vol. 39, no. 03, pages 7 - 11 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Baldwin et al. | Contagion in cyber security attacks | |
CN109544163B (zh) | 一种用户支付行为的风险控制方法、装置、设备及介质 | |
Chang | The business intelligence as a service in the cloud | |
US7747494B1 (en) | Non-determinative risk simulation | |
US8966575B2 (en) | Methods, software, and devices for automatically scoring privacy protection measures | |
DE112020000860T5 (de) | Risikovorhersage basierend auf automatisierter dokumentenanalyse | |
US8250008B1 (en) | Decision tree refinement | |
CN109690492A (zh) | 网络安全漏洞管理系统和方法 | |
US8448126B2 (en) | Compliance program assessment tool | |
CN109685536B (zh) | 用于输出信息的方法和装置 | |
JP6595718B2 (ja) | クレジット点数モデルトレーニング方法、クレジット点数計算方法、装置及びサーバー | |
CN112016788A (zh) | 风险控制策略生成及风险控制方法、装置和电子设备 | |
WO2020087011A2 (en) | Resource configuration and management system | |
CN109242250A (zh) | 一种基于模糊熵权法与云模型的用户行为可信度检测方法 | |
CN106713267A (zh) | 一种网络安全评估方法及系统 | |
CN111127222B (zh) | 业务服务的处理方法、装置、设备及存储介质 | |
US9064283B2 (en) | Systems, methods, and apparatus for reviewing file management | |
Spring et al. | Prioritizing Vulnerability Response: A Stakeholder-Specific Vulnerability Categorization (Version 2.0) | |
CN114398465A (zh) | 互联网服务平台的异常处理方法、装置和计算机设备 | |
CN112650608B (zh) | 异常根因定位方法以及相关装置、设备 | |
Ono et al. | Improving risk assessments in conservation ecology | |
US20180211195A1 (en) | Method of predicting project outcomes | |
US11037105B2 (en) | Retirement score calculator | |
CN116258470A (zh) | 一种数据处理方法、系统、存储介质及电子设备 | |
CN112712270B (zh) | 信息处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230922 Address after: Room 5, Room 324201, 42nd Floor, Unit 2, Building 5, Courtyard 1, Futong East Street, Chaoyang District, Beijing, 100102 Applicant after: Beijing Creative Beautiful Technology Co.,Ltd. Address before: Room 324201, 42nd floor, unit 2, building 5, courtyard 1, Futong East Street, Chaoyang District, Beijing 100102 Applicant before: Beijing Jinwei Zhiguang Information Technology Co.,Ltd. |