CN112184173A - 数据处理方法、装置及电子设备 - Google Patents

数据处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112184173A
CN112184173A CN202011086821.3A CN202011086821A CN112184173A CN 112184173 A CN112184173 A CN 112184173A CN 202011086821 A CN202011086821 A CN 202011086821A CN 112184173 A CN112184173 A CN 112184173A
Authority
CN
China
Prior art keywords
data
real
time
keywords
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011086821.3A
Other languages
English (en)
Inventor
张秀丽
王宇峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ziroom Information Technology Co Ltd
Original Assignee
Beijing Ziroom Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ziroom Information Technology Co Ltd filed Critical Beijing Ziroom Information Technology Co Ltd
Priority to CN202011086821.3A priority Critical patent/CN112184173A/zh
Publication of CN112184173A publication Critical patent/CN112184173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/103Workflow collaboration or project management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据统计技术领域,具体涉及数据处理方法、装置及电子设备,所述方法包括获取至少一个数据源中的实时数据;提取各个所述实时数据的关键字以及历史数据的关键字;基于各个所述实时数据的关键字以及所述历史数据的关键字,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度;根据确定出的所述关联度,对所述至少一个数据源中的实时数据进行处理。通过利用获取到的实时数据按照其关键字与历史数据的关键字的关联度,对实时数据进行处理,可以在至少一个数据源中的实时数据中去除与历史数据的关联度较高的实时数据,在数据处理过程中均是以统一的术语进行的,可以避免数据的冗余重复所导致的数据处理准确率低的问题。

Description

数据处理方法、装置及电子设备
技术领域
本发明涉及数据统计技术领域,具体涉及数据处理方法、装置及电子设备。
背景技术
公司管理层需要不定时统计和汇总员工的工作情况、项目进度情况以及项目质量状况,达到及时感知雇员和项目进度情况的目的。随着员工数量和工程规模越来越大,参与人员越来越多,项目管理成本直线上升,质量和人员投入产出比难以监控和管理。在这样一个大背景下,如何能够及时、准确和高效的感知团队情况、项目进度和监控项目质量,减少个人数据汇总、报表统计等费时操作,降低项目管理成本成为了公司以及众多一线互联网大公司共同的主题。
现有技术中一般是各个部门采用报表的形式上报部分情况,再由专门人员基于各部门的报表进行数据汇总。这种方式费时费力且各部门汇报和展示的形式多样,导致数据处理的效率较低。
为解决这一问题,发明人试图采用自动处理的方式对数据进行处理。例如,通过提取各部门上报的数据报表中的关键字,利用关键字对数据进行汇总,进而实现数据的自动处理。然而,这一数据处理过程中,由于各个部门汇报和展示的形式多样,名词术语不统一,导致利用关键字进行数据处理的准确率也就相应较低。
发明内容
有鉴于此,本发明实施例提供了一种数据处理方法、装置及电子设备,以解决数据处理效率低的问题。
根据第一方面,本发明实施例提供了一种数据处理方法,所述方法包括:
获取至少一个数据源中的实时数据;
提取各个所述实时数据的关键字以及历史数据的关键字;
基于各个所述实时数据的关键字以及所述历史数据的关键字,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度;
根据确定出的所述关联度,对所述至少一个数据源中的实时数据进行处理。
本发明实施例提供的数据处理方法,通过利用获取到的实时数据按照其关键字与历史数据的关键字的关联度,对实时数据进行处理,可以在至少一个数据源中的实时数据中去除与历史数据的关联度较高的实时数据,在数据处理过程中均是以统一的术语进行的,可以避免数据的冗余重复所导致的数据处理准确率低的问题。
结合第一方面,在第一方面第一实施方式中,所述数据源包括人力资源管理系统以及项目管理系统,所述获取至少一个数据源中的实时数据,包括:
每隔预设时间间隔从所述人力资源管理系统以及所述项目管理系统中提取数据;
基于预设规则对提取出的数据进行数据清洗,得到所述实时数据。
本发明实施例提供的数据处理方法,每隔预设时间间隔进行数据的提取,可以避免数据的频繁提取对系统资源的消耗,提高了数据处理的效率;且对提取出的数据进行清洗,可以保证所得到的实时数据是满足需求的数据,减少了后续的数据处理量,提高了数据处理的效率。
结合第一方面第一实施方式,在第一方面第二实施方式中,所述基于预设规则对提取出的数据进行数据清洗,得到所述实时数据,包括:
依次判断从所述人力资源管理系统中提取出的数据中是否存在已离职的人员信息数据;
当存在已离职的人员信息数据时,去除所述已离职的人员信息数据;
依次判断从所述项目管理系统中提取出的数据中任务开始时间,或任务结束时间是否丢失;
当所述数据中任务开始时间,或任务结束时间丢失时,去除所述任务开始时间,或任务结束时间丢失的数据,得到所述实时数据。
结合第一方面,或第一方面第一实施方式或第二实施方式,在第一方面第三实施方式中,所述实时数据包括实时任务数据,所述实时数据的关键字包括新建任务的名称及其对应的用户信息,所所述历史数据包括历史任务数据,所述历史数据的关键字包括所述历史数据中历史任务的名称及其对应的用户信息,所述基于各个所述实时数据的关键字以及所述历史数据的关键字,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度,包括:
利用所述实时数据中新建任务的名称及其对应的用户信息,以及所述历史数据中历史任务的名称及其对应的用户信息,分别建立与用户对应的第一任务向量以及第二任务向量,所述第一任务向量与所述实时数据对应,所述第二任务向量与所述历史数据对应;
基于所述第一任务向量以及所述第二任务向量,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度。
本发明实施例提供的数据处理方法,将实时数据中新建任务与历史数据中历史任务进行关联度的计算,可以避免同一任务的重复建立。
结合第一方面第三实施方式,在第一方面第四实施方式中,所述根据确定出的所述关联度,对所述至少一个数据源中的实时数据进行处理,包括:
去除所述实时数据中与所述历史数据的关联度超出预设值的数据,得到待处理数据;
提取所述待处理数据中的关键字;
基于提取出的关键字对所述待处理数据进行汇总。
本发明实施例提供的数据处理方法,在实时数据中去除关联度超出预设值得数据,减少了后续的数据处理量;且利用待处理数据的关键字对待处理数据进行汇总,实现数据的自动处理,提高数据处理的效率。
结合第一方面第四实施方式,在第一方面第五实施方式中,所述基于提取出的关键字对所述待处理数据进行汇总,包括:
响应于对汇总后数据的排序操作;
判断所述汇总后数据的数量是否超出预设值;
当所述待处理数据的数量大于或等于预设值时,采用第一排序方法对所述汇总后数据进行排序;
当所述待处理数据的数量小于所述预设值时,采用第二排序方法对所述汇总后数据进行排序。
本发明实施例提供的数据处理方法,在对汇总后数据进行排序操作时,基于汇总后数据的数量确定相应的排序方法,以在排序过程中结合各个排序方法的优点,提高了排序处理的效率。
结合第一方面第四实施方式,在第一方面第五实施方式中,所述基于提取出的关键字对所述待处理数据进行汇总,还包括:
采用甘特图显示汇总后数据;
响应于对汇总后数据的排期操作;
提取所述汇总后数据中的任务开始时间以及任务结束时间;
利用提取出的所述任务开始时间以及任务结束时间,对汇总后数据进行任务排期。
本发明实施例提供的数据处理方法,采用甘特图的方式显示汇总后数据,可以保证汇总后数据的清晰显示;且还提供了对汇总后数据的排期操作,可以实现对汇总后数据的任务排期,以便于对待处理任务的实时监控。
根据第二方面,本发明实施例还提供了一种数据处理装置,所述装置包括:
获取模块,用于获取至少一个数据源中的实时数据;
提取模块,用于提取各个所述实时数据的关键字以及历史数据的关键字;
确定模块,用于基于各个所述实时数据的关键字以及所述历史数据的关键字,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度;
处理模块,用于根据确定出的所述关联度,对所述至少一个数据源中的实时数据进行处理。
本发明实施例提供的数据处理装置,通过利用获取到的实时数据按照其关键字与历史数据的关键字的关联度,对实时数据进行处理,可以在至少一个数据源中的实时数据中去除与历史数据的关联度较高的实时数据,在数据处理过程中均是以统一的术语进行的,可以避免数据的冗余重复所导致的数据处理准确率低的问题。
根据第三方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的数据处理方法。
根据第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的数据处理方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的数据处理方法的流程图;
图2是根据本发明实施例的数据处理方法的流程图;
图3是根据本发明实施例的实时数据来源示意图;
图4是根据本发明实施例的数据处理方法的流程图;
图5是根据本发明实施例的排期示意图;
图6是根据本发明实施例的数据处理装置的结构框图;
图7是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的数据处理方法,可以应用任何需要进行数据处理的场景中,例如,公司的项目管理系统,学校的课程管理系统等等,在此对数据处理的具体应用场景并不做任何限制。在下文的描述中以公司的项目管理系统为例。
在公司管理系统中,需要集成多个数据源的数据,并对数据源中的数据进行处理后汇总。那么,由于多个数据源之间可能存在数据术语的不统一,导致在数据汇总时会出现问题。基于此,本发明实施例提供了一种数据处理方法。
需要说明的是,本发明实施例中所述的实时数据是指当前时刻从各个数据源获取到的最新数据,历史数据是指上一次数据获取后电子设备中的数据。
根据本发明实施例,提供了一种数据处理方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种数据处理方法,可用于上述的电子设备,如电脑、手机、平板电脑等,图1是根据本发明实施例的数据处理方法的流程图,如图1所示,该流程包括如下步骤:
S11,获取至少一个数据源中的实时数据。
电子设备从数据源中获取最新的实时数据,所述的数据源是基于具体应用场景的变化而变化的。以公司的项目管理系统为例,电子设备需要接入的数据源可以包括人力资源管理系统以及项目管理系统等等。
其中,电子设备中提供有与各个数据源连接的接口,在需要进行实时数据获取时,电子设备通过这些接口从相应的数据源中获取到各个数据源的实时数据。
电子设备从人力资源管理系统中获取到的一条实时数据为:
姓名、年龄、职务、入职时间以及当前岗位;例如,张三、30、工程师、2019.12以及职工。
电子设备从项目管理系统中获取到的一条实时数据为:
任务名称、任务经办人、任务开始时间、任务结束时间以及任务当前状态。例如,UI设计、张三、2020.6.10、2020.9.20以及开发中。
需要说明的是,上述所列举中的实时数据的形式仅是一种示意性描述,具体形式可以根据实际情况进行相应的设置,在此并不做任何限制。
S12,提取各个实时数据的关键字以及历史数据的关键字。
电子设备在提取到各个数据源的实时数据之后,对实时数据以及历史数据进行关键字的提取。
继续沿用上例,人力资源管理系统中的一条实时数据,其对应的关键字可以为:姓名、年龄、职务、入职时间以及当前岗位对应的具体内容;从项目管理系统中获取到的一条实时数据,其对应的关键字可以为:任务名称、任务经办人、任务开始时间、任务结束时间以及任务当前状态对应的具体内容。
S13,基于各个实时数据的关键字以及历史数据的关键字,确定各个实时数据的关键字与历史数据的关键字的关联度。
如上文所述,实时数据的关键字为实时数据的具体数据内容,历史数据的关键字可以为历史数据的具体数据内容,而各个管理系统中可能由于数据录入的规则,对于同一关键字下的具体数据内容可能存在不同的表示形式。
例如,对于年龄,在数据源1中可以表示为30、在数据源2中可以表示为三十、在数据源3中可以表示为30岁等等。因此,在进行后续的数据处理之前,就需要对获取到的实时数据进行处理。
具体地,就需要确定实时数据的关键字与历史数据的关键字的关联度。所述的关联度,可以用相似度进行表示,也可以用相关系数进行表示等等,在此在关联度的具体表示形式并不做任何限制。
关联度的具体表示形式不同,相应的确定关联度的方式也就不同,具体根据实际情况进行相应的选择。
S14,根据确定出的关联度,对至少一个数据源中的实时数据进行处理。
电子设备在确定出实时数据的关键字与历史数据的关键字的关联度之后,就可以先利用确定出的关联度对实时数据进行筛选,再将筛选后的数据插入到历史数据中,以对历史数据进行更新。
关于该步骤具体将在下文中进行详细描述。
本实施例提供的数据处理方法,通过利用获取到的实时数据按照其关键字与历史数据的关键字的关联度,对实时数据进行处理,可以在至少一个数据源中的实时数据中去除与历史数据的关联度较高的实时数据,在数据处理过程中均是以统一的术语进行的,可以避免数据的冗余重复所导致的数据处理准确率低的问题。
在本实施例中提供了一种数据处理方法,可用于上述的电子设备,如电脑、手机、平板电脑等,图2是根据本发明实施例的数据处理方法的流程图,如图2所示,该流程包括如下步骤:
S21,获取至少一个数据源中的实时数据。
其中,所述数据源包括人力资源管理系统以及项目管理系统。
图3示出了实时数据的获取示意图,具体地,上述S21包括如下步骤:
S211,每隔预设时间间隔从人力资源管理系统以及项目管理系统中提取数据。
电子设备中可以设置有从至少一个数据源中获取实时数据的时间间隔,例如,每隔一天或每个一星期等等。当然,也可以是对应于不同的数据源,设置不同的时间间隔。例如,对于一些数据更新比较频繁的数据源,可以设置较短的时间间隔;对于一些数据更新周期比较长的数据源,可以设置较长的时间间隔等等。
具体地,电子设备可以对应于人力资源管理系统设置第一时间间隔,对应于项目管理系统设置第二时间间隔。每隔第一时间间隔,电子设备就从人力资源管理系统中自动提取相应的数据;每隔第二时间间隔,电子设备就从项目管理系统中自动提取相应的数据。
S212,基于预设规则对提取出的数据进行数据清洗,得到实时数据。
电子设备在从至少一个数据源中提取出数据之后,可以利用预设规则对提取出的数据进行清洗,得到实时数据。所述的预设规则可以是与数据源一一对应的,也可以是其他的设置方式,具体可以根据实际情况进行相应的处理。
在本实施例的一些可选实施方式中,上述S212包括如下步骤:
(1)依次判断从人力资源管理系统中提取出的数据中是否存在已离职的人员信息数据。
由于人力资源管理系统的更新不及时,可能在人力资源管理系统中还存在有已离职的人员信息数据,那么这些已离职的人员信息数据就会被电子设备所获取到,而这些数据又是一些无用的数据,因此就需要将其过滤掉。
因此,电子设备就可以利用从人力资源管理系统中获取到的实时数据的对应于人员状态的关键词,确定其是否是已离职人员信息数据。
当存在已离职的人员信息数据时,执行步骤(2);否则,执行(3)。
(2)去除已离职的人员信息数据。
电子设备将这些已离职的人员信息数据从所获取到的数据中删除。
(3)依次判断从项目管理系统中提取出的数据中任务开始时间,或任务结束时间是否丢失。
由于项目管理系统中对于任务的设置并不全面,例如,对于某一任务仅设置了任务开始时间而未设置任务结束时间;对于某一任务仅设置了任务结束时间而未设置任务开始时间。电子设备就可以依次对从项目管理系统中提取出的数据中对应于任务开始时间,以及任务结束时间的具体数据,确定任务开始时间,或任务结束时间是否丢失。
当数据中任务开始时间,或任务结束时间丢失时,执行(4)。否则,可以对获取到的数据在进行其他规则的判断,或者直接执行下述S22。
(4)去除任务开始时间,或任务结束时间丢失的数据,得到实时数据。
S22,提取各个实时数据的关键字以及历史数据的关键字。
详细请参见图1所示实施例的S12,在此不再赘述。
S23,基于各个实时数据的关键字以及历史数据的关键字,确定各个实时数据的关键字与历史数据的关键字的关联度。
详细请参见图1所示实施例的S13,在此不再赘述。
S24,根据确定出的关联度,对至少一个数据源中的实时数据进行处理。
详细请参见图1所示实施例的S14,在此不再赘述。
本实施例提供的数据处理方法,每隔预设时间间隔进行数据的提取,可以避免数据的频繁提取对系统资源的消耗,提高了数据处理的效率;且对提取出的数据进行清洗,可以保证所得到的实时数据是满足需求的数据,减少了后续的数据处理量,提高了数据处理的效率。
在本实施例中提供了一种数据处理方法,可用于上述的电子设备,如电脑、手机、平板电脑等,图4是根据本发明实施例的数据处理方法的流程图,如图4所示,该流程包括如下步骤:
S31,获取至少一个数据源中的实时数据。
详细请参见图2所示实施例的S21,在此不再赘述。
S32,提取各个实时数据的关键字以及历史数据的关键字。
所述实时数据的关键字包括新建任务的名称及其对应的用户信息,所所述历史数据包括历史任务数据,所述历史数据的关键字包括所述历史数据中历史任务的名称及其对应的用户信息。
其余详细请参见图2所示实施例的S22,在此不再赘述。
S33,基于各个实时数据的关键字以及历史数据的关键字,确定各个实时数据的关键字与历史数据的关键字的关联度。
各个实时数据的关键字与历史数据的关键字的关联度是用于智能过滤和排除相似的任务工作,准确定位和通知管理者、首次任务创建者和重复任务创建者,从而在项目任务创建初期解决重复工作的问题。具体地,上述S33包括如下步骤:
S331,利用实时数据中新建任务的名称及其对应的用户信息,以及历史数据中历史任务的名称及其对应的用户信息,分别建立与用户对应的第一任务向量以及第二任务向量。
其中,所述第一任务向量与所述实时数据对应,所述第二任务向量与所述历史数据对应。
例如,第一任务向量可以用于表示,用户u新建任务i;第二任务向量可以用于表示,用于u创建的任务j。
S332,基于第一任务向量以及第二任务向量,确定各个实时数据的关键字与历史数据的关键字的关联度。
例如,可以采用如下公式计算关联度:
Figure BDA0002720637990000101
其中,sim(i,j)为新建任务i与创建的任务j之间的关联度;Ru,i为用户u新建任务i的相似度,
Figure BDA0002720637990000102
为新建任务i的相似度平均值;Ru,j为用户u新建任务j的相似度;
Figure BDA0002720637990000103
为创建的任务j的相似度平均值。
S34,根据确定出的关联度,对至少一个数据源中的实时数据进行处理。
具体地,上述S34可以包括如下步骤:
S341,去除实时数据中与历史数据的关联度超出预设值的数据,得到待处理数据。
电子设备在计算得到实时数据与历史数据的关联度之后,可以将计算得到的关联度与预设值进行比较,当计算得到的关联度超出预设值时,将实时数据中的该数据删除,得到待处理数据。
S342,提取待处理数据中的关键字。
S343,基于提取出的关键字对待处理数据进行汇总。
电子设备在提取出待处理数据中的关键字之后,利用提取出的关键字对待处理数据进行汇总。
所述的汇总可以是按照姓名进行汇总,或按照任务名称进行汇总等等,具体的汇总方式可以根据实际情况进行相应的设置。
作为本实施例的一种可选实施方式,上述S34还可以包括如下步骤:
(1)响应于对汇总后数据的排序操作。
电子设备在得到汇总数据之后,可以在电子设备在显示界面上显示汇总后数据,用户可以在显示界面上对汇总后数据进行排序操作,那么电子设备就会响应于用户的本地操作。
(2)判断汇总后数据的数量是否超出预设值。
电子设备基于待处理数据的数据量采用不同的排序方法对其进行排序,当待处理数据的数量大于或等于预设值时,执行步骤(3);否则,执行步骤(4)。
(3)采用第一排序方法对汇总后数据进行排序。
当待处理数据的数据量较大时,电子设备可以采用冒泡法对汇总后数据进行排序。当然,也可以采用其他的排序方式,只需保证该排序方法在数据量较大时,具有较高的排序效率。
(4)采用第二排序方法对汇总后数据进行排序。
当待处理数据的数据量较小时,电子设备可以采用插入法进行排序。当然,也可以采用其他的排序方式,只需保证该排序方法在数据量较小时,具有较高的排序效率。
在对汇总后数据进行排序操作时,基于汇总后数据的数量确定相应的排序方法,以在排序过程中结合各个排序方法的优点,提高了排序处理的效率。
在本实施例的另一些可选实施方式中,上述S34还可以包括如下步骤:
(1)采用甘特图显示汇总后数据。
电子设备在得到汇总后数据之后,可以利用甘特图的方式对汇总后数据进行显示。
(2)响应于对汇总后数据的排期操作。
在电子设备的显示界面中,可以提供排期的操作。当用户在该显示界面上进行排期操作时,电子设备就会响应于用户对汇总后数据的排期操作。
(3)提取汇总后数据中的任务开始时间以及任务结束时间。
(4)利用提取出的任务开始时间以及任务结束时间,对汇总后数据进行任务排期。
如图5所示,电子设备可以采用图5所示的方式显示任务排期的结果。例如,可以显示出在某一天是否存在任务。当然,也可以是采用不同的标识表示出不同任务的紧急程度等等。
在对汇总后数据进行排序操作时,基于汇总后数据的数量确定相应的排序方法,以在排序过程中结合各个排序方法的优点,提高了排序处理的效率。
本实施例提供的数据处理方法,在实时数据中去除关联度超出预设值得数据,减少了后续的数据处理量;且利用待处理数据的关键字对待处理数据进行汇总,实现数据的自动处理,提高数据处理的效率。
在本实施例的一个具体应用方式中,采用甘特图的方式显示汇总后数据,所述的甘特图用于汇总公司开发需求、开发任务、测试任务和排期的功能。那么在甘特图中还可以包括筛选项、项目列表和日历看板。
(1)筛选项
组织架构:数据来源于人力资源管理系统;服务端提供接口支撑前端数据展示。
其余字段:数据来自项目管理系统。
搜索按钮:查询时去除搜索按钮,表单元素监听onchange事件(指域的内容改变时发生)直接调用搜索接口,减少不必要的人机交互。
用户场景:按照使用人群,大致分为三类。
1)经理模式:【项目/需求池】【实际状态】【K线】【需求/任务名称】【优先级】【经办人】【任务状态】
2)项目负责人:【项目/需求池】【实际状态】【需求/任务名称】【优先级】【工时/人天】【任务状态】
3)工程师模式:【项目/需求池】【实际状态】【K线】【需求/任务名称】【优先级】【类型】【经办人】【任务状态】
(2)项目列表
1)【项目/需求池】和【需求/任务名称】
这两列会根据查询条件的不同,显示成为三种情况,但展示文案不变。
情况1:实际要展示的内容为:【需求名称】【任务名称】。
这种组合情况来源于项目管理系统中的需求池下有版本列表的概念,每一个版本都包含一个对应的需求,有自己的版本编号,以及这个版本编号对应的需求描述(但有的版本下缺少需求描述)。故此时【需求名称】列下所展示的是:版本编号+这个版本对应的总体需求描述。【任务名称】列下展示的内容为这个版本所包含的所有需求、小需、任务、子任务和缺陷。
情况2:实际要展示的内容为:【需求池名称】和【任务名称】
这种组合情况来源于项目管理系统中的需求池下没有版本的情况,当前项目管理系统中的绝大多数需求池都是这种情况,需求池名称会以合并的方式展示在第一列。
情况3:这个需求池中既有版本约束的需求,又有非约束性的需求。这种情况将结合前两种情况混合展示。
2)【序号】
一个简单的数量递增排序,仅用于告知使用者在当前版本或需求池中有多少条记录。
3)【实际状态】
此列可排序,升序依据:未开始->正常->完成->风险->延期。
正常:背景色:#CAF982,透明度:50%。含义:当前任务在【计划开始时间】和【计划上线时间】内,且无人标记其为“风险”。
完成:背景色:#70B603,透明度:不透明。含义:当前时间处于【计划上线时间】之后,且任务状态处于【已关闭】。
未开始:背景色:#C280FF,透明度:50%。含义:当前时间处于【计划开始时间】之前的任务。
风险:背景色:#FFFF00,透明度:50%。含义:当前任务在【计划开始时间】和【计划上线时间】内,但出于外界因素影响,任务执行者已经预知会发生风险,可以在此处主动标记为“风险”,界面会自动呈现黄色,以示警告。
延期:背景色:#D9001B,透明度:70%。含义:当前时间处于【计划上线时间】以后,且任务状态没有处于【已关闭】的情况。
4)【K线】
此列可排序,升序依据:K0->K1->K2->K3->K4->K5->ITP(互联网技术平台)->BD(事业部)->FP(职能平台)->M(公司管理层)->LSBG(生活服务事业群)。
即项目管理系统中创建任务时的需求部门。问题类型为【测试】或【缺陷】则没有K线的概念。
5)【优先级】
此列可排序,升序依据:低->中->高->极高。
其值来自于项目管理系统,按照严重程度分为:低、中、高和极高;其中“极高”会被标记为红色,色值为:#D9001B,透明度:无。
6)【类型】
项目管理系统中的问题类型,主要包含需求、小需、技术需求、任务、子任务;目前缺陷和测试暂时不计入统计范围,但是数据库会保留相关历史数据,用于溯源统计和精确统计。
7)【经办人】
任务的处理者或需求的提出者,如果项目管理系统中出现了经办人变更行为,则以最终变更到的人为主。
绝对空闲:人员可能会同时处于多个不同的项目或需求中,当他所在的所有任务的【实际状态】都已经处于“完成”状态,那么系统将会自动标记这个人处于绝对空闲状态。此时界面会被标记为浅绿色背景(背景色:#CAF982,透明度:无)辅助提示用户,无需再去查看右侧日历排期。
8)【工时/人天】
人天的基本值为8小时每天。如果当前需求池包含版本控制,则会在首个需求的创建者那列,汇总当前版本每个人的共时,形成总工时,同时标记为红色,色值为:#D9001B,透明度:无。
9)【任务状态】
其值来自于项目管理系统,主要有:产品设计、开发中、处理中、发布中、已解决、废弃、终止、暂停、打开等等。
10)【计划开始时间】
当前项目管理系统中没有这个字段,需要在创建问题的时候加入这个字段。如果项目管理系统中创建的问题没有该字段,那么系统则会默认以当前记录的创建时间为“计划开始时间”。
11)【计划上线时间】
项目管理系统中的计划上线时间,如果项目管理系统中的记录未填写或丢失,那么此处默认不做处理,默认提示文案:未填写。
(3)阶段性空闲
用于辅助管理者查看哪些员工处于阶段性空闲状态。
定义:在某几个指定部门下,特定时间段内,遍历完成这些人所涉及到的所有任务后,所空闲的时间视为“阶段性空闲时间”。阶段性空闲时间以当前查询时间为起点,时间段的结束时间为终点。
触发【阶段空闲】按钮后,项目列表隐藏其他字段,显示部门和姓名两个字段;日历看板保持不变。后台接口会返回每天所对应的空闲的人名以及邮箱前缀。界面中需要标记当天对应的中文姓名,鼠标悬停后显示其邮箱前缀名称。
进一步可选地,电子设备除了可以用甘特图的方式显示汇总后数据之后,还可以基于汇总后数据进行团队管理,具体的团队管理可以包括如下处理方式,即,电子设备基于汇总后数据计算下述参数的具体数值:
(1)部门负荷率
用于统计指定部门下所有组的人员工时和疲劳度,数据来源于项目管理系统中的工时信息。按照组的维度,获取下面所有的人员信息,通过人员排重后,在指定的时间段内统计出总工时和疲劳度。此处的人员信息和组织机构信息由人力资源管理系统模块提供支持。
(2)人效报表
以人力资源管理系统组织机构为基础,统计每个部门下的人员的工时填写情况,数据来源于项目管理系统。
(3)个人效率
以人力资源管理系统组织机构为基础,统计每个部门下的人员工时排名和疲劳度排名,从高到低降序排列。数据来源于项目管理系统。
(4)工时填写统计
以人力资源管理系统组织机构为基础,统计每个中心下的总工时填写情况、团队负荷情况和填写率,其数据来源于项目管理系统。
在本实施例的另一些可选实施方式中,电子设备还可以基于汇总后数据进行需求管理,具体的需求管理可以包括如下处理方式:
所述的需求管理,用于统计需求平均研发周期、发布周期偏差、需求吞吐率、需求积压率、当前月等待处理需求数量、当月已完成需求数量、当月处理中的需求数量和需求完成时间分布等内容;并智能过滤和排除相似的任务工作,准确定位和通知管理者、首次任务创建者和重复任务创建者,监控重复项目、任务和工作的创建,增强多部门开发和协同工作的能力。其可以利用汇总后数据进行下述参数的计算:
(1)当月需求平均研发周期
每一条记录中(已解决的时间值减去创建时间的值)求和然后除以总共的记录条数;若已解决为空,则公式调整为:「计划上线时间-创建时间」除以需求总数;「计划上线时间也为空,则词条记录为空,不纳入统计范围,总记录数也不包含此条记录」
(2)当月需求发布偏差
每一条记录中(已解决的时间值减去计划上线时间值)求和然后除以总共的记录条数。
「若计划上线时间为空或>已解决,则结果为0;若已解决时间为空,则结果也为0;但当前记录条数纳入统计范围;因为如果出现负数过多的情况,统计图有可能无法展示」
(3)月新增需求
查询新增需求时只需要查询一条结果,获取总total数即可。其中此条件需要去除“已关闭”的数据。
(4)需求吞吐率
当月解决的需求总数除以当月新增的需求总数。统计条件说明:1、status=已关闭;2、resolved>=2020-05-01AND resolved<=2020-05-31。不再是created作为统计条件。
(5)需求积压率
等待处理的需求总数除以月新增的需求总数。统计条件同【JQL-1】不变;筛选条件为:当月创建且状态为已解决。
(6)团队负荷
单位时间内,团队填写的总工时/团队总人数/当月工作小时数。吞吐率=(已完成的需求总数)除以(当月新增需求总数);积压率=(等待处理的需求总数)除以(当月新增需求总数)。
在本实施例中还提供了一种数据处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种数据处理装置,如图6所示,包括:
获取模块41,用于获取至少一个数据源中的实时数据;
提取模块42,用于提取各个所述实时数据的关键字以及历史数据的关键字;
确定模块43,用于基于各个所述实时数据的关键字以及所述历史数据的关键字,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度;
处理模块44,用于根据确定出的所述关联度,对所述至少一个数据源中的实时数据进行处理。
本实施例提供的数据处理装置,通过利用获取到的实时数据按照其关键字与历史数据的关键字的关联度,对实时数据进行处理,可以在至少一个数据源中的实时数据中去除与历史数据的关联度较高的实时数据,在数据处理过程中均是以统一的术语进行的,可以避免数据的冗余重复所导致的数据处理准确率低的问题。
本实施例中的数据处理装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种电子设备,具有上述图6所示的数据处理装置。
请参阅图7,图7是本发明可选实施例提供的一种电子设备的结构示意图,如图7所示,该电子设备可以包括:至少一个处理器51,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口53,存储器54,至少一个通信总线52。其中,通信总线52用于实现这些组件之间的连接通信。其中,通信接口53可以包括显示屏(Display)、键盘(Keyboard),可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图6所描述的装置,存储器54中存储应用程序,且处理器51调用存储器54中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线52可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器54可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器54还可以包括上述种类的存储器的组合。
其中,处理器51可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器54还用于存储程序指令。处理器51可以调用程序指令,实现如本申请图1、2以及4实施例中所示的数据处理方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的数据处理方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
获取至少一个数据源中的实时数据;
提取各个所述实时数据的关键字以及历史数据的关键字;
基于各个所述实时数据的关键字以及所述历史数据的关键字,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度;
根据确定出的所述关联度,对所述至少一个数据源中的实时数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述数据源包括人力资源管理系统以及项目管理系统,所述获取至少一个数据源中的实时数据,包括:
每隔预设时间间隔从所述人力资源管理系统以及所述项目管理系统中提取数据;
基于预设规则对提取出的数据进行数据清洗,得到所述实时数据。
3.根据权利要求2所述的方法,其特征在于,所述基于预设规则对提取出的数据进行数据清洗,得到所述实时数据,包括:
依次判断从所述人力资源管理系统中提取出的数据中是否存在已离职的人员信息数据;
当存在已离职的人员信息数据时,去除所述已离职的人员信息数据;
依次判断从所述项目管理系统中提取出的数据中任务开始时间,或任务结束时间是否丢失;
当所述数据中任务开始时间,或任务结束时间丢失时,去除所述任务开始时间,或任务结束时间丢失的数据,得到所述实时数据。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述实时数据包括实时任务数据,所述实时数据的关键字包括新建任务的名称及其对应的用户信息,所所述历史数据包括历史任务数据,所述历史数据的关键字包括所述历史数据中历史任务的名称及其对应的用户信息,所述基于各个所述实时数据的关键字以及所述历史数据的关键字,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度,包括:
利用所述实时数据中新建任务的名称及其对应的用户信息,以及所述历史数据中历史任务的名称及其对应的用户信息,分别建立与用户对应的第一任务向量以及第二任务向量,所述第一任务向量与所述实时数据对应,所述第二任务向量与所述历史数据对应;
基于所述第一任务向量以及所述第二任务向量,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度。
5.根据权利要求4所述的方法,其特征在于,所述根据确定出的所述关联度,对所述至少一个数据源中的实时数据进行处理,包括:
去除所述实时数据中与所述历史数据的关联度超出预设值的数据,得到待处理数据;
提取所述待处理数据中的关键字;
基于提取出的关键字对所述待处理数据进行汇总。
6.根据权利要求5所述的方法,其特征在于,所述基于提取出的关键字对所述待处理数据进行汇总,包括:
响应于对汇总后数据的排序操作;
判断所述汇总后数据的数量是否超出预设值;
当所述待处理数据的数量大于或等于预设值时,采用第一排序方法对所述汇总后数据进行排序;
当所述待处理数据的数量小于所述预设值时,采用第二排序方法对所述汇总后数据进行排序。
7.根据权利要求5所述的方法,其特征在于,所述基于提取出的关键字对所述待处理数据进行汇总,还包括:
采用甘特图显示汇总后数据;
响应于对汇总后数据的排期操作;
提取所述汇总后数据中的任务开始时间以及任务结束时间;
利用提取出的所述任务开始时间以及任务结束时间,对汇总后数据进行任务排期。
8.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取至少一个数据源中的实时数据;
提取模块,用于提取各个所述实时数据的关键字以及历史数据的关键字;
确定模块,用于基于各个所述实时数据的关键字以及所述历史数据的关键字,确定各个所述实时数据的关键字与所述历史数据的关键字的关联度;
处理模块,用于根据确定出的所述关联度,对所述至少一个数据源中的实时数据进行处理。
9.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-7中任一项所述的数据处理方法。
CN202011086821.3A 2020-10-12 2020-10-12 数据处理方法、装置及电子设备 Pending CN112184173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011086821.3A CN112184173A (zh) 2020-10-12 2020-10-12 数据处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011086821.3A CN112184173A (zh) 2020-10-12 2020-10-12 数据处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112184173A true CN112184173A (zh) 2021-01-05

Family

ID=73951133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011086821.3A Pending CN112184173A (zh) 2020-10-12 2020-10-12 数据处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112184173A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657858A (zh) * 2021-08-11 2021-11-16 挂号网(杭州)科技有限公司 需求信息的通知方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150327A1 (en) * 2004-01-21 2007-06-28 Rncc Global Projects Project management method and system
US20110071869A1 (en) * 2009-09-24 2011-03-24 Bp Logix Process management system and method
US20120078906A1 (en) * 2010-08-03 2012-03-29 Pankaj Anand Automated generation and discovery of user profiles
US20120215578A1 (en) * 2009-08-31 2012-08-23 Swierz Iii N Frank Method and system for implementing workflows and managng staff and engagements
US20170365021A1 (en) * 2016-05-27 2017-12-21 Cpa Global Limited Idea and Trade Secret Management Systems and Methods
US20180260749A1 (en) * 2017-03-10 2018-09-13 Walmart Apollo, Llc System and method for filtering project information from display
US20190042601A1 (en) * 2017-08-01 2019-02-07 Salesforce.Com, Inc. Facilitating mobile device interaction with an enterprise database system
CN111522707A (zh) * 2020-03-27 2020-08-11 中国平安财产保险股份有限公司 大数据平台调度预警方法、装置及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150327A1 (en) * 2004-01-21 2007-06-28 Rncc Global Projects Project management method and system
US20120215578A1 (en) * 2009-08-31 2012-08-23 Swierz Iii N Frank Method and system for implementing workflows and managng staff and engagements
US20110071869A1 (en) * 2009-09-24 2011-03-24 Bp Logix Process management system and method
US20120078906A1 (en) * 2010-08-03 2012-03-29 Pankaj Anand Automated generation and discovery of user profiles
US20170365021A1 (en) * 2016-05-27 2017-12-21 Cpa Global Limited Idea and Trade Secret Management Systems and Methods
US20180260749A1 (en) * 2017-03-10 2018-09-13 Walmart Apollo, Llc System and method for filtering project information from display
US20190042601A1 (en) * 2017-08-01 2019-02-07 Salesforce.Com, Inc. Facilitating mobile device interaction with an enterprise database system
CN111522707A (zh) * 2020-03-27 2020-08-11 中国平安财产保险股份有限公司 大数据平台调度预警方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王小健;刘延平;: "基于多源知识融合的企业知识管理方法", 科研管理, no. 08 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657858A (zh) * 2021-08-11 2021-11-16 挂号网(杭州)科技有限公司 需求信息的通知方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11245586B2 (en) Data insight scoring for performance analytics
US11178029B2 (en) Systems and methods of specifying service level criteria
US8826281B2 (en) Managing document publication using time-driven job scheduling
CN109102145B (zh) 流程编排
WO2019056710A1 (zh) 供应商推荐方法、装置及计算机可读存储介质
KR101125911B1 (ko) 업무 프로세스 분석을 위한 정보 처리 방법 및 장치
WO2017222898A1 (en) Workflow visualization platform
CN111125444A (zh) 大数据任务调度管理方法、装置、设备及存储介质
US20220335023A1 (en) Database validation and repair tool
CN114862270A (zh) 一种考勤数据处理方法和系统
JP5989194B1 (ja) テスト管理システムおよびプログラム
US20060195350A1 (en) Design review, progress check information transmission method and apparatus
CN115841310A (zh) 预案流程模型的构建方法、事件处理方法和装置
CN111861418A (zh) 一种任务生成方法、装置及电子设备
CN112184173A (zh) 数据处理方法、装置及电子设备
CN111190817B (zh) 软件缺陷的处理方法及装置
WO1994016397A2 (en) Method of enterprise-wide to do list scheduling
EP4083783A1 (en) Program development assistance system and program development assistance method
CN112965793A (zh) 一种面向标识解析数据的数据仓库任务调度方法和系统
CN111143325A (zh) 一种数据采集的监测方法、监测装置及可读存储介质
JP2020135440A (ja) 製品開発支援システム、製品開発支援方法及びプログラム
JP6920235B2 (ja) 障害影響調査装置および障害影響調査方法
JP6839131B2 (ja) 支援システム及び支援方法
US20230055168A1 (en) Project management system, method of operating project management system, and non-transitory computer-readable medium
CN114880316A (zh) 客户数据处理方法、系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination