CN115659934B - 一种表格文档中不同工作表列数据计算存储的方法 - Google Patents

Abstract

本发明属于数据处理服务领域，尤其涉及一种表格文档中不同工作表列数据计算存储的方法，包括存储于总部和分中心的服务器，服务器网络连接各分中心的操作端，服务器中设置操作程序，所述操作程序包括以下模块和功能：工作表和列对应关系配置、列计算逻辑配置、效能指标计算公式配置、列数据更新存储模块和维度数据计算模块。本发明替代了原先人工加工方式，避免每个文档都要额外加工成统一表头工作表，灵活配置统一大表对应的表头列，避免了人工大量操作导致的数据的不可靠性和数据头部的不完整性，节省了人工规范表格文件进行汇总的时间。

Description

一种表格文档中不同工作表列数据计算存储的方法

技术领域

本发明属于数据处理服务领域，尤其涉及一种表格文档中不同工作表列数据计算存储的方法。

背景技术

目前，规模较大的公司，因为部门、中心、项目等均较多，平时以表格为主的数据报表，缺乏工具进行结构化读取和维度展现，例如，公司不同项目Excel（或WPS表格）的原始数据存在于不同的表格文档中，表格文档中的工作表、表头名称和数量不一致，且项目原始数据表头经常变化的情况下，现有做法为通过人工加工方式，将每个文档都要额外加工成统一表头工作表，然后才能进行汇总处理，生成公司统一的效能报表，费时费力，且人工大量操作导致很可能存在数据的不可靠性和数据头部的不完整性。

现有技术中，中国专利申请CN 114118039 A公开了一种通过注解方式实现excel导入校验的方法，具体为对excel创建一个表头对象，表头对象的字段为导入列表的表头，创建自定义注解，对需要校验的列的表头字段设置注解，创建一个通用的导入工具类，导入时，识别表头和行数据，获取每个单元格对应的表头字段，再获取这个表头字段定义的注解，通过注解配置的校验方式，去校验单元格。该技术存在的不足之处是不能应用于集团公司多中心多项目的形式，应用到多个中心多个项目时，计算量很大，且计算很慢，汇总信息很困难。

发明内容

根据以上现有技术中的不足，发明提供了一种表格文档中不同工作表列数据计算存储的方法，替代了原先人工加工方式，避免每个文档都要额外加工成统一表头工作表，灵活配置统一大表对应的表头列，避免了人工大量操作导致的数据的不可靠性和数据头部的不完整性。

本发明所述的一种表格文档中不同工作表列数据计算存储的方法，包括存储于总部和分中心的服务器，服务器网络连接各分中心的操作端，服务器中设置操作程序，所述操作程序包括以下模块和功能：

工作表和列对应关系配置：配置不同项目表格文档的工作表和表头列跟统一效能报表的对应关系，并通过数据表头配置选项设置效能原始数据大表与业务原始数据表格的对应关系；

列计算逻辑配置：配置不同项目表头列数据到统一效能报表对应列的相加、相减、相乘或相除某常量值的计算逻辑；

效能指标计算公式配置：配置该项目的配置列在维度报表中是否参与计算和展示；

列数据更新存储模块：根据获取到的文件路径，遍历原始数据涉及的列表头列表，通过easyexcel读取表格数据，调用需提取的对应列表头数据监听器，读取对应的sheet表，在读取表头时检索日期、姓名、工号、指定存储列在工作表中的列号，easyexcel读取指定列的数据进行格式转换，根据表头对应关系配置中的技术逻辑进行已有数据和新读取数据的数学逻辑运算，根据日期、姓名、工号更新原始数据大表中指定存储列的数据，将计算后的数据写入mysql数据库；

维度数据计算模块：根据报表展示配置，计算效能指标，生成不同维度的效能报表并存入数据库。

所述的工作表和列对应关系配置中，配置表格文档中不同工作表的对应关系，进行同一份表格文档不同工作簿间表头列累加、累减、累乘或累除的数字计算逻辑，再存储到数据库。

所述的效能指标是指来根据通过效率计算公式、效能计算公式获取各基地、各中心、各项目、各效能维度的计算数据。

所述的服务器内部设置nginx代理服务器，当前操作端收到请求之后由nginx代理服务器发送请求给注册中心服务端；

注册中心服务端收到请求之后，easyExcel读取绑定文件判断配置文件条件是否符合，如果符合返回给当前操作用户，核验成功，下一步导入基础数据，并且将表格类业务处理逻辑交给该列数据更新存储模块；表头列配置后需进行数据核验才能生效进入列数据更新存储模块；

当列数据更新存储模块收到请求之后调用系统自定义线程池内空闲线程，线程异步处理表格数据，对原始数据进行转换，统一文档格式，空数据赋值，处理完成后更新存储到数据库，设置redis完成标识符。当前操作用户可在前端实时查询当前数据解析过程中的数据处理过程日志和解析结果；

其中，系统自定义线程池为系统启动时根据当前服务器的性能初始化最佳的多个线程池。

上述步骤中，通过自动或手动方式，检测项目的redis完成标识符是否齐全来确定项目所有特定列的列更新完毕。

所述的报表设置统一的筛选项、可选筛选项和功能展示内容，所述的报表包括功能展示内容的不同的效率报表模型、效能报表模型和预估报表模型。

所述的统一的筛选项包括基地、事业部、项目、结算方式、岗位、员工资历状态M状态、是否离职、开始日期和结束日期。

所述的可选筛选项包括可搜索、可单选或可多选的颗粒度信息、时间维度信息、岗位信息以及是否修正信息，其中颗粒度为事业部、基地、项目和个人。

所述的功能展示内容包括以下信息：

事业部维度信息、基地维度、项目维度的信息和个人信息，包括总人数、排班人数、出勤人数、工时利用率、平均处理时长AHT、平均人均接通量CPD、平均每小时接通量CPH、签入足时度、小休占比、出勤率、折合人数、平均通话时长ATT均长和平均事后处理时长ACW均长。

所述的个人信息还包括日期、所属事业部、所属基地、所属项目、排班工时h、出勤工时h、签入系统时长h、通话时长h、后处理时长h、空闲时长h、小休时长h、放休时长h、班会时长h、接通量和工时利用率。

本发明所具有的有益效果是：

本发明可通过数据专员自行在前端页面进行不同项目的对应关系和计算逻辑配置，并进行数据核验，easyExcel读取绑定文件判断配置文件条件是否符合，如果符合返回给当前操作用户，核验成功，导入基础数据，并且将表格类业务处理逻辑交给该列数据更新存储模块，通过多线程异步处理表格数据，对原始数据进行转换，统一文档格式，空数据赋值，处理完成后更新存储到数据库，设置redis完成标识符。定时任务读取不同项目的redis完成标识符，判断项目列数据均更新完成后调用维度数据计算模块，按效能报表模型生成基地、中心、部门、项目、效能维度数据。具有技术架构比较新，天然支持xls,xlsx等等多种格式，并且支持注解导入、Map导入、大数据导入、文件校验、字段校验、文件导出、模板导出、html导出等优点。目前该技术设计精巧，使用简单，接口丰富且及其容易对接，扩展。运行速度快，可以自己重写api中的方法根据自己服务器的资源合理的分配线程资源。

替代了原先人工加工方式，避免每个文档都要额外加工成统一表头工作表，灵活配置统一大表对应的表头列，避免人工大量操作导致的数据的不可靠性和数据头部的不完整性。为建立精准强大的数字化中台系统提供抓手，在Excel（或WPS表格）数据自动提取的过程中，进行数据的初筛，将内定的风险数据剔除在外，避免计算机病毒的传播。

节省了人工规范表格文件进行汇总的时间，节省了各数据指标表格内引用函数计算的时间，节省了人工对项目数据核验的时间，复用生成的数据提供给不同身份的人使用，提高了数据利用率，提高了数据来源的准确性，低代码的方式进行表格文档取值和逻辑计算，节约了二次开发的成本。

附图说明

图1为本发明程序功能原理图；

图2为实施例1的效能报表模型；

图3为本发明的逻辑判断图；

图4为本发明的列数据更新存储模块流程图。

具体实施方式

下面结合附图对本发明的实施例做进一步描述：

实施例1：

图3中，实心黑点代表开始，空心黑点代表结束，开始后按照顺序先执行左侧的操作，再执行右侧的操作，最后结束。

图4中，实心黑点代表开始，开始后为同时对多个列进行的列数据更新存储操作。

如图1-图4所示，表格文档中不同工作表列数据计算存储的方法，包括存储于总部和分中心的服务器，服务器网络连接各分中心的操作端，服务器中设置操作程序，所述操作程序包括以下模块和功能：

工作表和列对应关系配置：配置不同项目表格文档的工作表和表头列跟统一效能报表的对应关系，并通过数据表头配置选项设置效能原始数据大表与业务原始数据表格的对应关系；

例如姓名、日期、签入系统时长分别取存储服务器中的哪份表格文件，哪个工作表，哪列数据；

列计算逻辑配置：配置不同项目表头列数据到统一效能报表对应列的相加、相减、相乘或相除某常量值的计算逻辑；

例如：配置日期格式是否需要转换，配置签入系统时长是否需要多列相加减，配置签入系统时长是否需要由小时转分钟转秒等计算逻辑；

效能指标计算公式配置：配置该项目的配置列在维度报表中是否参与计算和展示；

例如：配置是否计算工时利用率、是否计算签入足时度、出勤等指标；

列数据更新存储模块：根据获取到的文件路径，遍历原始数据涉及的列表头列表，通过easyexcel读取表格数据，调用需提取的对应列表头数据监听器，读取对应的sheet表，在读取表头时检索日期、姓名、工号、指定存储列在工作表中的列号，easyexcel读取指定列的数据进行格式转换，根据表头对应关系配置中的技术逻辑进行已有数据和新读取数据的数学逻辑运算，根据日期、姓名、工号更新原始数据大表中指定存储列的数据，将计算后的数据写入mysql数据库；

维度数据计算模块：根据报表展示配置，计算效能指标，生成不同维度的效能报表并存入数据库。

工作表和列对应关系配置中，配置表格文档中不同工作表的对应关系，进行同一份表格文档不同工作簿间表头列累加、累减、累乘或累除的数字计算逻辑，再存储到数据库。

效能指标是指来根据通过效率计算公式、效能计算公式获取各基地、各中心、各项目、各效能维度的计算数据。

服务器内部设置nginx代理服务器，当前操作端收到请求之后由nginx代理服务器发送请求给注册中心服务端；

注册中心服务端收到请求之后，easyExcel读取绑定文件判断配置文件条件是否符合，如果符合返回给当前操作用户，核验成功，下一步导入基础数据，并且将表格类业务处理逻辑交给该列数据更新存储模块；表头列配置后需进行数据核验才能生效进入列数据更新存储模块；

当列数据更新存储模块收到请求之后调用系统自定义线程池内空闲线程，线程异步处理表格数据，对原始数据进行转换，统一文档格式，空数据赋值，处理完成后更新存储到数据库，设置redis完成标识符。当前操作用户可在前端实时查询当前数据解析过程中的数据处理过程日志和解析结果；

其中，系统自定义线程池为系统启动时根据当前服务器的性能初始化最佳的多个线程池。

通过自动或手动方式，检测项目的redis完成标识符是否齐全来确定项目所有特定列的列更新完毕。

具体操作步骤是：

1、数据专员在前端页面进行不同项目的对应关系和计算逻辑配置，并进行数据核验，当前端收到核验请求之后由nginx代理服务器发送请求给注册中心服务端；

2、注册中心服务端收到请求之后，easyExcel读取绑定文件判断配置文件条件是否符合，如果符合返回给当前操作用户，核验成功，是否导入基础数据，并且将表格类业务处理逻辑交给该列数据更新存储模块；

3、当列数据更新存储模块收到请求之后调用系统自定义线程池（系统启动时根据当前服务器的性能初始化最佳的线程池数量）内空闲线程，线程异步处理表格数据，对原始数据进行转换，统一文档格式，空数据赋值，处理完成后更新存储到数据库，设置redis完成标识符。当前操作用户可在前端实时查询当前数据解析过程中的数据处理过程日志和解析结果。

4、定时任务读取不同项目的redis完成标识符，项目列数据均更新完成后调用维度数据计算模块。

5、维度计算模块，按照企业的效能报表模型（图2中所示）生成基地、中心、部门、项目、效能维度数据。

6、解析报错信息成用户可读的反馈消息，并生成对应日志到固定文件，反馈消息在前台反馈给用户，用户通过进度查询信息实时了解计算进度和异常情况。

报表设置统一的筛选项、可选筛选项和功能展示内容，所述的报表包括功能展示内容的不同的效率报表模型、效能报表模型和预估报表模型。

统一的筛选项包括基地、事业部、项目、结算方式、岗位、员工资历状态M状态、是否离职、开始日期和结束日期。

可选筛选项包括可搜索、可单选或可多选的颗粒度信息、时间维度信息、岗位信息以及是否修正信息，其中颗粒度为事业部、基地、项目和个人。

功能展示内容包括以下信息：

事业部维度信息、基地维度、项目维度的信息和个人信息，包括总人数、排班人数、出勤人数、工时利用率、平均处理时长AHT、平均人均接通量CPD、平均每小时接通量CPH、签入足时度、小休占比、出勤率、折合人数、平均通话时长ATT均长和平均事后处理时长ACW均长。

个人信息还包括日期、所属事业部、所属基地、所属项目、排班工时h、出勤工时h、签入系统时长h、通话时长h、后处理时长h、空闲时长h、小休时长h、放休时长h、班会时长h、接通量和工时利用率。

实施例2：

项目的甲方系统表头数据发生变化，效能指标取值公式需要改变。

例如，项目的签入系统时长取值公式由原先的（‘登陆时长’列数据-‘就餐时长’列数据）/3600的计算逻辑变为 ‘接线时长’+‘接线-服务中时长’+‘接线-空闲时长’+‘接线-话后处理时长’+‘小休时长’+‘忙碌时长’+‘忙碌-工单外呼时长’+‘忙碌-会议时长’+‘忙碌-辅导时长’+‘忙碌-培训时长’+‘忙碌-支援时长’+‘小休-休息时长’+‘小休-就餐时长’+‘小休-签入小休时长’+‘小休-强制小休时长’的计算逻辑。原先需数据专员联系开发人员修改映射文件后生效。现在数据专员可自行通过系统的签入系统时长配置按钮设置取工作表的那几列，每列数据怎么计算。实现数据专员自行、实时维护项目的取值公式。节约了开发维护成本，提高了工作效率，公式落地的时间由原先的几个小时变成一两分钟。

实施例3：

公司上线新的项目，甲方的业务系统数据表头经常变化，且与公司的统一表头信息完全不一样。

例如，有的表姓名字段是姓名、人员姓名、小二花名、系统花名、处理人花名等不同的字段名，这时候可以采用系统进行配置读取甲方业务系统表格数据，不需要开发人员参与，数据专员可在较短时间实现新项目的数据落地。

如果甲方业务数据发生变动，系统在导入前核验工作表表头列数据是否存在，不存在提醒数据人员进行配置修改，保证数据的准确性。

实验数据证明：

本方法节省了人工规范表格文件进行汇总的时间，节省了各数据指标表格内引用函数计算的时间，节省了人工对项目数据核验的时间，复用生成的数据提供给不同身份的人使用，提高了数据利用率，提高了数据来源的准确性，低代码的方式进行表格文档取值和逻辑计算，节约了二次开发的成本。

Claims (10)

1.一种表格文档中不同工作表列数据计算存储的方法，包括存储于总部和分中心的服务器，服务器网络连接各分中心的操作端，服务器中设置操作程序，其特征在于：所述操作程序包括以下模块和功能：

工作表和列对应关系配置：配置不同项目表格文档的工作表和表头列跟统一效能报表的对应关系，并通过数据表头配置选项设置效能原始数据大表与业务原始数据表格的对应关系；

列计算逻辑配置：配置不同项目表头列数据到统一效能报表对应列的相加、相减、相乘或相除某常量值的计算逻辑；

效能指标计算公式配置：配置该项目的配置列在维度报表中是否参与计算和展示；

列数据更新存储模块：根据获取到的文件路径，遍历原始数据涉及的列表头列表，通过easyexcel读取表格数据，调用需提取的对应列表头数据监听器，读取对应的sheet表，在读取表头时检索日期、姓名、工号、指定存储列在工作表中的列号，easyexcel读取指定列的数据进行格式转换，根据表头对应关系配置中的技术逻辑进行已有数据和新读取数据的数学逻辑运算，根据日期、姓名、工号更新原始数据大表中指定存储列的数据，将计算后的数据写入mysql数据库；

维度数据计算模块：根据报表展示配置，计算效能指标，生成不同维度的效能报表并存入数据库。

2.根据权利要求1所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：所述的工作表和列对应关系配置中，配置表格文档中不同工作表的对应关系，进行同一份表格文档不同工作簿间表头列累加、累减、累乘或累除的数字计算逻辑，再存储到数据库。

3.根据权利要求1所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：所述的效能指标是指来根据通过效率计算公式、效能计算公式获取各基地、各中心、各项目、各效能维度的计算数据。

4.根据权利要求1所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：所述的服务器内部设置nginx代理服务器，当前操作端收到请求之后由nginx代理服务器发送请求给注册中心服务端；

注册中心服务端收到请求之后，easyExcel读取绑定文件判断配置文件条件是否符合，如果符合返回给当前操作用户，核验成功，下一步导入基础数据，并且将表格类业务处理逻辑交给该列数据更新存储模块；表头列配置后需进行数据核验才能生效进入列数据更新存储模块；

当列数据更新存储模块收到请求之后调用系统自定义线程池内空闲线程，线程异步处理表格数据，对原始数据进行转换，统一文档格式，空数据赋值，处理完成后更新存储到数据库，设置redis完成标识符,当前操作用户可在前端实时查询当前数据解析过程中的数据处理过程日志和解析结果；

其中，系统自定义线程池为系统启动时根据当前服务器的性能初始化最佳的多个线程池。

5.根据权利要求4所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：通过自动或手动方式，检测项目的redis完成标识符是否齐全来确定项目所有特定列的列更新完毕。

6.根据权利要求1所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：所述的报表设置统一的筛选项、可选筛选项和功能展示内容，所述的报表包括功能展示内容的不同的效率报表模型、效能报表模型和预估报表模型。

7.根据权利要求6所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：所述的统一的筛选项包括基地、事业部、项目、结算方式、岗位、员工资历状态M状态、是否离职、开始日期和结束日期。

8.根据权利要求6所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：所述的可选筛选项包括可搜索、可单选或可多选的颗粒度信息、时间维度信息、岗位信息以及是否修正信息，其中颗粒度为事业部、基地、项目和个人。

9.根据权利要求6所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：所述的功能展示内容包括以下信息：

事业部维度信息、基地维度、项目维度的信息和个人信息，包括总人数、排班人数、出勤人数、工时利用率、平均处理时长AHT、平均人均接通量CPD、平均每小时接通量CPH、签入足时度、小休占比、出勤率、折合人数、平均通话时长ATT均长和平均事后处理时长ACW均长。

10.根据权利要求9所述的表格文档中不同工作表列数据计算存储的方法，其特征在于：所述的个人信息还包括日期、所属事业部、所属基地、所属项目、排班工时h、出勤工时h、签入系统时长h、通话时长h、后处理时长h、空闲时长h、小休时长h、放休时长h、班会时长h、接通量和工时利用率。

Images