CN115269515B

CN115269515B - 一种检索指定目标文档数据处理方法

Info

Publication number: CN115269515B
Application number: CN202211155019.4A
Authority: CN
Inventors: 史卜仓; 韩旭; 刘恒
Original assignee: Taiying Technology Group Co ltd
Current assignee: Taiying Technology Group Co ltd
Priority date: 2022-09-22
Filing date: 2022-09-22
Publication date: 2022-12-09
Anticipated expiration: 2042-09-22
Also published as: CN115269515A

Abstract

本发明属于数据处理服务领域，尤其涉及一种检索指定目标文档数据处理方法。该直接应用于数据资产原始表单数据的检索、解析、加工、入库、维度展现的一种方法。该发明直接应用于公司不同项目Excel（或WPS表格）原始数据的多sheet表头不统一情况下，定时自动提取或按文件夹目录或者文件名称检索原始表格记录，灵活配置sheet及表头读取项，将数据解析汇总到数据库表，并进行时间、基地、项目、效能维度展示的系统发明。

Description

一种检索指定目标文档数据处理方法

技术领域

本发明涉及一种检索指定目标文档数据处理方法，属于数据处理服务领域。

背景技术

因为公司部门、中心、项目较多，平时以表格为主的数据报表，缺乏工具进行结构化读取和维度展现。

现有技术中，中国专利申请CN 114118039 A公开了涉及excel导入数据的校验技术领域，特别涉及通过注解方式实现excel导入校验的方法，对excel创建一个表头对象，表头对象的字段为导入列表的表头，创建自定义注解，对需要校验的列的表头字段设置注解，创建一个通用的导入工具类，导入时，识别表头和行数据，获取每个单元格对应的表头字段，再获取这个表头字段定义的注解，通过注解配置的校验方式，去校验单元格。该技术存在的不足之处是不能应用于集团公司多中心多项目的形式，应用到多个中心多个项目时，计算量很大，很慢，汇总信息很困难。

发明内容

本发明的目的是针对以上问题，提供一种适用于多中心多项目的一种检索指定目标文档数据处理方法。

其技术方案为：

一种检索指定目标文档数据处理方法，包括存储于总部和分中心的服务器，服务器网络连接各分中心的操作端，服务器中设置操作程序，其特征在于：所述操作程序包括数据传输连接的数据检索封装模块，通过java自带的File方法对文件夹目录进行遍历，将遍历结果按树结构进行封装，实时过滤树状展示的文档和目录；文件关键字过滤模块，跟文件名和文件路径数据匹配关键字，过滤掉不包含关键字的文件；勾选项统计模块，过滤勾选的文件夹，统计勾选的文件，获取各文件目录数据，推送到数据解析模块进行统计；数据解析模块，根据获取到的文件路径，异步读取不同的sheet表，通过easyexcel读取表格数据，调用不同的java监听实例对应的sheet表，在读取表头时对需要的有效字段建立统一的别名，去除不需要的字段节省内存；根据统一别名读取数据，进行列数据技术和汇总数据计算；将读取的基础数据和技术数据写入mysql数据库；消息回显模块，返回文档校验信息和日志记录；维度计算模块，将获取到的数据得到不同维度的KPI考核指标，生成对应报表进行展现。

所述的遍历结果包括文件名、文档类型、文档修改时间、文档大小和文档目录。

所述的KPI考核指标是指来根据通过效率计算公式、效能计算公式获取各基地、各中心、各项目、各效能维度的计算数据。

所述的服务器内部设置nginx代理服务器，当前操作端收到请求之后由nginx代理服务器发送请求给注册中心服务端；注册中心服务端收到请求之后判断请求条件是否符合，如果符合返回给当前操作用户，推送表格文件成功，并且将表格类业务处理逻辑交给该数据解析模块；当数据解析模块收到请求之后调用系统自定义线程池（系统启动时根据当前服务器的性能初始化最佳的线程池数量）内空闲线程，线程异步处理表格数据；处理完成后存储到数据库。当前操作用户可在前端实时查询当前数据解析过程中的数据处理过程日志和解析结果。

所述的操作用户初始访问页面，文件和文件夹数据检索和封装模块，默认查询某目录路径，后台调用java的自带File方法，遍历目录下文件及子目录中的文件，将文件和目录数据按map格式封装，生成JSON树结构,返回文件名，文件大小，修改时间，文件路径。

所述的操作用户在目录监听框中多关键字检索指定目录,多个条件用英文逗号隔开，实时检索；通过监听器监听目录查询关键字的变化，实时调用目录过滤方法，过滤掉不包含关键字的目录，可对过滤后的目录进行多选框勾选。

所述的数据解析模块还包括并发读取数据，对原始数据进行转换，统一文档格式，空数据赋值，推送到维度计算模块。

所述的报表设置统一的筛选项、可选筛选项和功能展示内容，所述的报表包括功能展示内容的不同的效率报表模型、效能报表模型和预估报表模型；所述的统一的筛选项包括基地、事业部、项目、结算方式、岗位、员工资历状态、是否离职、开始日期和结束日期；所述的可选筛选项包括可搜索、可单选或可多选的颗粒度信息、时间维度信息、岗位信息以及是否修正信息。

所述的效率报表模型的颗粒度信息包括事业部维度信息、基地维度、项目维度的信息和个人信息，功能展示内容包括以下信息：总人数、排班人数、出勤人数、工时利用率、平均处理时长AHT、平均人均接通量CPD、平均每小时接通量CPH、签入足时度、小休占比、出勤率、折合人数、平均通话时长ATT均长和平均事后处理时长ACW均长。

所述的个人信息还包括日期、所属事业部、所属基地、所属项目、排班工时h、出勤工时h、签入系统时长h、通话时长h、后处理时长h、空闲时长h、小休时长h、放休时长h、班会时长h、接通量和工时利用率。

本发明由自动或手动勾选方式跨目录获取到表格文件的数据，进行格式统一转换，进入数据库，通过计算公式获取效率报表模型、效能报表模型，获取基地、中心、项目、效能等维度的计算数据。能精确、自动化的获取文档，进行指定sheet和表头的数据解析，统一导入到数据库，通过多线程方式读写数据到数据库，并进行多维度数据计算，支持多线程并发状态数据解析结果实时查询和解析问题定位。具有技术架构比较新，天然支持xls,xlsx等等多种格式，并且支持注解导入、Map导入、大数据导入、文件校验、字段校验、文件导出、模板导出、html导出等优点。目前该技术设计精巧，使用简单，接口丰富且及其容易对接，扩展。运行速度快，可以自己重写api中的方法根据自己服务器的资源合理的分配线程资源。

替代了原先人工加工方式，避免每个文档都要单独提交或导入到系统，智能化文件检索和定时读取表格，避免人工大量操作导致的数据的不可靠性和数据头部的不完整性。为建立精准强大的数字化中台系统提供抓手，在Excel（或WPS表格）数据自动提取的过程中，进行数据的初筛，将内定的风险数据剔除在外，避免计算机病毒的传播。

附图说明

图1为本发明程序功能原理图；

图2为本发明的逻辑判断图；

图3为本发明的根据关键字过滤目录文件名检索指定文件流程图；

图4为本发明的表格文件获取指定表头列流程图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

实施例1

如图1所示，包括存储于总部和分中心的服务器，服务器网络连接各分中心的操作端，服务器中设置操作程序。所述操作程序包括以下模块和功能：

1、文件和文件夹数据检索和封装模块：通过java自带的File方法对文件夹目录进行遍历，将遍历结果（文件名，文档类型，文档修改时间，文档大小，文档目录）按树结构进行封装，实时过滤树状展示的文档和目录；

2.文件关键字过滤模块：跟文件名和文件路径数据匹配关键字，过滤掉不包含关键字的文件；

3.勾选项统计模块：过滤勾选的文件夹，统计勾选的文件，获取各文件目录数据，推送到数据解析模块进行统计；

4.数据解析模块：根据获取到的文件路径，异步读取不同的sheet表，通过easyexcel读取表格数据，调用不同的java监听实例对应的sheet表，在读取表头时对需要的有效字段建立统一的别名，去除不需要的字段节省内存。根据统一别名读取数据，进行列数据技术和汇总数据计算。将读取的基础数据和技术数据写入mysql数据库。

5.消息回显模块：返回文档校验信息和日志记录。

6、维度计算模块：将获取到的数据通过，泰盈运营效率模型、效能模型、预估模块得到不同维度的KPI考核指标，生成对应报表进行展现。

如图2-4所示，具体步骤是：

1.当前端收到请求之后由nginx代理服务器发送请求给注册中心服务端；

2. 注册中心服务端收到请求之后判断请求条件是否符合，如果符合返回给当前操作用户，推送表格文件成功，并且将表格类业务处理逻辑交给该数据解析模块；

3. 当数据解析模块收到请求之后调用系统自定义线程池（系统启动时根据当前服务器的性能初始化最佳的线程池数量）内空闲线程，线程异步处理表格数据；

4. 处理完成后存储到数据库。当前操作用户可在前端实时查询当前数据解析过程中的数据处理过程日志和解析结果。

5、操作用户初始访问页面，文件和文件夹数据检索和封装模块，默认查询某目录路径，后台调用java的自带File方法，遍历目录下文件及子目录中的文件，将文件和目录数据按map格式封装，生成JSON树结构,返回文件名，文件大小，修改时间，文件路径；

6、操作用户在目录监听框中多关键字检索指定目录,多个条件用英文逗号隔开，实时检索；通过监听器监听目录查询关键字的变化，实时调用目录过滤方法，调用目录展开方法，将过滤后的目录进行展开；

7、用户在文件查询框中多关键字检索指定目录,多个条件用英文逗号隔开，在用户输入完文件关键字回车或鼠标移开后，调用目录检索方法，遍历目录下文件及子目录中的文件；

8、用户勾选对应目录或文件前的勾选框，点击推送到数据库按钮，进行数据解析。调取勾选框统计方法，统计所有全选或半选的目录，过滤目录后，将文件数据传到后台验证后台根据目录关键字和文件关键字过滤文件数据，将文件目录传给数据解析模块，读取本地文件进行解析，数据解析模块验证数据准确性，执行去重方法，导入计算后的数据进入数据库，供数据中台调用，返回数据导入结果和导入报错信息；

9.数据解析模块，并发读取数据，对原始数据进行转换，统一文档格式，空数据赋值，推送到维度计算模板。

10、维度计算模块，按泰盈运营效率模型、效能模型、预估模型生成基地、中心、部门、项目、效能维度数据。

11、解析报错信息成用户可读的反馈消息，并生成对应日志到固定文件，反馈消息在前台反馈给用户，用户通过进度查询信息实时了解计算进度和异常情况。

报表设置统一的筛选项、可选筛选项和功能展示内容，报表包括功能展示内容的不同的效率报表模型、效能报表模型和预估报表模型；统一的筛选项包括基地、事业部、项目、结算方式、岗位、员工资历状态（M状态）、是否离职、开始日期和结束日期；可选筛选项包括可搜索、可单选或可多选的颗粒度信息、时间维度信息、岗位信息以及是否修正信息。

如表1所示，效率报表模型的功能展示内容包括以下四种信息：事业部维度信息、基地维度、项目维度的信息和个人信息，包括总人数、排班人数、出勤人数、工时利用率、AHT（平均处理时长）、CPD(平均人均接通量)、CPH(平均每小时接通量)、签入足时度、小休占比、出勤率、折合人数、ATT均长(平均通话时长)和ACW均长(平均事后处理时长)。

个人信息还包括日期、所属事业部、所属基地、所属项目、排班工时h、出勤工时h、签入系统时长h、通话时长h、后处理时长h、空闲时长h、小休时长h、放休时长h、班会时长h、接通量和工时利用率。

表1效率报表模型

实施例2：

根据目录关键字（2022,7月）统一查找公司各基地，各中心，各项目，各班组下，目录是2022年7月的文件夹下的文件，或通过文件关键字（运营数据,3）查找文件名含运营数据*3的文件，进行勾选推送到数据中台系统进行计算，沉淀结构化数据，平时7人3天的人工计算工作量，1人1天就可以计算完成，得到不同表里想要的数据。

实施例3：

公司需要临时处理一批表格文件到数据库，但是数据的表头信息完全不一样。

例如，有的表姓名字段是人员姓名、员工姓名、员工等不同的字段名，这时候可以采用系统进行处理。

首先，在配置文档中配置字段的映射关系，比如将人员姓名、员工姓名、员工等同一属性但字段名称不同的字段，起个别名“name”。

其次，系统读取每份文件时会判断表格的表头字段是否为“姓名”、“员工姓名”、“员工”。如果是，将这些姓名字段名进行统一设置别名“name”，然后将不同表的姓名字段的整列数据保存在表头为“name”的列数据中。

再次，只保留别名字段的数据到数组中，遍历数组，进行数据校验（别名行的每一行的数据进行格式判断、为空判断、为null判断、有效性判断等）。同时，赋值到java的对象类中，通过保存方法存放到mysql数据库里。

实验数据证明：

节省本地查找各不同文件、各系统多次上传文档的时间，一键导入多份文档，节省了多次提交的时间，节省了人工规范表格文件进行汇总的时间，节省了各数据指标表格内引用函数计算的时间。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种检索指定目标文档数据处理方法，包括存储于总部和分中心的服务器，服务器网络连接各分中心的操作端，服务器中设置操作程序，其特征在于：所述操作程序包括数据传输连接的

数据检索封装模块，通过java自带的File方法对文件夹目录进行遍历，将遍历结果按树结构进行封装，实时过滤树状展示的文档和目录；

文件关键字过滤模块，跟文件名称和文件路径数据进行匹配；

勾选项统计模块，过滤勾选的文件夹，统计勾选的文件，获取各文件目录数据，推送到数据解析模块进行统计；

数据解析模块，根据获取到的文件路径，异步读取不同的sheet表，通过easyexcel读取表格数据，调用不同的java监听实例对应的sheet表，在读取表头时对需要的有效字段建立统一的别名，去除不需要的字段节省内存；根据统一别名读取数据，进行列数据技术和汇总数据计算；将读取的基础数据和技术数据写入mysql数据库；

消息回显模块，返回文档校验信息和日志记录；

维度计算模块，将获取到的数据得到不同维度的KPI考核指标，生成对应报表进行展现。

2.根据权利要求1所述的一种检索指定目标文档数据处理方法，其特征在于：所述的遍历结果包括文件名、文档类型、文档修改时间、文档大小和文档目录。

3.根据权利要求1所述的一种检索指定目标文档数据处理方法，其特征在于：所述的KPI考核指标是指来根据通过效率计算公式、效能计算公式获取各基地、各中心、各项目、各效能维度的计算数据。

4.根据权利要求1所述的一种检索指定目标文档数据处理方法，其特征在于：所述的服务器内部设置nginx代理服务器，当前操作端收到请求之后由nginx代理服务器发送请求给注册中心服务端；注册中心服务端收到请求之后判断请求条件是否符合，如果符合返回给当前操作用户，推送表格文件成功，并且将表格类业务处理逻辑交给该数据解析模块；当数据解析模块收到请求之后调用系统自定义线程池内空闲线程，线程异步处理表格数据；处理完成后存储到数据库；当前操作用户可在前端实时查询当前数据解析过程中的数据处理过程日志和解析结果。

5.根据权利要求4所述的一种检索指定目标文档数据处理方法，其特征在于：所述的操作用户初始访问页面，文件和文件夹数据检索和封装模块，默认查询某目录路径，后台调用java的自带File方法，遍历目录下文件及子目录中的文件，将文件和目录数据按map格式封装，生成JSON树结构，返回文件名、文件大小、修改时间和文件路径。

6.根据权利要求4或5所述的一种检索指定目标文档数据处理方法，其特征在于：所述的操作用户在目录监听框中多关键字检索指定目录,多个条件用英文逗号隔开，实时检索；通过监听器监听目录查询关键字的变化，实时调用目录过滤方法，过滤掉不包含关键字的目录，可对过滤后的目录进行多选框勾选。

7.根据权利要求1所述的一种检索指定目标文档数据处理方法，其特征在于：所述的数据解析模块还包括并发读取数据，对原始数据进行转换，统一文档格式，空数据赋值，推送到维度计算模块。

8.根据权利要求1所述的一种检索指定目标文档数据处理方法，其特征在于：所述的报表设置统一的筛选项、可选筛选项和功能展示内容，所述的报表包括功能展示内容的不同的效率报表模型、效能报表模型和预估报表模型；

所述的统一的筛选项包括基地、事业部、项目、结算方式、岗位、员工资历状态、是否离职、开始日期和结束日期；

所述的可选筛选项包括可搜索、可单选或可多选的颗粒度信息、时间维度信息、岗位信息以及是否修正信息。

9.根据权利要求8所述的一种检索指定目标文档数据处理方法，其特征在于：所述的效率报表模型的颗粒度信息包括事业部维度信息、基地维度、项目维度的信息和个人信息，功能展示内容包括以下信息：总人数、排班人数、出勤人数、工时利用率、平均处理时长AHT、平均人均接通量CPD、平均每小时接通量CPH、签入足时度、小休占比、出勤率、折合人数、平均通话时长ATT均长和平均事后处理时长ACW均长。

10.根据权利要求9所述的一种检索指定目标文档数据处理方法，其特征在于：所述的个人信息还包括日期、所属事业部、所属基地、所属项目、排班工时h、出勤工时h、签入系统时长h、通话时长h、后处理时长h、空闲时长h、小休时长h、放休时长h、班会时长h、接通量和工时利用率。