CN114780497A - 批量文件处理方法、装置、计算机设备、介质和程序产品 - Google Patents

批量文件处理方法、装置、计算机设备、介质和程序产品 Download PDF

Info

Publication number
CN114780497A
CN114780497A CN202210426962.8A CN202210426962A CN114780497A CN 114780497 A CN114780497 A CN 114780497A CN 202210426962 A CN202210426962 A CN 202210426962A CN 114780497 A CN114780497 A CN 114780497A
Authority
CN
China
Prior art keywords
file
attribute
processed
configuration
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210426962.8A
Other languages
English (en)
Other versions
CN114780497B (zh
Inventor
谭小钰
戴小村
薛海伟
鲁健翔
徐轲
赵英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Changyin May 8th Consumer Finance Co ltd
Original Assignee
Hunan Changyin May 8th Consumer Finance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Changyin May 8th Consumer Finance Co ltd filed Critical Hunan Changyin May 8th Consumer Finance Co ltd
Priority to CN202210426962.8A priority Critical patent/CN114780497B/zh
Publication of CN114780497A publication Critical patent/CN114780497A/zh
Application granted granted Critical
Publication of CN114780497B publication Critical patent/CN114780497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种批量文件处理方法、装置、计算机设备、介质和程序产品。该方法获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;将文件内容写入属性配置模板,生成待处理文件的操作文件。整个方案通过对待处理文件解析得到文件的基础属性,获取待处理文件的扩展配置属性,根据扩展配置属性依次对基础配置属性进行配置,得到待处理文件的属性配置模板,针对不同的待处理文件生成对应的属性配置模板,提高了批量文件处理的效率。

Description

批量文件处理方法、装置、计算机设备、介质和程序产品
技术领域
本申请涉及数据处理技术领域,特别是涉及一种批量文件处理方法、装置、计算机设备、介质和程序产品。
背景技术
随着互联网技术的发展,计算机应用在众多领域发挥着重要作用,大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。数据的处理成为关键一环。
目前,业务人员对批量文件处理时,针对不同的文件要设置专门的处理方法,造成处理效率低下的问题,亟需可以提高批量文件处理效率的方法。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高批量文件处理效率的批量文件处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种批量文件处理方法。该方法包括:
获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;
调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;
根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;
将文件内容写入属性配置模板,生成待处理文件的操作文件。
在其中一个实施例中,根据基础配置属性以及扩展配置属性,生成待处理文件的属性配置模板包括:依次提取基础配置属性与扩展配置属性中属性类型相同的属性;针对每一基础配置属性与扩展配置属性中属性类型相同的属性,获取扩展配置属性的配置要求,根据扩展配置属性的配置要求对基础配置属性进行功能配置;调用页面生成线程,将功能配置后的配置属性填充至预设模板页面,生成待处理文件的属性配置模板。
在其中一个实施例中,将文件内容写入属性配置模板,生成待处理文件的操作文件包括:提取功能配置后的配置属性与文件内容中对应的属性元素之间的映射关系;根据映射关系将文件内容写入对应的配置属性中,生成待处理文件的操作文件。
在其中一个实施例中,将文件内容写入属性配置模板,得到待处理文件的操作文件包括:对文件内容进行字段值校验;若字段值校验通过,则得到校验通过的文件内容;将校验通过的文件内容写入属性配置模板,得到待处理文件的操作文件。
在其中一个实施例中,字段值校验通过以下任意一种方式进行:根据字段值校验规则生成校验正则表达式,根据校验正则表达式对文件内容进行字段值校验;根据文件内容的字段索引值以及预设校验规则,对文件内容进行校验。
在其中一个实施例中,调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性包括:对待处理文件进行合法性校验;若合法性校验通过,则调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性。
第二方面,本申请还提供了一种批量文件处理装置。该装置包括:
获取模块,用于获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;
解析模块,用于调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;
配置模块,用于根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;
生成模块,用于将文件内容写入属性配置模板,生成待处理文件的操作文件。
第三方面,本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现以下步骤:
获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;
调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;
根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;
将文件内容写入属性配置模板,生成待处理文件的操作文件。
第四方面,本申请还提供了一种计算机可读存储介质。该计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;
调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;
根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;
将文件内容写入属性配置模板,生成待处理文件的操作文件。
第五方面,本申请还提供了一种计算机程序产品。该计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;
调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;
根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;
将文件内容写入属性配置模板,生成待处理文件的操作文件。
上述批量文件处理方法、装置、计算机设备、存储介质和计算机程序产品,获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;将文件内容写入属性配置模板,生成待处理文件的操作文件。整个方案通过对待处理文件解析得到文件的基础属性,获取待处理文件的扩展配置属性,根据扩展配置属性依次对基础配置属性进行配置,得到待处理文件的属性配置模板,针对不同的待处理文件就可以生成对应的属性配置模板,提高了批量文件处理的效率。
附图说明
图1为一个实施例中批量文件处理方法的应用环境图;
图2为一个实施例中批量文件处理方法的流程示意图;
图3为一个应用实施例中批量文件处理方法的流程示意图;
图4为一个实施例中批量文件处理装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在对批量文件处理时,业务人员有时需要以文件(比如excel、csv等文件格式)方式同时对一批客户进行处理,以提高操作效率。因此业务系统需支持批量文件的处理等功能,批量文件处理主要包括文件上传、内容解析校验和业务处理等功能,其中文件上传、内容解析和校验功能相似,若各业务系统重复开发导致代码冗余、代码可维护性差,降低了批量业务开发的效率,需要一个高效便捷的批量文件处理方法。
目前的批量文件处理方法大多采用spring batch开源框架来实现,但springbatch主要适用于自动批处理(如账务核心跑批等),不大适用人工上传文件触发批处理的场景,且spring batch不便于对批量文件进行模板配置,也无法实现操作权限控制等。因此,本申请提供了一种批量文件处理方法来解决这些问题。
本申请实施例提供的批量文件处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过人机交互与用户104进行通信。终端102获取用户的批量文件处理请求,根据批量文件处理请求获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;将文件内容写入属性配置模板,生成待处理文件的操作文件。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。
在一个实施例中,如图2所示,提供了一种批量文件处理方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型。
其中,扩展配置属性指的是待处理文件除文件本身具备的基础配置属性之外的其他配置属性,扩展配置属性包括属性名称配置、属性编码配置、非空属性配置、操作权限配置、元素取值类型配置、元素默认值配置等。扩展配置属性可根据业务处理需求来生产,也可由业务人员根据业务处理需求提供。
具体地,终端获取用户的批量文件处理请求,并响应用户的文件上传操作,获取批量文件,从批量文件中获取待处理文件,并获取待处理文件的扩展配置属性。终端截取代理处文件名中“.”后的字符串,获取待处理文件的后缀名,将待处理文件的后缀名作为待处理文件的文件类型,文件后缀名判断严格区分大小写。待处理文件的文件类型可以为txt、csv、xlsx中的任意一种。
步骤204,调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性。
其中,基础配置属性指的是待处理文件的行列属性。
具体的,若文件类型为txt、csv,终端则调用java文件流Api线程逐行读取文件内容,根据文件列分割符(如逗号,分号、或者”###”等)对每行内容分割做字符串的spilt操作,解析出每个元素的值以及基础配置属性。得到待处理文件的文件内容以及基础配置属性。若文件类型为xlsx,即excel文件时,则通过开源的poi组件线程对excel文件内容进行解析,得到每个元素的值以及基础配置属性。
之后,终端对基础配置属性进行属性校验;若所述属性校验通过,则得到校验通过的基础配置属性。属性校验包括文件列数校验和文件行数校验。文件列数校验指的是如果解析出的文件列数(每行字段数)与原始待处理文件的列数不同,则终端会推送上传文件内容格式错误提示。文件行数校验指的是如果解析出的文件行数(真正有内容的行数)超过预设配置的最大文件行数,终端推送文件记录数超过系统配置提示。
步骤206,根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板。
具体的,终端根据扩展配置属性中每一个配置要求对基础配置属性进行配置,并根据预设模版配置页面以及配置好的属性生成待处理文件的属性配置模板。
步骤208,将文件内容写入属性配置模板,生成待处理文件的操作文件。
具体地,终端将待处理文件中每个元素的内容写入属性配置模版的对应位置,生成待处理文件的操作文件,即待处理文件的操作界面。
上述批量文件处理方法中,获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型;调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性;根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板;将文件内容写入属性配置模板,生成待处理文件的操作文件。整个方案通过对待处理文件解析得到文件的基础属性,获取待处理文件的扩展配置属性,根据扩展配置属性依次对基础配置属性进行配置,得到待处理文件的属性配置模板,针对不同的待处理文件就可以生成对应的属性配置模板,提高了批量文件处理的效率。
在一个可选的实施例中,根据基础配置属性以及扩展配置属性,生成待处理文件的属性配置模板包括:依次提取基础配置属性与扩展配置属性中属性类型相同的属性;针对每一基础配置属性与扩展配置属性中属性类型相同的属性,获取扩展配置属性的配置要求,根据扩展配置属性的配置要求对基础配置属性进行功能配置;调用页面生成线程,将功能配置后的配置属性填充至预设模板页面,生成待处理文件的属性配置模板。
其中,属性配置模版指的是包括待处理文件属性的批量操作界面。
具体地,终端依次提取基础配置属性与扩展配置属性中属性类型相同的属性,并获取属性类型相同的属性在扩展配置属性中的配置要求,针对每一个基础配置属性与扩展配置属性中属性类型相同的属性,根据扩展配置属性的配置要求对基础配置属性进行功能配置,扩展配置属性中的配置要求全部配置完成后,终端调用freemarker模板文件页面生成线程,将功能配置后的配置属性填充至预设模板页面,生成待处理文件的属性配置模板。
进一步地,属性名称配置显示页面元素名称。属性编码配置则在页面标记为元素的name属性,用于页面与后端进行传值绑定。元素默认值配置用于如果元素取值配置了默认值,则在页面填充显示默认值。非空属性配置用于如果元素值配置为必填,则在页面元素加上required属性,提交到后端时如果该字段为空,则会报错提示该字段必填。操作权限配置用于如果元素配置了只读属性,则在页面只显示元素取值,且不可编辑。页面目前支持元素的取值类型以下几种:字符串、字典、数值、布尔值、时间、日期。元素取值类型配置,对于字符串、数值、布尔值,时间、日期类型统一映射为页面的input元素,只是input的type不一样。如:
1)字符串type为text<input type=”text”。
2)数值type为number<input type=”number”。
3)布尔值type为checkbox单选框<input type=”checkbox”。
4)时间与日志取值需加上class的属性进行标记,如下:时间映射为<input type=”text”class=”datetime”,日期映射为<input type=”text”class=”date”。
5)字典映射为select下拉框元素,如果有默认值则默认选中对应的下拉值。
本实施例中,扩展属性配置主要用于动态生成批量操作页面,如可配置页面元素名称、编码、是否必须项、是否只读、元素页面取值类型(字符串、数字、时间、字典等)、元素默认值,如果是字典类型需配置字典值来源。批量文件处理方法可根据配置的属性动态生成对应的批量文件处理页面。扩展属性配置还可以对文件内容中的每个元素(即每个字段)配置取值校验规则,加强对批量文件合法性的校验。
在一个可选的实施例中,将文件内容写入属性配置模板,生成待处理文件的操作文件包括:提取功能配置后的配置属性与文件内容中对应的属性元素之间的映射关系;根据映射关系将文件内容写入对应的配置属性中,生成待处理文件的操作文件。
具体地,终端生成属性配置模板后,确定功能配置后的配置属性获取文件内容中对应的属性元素的SQL语句,根据SQL语句获取文件内容中对应的属性元素,将文件内容写入对应的配置属性中,即,将每个元素写入批量文件操作页面的对应位置。生成待处理文件的操作文件。
本实施例中,通过扩展配置属性对基础配置属性进行功能配置,生成批量文件操作文件页面,提高了批量文件业务功能开发的效率,降低了代码冗余,提高了代码复用度和可维护性。提供可视化友好的批量文件操作文件界面和灵活的配置管理功能,可满足批量文件开发人员和批量文件操作人员的需求,提高了批量文件开发运维和操作的效率。
在一个可选的实施例中,将文件内容写入属性配置模板,得到待处理文件的操作文件包括:对文件内容进行字段值校验;若字段值校验通过,则得到校验通过的文件内容;将校验通过的文件内容写入属性配置模板,得到待处理文件的操作文件。
具体地,字段值校验指的是字段值的合法性校验,终端根据预设的字段值校验规则对文件内容中每个元素进行字段值校验。若每个字段值都校验通过,则得到校验通过的文件内容;将校验通过的文件内容写入属性配置模板,得到待处理文件的操作文件。若某一字段值校验失败,则推送这一字段不合法提示。
字段值校验通过后,将校验通过的文件内容存储到数据库中,且每行记录的处理状态标记为初始化,便于后面系统对每行数据进行调度执行。本实施例通过对字段值进行合法性校验,提供了批量文件处理的准确性。
在其中一个实施例中,字段值校验通过以下任意一种方式进行:根据字段值校验规则生成校验正则表达式,根据校验正则表达式对文件内容进行字段值校验;根据文件内容的字段索引值以及预设校验规则,对文件内容进行校验。
具体地,终端支持两种校验方式,一种是正则表达式(文件字段值必须满足校验正则表达式),终端根据字段值校验规则生成校验正则表达式,另一种是javabean的方式,配置时需配置两项内容,一项是需校验字段在每行的列数(即字段索引值),二是预设校验规则。
正则表达式配置方式参考如下:如身份证字段校验可以配置为:字段索引值为1(假定身份证为第一个字段),正则表达式为[0-9]{17}[0-9X]。
javabean的配置方式中,Java bean是实现统一的接口的java实现类,通过校验接口返回true,否则返回false,主要用于比较复杂的校验逻辑。如客户利率字段只能在0.35~0.6之间的场景可以配置如下:字段索引字段为2(假定为第二个字段),rateValidator(实现利率范围校验的java bean名字),如果字段不满足预设校验规则,则报错提示某一行某个字段不合法,
在其中一个实施例中,调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性包括:对待处理文件进行合法性校验;若合法性校验通过,则调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性。
其中,合法性校验包括文件类型校验和文件大小校验。
具体地,终端获取预设的文件类型以及预设文件大小阈值。终端预设的文件类型包括txt、csv、xlsx。若待处理文件的文件类型不属于终端预设的文件类型,则推送文件格式有误提示。预设文件大小阈值可根据终端系统配置来设置。终端调用文件操作Api接口获取待处理文件的大小,若待处理文件大小超过预设文件大小阈值,则报错提示文件过大。此时终端不会解析文件内容。文件大小校验可预防文件过大导致系统异常。
在一个可选的实施例中,终端得到待处理文件的操作文件后,调用业务处理线程对操作文件进行处理,得到业务处理结果。
具体地,业务处理线程可以根据用户的执行操作来调用,也可以在生成操作文件后自动执行。批量文件处理如果配置的是手动执行模式,则文操作文件生成成功后,需要人工页面点击执行按钮,如果配置是自动执行模式,则终端自动调度执行,采用线程池技术对批量文件的每行数据调用业务处理类处理。调度处理时只会对处理状态为初始化和失败的记录进行处理,处理成功的记录不会被重复处理。
批量文件处理调度是采用监听器模式,终端监听到文件上传成功后(即待处理文件的操作文件生成后),则采用多线程(线程池模式)进行批量文件处理。如果批量文件处理失败,可通过页面重试按钮再次触发文件处理。
业务处理线程,即业务逻辑处理类是实现了统一接口的java实现类,在业务处理java类中实现了对批量文件中每行数据的处理,根据解析出的字段值进行业务处理和校验。
业务处理线程进行业务处理时,被执行的行记录的处理状态标记为处理中,记失败。调度执行会统计处理成功、处理失败和总的处理记录数,如果成功数等于总以免被其它线程调度执行。如果处理成功则标记该行处理成功,处理失败则标的记录数则表示批量文件处理成功,如果失败数大于0则表示批量文件处理失败,推送业务处理失败提示,提醒可以人工重试。
本实施例中,自动/手动处理模式提高了批量文件处理的灵活性和业务场景的适应性。
在一个可选的实施例中,获取业务操作权限,根据业务操作权限设置待处理文件的操作文件的操作的操作权限。
具体地,终端可根据操作文件的业务类型对每个类型批量文件配置操作权限,操作权限可以配置一个或多个,也可以不配置,如果不配置权限,则该类型批量文件为所有操作员都可以执行。若配置了操作权限,则只有具有相应权限的用户才能执行该类型批量文件操作,提升业务处理的安全性。
为了易于理解本申请实施例提供的技术方案,如图3所示,以完整的批量文件处理过程对本申请实施例提供的批量文件处理方法进行简要说明:
(1)获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型。
(2)对待处理文件进行合法性校验。
(3)若待处理文件的文件类型不属于终端预设的文件类型,则推送文件格式有误提示。
(4)终端调用文件操作Api接口获取待处理文件的大小
(5)若待处理文件大小超过预设文件大小阈值,则报错提示文件过大。
(6)调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性。
(7)依次提取基础配置属性与扩展配置属性中属性类型相同的属性;针对每一基础配置属性与扩展配置属性中属性类型相同的属性,获取扩展配置属性的配置要求,根据扩展配置属性的配置要求对基础配置属性进行功能配置;调用页面生成线程,将功能配置后的配置属性填充至预设模板页面,生成待处理文件的属性配置模板。
(8)对文件内容进行字段值校验;若字段值校验通过,则得到校验通过的文件内容。
(9)提取功能配置后的配置属性与文件内容中对应的属性元素之间的映射关系;根据映射关系将文件内容写入对应的配置属性中,生成待处理文件的操作文件。
(10)调用业务处理线程对操作文件进行处理,得到业务处理结果。
本申请提供的批量文件处理方法可以根据扩展配置属性以及待处理文件的基础属性动态生成批量文件操作页面,提供可视化界面配置批量文件模板的每次处理的记录数,文件大小、文件列数和文件内容校验规则。并且提供批量文件操作权限的配置功能,可按需对批量文件进行操作权限控制,同时批量文件处理还提供人工或自动处理模式、重试机制、和处理结果批量下载功能,提高了批量文件处理功能开发和运维效率。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的批量文件处理方法的批量文件处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个批量文件处理装置实施例中的具体限定可以参见上文中对于批量文件处理方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种批量文件处理装置,包括:获取模块402、解析模块404、配置模块406和生成模块408,其中:
获取模块402,用于获取待处理文件以及待处理文件的扩展配置属性,确定待处理文件的文件类型。
解析模块404,用于调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性。
配置模块406,用于根据扩展配置属性依次对基础配置属性进行配置,生成待处理文件的属性配置模板。
生成模块408,用于将文件内容写入属性配置模板,生成待处理文件的操作文件。
在一个可选的实施例中,配置模块406还用于依次提取基础配置属性与扩展配置属性中属性类型相同的属性;针对每一基础配置属性与扩展配置属性中属性类型相同的属性,获取扩展配置属性的配置要求,根据扩展配置属性的配置要求对基础配置属性进行功能配置;调用页面生成线程,将功能配置后的配置属性填充至预设模板页面,生成待处理文件的属性配置模板。
在一个可选的实施例中,生成模块408还用于提取功能配置后的配置属性与文件内容中对应的属性元素之间的映射关系;根据映射关系将文件内容写入对应的配置属性中,生成待处理文件的操作文件。
在一个可选的实施例中,批量文件处理装置还包括校验模块,用于对文件内容进行字段值校验;若字段值校验通过,则得到校验通过的文件内容;生成模块408还用于将校验通过的文件内容写入属性配置模板,得到待处理文件的操作文件。
在一个可选的实施例中,校验模块还用于根据字段值校验规则生成校验正则表达式,根据校验正则表达式对文件内容进行字段值校验;根据文件内容的字段索引值以及预设校验规则,对文件内容进行校验。
在一个可选的实施例中,校验模块还用于对待处理文件进行合法性校验;若合法性校验通过,则解析模块404还用于调用与文件类型对应的文件配置线程对待处理文件进行解析,得到待处理文件的文件内容以及基础配置属性。
上述批量文件处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种批量文件处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种批量文件处理方法,其特征在于,所述方法包括:
获取待处理文件以及所述待处理文件的扩展配置属性,确定所述待处理文件的文件类型;
调用与所述文件类型对应的文件配置线程对所述待处理文件进行解析,得到所述待处理文件的文件内容以及基础配置属性;
根据所述扩展配置属性依次对所述基础配置属性进行配置,生成所述待处理文件的属性配置模板;
将所述文件内容写入所述属性配置模板,生成所述待处理文件的操作文件。
2.根据权利要求1所述的方法,其特征在于,所述根据所述基础配置属性以及所述扩展配置属性,生成所述待处理文件的属性配置模板包括:
依次提取所述基础配置属性与扩展配置属性中属性类型相同的属性;
针对每一所述基础配置属性与扩展配置属性中属性类型相同的属性,获取所述扩展配置属性的配置要求,根据所述扩展配置属性的配置要求对所述基础配置属性进行功能配置;
调用页面生成线程,将功能配置后的配置属性填充至预设模板页面,生成所述待处理文件的属性配置模板。
3.根据权利要求2所述的方法,其特征在于,所述将所述文件内容写入所述属性配置模板,生成所述待处理文件的操作文件包括:
提取所述功能配置后的配置属性与所述文件内容中对应的属性元素之间的映射关系;
根据所述映射关系将所述文件内容写入对应的配置属性中,生成所述待处理文件的操作文件。
4.根据权利要求1所述的方法,其特征在于,所述将所述文件内容写入所述属性配置模板,得到所述待处理文件的操作文件包括:
对所述文件内容进行字段值校验;
若所述字段值校验通过,则得到校验通过的文件内容;
将所述校验通过的文件内容写入所述属性配置模板,得到所述待处理文件的操作文件。
5.根据权利要求4所述的方法,其特征在于,所述字段值校验通过以下任意一种方式进行:
根据字段值校验规则生成校验正则表达式,根据所述校验正则表达式对文件内容进行字段值校验;
根据文件内容的字段索引值以及预设校验规则,对所述文件内容进行校验。
6.根据权利要求1所述的方法,其特征在于,所述调用与所述文件类型对应的文件配置线程对所述待处理文件进行解析,得到所述待处理文件的文件内容以及基础配置属性包括:
对所述待处理文件进行合法性校验;
若合法性校验通过,则调用与所述文件类型对应的文件配置线程对所述待处理文件进行解析,得到所述待处理文件的文件内容以及基础配置属性。
7.一种批量文件处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理文件以及所述待处理文件的扩展配置属性,确定所述待处理文件的文件类型;
解析模块,用于调用与所述文件类型对应的文件配置线程对所述待处理文件进行解析,得到所述待处理文件的文件内容以及基础配置属性;
配置模块,用于根据所述扩展配置属性依次对所述基础配置属性进行配置,生成所述待处理文件的属性配置模板;
生成模块,用于将所述文件内容写入所述属性配置模板,生成所述待处理文件的操作文件。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210426962.8A 2022-04-22 2022-04-22 批量文件处理方法、装置、计算机设备、介质和程序产品 Active CN114780497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210426962.8A CN114780497B (zh) 2022-04-22 2022-04-22 批量文件处理方法、装置、计算机设备、介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210426962.8A CN114780497B (zh) 2022-04-22 2022-04-22 批量文件处理方法、装置、计算机设备、介质和程序产品

Publications (2)

Publication Number Publication Date
CN114780497A true CN114780497A (zh) 2022-07-22
CN114780497B CN114780497B (zh) 2023-02-24

Family

ID=82431506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210426962.8A Active CN114780497B (zh) 2022-04-22 2022-04-22 批量文件处理方法、装置、计算机设备、介质和程序产品

Country Status (1)

Country Link
CN (1) CN114780497B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934650A (zh) * 2022-12-09 2023-04-07 深圳市二一教育股份有限公司 资源上传方法、装置及相关产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046457A1 (en) * 2006-08-18 2008-02-21 Andreas Peter Haub Configuration of Optimized Custom Properties in a Data Finder Tool
US20120099158A1 (en) * 2010-10-25 2012-04-26 Konica Minolta Business Technologies, Inc. Data processing device and data processing method
CN107958028A (zh) * 2017-11-16 2018-04-24 平安科技(深圳)有限公司 数据采集的方法、装置、存储介质及终端
CN110532612A (zh) * 2019-07-26 2019-12-03 中国船舶重工集团公司第七一九研究所 船舶动力系统的运行数据处理方法及装置
CN111523003A (zh) * 2020-04-27 2020-08-11 北京图特摩斯科技有限公司 一种以时序动态图谱为核心的数据应用方法及平台
CN112230938A (zh) * 2020-12-09 2021-01-15 长沙树根互联技术有限公司 工业互联网的租赁产品的配置方法和装置
CN112926296A (zh) * 2021-03-30 2021-06-08 平安科技(深圳)有限公司 数据校验方法、装置、电子设备及存储介质
CN113704269A (zh) * 2021-09-02 2021-11-26 京东城市(北京)数字科技有限公司 一种数据处理方法、系统、存储介质及电子设备
CN113849506A (zh) * 2021-09-15 2021-12-28 北京京东振世信息技术有限公司 一种数据导入方法、装置、设备和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080046457A1 (en) * 2006-08-18 2008-02-21 Andreas Peter Haub Configuration of Optimized Custom Properties in a Data Finder Tool
US20120099158A1 (en) * 2010-10-25 2012-04-26 Konica Minolta Business Technologies, Inc. Data processing device and data processing method
CN107958028A (zh) * 2017-11-16 2018-04-24 平安科技(深圳)有限公司 数据采集的方法、装置、存储介质及终端
CN110532612A (zh) * 2019-07-26 2019-12-03 中国船舶重工集团公司第七一九研究所 船舶动力系统的运行数据处理方法及装置
CN111523003A (zh) * 2020-04-27 2020-08-11 北京图特摩斯科技有限公司 一种以时序动态图谱为核心的数据应用方法及平台
CN112230938A (zh) * 2020-12-09 2021-01-15 长沙树根互联技术有限公司 工业互联网的租赁产品的配置方法和装置
CN112926296A (zh) * 2021-03-30 2021-06-08 平安科技(深圳)有限公司 数据校验方法、装置、电子设备及存储介质
CN113704269A (zh) * 2021-09-02 2021-11-26 京东城市(北京)数字科技有限公司 一种数据处理方法、系统、存储介质及电子设备
CN113849506A (zh) * 2021-09-15 2021-12-28 北京京东振世信息技术有限公司 一种数据导入方法、装置、设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934650A (zh) * 2022-12-09 2023-04-07 深圳市二一教育股份有限公司 资源上传方法、装置及相关产品

Also Published As

Publication number Publication date
CN114780497B (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN113688006B (zh) 一种日志数据的校验方法及装置
CN108415832B (zh) 接口自动化测试方法、装置、设备及存储介质
CN104519120B (zh) 业务对象附件和过期统一资源定位符
US20130268677A1 (en) Shared Resource Watermarking and Management
Yates Practical investigations of digital forensics tools for mobile devices
US11418592B2 (en) Uploading user and system data from a source location to a destination location
US9971563B2 (en) Systems and methods for low interference logging and diagnostics
US10078656B1 (en) Unmodifiable data in a storage service
CN111400170B (zh) 一种数据权限测试方法及装置
US9584437B2 (en) Resource watermarking and management
US20190005228A1 (en) Trusted and untrusted code execution in a workflow
CN109614319B (zh) 自动化测试方法、装置、电子设备及计算机可读介质
US9201897B1 (en) Global data storage combining multiple back-end storage devices
CN114780497B (zh) 批量文件处理方法、装置、计算机设备、介质和程序产品
CN114218156A (zh) 数据导出方法、装置、计算机设备和存储介质
US9104573B1 (en) Providing relevant diagnostic information using ontology rules
CN105426183A (zh) 一种表单验证方法
US20220100719A1 (en) Techniques for performing lifecycle operations on a data store
CN108845857A (zh) 一种基于云平台的图标管理方法和装置
WO2022193142A1 (zh) 行为监控方法、装置、终端设备及计算机可读存储介质
CN114357032A (zh) 一种数据质量监控方法、装置、电子设备及存储介质
CN113064987A (zh) 数据处理方法、装置、电子设备、介质和程序产品
US20140089207A1 (en) System and method for providing high level view tracking of changes in sca artifacts
US20180089450A1 (en) Taxonomy-facilitated actions for content
Harper A hybrid systems approach using real-time data and computer simulation: a research framework and its implementation in the context of urgent and emergency care

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant