CN117216004A - 基于多线程过滤器处理的通用多格式文件生成方法及系统 - Google Patents

Abstract

本发明涉及一种基于多线程过滤器处理的通用多格式文件生成方法及系统，包括配置若干相互的独立的数据采集线程和数据处理线程并依据判断结果调用全部数据采集线程并依据线程负载将文件生成请求分解为若干子请求对应分配至各数据采集线程执行数据采集操作和后续的文件处理操作，生成对应待处理数据的文件项，将复杂的流程和应用逻辑开发转换为配置文件配置和数据库配置，极简化开发工作和运维成本，可依需添加线程实现规则和过滤器实现规则，可拓展性极强，适用于生成文件规则多，要求不统一，有大量文件生成需求的业务系统，仅需简单配置即可完成对账文件的生成和发送。

Description

基于多线程过滤器处理的通用多格式文件生成方法及系统

技术领域

本发明涉及软件系统设计和大数据处理技术领域，尤其涉及一种基于多线程过滤器处理的通用多格式文件生成方法及系统。

背景技术

现代电子化服务多依赖于数据文件的支持，例如银行金融业务中的代收代付系统，需要对接不同地方医院、水电燃气公司、社保单位、移动支付、彩票销售等特定功能系统缴费及日终对账业务，其日终对账需要以文件形式进行。在实际处理过程中，由于各外联单位功能系统对于文件查询数据范围、文件要求展现内容及样式、编码格式等均有各自不同的要求，现有技术下需要针对项目具体需求进行一对一开发，工作量大且不利于后期维护。

针对上述应用需求，现有技术也尝试采用开发文件生成逻辑的方式提供通用性的文件生成解决方案。但是，在实际应用中，由于不同的文件格式有不同的结构和编码方式，因此需要使用不同的解析技术来读取和解析文件内容；对于一些不常见的文件格式，可能需要使用特殊的解析库或工具；而且由于生成文件规则多样，要求不统一，系统可能需要花费更多的时间和计算资源来满足各种规则和需求。这可能会导致处理效率低下，延长了文件生成的周期。对于不同目标系统的数据传递需求，生成的文件规则多，系统可能需要支持多种文件格式，不同的文件格式可能具有不同的编码方式、结构和使用规范，如果需要将文件转换为其他格式，需要使用适当的转换工具或库支持，但可能出现某些文件格式可能不支持所有功能，或者转换后的文件可能丢失一些信息或出现格式错误，导致由于不同文件格式的编码方式和结构不同，可能会出现读取或转换失败的情况，需要进行额外的格式转换和适应性处理，以及不同的设备可能会对文件的显示和存储产生不同的影响，需要进行兼容性处理。随着支持的目标系统数量增加，对应的的生成规则规模也会大幅增长，对于具有大量生成规则的业务系统，如何有效地管理和维护这些规则是一个重点，需要针对性进行配置以具备灵活的规则配置和管理功能，以便能够轻松地添加、修改或删除规则以满足不断变化的业务需求。

另一方面，在批量生成文件时，需要处理大量文件，系统可能需要处理大量的数据流和并发操作，这可能会导致性能问题或错误，因此必须具备冗余的性能和扩展性，以应对大规模的文件生成任务；系统需要具备额外的数据验证和校验机制，以确保生成的文件包含准确和可靠的数据，但对于提高处理效率、减少处理时间的需求则会造成负面影响。

由此可知，传统解决方案对文件生成的处理基本处于散状开发状态，需要针对每个特定业务需求对应开发一套相关的文件生成逻辑；现有技术下对于多文件生成通用性的尝试局限于对代码逻辑的增加和改进，例如添加多个if分支实现对应的生成逻辑选择功能，导致代码开发量多，可读性和和维护性差。

发明内容

为解决现有技术的不足，本发明提出一种基于多线程过滤器处理的通用多格式文件生成方法及系统，将复杂的流程和应用逻辑开发转换为配置文件配置和数据库配置，极简化开发工作和运维成本，可依需添加线程实现规则和过滤器实现规则，可拓展性极强，适用于生成文件规则多，要求不统一，有大量文件生成需求的业务系统，仅需简单配置即可完成对账文件的生成和发送。

为实现以上目的，本发明所采用的技术方案包括：

一种基于多线程过滤器处理的通用多格式文件生成方法，其特征在于，包括：

S1、分别配置若干相互的独立的数据采集线程和数据处理线程；

S2、获取文件生成请求，依据预设第一匹配条件判断文件生成请求是否调用多个数据采集线程；

S3、当判断文件生成请求调用多个数据采集线程时，调用全部数据采集线程并依据线程负载将文件生成请求分解为若干子请求对应分配至各数据采集线程执行数据采集操作，分别生成独立的待处理数据；

S4、对待处理数据分配数据处理线程，所述数据处理线程依据预设的一个或多个过滤器规则对一个或多个待处理数据执行文件处理操作，生成对应待处理数据的文件项；

S5、使用文件项生成对应文件生成请求的数据报文并反馈文件生成请求。

进一步地，所述步骤S2还包括：

当判断文件生成请求不调用多个数据采集线程时，依据线程负载任选一空余数据采集线程执行数据采集操作生成待处理数据。

进一步地，所述第一匹配条件包括数据条目数量阈值比较、指定数据项识别和数据期限范围阈值比较中的任意一种或多种组合。

进一步地，所述对待处理数据分配数据处理线程包括：

判断多个待处理数据对应调用的过滤器规则是否相同；

当判断多个待处理数据对应调用的过滤器规则相同时，将所述多个待处理数据分配至同一数据处理线程。

进一步地，所述过滤器规则包括文件命名过滤器、文件生成过滤器、文件发送过滤器、文件添加过滤器、文件压缩过滤器和文件排序过滤器。

进一步地，所述使用文件项生成对应文件生成请求的数据报文包括：

依据文件生成请求识别对应报文交易码；

依据报文交易码匹配获得对应的配置模板；

使用配置模板插入文件项生成数据报文，所述数据报文的命名包括报文交易码和/或对应指示所述报文交易码的识别字段。

本发明还涉及一种基于多线程过滤器处理的通用多格式文件生成系统，其特征在于，包括：

线程管理模块，用于配置若干相互的独立的数据采集线程和数据处理线程；

线程判断模块，用于依据预设第一匹配条件判断文件生成请求是否调用多个数据采集线程；

数据采集模块，用于依据线程负载将文件生成请求分解为若干子请求，以及调用数据采集线程执行数据采集操作；

文件处理模块，用于调用数据处理线程依据预设的一个或多个过滤器规则对一个或多个待处理数据执行文件处理操作，生成对应待处理数据的文件项；

报文反馈模块，用于使用文件项生成对应文件生成请求的数据报文并反馈文件生成请求。

本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储待处理数据和文件项；

所述处理器，用于通过调用待处理数据和文件项，执行上述的方法。

本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述方法的步骤。

本发明的有益效果为：

采用本发明所述基于多线程过滤器处理的通用多格式文件生成方法及系统，将复杂的流程和应用逻辑开发转换为配置文件配置和数据库配置，极简化开发工作和运维成本，使文件生成步骤插件化，提供对应各个环节的公共方法实现，可依需添加线程实现规则和过滤器实现规则，可拓展性极强，后续文件生成仅需修改配置文件和数据库配置及文件模板配置即可完成相关文件的生成，适用于生成文件规则多，要求不统一，有大量文件生成需求的业务系统，仅需简单配置即可完成对账文件的生成和发送，提升系统的可维护性，减少升级维护成本。

附图说明

图1为本发明基于多线程过滤器处理的通用多格式文件生成方法流程示意图。

图2为本发明基于多线程过滤器处理的通用多格式文件生成系统结构示意图。

具体实施方式

为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。

本发明第一方面涉及一种步骤流程如图1所示的基于多线程过滤器处理的通用多格式文件生成方法，包括：

S1、分别配置若干相互的独立的数据采集线程和数据处理线程。

优选的，可以根据需要对应开发多线程公共处理逻辑插件，用于多种方式的数据获取。

具体的，对于多个现成的配置可以包括：设计数据采集线程和数据处理线程的架构，确定每个线程的角色和任务，以及线程间如何相互通信和协作；创建数据采集线程，编写代码以实现每个数据采集线程的功能，这些线程应能够从不同的数据源获取数据，并将数据传递给数据处理线程；创建数据处理线程，编写代码以实现每个数据处理线程的功能，这些线程应该能够接收来自数据采集线程的数据，并对其进行处理、分析和存储；开发多线程公共处理逻辑插件，根据需要，开发一个通用的插件，该插件可以用于多种方式的数据获取，所述插件应该能够与数据采集线程交互，并接收和处理数据；配置线程池，为数据采集线程和数据处理线程创建线程池，以便有效地管理和调度这些线程。

S2、获取文件生成请求，依据预设第一匹配条件判断文件生成请求是否调用多个数据采集线程。具体的，第一匹配条件包括数据条目数量阈值比较、指定数据项识别和数据期限范围阈值比较中的任意一种或多种组合。

优选的，当判断文件生成请求不调用多个数据采集线程时，依据线程负载任选一空余数据采集线程执行数据采集操作生成待处理数据。

具体的，接收文件生成请求，提取需要采集的数据项；根据预设的第一匹配条件对需要采集的数据项进行判断；如果满足第一匹配条件，则创建一个新的数据采集线程，并将需要采集的数据项传递给该线程；如果不满足第一匹配条件，则只使用一个默认的数据采集线程进行处理；重复上述步骤，直到所有需要采集的数据项都得到处理。

S3、当判断文件生成请求调用多个数据采集线程时，调用全部数据采集线程并依据线程负载将文件生成请求分解为若干子请求对应分配至各数据采集线程执行数据采集操作，分别生成独立的待处理数据。

在具体实现数据采集时，可以根据需要选择通用数据获取方式，用于绝大部分项目的数据获取；以及在配置文件中指定数据获取规则的情况下应用个性化数据获取方式；或指定每页明细上限数并提供分页生成文件。同时优选的，无论采用何种具体数据获取方式，均可以根据需要配置进行汇总数据参数，例如获取汇总总金额和总笔数，以及指定单个文件大小的特定条件。

S4、对待处理数据分配数据处理线程，所述数据处理线程依据预设的一个或多个过滤器规则对一个或多个待处理数据执行文件处理操作，生成对应待处理数据的文件项。其中，过滤器规则包括文件命名过滤器、文件生成过滤器、文件发送过滤器、文件添加过滤器、文件压缩过滤器和文件排序过滤器。

优选的，文件命名过滤器可以通过rule标签填写文件命名规则，支持动态+静态取值生成；文件生成过滤器可以通过rule标签填写文件编码格式，指定UTF-8或GBK；文件添加过滤器可以通过sql标签可补充填写新增文件的数据获取语句；文件压缩过滤器可以通过rule标签填写文件压缩格式，支持tar和zip；文件排序过滤器可以通过rule标签填写排序字段和升降序。

优选的，对待处理数据分配数据处理线程包括：判断多个待处理数据对应调用的过滤器规则是否相同；当判断多个待处理数据对应调用的过滤器规则相同时，将所述多个待处理数据分配至同一数据处理线程。

S5、使用文件项生成对应文件生成请求的数据报文并反馈文件生成请求。

具体执行中，可以包括依据文件生成请求识别对应报文交易码；依据报文交易码匹配获得对应的配置模板；使用配置模板插入文件项生成数据报文，所述数据报文的命名包括报文交易码和/或对应指示所述报文交易码的识别字段。

优选的，通过配置rcncl标签的三个独立属性txcode、type、convert实现数据报文生成。其中，txcode对应的是处理规则编码，该规则码必须要有一个thread-mapping中exce对应的执行线程。Type属性取值：file文件处理类型,print打印文件处理类型,callback回调信息处理类型,request请求报文处理类型,response响应报文处理类型。Convert属性，根据指定列拆分文件，值为default为不拆拆分，值为字段名称大写则为按照数据库查询数据拆分文件(若某子单位没有交易则不生成文件)。值为CONVERT，【字段名】为数据库配置的地区码(子单位)生成文件(若该子单位没有交易数据则生成空文件)。值为CONVERT2，【字段名】为数据库账户设置表的地区码(子单位)生成文件(若该子单位没有交易则生成空文件)。

以下通过一银行机构对账业务背景下的具体实施例进一步说明上述方法的执行过程。

以某个分行为例，单位对账通常为日终系统自动发起任务，任务传参为一级分行号和账务日期，系统根据传参首先通过数据库查询出来当天所有需要参与单位对账的项目配置信息，包括交易规则码，外呼接口，模板编号，项目编号，多个项目通过多线程的方式进行并行生成，每个项目执行时，首先根据交易规则码找到配置文件中多线程文件生成数据获取规则获取所需业务数据，比如T0001,查出的是该项目当天所有的交易成功的业务流水数据，将数据放到map中，然后再根据交易规则码找到对应的文件过滤器规则，通常包含三个规则，第一个F_N0001文件命名规则，根据rule参数配置生成对应的文件名，第二个F_B0001文件生成规则，根据配置的rule文件生成格式(比如UTF-8)参数将线程规则获取的文件生成数据按照数据数据库配置的个性化配置模板生成相应的文件，第三个F_S0001报文发送，根据交易规则码获取的外呼交易报文交易码将生成文件的文件名，文件路径等信息以报文形式发给第三方。

本发明另一方面还涉及一种基于多线程过滤器处理的通用多格式文件生成系统，其结构如图2所示，包括：

线程管理模块，用于配置若干相互的独立的数据采集线程和数据处理线程；

线程判断模块，用于依据预设第一匹配条件判断文件生成请求是否调用多个数据采集线程；

数据采集模块，用于依据线程负载将文件生成请求分解为若干子请求，以及调用数据采集线程执行数据采集操作；

文件处理模块，用于调用数据处理线程依据预设的一个或多个过滤器规则对一个或多个待处理数据执行文件处理操作，生成对应待处理数据的文件项；

报文反馈模块，用于使用文件项生成对应文件生成请求的数据报文并反馈文件生成请求。

通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。

本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。

本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如待处理数据和文件项等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。

优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为LCD显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于多线程过滤器处理的通用多格式文件生成方法，其特征在于，包括：

S1、分别配置若干相互的独立的数据采集线程和数据处理线程；

S2、获取文件生成请求，依据预设第一匹配条件判断文件生成请求是否调用多个数据采集线程；

S3、当判断文件生成请求调用多个数据采集线程时，调用全部数据采集线程并依据线程负载将文件生成请求分解为若干子请求对应分配至各数据采集线程执行数据采集操作，分别生成独立的待处理数据；

S4、对待处理数据分配数据处理线程，所述数据处理线程依据预设的一个或多个过滤器规则对一个或多个待处理数据执行文件处理操作，生成对应待处理数据的文件项；

S5、使用文件项生成对应文件生成请求的数据报文并反馈文件生成请求。

2.如权利要求1所述的方法，其特征在于，所述步骤S2还包括：

当判断文件生成请求不调用多个数据采集线程时，依据线程负载任选一空余数据采集线程执行数据采集操作生成待处理数据。

3.如权利要求1所述的方法，其特征在于，所述第一匹配条件包括数据条目数量阈值比较、指定数据项识别和数据期限范围阈值比较中的任意一种或多种组合。

4.如权利要求1所述的方法，其特征在于，所述对待处理数据分配数据处理线程包括：

判断多个待处理数据对应调用的过滤器规则是否相同；

当判断多个待处理数据对应调用的过滤器规则相同时，将所述多个待处理数据分配至同一数据处理线程。

5.如权利要求1所述的方法，其特征在于，所述过滤器规则包括文件命名过滤器、文件生成过滤器、文件发送过滤器、文件添加过滤器、文件压缩过滤器和文件排序过滤器。

6.如权利要求1所述的方法，其特征在于，所述使用文件项生成对应文件生成请求的数据报文包括：

依据文件生成请求识别对应报文交易码；

依据报文交易码匹配获得对应的配置模板；

使用配置模板插入文件项生成数据报文，所述数据报文的命名包括报文交易码和/或对应指示所述报文交易码的识别字段。

7.一种基于多线程过滤器处理的通用多格式文件生成系统，其特征在于，包括：

线程管理模块，用于配置若干相互的独立的数据采集线程和数据处理线程；

线程判断模块，用于依据预设第一匹配条件判断文件生成请求是否调用多个数据采集线程；

数据采集模块，用于依据线程负载将文件生成请求分解为若干子请求，以及调用数据采集线程执行数据采集操作；

文件处理模块，用于调用数据处理线程依据预设的一个或多个过滤器规则对一个或多个待处理数据执行文件处理操作，生成对应待处理数据的文件项；

报文反馈模块，用于使用文件项生成对应文件生成请求的数据报文并反馈文件生成请求。

8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

9.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器，用于存储待处理数据和文件项；

所述处理器，用于通过调用待处理数据和文件项，执行权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至6中任一项所述方法的步骤。