CN109408468A - 文件处理方法和装置、计算设备及存储介质 - Google Patents

Abstract

本说明书提供一种文件处理方法和装置、计算设备及存储介质，其中所述文件处理方法包括：按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息；对所述多个逻辑分片信息对应所述业务文件中的数据分别进行解析。

Description

文件处理方法和装置、计算设备及存储介质

技术领域

本说明书涉及文件处理技术领域，特别涉及一种文件处理方法和装置、计算设备及存储介质。

背景技术

随着财富业务的快速发展，与银行、基金、保险、交易所等合作机构的系统交互越来越多，文件交互具有其稳定性好的特点，在系统架构中被越来越多的采用，通常合作机构将当天的业务数据存放在文本文件里，并同步给我方系统处理，处理方式大多采用逐行读取，串行解析文本内容的方式进行，该方式具有处理耗时较长的缺点。

发明内容

有鉴于此，本说明书实施例提供了一种文件处理方法和装置、计算设备及存储介质，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种文件处理方法，包括：

按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息；

对所述多个逻辑分片信息对应所述业务文件中的数据分别进行解析。

根据本说明书实施例的第二方面，提供了一种文件处理装置，包括：

分割器，被配置为按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息；

解析器，被配置为对所述多个逻辑分片信息对应所述业务文件中的数据分别进行解析。

根据本说明书实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述文件处理方法的步骤。

根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述文件处理方法的步骤。

本说明书实施例通过将业务文件逻辑拆分为多个逻辑分片信息，从而可以对多个逻辑分片信息对应的业务文件中的数据分别进行解析处理，有效缩短业务文件解析处理所需的时间，提高文件处理效率；本说明书实施例是对业务文件进行逻辑拆分，而非对文件进行物理拆分，不会破坏原始文件，避免因程序问题导致的文件拆分错误，避免了文件数据损坏和出错的情况；逻辑分割后的逻辑分片信息可以分发到多个线程或者机器，相对于对业务文件进行物理拆分进而将拆分后的小文件通过一定规则分发给对应的机器进行处理的情况，本说明书实施例在对业务文件进行逻辑拆分时不需要写文件，无IO写磁盘开销，效率更快，同时分发的是逻辑分片信息(分片位点信息)，而非物理文件，不会改变合作机构上传的原始文件，处理风险较小。

附图说明

图1是示出了根据本说明书一实施例的文件处理系统的结构框图；

图2是示出了本说明书一实施例的文件处理方法的示意性流程图；

图3是示出了本说明书一个实施例的文件动态分割并行处理架构图；

图4是示出了本说明书另一实施例的文件处理方法的流程图；

图5是示出了本说明书一实施例的文件处理装置的模块图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

图1是示出了根据本说明书一实施例的文件处理系统的结构框图。该文件处理系统中的计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存业务数据。

计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备100的上述以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。

其中，处理器120可以执行图2所示方法中的步骤。图2是示出了本说明书一实施例的文件处理方法的示意性流程图，包括步骤202、步骤204。

步骤202：按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息。

一种实施方式中，所述业务文件的格式可以采用文本文件(TXT文件)，由于文本文件所占的空间较小，便于传输和读取解析，当接收到银行、基金、保险、交易所等合作机构传来的业务文件时即可对该业务文件快速地进行逻辑分割。一种实施方式中，所述预设的文件分割策略包括按照预设的字节数对业务文件进行逻辑分割。在具体实现时，文件分割大小可通过配置参数表进行动态调整。

图3是示出了本说明书一个实施例的文件动态分割并行处理架构图；如图3所示，预设每个逻辑分片信息的大小为512字节，在进行分割时即可按照每个逻辑分片信息的大小为512字节进行逻辑分割，将业务文件逻辑拆分为逻辑分片信息1、逻辑分片信息2、…、逻辑分片信息n(n为自然数)，拆分后的逻辑分片信息1、逻辑分片信息2、逻辑分片信息n分别有机器1、机器2、机器n进行并行处理。通过对业务文件进行逻辑逻辑分片信息，从而为对业务文件的各逻辑逻辑分片信息进行并行处理提供的前提条件。

在具体实现时，所述按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息步骤可以包括：照所述预设的字节数从所述业务文件的文件头位置获取所述多个逻辑分片信息中每个逻辑分片信息的起始位置和终止位置。按照每个逻辑分片信息的起始位置和终止位置依次进行分割，得到所述业务文件的所有逻辑逻辑分片信息。

一种实施方式中，所述按照所述预设的字节数从所述业务文件的文件头位置获取所述多个逻辑分片信息中每个逻辑分片信息的起始位置和终止位置步骤包括：创建指针，并将所述指针的初始位置设置为所述业务文件的文件头位置；从配置信息中获取所述预设的字节数，从所述文件头位置开始控制所述指针每次移动所述预设的字节数，直到所述指针移动到所述业务文件的结束位置为止；获取所述指针每次移动前后的移动前位置和移动后位置，将所述移动前位置和所述移动后位置分别作为对应逻辑分片信息的起始位置和终止位置。

一种实施方式中，在按照所述预设的字节数从所述业务文件的文件头位置获取所述多个逻辑分片信息中每个逻辑分片信息的起始位置和终止位置步骤之后还包括：判断每个所述逻辑分片信息的终止位置是否是所在行的结束位置；若所述终止位置不是所在行的结束位置则将所在行的结束位置作为所述终止位置。

步骤204：对所述多个逻辑分片信息对应所述业务文件中的数据分别进行解析。

一种实施方式中，所述对所述多个逻辑分片信息对应所示业务文件中的数据分别进行解析步骤包括：创建多个线程或多个进程，每个所述线程或每个所述进程对应一个所述逻辑分片信息；将每个所述逻辑分片信息分配至对应的线程或进程；每个所述线程或每个所述进程根据对应的逻辑分片信息的起始位置和终止位置对所述业务文件中对应的数据进行解析，得到每个所述逻辑分片信息对应的数据的解析结果。其中所述多个进程可以位于同一或不同的处理器上。本实施例中逻辑分片信息后的文件可由一台机器上的多个线程或者多台机器解析处理，根据逻辑分片信息的起始位置解析并行处理，提高了效率。

一种实施方式中，多个线程或多台机器在对所分配的逻辑分片信息对应的业务文件中的数据进行处理时，首先加载业务文件，根据所分配的逻辑分片信息获取业务文件中对应的数据，例如可以通过JDK文件处理工具，移动指针到所分配的逻辑分片信息的指定位点进行逐行读取，从而实现多个线程或多台机器对业务文件的并行解析处理。

一种实施方式中，在所述每个所述线程根据对应的逻辑分片信息的起始位置和终止位置对所述业务文件中对应的数据进行解析，得到每个所述逻辑分片信息对应的数据的解析结果步骤之后还包括：对每个所述逻辑分片信息对应的数据的解析结果进行结构化处理。

图4是示出了本说明书另一实施例的文件处理方法的流程图。如图4所示，可以采用Java输入/输出流(IO)体系中功能最丰富的文件内容访问类库RandomAccessFile来实现，RandomAccessFile支持跳到文件任意位置读写数据，RandomAccessFile包含一个记录指针，用以标识当前读写处的位置。当创建一个新的RandomAccessFile对象时，把随机访问的文件对象看作存储在文件系统中的一个大型byte(字节)数组，该对象的文件记录指针对于文件头(也就是位置0处)，当读取指定的512个字节后，文件记录指针将会向后移动512个字节，如果是较大文件，依次循环移动指针，直到移动到文件最后一个字节，指针每移动一次作为一个拆分后的文件逻辑分片信息，并记录当前读取的字节起始位置。另外由于业务数据是以每行数据为一个整体，如果指针在移动过程中，刚好读取到某行数据中间，需进行补偿读取操作，补偿的规则可以为读取到文件换行为止。将业务文件逻辑拆分为逻辑分片信息1、逻辑分片信息2、…、逻辑分片信息n，拆分后的逻辑分片信息1、逻辑分片信息2、逻辑分片信息n分别有机器1、机器2、机器n进行并行解析处理，得到解析逻辑分片信息1、解析逻辑分片信息2、…、解析逻辑分片信息n，并将解析逻辑分片信息1、解析逻辑分片信息2、…、解析逻辑分片信息n分别发送给下游业务。本实施例通过多个程序线程或者多台机器以所分配的逻辑分片信息的起始字节数位置同时并行解析处理逻辑分片信息文件，每解析一行数据并结构化，调用下游系统进行业务处理，可以缩短处理时间，提高处理效率。

本说明书实施例通过将业务文件逻辑拆分为多个逻辑分片信息，从而可以对多个逻辑分片信息对应的业务文件中的数据分别进行解析处理，有效缩短业务文件解析处理所需的时间，提高文件处理效率；本说明书实施例是对业务文件进行逻辑拆分，而非对文件进行物理拆分，不会破坏原始文件，避免因程序问题导致的文件拆分错误，避免了文件数据损坏和出错的情况；逻辑分割后的逻辑分片信息可以分发到多个线程或者机器，相对于对业务文件进行物理拆分进而将拆分后的小文件通过一定规则分发给对应的机器进行处理的情况，本说明书实施例在对业务文件进行逻辑拆分时不需要写文件，无IO写磁盘开销，效率更快，同时分发的是逻辑分片信息(分片位点信息)，而非物理文件，不会改变合作机构上传的原始文件，处理风险较小。对于交易量、资产量、文件数据越来越大且业务上要求在较短时间内完成文件内容的处理来说，通过将大文本文件进行逻辑拆分、并行解析处理，可以有效解决业务文件数据处理耗时久的问题，提升用户体验。

与前述文件处理方法相对应，本说明书还提供了文件处理装置实施例，所述装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，本说明书的文件处理装置所在设备的一种硬件结构可以包括处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常根据该事件检测的实际功能，还可以包括其他硬件，对此不再赘述。

参见图5，为本说明书一实施例提供的文件处理装置的模块图。文件处理装置500对应了图2所示实施例，图中存储装置600用于存储预设的文件分割测量。所述文件处理装置500包括:

分割器510，被配置为按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息；

解析器520，被配置为对所述多个逻辑分片信息对应所述业务文件中的数据分别进行解析。

一个可选的实施例中，所述预设的文件分割策略包括按照预设的字节数对业务文件进行逻辑分割。

一个可选的实施例中，所述分割器进一步被配置为：

按照所述预设的字节数从所述业务文件的文件头位置获取所述多个逻辑分片信息中每个逻辑分片信息的起始位置和终止位置。

一个可选的实施例中，所述分割器包括：

第一创建模块，被配置为创建指针，并将所述指针的初始位置设置为所述业务文件的文件头位置；

指针移动模块，被配置为从配置信息中获取所述预设的字节数，从所述文件头位置开始控制所述指针每次移动所述预设的字节数，直到所述指针移动到所述业务文件的结束位置为止；

位置获取模块，被配置为获取所述指针每次移动前后的移动前位置和移动后位置，将所述移动前位置和所述移动后位置分别作为对应逻辑分片信息的起始位置和终止位置。

一个可选的实施例中，所述分割器还包括：

判断模块，被配置为判断每个所述逻辑分片信息的终止位置是否是所在行的结束位置；

补偿模块，被配置为若所述终止位置不是所在行的结束位置则将所在行的结束位置作为所述终止位置。

一个可选的实施例中，所述解析器包括：

第二创建模块，被配置为创建多个线程或多个进程，每个所述线程或每个所述进程对应一个所述逻辑分片信息；

分配模块，被配置为将每个所述逻辑分片信息分配至对应的线程或进程；

解析模块，被配置为每个所述线程或每个所述进程根据对应的逻辑分片信息的起始位置和终止位置对所述业务文件中对应的数据进行解析，得到每个所述逻辑分片信息对应的数据的解析结果。

一个可选的实施例中，所述解析器还包括：

结构化模块，被配置为对每个所述逻辑分片信息对应的数据的解析结果进行结构化处理。

一个可选的实施例中，所述多个进程位于不同的处理器上。

上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书一实施例还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述的文件处理方法的步骤。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述的文件处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的文件处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述文件处理方法的技术方案的描述。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该说明书仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (18)

1.一种文件处理方法，包括：

按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息；

对所述多个逻辑分片信息对应所述业务文件中的数据分别进行解析。

2.根据权利要求1所述的方法，其中所述预设的文件分割策略包括按照预设的字节数对业务文件进行逻辑分割。

3.根据权利要求2所述的方法，其中所述按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息步骤包括：

按照所述预设的字节数从所述业务文件的文件头位置获取所述多个逻辑分片信息中每个逻辑分片信息的起始位置和终止位置。

4.根据权利要求3所述的方法，其中所述按照所述预设的字节数从所述业务文件的文件头位置获取所述多个逻辑分片信息中每个逻辑分片信息的起始位置和终止位置步骤包括：

创建指针，并将所述指针的初始位置设置为所述业务文件的文件头位置；

从配置信息中获取所述预设的字节数，从所述文件头位置开始控制所述指针每次移动所述预设的字节数，直到所述指针移动到所述业务文件的结束位置为止；

获取所述指针每次移动前后的移动前位置和移动后位置，将所述移动前位置和所述移动后位置分别作为对应逻辑分片信息的起始位置和终止位置。

5.根据权利要求3所述的方法，其中在按照所述预设的字节数从所述业务文件的文件头位置获取所述多个逻辑分片信息中每个逻辑分片信息的起始位置和终止位置步骤之后还包括：

判断每个所述逻辑分片信息的终止位置是否是所在行的结束位置；

若所述终止位置不是所在行的结束位置则将所在行的结束位置作为所述终止位置。

6.根据权利要求3所述的方法，其中所述对所述多个逻辑分片信息对应所示业务文件中的数据分别进行解析步骤包括：

创建多个线程或多个进程，每个所述线程或每个所述进程对应一个所述逻辑分片信息；

将每个所述逻辑分片信息分配至对应的线程或进程；

每个所述线程或每个所述进程根据对应的逻辑分片信息的起始位置和终止位置对所述业务文件中对应的数据进行解析，得到每个所述逻辑分片信息对应的数据的解析结果。

7.根据权利要求6所述的方法，其中在所述每个所述线程根据对应的逻辑分片信息的起始位置和终止位置对所述业务文件中对应的数据进行解析，得到每个所述逻辑分片信息对应的数据的解析结果步骤之后还包括：

对每个所述逻辑分片信息对应的数据的解析结果进行结构化处理。

8.根据权利要求6所述的方法，其中所述多个进程位于不同的处理器上。

9.一种文件处理装置，包括：

分割器，被配置为按照预设的文件分割策略对业务文件进行逻辑分割，得到多个逻辑分片信息；

解析器，被配置为对所述多个逻辑分片信息对应所述业务文件中的数据分别进行解析。

10.根据权利要求9所述的装置，其中所述预设的文件分割策略包括按照预设的字节数对业务文件进行逻辑分割。

11.根据权利要求10所述的装置，其中所述分割器进一步被配置为：

按照所述预设的字节数从所述业务文件的文件头位置获取所述多个逻辑分片信息中每个逻辑分片信息的起始位置和终止位置。

12.根据权利要求11所述的装置，其中所述分割器包括：

第一创建模块，被配置为创建指针，并将所述指针的初始位置设置为所述业务文件的文件头位置；

指针移动模块，被配置为从配置信息中获取所述预设的字节数，从所述文件头位置开始控制所述指针每次移动所述预设的字节数，直到所述指针移动到所述业务文件的结束位置为止；

位置获取模块，被配置为获取所述指针每次移动前后的移动前位置和移动后位置，将所述移动前位置和所述移动后位置分别作为对应逻辑分片信息的起始位置和终止位置。

13.根据权利要求11所述的装置，其中所述分割器还包括：

判断模块，被配置为判断每个所述逻辑分片信息的终止位置是否是所在行的结束位置；

补偿模块，被配置为若所述终止位置不是所在行的结束位置则将所在行的结束位置作为所述终止位置。

14.根据权利要求11所述的装置，其中所述解析器包括：

第二创建模块，被配置为创建多个线程或多个进程，每个所述线程或每个所述进程对应一个所述逻辑分片信息；

分配模块，被配置为将每个所述逻辑分片信息分配至对应的线程或进程；

解析模块，被配置为每个所述线程或每个所述进程根据对应的逻辑分片信息的起始位置和终止位置对所述业务文件中对应的数据进行解析，得到每个所述逻辑分片信息对应的数据的解析结果。

15.根据权利要求14所述的装置，其中所述解析器还包括：

结构化模块，被配置为对每个所述逻辑分片信息对应的数据的解析结果进行结构化处理。

16.根据权利要求14所述的装置，其中所述多个进程位于不同的处理器上。

17.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现权利要求1-8所述的方法的步骤。

18.一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现权利要求1-8任一项所述的方法的步骤。