CN110377563A - 文件处理方法和装置、以及电子设备和可读存储介质 - Google Patents

Abstract

本公开提供了一种文件处理方法，包括：解析待处理文件，得到文件信息；根据文件信息，确定第一预定空间中是否存在与待处理文件匹配的导入规则；以及在第一预定空间中存在与待处理文件匹配的导入规则的情况下，根据导入规则，将待处理文件导入数据库。本公开还提供了一种文件处理装置、一种电子设备和一种计算机可读存储介质。

Description

文件处理方法和装置、以及电子设备和可读存储介质

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种文件处理方法和装置、以及一种电子设备和计算机可读存储介质。

背景技术

随着证券投资、基金投资行业的快速发展，公募、私募等均涉及巨大的资产和投资交易额，因此对资产产品核算效率要求越来越高。估值核算系统作为基金管理行业的核心业务系统，是基金管理公司成功运作的可靠保证。估值核算系统的主要业务是根据每日交易情况对基金进行估值核算，主要的流程包括数据导入、数据拆分、交易核算、增值估值和信息披露报表生成。作为系统处理流程的源头，数据导入和数据拆分很大程度上决定了系统的运作效率。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：目前的估值核算系统主要通过读取文件来获取交易数据和行情数据，且一般采用硬编码的方式实现文本的读取和加工。如果需要实现新的格式处理或者调整现有的文本格式，则需要修改系统，交付新的版本。但随着投资品种的不断增多，估值核算系统需要处理的交易品种以及对接的交易系统、行情系统也日新月异，如何快速应对业务需求，实现核算基础数据的快速加工清洗，成为系统亟须解决的问题。

发明内容

有鉴于此，本公开提供了一种通过预先处理得到的导入规则对数据进行导入，以实现包括交易数据和/或行情数据的文件的自动化读取的文件处理方法和装置，以及一种电子设备和计算机可读存储介质。

本公开的一方面提供了一种文件处理方法，包括：解析待处理文件，得到文件信息；根据文件信息，确定第一预定空间中是否存在与待处理文件匹配的导入规则；以及在第一预定空间中存在与待处理文件匹配的导入规则的情况下，根据导入规则，将待处理文件导入数据库。

可选地，上述文件处理方法还包括：在第一预定空间中不存在与待处理文件匹配的导入规则的情况下：从存储待处理文件的第二预定空间获取与待处理文件匹配的元数据文件；根据元数据文件，生成与待处理文件匹配的导入规则；以及将与待处理文件匹配的元数据文件及生成的导入规则存入第一预定空间。

可选地，上述文件信息包括文件格式、文件名称和文件内容，上述确定第一预定空间中是否存在与待处理文件匹配的导入规则包括：根据文件格式，确定待处理文件是否为标准文件；在待处理文件为标准文件的情况下，确定第一预定空间中是否存在与待处理文件的文件名称和文件内容均匹配的元数据文件；以及在确定第一预定空间中存在与待处理文件的文件名称和文件内容均匹配的元数据文件的情况下，确定存在与待处理文件匹配的导入规则。其中，对于具有不同文件格式的待处理文件，匹配的导入规则不同。

可选地，上述文件格式包括以下至少一种：excel、dbf、txt和csv。

可选地，上述将待处理文件导入数据库包括：根据待处理文件的文件格式，获取针对文件格式的读取函数；根据读取函数，读取得到待处理文件；以及根据导入规则，采用导入工具将待处理文件导入数据库。

可选地，上述将待处理文件导入数据库还包括：在待处理文件的文件格式不是标准格式的情况下，将待处理文件转换为标准格式。其中，采用导入工具导入数据库的待处理文件为标准格式的待处理文件。

根据本公开的实施例，上述文件处理方法还包括：确定第二预定空间中是否具有更新的元数据文件；以及在第二预定空间中存在更新的元数据文件的情况下，从第一预定空间中删除与更新的元数据文件对应的元数据文件及导入规则。

本公开的另一方面提供了一种文件处理装置，该装置包括：解析模块，用于解析待处理文件，得到文件信息；导入规则确定模块，用于根据文件信息，确定第一预定空间中是否存在与待处理文件匹配的导入规则；以及文件导入模块，用于在第一预定空间中存在与待处理文件匹配的导入规则的情况下，根据导入规则，将待处理文件导入数据库。

本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的文件处理方法。

本公开的另一方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现如上所述的文件处理方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的文件处理方法。

根据本公开的实施例，通过根据预先生成并存储的导入规则能够实现文件的自动导入，从而可以实现文件导入规则的依次学习，永久有效。并因此可以提高文件处理装置的文件导入效率，提高数据加工的快速响应能力，提高业务应用系统的客户满意度。

附图说明

图1示意性示出了根据本公开实施例的文件处理方法和装置、以及电子设备和可读存储介质的应用场景；

图2示意性示出了根据本公开实施例的文件处理方法的流程图；

图3示意性示出了根据本公开另一实施例的文件处理方法的流程图；

图4示意性示出了根据本公开实施例的确定第一预定空间是否存在与待处理文件匹配的导入规则的流程图；

图5示意性示出了根据本公开实施例的将待处理文件导入数据库的流程图；

图6示意性示出了根据本公开另一实施例的将待处理文件导入数据库的流程图；

图7示意性示出了根据本公开又一实施例的文件处理方法的流程图；

图8示意性示出了根据本公开实施例的文件处理装置的结构框图；以及

图9示意性示出了根据本公开实施例的适于执行文件处理方法的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种文件处理方法。该方法包括：解析待处理文件，得到文件信息；根据文件信息，确定第一预定空间中是否存在与待处理文件匹配的导入规则；以及在第一预定空间中存在与待处理文件匹配的导入规则的情况下，根据导入规则，将待处理文件导入数据库。

图1示意性示出了根据本公开实施例的文件处理方法和装置、以及电子设备和计算机可读存储介质的应用场景100。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据本公开实施例的应用场景100包括终端设备101、102、103，网络104，服务器105和数据库106。网络104用于在终端设备101、102、103与服务器105之间，以及服务器105与数据库106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

其中，终端设备101、102、103例如可以是支持网页浏览，并且/或者可以安装各种客户端应用的电子设备，包括但不限于台式计算机、膝上型便捷计算机、平板电脑或智能手机等等。响应于用户操作，该终端设备101、102、103例如可以用于产生交易数据和/或行情数据，并将该交易数据和/或行情数据以文件的形式存储于预定空间中。

服务器105可以是提供各种服务的服务器。例如，该服务器105例如可以通过网络104与终端设备101、102、103交互，来对存储于预定空间中的交易数据和/或行情数据进行读取和加工。该服务器105还可以使用数据导入工具将加工后得到的数据导入至数据库106中，以供后续进行交易核算、增值估值或生成信息披露报表时调用。

需要说明的是，本公开实施例所提供的文本处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的文本处理装置一般可以设置于服务器105中。

应该理解，图1中的终端设备101、102、103，网络104、服务器105和数据库106的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的终端设备101、102、103，网络104、服务器105和数据库106。

图2示意性示出了根据本公开实施例的文件处理方法的流程图。

如图2所示，本公开实施例的文件处理方法可以包括操作S210～操作S230。

在操作S210，解析待处理文件，得到文件信息。

根据本公开的实施例，为了便于对待处理文件进行解析，在该操作S210之前，本公开实施例的文件处理方法还包括获取待处理文件的操作。待处理文件例如可以是从图1中描述的终端设备101、102、103处获取的。

其中，待处理文件例如可以包括各种存储格式的文件，例如可以包括excel格式、dbf格式、txt格式或csv格式等格式的文件。通过操作S210对待处理文件的解析，例如可以得到待处理文件的文件格式、文件名称和文件内容等文件信息。

其中，操作S210例如可以通过对待处理文件的二进制编码特征进行解析，得到文件的文件格式。通过解析得到该文件格式，可以便于后续准确读取文件内容，确保文件解析的完整性。

其中，根据解析得到的文件名称例如可以得到待处理文件的文件命名规则。解析得到的文件内容例如可以包括：记录的数据长度、数据的分隔符、字段的个数和/或每个字段的格式。在文件内容包括每个字段的字典值的情况下，该解析得到的文件内容还可以包括每个字段的字典值等。

在操作S220，根据文件信息，确定第一预定空间中是否存在与待处理文件匹配的导入规则。

根据本公开的实施例，该操作S220可以包括：根据操作S210解析得到的文件信息，在第一预定空间中查找是否存在与该文件信息匹配的导入规则。其中，第一预定空间中例如可以预存有与不同类型文件匹配的导入规则，该导入规则例如可以是根据与待处理文件匹配的元数据文件生成的。一种示例导入规则的生成及存储方法可以参考下文中图3描述的操作S340～操作S360。

根据本公开的实施例，第一预定空间例如可以是图1描述的服务器105中的存储空间，该操作S220的一种示例执行方法可以详见图4描述的操作S421～操作S423。

操作S230，在第一预定空间中存在与待处理文件匹配的导入规则的情况下，根据导入规则，将待处理文件导入数据库。

根据本公开的实施例，该操作S230可以包括：先自第一预定空间中获取与待处理文件匹配的导入规则，然后根据该导入规则，将待处理文件导入数据库。其中，所述的导入规则例如可以是预存的处理模板，根据该处理模板可以实现对待处理文件的自动化读取和处理，从而将待处理文件导入数据库。其中，数据库可以为图1中的数据库106。

综上可知，本公开实施例的文件处理方法，在存在与待处理文件匹配的导入规则时，可以根据导入规则，实现待处理文件的自动导入。因此，在需要实现新的格式处理或者调整现有的文本格式的情况下，只需要重新生成导入规则，而无需更改系统。因此，可以在一定程度上实现快速应对业务的需求，实现交易和/或行情数据的快速导入。

根据本公开的实施例，当通过操作S220确定第一预定空间中没有与待处理文件匹配的导入规则时，为了便于后续使用，可以先生成与待处理文件匹配的导入规则，再根据生成的导入规则将待处理数据导入数据库。在生成导入规则后，在再次需要导入相同格式的待处理文件时，通过操作S210～操作S230可实现文件的自动导入。

图3示意性示出了根据本公开另一实施例的文件处理方法的流程图。

如图3所示，本公开实施例的文件处理方法除了操作S210～操作S220外，还包括在第一预定空间中不存在与待处理文件匹配导入规则的情况下，执行的操作S340～操作S360。

在操作S340，在第一预定空间中不存在与待处理文件匹配的导入规则的情况下，从存储待处理文件的第二预定空间获取与待处理文件匹配的元数据文件。

其中，第二预定空间例如可以为图1中描述的终端设备101、102、103的预定空间。与待处理文件匹配的元数据文件例如可以包括：在与待处理文件存储所在目录下查找得到的与待处理文件具有相同的文件名、后缀为“.meta”格式的文本文件。其中，第二预定空间中存储的文件例如可以为经由用户筛选得到的需要导入至数据库的待处理文件及待处理文件的元数据文件。

根据本公开的实施例，为了保证元数据文件为合法文件，还需要对元数据文件进行合法性校验。该合法性校验例如可以包括：先解析元数据文件，得到元数据文件的文件格式。然后对元数据文件的文件格式进行校验，确定是否符合标准的元数据文件的格式。其中，标准的元数据文件的文件格式例如可以遵循以下表1中描述的标准，以便于根据该元数据文件生成与待处理文件匹配的导入规则。

表1标准元数据文件的文件格式

根据本公开的实施例，在确定元数据文件为标准的元数据文件后，例如还可以对元数据文件与待处理文件的匹配性进行校验，以保证根据元数据文件生成的导入规则可以用于准确地导入待处理文件。

根据本公开的实施例，匹配性校验例如可以包括：根据操作S210得到的待处理文件的文件名称及文件内容分别与元数据文件的文件名称及文件内容进行比对。若文件名称与文件内容均匹配，则元数据文件与待处理文件匹配，执行后续操作S350～操作S360。若文件名称与文件内容中的至少一个不匹配，则元数据文件与待处理文件不匹配，可以指示终端设备101、102、103弹出错误信息，以提示用户对元数据文件进行更改。

在操作S350，根据元数据文件，生成与待处理文件匹配的导入规则。在生成导入规则后，执行操作S360，将与待处理文件匹配的元数据文件及生成的导入规则存入第一预定空间。

根据本公开的实施例，如表1所示，标准元数据文件的文件格式规定了文件的记录开始行数、文件记录结束行数和文件记录的分隔符、每一行记录中第一个字段的截取位置，存储到表结构中的位置等。根据与待处理文件匹配的元数据文件，可以确定待处理文件导入的位置，以及导入时每行记录中第一个字段的位置等。因此，通过解析该元数据文件，可以根据解析得到的元数据文件的文件格式遵循的标准来生成与待处理文件匹配的导入规则。

根据本公开的实施例，操作S350生成的导入规则例如规定了与元数据文件匹配的待处理文件导入的位置、导入时待处理文件每行记录的第一个字段的位置等。因此，根据该生成的导入规则，可以对待处理文件进行导入。可以理解的是，上述标准元数据文件的文件格式及导入规则仅作为示例以利于理解本公开，本公开对此不作限定。

根据本公开的实施例，由于不同文件格式的待处理文件中每行记录的截取位置、每行记录的字段的个数、每一行记录中第一个字段的截取位置等不同。因此，对于不同的文件格式的待处理文件，匹配的导入规则不同。可以理解的是，对于不同的文件格式的待处理文件，导入规则中规定的导入的位置例如可以相同，该导入的位置例如可以为图1中数据库106的IP地址等。

综上可知，本公开实施例在不存在匹配的导入规则时，能够根据与待处理文件匹配的元数据文件生成导入规则，并将导入规则存入第一预定空间。因此可以便于后续再导入与当前待处理文件相同格式的待处理文件时，直接从第一预定空间中获取匹配的导入规则，并根据导入规则将待处理文件自动导入数据库中。

根据本公开的实施例，为了避免待处理文件为非法文件等具有攻击性的文件时存在的潜在危险，在确定第一预定空间中是否存在与待处理文件匹配导入规则之前，例如还可以先根据文件格式确定待处理文件是否为合法的标准文件。

图4示意性示出了根据本公开实施例的确定第一预定空间是否存在与待处理文件匹配的导入规则的流程图。

如图4所示，确定第一预定空间是否存在与待处理文件匹配的导入规则的操作S220可以包括操作S422～操作S423。其中，为了保证后续导入的待处理文件为标准文件，在执行操作S422之前，还可以包括操作S421，以实现对待处理文件的标准性的校验。

在操作S421，根据文件格式，确定待处理文件是否为标准文件。

根据本公开的实施例，该操作S421例如可以是将解析得到的文件格式与标准的文件格式进行比对，以确定待处理文件是否为标准文件。例如，在解析得到待处理文件的文件格式为dbf文件时，该待处理文件的文件结构特征应满足如下表2所示的结构。

根据本公开的实施例，操作S421例如可以包括：读取待处理文件的二进制编码，判断读取得到的文件特征是否符合表2所示的结构。在符合表2所示的结构的情况下，确定待处理文件为标准文件。

根据本公开的实施例，为了提高对待处理文件的判定结果的准确性，在确定待处理文件的文件格式符合表2所示的结构时，还可以进一步判断待处理文件的文件头中记载的头部信息与记录的字段是否匹配。在待处理文件的文件头中记载的头部信息与记录的字段匹配的情况下，确定待处理文件属于标准的dbf文件。

表2标准dbf文件的文件结构

文件头：包含①基本信息(含32字节的数据)②字段格式说明(每项32个字节)
	OD
记录1
	记录2
记录3
	记录4
........
	记录n
1A结束字符

在操作S422，在待处理文件为标准文件的情况下，确定第一预定空间中是否存在与待处理文件的文件名称和文件内容均匹配的元数据文件。在操作S423，在确定第一预定空间中存在与待处理文件的文件名称和文件内容均匹配的元数据文件的情况下，确定存在与待处理文件匹配的导入规则。

根据本公开的实施例，该操作S422例如可以包括：在待处理文件为标准文件的情况下，确定第一预定空间中是否存在与操作S210中解析得到的待处理文件的文件名称及文件内容均匹配的元数据文件。

根据本公开的实施例，操作S422例如可以包括：先获取待处理文件的文件名长度，然后与第一预定空间中存储的元数据文件的文件名长度进行匹配，确定文件名长度与待处理文件的文件名长度相等的所有元数据文件。然后根据待处理文件的文件命名格式确定文件名符合该文件命名格式的元数据文件。例如可以使用正则表达式来判断元数据文件的文件名是否符合文件命名格式。例如，在待处理文件的文件名称的命名规则为“文件名+‘mmdd’+‘.dbf’”的情况下，说明待处理文件的文件名称中带有两位月份信息和两位日期信息。若元数据文件中具有与文件名“文件名+‘mmdd’+‘.dbf’”对应的正则表达式的元数据文件时，确定该元数据文件与待处理文件的文件名称相匹配。

在确定文件名称匹配的元数据文件后，还可以对确定的元数据文件的文件内容与待处理文件的文件内容进行匹配。例如可以包括：确定待处理文件的文件内容中每行内容的要素是否与第一预定空间中的文件内容要素相匹配。其中，每行内容的要素例如可以包括：每行记录的长度、每行记录的分隔符、每行记录包括的字段的个数、每个字段的格式和/或每个字段的字典值等。若确定每行内容的要素匹配，说明第一预定空间中通过操作S360存储有与待处理文件匹配的元数据及导入规则，因此执行上述操作S423。

根据本公开的实施例，为了便于自第一预定空间中获取导入规则，第一预定空间例如可以提供调用接口，以响应于对该调用接口的调用，提供与待处理文件匹配的导入规则等。

图5示意性示出了根据本公开实施例的将待处理文件导入数据库的流程图。

根据本公开的实施例，如图5所示，操作S230将待处理文件导入数据库的流程例如可以包括操作S531～操作S533。

在操作S531，根据待处理文件的文件格式，获取针对文件格式的读取函数。在操作S532，根据读取函数，读取得到待处理文件。

根据本公开的实施例，为了便于实现对不同格式的待处理文件的获取，第一预定空间中例如还可以存储有与多种格式的待处理文件匹配的读取函数。其中，读取函数规定有读取待处理文件的方法。例如读取excel文件，可以采用xlsread函数；读取dbf文件，可以采用dbfread函数。可以理解的是，上述读取函数仅作为示例以利于理解本公开，本公开对此不作限定。上述操作S531可以是根据操作S210解析得到的待处理文件的文件格式，从第一预定空间中获取与该文件格式匹配的读取函数。

在操作S533，根据导入规则，采用导入工具将待处理文件导入数据库。

根据本公开的实施例，在获取到待处理文件后，操作S533可以包括：根据第一预定空间中与待处理文件匹配的导入规则，调用oracle的数据库导入工具sqlldr将待处理文件导入数据库中。其中，对于不同类型的数据库，调用的数据库导入工具例如可以不同。

根据本公开的实施例，为了便于后续交易核算或增值估值时对导入数据库的文件的调用，并提高交易核算或增值估值效率，还可以使得数据库中存储的文件为统一的标准格式的文件。因此，操作S230将待处理文件导入数据库的流程通过操作S533将待处理文件导入数据库之前，还包括判断待处理文件是否为标准格式的文件的操作。若待处理文件为标准格式的文件，则直接执行操作S533。若待处理文件不是标准格式的文件时，在通过操作S533将待处理文件导入数据库之前，还应包括将待处理文件转换为标准格式的文件的操作。

图6示意性示出了根据本公开另一实施例的将待处理文件导入数据库的流程图。

如图6所示，本公开实施例中操作S230将待处理文件导入数据库的流程除了操作S531～操作S533外，还包括操作S634，该操作S634在操作S532与操作S533之间执行。

在操作S634，在待处理文件的文件格式不是标准格式的情况下，将待处理文件转换为标准格式。其中，标准格式例如可以为txt格式等预定义的格式。相应地，在将待处理文件的文件格式转换为标准格式后，可通过操作S533来存储转换为标准格式的待处理文件。相应地，如图6所示，图5中的操作S533可以通过操作S633来实现。在操作S633，根据导入规则，采用导入工具将转换为标准格式的待处理文件导入数据库。

根据本公开的实施例，在需要更新文件信息或需要调整现有的文本格式时，与不同类型的待处理文件匹配的元数据文件的文件格式也相应地发生变化。此时，为了避免第一预定空间中存储有未更新的导入规则导致的文件导入错误的情况，还可以根据更新后的元数据文件重新生成导入规则，同时将未更新的导入规则删除。

图7示意性示出了根据本公开又一实施例的文件处理方法的流程图。

如图7所示，本公开实施例的文件处理方法除了操作S210～操作S230，及操作S340～操作S360外，还包括操作S770～操作S780。该操作S770～操作S780可以在任意时机执行，本公开对此不作限定。

在操作S770，确定第二预定空间中是否具有更新的元数据文件。

根据本公开的实施例，该操作S770例如可以通过监听机制，监听第二预定空间中的元数据文件。或者，在图1中的终端设备101、102、103的第二预定空间中的元数据文件更新后，可以通过终端设备101、102、103向图1中的服务器105发送更新指令。服务器105根据该更新指令执行操作S770。相应地，操作S770可以包括：在接收到更新指令后，可以确定第二预定空间中具有更新的元数据文件。

在第二预定空间中具有更新的元数据文件，且第一预定空间中已经存储有与更新的元数据文件对应的元数据文件的情况下，为了避免因元数据文件的更新导致的文件导入错误的情况，可以执行操作S780。

在操作S780，在第二预定空间中存在更新的元数据文件的情况下，从第一预定空间中删除与更新的元数据文件对应的元数据文件及导入规则。在删除了第一预定空间的情况下，当待处理文件为与更新后的元数据文件匹配的文件时，通过操作S340～操作S360可以重新根据更新后的元数据文件生成与待处理文件匹配的导入规则。

根据本公开的实施例，图2～图7描述的文件处理方法例如可以由估值核算系统中的文件处理系统来执行。该文件处理系统例如可以包括文件识别装置、元数据分析装置、记忆存储装置和文本读取及加工装置。其中，文件识别装置、元数据分析装置与记忆存储装置相连接，读取或者存储相应的学习结果(生成的导入规则)。文件读取及加工装置根据记忆存储装置存储的导入规则，将数据导入到数据库中用于估值核算的数据表中。

根据本公开的实施例，文件识别装置用于判断待处理文件对应的元数据文件是否曾经被学习过，并根据确定结果决定是否需要额外读取元数据进行学习(操作S210～操作S220)。该文件识别装置主要根据文件名及后缀、文件格式、文件行长度、字段分隔符、字段个数、字段格式进行匹配，如在记忆存储装置中匹配到，则直接使用记忆存储装置中的导入规则进行解析导入，如果没有找到，则使用元数据分析装置进行学习识别。

根据本公开的实施例，元数据分析装置用于读取文件对应的元数据，首先校验元数据的正确性，校验通过后，则记录分析结果，用于后续的读取和加工处理(操作S340～操作S360)。

根据本公开的实施例，记忆存储装置用于记录特定文件的文件名及后缀、文件格式、文件行长度、字段分隔符、字段个数。该记忆存储装置存储了元数据分析装置之前学习的所有结果，最终保存了文件的导入控制文件(即导入规则)。

根据本公开的实施例，文件读取及加工装置用于根据文件的分析结果，读取文件转换为标准格式(txt格式)的文本，并根据记忆存储装置中生成的导入控制文件，实现文件数据记录的筛选加工，以将文件导入数据库中(操作S230)。

根据本公开的实施例，本公开实施例由上述文件处理系统执行的文件处理方法整体例如可以包括以下操作：

首先估值核算系统读取固定目录(例如第二预定格式)下的文件清单，逐一地进行后续处理。

然后文件识别装置通过分析文件特征，判断文件类型，并根据文件名匹配基于存储装置中的文件正则表达式以确定记忆存储装置中是否存在匹配的导入控制文件。

在存在匹配的导入控制文件时，则文本读取及加工装置可以直接从记忆存储装置中获取导入控制文件，并根据与文件的类型对应的读取函数读取文件内容，并根据导入控制文件将文件内容写入到数据库中。

在不存在匹配的导入控制文件时，则由元数据分析装置读取文件对应的元数据信息。然后判断元数据的准确性，并结合文件内容校验文件与元数据是否匹配。若匹配则根据校验通过后的元数据信息生成导入控制文件，并将元数据信息和导入控制文件存入记忆存储装置中。最后文本读取及加工装置从记忆存储装置中获取生成的导入控制文件，并根据与文件的类型对应的读取函数读取文件内容，并根据导入控制文件将文件内容写入到数据库中。

图8示意性示出了根据本公开实施例的文件处理装置的结构框图。

如图8所示，本公开实施例的文件处理装置800包括解析模块810、导入规则确定模块820、文件导入模块830。

解析模块810用于解析待处理文件，得到文件信息(操作S210)。

导入规则确定模块820用于根据文件信息，确定第一预定空间中是否存在与待处理文件匹配的导入规则(操作S220)。

文件导入模块830用于在第一预定空间中存在与待处理文件匹配的导入规则的情况下，根据导入规则，将待处理文件导入数据库(操作S230)。

根据本公开的实施例，如图8所示，本公开实施例的文件处理装置800还可以包括元数据文件获取模块840、导入规则生成模块850、存入模块860。其中，元数据文件获取模块840用于从存储待处理文件的第二预定空间获取与待处理文件匹配的元数据文件(操作S340)。导入规则生成模块850生成与待处理文件匹配的导入规则(操作S350)。存入模块860用于将与待处理文件匹配的元数据文件及生成的导入规则存入第一预定空间(操作S360)。

根据本公开的实施例，上述文件信息包括文件格式、文件名称和文件内容，上述导入规则确定模块820可以包括：标准文件确定子模块821、元数据文件确定子模块822和导入规则确定子模块823。标准文件确定子模块821用于根据所述文件格式，确定所述待处理文件是否为标准文件(操作S421)。元数据文件确定子模块822用于在待处理文件为标准文件的情况下，确定第一预定空间中是否存在与待处理文件的文件名称和文件内容均匹配的元数据文件(操作S422)。导入规则确定子模块823用于在确定第一预定空间中存在与待处理文件的文件名称和文件内容均匹配的元数据文件的情况下，确定存在与待处理文件匹配的导入规则(操作S423)。其中，对于具有不同文件格式的待处理文件，匹配的导入规则不同。

根据本公开的实施例，上述文件格式包括以下至少一种：excel、dbf、txt和csv。

根据本公开的实施例，如图8所示，上述文件导入模块830例如包括读取函数获取子模块831、待处理文件读取子模块832和导入子模块833。读取函数获取子模块831用于根据待处理文件的文件格式，获取针对文件格式的读取函数(操作S531)。待处理文件读取子模块832用于根据读取函数，读取得到待处理文件(操作S532)。导入子模块833用于根据导入规则，采用导入工具将待处理文件导入数据库(操作S533)。

根据本公开的实施例，如图8所示，上述文件导入模块830例如还可以包括格式转换子模块834，用于在待处理文件的文件格式不是标准格式的情况下，将待处理文件转换为标准格式(操作S634)。其中，采用导入工具导入数据库的待处理文件为标准格式的待处理文件。

根据本公开的实施例，如图8所示，上述文件处理装置800还可以包括更新文件确定模块870和删除模块880。更新文件确定模块870用于确定第二预定空间中是否具有更新的元数据文件(操作S770)。删除模块880用于在第二预定空间中存在更新的元数据文件的情况下，从第一预定空间中删除与更新的元数据文件对应的元数据文件及导入规则(操作S780)。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，解析模块810、导入规则确定模块820、文件导入模块830、元数据文件获取模块840、导入规则生成模块850、存入模块860、更新文件确定模块870、删除模块880、标准文件确定子模块821、元数据文件确定子模块822、导入规则确定子模块823、读取函数获取子模块831、待处理文件读取子模块832、导入子模块833和格式转换子模块834中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，解析模块810、导入规则确定模块820、文件导入模块830、元数据文件获取模块840、导入规则生成模块850、存入模块860、更新文件确定模块870、删除模块880、标准文件确定子模块821、元数据文件确定子模块822、导入规则确定子模块823、读取函数获取子模块831、待处理文件读取子模块832、导入子模块833和格式转换子模块834中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，解析模块810、导入规则确定模块820、文件导入模块830、元数据文件获取模块840、导入规则生成模块850、存入模块860、更新文件确定模块870、删除模块880、标准文件确定子模块821、元数据文件确定子模块822、导入规则确定子模块823、读取函数获取子模块831、待处理文件读取子模块832、导入子模块833和格式转换子模块834中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图9示意性示出了根据本公开实施例的适于执行文件处理方法的电子设备的框图。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，根据本公开实施例的电子设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。电子设备900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种文件处理方法，包括：

解析待处理文件，得到文件信息；

根据所述文件信息，确定第一预定空间中是否存在与所述待处理文件匹配的导入规则；以及

在所述第一预定空间中存在与所述待处理文件匹配的导入规则的情况下，根据所述导入规则，将所述待处理文件导入数据库。

2.根据权利要求1所述的方法，还包括，在所述第一预定空间中不存在与所述待处理文件匹配的导入规则的情况下：

从存储所述待处理文件的第二预定空间获取与所述待处理文件匹配的元数据文件；

根据所述元数据文件，生成与所述待处理文件匹配的导入规则；以及

将与所述待处理文件匹配的元数据文件及生成的所述导入规则存入所述第一预定空间。

3.根据权利要求2所述的方法，其中，所述文件信息包括文件格式、文件名称和文件内容，所述确定第一预定空间中是否存在与所述待处理文件匹配的导入规则包括：

根据所述文件格式，确定所述待处理文件是否为标准文件；

在所述待处理文件为标准文件的情况下，确定所述第一预定空间中是否存在与所述待处理文件的文件名称和文件内容均匹配的元数据文件；以及

在确定所述第一预定空间中存在与所述待处理文件的文件名称和文件内容均匹配的元数据文件的情况下，确定存在与所述待处理文件匹配的导入规则，

其中，对于具有不同文件格式的待处理文件，匹配的导入规则不同。

4.根据权利要求3所述的方法，其中，所述文件格式包括以下至少一种：excel、dbf、txt和csv。

5.根据权利要求3所述的方法，其中，所述将所述待处理文件导入数据库包括：

根据所述待处理文件的文件格式，获取针对所述文件格式的读取函数；

根据所述读取函数，读取得到所述待处理文件；以及

根据所述导入规则，采用导入工具将所述待处理文件导入所述数据库。

6.根据权利要求5所述的方法，其中，所述将所述待处理文件导入数据库还包括：

在所述待处理文件的文件格式不是标准格式的情况下，将所述待处理文件转换为标准格式，

其中，采用所述导入工具导入所述数据库的待处理文件为所述标准格式的待处理文件。

7.根据权利要求2所述的方法，还包括：

确定所述第二预定空间中是否具有更新的元数据文件；以及

在所述第二预定空间中存在更新的元数据文件的情况下，从所述第一预定空间中删除与所述更新的元数据文件对应的元数据文件及导入规则。

8.一种文件处理装置，包括：

解析模块，用于解析待处理文件，得到文件信息；

导入规则确定模块，用于根据所述文件信息，确定第一预定空间中是否存在与所述待处理文件匹配的导入规则；以及

文件导入模块，用于在所述第一预定空间中存在与所述待处理文件匹配的导入规则的情况下，根据所述导入规则，将所述待处理文件导入数据库。

9.一种电子设备，包括：

一个或多个处理器；以及

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1～7中任一项所述的方法。