CN111858467B - 基于人工智能的文件数据处理方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及人工智能领域，特别是涉及一种基于人工智能的文件数据处理方法、装置、设备和介质。所述方法包括：获取待处理文件数据，并分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式；根据各待处理文件数据的文件格式获取对应的配置数据；获取接口数据，并通过接口数据以及各配置数据，分别生成对应各待处理文件数据的识别程序；通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容；将各数据内容存入数据库中。采用本方法能够提升数据处理效率。同时，本申请还涉及区块链技术，其中，将待处理文件数据、文件格式、配置数据以及数据内容等均可以存储与区块链中。

Description

基于人工智能的文件数据处理方法、装置、设备和介质

技术领域

本申请涉及人工智能领域，特别是涉及一种基于人工智能的文件数据处理方法、装置、设备和介质。

背景技术

证券公司通过其核心交易系统、清算系统等与外部机构(如证券登记结算公司、托管银行等)之间等进行文件数据的交互，例如，交易系统通过导出和导入接口文件实现与登记公司、基金公司、存管银行等进行数据交互等。

在传统方式中，证券公司需要通过不同的接口对不同文件格式的文件数据进行识别转换。由于不同文件格式的文件数据均需要通过不同的接口处理，使得数据处理的效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升数据处理效率的基于人工智能的文件数据处理方法、装置、设备和介质。

一种基于人工智能的文件数据处理方法，所述方法包括：

获取待处理文件数据，并分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式；

根据各待处理文件数据的文件格式获取对应的配置数据；

获取接口数据，并通过接口数据以及各配置数据，分别生成对应各待处理文件数据的识别程序；

通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容；

将各数据内容存入数据库中。

在其中一个实施例中，对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式，包括：

判断待处理文件数据是否存在文件后缀；

当待处理文件数据存在文件后缀时，则根据文件后缀确定待处理文件数据的文件格式；

当待处理文件数据不存在文件后缀时，则对待处理文件数据的文件头标识、文件描述、文件结构以及存储结构中至少一项进行识别，以确定待处理文件数据的文件格式。

在其中一个实施例中，通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容，包括：

对待处理文件数据的各数据条目分别进行文本字符串的识别，得到待处理文件数据中对应各数据条目的初始数据内容；

分别对各数据条目对应的初始数据内容进行内容格式标准化的预处理，以得到待处理文件数据中各数据条目的数据内容。

在其中一个实施例中，得到各待处理文件数据中的数据内容之后，方法还包括：

判断得到的数据内容是否符合数据库的存储要求；

当数据内容不符合数据库的存储要求时，则通过转换函数对数据内容进行存储格式的转换，得到符合数据库的存储要求的数据内容。

在其中一个实施例中，将各数据内容存入数据库中，包括：

并行将各待处理文件数据的内容数据存入缓存数据库中；

异步从缓存数据库中获取各待处理文件数据的数据内容，并存入管理数据库中。

在其中一个实施例中，得到各待处理文件数据中的数据内容之后，方法还包括：

获取得到的数据内容的比对结果，比对结果是通过对得到的数据内容以及对应的待处理文件数据进行比对生成；

根据比对结果对接口数据以及待处理文件数据对应的配置数据进行更新，以得到更新后的接口数据以及配置数据；

根据各待处理文件数据的文件格式获取对应的配置数据，包括：

根据各待处理文件数据的文件格式获取对应的更新后的配置数据；

获取接口数据，包括：

获取更新后的接口数据。

在其中一个实施例中，上述方法还包括：

将待处理文件数据、文件格式、配置数据以及数据内容中的至少一个上传至区块链，并存储至区块链的节点中。

一种基于人工智能的文件数据处理装置，所述装置包括：

文件格式确定模块，用于获取待处理文件数据，并分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式；

配置数据获取模块，用于根据各待处理文件数据的文件格式获取对应的配置数据；

识别程序生成模块，用于获取接口数据，并通过接口数据以及各配置数据，分别生成对应各待处理文件数据的识别程序；

识别处理模块，用于通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容；

存储模块，用于将各数据内容存入数据库中。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

上述基于人工智能的文件数据处理方法、装置、设备和介质，通过获取待处理文件数据，然后分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式，进一步根据各待处理文件数据的文件格式获取对应的配置数据，然后获取接口数据，并通过各配置数据以及接口数据，分别生成对应各待处理文件数据的识别程序，进一步，通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容，并将各数据内容存入数据库中。从而，可以根据通用的接口数据以及对应文件格式的配置数据生成识别程序，然后通过识别程序对对应的文件格式进行识别处理，得到对应待处理文件数据的数据内容，可以通过同一接口对不同文件格式的文件数据进行识别转换，可以提升数据处理效率。并且，通过以通用的接口数据与配置数据相结合的形式生成识别程序，在开发过程中可以仅对配置数据进行开发处理，而不用重复对接口数据进行处理，可以减少开发过程中处理的数据量，可以提升开发效率。

附图说明

图1为一个实施例中基于人工智能的文件数据处理方法的应用场景图；

图2为一个实施例中基于人工智能的文件数据处理方法的流程示意图；

图3为一个实施例中待处理文件数据导入步骤的流程示意图；

图4为一个实施例中数据内容导出步骤的流程示意图；

图5为一个实施例中基于人工智能的文件数据处理装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于人工智能的文件数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。具体地，终端102通过接口向服务器104发送待处理文件数据，基于终端102的不同，上传服务器104的待处理文件数据的文件格式可以不同。进一步，服务器104在接收并获取待处理文件数据后，分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式，并根据各待处理文件数据的文件格式获取对应的配置数据。然后服务器104获取接口数据，并通过接口数据以及各配置数据，分别生成对应各待处理文件数据的识别程序，进而各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容，并将各数据内容存入数据库中。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种基于人工智能的文件数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤S202，获取待处理文件数据，并分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式。

其中，待处理文件数据是指终端生成并上传的文件数据，不同终端上传的待处理文件数据，其文件格式可以不同，例如，可以包括但不限于TXT、DBF、CSV、EXCEL、SQL或WORD等格式。

在本实施例中，同一文件格式的待处理文件数据的存储结构相同且固定，例如，第一行数据条目存储的是什么，第二行数据条目存储的是什么，以及待处理文本数据中有多少行数据条目等。

具体地，参考图3，服务器可以并行导入终端上传的多个待处理文件数据至内存，然后再从内存中获取待处理文件数据。

在本实施例中，终端上传的待处理文件数据可以是一个，也可以是多个，上传的多个待处理文件数据可以是同一文件格式的文件数据，也可以是多种不同文件格式的多个文件数据。

在本实施例中，服务器在导入多个待处理文件数据后，可以从内存中获取待处理文件数据，并分别对各待处理文件数据进行文件格式的识别。

具体地，服务器可以获取多个待处理文件数据，然后并行分别对各待处理文件数据进行数据格式的识别，以确定各待处理文件数据为TXT、DBF、CSV、EXCEL、SQL或WORD等文件格式。

步骤S204，根据各待处理文件数据的文件格式获取对应的配置数据。

其中，配置数据是指预先配置的，专用于某一文件格式的待处理文件数据的数据，例如，专用于TXT文件格式的配置数据，专用于DBF文件格式的配置数据等。

在本实施例中，配置数据可以用于对接口数据进行配置，然后对待处理文件数据进行处理等。

具体地，服务器在导入待处理文件数据后，可以根据各待处理文件数据的文件格式，从数据库中获取对应的配置数据。

步骤S206，获取接口数据，并通过接口数据以及各配置数据，分别生成对应各待处理文件数据的识别程序。

其中，接口数据是指可以用于对各种不同文件格式的待处理文件数据进行处理的数据，可以包括但不限于各种不同的内嵌函数等，例如，取字符串函数SUBSTR(STRING、START、COUNT)，字符替换函数REPLACE(SOURCE STRING、SEARCH STRING、REPLACE STRING)，字符串截取函数LEFT(STRING，COUNT)和RIGHT(STRING，COUNT)，去空格函数LTRIM(STRING)、RTRIM(STRING)以及TRIM(STRING)，大小写转换函数TO_UPPER(STRING)和TO_LOWER(STRING)，取长度函数LENGTH(STRING)，三目表达式函数IIF(BOOLEAN，RETURN_TRUE，RETURN_FALSE)，时间函数CVT_DATETIME(DATETIME_STRING、DATETIME_FORMAT_OLD、ATETIME_FORMAT_NEW)等。

识别程序是指用于对待处理文件进行文件的数据内容识别的程序，不同文件格式的待处理文件数据，其对应的识别程序不同。

在本实施例中，接口数据以及各文件格式对应的配置数据共同组合，得到对应各文件格式的待处理文件数据的识别程序，以分别对各文件格式对应的待处理文件数据进行处理。

具体地，服务器可以通过待处理文件数据对应的配置数据对接口数据进行配置，然后生成对应文件格式的识别程序，例如，生成对应TXT文件格式的识别程序或者是对应DBF格式的识别程序等。

在本实施例中，服务器通过待处理文件数据对应的配置数据对接口数据进行配置，可以是从配置数据以及接口数据中分别获取相关的语句条目，然后进行组合，以生成识别程序，例如，配置数据中某个语句条目包含了调用某个函数，则服务器可以从接口数据中获取该函数条目，以基于配置数据中该函数对应的语句条目以及接口数据中该函数条目，生成组成识别程序的一条识别语句。

进一步，服务器通过遍历该配置数据以及接口数据，即可生成对应文件格式的识别程序。

步骤S208，通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容。

如前文所述，待处理文件数据的存储格式固定，服务器可以通过各识别程序分别对格式固定的各待处理文件数据进行文本字符串的识别，然后得到各待处理文件数据的数据内容。

具体地，服务器可以并行对格式固定的多个处理文件数据分别进行字符串的识别，然后对识别得到的初始数据内容进行去空格处理、去重处理等预处理操作后，得到对应的数据内容。

步骤S210，将各数据内容存入数据库中。

在本实施例中，服务器可以将识别得到的各待处理文件数据的数据内容写入数据库中，从而实现对不同文件格式的待处理文件数据的处理交互。

具体地，服务器将得到各数据内容写入数据库可以是异步进行的，即服务器每从待处理文件数据中识别得到一个数据内容，则将其存入数据库中，从而实现实时存储，减少数据丢失的可能性，保障数据的完整性。

上述基于人工智能的文件数据处理方法中，通过获取待处理文件数据，然后分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式，进一步根据各待处理文件数据的文件格式获取对应的配置数据，然后获取接口数据，并通过各配置数据以及接口数据，分别生成对应各待处理文件数据的识别程序，进一步，通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容，并将各数据内容存入数据库中。从而，可以根据通用的接口数据以及对应文件格式的配置数据生成识别程序，然后通过识别程序对对应的文件格式进行识别处理，得到对应待处理文件数据的数据内容，可以通过同一接口对不同文件格式的文件数据进行识别转换，可以提升数据处理效率。并且，通过以通用的接口数据与配置数据相结合的形式生成识别程序，在开发过程中可以仅对配置数据进行开发处理，而不用重复对接口数据进行处理，可以减少开发过程中处理的数据量，可以提升开发效率。

在其中一个实施例中，对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式，可以包括：判断待处理文件数据是否存在文件后缀；当待处理文件数据存在文件后缀时，则根据文件后缀确定待处理文件数据的文件格式；当待处理文件数据不存在文件后缀时，则对待处理文件数据的文件头标识、文件描述、文件结构以及存储结构中至少一项进行识别，以确定待处理文件数据的文件格式。

具体地，服务器直接对获取待处理文件数据进行判定，确定是否存在文件后缀，当待处理文件数据存在文件后缀时，则根据文件后缀确定待处理文件数据的文件格式，例如，文件后缀为“doc”或者“docx”，则待处理文件数据为WORD文件格式的数据，文件后缀为“xls”或者“xlsx”，则待处理文件数据为EXCEL文件格式的数据等。

进一步，当服务器确定待处理文件数据不存在文件后缀时，则根据文件头标识、文件描述、文件结构以及存储结构中至少一项，确定待处理文件数据的文件格式。

具体地，每一个文件的开头都有一片区域来显示这个文件的实际用法，即文件头，文件头可以包括文件头标识以及文件描述等数据。服务器可以根据文件头中的文件头标识或者文件描述识别待处理文件数据的文件格式，例如，对于WORD文件格式的数据，其文件头标识为“7F FE 34 0A”，文件描述为“MS Word”，对于EXCEL文件格式的数据，其文件头标识为“D0 CF 11E0”，文件描述为“MS Excel”。

在本实施例中，服务器还可以通过识别待处理文件数据的文件结构或者数据内容的存储结构，进而根据文件结构或者存储结构确定待处理文件数据的文件格式。

或者，服务器也可以根据文件头标识、文件描述、文件结构以及存储结构，按照顺序依次进行文件格式的确定，从而，通过多个结合并进行文件格式的确定，可以提升文件格式识别确定的准确性。

上述实施例中，通过对是否存在文件后缀进行判定，并在存在文件后缀时，对文件后缀进行识别，可以直接而又快速的确定文件格式。并且，对于不存在文件后缀的待处理文件数据，则对文件头标识、文件描述、文件结构以及存储结构中至少一项进行识别，确定文件格式，从而可以准确识别待处理文件数据的文件格式。

在其中一个实施例中，通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容，可以包括：对待处理文件数据的各数据条目分别进行文本字符串的识别，得到待处理文件数据中对应各数据条目的初始数据内容；分别对各数据条目对应的初始数据内容进行内容格式标准化的预处理，以得到待处理文件数据中各数据条目的数据内容。

如前所述，待处理文件数据中包括多行数据条目，同一文件格式的待处理文件数据，其存储结构相同且固定，数据条目的数量以及存储结构可以相同。

具体地，服务器可以通过识别程序中对应各数据条目的识别语句，分别对各数据条目进行文本字符串的识别，以得到对应各数据条目的初始数据内容。

进一步，服务器可以根据识别程序中的去空格函数、去重函数、大写小转换函数等，对得到的初始数据内容进行内容格式标准化的处理，如，对识别到的初始数据内容进行相应的去空格处理、去重处理以及大小写转换处理等，以得到各数据条目的数据内容，从而得到待处理文件数据的数据内容。

上述实施例中，通过分别对待处理文件的各数据条目分别进行识别，然后进行内容格式标准化的预处理，可以使识别处理过程更加精细化，进而可以提升识别处理的准确性，以提升得到的数据内容的准确性。

在其中一个实施例中，得到各待处理文件数据中的数据内容之后，上述方法还可以包括：判断得到的数据内容是否符合数据库的存储要求；当数据内容不符合数据库的存储要求时，则通过转换函数对数据内容进行存储格式的转换，得到符合数据库的存储要求的数据内容。

其中，存储要求是指数据库对存储的数据的要求，可以包括存储的数据内容的内容格式要求以及相关标准等。

具体地，服务器可以将得到的数据内容与存储要求中确定内容格式或者相关标准进行文本内容的比对，以确定得到的数据内容是否符合数据库的存储要求。

进一步，当服务器确定数据内容不符合数据库的存储要求时，可以通过数据字典或者字典转换函数等对得到的数据内容进行数据转换，从而得到符合所述数据库的存储要求的数据内容，例如，得到的数据内容中0代表女1代表男，而在数据库的存储要求为A代表女B代表男，则可以通过数据字典中的内嵌函数(如字符串替换函数等)，进行字符串的转换，将0转换为A，将1转换为B，然后进行存储。

上述实施例中，通过对得到的数据内容与数据库的存储要求进行判定，并进行数据转换后存入数据库，从而可以使存入数据库的数据内容符合数据库的存储要求，降低了数据存储过程中出错的可能性，提升了服务器的运行稳定性。

在其中一个实施例中，将各数据内容存入数据库中，可以包括：并行将各待处理文件数据的内容数据存入缓存数据库中；异步从缓存数据库中获取各待处理文件数据的数据内容，并存入管理数据库中。

其中，缓存数据库是指临时数据库，可以用于对识别并提取的数据内容进行临时存储。

具体地，继续参考图3，服务器可以将识别得到的数据内容缓存在缓存数据库中，在等待该待处理文件数据全部识别完后，再从缓存数据库中获取到该待处理文件数据对应的数据内容，并存入管理数据库中，例如，存入Oracle数据库等。

在本实施例中，服务器从缓存数据库中获取各待处理文件数据的内容数据，并存入管理数据库中，可以是异步进行的，从而可以进一步提升存储处理的效率。

上述实施例中，通过将得到的数据内容存入缓存数据库，然后在存入管理数据库，从而，可以使得存入管理数据库中的数据内容为识别完整的数据，提升数据导入的准确性以及完整性。

在其中一个实施例中，得到各待处理文件数据中的数据内容之后，上述方法还可以包括：获取得到的数据内容的比对结果，比对结果是通过对得到的数据内容以及对应的待处理文件数据进行比对生成；根据比对结果对接口数据以及待处理文件数据对应的配置数据进行更新，以得到更新后的接口数据以及配置数据。

其中，比对结果可以包括待处理文件数据中各数据内容是否识别准确的结果。如，“数据内容1一致”“数据内容2不一致，存在空格”等。

具体地，服务器在得到对应的数据内容后，可以通过显示界面进行展示，并接收用户通过终端发送的比对结果。然后服务器根据比对结果确定是否对接口数据或者是对应文件格式的配置数据进行更新，例如，比对结果为“数据内容2不一致，存在空格”，这服务器可以确定在配置数据或者接口数据中，所用到的“去空格函数”并不能准确对每一个空格进行去除，使得去空格处理的效果并不好。因此，服务器可以确定需要变更配置数据中的去空格函数，从而对配置数据进行更新。

或者，当服务器检测到有新的函数增加时，服务器可以将新的函数添加至接口数据中，从而使得接口数据以及各文件格式对应的配置数据更加完善。

在本实施例中，根据各待处理文件数据的文件格式获取对应的配置数据，可以包括：根据各待处理文件数据的文件格式获取对应的更新后的配置数据。获取接口数据，可以包括：获取更新后的接口数据。

具体地，在后续处理过程中，服务器可以获取更新的配置数据以及接口数据，并生成识别程序，然后进行待处理文件数据的识别处理。

上述实施例中，通过对接口数据以及配置数据进行更新，可以使接口数据以及配置数据更加完善，从而后续进行待处理文件数据处理的时候，可以以更新后的接口数据以及对应的配置数据进行处理，可以提升后续数据处理的准确性。

在其中一个实施例中，参考图4，上述方法还可以包括：接收终端的数据获取请求，数据获取请求携带有请求的数据内容信息以及对应的文件格式；从数据库中获取对应数据内容信息的数据内容；确定对应文件格式的配置数据，并通过配置数据以及获取的接口数据将获取的数据内容写入对应文件格式的文件数据中，以得到对应数据获取请求的文件数据，并将得到的文件数据发送终端。

其中，数据内容信息是用于指示数据内容唯一性的信息，可以是服务器将对应的数据内容存入数据库后生成的唯一标识，如数据ID、数据编码、数据名称等。

数据获取请求可以包括但不限于请求的数据内容信息以及对应的文件格式，如TXT、DBF、CSV、EXCEL、SQL或WORD等。

具体地，服务器可以根据数据获取请求，从数据库中获取对应的数据内容，例如，从缓存数据库或者是管理数据中获取，并通过接口数据以及配置数据生成的识别程序，将获取的数据内容按照对应文件格式的要求写如文件中，得到文件数据。

可选地，终端发送的数据获取请求的文件格式可以是多种不同的文件格式，服务器可以并行分别生成多个不同文件格式的文件数据，并发送终端。

可选地，服务器接收到的数据获取请求也可以是多个不同的终端发送的请求，服务器可以分别对各终端请求的数据分别进行处理，并生成对应文件格式的文件数据，以发送至各终端。

上述实施例中，通过终端请求的文件格式，确定对应的配置数据，并通过配置数据以及获取到的接口数据将数据内容写入文件数据中，从而可以根据终端的需求生成对应文件格式的文件数据，可以提升文件数据的生成效率以及输出效率。

在其中一个实施例中，上述方法还可以包括：将待处理文件数据、文件格式、配置数据以及数据内容中的至少一个上传至区块链，并存储至区块链的节点中。

其中，区块链是指分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Block chain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。

具体地，区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

在本实施例中，服务器可以将待处理文件数据、文件格式、配置数据以及数据内容中的一个或者多个数据上传并存储于区块链的节点中，以保证数据的私密性和安全性。

上述实施例中，通过将待处理文件数据、文件格式、配置数据以及数据内容中至少一个上传至区块链并存储于区块链的节点中，从而可以保障存储至区块链节点中数据的私密性，可以提升数据的安全性。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种基于人工智能的文件数据处理装置，包括：文件格式确定模块100、配置数据获取模块200、识别程序生成模块300、识别处理模块400和存储模块500，其中：

文件格式确定模块100，用于获取待处理文件数据，并分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式。

配置数据获取模块200，用于根据各待处理文件数据的文件格式获取对应的配置数据。

识别程序生成模块300，用于获取接口数据，并通过接口数据以及各配置数据，分别生成对应各待处理文件数据的识别程序。

识别处理模块400，用于通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容。

存储模块500，用于将各数据内容存入数据库中。

在其中一个实施例中，文件格式确定模块100可以包括：

文件后缀判断子模块，用于判断待处理文件数据是否存在文件后缀。

第一文件格式确定子模块，用于当待处理文件数据存在文件后缀时，则根据文件后缀确定待处理文件数据的文件格式。

第二文件格式确定子模块，用于当待处理文件数据不存在文件后缀时，则对待处理文件数据的文件头标识、文件描述、文件结构以及存储结构中至少一项进行识别，以确定待处理文件数据的文件格式。

在其中一个实施例中，识别处理模块400可以包括：

识别子模块，用于对待处理文件数据的各数据条目分别进行文本字符串的识别，得到待处理文件数据中对应各数据条目的初始数据内容。

预处理子模块，用于分别对各数据条目对应的初始数据内容进行内容格式标准化的预处理，以得到待处理文件数据中各数据条目的数据内容。

在其中一个实施例中，上述装置还可以包括：

判断模块，用于在识别处理模块400得到各待处理文件数据中的数据内容之后，判断得到的数据内容是否符合数据库的存储要求。

转换模块，用于当数据内容不符合数据库的存储要求时，则通过转换函数对数据内容进行存储格式的转换，得到符合数据库的存储要求的数据内容。

在其中一个实施例中，存储模块500可以包括：

第一存储子模块，用于并行将各待处理文件数据的内容数据存入缓存数据库中。

第二存储子模块，用于异步从缓存数据库中获取各待处理文件数据的数据内容，并存入管理数据库中。

在其中一个实施例中，上述装置还可以包括：

比对结果获取模块，用于在识别处理模块400得到各待处理文件数据中的数据内容之后，获取得到的数据内容的比对结果，比对结果是通过对得到的数据内容以及对应的待处理文件数据进行比对生成。

更新模块，用于根据比对结果对接口数据以及待处理文件数据对应的配置数据进行更新，以得到更新后的接口数据以及配置数据。

在本实施例中，配置数据获取模块200用于根据各待处理文件数据的文件格式获取对应的更新后的配置数据。

在本实施例中，识别程序生成模块300用于获取更新后的接口数据。

在其中一个实施例中，上述装置还可以包括：

存储模块，用于将待处理文件数据、文件格式、配置数据以及数据内容中的至少一个上传至区块链，并存储至区块链的节点中。

关于基于人工智能的文件数据处理装置的具体限定可以参见上文中对于基于人工智能的文件数据处理方法的限定，在此不再赘述。上述基于人工智能的文件数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理文件数据、配置数据、接口数据以及识别得到的数据内容等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的文件数据处理方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待处理文件数据，并分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式；根据各待处理文件数据的文件格式获取对应的配置数据；获取接口数据，并通过接口数据以及各配置数据，分别生成对应各待处理文件数据的识别程序；通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容；将各数据内容存入数据库中。

在一个实施例中，处理器执行计算机程序时实现对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式，可以包括：判断待处理文件数据是否存在文件后缀；当待处理文件数据存在文件后缀时，则根据文件后缀确定待处理文件数据的文件格式；当待处理文件数据不存在文件后缀时，则对待处理文件数据的文件头标识、文件描述、文件结构以及存储结构中至少一项进行识别，以确定待处理文件数据的文件格式。

在其中一个实施例中，处理器执行计算机程序时实现通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容，可以包括：对待处理文件数据的各数据条目分别进行文本字符串的识别，得到待处理文件数据中对应各数据条目的初始数据内容；分别对各数据条目对应的初始数据内容进行内容格式标准化的预处理，以得到待处理文件数据中各数据条目的数据内容。

在其中一个实施例中，处理器执行计算机程序时实现得到各待处理文件数据中的数据内容之后，还可以实现如下步骤：判断得到的数据内容是否符合数据库的存储要求；当数据内容不符合数据库的存储要求时，则通过转换函数对数据内容进行存储格式的转换，得到符合数据库的存储要求的数据内容。

在其中一个实施例中，处理器执行计算机程序时实现将各数据内容存入数据库中，可以包括：并行将各待处理文件数据的内容数据存入缓存数据库中；异步从缓存数据库中获取各待处理文件数据的数据内容，并存入管理数据库中。

在其中一个实施例中，处理器执行计算机程序时实现得到各待处理文件数据中的数据内容之后，还可以实现如下步骤：获取得到的数据内容的比对结果，比对结果是通过对得到的数据内容以及对应的待处理文件数据进行比对生成；根据比对结果对接口数据以及待处理文件数据对应的配置数据进行更新，以得到更新后的接口数据以及配置数据。处理器执行计算机程序时实现根据各待处理文件数据的文件格式获取对应的配置数据，可以包括：根据各待处理文件数据的文件格式获取对应的更新后的配置数据。处理器执行计算机程序时实现获取接口数据，可以包括：获取更新后的接口数据。

在其中一个实施例中，处理器执行计算机程序时还实现如下步骤：将待处理文件数据、文件格式、配置数据以及数据内容中的至少一个上传至区块链，并存储至区块链的节点中。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待处理文件数据，并分别对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式；根据各待处理文件数据的文件格式获取对应的配置数据；获取接口数据，并通过接口数据以及各配置数据，分别生成对应各待处理文件数据的识别程序；通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容；将各数据内容存入数据库中。

在一个实施例中，计算机程序被处理器执行时实现对各待处理文件数据进行文件格式的识别，确定各待处理文件数据的文件格式，可以包括：判断待处理文件数据是否存在文件后缀；当待处理文件数据存在文件后缀时，则根据文件后缀确定待处理文件数据的文件格式；当待处理文件数据不存在文件后缀时，则对待处理文件数据的文件头标识、文件描述、文件结构以及存储结构中至少一项进行识别，以确定待处理文件数据的文件格式。

在其中一个实施例中，计算机程序被处理器执行时实现通过各识别程序分别对各待处理文件数据分别进行数据内容的识别，得到各待处理文件数据中的数据内容，可以包括：对待处理文件数据的各数据条目分别进行文本字符串的识别，得到待处理文件数据中对应各数据条目的初始数据内容；分别对各数据条目对应的初始数据内容进行内容格式标准化的预处理，以得到待处理文件数据中各数据条目的数据内容。

在其中一个实施例中，计算机程序被处理器执行时实现得到各待处理文件数据中的数据内容之后，还可以实现如下步骤：判断得到的数据内容是否符合数据库的存储要求；当数据内容不符合数据库的存储要求时，则通过转换函数对数据内容进行存储格式的转换，得到符合数据库的存储要求的数据内容。

在其中一个实施例中，计算机程序被处理器执行时实现将各数据内容存入数据库中，可以包括：并行将各待处理文件数据的内容数据存入缓存数据库中；异步从缓存数据库中获取各待处理文件数据的数据内容，并存入管理数据库中。

在其中一个实施例中，计算机程序被处理器执行时实现得到各待处理文件数据中的数据内容之后，还可以实现如下步骤：获取得到的数据内容的比对结果，比对结果是通过对得到的数据内容以及对应的待处理文件数据进行比对生成；根据比对结果对接口数据以及待处理文件数据对应的配置数据进行更新，以得到更新后的接口数据以及配置数据。计算机程序被处理器执行时实现根据各待处理文件数据的文件格式获取对应的配置数据，可以包括：根据各待处理文件数据的文件格式获取对应的更新后的配置数据。计算机程序被处理器执行时实现获取接口数据，可以包括：获取更新后的接口数据。

在其中一个实施例中，计算机程序被处理器执行时还实现如下步骤：将待处理文件数据、文件格式、配置数据以及数据内容中的至少一个上传至区块链，并存储至区块链的节点中。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于人工智能的文件数据处理方法，其特征在于，所述方法包括：

获取待处理文件数据，并根据各所述待处理文件数据的存储结构分别对各所述待处理文件数据进行文件格式的识别，确定各所述待处理文件数据的文件格式；

根据各所述待处理文件数据的文件格式获取对应的配置数据；所述配置数据用于对接口数据进行配置；

获取所述接口数据，并通过所述接口数据以及各所述配置数据，分别生成对应各所述待处理文件数据的识别程序；

通过各所述识别程序分别对各所述待处理文件数据分别进行数据内容的识别，得到各所述待处理文件数据中的数据内容；

将各所述数据内容存入数据库中；

所述通过各所述识别程序分别对各所述待处理文件数据分别进行数据内容的识别，得到各所述待处理文件数据中的数据内容，包括：

对所述待处理文件数据的各数据条目分别进行文本字符串的识别，得到所述待处理文件数据中对应各数据条目的初始数据内容；

分别对各所述数据条目对应的初始数据内容进行内容格式标准化的预处理，以得到所述待处理文件数据中各数据条目的数据内容；

所述得到各所述待处理文件数据中的数据内容之后，所述方法还包括：

获取得到的所述数据内容的比对结果，所述比对结果是通过对得到的所述数据内容以及对应的待处理文件数据进行比对生成；

根据所述比对结果对所述接口数据以及所述待处理文件数据对应的配置数据进行更新，以得到更新后的接口数据以及配置数据；

所述根据各所述待处理文件数据的文件格式获取对应的配置数据，包括：

根据各所述待处理文件数据的文件格式获取对应的更新后的配置数据；

所述获取所述接口数据，包括：

获取更新后的接口数据。

2.根据权利要求1所述的方法，其特征在于，所述根据各所述待处理文件数据的存储结构对各所述待处理文件数据进行文件格式的识别，确定各所述待处理文件数据的文件格式，包括：

判断所述待处理文件数据是否存在文件后缀；

当所述待处理文件数据存在文件后缀时，则根据所述文件后缀确定所述待处理文件数据的文件格式；

当所述待处理文件数据不存在文件后缀时，则对所述待处理文件数据的文件头标识、文件描述、文件结构以及存储结构中至少一项进行识别，以确定所述待处理文件数据的文件格式。

3.根据权利要求1所述的方法，其特征在于，所述得到各所述待处理文件数据中的数据内容之后，所述方法还包括：

判断得到的所述数据内容是否符合数据库的存储要求；

当所述数据内容不符合所述数据库的存储要求时，则通过转换函数对所述数据内容进行存储格式的转换，得到符合所述数据库的存储要求的数据内容。

4.根据权利要求1所述的方法，其特征在于，所述将各所述数据内容存入数据库中，包括：

并行将各所述待处理文件数据的内容数据存入缓存数据库中；

异步从所述缓存数据库中获取各所述待处理文件数据的数据内容，并存入管理数据库中。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

将所述待处理文件数据、所述文件格式、所述配置数据以及所述数据内容中的至少一个上传至区块链，并存储至区块链的节点中。

6.一种基于人工智能的文件数据处理装置，其特征在于，所述装置包括：

文件格式确定模块，用于获取待处理文件数据，并根据各所述待处理文件数据的存储结构分别对各所述待处理文件数据进行文件格式的识别，确定各所述待处理文件数据的文件格式；

配置数据获取模块，用于根据各所述待处理文件数据的文件格式获取对应的配置数据；所述配置数据用于对接口数据进行配置；

识别程序生成模块，用于获取接口数据，并通过所述接口数据以及各所述配置数据，分别生成对应各所述待处理文件数据的识别程序；

识别处理模块，用于通过各所述识别程序分别对各所述待处理文件数据分别进行数据内容的识别，得到各所述待处理文件数据中的数据内容；

存储模块，用于将各所述数据内容异步存入数据库中；

所述识别处理模块包括：

识别子模块，用于对所述待处理文件数据的各数据条目分别进行文本字符串的识别，得到所述待处理文件数据中对应各数据条目的初始数据内容；

预处理子模块，用于分别对各所述数据条目对应的初始数据内容进行内容格式标准化的预处理，以得到所述待处理文件数据中各数据条目的数据内容；

所述装置还包括：

比对结果获取模块，用于获取得到的所述数据内容的比对结果，所述比对结果是通过对得到的所述数据内容以及对应的待处理文件数据进行比对生成；

更新模块，用于根据所述比对结果对所述接口数据以及所述待处理文件数据对应的配置数据进行更新，以得到更新后的接口数据以及配置数据；

所述配置数据获取模块还根据各所述待处理文件数据的文件格式获取对应的更新后的配置数据；

所述识别程序生成模块还用于获取更新后的接口数据。

7.根据权利要求6所述的装置，其特征在于，所述文件格式确定模块包括：

文件后缀判断子模块，用于判断所述待处理文件数据是否存在文件后缀；

第一文件格式确定子模块，用于当所述待处理文件数据存在文件后缀时，则根据所述文件后缀确定所述待处理文件数据的文件格式；

第二文件格式确定子模块，用于当所述待处理文件数据不存在文件后缀时，则对所述待处理文件数据的文件头标识、文件描述、文件结构以及存储结构中至少一项进行识别，以确定所述待处理文件数据的文件格式。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

判断模块，用于判断得到的所述数据内容是否符合数据库的存储要求；

转换模块，用于当所述数据内容不符合所述数据库的存储要求时，则通过转换函数对所述数据内容进行存储格式的转换，得到符合所述数据库的存储要求的数据内容。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。