CN112256669A - 数据处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本公开的实施例提供了一种数据处理方法、装置、电子设备及可读存储介质，包括：每隔第一预设时间，从存储服务器中获取文件对象集合，文件对象集合包括：每个存储端词典文件的描述信息；在存储端词典文件的描述信息与客户端词典文件的描述信息不匹配的情况下，通过文件对象集合，更新客户端词典文件。本公开在整个更新过程中，客户端通过比对文件对象集合与客户端词典文件的描述信息之间的差异，来仅对存在差异的词典文件进行下载，使得网络开销极小，且响应速率很快。另外，对词典数据的管理，覆盖了整个词典数据的各个环节，降低了单一环节出现问题的几率，而提高了词典更新过程的稳定性。

Description

数据处理方法、装置、电子设备及可读存储介质

技术领域

本公开的实施例涉及互联网技术领域，尤其涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术

中大型后台的客户端查询服务往往会存在对很多外部词典数据依赖，查询服务基于词典数据向用户反馈查询结果，提高业务的交互流畅性。

目前，词典数据在服务端运营平台产生，中大型后台的客户端针对词典数据的存储方式通常采用本地存储。本地存储是将词典数据通过离线的方式写入后台本地的硬盘中，使得这些词典数据可以提前加载到后台的本地内存，以通过内存读取的方式，在满足查询业务的同时，尽最大可能降低数据查询的单词耗时。另外，后台的客户端对词典数据的更新维护包括重启更新，定时更新，触发式增量更新等方式。重启更新及通过重启查询服务，以重新全量加载的方式来更新词典数据。定时更新是在查询服务启动，开启定时线程，每隔一段时间，进行词典数据的加载更新。触发式更新是指查询服务通过提供异步消息或外部接口，当词典数据发生变化时，由外部通过发送更新消息或调用接口通知查询服务更新词典数据。

然而，目前方案中，词典数据的存储、维护环节和词典数据的生成环节相互独立设计，使得这两个环节相互独立，缺乏统筹关联性，易造成词典数据的管理缺乏稳定性，同时目前方案的词典数据更新过程的耗时较高。

发明内容

本公开的实施例提供一种数据处理方法、装置、电子设备及可读存储介质，用以通过提供覆盖词典数据从生产到存储、更新环节的统筹管理方案，提高词典数据的管理稳定性，同时降低了词典数据更新过程的耗时。

根据本公开的实施例的第一方面，提供了一种数据处理方法，应用于客户端，所述客户端的本地存储有客户端词典文件，以及每个所述客户端词典文件的描述信息，所述方法包括：

每隔第一预设时间，从存储服务器中获取文件对象集合，所述存储服务器中存储有存储端词典文件，所述文件对象集合包括：每个存储端词典文件的描述信息；

在所述存储端词典文件的描述信息与所述客户端词典文件的描述信息不匹配的情况下，通过所述文件对象集合，更新所述客户端词典文件。

根据本公开的实施例的第二方面，提供了一种数据处理方法，应用于平台服务器，所述平台服务器的本地存储有存储端词典文件，所述方法包括：

每隔第二预设时间，根据所述存储端词典文件，生成文件对象集合，所述文件对象集合包括：每个存储端词典文件的描述信息；

上传所述存储端词典文件和所述文件对象集合至存储服务器。

根据本公开的实施例的第三方面，提供了一种数据处理装置，应用于客户端，所述客户端的本地存储有客户端词典文件，以及每个所述客户端词典文件的描述信息，所述装置包括：

获取模块，用于每隔第一预设时间，从存储服务器中获取文件对象集合，所述存储服务器中存储有存储端词典文件，所述文件对象集合包括：每个存储端词典文件的描述信息；

更新模块，用于在所述存储端词典文件的描述信息与所述客户端词典文件的描述信息不匹配的情况下，通过所述文件对象集合，更新所述客户端词典文件。

根据本公开的实施例的第四方面，提供了一种数据处理装置，应用于平台服务器，所述平台服务器的本地存储有存储端词典文件，所述装置包括：

生成模块，用于每隔第二预设时间，根据所述存储端词典文件，生成文件对象集合，所述文件对象集合包括：每个存储端词典文件的描述信息；

上传模块，用于上传所述存储端词典文件和所述文件对象集合至存储服务器。

根据本公开的实施例的第五方面，提供了一种电子设备，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现前述数据处理方法。

根据本公开的实施例的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述数据处理方法。

本公开的实施例提供了一种数据处理方法、装置、电子设备及可读存储介质，包括：每隔第一预设时间，从存储服务器中获取文件对象集合，存储服务器中存储有存储端词典文件，文件对象集合包括：每个存储端词典文件的描述信息；在存储端词典文件的描述信息与客户端词典文件的描述信息不匹配的情况下，通过文件对象集合，更新客户端词典文件。本公开在整个更新过程中，客户端通过比对文件对象集合与客户端词典文件的描述信息之间的差异，来仅对存在差异的词典文件进行下载，使得网络开销极小，且响应速率很快。另外，通过将平台服务器产生的文件对象集合上传至存储服务器，并由客户端获取后进行本地词典数据的更新，使得对词典数据的管理，覆盖了整个词典数据的各个环节，降低了单一环节出现问题的几率，而提高了词典更新过程的稳定性。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开的一个实施例中客户端侧的数据处理方法的步骤流程图；

图2示出了本公开的一个实施例中数据处理系统的架构图；

图3示出了本公开的一个实施例中平台服务器侧的数据处理方法的步骤流程图；

图4示出了本公开的一个实施例中的客户端侧的数据处理装置的结构图；

图5示出了本公开的一个实施例中的平台服务器侧的数据处理装置的结构图；

图6示出了本公开的一个实施例提供的电子设备的结构图。

具体实施方式

下面将结合本公开的实施例中的附图，对本公开的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的实施例一部分实施例，而不是全部的实施例。基于本公开的实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开的实施例保护的范围。

参照图1，其示出了本公开的一个实施例中的数据处理方法的步骤流程图，所述方法应用于客户端，所述客户端的本地存储有客户端词典文件，以及每个所述客户端词典文件的描述信息，所述方法包括：

步骤101、每隔第一预设时间，从存储服务器中获取文件对象集合，所述存储服务器中存储有存储端词典文件，所述文件对象集合包括：每个存储端词典文件的描述信息。

参照图2，其示出了本公开的一个实施例中的数据处理系统的框架示意图，所述数据处理系统包括：平台服务器10、存储服务器20、服务集群30。平台服务器10包括数据库11；服务集群30包括多个集群服务器31，每个集群服务器31包括客户端32和本地存储33。平台服务器10与存储服务器20之间可以通信连接，存储服务器20和服务集群30之间可以通信连接。

其中，平台服务器10用于生成和存储词典文件，并基于词典文件的定时归档机制，将每次归档所建立的词典文件上传至存储服务器20进行存储，同时，每次归档还会对应产生反映词典文件的文件项和版本的文件对象集合(schema)，并将文件对象集合上传至存储服务器20进行存储。平台服务器10的词典文件可以存储至数据库11中，数据库11可以建立在平台服务器10的本地内存中，数据库11也可以为独立于平台服务器10设置的存储介质。

存储服务器20用于存储平台服务器10每次归档操作所上传的词典文件，另外，存储服务器20还可以向服务集群30提供词典文件，以供服务集群30进行本地词典文件的更新。存储服务器20可以由文件传输协议(FTP，File Transfer Protocol)服务器，云盘，操作支持系统(OSS，Operation Support Systems)等形式实现。

服务集群30的每个集群服务器31可以运行自己对应的业务，同时，每个集群服务器31又依赖于词典文件以实现查询功能，为了降低查询服务的网络开销和响应时间，集群服务器31需要按照本地存储的方式，将词典文件提前存储至本地存储11中，使得通过内存读取的方式，在满足查询业务的同时，尽最大可能降低数据查询的单词耗时和网络开销。另外，每个集群服务器31中又运行有客户端32，集群服务器31可以通过客户端32实现与存储服务器20的通信连接，并从存储服务器20中获取用以进行本地词典文件更新的更新数据，在本公开实施例中，客户端32可以为软件开发工具包的形式，使得客户端32只可以被使用，不可以被改动，词典文件的加载与切换过程全部由经过严格测试的客户端32完成，客户端32中对数据的正确性以及加载过程中可能产生的异常情况进行了防御性处理，降低了加载过程的风险。另外，客户端32可以为软件应用，也可以为硬件设备，如，集成电路、芯片等。

在该步骤中，词典文件包括：查询服务中需要用到的文本与文本对应的属性数据，例如，词语“长城”，既是一个景点的名字，也是一个汽车的品牌名称。将长城—景点—汽车品牌这样的对应关系存储在文件中，称之为词典文件。在业务实际运行过程中，如果用户输入的查询文本是长城”，则可以通过查询词典文件中的对应关系获取对应的信息。

客户端的本地(可以理解为图2中的本地存储33)存储有客户端词典文件，客户端依赖于客户端词典文件实现查询服务。另外，每个客户端文件具有对应的描述信息，用于描述该客户端文件的特征，如，描述信息可以包括客户端文件的文件名、版本号等信息。

具体的，客户端可以每隔第一预设时间，从存储服务器中获取文件对象集合，根据更新维护的实际需求，可以设定第一预设时间的具体值，如，客户端要求词典数据的时效性较高，则可以将第一预设时间的值设定为较小值。客户端要求词典数据的更新尽量不占用系统资源，则可以将第一预设时间的值设定为较大值。

需要说明的是，客户端是封装好的客户端组件，由业务侧的集群服务器引入使用，业务侧并不能对客户端进行改动，客户端的功能为在业务侧的集群服务器启动时，检查客户端本地的词典文件是否完备，整个检查更新过程与业务侧解耦，降低了业务侵入。

进一步的，参照图2，存储服务器20中存储有已完成归档的存储端词典文件，存储端词典文件包含了一段时间内针对词典文件产生的变更，具有更高的时效性，由于客户端32的本地存储有客户端词典文件，因此，本公开实施例可以通过存储服务器20中的存储端词典文件对客户端32的本地存储有客户端词典文件进行更新，以实现对客户端32的本地的客户端词典文件更新维护。

具体的，由于存储端词典文件的文件体积较大，为了提高更新维护流程的效率，降低传输文件所花费的时间，本公开实施例可以每隔第一预设时间，从存储服务器中获取文件对象集合，其中，文件对象集合是由平台服务器10根据存储端词典文件生成的，用于反映词典文件的文件项、版本等特征属性。文件对象集合是元数据的一个抽象集合，包含一套对元素与属性的声明，具备复杂与简单数据类型的定义。

需要说明的是，文件对象集合中除了列举词典文件的文件名及对应的版本信息，也可以包含词典文件校验所需要的消息摘要算法值，文件类型等字段。

步骤102、在所述存储端词典文件的描述信息与所述客户端词典文件的描述信息不匹配的情况下，通过所述文件对象集合，更新所述客户端词典文件。

在本公开实施例中，在客户端获得了具有每个存储端词典文件的描述信息的文件对象集合后，相当于获得了一个包含各个存储端词典的文件名、版本号的第一列表，且该第一列表是基于存储服务器中时效性更高的存储端词典文件实现的。

同时，基于客户端本地的每个客户端词典文件的描述信息相当于获得了一个包含各个客户端词典的文件名、版本号的第二列表，通过比较存储端词典文件的描述信息与客户端词典文件的描述信息，相当于比较第一列表和第二列表中的内容，可以通过对文件名、版本号的匹配，确定是否需要对客户端词典文件进行更新，在存储端词典文件的描述信息与客户端词典文件的描述信息不匹配的情况下，可以通过文件对象集合，找到客户端词典文件中不存在的词典文件，或找到客户端词典文件中存在但版本发生更新的词典文件，客户端可以通过下载这些词典文件，来实现对本地的客户端词典文件的更新。

例如，客户端获取的文件对象集合包括3个内容：词典文件名A—版本号1；词典文件名B—版本号1.5；词典文件名C—版本号1；且客户端本地的客户端词典文件的描述信息包括：词典文件名A—版本号1；词典文件名B—版本号1。

则通过对比文件对象集合和客户端本地的客户端词典文件的描述信息，可以得知客户端本地缺少词典文件名C对应的存储端词典文件，且客户端本地的词典文件名B对应的客户端词典文件的版本过低，需要进行更新。因此，客户端可以从存储端服务器下载词典文件名C对应的存储端词典文件和词典文件名B对应的存储端词典文件，来实现对本地词典文件名B和词典文件名C对应的客户端词典文件进行替换更新。

在整个更新过程中，客户端不需要对全量的存储端词典文件进行下载，而是通过比对文件对象集合与客户端词典文件的描述信息之间的差异，来仅对存在差异的词典文件进行下载，使得网络开销极小，且响应速率很快，能够实现秒级的词典数据的扩容更新。

另外，文件对象集合以及文件对象集合对应的存储端词典文件是在平台服务器产生的，通过将平台服务器产生的文件对象集合上传至存储服务器，并由客户端获取后进行本地词典数据的更新，使得对词典数据的管理，覆盖了整个词典数据的生产、存储、传输、更新环节，建立了各个环节的统筹关联性，降低了单一环节出现问题的几率，而提高了词典更新过程的稳定性。

在本公开实施例的一种可选实现方式中，所述客户端词典文件的描述信息包括所述客户端词典文件的文件名，所述存储端词典文件的描述信息包括：每个所述存储端词典文件的下载路径和文件名，步骤102具体可以包括：

子步骤1021、在所述存储端词典文件的描述信息中包括目标文件名的情况下，根据所述目标文件名对应的下载路径，从所述存储服务器下载对应的存储端词典文件。

在本公开实施例的一种实现方式中，客户端词典文件的描述信息可以包括客户端词典文件的文件名，如，词典名：“工业领域词典”，“农业领域词典”等。存储端词典文件的描述信息在包括每个存储端词典文件的文件名的基础上，还可以包括每个存储端词典文件的下载路径。

目标文件名可以为客户端本地的客户端词典文件中未包含的词典文件的文件名，在进行存储端词典文件的描述信息与客户端词典文件的描述信息的匹配操作时，若存在有仅出现在文件对象集合，但未出现在客户端词典文件的描述信息中的目标文件名，则认为该目标文件名对应的词典文件为客户端本地未含有的，此时可以根据目标文件名对应的存储端词典文件的下载路径，从存储服务器下载该存储端词典文件。

子步骤1022、在所述客户端词典文件的描述信息中未包括所述目标文件名的情况下，将下载的存储端词典文件作为客户端词典文件存储在所述客户端的本地。

在客户端得到根据目标文件名对应的存储端词典文件的下载路径下载到的存储端词典文件后，可以将该存储端词典文件作为客户端词典文件存储至本地，以达到对新词典文件的更新加载。

例如，客户端获取的文件对象集合包括3个内容：词典文件名A—下载路径1；词典文件名B—下载路径2；词典文件名C—下载路径3；且客户端本地的客户端词典文件的描述信息包括：词典文件名A；词典文件名B。

则通过对比文件对象集合和客户端本地的客户端词典文件的描述信息，可以得知客户端本地缺少词典文件名C对应的存储端词典文件，需要进行更新。因此，客户端可以从存储端服务器下载词典文件名C对应的存储端词典文件，来将该存储端词典文件作为客户端词典文件存储在本地。

在本公开实施例的另一种可选实现方式中，所述客户端词典文件的描述信息包括所述客户端词典文件的版本号和文件名；所述存储端词典文件的描述信息包括：每个所述存储端词典文件的下载路径和对应归档操作的版本号和文件名，步骤102具体可以包括：

子步骤1023、在所述存储端词典文件的描述信息与客户端词典文件的描述信息中具有相同的文件名，且目标存储端词典文件的目标版本号大于与所述目标存储端词典文件具有相同文件名的客户端词典文件的版本号的情况下，根据所述目标版本号对应的下载路径，从所述存储服务器下载对应的存储端词典文件。

在本公开实施例的另一种实现方式中，客户端词典文件的描述信息可以包括客户端词典文件的版本号，如，版本号：“1”，“1.5”等。版本号越大，说明词典文件越新，时效性更强。存储端词典文件的描述信息在包括每个存储端词典文件的版本号的基础上，还可以包括每个存储端词典文件的下载路径。

具体的，目标存储端词典文件与一客户端词典文件具有相同文件名，对于这种客户端词典文件，客户端需要检测该客户端词典文件的版本是否过低，若目标存储端词典文件的目标版本号大于对应与其具有相同文件名的客户端词典文件，则认为该客户端词典文件的本本和过低，此时可以根据目标版本号对应的下载路径，从所述存储服务器下载对应的存储端词典文件。

子步骤1024、将所述目标存储端词典文件，替换所述客户端的本地与所述目标存储端词典文件具有相同文件名的客户端词典文件。

在客户端得到根据目标版本号对应的下载路径，从所述存储服务器下载到目标存储端词典文件后，可以将该目标存储端词典替换本地与其具有相同文件名的客户端词典文件，以达到对已有词典文件的更新。

例如，客户端获取的文件对象集合包括3个内容：词典文件名A—版本号1；词典文件名B—版本号1.5；且客户端本地的客户端词典文件的描述信息包括：词典文件名A—版本号1；词典文件名B—版本号1。

则通过对比文件对象集合和客户端本地的客户端词典文件的描述信息，可以得知客户端本地的词典文件名B对应的客户端词典文件的版本过低，需要进行更新。因此，客户端可以从存储端服务器下载词典文件名B对应的存储端词典文件，来实现对本地词典文件名B对应的客户端词典文件进行替换更新。

可选的，针对子步骤1021和子步骤1023，所述存储端词典文件包括：基础词典文件和增量词典文件；从所述存储服务器下载对应的存储端词典文件的步骤具体可以包括：

子步骤A1、通过预设接口下载所述存储端词典文件。

在本公开实施例中，存储端词典文件可以包括：基础词典文件和增量词典文件，其中，基础词典文件可以由平台服务器对其数据库中的存储端词典文件进行归档得到，即在归档时刻，扫描并提取平台服务器的数据库中的所有词典的数据，建立全量的基础词典文件，全量数据是指平台服务器侧所有的词典数据，增量数据是上次导出全量数据之后的新增或变更的数据，在本公开实施例中，在归档时刻得到全量的基础词典文件之后，将新增或发送变更的词典数据进行提取，可以得到增量词典文件。增量词典文件相当于基础词典文件的增量数据。在一次归档操作之后，每次针对词典文件的更新上传，可以仅上传体积较小的增量词典文件，降低了平台服务器的网络开销。

因此，对于词典文件的上传，平台服务器侧可以仅在每次归档操作时刻扫描所有的词典数据并建立全量的基础词典文件上传至存储服务器，并为数据库中每个词典文件设定对应的归档时刻，根据对数据库中归档时刻之后新增或发生数据变化的词典文件，建立增量词典文件，使得平台服务器侧对词典文件的更新，不必每次都对所有词典文件进行遍历，节省了感知和应用新增或发生数据变化的词典文件的时间，提高了平台服务器侧对词典文件的更新上传的效率。

在该步骤中，客户端侧在下载存储端词典文件时，由于存储端词典文件包括：基础词典文件和增量词典文件，则针对下载的存储端词典文件，客户端可以提供标准的数据接口，并由客户端所属的集群服务器提供对下载的存储端词典文件的提供解析方式，这样使得客户端侧的词典数据下载和词典数据解析解耦，客户端提供预设的标准的数据接口，避免了业务侧对词典数据管理的侵入。

子步骤A2、针对所述基础词典文件，按照预设解析方法解析所述基础词典文件，将解析结果写入新建立的内存片区中，并在完成写入操作后，将内存指针指向所述内存片区。

针对于全量的基础词典文件，客户端可以提供标准的接口下载基础词典文件，并由客户端所属的业务方集群服务器提供数据解析方式，对基础词典文件进行数据解析后，可以将解析结果写入新建立的内存片区中，写入操作完成后，可以切换内存指针指向新建立的内存片区，实现对基础词典文件的内存热切换，以供业务方集群服务器提取使用，完成了整个词典数据更新使用流程，将全量的基础词典文件加载至内存片区的过程中，不需要业务方集群服务器下线，且整个过程由客户端完成，也避免了业务方集群服务器的侵入管理，降低了业务侵入带来的问题。

子步骤A3、针对所述增量词典文件，将与所述增量词典文件对应的客户端词典文件复制至所述内存片区，并在根据所述增量词典文件更新所述客户端词典文件之后，将内存指针指向所述内存片区。

针对于增量词典文件，客户端可以提供标准的接口下载增量词典文件，并由客户端先将与增量词典文件对应的客户端词典文件复制至新建立的内存片区，并在根据增量词典文件更新该客户端词典文件之后，再将内存指针指向所述内存片区，将解析结果写入新建立的内存片区中，写入操作完成后，可以切换内存指针指向新建立的内存片区，实现对增量词典文件的内存热切换，以供业务方集群服务器提取使用。将增量词典文件加载至内存片区的过程中，由于数据更新的过程发生在由客户端调用的内存片区中，不需要业务方集群服务器参与，从而进一步避免了业务方集群服务器对增量数据的侵入管理，降低了业务侵入带来的问题。

综上，本公开提供了一种数据处理方法，包括：每隔第一预设时间，从存储服务器中获取文件对象集合，存储服务器中存储有存储端词典文件，文件对象集合包括：每个存储端词典文件的描述信息；在存储端词典文件的描述信息与客户端词典文件的描述信息不匹配的情况下，通过文件对象集合，更新客户端词典文件。本公开在整个更新过程中，客户端通过比对文件对象集合与客户端词典文件的描述信息之间的差异，来仅对存在差异的词典文件进行下载，使得网络开销极小，且响应速率很快。另外，通过将平台服务器产生的文件对象集合上传至存储服务器，并由客户端获取后进行本地词典数据的更新，使得对词典数据的管理，覆盖了整个词典数据的各个环节，降低了单一环节出现问题的几率，而提高了词典更新过程的稳定性。

参照图3，其示出了本公开的一个实施例中的数据处理方法的步骤流程图，所述方法应用于平台服务器，所述平台服务器的本地存储有存储端词典文件，所述方法包括：

步骤201、每隔第二预设时间，根据所述存储端词典文件，生成文件对象集合，所述文件对象集合包括：每个存储端词典文件的描述信息。

步骤202、上传所述存储端词典文件和所述文件对象集合至存储服务器。

参照图2，平台服务器10用于生成和存储词典文件，以及根据词典文件生成文件对象集合，并基于词典文件的定时归档机制，将每次归档所建立的词典文件和文件对象集合上传至存储服务器20进行存储。

具体的，归档机制是针对平台服务器10的数据库11中存储的结构化的存储端词典文件，将这些存储端词典文件和对应的文件对象集合定时的通过全量及增量的形式上传至存储服务器20，由于存储端词典文件最先存储在平台服务器10的数据库11中。当需要发布词典到客户端中时，平台服务器10可以执行一次归档操作，先读取数据库11中的词条数据，生成对应的存储端词典文件，将存储端词典文件存储在存储服务器20中，再通过上传新的文件对象集合到存储服务器20中，存储服务器20接收到文件对象集合后，会以通知的方式通知客户端进行词典文件更新。

平台服务器10可以每隔第二预设时间，执行一次归档操作，根据数据归档的实际需求，可以设定第二预设时间的具体值，如，客户端要求词典数据的时效性较高，则可以将第二预设时间的值设定为较小值。平台服务器10要求词典数据的归档尽量不占用平台服务器10的系统资源，则可以将第二预设时间的值设定为较大值。

进一步的，平台服务器10的数据库11中存储的结构化的存储端词典文件，还可以提供对这些存储端词典文件的增删改查以及操作记录等功能，以实现在平台服务器10对存储端词典文件进行运营开发。另外，对于一些个性化的非结构化的词典文件，平台服务器10可以提供面向用户的统一上传接口以及二进制等自定义的数据结构，以供用户通过上传接口，上传自定义结构的非机构化词典文件至存储服务器，使得词典文件的数据格式可以由业务方自由定制，具备通用性，解耦了词典文件与业务方之间的强关联性。

针对每次归档操作，上传至存储服务器的存储端词典文件包含了一段时间内针对这些词典文件产生的变更，具有更高的时效性，而文件对象集合是由平台服务器根据存储端词典文件生成的，用于反映词典文件的文件项、版本等特征属性。可以理解，文件对象集合用于提供给客户端，以使得客户端通过将文件对象集合与其本地的客户端词典文件的描述信息进行匹配，从而确定是否具有需要更新的客户端词典文件，若有，则客户端可以从存储服务器的存储端词典文件中下载相应的词典文件，来对需要更新的客户端词典文件进行更新。

在本公开实施例中，文件对象集合以及文件对象集合对应的存储端词典文件是在平台服务器产生的，通过将平台服务器产生的文件对象集合上传至存储服务器，并由客户端获取后进行本地词典数据的更新，使得对词典数据的管理，覆盖了整个词典数据的生产、存储、传输、更新环节，建立了各个环节的统筹关联性，降低了单一环节出现问题的几率，而提高了词典更新过程的稳定性。

在本公开实施例的一种可选实现方式中，所述存储端词典文件包括：基础词典文件和增量词典文件，步骤201具体可以包括：

子步骤2011、每隔所述第二预设时间，根据归档操作以及所有存储端词典文件对应的数据，生成所述基础词典文件，所述基础词典文件包括每一存储端词典文件执行所述归档操作时的归档时间。

在本公开实施例中，存储端词典文件可以包括：基础词典文件和增量词典文件，其中，基础词典文件可以由平台服务器对其数据库中的存储端词典文件进行归档得到，即在归档时刻，扫描并提取平台服务器的数据库中的所有词典的数据，建立全量的基础词典文件。

子步骤2012、根据所述归档时间，将所有所述存储端词典文件中发生变化的数据，添加进所述增量词典。

在该步骤中，全量数据是指平台服务器侧所有的词典数据，增量数据是上次导出全量数据之后的新增或变更的数据，在本公开实施例中，在归档时刻得到全量的基础词典文件之后，将新增或发送变更的词典数据进行提取，可以得到增量词典文件。增量词典文件相当于基础词典文件的增量数据。在一次归档操作之后，每次针对词典文件的更新上传，可以仅上传体积较小的增量词典文件，降低了平台服务器的网络开销。

因此，对于词典文件的上传，平台服务器侧可以仅在每次归档操作时刻扫描所有的词典数据并建立全量的基础词典文件上传至存储服务器，并为数据库中每个词典文件设定对应的归档时刻，根据对数据库中归档时刻之后新增或发生数据变化的词典文件，建立增量词典文件，使得平台服务器侧对词典文件的更新，不必每次都对所有词典文件进行遍历，节省了感知和应用新增或发生数据变化的词典文件的时间，提高了平台服务器侧对词典文件的更新上传的效率。

子步骤2013、根据所述基础词典文件和所述增量词典文件，生成所述文件对象集合。

可选的，描述信息包括：每个所述存储端词典文件的文件名、下载路径、对应所述归档操作的版本号。

具体的，平台服务器在建立了基础词典文件和增量词典文件之后，可以提取每个词典文件的文件名、下载路径、版本号等属性信息，建立文件对象集合。文件对象集合中除了列举词典文件的文件名及对应的版本信息，也可以包含词典文件校验所需要的消息摘要算法值，文件类型等字段。

在本公开实施例的一种可选实现方式中，还可以包括：

子步骤B1、若接收到针对所述存储端词典文件的修正操作，则在所述修正操作完成后，获取所述归档操作，并进入子步骤2011。

在本公开实施例中，平台服务器提供对数据库中存储端词典文件的修正接口，用户可以通过修正接口，执行对存储端词典文件的修正操作，以根据需求对存储端词典文件进行修正，在每次修正后，为了使存储服务器能够实时更新，可以进行一次新的归档操作，生成新的基础词典文件、增量词典文件和新的文件对象集合，并将这些新数据上传至存储服务器。

在本公开实施例的一种可选实现方式中，在执行子步骤2012的过程中，还可以同时执行：

子步骤C1、暂停针对所述存储端词典文件的数据写入操作。

在本公开实施例中，在平台服务器开始归档操作时，通过读取本地数据库中的所有词典数据建立基础词典文件，之后开始执行子步骤2012，以建立增量词典文件，在执行整个子步骤2012的过程中，可以暂停针对存储端词典文件的数据写入操作，以避免在建立增量词典文件的过程中，已被扫描过的存储端词典文件中引入了新数据，导致增量词典文件中丢失这些新数据，从而提高了增量词典文件的时效性。

在执行完子步骤2012之后，还可以包括：

子步骤C2、允许针对所述存储端词典文件的数据写入操作继续执行。

在该步骤之后，当增量词典文件建立完毕之后，可以允许针对所述存储端词典文件的数据写入操作继续执行，以使得数据库中的存储端词典文件可以正常引入新数据。

综上，本公开提供了一种数据处理方法，包括：每隔第二预设时间，根据存储端词典文件，生成文件对象集合，文件对象集合包括：每个存储端词典文件的描述信息；上传存储端词典文件和文件对象集合至存储服务器。本公开在整个更新过程中，客户端通过比对文件对象集合与客户端词典文件的描述信息之间的差异，来仅对存在差异的词典文件进行下载，使得网络开销极小，且响应速率很快。另外，通过将平台服务器产生的文件对象集合上传至存储服务器，并由客户端获取后进行本地词典数据的更新，使得对词典数据的管理，覆盖了整个词典数据的各个环节，降低了单一环节出现问题的几率，而提高了词典更新过程的稳定性。

参照图4，其示出了本公开的一个实施例中的数据处理装置的结构图，应用于客户端，所述客户端的本地存储有客户端词典文件，以及每个所述客户端词典文件的描述信息，所述装置包括：

获取模块301，用于每隔第一预设时间，从存储服务器中获取文件对象集合，所述存储服务器中存储有存储端词典文件，所述文件对象集合包括：每个存储端词典文件的描述信息；

更新模块302，用于在所述存储端词典文件的描述信息与所述客户端词典文件的描述信息不匹配的情况下，通过所述文件对象集合，更新所述客户端词典文件。

可选的，所述客户端词典文件的描述信息包括所述客户端词典文件的文件名，所述存储端词典文件的描述信息包括：每个所述存储端词典文件的下载路径和文件名；

所述更新模块302具体用于：

在所述存储端词典文件的描述信息中包括目标文件名的情况下，根据所述目标文件名对应的下载路径，从所述存储服务器下载对应的存储端词典文件；

在所述客户端词典文件的描述信息中未包括所述目标文件名的情况下，将下载的存储端词典文件作为客户端词典文件存储在所述客户端的本地。

可选的，所述客户端词典文件的描述信息包括所述客户端词典文件的版本号和文件名；所述存储端词典文件的描述信息包括：每个所述存储端词典文件的下载路径和对应归档操作的版本号和文件名；

所述更新模块302具体用于：

在所述存储端词典文件的描述信息与客户端词典文件的描述信息中具有相同的文件名，且目标存储端词典文件的目标版本号大于与所述目标存储端词典文件具有相同文件名的客户端词典文件的版本号的情况下，根据所述目标版本号对应的下载路径，从所述存储服务器下载对应的存储端词典文件；

将所述目标存储端词典文件，替换所述客户端的本地与所述目标存储端词典文件具有相同文件名的客户端词典文件。

可选的，所述存储端词典文件包括：基础词典文件和增量词典文件；所述从所述存储服务器下载对应的存储端词典文件，包括：

通过预设接口下载所述存储端词典文件；

针对所述基础词典文件，按照预设解析方法解析所述基础词典文件，将解析结果写入新建立的内存片区中，并在完成写入操作后，将内存指针指向所述内存片区；

针对所述增量词典文件，将与所述增量词典文件对应的客户端词典文件复制至所述内存片区，并在根据所述增量词典文件更新所述客户端词典文件之后，将内存指针指向所述内存片区。

综上，本公开提供的一种数据处理装置，包括：每隔第一预设时间，从存储服务器中获取文件对象集合，存储服务器中存储有存储端词典文件，文件对象集合包括：每个存储端词典文件的描述信息；在存储端词典文件的描述信息与客户端词典文件的描述信息不匹配的情况下，通过文件对象集合，更新客户端词典文件。本公开在整个更新过程中，客户端通过比对文件对象集合与客户端词典文件的描述信息之间的差异，来仅对存在差异的词典文件进行下载，使得网络开销极小，且响应速率很快。另外，通过将平台服务器产生的文件对象集合上传至存储服务器，并由客户端获取后进行本地词典数据的更新，使得对词典数据的管理，覆盖了整个词典数据的各个环节，降低了单一环节出现问题的几率，而提高了词典更新过程的稳定性。

参照图5，其示出了本公开的一个实施例中的数据处理装置的结构图，应用于平台服务器，所述平台服务器的本地存储有存储端词典文件，所述装置包括：

生成模块401，用于每隔第二预设时间，根据所述存储端词典文件，生成文件对象集合，所述文件对象集合包括：每个存储端词典文件的描述信息；

可选的，所述存储端词典文件包括：基础词典文件和增量词典文件，所述生成模块401具体用于：

每隔所述第二预设时间，根据归档操作以及所有存储端词典文件对应的数据，生成所述基础词典文件，所述基础词典文件包括每一存储端词典文件执行所述归档操作时的归档时间；

根据所述归档时间，将所有所述存储端词典文件中发生变化的数据，添加进所述增量词典；

根据所述基础词典文件和所述增量词典文件，生成所述文件对象集合。

可选的，所述描述信息包括：每个所述存储端词典文件的文件名、下载路径、对应所述归档操作的版本号。

可选的，所述生成模块401还用于：

暂停模块，用于暂停针对所述存储端词典文件的数据写入操作；

恢复模块，用于允许针对所述存储端词典文件的数据写入操作继续执行。

可选的，所述生成模块401还用于：

若接收到针对所述存储端词典文件的修正操作，则在所述修正操作完成后，获取所述归档操作，并进入所述根据归档操作以及所有存储端词典文件对应的数据，生成所述基础词典文件的步骤。

上传模块402，用于上传所述存储端词典文件和所述文件对象集合至存储服务器。

综上，本公开提供了一种数据处理装置，包括：每隔第二预设时间，根据存储端词典文件，生成文件对象集合，文件对象集合包括：每个存储端词典文件的描述信息；上传存储端词典文件和文件对象集合至存储服务器。本公开在整个更新过程中，客户端通过比对文件对象集合与客户端词典文件的描述信息之间的差异，来仅对存在差异的词典文件进行下载，使得网络开销极小，且响应速率很快。另外，通过将平台服务器产生的文件对象集合上传至存储服务器，并由客户端获取后进行本地词典数据的更新，使得对词典数据的管理，覆盖了整个词典数据的各个环节，降低了单一环节出现问题的几率，而提高了词典更新过程的稳定性。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开的实施例还提供了一种电子设备，参见图6，包括：处理器501、存储器502以及存储在所述存储器上并可在所述处理器上运行的计算机程序5021，所述处理器执行所述程序时实现前述实施例的数据处理方法。

本公开的实施例还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的数据处理方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开的实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的实施例的内容，并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本公开的实施例的示例性实施例的描述中，本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的实施例的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本公开的实施例的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的排序设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述仅为本公开的实施例的较佳实施例而已，并不用以限制本公开的实施例，凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本公开的实施例的保护范围之内。

以上所述，仅为本公开的实施例的具体实施方式，但本公开的实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的实施例的保护范围之内。因此，本公开的实施例的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种数据处理方法，其特征在于，应用于客户端，所述客户端的本地存储有客户端词典文件，以及每个所述客户端词典文件的描述信息，所述方法包括：

每隔第一预设时间，从存储服务器中获取文件对象集合，所述存储服务器中存储有存储端词典文件，所述文件对象集合包括：每个存储端词典文件的描述信息；

在所述存储端词典文件的描述信息与所述客户端词典文件的描述信息不匹配的情况下，通过所述文件对象集合，更新所述客户端词典文件。

2.根据权利要求1所述的方法，其特征在于，所述客户端词典文件的描述信息包括所述客户端词典文件的文件名，所述存储端词典文件的描述信息包括：每个所述存储端词典文件的下载路径和文件名；

所述在所述存储端词典文件的描述信息与所述客户端词典文件的描述信息不匹配的情况下，通过所述文件对象集合，更新所述客户端词典文件，包括：

在所述存储端词典文件的描述信息中包括目标文件名的情况下，根据所述目标文件名对应的下载路径，从所述存储服务器下载对应的存储端词典文件；

在所述客户端词典文件的描述信息中未包括所述目标文件名的情况下，将下载的存储端词典文件作为客户端词典文件存储在所述客户端的本地。

3.根据权利要求1所述的方法，其特征在于，所述客户端词典文件的描述信息包括所述客户端词典文件的版本号和文件名；所述存储端词典文件的描述信息包括：每个所述存储端词典文件的下载路径和对应归档操作的版本号和文件名；

所述在所述存储端词典文件的描述信息与所述客户端词典文件的描述信息不匹配的情况下，通过所述文件对象集合，更新所述客户端词典文件，包括：

在所述存储端词典文件的描述信息与客户端词典文件的描述信息中具有相同的文件名，且目标存储端词典文件的目标版本号大于与所述目标存储端词典文件具有相同文件名的客户端词典文件的版本号的情况下，根据所述目标版本号对应的下载路径，从所述存储服务器下载对应的存储端词典文件；

将所述目标存储端词典文件，替换所述客户端的本地与所述目标存储端词典文件具有相同文件名的客户端词典文件。

4.根据权利要求2或3所述的方法，其特征在于，所述存储端词典文件包括：基础词典文件和增量词典文件；所述从所述存储服务器下载对应的存储端词典文件，包括：

通过预设接口下载所述存储端词典文件；

针对所述基础词典文件，按照预设解析方法解析所述基础词典文件，将解析结果写入新建立的内存片区中，并在完成写入操作后，将内存指针指向所述内存片区；

针对所述增量词典文件，将与所述增量词典文件对应的客户端词典文件复制至所述内存片区，并在根据所述增量词典文件更新所述客户端词典文件之后，将内存指针指向所述内存片区。

5.一种数据处理方法，其特征在于，应用于平台服务器，所述平台服务器的本地存储有存储端词典文件，所述方法包括：

每隔第二预设时间，根据所述存储端词典文件，生成文件对象集合，所述文件对象集合包括：每个存储端词典文件的描述信息；

上传所述存储端词典文件和所述文件对象集合至存储服务器。

6.根据权利要求5所述的方法，其特征在于，所述存储端词典文件包括：基础词典文件和增量词典文件，所述每隔第二预设时间，根据所述存储端词典文件，生成文件对象集合，包括：

每隔所述第二预设时间，根据归档操作以及所有存储端词典文件对应的数据，生成所述基础词典文件，所述基础词典文件包括每一存储端词典文件执行所述归档操作时的归档时间；

根据所述归档时间，将所有所述存储端词典文件中发生变化的数据，添加进所述增量词典；

根据所述基础词典文件和所述增量词典文件，生成所述文件对象集合。

7.根据权利要求6所述的方法，其特征在于，所述描述信息包括：每个所述存储端词典文件的文件名、下载路径、对应所述归档操作的版本号。

8.根据权利要求6所述的方法，其特征在于，在执行所述根据所述归档时间，将所有所述存储端词典文件中发生变化的数据，添加进所述增量词典的过程中，所述方法还包括：

暂停针对所述存储端词典文件的数据写入操作；

在所述根据所述归档时间，将所有所述存储端词典文件中发生变化的数据，添加进所述增量词典之后，所述方法还包括：

允许针对所述存储端词典文件的数据写入操作继续执行。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若接收到针对所述存储端词典文件的修正操作，则在所述修正操作完成后，获取所述归档操作，并进入所述根据归档操作以及所有存储端词典文件对应的数据，生成所述基础词典文件的步骤。

10.一种数据处理装置，其特征在于，应用于客户端，所述客户端的本地存储有客户端词典文件，以及每个所述客户端词典文件的描述信息，所述装置包括：

获取模块，用于每隔第一预设时间，从存储服务器中获取文件对象集合，所述存储服务器中存储有存储端词典文件，所述文件对象集合包括：每个存储端词典文件的描述信息；

更新模块，用于在所述存储端词典文件的描述信息与所述客户端词典文件的描述信息不匹配的情况下，通过所述文件对象集合，更新所述客户端词典文件。

11.根据权利要求10所述的装置，其特征在于，所述客户端词典文件的描述信息包括所述客户端词典文件的文件名，所述存储端词典文件的描述信息包括：每个所述存储端词典文件的下载路径和文件名；

所述更新模块具体用于：

在所述存储端词典文件的描述信息中包括目标文件名的情况下，根据所述目标文件名对应的下载路径，从所述存储服务器下载对应的存储端词典文件；

在所述客户端词典文件的描述信息中未包括所述目标文件名的情况下，将下载的存储端词典文件作为客户端词典文件存储在所述客户端的本地。

12.根据权利要求10所述的装置，其特征在于，所述客户端词典文件的描述信息包括所述客户端词典文件的版本号和文件名；所述存储端词典文件的描述信息包括：每个所述存储端词典文件的下载路径和对应归档操作的版本号和文件名；

所述更新模块具体用于：

在所述存储端词典文件的描述信息与客户端词典文件的描述信息中具有相同的文件名，且目标存储端词典文件的目标版本号大于与所述目标存储端词典文件具有相同文件名的客户端词典文件的版本号的情况下，根据所述目标版本号对应的下载路径，从所述存储服务器下载对应的存储端词典文件；

将所述目标存储端词典文件，替换所述客户端的本地与所述目标存储端词典文件具有相同文件名的客户端词典文件。

13.根据权利要求11或12所述的装置，其特征在于，所述存储端词典文件包括：基础词典文件和增量词典文件；所述从所述存储服务器下载对应的存储端词典文件，包括：

通过预设接口下载所述存储端词典文件；

针对所述基础词典文件，按照预设解析方法解析所述基础词典文件，将解析结果写入新建立的内存片区中，并在完成写入操作后，将内存指针指向所述内存片区；

针对所述增量词典文件，将与所述增量词典文件对应的客户端词典文件复制至所述内存片区，并在根据所述增量词典文件更新所述客户端词典文件之后，将内存指针指向所述内存片区。

14.一种数据处理装置，其特征在于，应用于平台服务器，所述平台服务器的本地存储有存储端词典文件，所述装置包括：

生成模块，用于每隔第二预设时间，根据所述存储端词典文件，生成文件对象集合，所述文件对象集合包括：每个存储端词典文件的描述信息；

上传模块，用于上传所述存储端词典文件和所述文件对象集合至存储服务器。

15.根据权利要求14所述的装置，其特征在于，所述存储端词典文件包括：基础词典文件和增量词典文件，所述生成模块具体用于：

每隔所述第二预设时间，根据归档操作以及所有存储端词典文件对应的数据，生成所述基础词典文件，所述基础词典文件包括每一存储端词典文件执行所述归档操作时的归档时间；

根据所述归档时间，将所有所述存储端词典文件中发生变化的数据，添加进所述增量词典；

根据所述基础词典文件和所述增量词典文件，生成所述文件对象集合。

16.根据权利要求15所述的装置，其特征在于，所述描述信息包括：每个所述存储端词典文件的文件名、下载路径、对应所述归档操作的版本号。

17.根据权利要求15所述的装置，其特征在于，所述生成模块还用于：

暂停模块，用于暂停针对所述存储端词典文件的数据写入操作；

恢复模块，用于允许针对所述存储端词典文件的数据写入操作继续执行。

18.根据权利要求15所述的装置，其特征在于，所述生成模块还用于：

若接收到针对所述存储端词典文件的修正操作，则在所述修正操作完成后，获取所述归档操作，并进入所述根据归档操作以及所有存储端词典文件对应的数据，生成所述基础词典文件的步骤。

19.一种电子设备，其特征在于，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4或5-9中任一所述的数据处理方法。

20.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-4或5-9中任一所述的数据处理方法。

Images