CN110941604A

CN110941604A - 一种数据存储方法及装置

Info

Publication number: CN110941604A
Application number: CN201811099067.XA
Authority: CN
Inventors: 林漫鹏
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2018-09-20
Filing date: 2018-09-20
Publication date: 2020-03-31
Anticipated expiration: 2038-09-20
Also published as: CN110941604B

Abstract

本发明公开了一种数据存储方法及装置，在将Unicode码保存到PostgreSQL数据库中时，先将Unicode码中不能被PostgreSQL数据库识别的数据删除，则未被删除的Unicode码均可以被PostgreSQL数据库识别，避免了保存失败的情况出现。

Description

一种数据存储方法及装置

技术领域

本发明涉及数据存储领域，更具体的说，涉及一种数据存储方法及装置。

背景技术

Unicode：Unicode(中文：万国码、国际码、统一码、单一码)是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码，使得电脑可以用更为简单的方式来呈现和处理文字。Unicode涵盖的数据除了视觉上的字形、编码方法、标准的字符编码外，还包含了字符特性，如大小写字母。

在将Unicode码保存到PostgreSQL数据库时，采用直接保存的方法，但可能会出现由于Unicode码中存在非法字符，进而保存失败的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据存储方法及装置。

一种数据存储方法，包括：

获取待保存数据；

将待保存数据中不能被预设数据库识别的数据删除，得到中间数据；

将所述中间数据保存到所述预设数据库。

优选地，将待保存数据中不能被预设数据库识别的数据删除，得到中间数据，包括：

获取所述预设数据库不能识别的数据集合；

将同时存在于所述待保存数据和所述数据集合的数据从所述待保存数据中删除，得到中间数据。

优选地，将同时存在于所述待保存数据和所述数据集合的数据从所述待保存数据中删除，得到中间数据，包括：

采用正则表达式技术批量查找同时存在于所述待保存数据和所述数据集合的数据，并将查找到的数据从所述待保存数据中删除；

或，对于所述待保存数据中的每一数据，将所述数据与所述数据集合中的数据进行比对；

若所述数据存在于所述数据集合中，将所述数据删除，得到所述中间数据。

优选地，所述待保存数据包括unicode码；所述预设数据库包括PostgreSQL数据库。

优选地，所述数据集合包括处于U+D800-U+DFFF范围的unicode码以及U+0000码。

一种数据存储装置，包括：

获取模块，用于获取待保存数据；

处理模块，用于将待保存数据中不能被预设数据库识别的数据删除，得到中间数据；

保存模块，用于将所述中间数据保存到所述预设数据库。

优选地，所述处理模块包括：

集合获取子模块，用于获取所述预设数据库不能识别的数据集合；

删除子模块，用于将同时存在于所述待保存数据和所述数据集合的数据从所述待保存数据中删除，得到中间数据。

优选地，所述删除子模块包括：

第一删除单元，用于采用正则表达式技术批量查找同时存在于所述待保存数据和所述数据集合的数据，并将查找到的数据从所述待保存数据中删除；

比对单元，用于对于所述待保存数据中的每一数据，将所述数据与所述数据集合中的数据进行比对；

第二删除单元，用于若所述数据存在于所述数据集合中，将所述数据删除，得到所述中间数据。

一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述的数据存储方法。

一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的数据存储方法。

借由上述技术方案，本发明提供的一种数据存储方法及装置，在将Unicode码保存到PostgreSQL数据库中时，先将Unicode码中不能被PostgreSQL数据库识别的数据删除，则未被删除的Unicode码均可以被PostgreSQL数据库识别，避免了保存失败的情况出现。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据存储方法的方法流程图；

图2示出了本发明实施例提供的另一种数据存储方法的方法流程图；

图3示出了本发明实施例提供的一种数据存储方法的场景示意图；

图4示出了本发明实施例提供的一种数据存储装置的结构示意图；

图5示出了本发明实施例提供的另一种数据存储装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种数据存储方法，该数据存储方法可以应用于电子设备，电子设备可以是服务器或者手机、平板等终端。

参照图1，数据存储方法可以包括：

S11、获取待保存数据；

其中，待保存数据包括unicode码。Unicode(中文：万国码、国际码、统一码、单一码)是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码，使得电脑可以用更为简单的方式来呈现和处理文字。

Unicode伴随着通用字符集的标准而发展，同时也以书本的形式对外发表。Unicode至今仍在不断增修，每个新版本都加入更多新的字符。目前最新的版本为2017年6月20日公布的10.0.0，已经收录超过十万个字符(第十万个字符在2005年获采纳)。Unicode涵盖的数据除了视觉上的字形、编码方法、标准的字符编码外，还包含了字符特性，如大小写字母。

待保存数据可以直接存在于电子设备中，此时直接获取即可。

此外，待保存数据还可以存在于其他电子设备中，需要电子设备与其他电子设备通信获取。本发明实施例中对待保存数据的数据量的大小不做限定，只要保证待保存数据是Unicode码即可。

所述预设数据库包括但不限于PostgreSQL数据库。版本4.2的PostgreSQL数据库为基础的对象关系型数据库管理系统(ORDBMS)。PostgreSQL支持大部分SQL标准并且提供了许多其他现代特性：复杂查询、外键、触发器、视图、事务完整性、MVCC。同样，PostgreSQL可以用许多方法扩展，比如，通过增加新的数据类型、函数、操作符、聚集函数、索引。

S12、将待保存数据中不能被预设数据库识别的数据删除，得到中间数据；

具体的，不能被预设数据库识别的数据可以称为非法字符，删除非法字符后，剩余字符可以被预设数据库识别，进而可以正确的保存到预设数据库中。

有些人员为了混淆数据，将一些非法字符添加待保存数据中，进而就会造成待保存数据不能正常保存。

S13、将所述中间数据保存到所述预设数据库。

具体的，将中间数据保存到预设数据库中，并且保存的字段类型为文本字段。

需要说明的是，PostgreSQL数据库可以支持多种字段存储，如文本字段、整数字段等，此处将中间数据的字段类型设置为文本字段，是为了能确保中间数据在PostgreSQL数据库的正确显示。

本实施例中，在将Unicode码保存到PostgreSQL数据库中时，先将Unicode码中不能被PostgreSQL数据库识别的数据删除，则未被删除的Unicode码均可以被PostgreSQL数据库识别，避免了保存失败的情况出现，提高了Unicode插入postgresql数据库的成功率。

可选的，在上述任一数据存储方法的实施例的基础上，参照图2，步骤S12可以包括：

S21、获取所述预设数据库不能识别的数据集合；

可选的，在本实施例的基础上，所述数据集合包括处于U+D800-U+DFFF范围的unicode码以及U+0000码。

U+D800-U+DFFF是未被使用的unicode字符范围，postgresql不支持存储这些字符。同时，postgresql也不支持存储U+0000，即unicode的零号字符。

S22、将同时存在于所述待保存数据和所述数据集合的数据从所述待保存数据中删除，得到中间数据。

可选的，在本实施例的基础上，步骤S22可以包括：

1)采用正则表达式技术批量查找同时存在于所述待保存数据和所述数据集合的数据，并将查找到的数据从所述待保存数据中删除。

具体的，正则表达式，又称规则表达式。(英语：Regular Expression，在代码中常简写为regex、regexp或RE)，计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。

可以通过正则表达式设置，在待保存文本中查找数据集合中的每一数据并替换为空数据，则可以实现批量删除。

或，2)对于所述待保存数据中的每一数据，将所述数据与所述数据集合中的数据进行比对，若所述数据存在于所述数据集合中，将所述数据删除，得到所述中间数据。

具体的，依次判断待保存数据中的每一数据是否存在于数据集合中，如存在，则删除，若不存在，则保存，即逐个遍历待保存数据中的每一数据，看数据的取值是否在U+D800-U+DFFF之间或者等于U+0000，如果是，则将该字符去掉，进而就可以得到中间数据。

本实施例中，给出了两种对待保存数据进行处理的方法，方式多样，可以在不同的使用场景下使用。

下边，结合图3举例说明上述实施例。参照图3，技术人员通过操作笔记本电脑实现上述方法。

首先，技术人员会打开电脑上的文件夹，找到待保存数据，如在D盘-工作文件夹中。然后，将该待保存数据保存到PostgreSQL数据库中，例如可以是将待保存数据复制粘贴到PostgreSQL数据库中，也可以是打开待保存数据，另存到PostgreSQL数据库中。

此时，就开始后台就执行步骤S12，将待保存数据中不能被预设数据库识别的数据删除，得到中间数据。

具体的，后台执行步骤S12的过程具体包括：

获取所述预设数据库不能识别的数据集合；

或，对于所述待保存数据中的每一数据，将所述数据与所述数据集合中的数据进行比对，若所述数据存在于所述数据集合中，将所述数据删除，得到所述中间数据。

通过上述操作，就可以删除掉待保存数据中不能被PostgreSQL数据库，进而其他数据就能够被正确的保存到PostgreSQL数据库中。PostgreSQL数据库中的某一文件夹下就会显示中间数据。

可选的，在上述数据存储方法的实施例的基础上，本发明的另一实施例提供了一种数据存储装置，参照图4，可以包括：

获取模块101，用于获取待保存数据；

处理模块102，用于将待保存数据中不能被预设数据库识别的数据删除，得到中间数据；

保存模块103，用于将所述中间数据保存到所述预设数据库。

进一步，所述待保存数据包括unicode码；所述预设数据库包括PostgreSQL数据库。

需要说明的是，本实施例中的各个模块的工作过程，请参照上述实施例中的相应说明，在此不再赘述。

可选的，在上述任一数据存储装置的实施例的基础上，参照图5，所述处理模块102可以包括：

集合获取子模块1021，用于获取所述预设数据库不能识别的数据集合；

删除子模块1022，用于将同时存在于所述待保存数据和所述数据集合的数据从所述待保存数据中删除，得到中间数据。

可选的，在本实施例的基础上，所述删除子模块包括：

需要说明的是，本实施例中的各个模块、子模块和单元的工作过程，请参照上述实施例中的相应说明，在此不再赘述。

可选的，本发明的实施例还提供了一种数据存储装置，所述数据存储装置包括处理器和存储器，上述获取模块、处理模块和保存模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现将Unicode码正确的保存到PostgreSQL数据库中。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据存储方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据存储方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

一种数据存储方法，包括：

获取待保存数据；

将所述中间数据保存到所述预设数据库。

进一步，将待保存数据中不能被预设数据库识别的数据删除，得到中间数据，包括：

获取所述预设数据库不能识别的数据集合；

进一步，删除所述待保存数据中与所述数据集合中相同的数据，得到中间数据，包括：

进一步，所述数据集合包括处于U+D800-U+DFFF范围的unicode码以及U+0000码。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：一种数据存储方法，包括：

获取待保存数据；

将所述中间数据保存到所述预设数据库。

获取所述预设数据库不能识别的数据集合；

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种数据存储方法，其特征在于，包括：

获取待保存数据；

将所述中间数据保存到所述预设数据库。

2.根据权利要求1所述的数据存储方法，其特征在于，将待保存数据中不能被预设数据库识别的数据删除，得到中间数据，包括：

获取所述预设数据库不能识别的数据集合；

3.根据权利要求2所述的数据存储方法，其特征在于，将同时存在于所述待保存数据和所述数据集合的数据从所述待保存数据中删除，得到中间数据，包括：

4.根据权利要求1所述的数据存储方法，其特征在于，所述待保存数据包括unicode码；所述预设数据库包括PostgreSQL数据库。

5.根据权利要求4所述的数据存储方法，其特征在于，所述数据集合包括处于U+D800-U+DFFF范围的unicode码以及U+0000码。

6.一种数据存储装置，其特征在于，包括：

获取模块，用于获取待保存数据；

保存模块，用于将所述中间数据保存到所述预设数据库。

7.根据权利要求6所述的数据存储装置，其特征在于，所述处理模块包括：

8.根据权利要求7所述的数据存储装置，其特征在于，所述删除子模块包括：

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的数据存储方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的数据存储方法。