CN111125087A - 数据的存储方法及装置 - Google Patents

Abstract

本发明公开了一种数据的存储方法及装置，涉及数据处理技术领域，将不同实体类型的实体对象对应的数据内容存储至同一数据表中。本发明的方法包括：对待存储实体对象进行序列化处理，以生成待存储实体对象对应的待存储JSON数据；获取待存储实体对象对应的唯一标识，以及获取待存储实体对象对应的实体类型；判断第一数据表中是否存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，其中，第一数据表中存储有不同实体类型的实体对象对应的JSON数据；若否，则将待存储JSON数据存储至第一数据表中。本发明适用于MS SQL数据库将不同实体类型的实体对象对应的数据内容存储至同一数据表中的过程中。

Description

数据的存储方法及装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据的存储方法及装置。

背景技术

随着互联网技术的日益发展，海量数据时代已经来临。在海量数据时代下，如何存储和快速查询海量数据成为了大型互联网企业新的关注点。MS SQL数据库作为一款分布式数据库，由于其具有成本低、使用方便、相关软件集成程度高等优点，而受到广大互联网企业的欢迎。

发明人在实现本发明的过程中，发现现有技术中存在以下技术问题，在MS SQL数据库中，数据均是以数据表形式存储的，由于，不同实体类型的实体对象包含的关键字段不同，因此，MS SQL数据库需要将不同实体类型的实体对象对应的数据内容存储至不同类型的数据表中，从而当MS SQL数据库需要对新爬取到的实体对象进行存储操作时，首先，需要在该实体对象中提取该实体对象对应的数据内容；然后，根据该实体对象对应的实体类型获取该实体对象对应的数据表；最后，将该实体对象对应的数据内容存储至该数据表中。由于，MS SQL数据库需要为不同实体类型的实体对象创建对应的数据表，因此，当MS SQL数据库涉及越来越多实体类型的实体对象时，其需要创建和保存的数据表的数量也会随之增多，从而会给MS SQL数据库的日常运维管理带来极大的负担。

发明内容

有鉴于此，本发明提供的数据的存储方法及装置，主要目的在于将不同实体类型的实体对象对应的数据内容存储至同一数据表中。

为了达到上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供了一种数据的存储方法，该方法包括：

对待存储实体对象进行序列化处理，以生成所述待存储实体对象对应的待存储JSON数据；

获取所述待存储实体对象对应的唯一标识，以及获取所述待存储实体对象对应的实体类型；

判断第一数据表中是否存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，其中，所述第一数据表中存储有不同实体类型的实体对象对应的JSON数据；

若否，则将所述待存储JSON数据存储至所述第一数据表中。

可选的，所述获取所述待存储实体对象对应的唯一标识，包括：

判断是否存在所述待存储实体对象对应的唯一标识；

若是，则获取所述待存储实体对象对应的唯一标识；

若否，则获取所述待存储实体对象对应的实体名称；

对所述实体名称进行哈希计算，以生成所述实体名称对应的哈希值；

将所述哈希值确定为所述待存储实体对象对应的唯一标识。

可选的，所述方法还包括：

若所述第一数据表中存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，则使用所述待存储JSON数据替换所述已存储JSON数据。

可选的，所述第一数据表中还存储有所述已存储JSON数据对应的爬取时间；所述使用所述待存储JSON数据替换所述已存储JSON数据，包括：

获取所述待存储实体对象对应的爬取时间；

在所述第一数据表中使用所述待存储JSON数据替换所述已存储JSON数据，以及使用所述待存储实体对象对应的爬取时间替换所述已存储JSON数据对应的爬取时间。

可选的，所述将所述待存储JSON数据存储至所述第一数据表中，包括：

获取所述待存储实体对象对应的爬取时间；

将所述待存储实体对象对应的唯一标识、实体类型、爬取时间以及所述待存储JSON数据存储至所述第一数据表中。

可选的，所述方法还包括：

在第二数据表中获取已存储实体对象对应的数据内容、唯一标识、实体类型以及爬取时间，其中，所述第二数据表中存储有同一实体类型的实体对象对应的数据内容、唯一标识、实体类型以及爬取时间；

根据所述已存储实体对象对应的数据内容生成所述已存储实体对象对应的JSON数据；

将所述已存储实体对象对应的唯一标识、实体类型、爬取时间以及JSON数据存储至所述第一数据表中。

可选的，所述待存储实体对象为文章实体对象或用户实体对象。

第二方面，本发明还提供一种数据的存储装置，该装置包括：

序列化单元，用于对待存储实体对象进行序列化处理，以生成所述待存储实体对象对应的待存储JSON数据；

第一获取单元，用于获取所述待存储实体对象对应的唯一标识；

第二获取单元，用于获取所述待存储实体对象对应的实体类型；

判断单元，用于判断第一数据表中是否存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，其中，所述第一数据表中存储有不同实体类型的实体对象对应的JSON数据；

第一存储单元，用于当所述判断单元判断所述第一数据表中未存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，将所述待存储JSON数据存储至所述第一数据表中。

可选的，所述第一获取单元包括：

判断模块，用于判断是否存在所述待存储实体对象对应的唯一标识；

第一获取模块，用于当所述判断模块判断存在所述待存储实体对象对应的唯一标识时，存在所述待存储实体对象对应的唯一标识

第二获取模块，用于当所述判断模块判断不存在所述待存储实体对象对应的唯一标识时，获取所述待存储实体对象对应的实体名称；

计算模块，用于对所述第二获取模块获取的所述实体名称进行哈希计算，以生成所述实体名称对应的哈希值；

确定模块，用于将所述计算模块计算的所述哈希值确定为所述待存储实体对象对应的唯一标识。

可选的，所述装置还包括：

替换单元，用于当所述判断单元判断所述第一数据表中存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，使用所述待存储JSON数据替换所述已存储JSON数据。

可选的，所述第一数据表中还存储有所述已存储JSON数据对应的爬取时间；所述替换单元包括：

第三获取模块，用于获取所述待存储实体对象对应的爬取时间；

替换模块，用于在所述第一数据表中使用所述待存储JSON数据替换所述已存储JSON数据，以及使用所述第三获取模块获取的所述待存储实体对象对应的爬取时间替换所述已存储JSON数据对应的爬取时间。

可选的，所述第一存储单元包括：

第四获取模块，用于获取所述待存储实体对象对应的爬取时间；

存储模块，用于将所述待存储实体对象对应的唯一标识、实体类型、爬取时间以及所述待存储JSON数据存储至所述第一数据表中。

可选的，所述装置还包括：

第三获取单元，用于在第二数据表中获取已存储实体对象对应的数据内容、唯一标识、实体类型以及爬取时间，其中，所述第二数据表中存储有同一实体类型的实体对象对应的数据内容、唯一标识、实体类型以及爬取时间；

生成单元，用于根据所述第三获取单元获取的所述已存储实体对象对应的数据内容生成所述已存储实体对象对应的JSON数据；

第二存储单元，用于将所述已存储实体对象对应的唯一标识、实体类型、爬取时间以及JSON数据存储至所述第一数据表中。

可选的，所述待存储实体对象为文章实体对象或用户实体对象。

为了实现上述目的，根据本发明的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的数据的存储方法。

为了实现上述目的，根据本发明的第四方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的数据的存储方法。

借由上述技术方案，本发明提供的技术方案至少具有下列优点：

本发明提供的一种数据的存储方法及装置，与现有技术中，MS SQL数据库在待存储实体对象中提取待存储实体对象对应的数据内容后，根据待存储实体对象对应的实体类型，将待存储实体对象存储至其对应的数据表中相比，本发明能够在MS SQL数据库对待存储实体对象进行序列化处理，生成待存储实体对象对应的待存储JSON数据后，根据待存储实体对象对应的唯一标识和实体类型，并判断存储有不同实体类型的实体对象对应的JSON数据的数据表中是否存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，若否，则将待存储JSON数据存储至该数据表中。由于，JSON格式的数据对于MS SQL数据库而言只是一个字符串，因此，MS SQL数据库可以将不同实体类型的实体对象对应的JSON数据存储至同一数据表中，从而无需为不同实体类型的实体对象创建和保留数据表，进而不会给MS SQL数据库的日常运维管理带来负担。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据的存储方法流程图；

图2示出了本发明实施例提供的另一种数据的存储方法流程图；

图3示出了本发明实施例提供的一种数据的存储装置的组成框图；

图4示出了本发明实施例提供的另一种数据的存储装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种数据的存储方法，如图1所示，该方法包括：

101、对待存储实体对象进行序列化处理，以生成待存储实体对象对应的待存储JSON数据。

其中，待存储实体对象可以但不限于为：文章实体对象或用户实体对象等等。

在本发明实施例中，爬虫设备在爬取得到实体对象后，会将爬取得到的实体对象发送至MS SQL数据库，MS SQL数据库在接收到该实体对象后，需要对该实体对象进行存储操作。由于，JSON格式的数据对于MS SQL数据库而言只是一个字符串，因此，MS SQL数据库可以将不同实体类型的实体对象对应的JSON数据存储至同一数据表中，从而MS SQL数据库在对待存储的实体对象进行存储操作时，首先，需要对待存储实体对象进行序列化处理，以生成待存储实体对象对应的待存储JSON数据，以便后续将待存储实体对象对应的待存储JSON数据存储至第一数据表(即存储有不同实体类型的实体对象对应的JSON数据的数据表)中，从而实现将不同实体类型的实体对象对应的数据内容存储至同一数据表中的效果。

具体的，在本步骤中，爬虫设备在不同网页中进行数据爬取时，能够爬取得到不同实体类型的实体对象：当网页中记录的内容为文章的文章详情时，爬虫设备能够在该网页中爬取得到包含该文章对应文章详情的文章实体对象，从而在爬虫设备将该文章实体对象发送至MS SQL数据库后，MS SQL数据库会对该文章实体对象进行序列化处理，以生成该文章实体对象对应的JSON数据，在后续步骤中，MS SQL数据库可以将该文章实体对象对应的JSON数据存储至第一数据表中；当网页中记录的内容为用户的用户信息时，爬虫设备能够在该网页中爬取得到包含该用户对应用户信息的用户实体对象，从而在爬虫设备将该用户实体对象发送至MS SQL数据库后，MS SQL数据库对该用户实体对象进行序列化处理，以生成该用户实体对象对应的JSON数据，在后续步骤中，MS SQL数据库可以将该用户实体对象对应的JSON数据存储至第一数据表中，但不限于此。

102、获取待存储实体对象对应的唯一标识，以及获取待存储实体对象对应的实体类型。

其中，待存储实体对象对应的实体类型可以但不限于为：文章类型、用户类型等等，例如，当待存储实体对象为文章实体对象时，待存储实体对象对应的实体类型为文章类型；当待存储实体对象为用户实体对象时，待存储实体对象对应的实体类型为用户类型，等等。

在本发明实施例中，MS SQL数据库在对待存储实体对象进行序列化处理，从而生成待存储实体对象对应的待存储JSON数据后，需要获取待存储实体对象对应的唯一标识和待存储实体对象对应的实体类型，以便后续根据待存储实体对象对应的唯一标识和实体类型判断第一数据表(即存储有不同实体类型的实体对象对应的JSON数据的数据表)中是否已经存储有待存储实体对象对应的JSON数据。

103、判断第一数据表中是否存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据。

其中，第一数据表中存储有不同实体类型的实体对象对应的JSON数据。

在本发明实施例中，MS SQL数据库在获取得到待存储实体对象对应的唯一标识和待存储实体对象对应的实体类型后，根据待存储实体对象对应的唯一标识和实体类型判断第一数据表中是否已经存储有待存储实体对象对应的JSON数据，即根据待存储实体对象对应的唯一标识和实体类型判断第一数据表中是否存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据。

104、若否，则将待存储JSON数据存储至第一数据表中。

在本发明实施例中，当MS SQL数据库判断第一数据表中未存储有待存储实体对象对应的JSON数据，即第一数据表中未存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，MS SQL数据库需要将待存储实体对象对应的待存储JSON数据存储至第一数据表中。

本发明实施例提供的一种数据的存储方法，与现有技术中，MS SQL数据库在待存储实体对象中提取待存储实体对象对应的数据内容后，根据待存储实体对象对应的实体类型，将待存储实体对象存储至其对应的数据表中相比，本发明实施例能够在MS SQL数据库对待存储实体对象进行序列化处理，生成待存储实体对象对应的待存储JSON数据后，根据待存储实体对象对应的唯一标识和实体类型，并判断存储有不同实体类型的实体对象对应的JSON数据的数据表中是否存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，若否，则将待存储JSON数据存储至该数据表中。由于，JSON格式的数据对于MS SQL数据库而言只是一个字符串，因此，MS SQL数据库可以将不同实体类型的实体对象对应的JSON数据存储至同一数据表中，从而无需为不同实体类型的实体对象创建和保留数据表，进而不会给MS SQL数据库的日常运维管理带来负担。

以下为了更加详细地说明，本发明实施例提供了另一种数据的存储方法，特别是MS SQL数据库获取待存储实体对象对应的唯一标识的具体方法以及MS SQL数据库将待存储实体对象对应的待存储JSON数据存储至第一数据表中的具体方法，具体如图2所示，该方法包括：

201、对待存储实体对象进行序列化处理，以生成待存储实体对象对应的待存储JSON数据。

其中，关于步骤201、对待存储实体对象进行序列化处理，以生成待存储实体对象对应的待存储JSON数据，可以参考图1对应部分的描述，本发明实施例此处将不再赘述。

202、获取待存储实体对象对应的唯一标识。

在本发明实施例中，MS SQL数据库在对待存储实体对象进行序列化处理，从而生成待存储实体对象对应的待存储JSON数据后，需要获取待存储实体对象对应的唯一标识和待存储实体对象对应的实体类型，以便后续根据待存储实体对象对应的唯一标识和实体类型判断第一数据表中是否已经存储有待存储实体对象对应的JSON数据。以下将对MS SQL数据库如何获取待存储实体对象对应的唯一标识进行详细说明。

1、判断是否存在待存储实体对象对应的唯一标识。

在本发明实施例中，爬虫设备在爬取待存储实体对象的过程中，可能会爬取得到待存储实体对象对应的唯一标识，此时，爬虫设备会将待存储实体对象对应的唯一标识连同待存储实体对象一起发送至MS SQL数据库，因此，MS SQL数据库在进行获取待存储实体对象对应的唯一标识的操作过程中，首先需要判断是否存在待存储实体对象对应的唯一标识，即判断爬虫设备是否将待存储实体对象对应的唯一标识连同待存储实体对象一起发送至MS SQL数据库。

2a、若是，则获取待存储实体对象对应的唯一标识。

在本发明实施例中，当MS SQL数据库判断存在待存储实体对象对应的唯一标识，即爬虫设备将待存储实体对象对应的唯一标识连同待存储实体对象一起发送至MS SQL数据库时，MS SQL数据库直接获取待存储实体对象对应的唯一标识。

2b、若否，则获取待存储实体对象对应的实体名称。

在本发明实施例中，当MS SQL数据库判断不存在待存储实体对象对应的唯一标识，即爬虫设备未将待存储实体对象对应的唯一标识连同待存储实体对象一起发送至MSSQL数据库时，MS SQL数据库需要获取待存储实体对象对应的实体名称，以便后续根据待存储实体对象对应的实体名称获取待存储实体对象对应的唯一标识。

具体的，在本步骤中，当待存储实体对象为文章实体对象时，MS SQL数据库获取得到的实体名称可以为文章实体对象对应的文章标题；当待存储实体对象为用户实体对象时，MS SQL数据库获取得到的实体名称可以为用户实体对象对应的用户名称，但不限于此。

3b、对实体名称进行哈希计算，以生成实体名称对应的哈希值，并将哈希值确定为待存储实体对象对应的唯一标识。

在本发明实施例中，MS SQL数据库在获取得到待存储实体对象对应的实体名称后，对获取得到的实体名称进行哈希计算，从而生成该实体名称对应的哈希值，并将生成的哈希值确定为待存储实体对象对应的唯一标识。

203、获取待存储实体对象对应的实体类型。

其中，关于步骤203、获取待存储实体对象对应的实体类型，可以参考图1对应部分的描述，本发明实施例此处将不再赘述。

204、判断第一数据表中是否存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据。

其中，关于步骤204、判断第一数据表中是否存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，可以参考图1对应部分的描述，本发明实施例此处将不再赘述。

205a、若第一数据表中存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，则使用待存储JSON数据替换已存储JSON数据。

在本发明实施例中，当MS SQL数据库判断第一数据表中存储有待存储实体对象对应的JSON数据，即第一数据表中存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，MS SQL数据库需要使用待存储实体对象对应的待存储JSON数据替换待存储实体对象对应的已存储JSON数据。以下将对MS SQL数据库如何使用待存储实体对象对应的待存储JSON数据替换待存储实体对象对应的已存储JSON数据进行详细说明。

(1)获取待存储实体对象对应的爬取时间。

其中，第一数据表中还存储有已存储JSON数据对应的爬取时间。

在本发明实施例中，当MS SQL数据库判断第一数据表中存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，MS SQL数据库需要获取待存储实体对象对应的爬取时间，即爬虫设备爬取得到待存储实体对象的时间。

(2)在第一数据表中使用待存储JSON数据替换已存储JSON数据，以及使用待存储实体对象对应的爬取时间替换已存储JSON数据对应的爬取时间。

在本发明实施例中，MS SQL数据库在获取得到待存储实体对象对应的爬取时间后，便会在第一数据表中使用待存储实体对象对应的待存储JSON数据替换待存储实体对象对应的已存储JSON数据，以及使用待存储实体对象对应的爬取时间替换已存储JSON数据对应的爬取时间，从而实现在第一数据表中对待存储实体对象对应的JSON数据进行更新的效果。

对于本发明实施例，与步骤205a并列的步骤205b、若第一数据表中未存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，则将待存储JSON数据存储至第一数据表中。

在本发明实施例中，当MS SQL数据库判断第一数据表中未存储有待存储实体对象对应的JSON数据，即第一数据表中未存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，MS SQL数据库需要将待存储实体对象对应的待存储JSON数据存储至第一数据表中。以下将对MS SQL数据库如何将待存储实体对象对应的待存储JSON数据存储至第一数据表中进行详细说明。

(1)获取待存储实体对象对应的爬取时间。

在本发明实施例中，当MS SQL数据库判断第一数据表中未存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，MS SQL数据库需要获取待存储实体对象对应的爬取时间，即爬虫设备爬取得到待存储实体对象的时间。

(2)将待存储实体对象对应的唯一标识、实体类型、爬取时间以及待存储JSON数据存储至第一数据表中。

在本发明实施例中，MS SQL数据库在获取得到待存储实体对象对应的爬取时间后，便会将待存储实体对象对应的唯一标识、实体类型、爬取时间以及待存储JSON数据存储至第一数据表中。

进一步的，在实际应用过程中，MS SQL数据库还可以将第二数据表中存储的已存储实体对象对应的数据内容、唯一标识、实体类型以及爬取时间迁移至第一数据表中，从而实现将已存储在不同类型的数据表中的不同实体类型的实体对象对应的数据内容、唯一标识、实体类型以及爬取时间迁移至同一数据表中的效果，其中，第二数据表为存储有同一实体类型的多个实体对象对应的数据内容、唯一标识、实体类型以及爬取时间的数据表。具体的，在本步骤中，MS SQL数据库可以先在第二数据表中获取已存储实体对象对应的数据内容、唯一标识、实体类型以及爬取时间；然后，根据已存储实体对象对应的数据内容生成已存储实体对象对应的JSON数据，即根据已存储实体对象对应的数据内容生成已存储实体对象，并对已存储实体对象进行序列化处理，从而生成已存储实体对象对应的JSON数据；最后，将已存储实体对象对应的唯一标识、实体类型、爬取时间以及JSON数据存储至第一数据表中，但不限于此。

为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的数据的存储方法。

为了实现上述目的，根据本发明的另一方面，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的数据的存储方法。

进一步的，作为对上述图1及图2所示方法的实现，本发明另一实施例还提供了一种数据的存储装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于将不同实体类型的实体对象对应的数据内容存储至同一数据表中，具体如图3所示，该装置包括：

序列化单元31，用于对待存储实体对象进行序列化处理，以生成所述待存储实体对象对应的待存储JSON数据；

第一获取单元32，用于获取所述待存储实体对象对应的唯一标识；

第二获取单元33，用于获取所述待存储实体对象对应的实体类型；

判断单元34，用于判断第一数据表中是否存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，其中，所述第一数据表中存储有不同实体类型的实体对象对应的JSON数据；

第一存储单元35，用于当判断单元34判断所述第一数据表中未存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，将所述待存储JSON数据存储至所述第一数据表中。

进一步的，如图4所示，第一获取单元32包括：

判断模块321，用于判断是否存在所述待存储实体对象对应的唯一标识；

第一获取模块322，用于当判断模块321判断存在所述待存储实体对象对应的唯一标识时，存在所述待存储实体对象对应的唯一标识

第二获取模块323，用于当判断模块321判断不存在所述待存储实体对象对应的唯一标识时，获取所述待存储实体对象对应的实体名称；

计算模块324，用于对第二获取模块323获取的所述实体名称进行哈希计算，以生成所述实体名称对应的哈希值；

确定模块325，用于将计算模块324计算的所述哈希值确定为所述待存储实体对象对应的唯一标识。

进一步的，如图4所示，该装置还包括：

替换单元36，用于当判断单元34判断所述第一数据表中存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，使用所述待存储JSON数据替换所述已存储JSON数据。

进一步的，如图4所示，所述第一数据表中还存储有所述已存储JSON数据对应的爬取时间；替换单元36包括：

第三获取模块361，用于获取所述待存储实体对象对应的爬取时间；

替换模块362，用于在所述第一数据表中使用所述待存储JSON数据替换所述已存储JSON数据，以及使用第三获取模块361获取的所述待存储实体对象对应的爬取时间替换所述已存储JSON数据对应的爬取时间。

进一步的，如图4所示，第一存储单元35包括：

第四获取模块351，用于获取所述待存储实体对象对应的爬取时间；

存储模块352，用于将所述待存储实体对象对应的唯一标识、实体类型、爬取时间以及所述待存储JSON数据存储至所述第一数据表中。

进一步的，如图4所示，该装置还包括：

第三获取单元37，用于在第二数据表中获取已存储实体对象对应的数据内容、唯一标识、实体类型以及爬取时间，其中，所述第二数据表中存储有同一实体类型的实体对象对应的数据内容、唯一标识、实体类型以及爬取时间；

生成单元38，用于根据第三获取单元37获取的所述已存储实体对象对应的数据内容生成所述已存储实体对象对应的JSON数据；

第二存储单元39，用于将所述已存储实体对象对应的唯一标识、实体类型、爬取时间以及JSON数据存储至所述第一数据表中。

进一步的，如图4所示，所述待存储实体对象为文章实体对象或用户实体对象。

本发明实施例提供的一种数据的存储方法及装置，与现有技术中，MS SQL数据库在待存储实体对象中提取待存储实体对象对应的数据内容后，根据待存储实体对象对应的实体类型，将待存储实体对象存储至其对应的数据表中相比，本发明实施例能够在MS SQL数据库对待存储实体对象进行序列化处理，生成待存储实体对象对应的待存储JSON数据后，根据待存储实体对象对应的唯一标识和实体类型，并判断存储有不同实体类型的实体对象对应的JSON数据的数据表中是否存储有唯一标识和实体类型与待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，若否，则将待存储JSON数据存储至该数据表中。由于，JSON格式的数据对于MS SQL数据库而言只是一个字符串，因此，MS SQL数据库可以将不同实体类型的实体对象对应的JSON数据存储至同一数据表中，从而无需为不同实体类型的实体对象创建和保留数据表，进而不会给MS SQL数据库的日常运维管理带来负担。同时，本发明实施例能够将MS SQL数据库中已存储在不同类型的数据表中的不同实体类型的实体对象对应的数据内容、唯一标识、实体类型以及爬取时间迁移至同一数据表中。

所述数据的存储装置包括处理器和存储器，上述序列化单元、第一获取单元、第二获取单元、判断单元和第一存储单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来将不同实体类型的实体对象对应的数据内容存储至同一数据表中。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现以上实施例中任一项所述的数据的存储方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行以上实施例中任一项所述的数据的存储方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

对待存储实体对象进行序列化处理，以生成所述待存储实体对象对应的待存储JSON数据；

获取所述待存储实体对象对应的唯一标识，以及获取所述待存储实体对象对应的实体类型；

判断第一数据表中是否存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，其中，所述第一数据表中存储有不同实体类型的实体对象对应的JSON数据；

若否，则将所述待存储JSON数据存储至所述第一数据表中。

进一步的，所述获取所述待存储实体对象对应的唯一标识，包括：

判断是否存在所述待存储实体对象对应的唯一标识；

若是，则获取所述待存储实体对象对应的唯一标识；

若否，则获取所述待存储实体对象对应的实体名称；

对所述实体名称进行哈希计算，以生成所述实体名称对应的哈希值；

将所述哈希值确定为所述待存储实体对象对应的唯一标识。

进一步的，所述方法还包括：

若所述第一数据表中存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，则使用所述待存储JSON数据替换所述已存储JSON数据。

进一步的，所述第一数据表中还存储有所述已存储JSON数据对应的爬取时间；所述使用所述待存储JSON数据替换所述已存储JSON数据，包括：

获取所述待存储实体对象对应的爬取时间；

在所述第一数据表中使用所述待存储JSON数据替换所述已存储JSON数据，以及使用所述待存储实体对象对应的爬取时间替换所述已存储JSON数据对应的爬取时间。

进一步的，所述将所述待存储JSON数据存储至所述第一数据表中，包括：

获取所述待存储实体对象对应的爬取时间；

将所述待存储实体对象对应的唯一标识、实体类型、爬取时间以及所述待存储JSON数据存储至所述第一数据表中。

进一步的，所述方法还包括：

在第二数据表中获取已存储实体对象对应的数据内容、唯一标识、实体类型以及爬取时间，其中，所述第二数据表中存储有同一实体类型的实体对象对应的数据内容、唯一标识、实体类型以及爬取时间；

根据所述已存储实体对象对应的数据内容生成所述已存储实体对象对应的JSON数据；

将所述已存储实体对象对应的唯一标识、实体类型、爬取时间以及JSON数据存储至所述第一数据表中。

进一步的，所述待存储实体对象为文章实体对象或用户实体对象。

本文中的设备可以是服务器、PC等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：对待存储实体对象进行序列化处理，以生成所述待存储实体对象对应的待存储JSON数据；获取所述待存储实体对象对应的唯一标识，以及获取所述待存储实体对象对应的实体类型；判断第一数据表中是否存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，其中，所述第一数据表中存储有不同实体类型的实体对象对应的JSON数据；若否，则将所述待存储JSON数据存储至所述第一数据表中。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据的存储方法，其特征在于，包括：

对待存储实体对象进行序列化处理，以生成所述待存储实体对象对应的待存储JSON数据；

获取所述待存储实体对象对应的唯一标识，以及获取所述待存储实体对象对应的实体类型；

判断第一数据表中是否存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，其中，所述第一数据表中存储有不同实体类型的实体对象对应的JSON数据；

若否，则将所述待存储JSON数据存储至所述第一数据表中。

2.根据权利要求1所述的方法，其特征在于，所述获取所述待存储实体对象对应的唯一标识，包括：

判断是否存在所述待存储实体对象对应的唯一标识；

若是，则获取所述待存储实体对象对应的唯一标识；

若否，则获取所述待存储实体对象对应的实体名称；

对所述实体名称进行哈希计算，以生成所述实体名称对应的哈希值；

将所述哈希值确定为所述待存储实体对象对应的唯一标识。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一数据表中存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，则使用所述待存储JSON数据替换所述已存储JSON数据。

4.根据权利要求3所述的方法，其特征在于，所述第一数据表中还存储有所述已存储JSON数据对应的爬取时间；所述使用所述待存储JSON数据替换所述已存储JSON数据，包括：

获取所述待存储实体对象对应的爬取时间；

在所述第一数据表中使用所述待存储JSON数据替换所述已存储JSON数据，以及使用所述待存储实体对象对应的爬取时间替换所述已存储JSON数据对应的爬取时间。

5.根据权利要求1所述的方法，其特征在于，所述将所述待存储JSON数据存储至所述第一数据表中，包括：

获取所述待存储实体对象对应的爬取时间；

将所述待存储实体对象对应的唯一标识、实体类型、爬取时间以及所述待存储JSON数据存储至所述第一数据表中。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在第二数据表中获取已存储实体对象对应的数据内容、唯一标识、实体类型以及爬取时间，其中，所述第二数据表中存储有同一实体类型的实体对象对应的数据内容、唯一标识、实体类型以及爬取时间；

根据所述已存储实体对象对应的数据内容生成所述已存储实体对象对应的JSON数据；

将所述已存储实体对象对应的唯一标识、实体类型、爬取时间以及JSON数据存储至所述第一数据表中。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述待存储实体对象为文章实体对象或用户实体对象。

8.一种数据的存储装置，其特征在于，包括：

序列化单元，用于对待存储实体对象进行序列化处理，以生成所述待存储实体对象对应的待存储JSON数据；

第一获取单元，用于获取所述待存储实体对象对应的唯一标识；

第二获取单元，用于获取所述待存储实体对象对应的实体类型；

判断单元，用于判断第一数据表中是否存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据，其中，所述第一数据表中存储有不同实体类型的实体对象对应的JSON数据；

第一存储单元，用于当所述判断单元判断所述第一数据表中未存储有唯一标识和实体类型与所述待存储实体对象对应的唯一标识和实体类型相匹配的已存储JSON数据时，将所述待存储JSON数据存储至所述第一数据表中。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求7中任一项所述的数据的存储方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求7中任一项所述的数据的存储方法。

Images