CN110162534A - 数据管理方法及数据存储系统 - Google Patents

Abstract

本公开提供了一种数据管理方法，包括：硬盘数据库系统接收客户端所发送的数据更新请求，所述数据更新请求包括：第一更新指令；并根据所述第一更新指令对所述硬盘数据库系统进行数据更新；备份服务系统在所述硬盘数据库系统完成数据更新后，获取所述硬盘数据库系统的数据更新日志；并解析所述数据更新日志，以筛选出与预定类型数据对应的第二更新指令，且将所述第二更新指令发送至所述内存数据库系统；所述内存数据库系统根据所述第二更新指令对所述内存数据库系统内所述预定类型数据进行更新；本公开还提供了一种数据存储系统。

Description

数据管理方法及数据存储系统

技术领域

本公开实施例涉及数据库技术领域，特别涉及数据管理方法及数据存储系统。

背景技术

目前，数据存储系统应用于各行各业中，现有技术中，为提高数据读取速度，数据存储系统内除了设置有硬盘数据库外还设置有内存数据库，其中，硬盘数据库具有较大的容量，用于存储所有的数据，而内存数据库具有较高的读取速率，因而用于存储具有较高读取频率的热数据，在进行数据读取时，优先从内存数据库中进行读取，当从内存数据库中未读取到目标数据后，再从硬盘数据库中进行读取，从而在一定程度上提高了数据读取的速率；在进行数据写入时，通过设置的事务层来保证写入请求到达时内存数据库和硬盘数据库同时进行数据写入，以保证数据的一致性。

现有技术中的数据存储系统虽然在数据的读取方面提高了读取效率，但在数据的写入方面，由于设置了事务层来保证数据的一致性，这导致数据存储系统在与现有的读写服务进行交互时，需要对现有的读写服务进行大量的代码更改，从而导致对应用该数据存储系统的模块的入侵性太强，进而不利于存储系统进行通用性的应用以及系统的维护；同时，数据的写入过程对写入端不透明，这也导致管理人员不便于对写入的数据进行管理。

发明内容

本公开实施例提供一种数据管理方法及数据存储系统，用于解决现有技术中存在的技术问题之一。

一方面，本公开实施例提供一种数据管理方法，基于数据存储系统，所述数据存储系统包括：硬盘数据库系统、备份服务系统以及内存数据库系统；所述数据管理方法包括：

所述硬盘数据库系统接收客户端所发送的数据更新请求，所述数据更新请求包括：第一更新指令；并根据所述第一更新指令对所述硬盘数据库系统进行数据更新；

所述备份服务系统在所述硬盘数据库系统完成数据更新后，获取所述硬盘数据库系统的数据更新日志；并解析所述数据更新日志，以筛选出与预定类型数据对应的第二更新指令，且将所述第二更新指令发送至所述内存数据库系统；

所述内存数据库系统根据所述第二更新指令对所述内存数据库系统内所述预定类型数据进行更新。

在一些实施例中，所述数据管理方法还包括：

所述备份服务系统接收读取请求，所述读取请求中包含有待读取的目标数据；并将所述读取请求发送至所述内存数据库系统；

所述内存数据库系统接收所述读取请求，并根据所述读取请求检测所述内存数据库系统中是否存储有所述目标数据；

当所述内存数据库系统检测出所述内存数据库系统中存储有所述目标数据时，从所述内存数据库系统内提取出所述目标数据，并将所述目标数据反馈至所述备份服务系统；当所述内存数据库系统检测出所述内存数据库系统中未存储有所述目标数据时，向所述备份服务系统反馈第一请求失败信息。

在一些实施例中，在所述内存数据库系统将所述目标数据反馈至所述备份服务系统之后，还包括：

所述备份服务系统将所述目标数据发送至客户端。

在一些实施例中，在所述备份服务系统接收到所述内存数据库系统反馈的所述第一请求失败信息后，还包括：

所述备份服务系统将所述读取请求发送至所述硬盘数据库系统；

所述硬盘数据库系统接收所述读取请求，并根据所述读取请求检测所述硬盘数据库系统内是否存储有所述目标数据；

当所述硬盘数据库系统检测出所述硬盘数据库系统内存储有所述目标数据时，从所述硬盘数据库系统内提取出所述目标数据，并将所述目标数据反馈至所述备份服务系统；当所述硬盘数据库系统检测出所述硬盘数据库系统中未存储有所述目标数据时，向所述备份服务系统反馈第二请求失败信息。

在一些实施例中，在所述硬盘数据库系统将所述目标数据或所述第二请求失败信息发送至所述备份服务系统后，还包括：

所述备份服务系统将所述目标数据或所述第二请求失败信息发送至客户端。

在一些实施例中，在所述硬盘数据库系统将所述目标数据发送至所述备份服务系统后，还包括：

所述备份服务系统将所述目标数据同步至所述内存数据库系统中。

在一些实施例中，所述备份服务系统在接收到所述第二请求失败信息后，还包括：

所述备份服务系统将所述目标数据加入预设的黑名单中。

在一些实施例中，在所述备份服务系统接收读取请求之后，且在所述备份服务系统将所述读取请求发送至所述内存数据库系统之前，还包括：

所述备份服务系统查询所述读取请求中所包含的目标数据是否处于预设的黑名单中；

当查询出所述目标数据处于预设的黑名单中时，所述备份服务系统向客户端反馈查询失败信息；当查询出所述目标数据未处于预设的黑名单中时，所述备份服务系统将所述读取请求发送至所述内存数据库系统。

在一些实施例中，在所述备份服务系统向客户端反馈查询失败信息的同时，还包括：

所述备份服务系统获取所述目标数据被连续查询的查询累计次数，并判断所述查询累计次数是否超过预设阈值；当判断出所述查询累计次数超过预设阈值时，向用户返回阻止访问的信息。

在一些实施例中，在所述备份服务系统解析所述数据更新日志的同时，还包括：

所述备份服务系统检测所述硬盘数据库系统内是否已将所述预设的黑名单中所记录的数据写入；并且，当所述备份服务系统检测出所述硬盘数据库系统已将所述预设的黑名单中所记录的数据写入后，从所述预设的黑名单中将对应的数据移除。

另一方面，本公开实施例提供一种数据存储系统，包括：硬盘数据库系统、备份服务系统以及内存数据库系统；

所述硬盘数据库系统包括：硬盘数据库、第一接收模块和第一更新模块，所述备份服务系统包括：第一获取模块和解析筛选模块，所述内存数据库系统包括：内存数据库和第二更新模块；

其中，所述第一接收模块，用于接收客户端所发送的数据更新请求，所述数据更新请求包括：第一更新指令；

所述第一更新模块，用于根据所述第一更新指令对所述硬盘数据库进行数据更新；

所述第一获取模块，用于在所述硬盘数据库完成数据更新后，获取所述硬盘数据库的数据更新日志；

所述解析筛选模块，用于解析所述数据更新日志，并筛选出与预定类型数据对应的第二更新指令，并将所述第二更新指令发送至所述内存数据库系统；

所述第二更新模块，用于根据所述第二更新指令对所述内存数据库内所述预定类型数据进行更新。

在一些实施例中，所述备份服务系统还包括：第二接收模块和转发模块；

所述第二接收模块，用于接收读取请求，所述读取请求中包含有待读取的目标数据；

所述转发模块，用于将所述读取请求发送至所述内存数据库系统；

所述内存数据库系统还包括：第一检测模块和第一反馈模块；

所述第一检测模块，用于接收所述转发模块所发送的读取请求，并根据所述读取请求检测所述内存数据库中是否存储有所述目标数据；

所述第一反馈模块，用于当所述第一检测模块检测出所述内存数据库中存储有所述目标数据时，从所述内存数据库内提取出所述目标数据，并将所述目标数据反馈至所述备份服务系统；以及，还用于当所述第一检测模块检测出所述内存数据库中未存储有所述目标数据时，向所述备份服务系统反馈第一请求失败信息。

在一些实施例中，所述备份服务系统还包括：第二反馈模块；

所述第二反馈模块用于将所述第一反馈模块发送的目标数据发送至客户端。

在一些实施例中，所述转发模块还用于当所述备份服务系统接收到所述第一请求失败信息时，将所述读取请求发送至所述硬盘数据库系统；

所述硬盘数据库系统还包括：第二检测模块和第三反馈模块；

所述第二检测模块，用于接收所述转发模块所发送的读取请求，并根据所述读取请求检测所述硬盘数据库内是否存储有所述目标数据；

所述第三反馈模块，用于当所述第二检测模块检测出所述硬盘数据库内存储有所述目标数据时，从所述硬盘数据库内提取出所述目标数据，并将所述目标数据反馈至所述备份服务系统；以及，还用于当所述第二检测模块检测出所述硬盘数据库中未存储有所述目标数据时，向所述备份服务系统反馈第二请求失败信息。

在一些实施例中，所述第二反馈模块还用于将所述第三反馈模块发送的目标数据或第二请求失败信息发送至客户端。

在一些实施例中，所述备份服务系统还包括：同步模块；

所述同步模块，用于在接收到所述第三反馈模块所反馈的所述目标数据时，将所述目标数据同步至所述内存数据库中。

在一些实施例中，所述备份服务系统还包括：设置模块；

所述设置模块用于在接收到所述第二请求失败信息时，将所述目标数据加入至预设的黑名单中。

在一些实施例中，所述备份服务系统还包括：查询模块和第四反馈模块；

所述查询模块，用于在所述第二接收模块接收到读取请求时，查询所述读取请求中所包含的目标数据是否处于预设的黑名单中；

所述第四反馈模块，用于在所述查询模块查询出目标数据处于黑名单中时，向客户端反馈查询失败信息；

所述转发模块具体用于当所述查询模块查询出所述目标数据不处于所述黑名单中时，将所述读取请求发送至所述内存数据库系统。

在一些实施例中，所述备份服务系统还包括：第二获取模块和判断模块；

所述第二获取模块用于在所述查询模块查询出所述目标数据处于所述黑名单中时，获取所述目标数据被连续查询的查询累计次数；

所述判断模块用于判断所述查询累计次数是否超过预设阈值，并在判断出所述查询累计次数超过预设阈值时，向用户返回阻止访问的信息。

在一些实施例中，所述备份服务系统还包括：第三检测模块和移除模块；

所述第三检测模块用于在所述第一获取模块获取到所述硬盘数据库的数据更新日志后，检测所述硬盘数据库是否已将所述预设的黑名单中所记录的数据写入；

所述移除模块用于在所述第三检测模块检测出所述硬盘数据库已将所述预设的黑名单中所记录的数据写入后，从所述预设的黑名单中将对应的数据移除。

本公开实施例提供的数据管理方法及存储系统，设置有设备份服务系统来实现硬盘数据库系统与内存数据库系统的数据的异步存储，即，在写入请求到达时，仅对硬盘数据库系统进行数据写入，而在硬盘数据库系统完成数据更新后，备份服务系统进一步基于硬盘数据库系统的数据更新日志完成对内存数据库系统的数据更新，从而无需对读写服务进行大量的代码修改即可实现数据的一致性，同时，由于对写入端透明，管理人员通过直接对硬盘数据库内的数据进行管理即可实现对整个数据库系统的数据的管理，从而使管理人员的数据管理工作更便捷。

附图说明

附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1为本公开实施例提供的一种数据存储系统的整体结构示意图；

图2为本公开实施例提供的一种数据存储系统的详细结构示意图；

图3为本公开实施例提供的另一种数据存储系统的详细结构示意图；

图4为本公开实施例提供的再一种数据存储系统的详细结构示意图；

图5为本公开实施例提供的一种数据管理方法的流程图；

图6为本公开实施例提供的另一种数据管理方法的流程图；

图7为本公开实施例提供的再一种数据管理方法的流程图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的数据管理方法及数据存储系统进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

本公开实施例提供一种数据存储系统，如图1所示，该系统包括：硬盘数据库系统11、备份服务系统12以及内存数据库系统13。

其中，硬盘数据库系统11具有较大的存储容量，用于存储与该数据存储系统配合使用的其他系统，例如车载系统所产生的需要存储的所有数据，常用的硬盘数据库系统为关系型数据库系统，例如Mysql、oracle等数据库系统；内存数据库系统13的存储容量较小，但相较于硬盘数据库系统具有较高的读取速度，受内存数据库系统存储容量的限制，内存数据库系统用于存储用户读取需求量较高的热数据，热数据的选取根据用户所使用的具体业务进行设置；本公开实施例中还设置有备份服务系统12，备份服务系统12用于实现硬盘数据库系统和内存数据库系统的数据的异步存储，以实现在保证硬盘数据库系统和内存数据库系统的数据具有一致性的前提下，降低整个数据存储系统的复杂度。下面结合附图2来对本实施例提供的数据存储系统的结构进行详细介绍。

如图2所示，硬盘数据库系统11具体包括：硬盘数据库111、第一接收模块112和第一更新模块113。

本实施例中硬盘数据库111指的是仅具有存储能力的存储容器，例如磁盘等，用于存储写入的的数据；第一接收模块112用于接收客户端所发送的数据更新请求，客户端指的是用户处理业务所使用的应用程序或系统，数据更新请求中包括有第一更新指令，第一更新指令中包括有本次预更新的数据，第一更新模块113在第一接收模块接收到数据更新请求后，根据数据更新请求中的第一更新指令，在硬盘数据库内写入第一更新指令所包含的预更新的数据。

备份服务系统12具体包括：第一获取模块121和解析筛选模块122。

本实施例中，第一获取模块121用于在硬盘数据库111完成数据更新后，获取硬盘数据库的数据更新日志，数据更新日志设置于硬盘数据库中，记录了硬盘数据库进行数据更新(数据增加、数据删除、数据更改)的相关操作指令。

解析筛选模块122用于解析第一获取模块121获取到的数据更新日志，并进一步筛选出与预定类型数据对应的第二更新指令，并将第二更新指令发送至内存数据库系统；本实施例中，解析筛选模块122在对数据更新日志进行解析后，能够确定出硬盘数据库系统本次所进行的数据更新的内容，具体地，解析筛选模块122每次在对数据更新日志解析完成时都会留下位置标记，从而在下一次对数据更新日志进行解析时，从上一次解析时留下的位置标记开始解析即可确定出本次所进行的数据更新的内容，解析筛选模块121在确定出本次所进行的数据更新的内容后，从所确定出的内容中提取出数据更新的操作指令，例如SQL指令，并进一步从所提取出的数据更新的操作指令中筛选出与预定类型数据对应的第二更新指令，本实施例中预定类型数据指的是用户基于所处理的业务而设置的比较热门的数据，预定类型数据因用户处理的业务不同而不同，可由用户预先设置，解析筛选模块122在筛选与预定类型数据对应的第二更新指令时，可基于预设的过滤规则进行选取，该技术已属于现有技术，此处不再赘述。

内存数据库系统13具体包括：内存数据库131和第二更新模块132。

本实施例中，内存数据库131指的是仅具有存储能力的存储容器，例如Nosql数据库，用于存储预定类型的数据；第二更新模块132用于根据解析筛选模块122所筛选出的第二更新指令对内存数据库131的预定类型数据进行更新，具体的，第二更新模块通过重新执行所筛选出的第二更新指令以完成对预定类型数据的更新，从而完成内存数据库系统的数据写入。

本公开实施例提供的数据存储系统，设置有设备份服务系统来实现硬盘数据库系统与内存数据库系统的数据的异步存储，即，在写入请求到达时，仅对硬盘数据库系统进行数据写入，而在硬盘数据库系统完成数据更新后，备份服务系统进一步基于硬盘数据库系统的数据更新日志完成对内存数据库系统的数据更新，从而使得无需对读写服务进行大量的代码修改即可实现数据的一致性，同时，由于对写入端透明，管理人员通过直接对硬盘数据库内的数据进行管理即可实现对整个数据库系统的数据的管理，从而使管理人员的数据管理工作更便捷。

本公开实施例还提供一种数据存储系统，与上述实施例不同的是，本实施例提供的数据存储系统中的硬盘数据库系统、备份服务系统以及内存数据库系统还包括其他的功能模块，以用来处理硬盘数据库系统所接收到的读取请求，本公开中，客户发送的读取请求首先到达备份服务系统，然后由备份服务系统将读取请求下发至内存数据库系统进行数据读取，当内存数据库系统未查询到目标数据时，备份服务系统再将读取请求再下发至硬盘数据库系统进行目标数据的查询。下面结合附图3来对本实施例提供的数据存储系统进行详细介绍。

本实施例中备份服务系统12还包括：第二接收模块123和转发模块124。

其中，第二接收模块123用于接收读取请求，读取请求为客户端发送的读取数据的请求，读取请求中包含有待读取的目标数据。

转发模块124用于将第二接收模块发送的读取请求发送至内存数据库系统，以从内存数据库系统进行目标数据的查询。

内存数据库系统13进一步还包括：第一检测模块133和第一反馈模块134；其中，第一检测模块133用于接收转发模块124所发送的读取请求，并根据读取请求检测内存数据库131中是否存储有目标数据；第一反馈模块134用于当第一检测模块122检测出内存数据库131中存储有目标数据时，从内存数据库131内提取出目标数据，并将目标数据反馈至备份服务系统；并且，当第一检测模块122检测出内存数据库131中未存储有目标数据时，向备份服务系统反馈第一请求失败信息，以通知备份服务系统内存数据库系统中未存储有所要读取的目标数据，从而使备份服务系统将读取请求发送至硬盘数据库系统进行目标数据的读取。

备份服务系统12还包括：第二反馈模块125，用于将第一反馈模块134发送的目标数据发送至客户端，以供用户进行使用。

硬盘数据库系统11进一步包括：第二检测模块114和第三反馈模块115；其中，第二检测模块114用于接收转发模块124所发送的读取请求，并根据读取请求检测硬盘数据库111内是否存储有目标数据；第三反馈模块115用于当第二检测模块检测出硬盘数据库111内存储有目标数据时，从硬盘数据库111内提取出目标数据，并将目标数据反馈至备份服务系统，并且，当第二检测模块114检测出硬盘数据库111内未存储有目标数据时，向备份服务系统反馈第二请求失败信息，以通知备份服务系统硬盘数据库系统中也未存储有所要读取的目标数据，本实施例中，当通知备份服务系统接收到第二请求失败信息时，说明内存数据库系统和硬盘数据库系统中均未存储有所要查询的目标数据，进而备份服务系统需要告知客户端目标数据查询失败的信息，因此，第二反馈模块125还用于将第三反馈模块115所发送的第二请求失败信息发送至客户端，以告知用户目标数据查询失败，除此之外，第二反馈模块125还用于将第三反馈模块115所发送的目标数据发送至客户端，以供用户进行使用。

本实施例中，备份服务系统12还包括：同步模块126，该同步模块126用于在第三反馈模块115接收到目标数据时，将目标数据同步至内存数据库中，从而使得在下一次进行该目标数据的读取时，能够直接从内存数据系统中读取到该目标数据，进而提高了数据的读取速度。

本公开实施例还提供一种数据存储系统，相较于上述实施例提供的数据存储系统，本实施例中，数据存储系统还设置有更多的功能模块，用来处理当硬盘数据库系统和内存数据库系统均未存储有目标数据的情况，以避免对数据库存储系统的恶意访问。

本实施例提供的数据存储系统中，备份服务系统12中设置有黑名单，该黑名单用于记录客户端读取过但未存储于内存数据库系统也未存储于硬盘数据库系统中的数据，以便于对客户端的恶意访问数据存储系统的行为进行监控，如图4所示，备份服务系统12中还包括：设置模块127，该设置模块127用于在接收到第三反馈模块115发送的第二请求失败信息后，将目标数据加入至预设的黑名单中，以对该目标数据进行记录。

备份服务系统进一步还包括：查询模块128和第四反馈模块129；其中，查询模块128用于在第二接收模块123接收到读取请求时，查询读取请求中所包含的目标数据是否处于预设的黑名单中，通过查询黑名单能够确定出所要读取的目标数据是否曾经被查询过且未存储于该数据库存储系统中，并且，当查询出目标数处于黑名单中时，说明所要查询的目标数据曾经被读取过且并未存储于该数据存储系统中，此时，第四反馈模块129向客户端反馈查询失败的信息，从而使本次数据读取过程终止，进而避免了将读取请求下发至硬盘数据库系统而进行的不必要的数据读取，避免了可能存在的恶意访问；而当查询出目标数未处于黑名单中时，则说明目标数据可以被读取，进而转发模块124将读取请求发送至内存数据库系统以进行目标数据的查询。

进一步的，本实施例中，备份服务系统12还包括：第二获取模块1210和判断模块1211；当查询模块128查询到目标数据处于黑名单中时，除了第四反馈模块129向客户端做出反馈外，第二获取模块1210还进一步获取目标数据在本次之前被连续查询的查询累计次数，具体地可以通过查询数据更新日志获取，进而判断模块1211根据第二获取模块1210所获取到的目标数据的查询累计次数判断该目标数据的查询是否超过了预设的次数范围，若超过范围，则向用户返回阻止访问的信息，具体地，当某一目标数据的连续查询次数超过预设的次数时，系统会为用户调用服务配置重试等待时间(通常是分钟级别，例如1分钟)，即，该用户需要等待一个重试等待时间后才能继续发送数据读取请求，从而能避免用户短时间内连续发送重试请求而导致系统“雪崩”的问题。

进一步地，备份服务系统12还包括：第三检测模块1212和移除模块1213。

第三检测模块1212用于在第一获取模块121获取到硬盘数据库的数据更新日志后，检测硬盘数据库111是否已将预设的黑名单中所记录的数据写入；具体地，当第一获取模块121获取到硬盘数据库的数据更新日志后，将数据更新日志发送至第三检测模块1212，第三检测模块1212根据数据更新日志所更新的数据内容检测黑名单中所记录的数据是否在硬盘数据库本次的更新范围内，若在，则说明黑名单中的数据已更新至硬盘数据库内，此时，移除模块1213从黑名单中将对应的数据移除，从而使后续的数据读取能够顺利进行。

本公开实施例还提供一种数据管理方法，该方法基于上述实施例所提供数据存储系统实现。如图5所示，该数据管理方法能够实现数据的储存过程，具体地，该方法包括：

步骤S101、硬盘数据库系统接收客户端所发送的数据更新请求。

该数据更新请求中包括：第一更新指令。

步骤S102、硬盘数据库系统根据第一更新指令对硬盘数据库系统进行数据更新。

步骤S103、备份服务系统在硬盘数据库系统完成数据更新后，获取硬盘数据库的数据更新日志。

步骤S104、备份服务系统解析数据更新日志，以筛选出与预定类型数据对应的第二更新指令，

步骤S105、备份服务将第二更新指令发送至所述内存数据库系统。

步骤S106、内存数据库系统根据第二更新指令对内存数据库系统内所述预定类型数据进行更新。

本公开实施例所提供的数据管理方法，基于本公开所提供的数据存储系统实现，对于上述各个步骤的描述，请参见本公开中数据存储系统的对应模块的描述，此处不再赘述。

本公开实施例提供的数据管理方法，在写入请求到达时，仅对硬盘数据库系统进行数据写入，而在硬盘数据库系统完成数据更新后，备份服务系统进一步基于硬盘数据库系统的数据更新日志完成对内存数据库系统的数据更新，从而无需对读写服务进行大量的代码修改即可实现数据的一致性，同时，由于对写入端透明，管理人员通过直接对硬盘数据库内的数据进行管理即可实现对整个数据库系统的数据的管理，从而使管理人员的数据管理工作更便捷。

在一些实施例中，数据管理方法不但包括上述步骤S101～步骤S106的数据存储过程，还包括数据读取过程，如图6所示，图6仅示出了数据读取的步骤，未示出上述实施例所描述的步骤S101～步骤S106的数据存储过程。下面仅对步骤S107～步骤S116进行详细描述，如下：

步骤S107、备份服务系统接收读取请求。

该读取请求中包含有待读取的目标数据。

步骤S108、备份服务系统查询读取请求中所包含的目标数据是否处于预设的黑名单中。

在步骤S108中，当查询出目标数据处于预设的黑名单中时，同时执行步骤S109’和步骤S109”；当查询出目标数据未处于预设的黑名单中时，则执行步骤S109，以将读取请求发送至内存数据库系统，以进行后续读取进程；

步骤S109’、向客户端反馈查询失败信息。

步骤S109”、备份服务系统获取目标数据被连续查询的查询累计次数。

步骤S110”、判断查询累计次数是否超过预设阈值，并当判断出查询累计次数超过预设阈值时，向用户返回阻止访问的信息。

步骤S109、将读取请求发送至所述内存数据库系统。

步骤S110、内存数据库系统接收读取请求，并根据读取请求检测内存数据库系统中是否存储有目标数据。

在步骤S110中，当内存数据库系统检测出内存数据库系统中存储有目标数据时，执行步骤S111’；当内存数据库系统检测出内存数据库系统中未存储有目标数据时，执行步骤S111。

步骤S111’、从内存数据库系统内提取出目标数据，并将目标数据反馈至备份服务系统。

步骤S112’、备份服务系统将目标数据发送至客户端。

步骤S111、内存数据库系统向备份服务系统反馈第一请求失败信息。

步骤S112、备份服务系统将读取请求发送至硬盘数据库系统。

步骤S113、硬盘数据库系统接收读取请求，并根据读取请求检测硬盘数据库系统内是否存储有目标数据。

在步骤S113中，当硬盘数据库系统检测出硬盘数据库系统内存储有目标数据时，执行步骤S114’；当硬盘数据库系统检测出硬盘数据库系统中未存储有目标数据时，执行步骤S114。

步骤S114’、从硬盘数据库系统内提取出目标数据，并将目标数据反馈至备份服务系统。

步骤S115’、备份服务系统将目标数据反馈至备份服务系统。

步骤S116’、备份服务系统将目标数据同步至内存数据库系统。

本公开实施例中，步骤S115’和步骤S116’同步进行。

步骤S114、硬盘数据库系统向备份服务系统反馈第二请求失败信息。

步骤S115、备份服务系统将第二请求失败信息发送至客户端；

步骤S116、备份服务系统将目标数据加入预设的黑名单中。

本公开实施例中，步骤S115和步骤S116同步进行。

基于图6所示实施例的进一步改进，参见图7所示，在一些实施例中，在进行数据存储时，在步骤S103中备份服务系获取硬盘数据库的数据更新日志后，在进行步骤S104解析数据更新日志的同时，还包括以下步骤：

步骤S104’、备份服务系统检测硬盘数据库系统内是否已将预设的黑名单中所记录的数据写入。

步骤S105’、在检测出硬盘数据库已将预设的黑名单中所记录的数据写入后，从预设的黑名单中将对应的数据移除。

本公开中，数据的储存过程和数据的读取过程皆基于本公开所提供的数据存储系统实现，实现两个过程的方法步骤的执行顺序不作限定，且实现两个过程的方法步骤可以相互嵌套，本公开不做具体限定。对于各步骤的具体描述，可参见前述描述数据存储系统中的相应内容，此处不再赘述。

本公开实施例所提供的数据存储系统适用于各种电子设备，尤其适用于车载系统，特别适用于车载系统的高精地图元数据的存储与读取。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (20)

1.一种数据管理方法，基于数据存储系统，所述数据存储系统包括：硬盘数据库系统、备份服务系统以及内存数据库系统；所述数据管理方法包括：

所述硬盘数据库系统接收客户端所发送的数据更新请求，所述数据更新请求包括：第一更新指令；并根据所述第一更新指令对所述硬盘数据库系统进行数据更新；

所述备份服务系统在所述硬盘数据库系统完成数据更新后，获取所述硬盘数据库系统的数据更新日志；并解析所述数据更新日志，以筛选出与预定类型数据对应的第二更新指令，且将所述第二更新指令发送至所述内存数据库系统；

所述内存数据库系统根据所述第二更新指令对所述内存数据库系统内所述预定类型数据进行更新。

2.根据权利要求1所述的方法，其中，所述数据管理方法还包括：

所述备份服务系统接收读取请求，所述读取请求中包含有待读取的目标数据；并将所述读取请求发送至所述内存数据库系统；

所述内存数据库系统接收所述读取请求，并根据所述读取请求检测所述内存数据库系统中是否存储有所述目标数据；

当所述内存数据库系统检测出所述内存数据库系统中存储有所述目标数据时，从所述内存数据库系统内提取出所述目标数据，并将所述目标数据反馈至所述备份服务系统；当所述内存数据库系统检测出所述内存数据库系统中未存储有所述目标数据时，向所述备份服务系统反馈第一请求失败信息。

3.根据权利要求2所述的方法，其中，在所述内存数据库系统将所述目标数据反馈至所述备份服务系统之后，还包括：

所述备份服务系统将所述目标数据发送至客户端。

4.根据权利要求3所述的方法，其中，在所述备份服务系统接收到所述内存数据库系统反馈的所述第一请求失败信息后，还包括：

所述备份服务系统将所述读取请求发送至所述硬盘数据库系统；

所述硬盘数据库系统接收所述读取请求，并根据所述读取请求检测所述硬盘数据库系统内是否存储有所述目标数据；

当所述硬盘数据库系统检测出所述硬盘数据库系统内存储有所述目标数据时，从所述硬盘数据库系统内提取出所述目标数据，并将所述目标数据反馈至所述备份服务系统；当所述硬盘数据库系统检测出所述硬盘数据库系统中未存储有所述目标数据时，向所述备份服务系统反馈第二请求失败信息。

5.根据权利要求4所述的方法，其中，在所述硬盘数据库系统将所述目标数据或所述第二请求失败信息发送至所述备份服务系统后，还包括：

所述备份服务系统将所述目标数据或所述第二请求失败信息发送至客户端。

6.根据权利要求4所述的方法，其中，在所述硬盘数据库系统将所述目标数据发送至所述备份服务系统后，还包括：

所述备份服务系统将所述目标数据同步至所述内存数据库系统中。

7.根据权利要求4所述的方法，其中，所述备份服务系统在接收到所述第二请求失败信息后，还包括：

所述备份服务系统将所述目标数据加入预设的黑名单中。

8.根据权利要求7所述的方法，其中，在所述备份服务系统接收读取请求之后，且在所述备份服务系统将所述读取请求发送至所述内存数据库系统之前，还包括：

所述备份服务系统查询所述读取请求中所包含的目标数据是否处于预设的黑名单中；

当查询出所述目标数据处于预设的黑名单中时，所述备份服务系统向客户端反馈查询失败信息；当查询出所述目标数据未处于预设的黑名单中时，所述备份服务系统将所述读取请求发送至所述内存数据库系统。

9.根据权利要求8所述的方法，其中，在所述备份服务系统向客户端反馈查询失败信息的同时，还包括：

所述备份服务系统获取所述目标数据被连续查询的查询累计次数，并判断所述查询累计次数是否超过预设阈值；当判断出所述查询累计次数超过预设阈值时，向用户返回阻止访问的信息。

10.根据权利要求7所述的方法，其中，在所述备份服务系统解析所述数据更新日志的同时，还包括：

所述备份服务系统检测所述硬盘数据库系统内是否已将所述预设的黑名单中所记录的数据写入；并且，当所述备份服务系统检测出所述硬盘数据库系统已将所述预设的黑名单中所记录的数据写入后，从所述预设的黑名单中将对应的数据移除。

11.一种数据存储系统，包括：硬盘数据库系统、备份服务系统以及内存数据库系统；

所述硬盘数据库系统包括：硬盘数据库、第一接收模块和第一更新模块，所述备份服务系统包括：第一获取模块和解析筛选模块，所述内存数据库系统包括：内存数据库和第二更新模块；

其中，所述第一接收模块，用于接收客户端所发送的数据更新请求，所述数据更新请求包括：第一更新指令；

所述第一更新模块，用于根据所述第一更新指令对所述硬盘数据库进行数据更新；

所述第一获取模块，用于在所述硬盘数据库完成数据更新后，获取所述硬盘数据库的数据更新日志；

所述解析筛选模块，用于解析所述数据更新日志，并筛选出与预定类型数据对应的第二更新指令，并将所述第二更新指令发送至所述内存数据库系统；

所述第二更新模块，用于根据所述第二更新指令对所述内存数据库内所述预定类型数据进行更新。

12.根据权利要求11所述的系统，其中，所述备份服务系统还包括：第二接收模块和转发模块；

所述第二接收模块，用于接收读取请求，所述读取请求中包含有待读取的目标数据；

所述转发模块，用于将所述读取请求发送至所述内存数据库系统；

所述内存数据库系统还包括：第一检测模块和第一反馈模块；

所述第一检测模块，用于接收所述转发模块所发送的读取请求，并根据所述读取请求检测所述内存数据库中是否存储有所述目标数据；

所述第一反馈模块，用于当所述第一检测模块检测出所述内存数据库中存储有所述目标数据时，从所述内存数据库内提取出所述目标数据，并将所述目标数据反馈至所述备份服务系统；以及，还用于当所述第一检测模块检测出所述内存数据库中未存储有所述目标数据时，向所述备份服务系统反馈第一请求失败信息。

13.根据权利要求12所述的系统，其中，所述备份服务系统还包括：第二反馈模块；

所述第二反馈模块用于将所述第一反馈模块发送的目标数据发送至客户端。

14.根据权利要求13所述的系统，其中，所述转发模块还用于当所述备份服务系统接收到所述第一请求失败信息时，将所述读取请求发送至所述硬盘数据库系统；

所述硬盘数据库系统还包括：第二检测模块和第三反馈模块；

所述第二检测模块，用于接收所述转发模块所发送的读取请求，并根据所述读取请求检测所述硬盘数据库内是否存储有所述目标数据；

所述第三反馈模块，用于当所述第二检测模块检测出所述硬盘数据库内存储有所述目标数据时，从所述硬盘数据库内提取出所述目标数据，并将所述目标数据反馈至所述备份服务系统；以及，还用于当所述第二检测模块检测出所述硬盘数据库中未存储有所述目标数据时，向所述备份服务系统反馈第二请求失败信息。

15.根据权利要求14所述的系统，其中，所述第二反馈模块还用于将所述第三反馈模块发送的目标数据或第二请求失败信息发送至客户端。

16.根据权利要求14所述的系统，其中，所述备份服务系统还包括：同步模块；

所述同步模块，用于在接收到所述第三反馈模块所反馈的所述目标数据时，将所述目标数据同步至所述内存数据库中。

17.根据权利要求14所述的系统，其中，所述备份服务系统还包括：设置模块；

所述设置模块用于在接收到所述第二请求失败信息时，将所述目标数据加入至预设的黑名单中。

18.根据权利要求17所述的系统，其中，所述备份服务系统还包括：查询模块和第四反馈模块；

所述查询模块，用于在所述第二接收模块接收到读取请求时，查询所述读取请求中所包含的目标数据是否处于预设的黑名单中；

所述第四反馈模块，用于在所述查询模块查询出目标数据处于黑名单中时，向客户端反馈查询失败信息；

所述转发模块具体用于当所述查询模块查询出所述目标数据不处于所述黑名单中时，将所述读取请求发送至所述内存数据库系统。

19.根据权利要求18所述的系统，其中，所述备份服务系统还包括：第二获取模块和判断模块；

所述第二获取模块用于在所述查询模块查询出所述目标数据处于所述黑名单中时，获取所述目标数据被连续查询的查询累计次数；

所述判断模块用于判断所述查询累计次数是否超过预设阈值，并在判断出所述查询累计次数超过预设阈值时，向用户返回阻止访问的信息。

20.根据权利要求17所述的系统，所述备份服务系统还包括：第三检测模块和移除模块；

所述第三检测模块用于在所述第一获取模块获取到所述硬盘数据库的数据更新日志后，检测所述硬盘数据库是否已将所述预设的黑名单中所记录的数据写入；

所述移除模块用于在所述第三检测模块检测出所述硬盘数据库已将所述预设的黑名单中所记录的数据写入后，从所述预设的黑名单中将对应的数据移除。