CN117289868A - 冷数据的迁移方法、获取方法、装置、介质及电子设备 - Google Patents

Abstract

本公开是关于一种冷数据的迁移方法、获取方法、装置、介质及电子设备，涉及大数据处理技术领域，该方法包括：获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；根据所述数据生成时间确定所述消息数据是否属于冷数据；在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。本公开降低了本地磁盘的存储负担。

Description

冷数据的迁移方法、获取方法、装置、介质及电子设备

技术领域

本公开实施例涉及大数据处理技术领域，具体而言，涉及一种冷数据的迁移方法、冷数据的迁移装置、冷数据的获取方法、冷数据的获取装置、计算机可读存储介质以及电子设备。

背景技术

现有的方案中，消息数据是保存在消息队列中的，而与消息数据对应的数据文件，均保存在本地磁盘中。但是，碍于本地磁盘的存储空间的限制，需要对存储空间中的冷数据文件进行删除，进而破坏了数据文件的完整性。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种冷数据的迁移方法、冷数据的迁移装置、冷数据的获取方法、冷数据的获取装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据文件不完整的问题。

根据本公开的一个方面，提供一种冷数据的迁移方法，包括：

获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；

根据所述数据生成时间确定所述消息数据是否属于冷数据；

在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；

将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。

在本公开的一种示例性实施例中，根据所述数据生成时间确定所述消息数据是否属于冷数据，包括：

获取所述消息队列中的当前时间节点，并计算所述当前时间节点与所述数据生成时间之间的时间差值；

判断所述时间差值是否大于预设时间阈值，并在确定所述时间差值大于等于预设时间阈值时，确定所述消息数据属于冷数据。

在本公开的一种示例性实施例中，所述消息偏移量包括起始消息偏移量以及结束消息偏移量；

其中，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件，包括：

基于所述起始消息偏移量以及结束消息偏移量确定与所述消息数据关联的数据文件的文件名称；

基于所述文件名称从所述消息队列中的消息数据所在的本地磁盘中获取与所述消息数据对应的数据文件。

在本公开的一种示例性实施例中，将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，包括：

为所述对象存储服务配置接口地址以及访问密钥，并根据所述访问密钥以及与所述消息数据对应的数据文件生成待迁移数据包；

将所述待迁移数据包发送至对象存储服务，所述对象存储服务根据所述待迁移数据包中的访问密钥对待迁移数据包的合法性进行验证；

所述对象存储服务在确定所述待迁移数据包的合法性验证通过时，将所述待迁移数据包中与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在所述对象存储服务中的数据存储桶中。

在本公开的一种示例性实施例中，所述冷数据的迁移方法还包括：

所述对象存储服务在检测到与所述消息数据对应的数据文件迁移完成时，根据所述存储桶名称以及消息数据所属的消息主题生成与所述消息数据对应的对象唯一标识符；

建立所述对象唯一标识符以及消息数据的数据目录之间的映射关系，并基于所述映射关系将所述对象唯一标识符存储至预设的元数据库中。

在本公开的一种示例性实施例中，所述数据目录是通过如下方式生成的：

检测所述消息队列中是否存在新增消息数据，并在检测到所述消息队列中存在新增消息数据时，获取所述新增消息数据的数据生成时间以及所述新增消息数据所属的消息主题；

根据所述新增消息数据的数据量确定所述新增消息数据在所述消息主题下所具有的数据文件个数，并根据所述数据文件个数确定所述新增消息数据的起始消息偏移量以及结束消息偏移量；

根据所述数据生成时间、起始消息偏移量以及结束消息偏移量生成所述新增数据消息的数据目录，并将所述数据目录写入预设的元数据库中。

在本公开的一种示例性实施例中，获取消息队列中的消息数据的数据目录，包括：

为所述预设的元数据库配置数据库地址，并基于所述数据库地址建立与所述预设的元数据库之间的通信链路；

基于所述通信链路从所述预设的元数据库中获取所述消息队列中的消息数据的数据目录。

根据本公开的一个方面，提供一种冷数据的获取方法，包括：

响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；

在所述预设的元数据库中提取包括数据生成时间的数据目录，并根据所述数据目录构建待查询数据的数据集合，基于所述数据目录确定所述待查询数据的起始消息偏移量以及结束消息偏移量；

基于所述数据生成时间、起始消息偏移量以及结束消息偏移量对所述数据集合中的待查询数据进行排序，以确定待查询数据的起始消费位置；

基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，并将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费；其中，所述数据文件是通过上述任意一项所述的冷数据的迁移方法存储至所述数据存储桶中的。

在本公开的一种示例性实施例中，基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，包括：

基于所述起始消费位置，依次遍历预设的元数据库，基于所述待查询数据的数据目录，确定待查询数据在设置于对象存储服务中的数据存储桶中的对象唯一标识符；

基于对象存储服务的接口地址以及访问密钥，从与所述对象唯一标识符对应的数据存储桶中获取所述待查询数据的数据文件。

在本公开的一种示例性实施例中，将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费，包括：

将所述待查询数据的数据文件复制到消息队列所在的本地磁盘，并将待查询数据加载到消息队列中，以使得所述业务获取方从所述消息队列中读取待查询数据的数据文件。

根据本公开的一个方面，提供一种冷数据的迁移装置，包括：

消息偏移量确定模块，用于获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；

冷数据确定模块，用于根据所述数据生成时间确定所述消息数据是否属于冷数据；

数据文件获取模块，用于在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；

数据文件迁移模块，用于将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。

根据本公开的一个方面，提供一种冷数据的获取装置，包括：

数据生成时间匹配模块，用于响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；

数据集合构建模块，用于在所述预设的元数据库中提取包括数据生成时间的数据目录，并根据所述数据目录构建待查询数据的数据集合，基于所述数据目录确定所述待查询数据的起始消息偏移量以及结束消息偏移量；

起始消费位置确定模块，用于基于所述数据生成时间、起始消息偏移量以及结束消息偏移量对所述数据集合中的待查询数据进行排序，以确定待查询数据的起始消费位置；

数据文件加载模块，用于基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，并将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费；其中，所述数据文件是通过上述任意一项所述的冷数据的迁移方法存储至所述数据存储桶中的。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一示例实施例所述的冷数据的迁移方法，以及上述任意一示例实施例所述的冷数据的获取方法。

根据本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一示例实施例所述的冷数据的迁移方法，以及上述任意一示例实施例所述的冷数据的获取方法。

本公开实施例提供的一种冷数据的迁移方法，一方面，通过获取消息队列中的消息数据的数据目录，并根据数据目录确定消息数据的数据生成时间以及消息数据的消息偏移量；进而根据数据生成时间确定消息数据是否属于冷数据；并在确定消息数据属于冷数据时，基于消息偏移量从消息队列所在的本地磁盘中获取与消息数据对应的数据文件；最后将与消息数据对应的数据文件从本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，由于可以将冷数据迁移至数据存储桶中，使得本地磁盘中所存储的数据均为热数据，进而解决了现有技术中需要对存储空间中的冷数据文件进行删除，破坏了数据文件的完整性的问题；另一方面，由于可以将冷数据迁移至数据存储桶中，进而可以确保本地磁盘中所存储的数据均为热数据，从而极大的降低了本地磁盘的存储负担，解决了现有技术中由于消息数据本身均保存在本地磁盘中，进而使得本地磁盘的负担较重的问题；另一方面，由于基于消息偏移量从消息队列所在的本地磁盘中获取与消息数据对应的数据文件，并将与消息数据对应的数据文件从本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，从而实现了对相同消息主题下的数据文件进行合并存储，进而使得在数据查询的过程中可以从同一数据存储桶中获取该消息主题下的所有数据文件，进而提高了数据查询效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出根据本公开示例实施例的一种冷数据的迁移方法的流程图。

图2示意性示出根据本公开示例实施例的一种冷数据的迁移系统的结构示例图。

图3示意性示出根据本公开示例实施例的一种Broker服务器的结构示例图。

图4示意性示出根据本公开示例实施例的一种消息偏移量的场景图。

图5示意性示出根据本公开示例实施例的一种消息数据的数据目录的生成过程的流程图。

图6示意性示出根据本公开示例实施例的一种冷数据的获取方法的流程图。

图7示意性示出根据本公开示例实施例的一种消息数据的存储或者获取的场景示例图。

图8示意性示出根据本公开示例实施例的一种冷数据的迁移装置的框图。

图9示意性示出根据本公开示例实施例的一种冷数据的获取装置的框图。

图10示意性示出根据本公开示例实施例的一种冷数据的迁移方法以及冷数据的获取方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在现有的消息数据的存储实现方案中，由于本地硬盘具有较高的性能和较低的延迟性，因此消息队列软件的消息数据本身均保存在Broker服务器的本地硬盘上；同时，部分公有云厂商也提供了远程云硬盘服务，即将其它服务器上的硬盘通过网络方式映射到当前服务器，从当前服务器视角来看，这些云硬盘看上去就像是本地硬盘一样。

但是，无论是本地硬盘还是远程云硬盘都具有较高的成本和较为有限的存储容量，因此当前市面上流行的消息队列软件都有一个消息保存时间(或保存容量)的限制；以Kafka软件为例，其可以支持对每个主题设置独立的保存时间，超过该时间的消息会被系统自动删除；在此前提下，如果业务需要在消息队列保存较长时间的数据以便能够随时消费较长时间以前保存的数据，则需要增加Broker服务器上的硬盘容量或数量；但是,在很多情况下这一点是难以实现的(也即无法无限制的在服务器上增加硬盘容量或数量)，因为企业机房环境中可能没有所需要的硬盘配件，或服务器本身的硬盘插槽已经插满；如果要完全满足业务的需求，则需要在一开始投入很高成本构建出大规模集群，该方式会极大的增加集群的构建成本；因此，需要提供一种无需在服务器上增加硬盘容量或数量，也无需在构建大规模集群的前提下，实现消息数据的长时间存储。

此外，消息队列的特殊性在于消息数据一旦生成就可以认为该消息数据是不可变的只读数据；并且，新产生的消息数据只会追加在队列尾部，并不会扰乱历史消息数据的顺序；同时，在实际应用的过程中，消息接收者通常是从消息队列的某个位置开始往队尾方向顺序接收，这种访问模式具有很高的可预测性：即在一段时间内只需要读取一小段连续数据，一般不存在随机任意位置的访问。基于此，本公开示例实施例首先提供了一种冷数据的迁移方法，该冷数据的迁移方法提供了一种低成本的消息队列数据存储机制，它可以基于公有云对象存储服务实现，可对用户提供近乎无限的存储容量。

在一种示例实施例中，该冷数据的迁移方法可以运行于服务器、服务器集群或云服务器等；当然，本领域技术人员也可以根据需求在其他平台运行本公开的方法，本示例性实施例中对此不做特殊限定。具体的，参考图1所示，该冷数据的迁移方法可以包括以下步骤：

步骤S110.获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；

步骤S120.根据所述数据生成时间确定所述消息数据是否属于冷数据；

步骤S130.在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；

步骤S140.将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。

上述冷数据的迁移方法中，一方面，通过获取消息队列中的消息数据的数据目录，并根据数据目录确定消息数据的数据生成时间以及消息数据的消息偏移量；进而根据数据生成时间确定消息数据是否属于冷数据；并在确定消息数据属于冷数据时，基于消息偏移量从消息队列所在的本地磁盘中获取与消息数据对应的数据文件；最后将与消息数据对应的数据文件从本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，由于可以将冷数据迁移至数据存储桶中，使得本地磁盘中所存储的数据均为热数据，进而解决了现有技术中需要对存储空间中的冷数据文件进行删除，破坏了数据文件的完整性的问题；另一方面，由于可以将冷数据迁移至数据存储桶中，进而可以确保本地磁盘中所存储的数据均为热数据，从而极大的降低了本地磁盘的存储负担，解决了现有技术中由于消息数据本身均保存在本地磁盘中，进而使得本地磁盘的负担较重的问题；另一方面，由于基于消息偏移量从消息队列所在的本地磁盘中获取与消息数据对应的数据文件，并将与消息数据对应的数据文件从本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，从而实现了对相同消息主题下的数据文件进行合并存储，进而使得在数据查询的过程中可以从同一数据存储桶中获取该消息主题下的所有数据文件，进而提高了数据查询效率。

以下，将结合附图对本公开示例实施例中所记载的冷数据的迁移方法进行详细的解释以及说明。

首先，对本公开示例实施例所涉及到的名词进行解释以及说明。

对象存储：对象存储其实可以包括两个部分，对象以及对象存储；其中，对象可以被理解为是非结构化格式的数据文件；对象存储可以被理解成是一种对非结构化格式的数据文件进行数据存储以及数据管理的技术。具体的，在实际应用的过程中，为了实现相应的业务，需要创建和分析大量非结构化格式的数据文件，该非结构化格式的数据文件例如可以包括照片、视频、电子邮件、网页、传感器数据和音频文件等等；在此场景下，为了可以对非结构化格式的数据文件进行存储以及管理，需要基于对象存储的方式来实现；同时，在对象存储的场景下，可以将数据文件存储至云对象存储系统中，进而通过云对象存储系统将这些数据文件分布在多个物理设备上。

在一种示例实施例中，为了可以将数据文件存储至云对象存储系统中，需要引入与数据文件对应的元数据的概念，元数据对于对象存储技术的实现至关重要；也即，元数据是对象存储技术实现的前提；在实际应用的过程中，使用对象存储可以将数据文件保存在单个存储桶中，而不是将数据文件作为文件夹内的文件保存；并且，对象存储还可以整合构成数据文件的数据片段、将所有用户创建的元数据添加到该数据文件，并附加自定义标识符；而为了实现该对象的存储，可以创建一个称为存储桶的平面结构来实现对象存储，而不是采用分层存储的方式或分级存储的方式来实现；并且，还可以根据存储桶的功能和特征来检索和分析该存储桶中的任何文件类型的任何数据文件。

在一种示例实施例中，对象存储为大量的数据文件提供了一种架构，每条数据文件都可以被存储为一个对象，并且与该元数据对应的对象还提供了一个唯一标识符以便于访问，因此该架构消除了传统存储的扩展限制，这也是为什么对象存储是云存储的原因。并且，由于对象存储可以在多台设备上通过跨系统和/或跨数据中心和/或跨数据区域的方式来实现，因此对象存储可以在提供更高的数据持久性、弹性以及可用性的基础上，实现近乎无限的规模的扩充。进一步的，对象存储还具有成本低廉的优势，尤其是各厂商均推出了分级对象存储，每个级别的成本和访问延迟有较大差别，例如，“归档型”存储，其成本一般为常规对象存储的1/3，而延迟则是分钟级。

消息队列：消息队列(Message Queue，MQ)是一种不同进程间的通信方式或同一进程的不同线程间的通信方式；在实际应用中，将消息发送到消息队列的角色称为消息发送者(或者也可以被称为消息生产者)；反之，从消息队列中获取消息的角色称为消息接收者(或者也可以被称为消息消费者)。进一步的，消息队列本身是通过异步的方式实现的，它允许消息接收者在消息发送很长时间后再取回消息，这和大多数通信协议是不同的；例如，因特网最常用的HTTP(Hypertext Transfer Protocol超文本传输协议)是同步的，因为客户端在发出请求后必须等待服务器回应；然而，由于很多情况下需要异步的通信协议；例如，一个进程通知另一个进程发生了一个事件，但不需要等待回应；但是，基于消息队列的异步特点，其也存在如下缺点：接收者必须轮询消息队列，才能收到最近的消息；并且，消息队列除了可以当不同线程或进程间的缓冲外，更可以透过消息队列当前消息数量来侦测接收线程或进程性能是否有问题。

在一种示例实施例中，具有消息队列的软件通常以集群的方式运行，目前最常见的具有消息队列的软件可以包括Kafka集群中的MQ以及Rabbit集群中的MQ等，其都是开放式源代码模式，任何人都可以免费使用、修改和再分发；同时，集群中的每台服务器可以称为Broker，其可以负责接收消息发送者发来的消息，并将消息发送者发来的消息存储在自己的硬盘中；随后根据消息接收者的指令将这些消息投递给接收者；进一步的，每个集群均可以支持多种消息主题(称为Topic)，每个消息能且只能属于其中的某一个主题。

其次，对本公开示例实施例所涉及到的冷数据的迁移系统进行解释以及说明。具体的，本公开示例实施例所涉及到的冷数据的迁移系统，可以包括消息数据的生产方210、Broker服务器220、元数据库230以及对象存储服务240。其中，Broker服务器通过有线网络或者无线网络的方式与消息数据的生产方、元数据库以及对象存储服务通信连接；在实际应用的过程中，消息数据的生产方用于生产消息数据，Broker服务器用于实现本公开示例实施例所记载的冷数据的迁移方法，当然也可以实现本公开示例实施例所记载的冷数据的获取方法；元数据库用于存储消息数据的数据目录，对象存储服务器用于对冷数据进行存储。

在一种示例实施例中，参考图3所示，上述所记载的Broker服务器中设置有消息队列301以及消息数据迁移组件302；其中，消息队列用于接收消息数据的生产方所发送的消息数据，并生成与该消息数据对应的数据目录，再将该数据目录存储至元数据库中；消息数据迁移组件用户将消息队列中的冷数据迁移至对象存储服务中的数据存储桶中。进一步的，继续参考图3所示，上述所记载的对象存储服务中设置有多个数据存储桶303，该数据存储桶用于对冷数据进行存储。

此处需要补充说明的是，当消息队列接收到消息数据的生产方发送的消息数据时，会自动的将消息数据的数据文件保存至本地磁盘中。具体的，以Kafka软件为例，默认情况下它以1GB大小为单位；例如，在每个消息主题下，每生成1GB大小的消息数据就写入到一个新的独立文件(数据文件)中；同时，该数据文件的文件名则由起始消息偏移量和结束消息偏移量组成；其中，此处所记载的起始消息偏移量以及结束消息偏移量中的偏移量的定义如下：该消息主题下的第一条数据文件的偏移量为0，第二条数据文件的偏移量为1，以此类推；也就是说，假设消息主题T下面包括5个数据文件，那么第一个数据文件(文件1)的名称为：主题T+0_A；第二个数据文件(文件2)的名称为：主题T+A_B；第三个数据文件(文件3)的名称为：主题T+B_C；第四个数据文件(文件4)的名称为：主题T+C_D；第五个数据文件(文件5)的名称为：主题T+D_E；其中，名称中的A、B、C、D、E均为消息偏移量，偏移量A-偏移量B为文件1中所包括的消息条数，也就是说，则同一个数据文件中的消息条数；基于此，可以推断出该消息数据的起始消息偏移量为0，结束消息偏移量为E；其中，具体的场景示例图可以参考图4所示；由此可以得知，偏移量是一个单调递增的数字。

但是，由于每条消息数据的长度不同，因此每个数据文件中的消息数量也必然不同(但每个数据文件总大小基本相同)；进一步的，对于创建时间(也可以被理解为数据生成时间)大于等于消息队列软件最大消息保存时间的文件，定义为冷数据；而小于最大消息保存时间的文件则定义为热数据；例如在Kafka软件中，最大消息保存时间默认是7天；由此可以得知，在默认配置下，超过7天的消息数据可以被认为是冷数据，不超过7天的消息数据可以被认为是热数据；当时，此处所涉及到的最大消息保存时间可以根据实际需要自行确定，本示例对此不做特殊限制。

以下，将结合图5对本公开示例实施例所涉及到的数据目录的具体生成过程进行解释以及说明。具体的，参考图5所示，该数据目录的生成过程可以包括以下步骤：

步骤S510，检测所述消息队列中是否存在新增消息数据，并在检测到所述消息队列中存在新增消息数据时，获取所述新增消息数据的数据生成时间以及所述新增消息数据所属的消息主题；

步骤S520，根据所述新增消息数据的数据量确定所述新增消息数据在所述消息主题下所具有的数据文件个数，并根据所述数据文件个数确定所述新增消息数据的起始消息偏移量以及结束消息偏移量；

步骤S530，根据所述数据生成时间、起始消息偏移量以及结束消息偏移量生成所述新增数据消息的数据目录，并将所述数据目录写入预设的元数据库中。

以下，将对步骤S510-步骤S530进行解释以及说明。具体的，在实际应用的过程中，可以不间断的探测消息队列中是否有新增消息数据；并在探测到消息队列中存在新增消息数据时，即可从该新增消息数据的数据属性中获取该新增消息数据的数据生成时间以及该新增消息数据的数据量，进而基于数据量确定相应的数据文件个数(例如可以以1G为单位进行划分，包括多少个GB则存在多少个数据文件)，当然也可以直接从本地磁盘中获取具体的数据文件个数，本示例对此不做特殊限制；在得到数据文件个数以后，即可确定起始消息偏移量以及结束消息偏移量；最后再基于数据生成时间、起始消息偏移量以及结束消息偏移量即可得到相应的数据目录；其中，所生成的数据目录例如可以是：消息主题(Topic)+数据生成时间+起始消息偏移量+结束消息偏移量；当然也可以是其他形式的数据目录，本示例对此不做特殊限制；进一步的，在得到数据目录以后，即可将该数据目录存储至元数据库中，以便于进行数据迁移。

以下，将结合图2-图5对图1所示出的冷数据的迁移方法进行进一步的解释以及说明。具体的：

在步骤S110中，获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量。

在本示例实施例中，首先，获取消息队列中的消息数据的数据目录，具体的，数据目录的获取过程可以通过如下方式实现：为所述预设的元数据库配置数据库地址，并基于所述数据库地址建立与所述预设的元数据库之间的通信链路；基于所述通信链路从所述预设的元数据库中获取所述消息队列中的消息数据的数据目录。也就是说，为了可以从元数据库中获取到消息数据的数据目录，首先需要确保该元数据库可以正常通信；在此前提下，在Broker服务器启动之前，首先需要为元数据库配置数据库地址，并在Broker服务器启动之后，需要判断该数据库地址是否可以正常连接；若出现错误则需要重新为元数据库配置数据库地址，以确保可以基于数据库地址建立数据迁移组件与元数据库之间的通信链路，进而基于该通信链路获取数据目录。此处需要补充说明的是，由于消息队列中的消息数据一旦生成就可以认为该消息数据是不可变的只读数据；并且，新产生的消息数据只会追加在队列尾部，并不会扰乱历史消息数据的顺序；由此可以推断出，元数据库中的数据目录也是根据消息数据的发送时间来依次排列的；在此前提下，消息数据迁移组件可以基于上一次迁移的最终时间节点来确定此次数据迁移的开始节点，进而基于该开始节点从元数据库中提取相应的数据目录；也就是说，此处的消息数据迁移组件，可以被理解为一个特殊的消息消费者，其可以从消息队列中消费消息数据，进而对数据文件进行迁移存储。

进一步的，在得到数据目录之后，即可根据数据目录确定消息数据的数据生成时间以及消息数据的消息偏移量；其中，基于前述记载的内容可以得知，数据目录是根据数据生成时间以及消息偏移量生成的，因此，此处可以直接从数据目录中提取相应的数据生成时间、起始消息偏移量以及结束消息偏移量。

在步骤S120中，根据所述数据生成时间确定所述消息数据是否属于冷数据。

具体的，在实际应用的过程中，根据所述数据生成时间确定所述消息数据是否属于冷数据，可以通过如下方式实现：首先，获取所述消息队列中的当前时间节点，并计算所述当前时间节点与所述数据生成时间之间的时间差值；其次，判断所述时间差值是否大于预设时间阈值，并在确定所述时间差值大于等于预设时间阈值时，确定所述消息数据属于冷数据。也就是说，可以根据消息数据的数据文件在本地磁盘中的存储时间(时间差值)来确定该消息数据是否属于冷数据；如果存储时间超过了最大消息保存时间(也即预设时间阈值，例如取值可以是7天)，则可以确定该消息数据为冷数据；若未超过最大消息保存时间，则可以确定该消息数据为热数据；若消息数据为热数据，则可以直接将与该热数据对应的数据文件保存在本地磁盘，并不需要进行迁移。

在步骤S130中，在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件。

具体的，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件，可以通过如下方式实现：基于所述起始消息偏移量以及结束消息偏移量确定与所述消息数据关联的数据文件的文件名称；基于所述文件名称从所述消息队列中的消息数据所在的本地磁盘中获取与所述消息数据对应的数据文件。也就是说，在将待迁移的消息数据迁移至数据存储桶中之前，需要先确定需要迁移的数据文件；同时，在确定需要迁移的数据文件的过程中，可以基于消息偏移量来确定。

在步骤S140中，将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。

具体的，将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，可以通过如下方式实现：首先，为所述对象存储服务配置接口地址以及访问密钥，并根据所述访问密钥以及与所述消息数据对应的数据文件生成待迁移数据包；其次，将所述待迁移数据包发送至对象存储服务，所述对象存储服务根据所述待迁移数据包中的访问密钥对待迁移数据包的合法性进行验证；然后，所述对象存储服务在确定所述待迁移数据包的合法性验证通过时，将所述待迁移数据包中与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在所述对象存储服务中的数据存储桶中。也就是说，在实际应用的过程中，再将待迁移的消息数据的数据文件迁移至对象存储服务之前，首先要为对象存储服务配置相应的接口地址、访问密钥，并为数据存储桶配置存储桶名称；然后，当Broker服务器启动时，需要先对接口地址是否可以正常连接进行检查，并基于存储桶名称确定数据存储桶是否确实存在，还需要确定访问密钥的准确性，在确定接口地址可以正常连接、数据存储桶确实存在且访问密钥准确时，才能正确的将数据文件迁移至数据存储桶中。同时，此处之所以需要设置访问密钥，是为了提高对象存储服务中所存储的数据文件的安全性，避免在数据读写过程中，被未经授权的用户访问到进而导致的数据泄露的问题。

在一种示例实施例中，在将数据文件迁移至数据存储桶中以后，该冷数据的迁移方法还包括：所述对象存储服务在检测到与所述消息数据对应的数据文件迁移完成时，根据所述存储桶名称以及消息数据所属的消息主题生成与所述消息数据对应的对象唯一标识符；建立所述对象唯一标识符以及消息数据的数据目录之间的映射关系，并基于所述映射关系将所述对象唯一标识符存储至预设的元数据库中。也就是说，当数据文件迁移成功以后，对象存储服务还需要给Broker服务器反馈一个对象唯一标识符，以便于后续进行数据查询；其中，在对象唯一标识符生成的过程中，可以基于消息主题、存储桶名称以及消息偏移量等信息生成对象唯一标识；同时，当Broker服务器收到该对象唯一标识以后，即可将该对象唯一标识与数据目录关联存储至元数据库中；进一步的，当Broker服务器收到该对象唯一标识以后，还需要将本地磁盘中的相应的数据文件删除掉，进而确保本地磁盘中所存储的数据文件均为热数据，从而达到降低本地磁盘的存储负担的目的。

本公开示例实施例还提供了一种冷数据的获取方法，该冷数据的获取方法可以运行于服务器、服务器集群或云服务器等；当然，本领域技术人员也可以根据需求在其他平台运行本公开的方法，本示例性实施例中对此不做特殊限定。具体的，参考图6所示，该冷数据的获取方法可以包括以下步骤：

步骤S610，响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；

步骤S620，在所述预设的元数据库中提取包括数据生成时间的数据目录，并根据所述数据目录构建待查询数据的数据集合，基于所述数据目录确定所述待查询数据的起始消息偏移量以及结束消息偏移量；

步骤S630，基于所述数据生成时间、起始消息偏移量以及结束消息偏移量对所述数据集合中的待查询数据进行排序，以确定待查询数据的起始消费位置；

步骤S640，基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，并将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费；其中，所述数据文件是通过上述任意一项所述的冷数据的迁移方法存储至所述数据存储桶中的。

在一种示例实施例中，基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，可以通过如下方式实现：基于所述起始消费位置，依次遍历预设的元数据库，基于所述待查询数据的数据目录，确定待查询数据在设置于对象存储服务中的数据存储桶中的对象唯一标识符；基于对象存储服务的接口地址以及访问密钥，从与所述对象唯一标识符对应的数据存储桶中获取所述待查询数据的数据文件。

在一种示例实施例中，将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费，可以通过如下方式实现：将所述待查询数据的数据文件复制到消息队列所在的本地磁盘，并将待查询数据加载到消息队列中，以使得所述业务获取方从所述消息队列中读取待查询数据的数据文件。

以下，将对步骤S610-步骤S640进行解释以及说明。具体的，在实际应用的过程中，当业务获取方需要获取冷数据时，首先传入一个包括目标日期(例如“60天以前”)的冷数据获取请求；当Broker服务器接收到该冷数据获取请求后，即可基于该目标日期以及当前时间节点确定起始查询时间，进而基于起始查询时间在元数据库中检索出数据创建时间最接近(也即可以超前一定的时间也可以延后一定的时间，在实际应用的过程中可以根据实际需要自行选取，本示例对此不做特殊限制)该日期的所有记录的数据集合并以起始偏移量为维度正序排序；此时，数据集合中的记录里起始消息偏移量最小值就是业务消息接收者的消费起始位置；然后根据这条记录对应的对象唯一标识符，从对象存储服务中的数据存储桶中获取该数据文件并复制到本地磁盘；此时，业务消息接收者开始正常运行；进一步的，在业务获取方消费数据文件的过程中，Broker服务器可以自动检测业务消息接收者当前接收偏移量情况，当其接近当前文件的结束消息偏移量；则获取集合中下一条记录的对象唯一标识符，并同样获取该文件并复制到本地；以此类推，直到所有的冷数据均消费完成。

至此，本公开示例实施例所记载的冷数据的迁移方法以及冷数据的获取方法已经全部实现。以下，将结合图7对本公开示例实施例的数据迁移以及数据获取的具体实现过程进行进一步的解释以及说明。具体的，参考图7所示，在实际应用的过程中，首先，配置对象存储服务的接口地址、存储桶名称、访问密钥、元数据库地址等，消息数据迁移和恢复装置启动时会先检查对象存储服务的接口地址和元数据库地址是否可以正常连接，检查存储桶是否存在，最后检查访问密钥是否正确；若出现任何错误则退出运行；其次，不断探测消息队列数据目录中的文件，一旦生成新的文件就在元数据库中写入一条记录，包括其下列关键属性：创建时间、起始消息偏移量、结束消息偏移量；然后，根据预先配置的保存时间判断，若该文件已经超出该时间，则立即将文件移动到对象存储相应的桶中，一旦操作成功则对象存储服务会返回新生成的对象唯一标识符，然后将标识符也更新写入到元数据库中(同一条记录)；进一步的，当业务需要获取冷数据时，首先传入一个目标日期，系统在元数据库中检索出创建时间最接近该日期的所有记录的集合并以起始消息偏移量为维度正序排序；此时，集合中的记录里起始消息偏移量最小值就是业务消息接收者的消费起始位置。然后根据这条记录对应的对象唯一标识符，从对象存储服务中获取该文件并复制到本地。此时，业务消息接收者可开始正常运行；最后，自动检测业务消息接收者当前接收偏移量情况，当其接近当前文件的结束消息偏移量时，则获取集合中下一条记录的对象唯一标识符，并同样获取该文件并复制到本地。以此类推，直到所有的冷数据均消费完成。

在一种示例实施例中，参考图7所示，消息生产者用于生产消息数据并存储在相应主题的消息队列中；其中，该消息生产者所生产的消息数据的起始消息偏移量可以是0，结束消息偏移量(也即图7中所示出的末尾偏移量)为D；同时，在实际应用的过程中，消息生产者会连续不断的生产新增消息数据，并根据数据生成时间依次的排列在该主题下的消息队列中；进一步的，继续参考图7所示，消息接收者用于消费该主题下的消息队列中的消息数据；其中，此处所记载的消息接收者，可以包括一个或者多个，每个消息接收者可以同时消费具有相同偏移量的消息数据，也可以根据实际情况，分别消费不同偏移量的消息数据，本示例对此不做特殊限制。

基于上述记载的内容可以得知，经过数据迁移功能的处理后，服务器本地硬盘上将始终只保存热数据，而冷数据则全部存放在对象存储服务中；同时，若需要进行冷数据获取，则可以将冷数据重新加载到消息队列服务器并供接收者读取；此处需要补充说明的是，若需要进行热数据的获取，则可以直接从Broker服务器的本地磁盘中获取即可。

至此，本公开所记载的方法已经全部实现，基于前述记载的内容可以得知，本公开示例实施例所提供的方法，可以适用于当前各类消息队列软件的冷热消息分离机制和流程；并且，还可以实现以廉价对象存储的冷消息存储和恢复方式，以及冷消息文件逐个获取(而不是一开始就把对象存储中的文件全部复制到本地硬盘，因为本地硬盘通常容量较小且价格昂贵，无法容纳全部冷消息)的访问方式实现相应的数据存储和/或数据获取。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

本公开示例实施例还提供了一种冷数据的迁移装置。具体的，参考图8所示，该冷数据的迁移装置可以包括消息偏移量确定模块810、冷数据确定模块820、数据文件获取模块830以及数据文件迁移模块840。其中：

消息偏移量确定模块810，可以用于获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；

冷数据确定模块820，可以用于根据所述数据生成时间确定所述消息数据是否属于冷数据；

数据文件获取模块830，可以用于在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；

数据文件迁移模块840，可以用于将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。

在本公开的一种示例性实施例中，根据所述数据生成时间确定所述消息数据是否属于冷数据，包括：获取所述消息队列中的当前时间节点，并计算所述当前时间节点与所述数据生成时间之间的时间差值；判断所述时间差值是否大于预设时间阈值，并在确定所述时间差值大于等于预设时间阈值时，确定所述消息数据属于冷数据。

在本公开的一种示例性实施例中，所述消息偏移量包括起始消息偏移量以及结束消息偏移量；其中，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件，包括：基于所述起始消息偏移量以及结束消息偏移量确定与所述消息数据关联的数据文件的文件名称；基于所述文件名称从所述消息队列中的消息数据所在的本地磁盘中获取与所述消息数据对应的数据文件。

在本公开的一种示例性实施例中，将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，包括：为所述对象存储服务配置接口地址以及访问密钥，并根据所述访问密钥以及与所述消息数据对应的数据文件生成待迁移数据包；将所述待迁移数据包发送至对象存储服务，所述对象存储服务根据所述待迁移数据包中的访问密钥对待迁移数据包的合法性进行验证；所述对象存储服务在确定所述待迁移数据包的合法性验证通过时，将所述待迁移数据包中与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在所述对象存储服务中的数据存储桶中。

在本公开的一种示例性实施例中，所述冷数据的迁移装置还包括：

对象唯一标识符生成模块，可以用于所述对象存储服务在检测到与所述消息数据对应的数据文件迁移完成时，根据所述存储桶名称以及消息数据所属的消息主题生成与所述消息数据对应的对象唯一标识符；

对象唯一标识符存储模块，可以用于建立所述对象唯一标识符以及消息数据的数据目录之间的映射关系，并基于所述映射关系将所述对象唯一标识符存储至预设的元数据库中。

在本公开的一种示例性实施例中，所述数据目录是通过如下方式生成的：检测所述消息队列中是否存在新增消息数据，并在检测到所述消息队列中存在新增消息数据时，获取所述新增消息数据的数据生成时间以及所述新增消息数据所属的消息主题；根据所述新增消息数据的数据量确定所述新增消息数据在所述消息主题下所具有的数据文件个数，并根据所述数据文件个数确定所述新增消息数据的起始消息偏移量以及结束消息偏移量；根据所述数据生成时间、起始消息偏移量以及结束消息偏移量生成所述新增数据消息的数据目录，并将所述数据目录写入预设的元数据库中。

在本公开的一种示例性实施例中，获取消息队列中的消息数据的数据目录，包括：为所述预设的元数据库配置数据库地址，并基于所述数据库地址建立与所述预设的元数据库之间的通信链路；基于所述通信链路从所述预设的元数据库中获取所述消息队列中的消息数据的数据目录。

本公开示例实施例还提供了一种冷数据的获取装置。具体的，参考图9所示，该冷数据的获取装置可以包括数据生成时间匹配模块910、数据集合构建模块920、起始消费位置确定模块930以及数据文件加载模块940。其中：

数据生成时间匹配模块910，可以用于响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；

数据集合构建模块920，可以用于在所述预设的元数据库中提取包括数据生成时间的数据目录，并根据所述数据目录构建待查询数据的数据集合，基于所述数据目录确定所述待查询数据的起始消息偏移量以及结束消息偏移量；

起始消费位置确定模块930，可以用于基于所述数据生成时间、起始消息偏移量以及结束消息偏移量对所述数据集合中的待查询数据进行排序，以确定待查询数据的起始消费位置；

数据文件加载模块940，可以用于基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，并将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费；其中，所述数据文件是通过上述任意一项所述的冷数据的迁移方法存储至所述数据存储桶中的。

在本公开的一种示例性实施例中，基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，包括：基于所述起始消费位置，依次遍历预设的元数据库，基于所述待查询数据的数据目录，确定待查询数据在设置于对象存储服务中的数据存储桶中的对象唯一标识符；基于对象存储服务的接口地址以及访问密钥，从与所述对象唯一标识符对应的数据存储桶中获取所述待查询数据的数据文件。

在本公开的一种示例性实施例中，将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费，包括：将所述待查询数据的数据文件复制到消息队列所在的本地磁盘，并将待查询数据加载到消息队列中，以使得所述业务获取方从所述消息队列中读取待查询数据的数据文件。

上述冷数据的迁移装置以及冷数据的获取装置中各模块的具体细节已经在对应的冷数据的迁移方法以及冷数据的获取方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图10来描述根据本公开的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030以及显示单元1040。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1010可以执行如图1中所示的步骤S110：获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；步骤S120：根据所述数据生成时间确定所述消息数据是否属于冷数据；步骤S130：在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；步骤S140：将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。

又例如，所述处理单元1010可以执行如图6中所示的步骤S610：响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；步骤S620：在所述预设的元数据库中提取包括数据生成时间的数据目录，并根据所述数据目录构建待查询数据的数据集合，基于所述数据目录确定所述待查询数据的起始消息偏移量以及结束消息偏移量；步骤S630：基于所述数据生成时间、起始消息偏移量以及结束消息偏移量对所述数据集合中的待查询数据进行排序，以确定待查询数据的起始消费位置；步骤S640：基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，并将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费；其中，所述数据文件是通过上述任意一项所述的冷数据的迁移方法存储至所述数据存储桶中的。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(ROM)10203。

存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (14)

1.一种冷数据的迁移方法，其特征在于，包括：

获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；

根据所述数据生成时间确定所述消息数据是否属于冷数据；

在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；

将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。

2.根据权利要求1所述的冷数据的迁移方法，其特征在于，根据所述数据生成时间确定所述消息数据是否属于冷数据，包括：

获取所述消息队列中的当前时间节点，并计算所述当前时间节点与所述数据生成时间之间的时间差值；

判断所述时间差值是否大于预设时间阈值，并在确定所述时间差值大于等于预设时间阈值时，确定所述消息数据属于冷数据。

3.根据权利要求1所述的冷数据的迁移方法，其特征在于，所述消息偏移量包括起始消息偏移量以及结束消息偏移量；

其中，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件，包括：

基于所述起始消息偏移量以及结束消息偏移量确定与所述消息数据关联的数据文件的文件名称；

基于所述文件名称从所述消息队列中的消息数据所在的本地磁盘中获取与所述消息数据对应的数据文件。

4.根据权利要求1所述的冷数据的迁移方法，其特征在于，将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中，包括：

为所述对象存储服务配置接口地址以及访问密钥，并根据所述访问密钥以及与所述消息数据对应的数据文件生成待迁移数据包；

将所述待迁移数据包发送至对象存储服务，所述对象存储服务根据所述待迁移数据包中的访问密钥对待迁移数据包的合法性进行验证；

所述对象存储服务在确定所述待迁移数据包的合法性验证通过时，将所述待迁移数据包中与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在所述对象存储服务中的数据存储桶中。

5.根据权利要求4所述的冷数据的迁移方法，其特征在于，所述冷数据的迁移方法还包括：

所述对象存储服务在检测到与所述消息数据对应的数据文件迁移完成时，根据所述存储桶名称以及消息数据所属的消息主题生成与所述消息数据对应的对象唯一标识符；

建立所述对象唯一标识符以及消息数据的数据目录之间的映射关系，并基于所述映射关系将所述对象唯一标识符存储至预设的元数据库中。

6.根据权利要求1所述的冷数据的迁移方法，其特征在于，所述数据目录是通过如下方式生成的：

检测所述消息队列中是否存在新增消息数据，并在检测到所述消息队列中存在新增消息数据时，获取所述新增消息数据的数据生成时间以及所述新增消息数据所属的消息主题；

根据所述新增消息数据的数据量确定所述新增消息数据在所述消息主题下所具有的数据文件个数，并根据所述数据文件个数确定所述新增消息数据的起始消息偏移量以及结束消息偏移量；

根据所述数据生成时间、起始消息偏移量以及结束消息偏移量生成所述新增数据消息的数据目录，并将所述数据目录写入预设的元数据库中。

7.根据权利要求6所述的冷数据的迁移方法，其特征在于，获取消息队列中的消息数据的数据目录，包括：

为所述预设的元数据库配置数据库地址，并基于所述数据库地址建立与所述预设的元数据库之间的通信链路；

基于所述通信链路从所述预设的元数据库中获取所述消息队列中的消息数据的数据目录。

8.一种冷数据的获取方法，其特征在于，包括：

响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；

在所述预设的元数据库中提取包括数据生成时间的数据目录，并根据所述数据目录构建待查询数据的数据集合，基于所述数据目录确定所述待查询数据的起始消息偏移量以及结束消息偏移量；

基于所述数据生成时间、起始消息偏移量以及结束消息偏移量对所述数据集合中的待查询数据进行排序，以确定待查询数据的起始消费位置；

基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，并将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费；其中，所述数据文件是通过权利要求1-7任一项所述的冷数据的迁移方法存储至所述数据存储桶中的。

9.根据权利要求8所述的冷数据的获取方法，其特征在于，基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，包括：

基于所述起始消费位置，依次遍历预设的元数据库，基于所述待查询数据的数据目录，确定待查询数据在设置于对象存储服务中的数据存储桶中的对象唯一标识符；

基于对象存储服务的接口地址以及访问密钥，从与所述对象唯一标识符对应的数据存储桶中获取所述待查询数据的数据文件。

10.根据权利要求8所述的冷数据的获取方法，其特征在于，将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费，包括：

将所述待查询数据的数据文件复制到消息队列所在的本地磁盘，并将待查询数据加载到消息队列中，以使得所述业务获取方从所述消息队列中读取待查询数据的数据文件。

11.一种冷数据的迁移装置，其特征在于，包括：

消息偏移量确定模块，用于获取消息队列中的消息数据的数据目录，并根据所述数据目录确定所述消息数据的数据生成时间以及所述消息数据的消息偏移量；

冷数据确定模块，用于根据所述数据生成时间确定所述消息数据是否属于冷数据；

数据文件获取模块，用于在确定所述消息数据属于冷数据时，基于所述消息偏移量从所述消息队列所在的本地磁盘中获取与所述消息数据对应的数据文件；

数据文件迁移模块，用于将与所述消息数据对应的数据文件从所述本地磁盘中迁移至设置在对象存储服务中的数据存储桶中。

12.一种冷数据的获取装置，其特征在于，包括：

数据生成时间匹配模块，用于响应于业务获取方发送的冷数据获取请求，确定待查询数据的起始查询时间，并基于所述起始查询时间在预设的元数据库中匹配与所述起始查询时间对应的待查询数据的数据生成时间；

数据集合构建模块，用于在所述预设的元数据库中提取包括数据生成时间的数据目录，并根据所述数据目录构建待查询数据的数据集合，基于所述数据目录确定所述待查询数据的起始消息偏移量以及结束消息偏移量；

起始消费位置确定模块，用于基于所述数据生成时间、起始消息偏移量以及结束消息偏移量对所述数据集合中的待查询数据进行排序，以确定待查询数据的起始消费位置；

数据文件加载模块，用于基于所述起始消费位置，依次从设置于对象存储服务中的数据存储桶中获取待查询数据的数据文件，并将所述待查询数据的数据文件加载至本地磁盘以供业务获取方消费；其中，所述数据文件是通过权利要求1-7任一项所述的冷数据的迁移方法存储至所述数据存储桶中的。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的冷数据的迁移方法，以及权利要求8-10任一项所述的冷数据的获取方法。

14.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的冷数据的迁移方法，以及权利要求8-10任一项所述的冷数据的获取方法。