CN113326242A - 数据处理方法、装置、电子设备及计算机存储介质 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法、装置、电子设备及计算机存储介质，其中，所述数据处理方法包括：根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息；发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，以使目标数据端根据所述数据处理请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间。通过本发明实施例，避免了数据迁移或数据同步等情况对文件的实际最后修改时间的影响，不会因数据迁移或数据同步等操作而使对文件的实际修改发生的时间产生改变，从而确保了最后修改时间的准确。

Description

数据处理方法、装置、电子设备及计算机存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机存储介质。

背景技术

随着互联网技术的发展，人们的生活和工作已越来越依赖于各种互联网产品(如各种应用、业务平台、业务系统等等)来完成。很多互联网产品的功能实现与其使用的数据及该数据的相关时间密不可分，例如，内容分发网络CDN需要依赖其使用的数据的最后修改时间进行缓存刷新，或者，前端网络页面需要依赖其使用的数据的最后修改时间进行自动更新，等等。

然而，在很多与数据复制有关的场景中，如数据迁移或者数据同步场景中，会因迁移或同步后的数据的最后修改时间这一属性，导致上述功能无法实现或者出现异常。以对象存储系统为例，其中的数据对象的最后修改时间是系统自动生成和维护的，用户侧只能读取但却无法进行修改、重置等操作。这就导致在进行数据对象的数据迁移或数据同步后，目标端会根据迁移或同步操作为迁移或同步后的数据对象生成最新的最后修改时间，该时间无法由用户侧进行修改。由此，导致迁移工具或迁移服务无法保持数据对象在源端中的最后修改时间。进一步地，数据迁移或同步后，依赖最后修改时间的应用或服务将无法正常工作。例如，CDN缓存自动刷新机制失效、前端页面资源自动更新失效、数据对象的多个版本之间无法保证时序、数据对象生命周期管理结果不符合预期、跨区域同步功能无法保证数据一致性，等等。

因此，如何确保上述场景中的数据对象的最后修改时间准确，以进一步保证各种业务的正常进行，成为亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供一种数据处理方案，以至少部分解决上述问题。

根据本发明实施例的第一方面，提供了一种数据处理方法，包括：根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息；发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，以使目标数据端根据所述数据处理请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间。

根据本发明实施例的第二方面，提供了另一种数据处理方法，包括：接收数据处理请求和待处理文件，其中，所述数据处理请求中携带有所述待处理文件在源数据端的最后修改时间的信息；对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

根据本发明实施例的第三方面，提供了一种数据处理装置，包括：获取模块，用于根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息；发送模块，用于发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，以使目标数据端根据所述数据处理请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间。

根据本发明实施例的第四方面，提供了另一种数据处理装置，包括：接收模块，用于接收数据处理请求和待处理文件，其中，所述数据处理请求中携带有所述待处理文件在源数据端的最后修改时间的信息；处理模块，用于对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

根据本发明实施例的第五方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述的数据处理方法对应的操作。

根据本发明实施例的第六方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的数据处理方法。

根据本发明实施例提供的数据处理方案，在诸如数据迁移或数据同步等与数据复制有关的场景中，通过数据处理请求携带待处理文件在源数据端的最后修改时间的信息，使得接收待处理文件的目标数据端在完成对待处理文件的处理，如迁移或同步后，以源数据端的最后修改时间作为处理后的文件在目标数据端的最后修改时间。由此，避免了数据迁移或数据同步等情况对文件的实际最后修改时间的影响，不会因数据迁移或数据同步等操作而使对文件的实际修改发生的时间产生改变，从而确保了最后修改时间的准确。进一步地，也保证了依赖最后修改时间的应用或服务的正常运行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1A为根据本发明实施例一的一种数据处理方法的步骤流程图；

图1B为图1A所示实施例中的一种场景示例的示意图；

图2A为根据本发明实施例二的一种数据处理方法的步骤流程图；

图2B为图2A所示实施例中的一种场景示例的示意图；

图2C为图2A所示实施例中的另一种场景示例的示意图；

图2D为图2A所示实施例中的一种使用示例的步骤示意图；

图2E为图2A所示实施例中的另一种使用示例的步骤示意图；

图3为根据本发明实施例三的一种数据处理方法的步骤流程图；

图4为根据本发明实施例四的一种数据处理装置的结构框图；

图5为根据本发明实施例五的一种数据处理装置的结构框图；

图6为根据本发明实施例六的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

实施例一

参照图1A，示出了根据本发明实施例一的一种数据处理方法的步骤流程图。

本实施例从源数据端的角度对本发明实施例提供的数据处理方法进行说明，本实施例的数据处理方法包括以下步骤：

步骤S102：根据待处理文件的元数据，获取待处理文件在源数据端的最后修改时间的信息。

最后修改时间的信息用于指示对待处理文件的信息或其数据进行最后一次实质修改的时间，其中，实质修改包括但不限于：增加、删除、更新等操作。通过待处理文件在源数据端的元数据，即可获得其最后修改时间的信息。

在具体实现时，待处理文件的元数据可以由本领域技术人员根据实际情况，采用任意适当的方式获取，本发明实施例对此不作限制。例如，在对象存储系统OSS中，可以通过HeadObject接口获得待处理文件的元数据，等等。

步骤S104：发送携带有所述最后修改时间的信息的数据处理请求和待处理文件，以使目标数据端根据数据处理请求对待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在目标数据端中的最后修改时间。

本发明实施例中，所述数据处理请求用于请求对待处理文件进行与数据复制有关的处理，所述处理包括但不限于数据迁移或者数据同步等。

传统方式中，在完成数据迁移或数据同步后，目标数据端会以数据迁移或数据同步的完成时间作为待处理文件在目标数据端的最后修改时间，但在该过程中，待处理文件并未进行实质修改。因此，导致依赖于最后修改时间的很多应用或服务无法正常实现，例如，CDN缓存自动刷新机制失效、前端页面资源自动更新失效，等等。

为此，本发明实施例中，使用数据处理请求携带待处理文件在源数据端的最后修改时间的信息，目标数据端在完成诸如数据迁移或数据同步的处理后，即可以该最后修改时间的信息所指示的时间作为处理后的文件在目标数据端中的最后修改时间。从而，有效保证了依赖于最后修改时间的很多应用或服务的正常实现。

其中，所述数据处理请求可以为任意适当的请求，本发明实施例对此不作限制。

以下，以一种OSS系统的数据迁移为场景示例，对上述过程进行说明，如图1B所示。

假设，要将OSS系统中设备A的数据对象X迁移到设备B中，数据对象X在设备A中的最后修改时间为2020-01-01-00：30：30。根据上述过程，设备A在2020年01月02日的04：30：30向设备B发送请求对数据对象X进行数据迁移的请求，在该请求中携带有上述最后修改时间的信息。设定数据迁移的完成具体时间为2020年01月02日的04：32：30，但因请求中携带有数据对象X的最后修改时间的信息，因此，数据对象X完成迁移后，其在设备B中的最后修改时间仍然为2020-01-01-00：30：30。而传统方式中，数据对象X完成迁移后，其在设备B中的最后修改时间将为2020年01月02日的04：32：30。若某网页根据数据对象X的最后修改时间在2020年01月02日的06：00：00进行页面刷新，则根据本发明实施例的方案，其会根据数据对象在2020-01-01-00：30：30与2020-01-02-06：00：00之间的数据进行页面刷新。而若根据传统方案，则其会根据2020-01-02-04：32：30与2020-01-02-06：00：00之间的数据进行页面刷新，由此导致无法实现准确刷新的现象。

需要说明的是，上述场景以OSS系统中两个设备间的数据迁移为例，但该数据迁移也可发生在非OSS系统与OSS系统之间的数据迁移，或者，两个非OSS系统的设备之间的数据迁移等。

可见，通过本实施例，在诸如数据迁移或数据同步等与数据复制有关的场景中，通过数据处理请求携带待处理文件在源数据端的最后修改时间的信息，使得接收待处理文件的目标数据端在完成对待处理文件的处理，如迁移或同步后，以源数据端的最后修改时间作为处理后的文件在目标数据端的最后修改时间。由此，避免了数据迁移或数据同步等情况对文件的实际最后修改时间的影响，不会因数据迁移或数据同步等操作而使对文件的实际修改发生的时间产生改变，从而确保了最后修改时间的准确。进一步地，也保证了依赖最后修改时间的应用或服务的正常运行。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。

实施例二

参照图2A，示出了根据本发明实施例二的一种数据处理方法的步骤流程图。

本实施例仍从源数据端的角度对本发明实施例提供的数据处理方法进行说明，本实施例的数据处理方法包括以下步骤：

步骤S202：获取待处理文件的元数据。

在一种情况下，待处理文件仅有一个版本，即仅有一个待处理文件，则直接获取该待处理文件的元数据即可。

在另一种情况下，待处理文件可能有多个版本，同一个文件名对应有不同版本的多个待处理文件。此种情况下，需要针对每个版本的待处理文件分别获取各自对应的元数据。

元数据中包含有待处理文件的各种信息，包括但不限于结构信息、内容信息、修改信息(包括当前待处理文件的最后修改时间的信息)等。

需要说明的是，本发明实施例中，若无特殊说明，“多个”、“多种”等与“多”有关的数量均意指两个及两个以上。

步骤S204：根据待处理文件的元数据，获取待处理文件在源数据端的最后修改时间的信息。

如前所述，若待处理文件仅有一个版本，则根据其元数据获取其在源数据端的最后修改时间的信息即可。而若待处理文件有多个版本，则需要根据多个版本的待处理文件分别对应的元数据，获取多个版本的待处理文件在源数据端的多个最后修改时间的信息。也即，每个版本的待处理文件对应一个最后修改时间的信息，不同版本的最后修改时间可以相同，也可以不同。

步骤S206：发送携带有所述最后修改时间的信息的数据处理请求和待处理文件，以使目标数据端根据数据处理请求对待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在目标数据端中的最后修改时间。

其中，所述数据处理请求可以为任意适当的请求，包括但不限于数据迁移请求和数据同步请求。此种情况下，待处理文件为待迁移的文件或为待同步的文件。

在数据处理请求中携带有待处理文件在源数据端的最后修改时间的信息，可以在数据处理请求的请求头中携带，也可以在数据处理请求的请求体中携带。在大部分数据复制场景如数据迁移或数据同步场景中，数据处理请求遵循HTTP协议，可以认为是HTTP请求。因HTTP请求在请求头部分具有较强的可扩展性，因此，较优地，可以优先考虑在请求头中携带所述最后修改时间的信息，以最大程度地利用现有请求的功能，降低方案实现成本。但不限于此，在请求体中携带也同样适用。

此外，在数据迁移或数据同步场景中，数据处理请求用于请求对待处理文件进行数据迁移或者数据同步。此种情况下，数据处理请求为遵循HTTP协议的文件上传请求。通过文件上传请求携带待迁移文件或待同步文件在源数据端的最后修改时间的信息，即可将所述最后修改时间的信息有效传递给目标数据端，同时还实现了数据迁移或数据同步的功能，节省了方案实现成本，且提高了信息传递效率。但本领域技术人员应当明了的是，其它场景中依赖于所述最后修改时间的情况同样适用上述在数据处理请求中携带所述最后修改时间的信息的方式。

针对一个版本的待处理文件，向目标数据端发送该待处理文件对应的数据处理请求，并在该数据处理请求中携带该待处理文件在源数据端的最后修改时间的信息即可。并且，向目标数据端发送该待处理文件以进行处理。

针对多个版本的待处理文件，在向目标数据端发送携带有所述最后修改时间的信息的数据处理请求和待处理文件时，针对每个版本的待处理文件，向目标数据端发送当前版本的待处理文件对应的数据处理请求和当前版本的待处理文件，其中，所述数据处理请求中携带有当前版本的待处理文件对应的最后修改时间的信息。可见，上述方式中，一个版本对应一个数据处理请求，在该对应的数据处理请求中携带对应的最后修改时间的信息，从而实现多个版本情况下，每个版本的最后修改时间信息都能够被准确且有效地传递。

此外，在多个版本的待处理文件中，可能有被打上删除标记的待处理文件，若这些待处理文件也需要进行处理，则在一种可行方式中，在针对每个版本的待处理文件，向目标数据端发送数据处理请求和当前版本的待处理文件时，可以判断当前版本的待处理文件是否为待删除文件；根据判断结果，为当前版本的待处理文件生成数据处理请求，并向目标数据端发送数据处理请求和当前版本的待处理文件。其中，可选地，在判断当前版本的待处理文件是否为待删除文件时，可以判断该待处理文件是否具有删除标记，若有，则认为其为待删除文件。对待删除文件进行有针对性的处理，一方面可以更为符合实际需求，另一方面也可以使得处理更为精准。

在根据判断结果，为当前版本的待处理文件生成数据处理请求时，一种可行方式中：若当前版本的待处理文件为待删除文件，则判断当前版本的待处理文件的文件大小是否小于预设大小；若小于，则在数据处理请求的请求头中携带当前版本的待处理文件对应的最后修改时间的信息；或者，若不小于，则在数据处理请求的请求体中携带当前版本的待处理文件对应的最后修改时间的信息。其中，所述预设大小可以由本领域技术人员根据实际需求适当设置，本发明实施例对此不作限制，例如，可以设置为150MB，等等。此种情况下，若待处理文件较小，即小于预设大小，则在数据处理请求的请求头中携带所述最后修改时间的信息；反之，若待处理文件较大，即大于或等于预设大小，则在数据处理请求的请求体中携带所述最后修改时间的信息。目前，在待删除文件尺寸较大时，多通过消息体传递相关信息，基于此，上述方式中在待处理文件为待删除文件且尺寸较大时，在数据处理请求的请求体中携带所述最后修改时间的信息，以最大程度地利用现有流程，降低方案实现难度和成本。

进一步地，若当前版本的待处理文件不为待删除文件，则在数据处理请求的请求头中携带当前版本的待处理文件对应的最后修改时间的信息。

数据处理请求中可以携带部分或全部待处理文件的数据，也可以不携带任何待处理文件的数据，在后续再通过其它数据传输途径由源数据端向目标数据端发送待处理文件的数据。当目标数据端接收到数据处理请求后，即对待处理文件进行处理，如，获取待处理文件并将待处理文件放置至相应位置等，并且，将待处理文件在目标数据端的最后修改时间设置为数据处理请求中携带的所述最后修改时间的信息所指示的时间。

在一个单版本的待处理文件示例中，如图2B所示，设备A中的待处理文件X的元数据显示其在设备A上的最后修改时间为2020-01-01-00：30：30。待处理文件X于2020-01-02-00：30：30开始从设备A向设备B进行数据迁移，在相应的文件上传请求中携带待处理文件X在设备A上的最后修改时间为2020-01-01-00：30：30的信息。待处理文件X于2020-01-02-00：31：00完成从设备A到设备B的数据迁移，根据本发明实施例的方案，数据迁移后，待处理文件X在设备B上的最后修改时间仍为2020-01-01-00：30：30。

在一个多版本的待处理文件示例中，如图2C所示，设备A中的待处理文件X有3个版本，分别为X1、X2和X3，这三个版本的元数据显示三者在设备A上的最后修改时间分别为2020-01-01-00：30：30、2020-01-01-00：32：30，和2020-01-01-00：33：30。待处理文件X1、X2和X3均于2020-01-02-00：30：30开始从设备A向设备B进行数据迁移，在相应的文件上传请求中分别携带各自在设备A上的最后修改时间。待处理文件X1、X2和X3于2020-01-02-00：31：00完成从设备A到设备B的数据迁移，根据本发明实施例的方案，数据迁移后，待处理文件X1在设备B上的最后修改时间为2020-01-01-00：30：30，待处理文件X2在设备B上的最后修改时间为2020-01-01-00：32：30，待处理文件X3在设备B上的最后修改时间为2020-01-01-00：33：30。

此外，需要说明的是，针对不同大小的文件，所述发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件的处理可以有所不同。例如，若待处理文件为小文件，其通过一次数据传递即可完成文件传输，则可以发送所述数据处理请求，在该数据处理请求中携带最后修改时间的信息，或者，在携带最后修改时间的信息的同时，携带待处理文件；或者，可以先发送所述数据处理请求，再发送待处理文件。而若待处理文件为大文件，则可以通过分片传递的方式，此种情况下的一种可行方式中，可以分片发送待处理文件，并在分片发送完成后，发送分片完成请求并在分片完成请求中携带所述最后修改时间的信息。通过分片完成请求即可以告知目标数据端待处理文件的多个数据分片已全部发送完毕，又可告知目标数据端该待处理文件的最后修改时间。从而，有效利用了现有信息及其处理流程，简化了方案实现，节约了方案实现成本。其中，大小文件的区分可以由本领域技术人员根据实际情况适当设置，如设置为大于150MB为大文件，否则为小文件等，本发明实施例对此不作限制。

以下，以OSS中的数据迁移为示例，对上述过程进行具体说明。

图2D示出了一种单版本的待处理文件在数据迁移过程中，最后修改时间的传递和处理的示意图，该过程包括以下步骤：

步骤A1，从源数据端读取待处理文件及其最后修改时间。

在OSS中，大文件可以使用RangeGetObject接口进行分片下载，小文件可以使用GetObject接口下载。其中，文件大小的判断可以由本领域技术人员根据实际情况适当设置判定界限，例如，大于150MB的为大文件，否则为小文件等。

使用HeadObject接口获取待处理文件(OSS中的数据对象)的元数据，元数据包括该待处理文件的最后修改时间的信息。

步骤A2，上传读取的待处理文件。

即将待处理文件从源数据端发送至目标数据端。其中，小文件可以使用PutObject接口上传，大文件可以使用MultipartUpload接口分片上传。采用PutObject接口上传时，可以在PutObject请求的请求Header中指定步骤A1中读取到的最后修改时间；采用分片上传时，可以在CompleteMultipartUpload请求Header中指定步骤A1中读取到的最后修改时间。例如，可以在这些请求的请求头中扩展增加X-OSS-LAST ODIFIED TIME字段，在该字段中携带所述最后修改时间的信息。

步骤A3，OSS处理待处理文件的数据及其元数据。

如果待处理文件在目标数据端上已存在，则覆盖相应数据并将其在目标数据端的最后修改时间更新为请求头中携带的最后修改时间；如果待处理文件在目标数据端上不存在，则新建该待处理文件及其元数据，并将其在目标数据端的最后修改时间更新为请求头中携带的最后修改时间。可选地，可以将其最后修改时间精确到纳秒。

待处理文件上传成功后，依赖其最后修改时间的应用可以正常工作。例如，用户相关的应用，如CDN缓存刷新、前端页面资源更新等可以正常工作；OSS的内置服务，如对象生命周期管理、跨区域复制等可以正常工作。

通过上述过程，实现了单版本待处理文件的数据迁移情形下，通过用户侧指定最后修改时间，服务侧更新处理后的文件的最后修改时间，从而使数据迁移后，保持了文件在源数据端的最后修改时间，进而使得依赖于该最后修改时间的应用、服务可以正常工作。

图2E示出了一种多版本的待处理文件在数据迁移过程中，最后修改时间的传递和处理的示意图，该过程包括以下步骤：

步骤B1，从源数据端读取待处理文件的多个版本及各个版本的最后修改时间。

在OSS中，大文件可以使用RangeGetObject接口进行分片下载，小文件可以使用GetObject接口下载。其中，文件大小的判断可以由本领域技术人员根据实际情况适当设置判定界限，例如，大于150MB的为大文件，否则为小文件等。

使用HeadObject接口获取各个版本的待处理文件(OSS中的数据对象)的元数据，元数据包括当前版本的待处理文件的最后修改时间的信息。

步骤B2，判断读取的待处理文件的多个版本中是否存在进行过删除操作的版本。

也即，多个版本的待处理文件中是否存在待删除文件。

其中，所述删除操作包括DeleteObject/DeleteMultipleObjects，非删除操作包括PutObject、MultipartUpload、CopyObject等。

步骤B3，上传读取的待处理文件的多个版本。

即将待处理文件的多个版本从源数据端发送至目标数据端。其中，小文件可以使用PutObject接口上传，大文件可以使用MultipartUpload接口分片上传。采用PutObject接口上传时，可以在PutObject请求的请求Header中指定步骤B1中读取到的最后修改时间；采用分片上传时，可以在CompleteMultipartUpload请求Header中指定步骤B1中读取到的最后修改时间。

对于进行过删除操作的版本，小文件采用DeleteObject请求Header中指定其最后修改时间，大文件采用DeleteMultipleObjects请求Body中指定其最后修改时间。

可见，对于未进行过删除操作的版本，采用了在请求Header中携带最后修改时间的方式，而对于进行过删除操作的版本，可以根据文件大小在请求Header中或请求Body中携带最后修改时间。

例如，可以在这些请求的请求头或请求体中扩展增加X-OSS-LAST MODIFIED TIME字段，在该字段中携带所述最后修改时间的信息。

此外，OSS还可以按照请求中指定的最后修改时间，对包含删除操作的所有版本的待处理文件进行降序排列，将各个版本插入到其相对应的位置，并生成与各个版本对应的版本号。

步骤B4，OSS处理多个版本的待处理文件的数据及各自对应的元数据。

针对各个版本的待处理文件，如果待处理文件在目标数据端上已存在，则覆盖相应数据并将其在目标数据端的最后修改时间更新为请求头中携带的最后修改时间；如果待处理文件在目标数据端上不存在，则新建该待处理文件及其元数据，并将其在目标数据端的最后修改时间更新为请求头中携带的最后修改时间。可选地，可以将其最后修改时间精确到纳秒。

待处理文件上传成功后，依赖其最后修改时间的应用可以正常工作。例如，用户相关的应用，如CDN缓存刷新、前端页面资源更新等可以正常工作；OSS的内置服务，如对象生命周期管理、跨区域复制等可以正常工作。

通过上述过程，实现了多版本待处理文件的数据迁移情形下，通过用户侧指定各个版本的最后修改时间，服务侧更新处理后的各个文件的最后修改时间，从而使数据迁移后，保持了文件在源数据端的最后修改时间，进而使得依赖于该最后修改时间的应用、服务可以正常工作。

需要说明的是，上述对象存储的场景均以OSS为例，但本领域技术人员应当明了，其它对象存储场景均可适用本发明实施例的方案。

可见，通过本实施例，在诸如数据迁移或数据同步等与数据复制有关的场景中，通过数据处理请求携带待处理文件在源数据端的最后修改时间的信息，使得接收待处理文件的目标数据端在完成对待处理文件的处理，如迁移或同步后，以源数据端的最后修改时间作为处理后的文件在目标数据端的最后修改时间。由此，避免了数据迁移或数据同步等情况对文件的实际最后修改时间的影响，不会因数据迁移或数据同步等操作而使对文件的实际修改发生的时间产生改变，从而确保了最后修改时间的准确。进一步地，也保证了依赖最后修改时间的应用或服务的正常运行。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。

实施例三

参照图3，示出了根据本发明实施例三的一种数据处理方法的步骤流程图。

本实施例从目标数据端的角度对本发明实施例提供的数据处理方法进行说明，本实施例的数据处理方法包括以下步骤：

步骤S302：接收数据处理请求和待处理文件。

其中，数据处理请求中携带有待处理文件在源数据端的最后修改时间的信息。数据处理请求可以在请求头中携带所述最后修改时间的信息，也可以在请求体中携带所述最后修改时间的信息。较优地，可以在更具扩展性的请求头中携带所述最后修改时间的信息。

在具体实现时，使用请求头还是请求体携带所述最后修改时间的信息可以参照前述实施例中的相关描述，在此不再赘述。

可选地，所述数据处理请求用于请求对待处理文件进行数据迁移或者数据同步。在数据迁移或数据同步场景中，很多应用或服务需要依赖于文件的最后修改时间，因此，当数据处理请求用于请求对待处理文件进行数据迁移或者数据同步时，更为符合用户的实际需求。

又可选地，所述数据处理请求可以为遵循HTTP协议的文件上传请求。大部分的数据迁移和数据同步场景下的消息都遵循HTTP协议，当数据处理请求为遵循HTTP协议的文件上传请求时，可以最大限度地满足实际场景的需求。

步骤S304：对待处理文件进行数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为数据处理请求中携带的最后修改时间的信息所指示的时间。

若数据处理请求用于用于请求对待处理文件进行数据迁移，则目标数据端根据该数据处理请求对待处理文件进行相应的数据迁移操作；若数据处理请求用于请求对待处理文件进行数据同步，则目标数据端根据该数据处理请求对待处理文件进行相应的数据同步操作。在数据迁移或数据同步后，按照数据处理请求中携带的最后修改时间的信息设置待处理文件在本地的最后修改时间。

在一种可行方式中，本步骤可以实现为：从数据处理请求中获取处理指令和所述最后修改时间的信息；对待处理文件进行处理指令所指示的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

在具体实现对待处理文件的处理时，如果目标数据端本地已存在所述待处理文件，则使用接收的待处理文件更新已存在的待处理文件，并使用所述最后修改时间的信息所指示的时间更新已存在的待处理文件的最后修改时间。

而如果目标数据端本地不存在所述待处理文件，则将所述待处理文件复制至本地，并将所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

通过上述方式，确保了目标数据端本地的数据迁移或数据同步后的文件的最后修改时间的准确性，进而保证了依赖于最后修改时间的应用或服务的正常运行。

通过本实施例，在诸如数据迁移或数据同步等与数据复制有关的场景中，通过数据处理请求携带待处理文件在源数据端的最后修改时间的信息，使得接收待处理文件的目标数据端在完成对待处理文件的处理，如迁移或同步后，以源数据端的最后修改时间作为处理后的文件在目标数据端的最后修改时间。由此，避免了数据迁移或数据同步等情况对文件的实际最后修改时间的影响，不会因数据迁移或数据同步等操作而使对文件的实际修改发生的时间产生改变，从而确保了最后修改时间的准确。进一步地，也保证了依赖最后修改时间的应用或服务的正常运行。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。

实施例四

参照图4，示出了根据本发明实施例四的一种数据处理装置的结构框图。

本实施例的数据处理装置可以设置在源数据端，该装置包括：获取模块402，用于根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息；发送模块404，用于发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，以使目标数据端根据所述数据处理请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间。

可选地，发送模块404，用于分片发送所述待处理文件，并在分片发送完成后，发送分片完成请求并在所述分片完成请求中携带所述最后修改时间的信息，以使目标数据端根据所述分片完成请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间。

可选地，在所述数据处理请求的请求头中携带所述最后修改时间的信息。

可选地，当所述待处理文件包括多个版本时，所述获取模块402，用于根据多个版本的待处理文件分别对应的元数据，获取所述多个版本的待处理文件在源数据端的多个最后修改时间的信息；所述发送模块404，用于针对每个版本的待处理文件，向目标数据端发送数据处理请求和当前版本的待处理文件，以使所述目标数据端根据所述数据处理请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间，其中，所述数据处理请求中携带有当前版本的待处理文件对应的最后修改时间的信息。

可选地，所述发送模块404在针对每个版本的待处理文件，向目标数据端发送数据处理请求和当前版本的待处理文件时，判断当前版本的待处理文件是否为待删除文件；根据判断结果，为当前版本的待处理文件生成数据处理请求，并向目标数据端发送数据处理请求和当前版本的待处理文件。

可选地，所述发送模块404在根据判断结果，为当前版本的待处理文件生成数据处理请求时，若当前版本的待处理文件为待删除文件，则判断当前版本的待处理文件的文件大小是否小于预设大小；若小于，则在所述数据处理请求的请求头中携带当前版本的待处理文件对应的最后修改时间的信息；或者，若不小于，则在所述数据处理请求的请求体中携带当前版本的待处理文件对应的最后修改时间的信息。

可选地，所述发送模块404在根据判断结果，为当前版本的待处理文件生成数据处理请求时，若当前版本的待处理文件不为待删除文件，则在所述数据处理请求的请求头中携带当前版本的待处理文件对应的最后修改时间的信息。

可选地，所述数据处理请求用于请求对所述待处理文件进行数据迁移或者数据同步。

可选地，所述数据处理请求为遵循HTTP协议的文件上传请求。

本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例五

参照图5，示出了根据本发明实施例五的一种数据处理装置的结构框图。

本实施例的数据处理装置可以设置在目标数据端，该装置包括：接收模块502，用于接收数据处理请求和待处理文件，其中，所述数据处理请求中携带有所述待处理文件在源数据端的最后修改时间的信息；处理模块504，用于对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

可选地，所述处理模块504，用于从所述数据处理请求中获取处理指令和所述最后修改时间的信息；对所述待处理文件进行所述处理指令所指示的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

可选地，所述数据处理请求用于请求对所述待处理文件进行数据迁移或者数据同步。

可选地，所述数据处理请求为遵循HTTP协议的文件上传请求。

可选地，所述处理模块504，用于如果本地已存在所述待处理文件，则使用接收的所述待处理文件更新已存在的所述待处理文件，并使用所述最后修改时间的信息所指示的时间更新已存在的所述待处理文件的最后修改时间；或者，如果本地不存在所述待处理文件，则将所述待处理文件复制至本地，并将所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例六

参照图6，示出了根据本发明实施例六的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图6所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。

其中：

处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。

通信接口604，用于与其它电子设备或服务器进行通信。

处理器602，用于执行程序610，具体可以执行上述数据处理方法实施例中的相关步骤。

具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。

处理器602可能是中央处理器CPU，或者是FPGA(Field Programmable GateArray，现场可编程门阵列)、NPU(neural-network processing units，嵌入式神经网络处理器)、GPU(Graphics Processing Unit，图形处理器)、TPU(Tensor Processing Unit，张量处理器)等多种类型的芯片，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

在第一种实施方式中：

程序610具体可以用于使得处理器602执行以下操作：根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息；发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，以使目标数据端根据所述数据处理请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间。

在一种可选的实施方式中，程序610还用于使得处理器602在发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件时，分片发送所述待处理文件，并在分片发送完成后，发送分片完成请求并在所述分片完成请求中携带所述最后修改时间的信息。

在一种可选的实施方式中，在所述数据处理请求的请求头中携带所述最后修改时间的信息。

在一种可选的实施方式中，当所述待处理文件包括多个版本时，程序610还用于使得处理器602在根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息时，根据多个版本的待处理文件分别对应的元数据，获取所述多个版本的待处理文件在源数据端的多个最后修改时间的信息；程序610还用于使得处理器602在向目标数据端发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件时，针对每个版本的待处理文件，向目标数据端发送数据处理请求和当前版本的待处理文件，其中，所述数据处理请求中携带有当前版本的待处理文件对应的最后修改时间的信息。

在一种可选的实施方式中，程序610还用于使得处理器602在针对每个版本的待处理文件，向目标数据端发送数据处理请求和当前版本的待处理文件时，判断当前版本的待处理文件是否为待删除文件；根据判断结果，为当前版本的待处理文件生成数据处理请求，并向目标数据端发送数据处理请求和当前版本的待处理文件。

在一种可选的实施方式中，程序610还用于使得处理器602在根据判断结果，为当前版本的待处理文件生成数据处理请求时，若当前版本的待处理文件为待删除文件，则判断当前版本的待处理文件的文件大小是否小于预设大小；若小于，则在所述数据处理请求的请求头中携带当前版本的待处理文件对应的最后修改时间的信息；或者，若不小于，则在所述数据处理请求的请求体中携带当前版本的待处理文件对应的最后修改时间的信息。

在一种可选的实施方式中，程序610还用于使得处理器602在根据判断结果，为当前版本的待处理文件生成数据处理请求时，若当前版本的待处理文件不为待删除文件，则在所述数据处理请求的请求头中携带当前版本的待处理文件对应的最后修改时间的信息。

在一种可选的实施方式中，所述数据处理请求用于请求对所述待处理文件进行数据迁移或者数据同步。

在一种可选的实施方式中，所述数据处理请求为遵循HTTP协议的文件上传请求。

在第二种实施方式中：

程序610具体可以用于使得处理器602执行以下操作：接收数据处理请求和待处理文件，其中，所述数据处理请求中携带有所述待处理文件在源数据端的最后修改时间的信息；对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

在一种可选的实施方式中，程序610还用于使得处理器602在对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间时，从所述数据处理请求中获取处理指令和所述最后修改时间的信息；对所述待处理文件进行所述处理指令所指示的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

在一种可选的实施方式中，所述数据处理请求用于请求对所述待处理文件进行数据迁移或者数据同步。

在一种可选的实施方式中，所述数据处理请求为遵循HTTP协议的文件上传请求。

在一种可选的实施方式中，程序610还用于使得处理器602在对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间时，如果本地已存在所述待处理文件，则使用接收的所述待处理文件更新已存在的所述待处理文件，并使用所述最后修改时间的信息所指示的时间更新已存在的所述待处理文件的最后修改时间；或者，如果本地不存在所述待处理文件，则将所述待处理文件复制至本地，并将所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

程序610中各步骤的具体实现可以参见上述数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本实施例的电子设备，在诸如数据迁移或数据同步等与数据复制有关的场景中，通过数据处理请求携带待处理文件在源数据端的最后修改时间的信息，使得接收待处理文件的目标数据端在完成对待处理文件的处理，如迁移或同步后，以源数据端的最后修改时间作为处理后的文件在目标数据端的最后修改时间。由此，避免了数据迁移或数据同步等情况对文件的实际最后修改时间的影响，不会因数据迁移或数据同步等操作而使对文件的实际修改发生的时间产生改变，从而确保了最后修改时间的准确。进一步地，也保证了依赖最后修改时间的应用或服务的正常运行。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的数据处理方法。此外，当通用计算机访问用于实现在此示出的数据处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的数据处理方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (18)

1.一种数据处理方法，包括：

根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息；

发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，以使目标数据端根据所述数据处理请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间。

2.根据权利要求1所述的方法，其中，所述发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，包括：

分片发送所述待处理文件，并在分片发送完成后，发送分片完成请求并在所述分片完成请求中携带所述最后修改时间的信息。

3.根据权利要求1或2所述的方法，其中，在所述数据处理请求的请求头中携带所述最后修改时间的信息。

4.根据权利要求1所述的方法，其中，当所述待处理文件包括多个版本时，

所述根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息，包括：根据多个版本的待处理文件分别对应的元数据，获取所述多个版本的待处理文件在源数据端的多个最后修改时间的信息；

所述发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，包括：针对每个版本的待处理文件，发送数据处理请求和当前版本的待处理文件，其中，所述数据处理请求中携带有当前版本的待处理文件对应的最后修改时间的信息。

5.根据权利要求4所述的方法，其中，所述针对每个版本的待处理文件，发送数据处理请求和当前版本的待处理文件，包括：

判断当前版本的待处理文件是否为待删除文件；

根据判断结果，为当前版本的待处理文件生成数据处理请求，并发送数据处理请求和当前版本的待处理文件。

6.根据权利要求5所述的方法，其中，所述根据判断结果，为当前版本的待处理文件生成数据处理请求，包括：

若当前版本的待处理文件为待删除文件，则判断当前版本的待处理文件的文件大小是否小于预设大小；

若小于，则在所述数据处理请求的请求头中携带当前版本的待处理文件对应的最后修改时间的信息；

或者，若不小于，则在所述数据处理请求的请求体中携带当前版本的待处理文件对应的最后修改时间的信息。

7.根据权利要求5所述的方法，其中，所述根据判断结果，为当前版本的待处理文件生成数据处理请求，包括：

若当前版本的待处理文件不为待删除文件，则在所述数据处理请求的请求头中携带当前版本的待处理文件对应的最后修改时间的信息。

8.根据权利要求1所述的方法，其中，所述数据处理请求用于请求对所述待处理文件进行数据迁移或者数据同步。

9.根据权利要求8所述的方法，其中，所述数据处理请求为遵循HTTP协议的文件上传请求。

10.一种数据处理方法，包括：

接收数据处理请求和待处理文件，其中，所述数据处理请求中携带有所述待处理文件在源数据端的最后修改时间的信息；

对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

11.根据权利要求10所述的方法，其中，所述对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间，包括：

从所述数据处理请求中获取处理指令和所述最后修改时间的信息；

对所述待处理文件进行所述处理指令所指示的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

12.根据权利要求10或11所述的方法，其中，所述数据处理请求用于请求对所述待处理文件进行数据迁移或者数据同步。

13.根据权利要求12所述的方法，其中，所述数据处理请求为遵循HTTP协议的文件上传请求。

14.根据权利要求12所述的方法，其中，所述对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间，包括：

如果本地已存在所述待处理文件，则使用接收的所述待处理文件更新已存在的所述待处理文件，并使用所述最后修改时间的信息所指示的时间更新已存在的所述待处理文件的最后修改时间；

或者，

如果本地不存在所述待处理文件，则将所述待处理文件复制至本地，并将所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

15.一种数据处理装置，包括：

获取模块，用于根据待处理文件的元数据，获取所述待处理文件在源数据端的最后修改时间的信息；

发送模块，用于发送携带有所述最后修改时间的信息的数据处理请求和所述待处理文件，以使目标数据端根据所述数据处理请求对所述待处理文件进行处理，并以所述最后修改时间的信息所指示的时间作为处理后的所述待处理文件在所述目标数据端中的最后修改时间。

16.一种数据处理装置，包括：

接收模块，用于接收数据处理请求和待处理文件，其中，所述数据处理请求中携带有所述待处理文件在源数据端的最后修改时间的信息；

处理模块，用于对所述待处理文件进行所述数据处理请求所请求的处理，并将处理后的所述待处理文件在本地的最后修改时间设置为所述最后修改时间的信息所指示的时间。

17.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的数据处理方法对应的操作；或者，执行如权利要求10-14中任一项所述的数据处理方法对应的操作。

18.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9中任一所述的数据处理方法；或者，实现如权利要求10-14中任一项所述的数据处理方法。

Images