CN115865862B - 一种数据访问方法、系统、装置、电子设备及存储介质 - Google Patents
一种数据访问方法、系统、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115865862B CN115865862B CN202211456402.3A CN202211456402A CN115865862B CN 115865862 B CN115865862 B CN 115865862B CN 202211456402 A CN202211456402 A CN 202211456402A CN 115865862 B CN115865862 B CN 115865862B
- Authority
- CN
- China
- Prior art keywords
- target data
- data
- access address
- public cloud
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000012634 fragment Substances 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 18
- 238000013467 fragmentation Methods 0.000 claims description 16
- 238000006062 fragmentation reaction Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007726 management method Methods 0.000 description 149
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据访问方法、系统、装置、电子设备及存储介质，涉及云计算技术领域，方法包括：接收第一客户端发送的目标数据的URL地址；基于预先记录的对应关系，在目标数据上传至公有云，且未归档至私有云之前，查询到的访问地址为目标数据在公有云中的访问地址；在目标数据从公有云归档至私有云之后，查询到的访问地址为目标数据在私有云中的访问地址；按照查询到的访问地址获取目标数据，作为用于向第一客户端发送的数据。如此，能够及时地向用户提供数据的访问功能，降低数据的访问延迟。
Description
技术领域
本申请涉及云计算技术领域，特别是涉及一种数据访问方法、系统、装置、电子设备及存储介质。
背景技术
目前，随着云计算技术的发展，越来越多的平台利用混合云对用户上传的数据进行存储。混合云包括公有云和私有云。
在相关技术中，为了提高数据上传速度以及降低成本，用户端可以向公有云上传数据，在该数据完成上传后，再将该数据从公有云归档至私有云，进而，可以得到该数据在私有云中的访问地址。后续，用户端可以通过该访问地址，访问私有云中存储的该数据。
可见，在相关技术中，在该数据上传至公有云后，还需要完成从公有云归档至私有云，用户才可以对该数据进行访问，即，无法及时向用户提供该数据的访问功能，导致数据的访问延迟。
发明内容
本申请实施例的目的在于提供一种数据访问方法、系统、装置、电子设备及存储介质，以及时向用户提供数据的访问功能，降低数据的访问延迟。具体技术方案如下：
在本申请实施的第一方面，首先提供了一种数据访问方法，所述方法包括：
接收第一客户端发送的目标数据的URL地址；
在预先记录的对应关系中，查询所述URL地址对应的访问地址；其中，在所述目标数据上传至公有云，且未归档至私有云之前，所述对应关系中记录的为所述目标数据在所述公有云中的访问地址；在所述目标数据从所述公有云归档至所述私有云之后，所述对应关系中记录的为所述目标数据在所述私有云中的访问地址；
在所述目标数据上传至公有云，且未归档至私有云之前，按照所述目标数据在所述公有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据；
在所述目标数据从所述公有云归档至所述私有云之后，按照所述目标数据在所述私有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据。
可选的，在所述接收第一客户端发送的目标数据的URL地址之前，所述方法还包括：
接收第二客户端发送的所述目标数据在所述公有云中的访问地址；其中，所述目标数据在所述公有云中的访问地址为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
生成所述目标数据的URL地址，并向所述第二客户端发送所述URL地址；
在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述URL地址。
可选的，所述方法还包括：
在所述第二客户端将所述目标数据上传至所述公有云后，通过第一线程开启第一归档任务；其中，所述第一线程和第二线程是异步的；所述第二线程用于基于所述URL地址获取所述目标数据；所述第一归档任务用于将所述公有云中的所述目标数据归档至所述私有云；
在完成所述第一归档任务时，将所述对应关系中记录的所述目标数据在所述公有云中的访问地址，修改为所述目标数据在所述私有云中的访问地址。
可选的，所述对应关系表示数据的数据标识与数据的访问地址之间的关系；所述URL地址中携带有所述目标数据的数据标识；
所述方法还包括：
接收所述第二客户端发送的所述目标数据的数据标识；其中，所述目标数据的数据标识为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
所述在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述URL地址，包括：
在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述目标数据的数据标识；
所述在预先记录的对应关系中，查询所述URL地址对应的访问地址，包括：
在预先记录的对应关系中，查询所述目标数据的数据标识对应的访问地址。
可选的，在所述在预先记录的对应关系中，查询所述URL地址对应的访问地址之前，所述方法还包括：
判断本地是否已缓存所述目标数据；
在本地未缓存所述目标数据的情况下，执行所述在预先记录的对应关系中，查询所述URL地址对应的访问地址步骤；
所述方法还包括：
在按照所述目标数据的访问地址获取所述目标数据之后，在本地缓存所述目标数据。
可选的，所述方法还包括：
在本地已缓存所述目标数据的情况下，从本地读取所述目标数据，作为用于向所述第一客户端发送的数据。
可选的，所述按照所述目标数据在所述公有云中的访问地址获取所述目标数据，包括：基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照所述目标数据在所述公有云中的访问地址，以分片的方式从所述公有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件；
和/或，
所述按照所述目标数据在所述私有云中的访问地址获取所述目标数据，包括：基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照所述目标数据在所述私有云中的访问地址，以分片的方式从所述私有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件。
在本申请实施的第二方面，还提供了一种数据访问系统，所述数据访问系统包括：第一管理节点；其中：
所述第一管理节点，用于接收第一客户端发送的目标数据的URL地址；
在预先记录的对应关系中，查询所述URL地址对应的访问地址；其中，在所述目标数据上传至公有云，且未归档至私有云之前，所述对应关系中记录的为所述目标数据在所述公有云中的访问地址；在所述目标数据从所述公有云归档至所述私有云之后，所述对应关系中记录的为所述目标数据在所述私有云中的访问地址；
在所述目标数据上传至公有云，且未归档至私有云之前，按照所述目标数据在所述公有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据；
在所述目标数据从所述公有云归档至所述私有云之后，按照所述目标数据在所述私有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据。
可选的，所述数据访问系统还包括：第二管理节点；
所述第二管理节点，用于在所述第一管理节点接收所述第一客户端发送的目标数据的URL地址之前，接收第二客户端发送的所述目标数据在所述公有云中的访问地址；其中，所述目标数据在所述公有云中的访问地址为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
生成所述目标数据的URL地址，并向所述第二客户端发送所述URL地址；
在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述URL地址。
可选的，所述第二管理节点，还用于在所述第二客户端将所述目标数据上传至所述公有云后，开启第一归档任务；其中，所述第一归档任务用于将所述公有云中的所述目标数据归档至所述私有云；
所述第一管理节点，还用于在完成所述第一归档任务时，将所述对应关系中记录的所述目标数据在所述公有云中的访问地址，修改为所述目标数据在所述私有云中的访问地址。
可选的，所述对应关系表示数据的数据标识与数据的访问地址之间的关系；所述URL地址中携带有所述目标数据的数据标识；
所述第二管理节点，还用于接收所述第二客户端发送的所述目标数据的数据标识；其中，所述目标数据的数据标识为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
所述第二管理节点，具体用于在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述目标数据的数据标识；
在预先记录的对应关系中，查询所述目标数据的数据标识对应的访问地址。
可选的，所述数据访问系统还包括：第三管理节点；
所述第一管理节点，用于向所述第三管理节点发送所述访问地址；
所述第三管理节点，用于在所述目标数据上传至公有云，且未归档至私有云之前，按照所述目标数据在所述公有云中的访问地址获取所述目标数据；在所述目标数据从所述公有云归档至所述私有云之后，按照所述目标数据在所述私有云中的访问地址获取所述目标数据；
所述第一管理节点，还用于从所述第三管理节点获取所述目标数据，作为用于向所述第一客户端发送的数据。
可选的，所述第三管理节点，还用于在按照所述目标数据的访问地址获取所述目标数据之前，判断本地是否已缓存所述目标数据；
在本地未缓存所述目标数据的情况下，按照所述目标数据的访问地址获取所述目标数据；
在按照所述目标数据的访问地址获取所述目标数据之后，在本地缓存所述目标数据。
可选的，所述第三管理节点，具体用于基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照所述目标数据在所述公有云中的访问地址，以分片的方式从所述公有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件；
和/或，
基于可移植操作系统接口POSIX接口对应的文件格式，空的系统文件；按照所述目标数据在所述私有云中的访问地址，以分片的方式从所述私有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件。
可选的，所述第三管理节点，还用于在本地已缓存所述目标数据的情况下，从本地读取所述目标数据。
可选的，所述访问地址为所述目标数据在所述公有云中的访问地址；
所述第三管理节点，还用于在按照所述目标数据在所述公有云中的访问地址获取所述目标数据时，开启第二归档任务；其中，所述第二归档任务用于将从所述公有云获取的所述目标数据归档至所述私有云；
所述第一管理节点，还用于在完成所述第二归档任务时，将所述对应关系中记录的所述目标数据在所述公有云中的访问地址，修改为所述目标数据在所述私有云中的访问地址。
在本申请实施例的第三方面，还提供了一种数据访问装置，所述装置包括：
URL地址接收模块，用于接收第一客户端发送的目标数据的URL地址；
访问地址查询模块，用于在预先记录的对应关系中，查询所述URL地址对应的访问地址；其中，在所述目标数据上传至公有云，且未归档至私有云之前，所述对应关系中记录的为所述目标数据在所述公有云中的访问地址；在所述目标数据从所述公有云归档至所述私有云之后，所述对应关系中记录的为所述目标数据在所述私有云中的访问地址；
第一获取模块，用于在所述目标数据上传至公有云，且未归档至私有云之前，按照所述目标数据在所述公有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据；
第二获取模块，用于在所述目标数据从所述公有云归档至所述私有云之后，按照所述目标数据在所述私有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据。
可选的，所述装置还包括：
访问地址接收模块，用于在所述接收第一客户端发送的目标数据的URL地址之前，接收第二客户端发送的所述目标数据在所述公有云中的访问地址；其中，所述目标数据在所述公有云中的访问地址为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
URL地址生成模块，用于生成所述目标数据的URL地址，并向所述第二客户端发送所述URL地址；
对应关系记录模块，用于在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述URL地址。
可选的，所述装置还包括：
第一归档任务开启模块，用于在所述第二客户端将所述目标数据上传至所述公有云后，通过第一线程开启第一归档任务；其中，所述第一线程和第二线程是异步的；所述第二线程用于基于所述URL地址获取所述目标数据；所述第一归档任务用于将所述公有云中的所述目标数据归档至所述私有云；
对应关系修改模块，用于在完成所述第一归档任务时，将所述对应关系中记录的所述目标数据在所述公有云中的访问地址，修改为所述目标数据在所述私有云中的访问地址。
可选的，所述对应关系表示数据的数据标识与数据的访问地址之间的关系；所述URL地址中携带有所述目标数据的数据标识；
所述装置还包括：
数据标识接收模块，用于接收所述第二客户端发送的所述目标数据的数据标识；其中，所述目标数据的数据标识为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
所述对应关系记录模块，具体用于在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述目标数据的数据标识；
所述访问地址查询模块，具体用于在预先记录的对应关系中，查询所述目标数据的数据标识对应的访问地址。
可选的，所述装置还包括：
缓存判断模块，用于在所述在预先记录的对应关系中，查询所述URL地址对应的访问地址之前，判断本地是否已缓存所述目标数据；在本地未缓存所述目标数据的情况下，触发所述访问地址查询模块；
数据缓存模块，用于在所述按照所述目标数据的访问地址获取所述目标数据之后，在本地缓存所述目标数据。
可选的，所述缓存判断模块，还用于在本地已缓存所述目标数据的情况下，触发第三获取模块；
所述第三获取模块，用于从本地读取所述目标数据，作为用于向所述第一客户端发送的数据。
可选的，所述第一获取模块，具体用于基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照所述目标数据在所述公有云中的访问地址，以分片的方式从所述公有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件；
和/或，
所述第二获取模块，具体用于基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照所述目标数据在所述私有云中的访问地址，以分片的方式从所述私有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件。
在本申请实施的第四方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的数据访问方法。
在本申请实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的数据访问方法。
在本申请实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的数据访问方法。
本申请实施例提供的一种数据访问方法、系统、装置、电子设备及存储介质，接收第一客户端发送的目标数据的URL(Universal Resource Locator，统一资源定位符)地址；在预先记录的对应关系中，查询URL地址对应的访问地址；其中，在目标数据上传至公有云，且未归档至私有云之前，对应关系中记录的为目标数据在公有云中的访问地址；在目标数据从公有云归档至私有云之后，对应关系中记录的为目标数据在私有云中的访问地址；在目标数据上传至公有云，且未归档至私有云之前，按照目标数据在公有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据；在目标数据从公有云归档至私有云之后，按照目标数据在私有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据。
基于上述处理，当在目标数据上传至公有云，且未归档至私有云之前，基于对应关系查询到的为目标数据在公有云中的访问地址，进而，可以基于目标数据在公有云中的访问地址从公有云中获取目标数据；在目标数据从公有云归档至私有云之后，基于对应关系查询到的为目标数据在私有云中的访问地址，进而，可以基于目标数据在私有云中的访问地址从私有云中获取目标数据。可见，当目标数据存储在公有云或私有云时，均可基于预先记录的对应关系，及时确定出目标数据的访问地址，也就可以确定目标数据的存储位置，进而获取目标数据并向第一客户端发送目标数据，也就能够及时地向用户提供数据的访问功能，降低数据的访问延迟。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的数据访问方法的第一种流程图；
图2为本申请实施例提供的数据访问方法的第二种流程图；
图3为本申请实施例提供的数据访问方法的第三种流程图；
图4为本申请实施例提供的一种数据访问系统的结构示意图；
图5为本申请实施例提供的一种数据访问装置的结构示意图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
随着云计算技术的发展，越来越多的平台利用混合云对用户上传的数据进行存储。混合云包括公有云和私有云。用户可以通过客户端，将数据上传至公有云，例如，将数据上传至公有云OSS(Object Storage Service，对象存储服务)。在该数据完成上传后，再将该数据从公有云归档至私有云，即，将该数据从公有云存储至私有云。在将该数据归档至私有云后，公有云可以继续存储该数据，或者，也可以将公有云中的该数据删除。进而，可以得到该数据在私有云中的访问地址。后续，用户可以在客户端通过该访问地址，访问私有云中存储的该数据。客户端可以是电子设备，包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等。
可见，在相关技术中，在该数据上传至公有云后，还需要完成从公有云归档至私有云，用户才可以对该数据进行访问，即，无法及时向用户提供该数据的访问功能，导致数据的访问延迟。
为了及时地向用户提供数据的访问功能，降低数据的访问延迟，本申请实施例提供了一种数据访问方法，可以应用于电子设备，该电子设备可以为网络中的节点(可以称为管理节点)。例如，该管理节点可以为服务器，即，管理节点能够与客户端网络互通，用于向客户端提供数据访问的服务。参见图1，图1为本申请实施例提供的数据访问方法的第一种流程图，该方法可以包括以下步骤：
步骤S101：接收第一客户端发送的目标数据的URL地址。
步骤S102：在预先记录的对应关系中，查询URL地址对应的访问地址。
其中，在目标数据上传至公有云，且未存储至私有云之前，对应关系中记录的为目标数据在公有云中的访问地址；在目标数据从公有云归档至私有云之后，对应关系中记录的为目标数据在私有云中的访问地址。
步骤S103：在目标数据上传至公有云，且未归档至私有云之前，按照目标数据在公有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据。
步骤S104：在目标数据从公有云归档至私有云之后，按照目标数据在私有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据。
本申请实施例提供的一种数据访问方法，当在目标数据上传至公有云，且未归档至私有云之前，基于对应关系查询到的为目标数据在公有云中的访问地址，进而，可以基于目标数据在公有云中的访问地址从公有云中获取目标数据；在目标数据从公有云归档至私有云之后，基于对应关系查询到的为目标数据在私有云中的访问地址，进而，可以基于目标数据在私有云中的访问地址从私有云中获取目标数据。可见，当目标数据存储在公有云或私有云时，均可基于预先记录的对应关系，及时确定出目标数据的访问地址，也就可以确定目标数据的存储位置，进而获取目标数据并向第一客户端发送目标数据，也就能够及时地向用户提供数据的访问功能，降低数据的访问延迟。
针对步骤S101，目标数据为当前需要访问的数据，第一客户端为当前需要访问目标数据的客户端。第二客户端为上传目标数据的客户端。在本申请实施例中，数据可以为文件，例如，可以为视频文件、音频文件、文档文件等。
用户可以通过客户端(即本申请中的第二客户端)上传数据，针对每一数据，当该数据上传至公有云时，管理节点生成该数据的URL地址，并向第二客户端发送URL地址。每一数据的URL地址是唯一的，URL地址中的域名可以指向管理节点，URL地址中还可以携带该数据的数据标识。
第一客户端和第二客户端可以为同一个客户端，管理节点向第二客户端发送URL地址，也就是向第一客户端发送URL地址，进而第一客户端可以接收URL地址。
或者，第一客户端和第二客户端为不同的两个客户端，管理节点向第二客户端发送URL地址，相应的，第一客户端可以从第二客户端获取该URL地址。例如，用户A通过第二客户端上传目标数据，并获取到目标数据的URL地址，然后，用户A可以向用户B分享得到的URL地址。进而，用户B可以通过第一客户端，使用该URL地址访问目标数据。
例如，第一客户端接收到目标数据的URL地址，登录第一客户端的用户也就可以通过第一客户端对目标数据的URL地址进行操作，例如，该用户可以点击第一客户端显示的目标数据的URL地址，进而，第一客户端在检测到该用户针对目标数据的URL地址的点击操作时，向管理节点发送目标数据的URL地址。进而，管理节点可以基于目标数据的URL地址确定目标数据的访问地址。
针对步骤S102，预先记录的对应关系可以是URL地址和访问地址的对应关系，或者，预先记录的对应关系也可以是数据标识和访问地址的对应关系。URL地址中携带有数据的数据标识。在数据上传至公有云，且未归档至私有云之前，对应关系中的访问地址为数据在公有云中的访问地址。在数据从公有云归档至私有云之后，对应关系中的访问地址为数据在私有云中的访问地址。
相应的，在目标数据上传至公有云，且未归档至私有云之前，基于上述对应关系查询到的为目标数据在公有云中的访问地址；在目标数据从公有云归档至私有云之后，基于上述对应关系查询到的为目标数据在私有云中的访问地址。
针对步骤S103，由于在目标数据上传至公有云，且未归档至私有云之前，查询到URL地址对应的访问地址为目标数据在公有云中的访问地址，因此，管理节点可以基于该访问地址，确定目标数据在公有云中的存储位置，进而，从公有云中获取目标数据。
另外，管理节点从公有云中获取到目标数据后，可以向第一客户端发送目标数据，进而，第一客户端可以接收管理节点发送的目标数据，实现对目标数据的访问。
针对步骤S104，由于在目标数据从公有云归档至私有云之后，查询到URL地址对应的访问地址为目标数据在私有云中的访问地址，因此，管理节点可以基于该访问地址，确定目标数据在私有云中的存储位置，进而，从私有云中获取目标数据。
另外，管理节点从私有云中获取到目标数据后，可以向第一客户端发送目标数据，进而，第一客户端可以接收管理节点发送的目标数据，实现对目标数据的访问。
在一个实施例中，在接收第一客户端发送的目标数据的URL地址(S101)之前，在图1的基础上，参见图2，图2为本申请实施例提供的数据访问方法的第二种流程图，该方法还可以包括以下步骤：
步骤S105：接收第二客户端发送的目标数据在公有云中的访问地址。
其中，目标数据在公有云中的访问地址为：第二客户端在将目标数据上传至公有云后发送的；
步骤S106：生成目标数据的URL地址，并向第二客户端发送URL地址。
步骤S107：在对应关系中，对应地记录目标数据在公有云中的访问地址和URL地址。
在本申请实施例中，用户可以通过第二客户端上传目标数据，当目标数据上传至公有云时，第二客户端向管理节点发送目标数据在公有云中的访问地址。管理节点可以包括数据上传结束接口，第二客户端可以调用该数据上传结束接口告知管理节点数据已上传至公有云。例如，第二客户端可以将目标数据上传至距离最近的公有云，当目标数据上传至公有云时，第二客户端可以调用管理节点的数据上传结束接口，并通过该接口向管理节点发送目标数据的数据标识和数据在公有云中的访问地址。
进而，管理节点可以生成目标数据的URL地址并向第二客户端发送，第一客户端可以接收第二客户端发送的URL地址，用户可以通过第一客户端对URL地址进行操作，以访问目标数据。也就是说，当目标数据上传至公有云时，用户即可基于目标数据的URL地址对目标数据进行访问，也就能够使用户及时地访问目标数据，降低访问延迟，保证用户的访问体验。
在一种实现方式中，第二客户端将目标数据以分片的方式上传至公有云，如果由于网络中断等异常导致上传中断，第二客户端可以记录上传的进度。在之后异常恢复时，可以从上次上传中断的地方继续上传，能够实现断点续传，避免第二客户端在上传中断时丢失上传进度而导致重新上传的问题，可以提高数据上传的效率。
管理节点在接收到第二客户端发送的目标数据在公有云中的访问地址后，生成目标数据的URL地址，并可以记录接收到的目标数据在公有云中的访问地址与生成的URL地址的对应关系。
另外，第二客户端还可以向管理节点发送目标数据的数据标识，相应的，管理节点在接收到第二客户端发送的目标数据的数据标识和目标数据在公有云中的访问地址后，可以生成包含目标数据的数据标识的URL地址，并可以记录接收到的目标数据在公有云中的访问地址与目标数据的数据标识的对应关系。
在一个实施例中，对应关系可以表示数据的数据标识与数据的访问地址之间的关系。URL地址中携带有目标数据的数据标识。数据访问方法还可以包括以下步骤：
步骤1：接收第二客户端发送的目标数据的数据标识。
其中，目标数据的数据标识为：第二客户端在将目标数据上传至公有云后发送的。
在对应关系中，对应地记录目标数据在公有云中的访问地址和URL地址(S107)，包括：
步骤2：在对应关系中，对应地记录目标数据在公有云中的访问地址和目标数据的数据标识。
在预先记录的对应关系中，查询URL地址对应的访问地址(S102)，包括：
步骤3：在预先记录的对应关系中，查询目标数据的数据标识对应的访问地址。
在本申请实施例中，当数据上传至公有云时，第二客户端向管理节点发送该数据的数据标识以及数据在公有云中的访问地址。针对每一数据，该数据的数据标识是唯一的。另外，各数据的数据标识的位数可以相同，即，每一数据的数据标识的位数是固定的。例如，针对每一数据，可以随机生成固定位数的数据标识，或者，可以对该数据进行哈希处理得到该数据对应的哈希值，作为该数据的数据标识。
进而，管理节点可以对应地记录目标数据在公有云中的访问地址和目标数据的数据标识。也就是说，预先记录的对应关系可以是数据标识和访问地址的对应关系。
由于目标数据的URL地址中携带有目标数据的数据标识，因此，管理节点可以基于目标数据的URL地址，确定目标数据的数据标识，进而，基于上述对应关系确定目标数据的访问地址，基于目标数据的访问地址获取目标数据并向第一客户端发送目标数据。相应的，第一客户端接收管理节点发送的目标数据，实现对目标数据的访问。由于数据标识相较于URL地址较为简洁，因此，记录数据标识和访问地址的对应关系可以节省存储成本。同时数据标识的位数是固定的，便于检索查询，进而能够提高获取数据的速率，进一步降低数据访问的延迟。
在一个实施例中，数据访问方法还可以包括以下步骤：
步骤4：在第二客户端将目标数据上传至公有云后，通过第一线程开启第一归档任务。
其中，第一线程和第二线程是异步的；第二线程用于基于URL地址获取目标数据；第一归档任务用于将公有云中的目标数据归档至私有云。
步骤5：在完成第一归档任务时，将对应关系中记录的目标数据在公有云中的访问地址，修改为目标数据在私有云中的访问地址。
在本申请实施例中，管理节点可以基于异步的线程，分别用于开启第一归档任务，以及用于基于URL地址获取目标数据。例如，管理节点可以通过一个线程(可以称为线程1)开启第一归档任务，即，通过一个线程执行上述步骤4和步骤5。另外，还可以通过另一个线程(可以称为线程2)，对接收到目标数据的URL地址进行处理以获取目标数据，即，通过另一个线程执行上述步骤S101到步骤S104。
基于上述处理，由于第一线程和第二线程是异步，即，可以在提供数据访问业务的同时，实现数据的异步归档，使得提供数据访问业务不受数据归档的影响，提高数据访问的稳定性。
管理节点可以在第二客户端将目标数据上传至公有云后，开启归档任务(即第一归档任务)。
一种实现方式中，第二客户端在将目标数据上传至公有云后，可以获取到目标数据在公有云中的访问地址，进而，第二客户端可以向管理节点发送目标数据在公有云中的访问地址。相应的，当接收到第二客户端发送的目标数据在公有云中的访问地址时，管理节点可以开启归档任务，即，开始将公有云中的目标数据归档至私有云。
另一种实现方式中，管理节点也可以周期性地对公有云中客户端上传的数据进行检测，以确定出已完成上传至公有云且未归档至私有云的数据，进而，管理节点可以开启归档任务，以将确定出的数据归档至私有云。基于此，也就可以在第二客户端将目标数据上传至公有云后，将公有云中的目标数据归档至私有云。
当目标数据从公有云归档至私有云后，即，完成第一归档任务时，管理节点可以将对应关系中的目标数据在公有云中的访问地址替换为目标数据在私有云中的访问地址。后续，基于对应关系确定的访问地址为目标数据在私有云中的访问地址，管理节点可以从私有云中获取目标数据并向第一客户端发送目标数据。
将目标数据从公有云归档至私有云，也就可以基于私有云对目标数据进行控制，能够保证对数据的访问控制。另外，针对每一数据，管理节点完成第一归档任务时，可以替换数据库中记录的访问地址，即，替换该数据后端数据库中存储的访问地址。由于该数据的URL地址是确定的，因此，用户在前端访问该数据时，也就无需刷新页面，保证用户的访问体验。
在一个实施例中，在图1的基础上，参见图3，图3为本申请实施例提供的数据访问方法的第三种流程图，在在预先记录的对应关系中，查询URL地址对应的访问地址(S102)之前，数据访问方法还可以包括：
步骤S108：判断本地是否已缓存目标数据。
如果是，执行步骤S102。
数据访问方法还可以包括：
步骤S109：在按照目标数据的访问地址获取目标数据之后，在本地缓存目标数据。
如果否，执行步骤S110。
步骤S110：从本地读取目标数据，作为用于向第一客户端发送的数据。
在本申请实施例中，管理节点可以判断本地是否已缓存目标数据，如果未缓存，则管理节点确定目标数据的访问地址，进而基于访问地址获取目标数据，获取到目标数据后可以将目标数据缓存至本地。如果已缓存，则管理节点可以从本地读取目标数据。
基于上述处理，在首次获取目标数据时，可以将获取到的目标数据缓存至本地，后续可以从本地获取目标数据，提高获取目标数据的速度，进一步降低访问延迟。
另外，在目标数据上传至公有云，且未归档至私有云之前，管理节点可以将首次从公有云获取的目标数据缓存至本地，后续可以从本地获取目标数据。相应的，针对目标数据的多次访问，无需每次都从公有云获取目标数据，能够减少从公有云获取目标数据的流量消耗，降低流量成本。
在一个实施例中，按照目标数据在公有云中的访问地址获取目标数据，包括：基于可移植操作系统接口POSIX(Portable Operating System Interface of UNIX，可移植操作系统接口)接口对应的文件格式，生成空的系统文件；按照目标数据在公有云中的访问地址，以分片的方式从公有云中获取目标数据包含的数据分片；将获取的目标数据的数据分片导入系统文件。
和/或，
按照目标数据在私有云中的访问地址获取目标数据，包括：基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照目标数据在私有云中的访问地址，以分片的方式从私有云中获取目标数据包含的数据分片；将获取的目标数据的数据分片导入系统文件。
在本申请实施例中，管理节点可以基于POSIX接口对应的文件格式从公有云中获取数据，也可以基于POSIX接口对应的文件格式从私有云中获取数据。
例如，管理节点可以基于POSIX接口对应的文件格式，生成一个空的系统文件，按照目标数据的访问地址以分片的方式从目标数据的存储位置获取目标数据并导入生成的系统文件。另外，管理节点也可以以分片的方式向第一客户端发送目标数据。当管理节点向第一客户端发送目标数据的数据分片的速度较快，而管理节点从公有云或私有云获取目标数据的数据分片的速度较慢时，能够避免管理节点向第一客户端发送目标数据的数据分片的过程中产生中断。在该情况下，此时系统文件中的数据分片处于阻塞状态，当管理节点从公有云或私有云中获取到更多数据分片时，可以继续向第一客户端发送目标数据的数据分片，避免产生中断而导致重新启动数据获取过程，也就可以减少资源的消耗，提高数据获取的效率。
本申请实施例还提供了一种数据访问系统，参见图4，图4为本申请实施例提供的一种数据访问系统的结构示意图，在图4中，第一客户端和第二客户端是同一个客户端，即，客户端403，公有云OSS404即为上述公有云，私有云OSS405即为上述私有云。数据访问系统包括：第一管理节点401。
第一管理节点401，用于接收第一客户端发送的目标数据的URL地址；
在预先记录的对应关系中，查询URL地址对应的访问地址；其中，在目标数据上传至公有云，且未归档至私有云之前，对应关系中记录的为目标数据在公有云中的访问地址；在目标数据从公有云归档至私有云之后，对应关系中记录的为目标数据在私有云中的访问地址；
在目标数据上传至公有云，且未归档至私有云之前，按照目标数据在公有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据；
在目标数据从公有云归档至私有云之后，按照目标数据在私有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据。
本申请实施例提供的一种数据访问系统，当在目标数据上传至公有云，且未归档至私有云之前，基于对应关系查询到的访问地址为目标数据在公有云中的访问地址，进而可以基于目标数据在公有云中的访问地址从公有云中获取目标数据；在目标数据从公有云归档至私有云之后，基于对应关系查询到的访问地址为目标数据在私有云中的访问地址，进而可以基于目标数据在私有云中的访问地址从私有云中获取目标数据。可见，当目标数据存储在公有云或私有云时，均可基于预先记录的对应关系，及时确定出目标数据的访问地址，也就可以确定目标数据的存储位置，进而获取目标数据并向第一客户端发送目标数据，也就能够及时地向用户提供数据的访问功能，降低数据的访问延迟。
在本申请实施例中，如图4中的步骤⑤所示，客户端403向第一管理节点401发送URL地址，即，目标数据的URL地址，以获取目标数据。第一管理节点401可以通过Nginx(Engine x，一个高性能的HTTP(Hyper Text Transfer Protocol，超文本传输协议)和反向代理服务器)路由，基于包含目标数据的数据标识的URL地址，确定目标数据的数据标识。进而，第一管理节点401可以基于目标数据的数据标识和目标数据的访问地址的对应关系确定目标数据的访问地址，即，确定目标数据的存储位置。进而，第一管理节点401可以通过Lua(一种脚本语言)获取目标数据并向第一客户端发送目标数据。
在一个实施例中，参见图4，数据访问系统还包括：第二管理节点402。
第二管理节点402，用于在第一管理节点401接收第一客户端发送的目标数据的URL地址之前，接收第二客户端发送的目标数据在公有云中的访问地址；其中，目标数据在公有云中的访问地址为：第二客户端在将目标数据上传至公有云后发送的；
生成目标数据的URL地址，并向第二客户端发送URL地址；
在对应关系中，对应地记录目标数据在公有云中的访问地址和URL地址。
在本申请实施例中，当目标数据上传至公有云OSS404时，第二管理节点402接收客户端403发送的目标数据在公有云OSS404中的访问地址，进而，第二管理节点402可以生成携带有第一管理节点401的域名信息以及目标数据的数据标识的URL地址，并向客户端403发送该URL地址，同时可以对应地记录目标数据在公有云OSS404中的访问地址以及目标数据的URL地址，或者，对应地记录目标数据在公有云OSS404中的访问地址以及目标数据的数据标识。
基于上述处理，通过多个管理节点实现对数据的访问，可以提高数据访问系统的稳定性。
另外，当用户通过客户端403上传数据时，第二管理节点402可以对用户进行权限认证。当用户通过权限认证时，即，用户拥有将数据上传至公有云OSS404的权限时，第二管理节点向客户端403发送公有云OSS404的地址，进而，用户可以通过客户端403将数据上传至公有云OSS404。
在一个实施例中，针对非法数据或禁止访问的数据，第一管理节点401可以标记此类数据，当第一管理节点401接收到客户端403发送的URL地址时，判断该URL地址对应的数据是否被标记为非法数据或禁止访问的数据。若被标记，则阻断对该数据的访问；若未被标记，则基于该URL地址确定数据的访问地址，获取数据并向客户端403发送。第一管理节点401可以控制对非法数据或禁止访问的数据的获取，也就能够保证用户访问的数据是安全、可靠、合法的。
在一个实施例中，第一管理节点401和第二管理节点402可以基于数据库记录对应关系，第一管理节点401和第二管理节点402可以使用同一个数据库；或者，第一管理节点401和第二管理节点402分别使用不同的数据库，此时，第一管理节点401的数据库和第二管理节点402的数据库中的信息是同步更新的。
在一个实施例中，如图4中步骤①所示，客户端403可以将数据以分片的方式上传至距离最近的公有云OSS404。
如图4中步骤②所示，当数据上传至公有云OSS404时，客户端403可以调用第二管理节点402的数据上传结束接口，并通过该接口向第二管理节点402发送数据的数据标识以及数据在公有云OSS404中的访问地址。
如图4中步骤③所示，在数据上传至公有云OSS404后，第二管理节点402更新数据库中的信息，对应地记录该数据的数据标识和该数据在公有云OSS404中的访问地址，并标记该数据已结束上传。同时，第二管理节点402生成携带有第一管理节点401的域名信息的URL地址，该URL地址即为该数据的外网访问地址，且可以在数据库中记录URL地址与该数据在公有云OSS404中的访问地址的对应关系，同理，第一管理节点401也可以获取到该对应关系；或者，也可以在数据库中记录该数据的数据标识与该数据在公有云OSS404中的访问地址的对应关系，同理，第一管理节点401也可以获取到该对应关系。第二管理节点402向客户端403发送该数据的URL地址并进行异步归档，即，启动异步的第一归档任务。如图4中步骤④所示，第一归档任务是异步的后台服务，将公有云OSS404中的数据归档至私有云OSS405，与访问数据的过程是异步的，能够减少访问数据的耗时。
在一个实施例中，第二管理节点402，还用于在第二客户端将目标数据上传至公有云后，开启第一归档任务。
其中，第一归档任务用于将公有云中的目标数据归档至私有云。
第一管理节点401，还用于在完成第一归档任务时，将对应关系中记录的目标数据在公有云中的访问地址，修改为目标数据在私有云中的访问地址。
在本申请实施例中，第二管理节点402在客户端403将数据上传至公有云OSS404后，基于接收到的客户端403发送的数据在公有云OSS404中的访问地址，开启第一归档任务，即，开始将公有云OSS404中的该数据归档至私有云OSS405。由于第一管理节点401和第二管理节点402可以共用数据库或者同步更新数据库中的信息，因此，如图4中步骤⑧所示，在第二管理节点402完成第一归档任务时，触发第一管理节点401替换数据库中的访问地址，即，第一管理节点401将对应关系中的该数据在公有云OSS404中的访问地址替换为该数据在私有云OSS405中的访问地址。第二管理节点开启第一归档任务与第一管理节点基于URL地址获取目标数据可以是异步实现的，即，可以在提供数据访问业务的同时，实现数据的异步归档，使得提供数据访问业务不受数据归档的影响，提高数据访问的稳定性。
在一个实施例中，当第一归档任务完成后，基于对应关系确定的访问地址为目标数据在私有云OSS405中的访问地址，进而，第一管理节点401可以从私有云OSS405中获取目标数据。
在一个实施例中，对应关系表示数据的数据标识与数据的访问地址之间的关系；URL地址中携带有目标数据的数据标识。
第二管理节点402，还用于接收第二客户端发送的目标数据的数据标识。其中，目标数据的数据标识为：第二客户端在将目标数据上传至公有云后发送的。
第二管理节点402，具体用于在对应关系中，对应地记录目标数据在公有云中的访问地址和目标数据的数据标识。
在预先记录的对应关系中，查询目标数据的数据标识对应的访问地址。
在本申请实施例中，当数据上传至公有云OSS404时，客户端403向第二管理节点402发送该数据的数据标识以及数据在公有云OSS404中的访问地址。
进而，第二管理节点402可以对应地记录该数据在公有云OSS404中的访问地址和该数据的数据标识。相应的，第一管理节点401可以同步记录该数据在公有云OSS404中的访问地址和该数据的数据标识的对应关系。
当访问目标数据时，由于目标数据的URL地址中携带有目标数据的数据标识，因此，第一管理节点401可以基于目标数据的URL地址，确定目标数据的数据标识，进而确定目标数据的访问地址。
在一个实施例中，参见图4，数据访问系统还包括：第三管理节点406。
第一管理节点401，用于向第三管理节点406发送访问地址。
第三管理节点406，用于在目标数据上传至公有云，且未归档至私有云之前，按照目标数据在公有云中的访问地址获取目标数据；在目标数据从公有云归档至私有云之后，按照目标数据在私有云中的访问地址获取目标数据。
第一管理节点401，还用于从第三管理节点406获取目标数据，作为用于向第一客户端发送的数据。
在本申请实施例中，第一管理节点401基于预先记录的对应关系，确定目标数据的访问地址，并向第三管理节点406发送目标数据的访问地址。第三管理节点406可以按照目标数据的访问地址从目标数据的存储位置获取目标数据，第一管理节点401从第三管理节点406获取目标数据。进而，第一管理节点401可以将目标数据发送给客户端403，能够及时地向用户提供数据的访问功能。
通过多个管理节点实现对数据的访问，当部分管理节点出现故障时，其他管理节点仍可以正常工作，即，数据访问系统的部分功能仍可以正常运行，可以提高数据访问系统的稳定性。
在一个实施例中，如图4中的步骤⑥和⑦所示，第三管理节点406基于HTTP(HyperText Transfer Protocol，超文本传输协议)协议从公有云OSS404中以分片的方式获取目标数据。第一管理节点401从第三管理节点406以分片的方式获取目标数据。
在一个实施例中，第三管理节点406，还用于在按照目标数据的访问地址获取目标数据之前，判断本地是否已缓存目标数据；
在本地未缓存目标数据的情况下，按照目标数据的访问地址获取目标数据；
在按照目标数据的访问地址获取目标数据之后，在本地缓存目标数据。
在一个实施例中，第三管理节点406，具体用于基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照目标数据在公有云中的访问地址，以分片的方式从公有云中获取目标数据包含的数据分片；将获取的目标数据的数据分片导入系统文件；
和/或，
基于可移植操作系统接口POSIX接口对应的文件格式，空的系统文件；按照目标数据在私有云中的访问地址，以分片的方式从私有云中获取目标数据包含的数据分片；将获取的目标数据的数据分片导入系统文件。
在一个实施例中，第三管理节点406还用于在本地已缓存目标数据的情况下，从本地读取目标数据。
在本申请实施例中，第三管理节点406可以判断本地是否已缓存目标数据，如果未缓存，则在获取到目标数据后可以将目标数据缓存至本地。如果已缓存，则第三管理节点406可以从本地获取目标数据。
在一个实施例中，目标数据的访问地址为目标数据在公有云中的访问地址，即，目标数据的访问地址为目标数据在公有云OSS404中的访问地址。
第三管理节点406，还用于在按照目标数据在公有云中的访问地址获取目标数据时，开启第二归档任务。其中，第二归档任务用于将从公有云获取的目标数据归档至私有云。
第一管理节点401，还用于在完成第二归档任务时，将对应关系中记录的目标数据在公有云中的访问地址，修改为目标数据在私有云中的访问地址。
在本申请实施例中，第三管理节点406可以在按照目标数据的访问地址获取目标数据时，开始将从公有云OSS404获取的目标数据归档至私有云OSS405。
基于此，第三管理节点406可以只从公有云OSS404获取一次目标数据，即可以完成目标数据归档至私有云，也就可以减少从公有云OSS404获取目标数据的流量消耗，节省流量成本。
本申请实施例还提供了一种数据访问装置，参见图5，图5为本申请实施例提供的一种数据访问装置的结构示意图，数据访问装置可以包括：
URL地址接收模块501，用于接收第一客户端发送的目标数据的URL地址。
访问地址查询模块502，用于在预先记录的对应关系中，查询URL地址对应的访问地址；其中，在目标数据上传至公有云，且未归档至私有云之前，对应关系中记录的为目标数据在公有云中的访问地址；在目标数据归档至私有云之后，对应关系中记录的为目标数据在私有云中的访问地址。
第一获取模块503，用于在目标数据上传至公有云，且未归档至私有云之前，按照目标数据在公有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据。
第二获取模块504，用于在目标数据从公有云归档至私有云之后，按照目标数据在私有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据。
本申请实施例提供的一种数据访问装置，当在目标数据上传至公有云，且未归档至私有云之前，基于对应关系查询到的为目标数据在公有云中的访问地址，进而，可以基于目标数据在公有云中的访问地址从公有云中获取目标数据；在目标数据从公有云归档至私有云之后，基于对应关系查询到的为目标数据在私有云中的访问地址，进而，可以基于目标数据在私有云中的访问地址从私有云中获取目标数据。可见，当目标数据存储在公有云或私有云时，均可基于预先记录的对应关系，及时确定出目标数据的访问地址，也就可以确定目标数据的存储位置，进而获取目标数据并向第一客户端发送目标数据，也就能够及时地向用户提供数据的访问功能，降低数据的访问延迟。
在一个实施例中，数据访问装置还可以包括：
访问地址接收模块，用于在接收第一客户端发送的目标数据的URL地址之前，接收第二客户端发送的目标数据在公有云中的访问地址；其中，目标数据在公有云中的访问地址为：第二客户端在将目标数据上传至公有云后发送的。
URL地址生成模块，用于生成目标数据的URL地址，并向第二客户端发送URL地址。
对应关系记录模块，用于在对应关系中，对应地记录目标数据在公有云中的访问地址和URL地址。
在一个实施例中，数据访问装置还可以包括：
第一归档任务开启模块，用于在第二客户端将目标数据上传至公有云后，通过第一线程开启第一归档任务；其中，第一线程和第二线程是异步的；第二线程用于基于URL地址获取目标数据；第一归档任务用于将公有云中的目标数据归档至私有云。
对应关系修改模块，用于在完成第一归档任务时，将对应关系中记录的目标数据在公有云中的访问地址，修改为目标数据在私有云中的访问地址。
在一个实施例中，对应关系表示数据的数据标识与数据的访问地址之间的关系；URL地址中携带有目标数据的数据标识。数据访问装置还可以包括：
数据标识接收模块，用于接收第二客户端发送的目标数据的数据标识；其中，目标数据的数据标识为：第二客户端在将目标数据上传至公有云后发送的。
对应关系记录模块，具体用于在对应关系中，对应地记录目标数据在公有云中的访问地址和目标数据的数据标识。
访问地址查询模块，具体用于在预先记录的对应关系中，查询目标数据的数据标识对应的访问地址。
在一个实施例中，数据访问装置还可以包括：
缓存判断模块，用于在在预先记录的对应关系中，查询URL地址对应的访问地址之前，判断本地是否已缓存目标数据；在本地未缓存目标数据的情况下，触发访问地址查询模块。
数据缓存模块，用于在按照目标数据的访问地址获取目标数据之后，在本地缓存目标数据。
在一个实施例中，缓存判断模块，还用于在本地已缓存目标数据的情况下，触发第三获取模块。
第三获取模块，用于从本地读取目标数据，作为用于向第一客户端发送的数据。
在一个实施例中，第一获取模块，具体用于基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照目标数据在公有云中的访问地址，以分片的方式从公有云中获取目标数据包含的数据分片；将获取的目标数据的数据分片导入系统文件。
和/或，
第二获取模块，具体用于基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照目标数据在私有云中的访问地址，以分片的方式从私有云中获取目标数据包含的数据分片；将获取的目标数据的数据分片导入系统文件。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
接收第一客户端发送的目标数据的URL地址。
在预先记录的对应关系中，查询URL地址对应的访问地址；其中，在目标数据上传至公有云，且未归档至私有云之前，对应关系中记录的为目标数据在公有云中的访问地址；在目标数据从公有云归档至私有云之后，对应关系中记录的为目标数据在私有云中的访问地址。
在目标数据上传至公有云，且未归档至私有云之前，按照目标数据在公有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据。
在目标数据从公有云归档至私有云之后，按照目标数据在私有云中的访问地址获取目标数据，作为用于向第一客户端发送的数据。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的数据访问方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据访问方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统和装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (17)
1.一种数据访问方法，其特征在于，所述方法包括：
接收第一客户端发送的目标数据的URL地址；
在预先记录的对应关系中，查询所述URL地址对应的访问地址；其中，在所述目标数据上传至公有云，且未归档至私有云之前，所述对应关系中记录的为所述目标数据在所述公有云中的访问地址；在所述目标数据从所述公有云归档至所述私有云之后，所述对应关系中记录的为所述目标数据在所述私有云中的访问地址；
在所述目标数据上传至公有云，且未归档至私有云之前，按照所述目标数据在所述公有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据；
在所述目标数据从所述公有云归档至所述私有云之后，按照所述目标数据在所述私有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据。
2.根据权利要求1所述的方法，其特征在于，在所述接收第一客户端发送的目标数据的URL地址之前，所述方法还包括：
接收第二客户端发送的所述目标数据在所述公有云中的访问地址；其中，所述目标数据在所述公有云中的访问地址为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
生成所述目标数据的URL地址，并向所述第二客户端发送所述URL地址；
在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述URL地址。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述第二客户端将所述目标数据上传至所述公有云后，通过第一线程开启第一归档任务；其中，所述第一线程和第二线程是异步的；所述第二线程用于基于所述URL地址获取所述目标数据；所述第一归档任务用于将所述公有云中的所述目标数据归档至所述私有云；
在完成所述第一归档任务时，将所述对应关系中记录的所述目标数据在所述公有云中的访问地址，修改为所述目标数据在所述私有云中的访问地址。
4.根据权利要求2所述的方法，其特征在于，所述对应关系表示数据的数据标识与数据的访问地址之间的关系；所述URL地址中携带有所述目标数据的数据标识；
所述方法还包括：
接收所述第二客户端发送的所述目标数据的数据标识；其中，所述目标数据的数据标识为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
所述在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述URL地址，包括：
在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述目标数据的数据标识；
所述在预先记录的对应关系中，查询所述URL地址对应的访问地址，包括：
在预先记录的对应关系中，查询所述目标数据的数据标识对应的访问地址。
5.根据权利要求1所述的方法，其特征在于，在所述在预先记录的对应关系中，查询所述URL地址对应的访问地址之前，所述方法还包括：
判断本地是否已缓存所述目标数据；
在本地未缓存所述目标数据的情况下，执行所述在预先记录的对应关系中，查询所述URL地址对应的访问地址步骤；
所述方法还包括：
在按照所述目标数据的访问地址获取所述目标数据之后，在本地缓存所述目标数据。
6.根据权利要求1所述的方法，其特征在于，所述按照所述目标数据在所述公有云中的访问地址获取所述目标数据，包括：基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照所述目标数据在所述公有云中的访问地址，以分片的方式从所述公有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件；
和/或，
所述按照所述目标数据在所述私有云中的访问地址获取所述目标数据，包括：基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照所述目标数据在所述私有云中的访问地址，以分片的方式从所述私有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件。
7.一种数据访问系统，其特征在于，所述数据访问系统包括：第一管理节点；其中：
所述第一管理节点，用于接收第一客户端发送的目标数据的URL地址；
在预先记录的对应关系中，查询所述URL地址对应的访问地址；其中，在所述目标数据上传至公有云，且未归档至私有云之前，所述对应关系中记录的为所述目标数据在所述公有云中的访问地址；在所述目标数据从所述公有云归档至所述私有云之后，所述对应关系中记录的为所述目标数据在所述私有云中的访问地址；
在所述目标数据上传至公有云，且未归档至私有云之前，按照所述目标数据在所述公有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据；
在所述目标数据从所述公有云归档至所述私有云之后，按照所述目标数据在所述私有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据。
8.根据权利要求7所述的系统，其特征在于，所述数据访问系统还包括：第二管理节点；
所述第二管理节点，用于在所述第一管理节点接收所述第一客户端发送的目标数据的URL地址之前，接收第二客户端发送的所述目标数据在所述公有云中的访问地址；其中，所述目标数据在所述公有云中的访问地址为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
生成所述目标数据的URL地址，并向所述第二客户端发送所述URL地址；
在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述URL地址。
9.根据权利要求8所述的系统，其特征在于，
所述第二管理节点，还用于在所述第二客户端将所述目标数据上传至所述公有云后，开启第一归档任务；其中，所述第一归档任务用于将所述公有云中的所述目标数据归档至所述私有云；
所述第一管理节点，还用于在完成所述第一归档任务时，将所述对应关系中记录的所述目标数据在所述公有云中的访问地址，修改为所述目标数据在所述私有云中的访问地址。
10.根据权利要求8所述的系统，其特征在于，所述对应关系表示数据的数据标识与数据的访问地址之间的关系；所述URL地址中携带有所述目标数据的数据标识；
所述第二管理节点，还用于接收所述第二客户端发送的所述目标数据的数据标识；其中，所述目标数据的数据标识为：所述第二客户端在将所述目标数据上传至所述公有云后发送的；
所述第二管理节点，具体用于在所述对应关系中，对应地记录所述目标数据在所述公有云中的访问地址和所述目标数据的数据标识；
在预先记录的对应关系中，查询所述目标数据的数据标识对应的访问地址。
11.根据权利要求8所述的系统，其特征在于，所述数据访问系统还包括：第三管理节点；
所述第一管理节点，用于向所述第三管理节点发送所述访问地址；
所述第三管理节点，用于在所述目标数据上传至公有云，且未归档至私有云之前，按照所述目标数据在所述公有云中的访问地址获取所述目标数据；在所述目标数据从所述公有云归档至所述私有云之后，按照所述目标数据在所述私有云中的访问地址获取所述目标数据；
所述第一管理节点，还用于从所述第三管理节点获取所述目标数据，作为用于向所述第一客户端发送的数据。
12.根据权利要求11所述的系统，其特征在于，所述第三管理节点，还用于在按照所述目标数据的访问地址获取所述目标数据之前，判断本地是否已缓存所述目标数据；
在本地未缓存所述目标数据的情况下，按照所述目标数据的访问地址获取所述目标数据；
在按照所述目标数据的访问地址获取所述目标数据之后，在本地缓存所述目标数据。
13.根据权利要求12所述的系统，其特征在于，所述第三管理节点，具体用于基于可移植操作系统接口POSIX接口对应的文件格式，生成空的系统文件；按照所述目标数据在所述公有云中的访问地址，以分片的方式从所述公有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件；
和/或，
基于可移植操作系统接口POSIX接口对应的文件格式，空的系统文件；按照所述目标数据在所述私有云中的访问地址，以分片的方式从所述私有云中获取所述目标数据包含的数据分片；将获取的所述目标数据的数据分片导入所述系统文件。
14.根据权利要求11所述的系统，其特征在于，所述访问地址为所述目标数据在所述公有云中的访问地址；
所述第三管理节点，还用于在按照所述目标数据在所述公有云中的访问地址获取所述目标数据时，开启第二归档任务；其中，所述第二归档任务用于将从所述公有云获取的所述目标数据归档至所述私有云；
所述第一管理节点，还用于在完成所述第二归档任务时，将所述对应关系中记录的所述目标数据在所述公有云中的访问地址，修改为所述目标数据在所述私有云中的访问地址。
15.一种数据访问装置，其特征在于，所述装置包括：
URL地址接收模块，用于接收第一客户端发送的目标数据的URL地址；
访问地址查询模块，用于在预先记录的对应关系中，查询所述URL地址对应的访问地址；其中，在所述目标数据上传至公有云，且未归档至私有云之前，所述对应关系中记录的为所述目标数据在所述公有云中的访问地址；在所述目标数据从所述公有云归档至所述私有云之后，所述对应关系中记录的为所述目标数据在所述私有云中的访问地址；
第一获取模块，用于在所述目标数据上传至公有云，且未归档至私有云之前，按照所述目标数据在所述公有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据；
第二获取模块，用于在所述目标数据从所述公有云归档至所述私有云之后，按照所述目标数据在所述私有云中的访问地址获取所述目标数据，作为用于向所述第一客户端发送的数据。
16.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211456402.3A CN115865862B (zh) | 2022-11-21 | 2022-11-21 | 一种数据访问方法、系统、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211456402.3A CN115865862B (zh) | 2022-11-21 | 2022-11-21 | 一种数据访问方法、系统、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115865862A CN115865862A (zh) | 2023-03-28 |
| CN115865862B true CN115865862B (zh) | 2024-06-04 |
Family
ID=85664372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211456402.3A Active CN115865862B (zh) | 2022-11-21 | 2022-11-21 | 一种数据访问方法、系统、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115865862B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108347493A (zh) * | 2017-01-25 | 2018-07-31 | 华为技术有限公司 | 混合云管理方法、装置和计算设备 |
| CN109995853A (zh) * | 2019-03-15 | 2019-07-09 | 上海益普索信息技术有限公司 | 一种基于私有云的数据传输中心及方法 |
| CN110430281A (zh) * | 2019-08-15 | 2019-11-08 | 深圳市般若大数据技术有限公司 | 公有云获取私有云数据的方法、装置、设备及存储介质 |
| US10505903B1 (en) * | 2017-07-14 | 2019-12-10 | EMC IP Holding Company LLC | System and method of obtaining data from private cloud behind enterprise firewall |
| CN111314385A (zh) * | 2020-03-23 | 2020-06-19 | 郑州悉知信息科技股份有限公司 | 数据访问方法及装置 |
| CN113452592A (zh) * | 2021-06-09 | 2021-09-28 | 北京奥星贝斯科技有限公司 | 混合云架构下的跨云数据访问方法及装置 |
| CN113504755A (zh) * | 2021-07-23 | 2021-10-15 | 南京大全电气研究院有限公司 | 一种基于混合云构架的scada监控系统及方法 |
| CN113642014A (zh) * | 2021-07-23 | 2021-11-12 | 广州有信科技有限公司 | 一种基于混合云的数据访问系统及公有云服务器 |
| CN114389885A (zh) * | 2022-01-14 | 2022-04-22 | 浙江远东工业开发有限公司 | 一种安全的开放私有云数据库到公有云方法 |
| CN115242700A (zh) * | 2021-04-23 | 2022-10-25 | 网联清算有限公司 | 一种通信传输方法、装置及系统 |
| CN115344381A (zh) * | 2022-08-01 | 2022-11-15 | 北京通通易联科技有限公司 | 一种多云环境下部署停车场的方法及计算机系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10484460B2 (en) * | 2016-07-22 | 2019-11-19 | Microsoft Technology Licensing, Llc | Access services in hybrid cloud computing systems |
-
2022
- 2022-11-21 CN CN202211456402.3A patent/CN115865862B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108347493A (zh) * | 2017-01-25 | 2018-07-31 | 华为技术有限公司 | 混合云管理方法、装置和计算设备 |
| US10505903B1 (en) * | 2017-07-14 | 2019-12-10 | EMC IP Holding Company LLC | System and method of obtaining data from private cloud behind enterprise firewall |
| CN109995853A (zh) * | 2019-03-15 | 2019-07-09 | 上海益普索信息技术有限公司 | 一种基于私有云的数据传输中心及方法 |
| CN110430281A (zh) * | 2019-08-15 | 2019-11-08 | 深圳市般若大数据技术有限公司 | 公有云获取私有云数据的方法、装置、设备及存储介质 |
| CN111314385A (zh) * | 2020-03-23 | 2020-06-19 | 郑州悉知信息科技股份有限公司 | 数据访问方法及装置 |
| CN115242700A (zh) * | 2021-04-23 | 2022-10-25 | 网联清算有限公司 | 一种通信传输方法、装置及系统 |
| CN113452592A (zh) * | 2021-06-09 | 2021-09-28 | 北京奥星贝斯科技有限公司 | 混合云架构下的跨云数据访问方法及装置 |
| CN113504755A (zh) * | 2021-07-23 | 2021-10-15 | 南京大全电气研究院有限公司 | 一种基于混合云构架的scada监控系统及方法 |
| CN113642014A (zh) * | 2021-07-23 | 2021-11-12 | 广州有信科技有限公司 | 一种基于混合云的数据访问系统及公有云服务器 |
| CN114389885A (zh) * | 2022-01-14 | 2022-04-22 | 浙江远东工业开发有限公司 | 一种安全的开放私有云数据库到公有云方法 |
| CN115344381A (zh) * | 2022-08-01 | 2022-11-15 | 北京通通易联科技有限公司 | 一种多云环境下部署停车场的方法及计算机系统 |
Non-Patent Citations (2)
| Title |
|---|
| The Workflow Trace Archive: Open-Access Data From Public and Private Computing Infrastructures;L. Versluis et al.;IEEE Transactions on Parallel and Distributed Systems;20200930;第31卷(第9期);全文 * |
| 私有云与公有云协同的集群管理系统的设计与实现;欧阳代富;中国优秀硕士学位论文全文数据库;20200715;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115865862A (zh) | 2023-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9148332B2 (en) | Content delivery network | |
| US20150237113A1 (en) | Method and system for file transmission | |
| CN107872486B (zh) | 通信方法和装置 | |
| CN110401724B (zh) | 文件管理方法、文件传输协议服务器及存储介质 | |
| CN111970315A (zh) | 推送消息的方法、装置及系统 | |
| EP3170091B1 (en) | Method and server of remote information query | |
| US9705843B2 (en) | Method and system for domain name system based discovery of devices and objects | |
| WO2021007752A1 (zh) | 内容分发网络中的回源方法及相关装置 | |
| CN110958300B (zh) | 一种数据的上传方法、系统、装置、电子设备和计算机可读介质 | |
| US20170153909A1 (en) | Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine | |
| JP2009530922A (ja) | ピアツーピア・ゲートウェイ | |
| CN113395340A (zh) | 一种信息更新方法、装置、设备、系统和可读存储介质 | |
| CN113542292A (zh) | 基于dns和ip信誉数据的内网安全防护方法及系统 | |
| CN107992489B (zh) | 一种数据处理方法及服务器 | |
| CN113315852B (zh) | 一种域名解析的方法、装置及系统 | |
| CN115865862B (zh) | 一种数据访问方法、系统、装置、电子设备及存储介质 | |
| CN113301173A (zh) | 域名更新系统及方法、消息转发方法、服务器 | |
| CN110191203B (zh) | 实现服务器动态访问的方法及电子设备 | |
| CN114301872B (zh) | 基于域名的访问方法及装置、电子设备、存储介质 | |
| JP6607044B2 (ja) | サーバー装置、分散ファイルシステム、分散ファイルシステム制御方法、および、プログラム | |
| CN109688204B (zh) | 基于ndn网络的文件下载方法、节点、终端 | |
| CN113836533A (zh) | 一种文件监测方法、装置、电子设备及可读存储介质 | |
| CN116032762A (zh) | 网络业务的处理方法、系统和网关设备 | |
| CN117938713B (zh) | 用于cdn中的ip质量数据处理方法、装置、设备和介质 | |
| CN116033187B (zh) | 一种视频处理系统、方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |