CN104714835A - 一种数据访问处理方法及装置 - Google Patents

Abstract

本发明公开了一种数据访问处理方法及装置，用于消除数据访问操作的阻塞，减少系统资源的浪费。其中，数据访问处理方法，包括：终端设备启动的主线程处理模块在接收到数据访问请求之后，将所述数据访问请求提交给所述终端设备启动的任务线程处理模块；所述任务线程处理模块处理所述数据访问请求；以及在获得所述数据访问请求对应的处理结果之后，通知所述主线程处理模块。

Description

一种数据访问处理方法及装置

技术领域

本发明涉及数据访问技术领域，尤其涉及一种数据访问方法处理及装置。

背景技术

移动互联网的发展，特别是智能手机的普及，使越来越多的开发者基于Android、iOS等系统进行开发，为了支持数据备份和多设备间的数据共享，云存储服务提供者为开发者提供方便可靠的数据存储服务。为了方便开发者进行数据访问，云存储服务提供者提供云存储服务客户端，开发者通过安装云存储服务客户端便能够进行数据存储和查询等操作，无需考虑数据存储的具体过程。

目前的云存储服务客户端一般提供服务连接与关闭、存储对象的增加、删除、修改和查询等操作。开发者使用预先申请的开发者编号(ID)与密钥(Key)，以及所要连接服务器地址，与网络侧云存储服务器建立连接，然后调用相应的应用程序接口(API)进行存储对象的传输等操作。云存储服务器接收到访问请求后负责进行本地文件读写、数据分块上传下载、发送并解析网络请求等具体任务，直到任务完成向开发者返回结果。

目前的数据访问处理流程如图1所示，可以包括以下步骤：

S101、云存储服务客户端接收数据访问请求；

S102、云存储服务客户端向云存储对象访问API（应用程序接口）提交接收到的数据访问请求；

S103、云存储对象访问API判断与云存储服务器是否建立连接，如果否，执行步骤S104，如果是，执行步骤S105；

S104、与云存储服务器建立连接；

S105、向云存储服务器提交数据访问请求；

S106、接收云存储服务器返回的数据处理结果，并写入本地缓存；

S107、向开发者返回数据访问请求结果。

由图1的访问流程可知，现有的数据访问处理流程是同步模式的，上述数据访问处理过程中，云存储服务客户端须等待其访问的云存储服务器处理完成数据并返回结果或者出现异常返回结果后才能响应访问请求，造成数据访问处理的阻塞，由于在等待的同时，云存储服务客户端亦无法进行其他操作，从而造成了系统资源的浪费。

发明内容

本发明实施例提供一种数据访问处理方法，用于消除数据访问操作的阻塞，减少系统资源的浪费。

本发明实施例提供一种数据访问处理方法，包括：

终端设备启动的主线程处理模块在接收到数据访问请求之后，将所述数据访问请求提交给所述终端设备启动的任务线程处理模块；

所述任务线程处理模块处理所述数据访问请求；以及

在获得所述数据访问请求对应的处理结果之后，通知所述主线程处理模块。

本发明实施例提供一种数据处理装置，应用于终端设备中，包括主线程处理模块和任务线程处理模块，其中：

所述主线程处理模块，用于在接收到数据访问请求之后，将所述数据访问请求提交给所述终端设备启动的任务线程处理模块；

所述任务线程处理模块，用于处理所述数据访问请求；以及在获得所述数据访问请求对应的处理结果之后，通知所述主线程处理模块。

本发明实施例提供的数据访问处理方法及装置，当主线程处理模块接收到数据访问请求之后，将数据访问请求提交给任务线程处理模块，由任务线程处理模块处理数据访问请求，并在获得处理结果之后通知主线程处理模块，由于数据访问请求和数据访问处理分布在两个不同的线程处理模块中互不影响，为异步处理模式，主线程处理模块提交数据访问请求之后即可返回继续执行其他操作，从而消除了数据访问处理过程中的阻塞，减少了系统资源的浪费。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术中，数据访问处理流程示意图；

图2为本发明实施例中，数据访问处理流程示意图；

图3为本发明实施例中，本地缓存数据映射方式示意图；

图4为本发明实施例中，主线程模块请求下载一个远程数据对象的实施流程示意图；

图5为本发明实施例中，数据访问处理装置的结构示意图。

具体实施方式

为了消除数据访问处理过程中的阻塞，减少系统资源的浪费，本发明实施例提供了一种数据访问处理方法及装置。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图2所示，为本发明实施例提供的数据访问处理方法的实施流程示意图，可以包括以下步骤：

S201、终端设备启动的主线程处理模块在接收到数据访问请求之后，将所述数据访问请求提交给所述终端设备启动的任务线程处理模块；

具体实施时，主线程模块接收数据访问请求的流程与背景技术中的步骤S101～步骤S102相同，即主线程模块在接收到数据访问请求之后，将数据访问请求提交给云存储对象访问API（应用程序接口）。

本发明实施例中，API在接收到数据访问请求之后，将该数据访问请求提交给终端设备启动的任务线程处理模块进行处理。

S202、任务线程处理模块处理所述数据访问请求；

具体实施时，任务线程处理模块处理数据访问请求的具体流程与背景技术中的数据访问处理流程中的步骤S103～步骤S106相同，本发明实施例中不再赘述。

S203、任务线程处理模块在获得数据访问请求对应的处理结果之后，通知主线程处理模块。

较佳的，本发明实施例中，任务线程处理模块在获得了处理结果之后可以以回调的方式通知主线程处理模块。

较佳的，具体实施时，若任务处理模块接收到至少两个数据访问请求时，任务处理模块还可以按照以下步骤处理各数据访问请求：

步骤一、任务线程处理模块创建任务处理队列；

具体的，任务线程处理模块可以按照生产者-消费者模型建立任务处理队列，主线程处理模块作为生产者，任务线程处理模块作为消费者。

步骤二、任务线程处理模块针对接收到的每一数据访问请求，分别确定该数据访问请求对应的任务；

具体的，任务线程处理模块在接收到每一数据访问请求时，将该数据访问请求封装为相应类型的任务。每一任务的属性可以但不限于包括任务标志、任务类型、任务优先级、内容数据、时间戳和状态等信息。

步骤三、按照接收到数据访问请求的时间顺序，依次将该数据访问请求对应的任务添加至所述任务处理队列中；

步骤四、依次处理任务处理队列中包含的每一任务，直至所述任务处理队列为空。

更佳的，具体实施时，若任务处理模块接收到至少两个数据访问请求时，任务处理模块还可以按照以下步骤处理各数据访问请求：

步骤一、任务线程处理模块按照预设的优先级数量，创建至少两个任务处理队列，并确定每一任务处理队列对应的处理优先级；

具体的，任务线程处理模块可以根据预先配置的优先级数量，创建多个FIFO（先进先出）任务处理队列，每一任务处理队列对应不同的处理优先级，以创建两个任务处理队列为例，一个为高优先级任务处理队列，一个为低优先级任务处理队列。

步骤二、任务线程处理模块针对接收到的每一数据访问请求，分别确定该数据访问请求对应的任务和处理优先级；

具体的，任务线程处理模块在接收到每一数据访问请求时，将该数据访问请求封装对相应类型的任务，并根据任务类型确定其对应的处理优先级。每一任务的属性可以但不限于包括任务标志、任务类型、任务优先级、内容数据、时间戳和状态等信息。

步骤三、根据确定出的处理优先级，将该数据访问请求对应的任务添加至对应的任务处理队列中；

具体的，根据任务类型确定出的处理优先级，将任务添加至相应的任务处理队列中。

步骤四、根据任务处理队列对应的处理优先级，按照由高到低的顺序依次处理每一任务处理队列所包含的任务。

具体的，按照任务处理队列对应的处理优先级，优先处理优先级高的任务处理队列中的任务，当优先级高的任务处理队列为空时，再处理优先级低的任务处理队列中的任务，针对每一任务处理队列，可以按照先进先出（FIFO）方式进行处理。

特别地，具体实施时，还可以对多个任务处理队列的任务进行并行处理。

具体实施时，任务线程处理模块还可以根据预先配置的路径信息、空间大小信息等参数建立本地缓存文件，保存最近访问的数据对应的元数据信息表。具体的，任务线程处理模块可以根据配置选择LRU或者FIFO等策略缓存最近访问数据对应的内容数据文件，内容数据文件的信息保存在元数据信息表中，包括数据标识、数据大小、时间戳和有效性等属性。如图3所示，为本发明实施例提供的一种本地缓存数据映射方式示意图，元数据信息表中保存这对应的内容数据文件的信息，图3中，MetatData3的内容数据为null表示其尚未与元存储服务器中的内容数据文件同步。

基于建立的本地缓存，数据访问请求中还可以携带有有所请求数据对应的元数据信息，当任务线程处理模块接收数据访问请求之后，在将该数据访问请求封装为任务之前，还可以根据其中携带的元数据信息查找本地缓存是否有对应的内容数据文件，如果有，则向主线程处理模块返回查找到的内容数据文件，并将数据访问请求封装为对应类型的任务，并添加至相应的任务处理队列中。在其对应的任务处理完成，获得云存储服务器返回的处理结果之后，将处理结果通知主线程处理模块，同时，根据处理结果确定需要更新本地缓存中存储的内容数据文件时，则进行更新。

较佳的，本发明实施例中，任务线程处理模块在处理任务处理队列中包含的任务过程中，还可以监测终端设备的网络连接是否正常，若监测到终端设备连接异常时，监听终端设备的网络连接状态，一旦监听到终端设备的网络连接恢复正常时，自动与云存储服务器建立连接，并继续处理任务队列中未处理完成的任务。

为了更好的理解本发明实施例，以下以主线程模块接收到的数据访问请求为请求下载一个远程数据对象为例，对本发明实施例的实施过程进行说明。如图4所示，可以包括以下步骤;

S401、主线程处理模块接收下载远程数据对象的数据访问请求；

S402、主线程处理模块将接收到的数据访问请求提交给API；

具体的，可以为getObject(key,container,callBack)，其中，key和container是请求对象的标识和所在容器，而callBack是预先注册的回调函数。

S403、API将数据访问请求提交给任务线程处理模块；

S404、任务线程处理模块查找本地缓存是否有该数据对象，如果有，执行步骤S405，否则执行步骤S406；

S405、任务线程处理模块向主线程处理模块返回查找到数据对象；

具体的，任务线程处理模块可以调用callBack函数通知主线程处理模块。

S406、任务线程处理模块将接收到的数据请求封装为相应类型的任务；

具体的，本例中，getObgect将此数据访问请求封装为ObjectQuery类型的任务；

S407、任务线程处理模块将创建的任务添加至任务处理队列中；

S408、任务线程处理模块判断与网络侧的云存储服务器之间是否建立了连接，如果否，执行步骤S409，如果是，执行步骤S410；

具体的，任务线程处理模块检查到有新的任务时，将检查与云存储服务器是否建立了连接。

S409、与网络侧的云存储服务器建立连接；

S410、从云存储服务器下载数据对象；

在与云存储服务器建立连接之后，当执行任务处理队列中的ObjectQuery时，从云存储服务器获取需要下载的数据对象。

S411、通知主线程处理模块；

具体的，调用callBack函数通知主线程处理模块。

S412；根据下载的数据对象判断是否需要更新本地存储的数据对象，如果是，执行步骤S413，否则，流程结束；

S413、更新本地存储的该数据对象。

本发明实施例中，由于采用异步模式处理数据访问请求，主线程处理模块无需等待数据访问请求处理完成之后才能进行后续工作，而是仅提交数据访问请求之后即返回，然后由任务线程处理模块完成对数据访问请求的处理，且在完成之后通知主线程处理模块。这样，提高了数据访问请求处理的效率，减少了系统资源的浪费。若同时有多个数据访问请求需要处理时，任务线程处理模块可以创建任务处理队列，将每个访问请求封装为任务添加至任务处理队列中依次执行，还可以根据任务的优先级进行执行，每个任务处理完成之后通知主线程处理模块。若在任务处理过程中，发生网络故障时，任务线程处理模块能够在监听到网络连接恢复正常之后，自动与云存储服务器建立连接，并继续执行任务处理队列中的任务。且本发明实施例支持离线访问，任务处理模块提供部分数据的元数据信息表、内容数据文件的本地缓存，并根据预设此策略对本地缓存文件进行管理。

基于同一发明构思，本发明实施例中还提供了一种数据访问处理装置，由于上述装置解决问题的原理与上述数据访问处理方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。

如图5所示，为本发明实施例提供的数据访问处理装置的结构示意图，可以包括主线程处理模块501和任务线程处理模块502，其中：

主线程处理模块501，用于在接收到数据访问请求之后，将数据访问请求提交给终端设备启动的任务线程处理模块502；

任务线程处理模块502，用于处理数据访问请求；以及在获得数据访问请求对应的处理结果之后，通知主线程处理模块501。

较佳的，任务线程处理模块502，具体用于若主线程处理模块501接收到至少两个数据访问请求时，创建任务处理队列；针对接收到的每一数据访问请求，分别确定该数据访问请求对应的任务；并按照接收到数据访问请求的时间顺序，依次将该数据访问请求对应的任务添加至任务处理队列中；依次处理任务处理队列中包含的每一任务，直至任务处理队列为空。

更佳的，任务线程处理模块502，具体用于若主线程处理模块501接收到至少两个数据访问请求时，按照预设的优先级数量，创建至少两个任务处理队列，并确定每一任务处理队列对应的处理优先级；针对接收到的每一数据访问请求，分别确定该数据访问请求对应的任务和处理优先级；根据确定出的处理优先级，将该数据访问请求对应的任务添加至对应的任务处理队列中；根据任务处理队列对应的处理优先级，按照由高到低的顺序依次处理每一任务处理队列所包含的任务。

具体实施时，数据访问请求中携带有所请求数据对应的元数据信息；基于此，任务线程处理模块502，还用于在创建任务处理队列之前，查找本地缓存中是否存在元数据信息对应的内容数据文件；若存在，向主线程处理模块501返回查找到的内容数据文件；以及在获得数据访问请求对应的处理结果之后，根据处理结果，确定需要更新内容数据文件时，更新内容数据文件。

具体实施时，任务线程处理模块502，还用于在处理任务处理队列包含任务的过程中，监测终端设备的网络连接是否正常；以及在网络连接异常时，监听终端设备的网络连接状态；并在终端设备的网络连接恢复正常时，自动与云存储服务器建立连接。

为了描述的方便，以上各部分按照功能划分为各模块（或单元）分别描述。当然，在实施本发明时可以把各模块（或单元）的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种数据访问处理方法，其特征在于，包括：

终端设备启动的主线程处理模块在接收到数据访问请求之后，将所述数据访问请求提交给所述终端设备启动的任务线程处理模块；

所述任务线程处理模块处理所述数据访问请求；以及

在获得所述数据访问请求对应的处理结果之后，通知所述主线程处理模块。

2.如权利要求1所述的方法，其特征在于，若所述主线程处理模块接收到至少两个数据访问请求时，所述任务线程处理模块处理所述数据访问请求，具体包括：

所述任务线程处理模块创建任务处理队列；

所述任务线程处理模块针对接收到的每一数据访问请求，分别确定该数据访问请求对应的任务；

并按照接收到数据访问请求的时间顺序，依次将该数据访问请求对应的任务添加至所述任务处理队列中；

依次处理任务处理队列中包含的每一任务，直至所述任务处理队列为空。

3.如权利要求1所述的方法，其特征在于，若所述主线程处理模块接收到至少两个数据访问请求时，所述任务线程处理模块处理所述数据访问请求，具体包括：

所述任务线程处理模块按照预设的优先级数量，创建至少两个任务处理队列，并确定每一任务处理队列对应的处理优先级；

所述任务线程处理模块针对接收到的每一数据访问请求，分别确定该数据访问请求对应的任务和处理优先级；

根据确定出的处理优先级，将该数据访问请求对应的任务添加至对应的任务处理队列中；

根据任务处理队列对应的处理优先级，按照由高到低的顺序依次处理每一任务处理队列所包含的任务。

4.如权利要求2或3所述的方法，其特征在于，所述数据访问请求中携带有所请求数据对应的元数据信息；以及

所述任务线程处理模块在创建任务处理队列之前，还包括：

查找本地缓存中是否存在所述元数据信息对应的内容数据文件；

若存在，向所述主线程处理模块返回查找到的内容数据文件；以及

在所述任务线程处理模块获得所述数据访问请求对应的处理结果之后，还包括：

根据所述处理结果，确定需要更新所述内容数据文件时，更新所述内容数据文件。

5.如权利要求2或3所述的方法，其特征在于，所述任务线程处理模块在处理任务处理队列包含任务的过程中，还包括：

监测所述终端设备的网络连接是否正常；以及

在网络连接异常时，监听所述终端设备的网络连接状态；并

在所述终端设备的网络连接恢复正常时，自动与云存储服务器建立连接。

6.一种数据访问处理装置，其特征在于，应用于终端设备中，包括主线程处理模块和任务线程处理模块，其中：

所述主线程处理模块，用于在接收到数据访问请求之后，将所述数据访问请求提交给所述终端设备启动的任务线程处理模块；

所述任务线程处理模块，用于处理所述数据访问请求；以及在获得所述数据访问请求对应的处理结果之后，通知所述主线程处理模块。

7.如权利要求6所述的装置，其特征在于，

所述任务线程处理模块，具体用于若所述主线程处理模块接收到至少两个数据访问请求时，创建任务处理队列；针对接收到的每一数据访问请求，分别确定该数据访问请求对应的任务；并按照接收到数据访问请求的时间顺序，依次将该数据访问请求对应的任务添加至所述任务处理队列中；依次处理任务处理队列中包含的每一任务，直至所述任务处理队列为空。

8.如权利要求6所述的装置，其特征在于，

所述任务线程处理模块，具体用于若所述主线程处理模块接收到至少两个数据访问请求时，按照预设的优先级数量，创建至少两个任务处理队列，并确定每一任务处理队列对应的处理优先级；针对接收到的每一数据访问请求，分别确定该数据访问请求对应的任务和处理优先级；根据确定出的处理优先级，将该数据访问请求对应的任务添加至对应的任务处理队列中；根据任务处理队列对应的处理优先级，按照由高到低的顺序依次处理每一任务处理队列所包含的任务。

9.如权利要求7或8所述的装置，其特征在于，所述数据访问请求中携带有所请求数据对应的元数据信息；以及

所述任务线程处理模块，还用于在创建任务处理队列之前，查找本地缓存中是否存在所述元数据信息对应的内容数据文件；若存在，向所述主线程处理模块返回查找到的内容数据文件；以及在获得所述数据访问请求对应的处理结果之后，根据所述处理结果，确定需要更新所述内容数据文件时，更新所述内容数据文件。

10.如权利要求7或8所述的装置，其特征在于，

所述任务线程处理模块，还用于在处理任务处理队列包含任务的过程中，监测所述终端设备的网络连接是否正常；以及在网络连接异常时，监听所述终端设备的网络连接状态；并在所述终端设备的网络连接恢复正常时，自动与云存储服务器建立连接。