CN104679821A - 数据访问处理方法和装置 - Google Patents

Abstract

本发明提供了一种数据访问处理方法和装置，其中，所述方法包括：若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理所述数据上报请求；判断临时数据表对应的时间是否到期，若是，则将临时数据表中的数据记录迁移至历史数据总表中；若数据访问请求为数据查询请求，所述查询请求中携带查询条件，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求。上述方法和装置在不容易造成处理阻塞，提高了系统的稳定性。

Description

数据访问处理方法和装置

技术领域

本发明涉及计算机数据库技术领域，特别是涉及一种数据访问处理方法和装置。

背景技术

随着互联网的发展，数据量越来越大，大数据的存储与查询成为了一个需要解决的难题。云技术作为大数据的处理技术，被越来越多的应用在众多信息领域中。例如，在云平台插座项目中，家庭中的电器定时上报的耗电量数据至服务器，用户可以设置查询条件获取家庭中各用电设备的耗电情况。由于电量数据存储与电量数据查询的并发量大。处理大量数据最直接的方法是将数据直接存入相应的数据库，这种方法对服务器性能要求高。

传统的数据访问处理方法，当服务器面临高并发的数据访问请求时，会导致服务器无法及时处理数据访问请求，容易造成处理阻塞，造成系统的不稳定。

发明内容

基于此，有必要针对上述技术问题，提供一种不容易造成数据访问处理阻塞的数据访问处理方法和装置。

一种数据访问处理方法，所述方法包括：

接收数据访问请求；

若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理所述数据上报请求；

判断临时数据表对应的时间是否到期，若是，则将临时数据表中的数据记录迁移至历史数据总表中；

若数据访问请求为数据查询请求，所述查询请求中携带查询条件，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

在其中一个实施例中，所述根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求的步骤包括：

对所述数据查询请求中携带的查询条件进行合法性校验，若校验通过，则根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

在其中一个实施例中，所述若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理所述数据上报请求的步骤，包括：

获取数据上报请求对应的上报时间；

根据预设的临时数据表与时间的对应关系，确定所述上报时间对应的临时数据表；

将所述数据上报请求中携带的上报数据插入所述临时数据表中。

在其中一个实施例中，所述临时数据表包括：单月单天表、单月双天表、双月单天表以及双月双天表。

在其中一个实施例中，所述方法还包括：

接收数据总量查询请求；

根据所述数据总量查询请求异步查询系统表中的数据总量，并返回查询结果，所述系统表中记录了各临时数据表对应的数据总量以及各子数据表对应的数据总量。

一种数据访问处理装置，所述装置包括：

访问请求接收模块，用于接收数据访问请求；

第一处理模块，用于若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理所述数据上报请求；

数据备份模块，用于判断临时数据表对应的时间是否到期，若是，则将临时数据表中的数据记录迁移至历史数据总表中；

第二处理模块，用于若数据访问请求为数据查询请求，所述查询请求中携带查询条件，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

在其中一个实施例中，所述第二处理模块还用于对所述数据查询请求中携带的查询条件进行合法性校验，若校验通过，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

在其中一个实施例中，所述第一处理模块包括：

时间获取模块，用于获取数据上报请求对应的上报时间；

数据表确定模块，用于根据预设的临时数据表与时间的对应关系，确定所述上报时间对应的临时数据表；

数据插入模块，用于将所述数据上报请求中携带的上报数据插入所述临时数据表中。

在其中一个实施例中，所述临时数据表包括：单月单天表、单月双天表、双月单天表以及双月双天表。

在其中一个实施例中，所述装置还包括

查询请求接收模块，用于接收数据总量查询请求；

数据总量查询模块，用于根据所述数据总量查询请求异步查询系统表中的数据总量，并返回查询结果，所述系统表中记录了各临时数据表对应的数据总量以及各子数据表对应的数据总量。

上述数据访问处理方法和装置，通过设置不同类型的数据表来处理数据访问请求，面对数据上报请求时，只由临时数据表处理数据上报请求；面对数据查询请求，由于临时表和数据子表中数据记录数量较少，因而能快速获取到符合查询条件的数据记录，上述方法和装置将处理数据上报请求的数据表区分开来，相比同一类型的数据表既处理数据查询请求又处理数据上报请求，本发明提供的方法和装置降低了数据表承受处理数据访问请求的压力，因而不容易造成处理阻塞，提高了系统的稳定性。

附图说明

图1为一个实施例中数据访问处理方法的流程示意图；

图2为一个实施例中数据访问处理装置的结构示意图；

图3为一个实施例中第一处理模块的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，在一个实施例中，提供了一种数据访问处理方法，该方法包括如下步骤：

步骤101，接收数据访问请求。

步骤102，若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理数据上报请求。

若将数据查询请求和数据上报请求都交由同一数据表来处理，在面临高并发的数据访问请求时，容易导致处理数据访问请求超时，甚至造成服务器崩溃。本实施例中，创建了专门用于处理数据上报请求的多个临时数据表，根据上报时间确定处理上报请求的临时数据表。通过临时数据表处理数据上报请求，提高了数据写入的并发能力，不容易造成数据阻塞。

在一个实施例中，步骤102，根据数据上报请求对应的上报时间确定对应的临时数据表处理数据上报请求包括：获取数据上报请求对应的上报时间；根据预设的临时数据表与时间的对应关系，确定上报时间对应的临时数据表；将数据上报请求中携带的上报数据插入临时数据表中。

本实施例中，多个临时数据表中的每个临时数据表都有对应的时间。具体的，临时数据表包含四个：单月单天表、单月双天表、双月单天表以及双月双天表。例如，table_11对应的时间为单月单天、tble_12对应的时间为单月双天、table_21对应的时间为双月单天和table_22对应的时间为双月双天。若获取到的上报时间为1月1日属于单月单天，通过临时数据表为table_11来处理数据上报请求，将上报数据插入table_11中。

步骤103，判断临时数据表对应的时间是否到期。若是，则进入步骤104。若否，则结束。

步骤104，将临时数据表中的数据记录迁移至历史数据总表中。

每个临时数据表用来处理数据访问请求的时间是固定的，当时间到期便将临时数据表中的数据记录备份至历史数据总表中，备份完成后清空临时数据表，等待下一次处理数据访问请求的时间到来。通过历史数据总表对临时数据表的备份保证了数据不易丢失，方便对历史数据记录的查询。

例如，接收数据上报请求的时间为2月1日，则将table_11(1月31日)中存储的数据记录全部备份到历史数据总表中，并清空掉该数据表中的历史记录。2月1日接收到数据上报请求通过table_21处理。由多个临时数据表循环切换处理数据上报请求，保证了临时数据表中的数据记录数量较少，提高通过临时数据表查询数据记录的效率。

步骤105，若数据访问请求为数据查询请求，查询请求中携带查询条件，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理数据查询请求，并返回查询结果。

由于历史数据总表中存储的数据记录是海量的，直接在历史数据总表中查询数据速度太慢，若面临高并发查询请求容易引起阻塞，本实施例中，预先将查询对象的历史数据总表拆分为多个数据子表，具体的，以天、月或季度为时间单位将历史数据总表拆分为多个天表、月表或季度表，减少了数据表中的数据记录的数量，进一步提高了查询速度。根据查询条件即可确定查询对象，查询对象可以是在临时数据表中查询最近的数据记录，可以在数据子表中查询历史数据记录，还可以是在临时数据表和数据子表中组合查询。

上述数据访问处理方法，通过设置不同类型的数据表来处理数据访问请求，面对数据上报请求时，只由临时数据表处理数据上报请求；面对数据查询请求，由于临时表和数据子表中数据记录数量较少，因而能快速获取到符合查询条件的数据记录，上述方法和装置将处理数据上报请求的数据表区分开来，相比同一类型的数据表既处理数据查询请求又处理数据上报请求，本发明提供的方法和装置降低了数据表承受处理数据访问请求的压力，因而不容易造成处理阻塞，提高了系统的稳定性。

在一个实施例中，通过可视化的查询界面接收用户输入的查询条件，获取用户点击查询按钮触发的数据查询请求。服务器接收到查询请求后，通过执行查询条件，将获得查询结果以分页的形式显示在查询界面中。

在一个实施例中，步骤105，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求的步骤包括：对所述数据查询请求中携带的查询条件进行合法性校验，若校验通过，则根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

本实施例中，由于数据库中存储的数据量太过庞大，若查询请求携带的查询条件过于复杂(例如，查询一年的数据记录)，容易导致服务器反馈查询结果超时，甚至出现服务器崩溃的情况。因而服务器在接收到数据查询请求时，进一步的对查询请求进行过滤，将不合理的查询请求过滤掉。

例如，通过设置查询条件中的查询时间上限，阻止查询时间超过该上限的查询请求进入，若设置用户查询一个月内的数据记录，当查询时间超过一个月的查询请求将不被允许执行。通过对查询条件进行合法性校验避免了服务器因承受过重的负载可能出现的崩溃。

在一个实施例中，数据访问处理方法还包括如下步骤：接收数据总量查询请求；根据数据总量查询请求异步查询系统表中的数据总量，并返回查询结果，系统表中记录了各临时数据表对应的数据总量以及各子数据表对应的数据总量。

传统对数据总量的查询需要通过数据总数查询语句进行查询，若数据总量数据量大涉及的数据表数量多，导致响应查询数据总量的速度慢。由于临时数据表对应的数据总量以及数据子表对应的数据总量预先记录在数据库中的系统表中，接收数据总量查询请求后，直接获取系统表中的数据总量，因而不需要通过数据总数查询语句即可快速得到查询结果。通过异步查询获取数据总量，在服务器返回数据总量查询结果之前，查询界面是不会发生变化的，提高了用户体验。

在一个实施例中，由于用户关注的是对输入查询条件后返回的查询记录，一般不太关注查询记录中的数据总量。因此在用户进入查询界面后显示总数一栏用问号代替，用户若想获得数据库中记录与用户相关的数据总量，通过点击问号触发数据总量查询请求。服务器接收到查询请求后，将查询结果返回至查询界面。

在一个实施例中，在步骤101，获取数据访问请求之前，数据访问处理方法还包括：获取历史数据总表包含的时间字段记录的时间间距；按照预设时间范围将时间间距划分为多个时间段，根据多个时间段将历史数据总表拆分为对应的数据子表。

本实施例中，根据时间字段将历史数据总表拆分为多个数据子表。通过对时间字段记录的时间进行扫描，获取记录的时间对应的时间间距，根据预设时间范围将时间间距划分为多个时间段。进一步的，提取每个时间段对应的数据记录，分别将每个时间段对应的数据记录另外存储至已创建数据子表中。例如，数据字段记录的时间间隔为1月至6月，若预设时间范围为1个月，将时间间隔拆分为6个以月为单位的时间段，相应的历史数据总表拆分为6个数据子表。在一个实施例中，预先为拆分后的数据子表建立索引，接收到查询请求后，可以提高查询速度。

下面结合一个应用场景来说明下本发明提供的数据访问处理方法，在云平台插座项目中，以家庭为单位注册的用户家庭中的用电设备每间隔一段时间定时向服务器上报一次耗电量。服务器会根据上报时间选择对应的临时电量数据表记录该电设备上报的耗电量，临时电量数据表包含的数据字段有：用户标识字段、设备标识字段、耗电量字段以及时间字段用来记录耗电量的上报时间。临时电量数据表时间过期后，会将记录的电量数据迁移至历史电量数据总表中。将历史电量数据总表以时间维度拆分为以月为单位的电量数据月表，用户可以在查询界面中输入查询条件查询家中电器的耗电情况。将电量查询记录以分页的形式展示在查询界面中。用户若想获知查询记录的数据总量，可通过点击查询界面中的数据总量查询按钮，获取数据总量的结果。

如图2所示，在一个实施例中，提供了一种数据访问处理装置，该装置包括：

访问请求接收模块22，用于接收数据访问请求。

第一处理模块24，用于若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理所述数据上报请求。

数据备份模块26，用于判断临时数据表对应的时间是否到期，若是，则将临时数据表中的数据记录迁移至历史数据总表中。

第二处理模块28，用于若数据访问请求为数据查询请求，所述查询请求中携带查询条件，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

在一个实施例中，第二处理模块28还用于对所述数据查询请求中携带的查询条件进行合法性校验，若校验通过，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果

如图3所示，在一个实施例中，第一处理模块24包括：

时间获取模块240，用于获取数据上报请求对应的上报时间。

数据表确定模块242，用于根据预设的临时数据表与时间的对应关系，确定所述上报时间对应的临时数据表。

数据插入模块244，用于将所述数据上报请求中携带的上报数据插入所述临时数据表中。

在一个实施例中，数据访问处理装置还包括：

间距获取模块，用于获取历史数据总表包含的时间字段记录的时间间距。

表拆分模块，用于按照预设时间范围将所述时间间距划分为多个时间段，根据所述多个时间段将历史数据总表拆分为对应的数据子表。

在一个实施例中，数据访问处理装置还包括：

查询请求接收模块，用于接收数据总量查询请求。

数据总量查询模块，用于根据所述数据总量查询请求异步查询系统表中的数据总量，并返回查询结果，所述系统表中记录了各临时数据表对应的数据总量以及各子数据表对应的数据总量。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据访问处理方法，所述方法包括：

接收数据访问请求；

若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理所述数据上报请求；

判断临时数据表对应的时间是否到期，若是，则将临时数据表中的数据记录迁移至历史数据总表中；

若数据访问请求为数据查询请求，所述查询请求中携带查询条件，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

2.根据权利要求1所述的方法，其特征在于，所述根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求的步骤包括：

对所述数据查询请求中携带的查询条件进行合法性校验，若校验通过，则根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

3.根据权利要求1所述的方法，其特征在于，所述若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理所述数据上报请求的步骤，包括：

获取数据上报请求对应的上报时间；

根据预设的临时数据表与时间的对应关系，确定所述上报时间对应的临时数据表；

将所述数据上报请求中携带的上报数据插入所述临时数据表中。

4.根据权利要求1所述的方法，其特征在于，所述临时数据表包括：单月单天表、单月双天表、双月单天表以及双月双天表。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收数据总量查询请求；

根据所述数据总量查询请求异步查询系统表中的数据总量，并返回查询结果，所述系统表中记录了各临时数据表对应的数据总量以及各子数据表对应的数据总量。

6.一种数据访问处理装置，其特征在于，所述装置包括：

访问请求接收模块，用于接收数据访问请求；

第一处理模块，用于若数据访问请求为数据上报请求，根据数据上报请求对应的上报时间确定对应的临时数据表处理所述数据上报请求；

数据备份模块，用于判断临时数据表对应的时间是否到期，若是，则将临时数据表中的数据记录迁移至历史数据总表中；

第二处理模块，用于若数据访问请求为数据查询请求，所述查询请求中携带查询条件，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

7.根据权利要求6所述的装置，其特征在于，所述第二处理模块还用于对所述数据查询请求中携带的查询条件进行合法性校验，若校验通过，根据查询条件确定对应的临时数据表和/或历史数据总表对应的数据子表处理所述数据查询请求，并返回查询结果。

8.根据权利要求6所述的装置，其特征在于，所述第一处理模块包括：

时间获取模块，用于获取数据上报请求对应的上报时间；

数据表确定模块，用于根据预设的临时数据表与时间的对应关系，确定所述上报时间对应的临时数据表；

数据插入模块，用于将所述数据上报请求中携带的上报数据插入所述临时数据表中。

9.根据权利要求6所述的方法，其特征在于，所述临时数据表包括：单月单天表、单月双天表、双月单天表以及双月双天表。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括

查询请求接收模块，用于接收数据总量查询请求；

数据总量查询模块，用于根据所述数据总量查询请求异步查询系统表中的数据总量，并返回查询结果，所述系统表中记录了各临时数据表对应的数据总量以及各子数据表对应的数据总量。