CN110909062A - 数据处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种数据处理方法、装置、电子设备及可读存储介质，包括：判断数据存储设备的运行能力指标是否达到切换存储数据库的条件；若所述运行能力指标达到切换存储数据库的条件，等待定时数据转移过程的完成，并在所述定时数据转移过程完成后确定初始数据库的全部数据转移至目标数据库，其中，所述定时数据转移过程为周期性地将新生成的数据由初始数据库转移至目标数据库的过程；将读写数据的数据库由所述初始数据库切换为所述目标数据库。由于数据存储设备原先就会周期性地进行定时数据转移过程，因此在运行能力指标达到切换条件时只转移尚未进行的定时数据前移过程即可，转移的数据量较少，迁移时间短，降低了成本。

Description

数据处理方法、装置、电子设备及可读存储介质

技术领域

本申请涉及数据存储领域，具体而言，涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术

随着物联网、社交网络、云计算等技术的不断发展，计算机的计算能力、存储空间以及网络带宽均快速提升，人们积累的数据越来越多。

传统的数据计算存储系统由于在搭建之初未考虑到数据量如此膨胀，因此在数据量达到系统的瓶颈时，往往需要向大数据数据存储设备进行数据迁移。然而，由于数据量十分庞大，会造成数据迁移时间长且成本较高的问题。

发明内容

本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及可读存储介质，用以改善现有技术的数据转移过程中数据迁移时间长且成本较高的问题。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：判断数据存储设备的运行能力指标是否达到切换存储数据库的条件；若所述运行能力指标达到切换存储数据库的条件，等待定时数据转移过程的完成，并在所述定时数据转移过程完成后确定初始数据库的全部数据转移至目标数据库，其中，所述定时数据转移过程为周期性地将新生成的数据由初始数据库转移至目标数据库的过程；将所述数据存储设备读写数据的数据库由所述初始数据库切换为所述目标数据库。

在上述的实施方式中，数据存储设备的数据库可以包括初始数据库和目标数据库，该数据存储设备可以周期性地将初始数据库中新生成的数据转移至目标数据库。该数据存储设备可以获取当前设备的运行能力指标，并且将运行能力指标与切换存储数据库的条件进行比对，在运行能力指标达到上述的切换条件时，且在确定全部数据均由初始数据库转移到目标数据库之后，用目标数据库取代初始数据库成为读写数据的数据库。由于数据存储设备原先就会周期性地进行定时数据转移过程，因此在运行能力指标达到切换条件时只转移尚未进行的定时数据前移过程即可，转移的数据量较少，迁移时间短，降低了成本。

在一个可能的设计中，在所述等待定时数据转移过程的完成之前，所述方法还包括：接收用户触发的确认切换存储数据库的控制指令。

在上述的实施方式中，可以先弹出一个询问消息向用户询问是否确认切换存储数据库，从而给用户提供更多的可选择性，扩大本申请实施例的应用范围。

在一个可能的设计中，所述定时数据转移过程包括：在预设时间段内，获取所述新生成的数据的数据备份，所述新生成的数据为本次定时数据转移过程与上一次定时数据转移过程相比，在所述初始数据库新生成的数据；将所述数据备份转换成预设格式文件，并将所述预设格式文件转移至所述目标数据库；若在所述预设时间段内完成所述新生成的数据的全部转移，删除所述预设格式文件。

在上述的实施方式中，可以避免数据的丢失，并且删除预设格式文件能够节省初始数据库的存储空间。

在一个可能的设计中，在所述将所述数据备份转换成预设格式文件，并将所述预设格式文件转移至所述目标数据库之后，所述方法还包括：若在所述预设时间段内未完成所述新生成的数据的全部转移，记录本次定时数据转移过程的结束位置，以便在下一次定时数据转移过程时从所述结束位置继续进行数据的转移。

在上述的实施方式中，若新生成的数据过多，则可能无法在预设时间段内一次性全部完成所有新生成的数据的转移。若本次未在预设时间段内完成初始数据库的全部数据的转移，可以记录预设时间段到达时本次数据转移过程的结束位置，在下一次进行定时数据转移过程时，可以从本次的结束位置开始，从而可以避免数据的丢失，确保了数据的完整性。

在一个可能的设计中，所述运行能力指标包括资源指标和数据库性能指标，所述判断数据存储设备的运行能力指标是否达到切换存储数据库的条件，包括：获取资源指标的得分；获取数据库性能指标的得分；判断所述资源指标的得分与所述数据库性能指标的得分的加和是否超过预设分值；若是，则判定所述运行能力指标达到切换存储数据库的条件；若否，则判定所述运行能力指标未达到切换存储数据库的条件。

在上述的实施方式中，可以分别获取运行能力指标的组成部分：资源指标和数据库性能指标的得分，然后获得两者得分的加和，以加和与预设分值进行比较，从而判断运行能力指标是否达到切换条件，由于该过程参考了资源指标和数据库性能指标，提高了判断运行能力指标的准确性。

在一个可能的设计中，所述数据库性能指标包括堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量，所述获取数据库性能指标的得分，包括：根据所述堆积率的数值以及变化率计算所述堆积率的得分；根据所述吞吐量的变化率计算所述吞吐量的得分；根据所述延迟情况的变化率计算所述延迟情况的得分；根据所述连接利用率的变化率计算所述连接利用率的得分；根据所述缓存利用率的数值以及变化率计算所述缓冲利用率的得分；根据新增数据平均值以及数据保留时长计算所述数据占用预估量，并根据所述数据占用预估量的数值计算所述数据占用预估量的得分；计算所述堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量的得分的加和，所述加和为所述数据库性能指标的得分。

在上述的实施方式中，数据库性能指标包括堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量这些具体可以量化的指标，然后分别求解上述指标的得分，再计算上述指标的加和，从而可以较为全面的评估数据库性能指标。

第二方面，本申请实施例提供了一种数据转移装置，所述装置包括：条件判断模块，用于判断数据存储设备的运行能力指标是否达到切换存储数据库的条件；转移完成确定模块，用于当所述运行能力指标达到切换存储数据库的条件时，等待定时数据转移过程的完成，并在所述定时数据转移过程完成后确定初始数据库的全部数据转移至目标数据库，其中，所述定时数据转移过程为周期性地将新生成的数据由初始数据库转移至目标数据库的过程；数据库切换模块，用于将读写数据的数据库由所述初始数据库切换为所述目标数据库。

在一个可能的设计中，所述装置还包括：控制指令接收模块，用于接收用户触发的确认切换存储数据库的控制指令。

在一个可能的设计中，所述装置还包括：备份获取模块，用于在预设时间段内，获取所述新生成的数据的数据备份，所述新生成的数据为本次定时数据转移过程与上一次定时数据转移过程相比，在所述初始数据库新生成的数据；格式转换模块，用于将所述数据备份转换成预设格式文件，并将所述预设格式文件转移至所述目标数据库；文件删除模块，用于当在所述预设时间段内完成所述新生成的数据的全部转移时，删除所述预设格式文件。

在一个可能的设计中，所述装置还包括：结束位置转移模块，用于当所述预设时间段内未完成所述新生成的数据的全部转移时，记录本次定时数据转移过程的结束位置，以便在下一次定时数据转移过程时从所述结束位置继续进行数据的转移。

在一个可能的设计中，条件判断模块，还用于获取资源指标的得分；获取数据库性能指标的得分；判断所述资源指标的得分与所述数据库性能指标的得分的加和是否超过预设分值；若是，则判定所述运行能力指标达到切换存储数据库的条件。

在一个可能的设计中，条件判断模块，还用于根据所述堆积率的数值以及变化率计算所述堆积率的得分；根据所述吞吐量的变化率计算所述吞吐量的得分；根据所述延迟情况的变化率计算所述延迟情况的得分；根据所述连接利用率的变化率计算所述连接利用率的得分；根据所述缓存利用率的数值以及变化率计算所述缓冲利用率的得分；根据新增数据平均值以及数据保留时长计算所述数据占用预估量，并根据所述数据占用预估量的数值计算所述数据占用预估量的得分；计算所述堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量的得分的加和，所述加和为所述数据库性能指标的得分。

第三方面，本申请提供一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器进行通信，所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。

第四方面，本申请提供一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。

第五方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。

为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的数据处理方法的流程示意图；

图2为本申请实施例提供的数据处理方法的部分步骤的流程示意图；

图3为图1中步骤S110的具体步骤的流程示意图；

图4为本申请实施例提供的数据转移装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1为本申请实施例提供的数据处理方法，该数据处理方法可以应用在数据存储设备中，数据存储设备为一种可以进行大数据计算、海量数据存储的设备，该设备可以是服务器，也可以是运算能力强的计算机，数据存储设备可以应用在物联网、社交网络、云计算等需要进行大数据计算、海量数据存储的领域。本申请实施例提供的数据处理方法具体包括如下步骤S110至步骤S130：

步骤S110，判断数据存储设备的运行能力指标是否达到切换存储数据库的条件，若是，执行步骤S120。

本申请实施例中的数据存储设备均可以设置有至少两个数据库，至少两个数据库包括初始数据库和目标数据库，其中，初始数据库为数据存储设备通常进行数据读写的数据库，可以为关系型数据库；目标数据库用于存储较为大量的数据，可以为大数据存储库。

运行能力指标为衡量数据存储设备的运行是否流畅的指标，切换存储数据库的条件指的是把读写数据的能力由初始数据库切换为目标数据库所需要的条件，可以进行运行能力指标与切换存储数据库的条件两者的比对，若运行能力指标达到切换存储数据库的条件，则执行步骤S120。

步骤S120，等待定时数据转移过程的完成，并在所述定时数据转移过程完成后确定初始数据库的全部数据转移至目标数据库。

其中，所述定时数据转移过程为周期性地将新生成的数据由初始数据库转移至目标数据库的过程，定时数据转移过程的具体过程在下文进行详细描述。新生成的数据为上次定时数据转移过程距本次定时数据转移过程之间新生成的数据，可以是数据存储设备采集获得的，也可以是数据存储设备在采集到原始数据后对原始数据进行分析处理得到的。可选地，若上次定时数据转移过程未完成初始数据库的全部数据的转移，本次定时数据转移过程可以从未完成初始数据库的全部数据的转移的结束位置开始继续进行数据的转移。

在本次定时数据转移过程完成后，可以进行进一步的判断，初始数据库中的全部数据是否转移到目标数据库，若是，则执行步骤S130；若依然还有未转移完成的数据，则表示数据量较大，以至于在定时数据转移过程的预设时间段内未全部完成转移，则可以暂停本次数据库切换的步骤，并记录下本次定时数据转移过程的结束位置，以便下次进行定时数据转移过程时能够从本次定时数据转移过程的结束位置开始。

可选地，在一种具体实施方式中，也可以在还有未转移完成的数据时弹出询问信息，以询问用户是否在非预设时间段内进行数据转移，以便更早的切换读写数据的数据库，若用户同意在非预设时间段内进行数据转移，则可以在接收到表征用户同意的同意指令后立刻进行未转移数据的转移，也可以由用户选择在非预设时间段的空闲时间进行数据转移。非预设时间段的空闲时间可以由该数据存储设备根据运行情况进行判断和选取，也可以由用户人为进行选取。

步骤S130，将读写数据的数据库由所述初始数据库切换为所述目标数据库。

在切换之前，目标数据库可以只起到存储数据的作用，由初始数据库进行数据的读写，可以降低功耗，节省运算资源。在切换之后，可以由目标数据库来同时进行数据的读写和存储数据的作用，从而做到当依靠初始数据库进行数据的读写较为吃力时，切换为由目标数据库来进行数据的读写，并且由于在切换前就会周期性的将数据由初始数据库转移至目标数据库，因此，本次切换前需要转移的数据量较小。

数据存储设备可以获取当前系统的运行能力指标，并且将运行能力指标与切换存储数据库的条件进行比对，在运行能力指标达到上述的切换条件时，且在确定初始数据库的全部数据均由初始数据库转移到目标数据库之后，用目标数据库取代初始数据库成为读写数据的数据库。由于数据存储设备原先就会周期性地进行定时数据转移过程，因此在运行能力指标达到切换条件时只转移尚未进行的定时数据前移过程即可，转移的数据量较少，迁移时间短，降低了成本。

将读写数据的数据库切换为目标数据库之后，初始数据库可以由用户根据需求进行处理，例如，用户可以删除初始数据库中的全部数据，以便初始数据库另作其他用途；用户也可以保留初始数据库中的全部数据，以作为目标数据库的数据备份。

在一种具体实施方式中，步骤S120之前，所述方法还可以包括：接收用户触发的确认切换存储数据库的控制指令。

可选择，在数据存储设备的运行能力指标达到切换存储数据库的条件之后，在步骤S120之前，数据存储设备可以控制在显示界面发出运行能力不足的警报并弹出询问信息以询问用户是否进行存储数据库的切换，若用户触发的是表征确认切换存储数据库的控制指令，则再执行步骤S120；若用户触发的是表征暂不切换存储数据库的控制指令，可以降低运行能力不足的警报出现的频率，并且暂不进行数据库的切换。

在数据存储设备的运行能力指标达到切换存储数据库的条件之后，在步骤S120之前，可以先弹出一个询问消息向用户询问是否确认切换存储数据库，从而给用户提供更多的可选择性，扩大本申请实施例的应用范围。

在一种具体实施方式中，在接收用户触发的确认切换存储数据库的控制指令之后，数据存储设备可以运行唤醒组件来执行步骤S120至步骤S130。唤醒组件在步骤S130之后，还可以利用预留的API接口检测目标数据库能否正常进行数据的读写，如果唤醒组件通过API检测到目标数据库能正常读写数据，则可以关闭初始数据库；若唤醒组件通过API检测到目标数据库不能正常读写数据，则可以发送告警通知用户，以便用户可以恢复到由初始数据库进行读写数据的状态。

可选地，请参见图2，在一种具体实施方式中，定时数据转移过程具体包括步骤S210至步骤S240：

步骤S210，在预设时间段内，获取所述新生成的数据的数据备份，所述新生成的数据为本次定时数据转移过程与上一次定时数据转移过程相比，在所述初始数据库新生成的数据。

步骤S220，将所述数据备份转换成预设格式文件，并将所述预设格式文件转移至所述目标数据库。

预设时间段可以为运算需求较少的一个时间段，例如凌晨的1点至5点半。预设格式文件可以是为方便进行数据转移过程而预先设置的一种文件格式，例如，预设格式文件可以是ORC文件，也可以是JavaScript对象简谱(JavaScript Object Notation，简称JSON)文件。不妨以JSON文件为例，在将数据备份转移成JSON文件之后，可以调用Hadoop api多线程把JSON文件写入目标数据库的分布式文件系统(Hadoop Distributed File System，HDFS)中。

步骤S230，若在所述预设时间段内完成所述新生成的数据的全部转移，删除所述预设格式文件。

在进行定时数据迁移时，可以在初始数据库先进行未转移数据的备份，然后将数据备份转换成预设格式文件，并且将预设格式文件转移到目标数据库，并且若在预设时间段内完成新生成数据的全部转移，可以删除预设格式文件。该过程可以避免数据的丢失，并且删除预设格式文件能够节省初始数据库的存储空间。

步骤S240，若在所述预设时间段内未完成所述新生成的数据的全部转移，记录本次定时数据转移过程的结束位置，以便在下一次定时数据转移过程时从所述结束位置继续进行数据的转移。

若新生成的数据过多，则可能无法在预设时间段内一次性全部完成所有新生成的数据的转移。若本次未在预设时间段内完成初始数据库的全部数据的转移，可以记录预设时间段到达时本次数据转移过程的结束位置，在下一次进行定时数据转移过程时，可以从本次的结束位置开始，从而可以避免数据的丢失，确保了数据的完整性。

可选地，请参见图3，在一种具体实施方式中，步骤S110具体包括步骤S111至步骤S115：

步骤S111，获取资源指标的得分。

资源指标可以包括CPU占用率、内存、磁盘空间、网络连接利用率等指标，其中，资源指标的总分可以为40分，不妨设CPU占用率、内存、磁盘空间、网络连接利用率的总分各占10分。

其中，对于CPU占用率，若CPU占用率小于或等于50％，则CPU占用率得0分；若CPU占用率大于50％且小于或等于90％，则CPU占用率得5分；若CPU占用率大于90％，则CPU占用率得10分。

对于内存，若内存小于或等于50％，则内存得0分；若内存大于50％且小于或等于90％，则内存得5分；若内存大于90％，则内存得10分。

对于磁盘空间，若磁盘空间小于或等于50％，则磁盘空间得0分；若磁盘空间大于50％且小于或等于90％，则磁盘空间得5分；若磁盘空间大于90％，则磁盘空间得10分。

对于网络连接利用率，若网络连接利用率小于或等于50％，则网络连接利用率得0分；若网络连接利用率大于50％且小于或等于90％，则网络连接利用率得5分；若网络连接利用率大于90％，则网络连接利用率得10分。

在分别获得CPU占用率、内存、磁盘空间、网络连接利用率的实际得分之后，将上述全部实际得分进行加和运算，得到的结果便可以作为资源指标的得分。

步骤S112，获取数据库性能指标的得分。

数据库性能指标包括堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量，步骤S112包括如下步骤S1121至步骤S1127：

步骤S1121，根据所述堆积率的数值以及变化率计算所述堆积率的得分。

可以计算每分钟待存入数据库的数据条数与该分钟内成功存入数据库的数据条数的比值，将该比值作为堆积率，堆积率的计算可以是按周期进行的，即每间隔一个时间长度计算一次堆积率。

若堆积率小于或等于1，且堆积率的变化率平稳，则判定堆积率得分为0分。

若堆积率小于或等于1，且堆积率的变化率不平稳，则判定堆积率得分为0分。

若堆积率大于1且小于2，且堆积率的变化率平稳，则判定堆积率得分为2分。

若堆积率大于1且小于2，且堆积率的变化率不平稳，则判定堆积率得分为5分。

若堆积率大于2，则判定堆积率得分为10分。

其中，变化率是否平稳可以通过如下方式进行计算：为了便于描述，不妨设间隔的时间长度为a秒，即每间隔a秒计算一次待检测的值，(例如堆积率)。可以先获得(n-1)*a秒的时长内得到的n个变化率，对于任意相邻的两个变化率：第(k-1)个变化率和第k个变化率，计算两者的变化率差值，若两者的变化率差值均在第一预设差值内，则判定变化率平稳；若存在任意一组相邻的两个变化率差值超过预设差值，则判定变化率不平稳。，其中，k小于或等于n，且k为正整数。

步骤S1122，根据所述吞吐量的变化率计算所述吞吐量的得分。

吞吐量的变化率可以指Questions(已执行语句数)、Com_select(查询语句数)、Writes(插入、更新或删除数)三种语句的变化率。

由于上述三种语句在刚运行时波动较大，因此可以在运行刚开始时不记录上述三种语句的变化率，而是在数据存储设备运行超过一定时间长度后再开始记录。

若吞吐量的变化率平稳，且无骤然下降的情况，则判定吞吐量的得分为0分。

若吞吐量的变化率不平稳，且无骤然下降的情况，则判定吞吐量的得分为5分。

若吞吐量的变化率不平稳，且存在骤然下降的情况，则判定吞吐量的得分为10分。

取Questions(已执行语句数)、Com_select(查询语句数)、Writes(插入、更新或删除数)三种语句的得分的加和，作为吞吐量的得分。

其中，待检测的值(例如吞吐量)是否存在骤然下降可以根据如下方式进行计算：对于连续的m个待检测的值，且时间靠后的待检测的值的数值小于时间靠前的待检测的值的数值，令m个待检测的值中相邻值之间相减，获得(m-1)个差值，若(m-1)个差值中的每个差值均超过第二预设差值，则判定待检测的值存在骤然下降的情况；若(m-1)个差值中存在未超过第二预设差值的差值，则判定待检测的值不存在骤然下降的情况。

例如，对于连续的四个待检测的值a、b、c、d，其中，a>b>c>d，计算三个差值(a-b)、(b-c)、(c-d)，若三个差值(a-b)、(b-c)、(c-d)均超过第二预设差值，则判定待检测的值存在骤然下降的情况；若三个差值(a-b)、(b-c)、(c-d)中存在至少一个差值未超过第二预设差值，则判定待检测的值不存在骤然下降的情况。

步骤S1123，根据所述延迟情况的变化率计算所述延迟情况的得分。

延迟情况可以包括慢查询、SQL延迟数、错误数、延迟时长这四个参数。其中，慢查询若呈现明显上升趋势，得5分；否则得0分。SQL延迟数若呈现明显上升趋势，得5分；否则得0分。错误数若呈现明显上升趋势，得5分；否则得0分。延迟时长若呈现明显上升趋势，且延迟时长大于10分钟，得5分，否则得0分。

取慢查询、SQL延迟数、错误数、延迟时长这四个参数的得分之和，作为延迟情况的得分。

其中，待检测的值(例如延迟情况)是否存在明显上升趋势可以根据如下方式进行计算：对于连续的m个待检测的值，且时间靠后的待检测的值的数值大于时间靠前的待检测的值的数值，令m个待检测的值中相邻值之间相减，获得(m-1)个差值，若(m-1)个差值中的每个差值均超过第三预设差值，则判定待检测的值存在明显上升趋势；若(m-1)个差值中存在未超过第三预设差值的差值，则判定待检测的值不存在明显上升趋势。

例如，对于连续的四个待检测的值a、b、c、d，其中，a<b<c<d，计算三个差值(b-a)、(c-b)、(d-c)，若三个差值(b-a)、(c-b)、(d-c)均超过第三预设差值，则判定待检测的值存在明显上升趋势；若三个差值(b-a)、(c-b)、(d-c)中存在至少一个差值未超过第三预设差值，则判定待检测的值不存在明显上升趋势。

若相邻两次待检测的值之间的差值超过第二预设差值，且时间靠后的待检测的值的数值大于时间靠前的待检测的值的数值，则判定待检测的值存在明显上升趋势；若相邻两次待检测的值之间的差值未超过第二预设差值，则判定待检测的值不存在明显上升趋势。

步骤S1124，根据所述连接利用率的变化率计算所述连接利用率的得分。

连接利用率可以通过客户端与数据存储设备的服务端的连接成功的数量除以连接请求的总数量来计算。

若连接利用率趋势平稳，且无骤然下降，得0分；连接利用率趋势平稳，有骤然下降，得5分。

步骤S1125，根据所述缓存利用率的数值以及变化率计算所述缓冲利用率的得分。

缓存利用率包括缓冲池利用率和缓冲池无法满足请求数两个参数。

若缓冲池利用率趋势平稳且保持小于或等于80％，并且缓冲池无法满足请求数为0，判定缓存利用率得0分。

若缓冲池利用率趋势平稳且保持小于或等于80％，并且缓冲池无法满足请求数小于或等于10，判定缓存利用率得2分。

若缓冲池利用率保持100％超过预设时长，并且缓冲池无法满足请求数小于或等于10，判定缓存利用率得5分。

若缓冲池利用率保持100％超过上述的预设时长，并且缓冲池无法满足请求数大于10，判定缓存利用率得10分。

步骤S1126，根据新增数据平均值以及数据保留时长计算所述数据占用预估量，并根据所述数据占用预估量的数值计算所述数据占用预估量的得分。

新增数据平均值可以根据一定时间内的新增数据总量除以一定时间的天数，从而得到新增数据平均值，例如若7天内新增数据总量为b，则新增数据平均值为b/7。数据保留时长为预先设置的数据在数据存储设备的留存时间长度，例如留存一周或留存一个月等。

计算新增数据平均值以及数据保留时长的乘积，可以获得数据占用预估量，将数据占用预估量与磁盘总量做差值，可以得到剩余磁盘容量。

若剩余磁盘容量小于或等于磁盘总量的50％，则判定数据占用预估量的得分为0分。

若剩余磁盘容量大于磁盘总量的50％且小于或等于磁盘总量的85％，则判定数据占用预估量的得分为2分。

若剩余磁盘容量大于磁盘总量的85％，则判定数据占用预估量的得分为5分。

步骤S1127，计算所述堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量的得分的加和，所述加和为所述数据库性能指标的得分。

数据库性能指标包括堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量这些具体可以量化的指标，然后分别求解上述指标的得分，再计算上述指标的加和，从而可以较为全面的评估数据库性能指标。

步骤S113，判断所述资源指标的得分与所述数据库性能指标的得分的加和是否超过预设分值，若是，执行步骤S114；若否，执行步骤S115。

预设分值可以为85分，若资源指标的得分与所述数据库性能指标的得分的加和超过85分，执行步骤S114；若资源指标的得分与所述数据库性能指标的得分的加和未超过85分，执行步骤S115。

可选地，在一种具体实施方式中，若资源指标的得分与所述数据库性能指标的得分的加和小于或等于85分，并且资源指标的得分小于或等于x，数据库性能指标的得分小于或等于y，则可以判定数据存储设备运行状态良好。

若资源指标的得分与所述数据库性能指标的得分的加和小于或等于85分，并且资源指标的得分大于x，则可以判定数据存储设备硬件资源消耗严重，发出表征硬件资源消耗严重的提醒信号。

若资源指标的得分与所述数据库性能指标的得分的加和小于或等于85分，并且数据库性能指标的得分大于y，则可以判定数据存储设备的数据库参数设置不合理，发出表征数据库参数设置不合理的提醒信号。

步骤S114，判定所述运行能力指标达到切换存储数据库的条件。

步骤S115，判定所述运行能力指标未达到切换存储数据库的条件。

可以分别获取运行能力指标的组成部分：资源指标和数据库性能指标的得分，然后获得两者得分的加和，以加和与预设分值进行比较，从而判断运行能力指标是否达到切换条件，由于该过程参考了资源指标和数据库性能指标，提高了判断运行能力指标的准确性。

请参见图4，图4示出了本申请实施例提供的数据转移装置，所述装置400包括：

条件判断模块410，用于判断数据存储设备的运行能力指标是否达到切换存储数据库的条件。

转移完成确定模块420，用于当所述运行能力指标达到切换存储数据库的条件时，等待定时数据转移过程的完成，并在所述定时数据转移过程完成后确定初始数据库的全部数据转移至目标数据库，其中，所述定时数据转移过程为周期性地将新生成的数据由初始数据库转移至目标数据库的过程。

数据库切换模块430，用于将读写数据的数据库由所述初始数据库切换为所述目标数据库。

条件判断模块410，用于获取资源指标的得分；获取数据库性能指标的得分；判断所述资源指标的得分与所述数据库性能指标的得分的加和是否超过预设分值；若是，则判定所述运行能力指标达到切换存储数据库的条件。

条件判断模块410，用于根据所述堆积率的数值以及变化率计算所述堆积率的得分；根据所述吞吐量的变化率计算所述吞吐量的得分；根据所述延迟情况的变化率计算所述延迟情况的得分；根据所述连接利用率的变化率计算所述连接利用率的得分；根据所述缓存利用率的数值以及变化率计算所述缓冲利用率的得分；根据新增数据平均值以及数据保留时长计算所述数据占用预估量，并根据所述数据占用预估量的数值计算所述数据占用预估量的得分；计算所述堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量的得分的加和，所述加和为所述数据库性能指标的得分。

所述装置还包括：

控制指令接收模块，用于接收用户触发的确认切换存储数据库的控制指令。

备份获取模块，用于在预设时间段内，获取所述新生成的数据的数据备份，所述新生成的数据为本次定时数据转移过程与上一次定时数据转移过程相比，在所述初始数据库新生成的数据。

格式转换模块，用于将所述数据备份转换成预设格式文件，并将所述预设格式文件转移至所述目标数据库。

文件删除模块，用于当在所述预设时间段内完成所述新生成的数据的全部转移时，删除所述预设格式文件。

结束位置转移模块，用于当所述预设时间段内未完成所述新生成的数据的全部转移时，记录本次定时数据转移过程的结束位置，以便在下一次定时数据转移过程时从所述结束位置继续进行数据的转移。

本申请实施例可以实现从普通数据计算存储过渡到大数据计算存储的过程；可以较好地满足中小型客户的需求，既保障中小型客户普通数据计算存储正常运行，也可在客户业务激增后快速、高效、简单的过渡到大数据计算存储模式。本申请实施例提供的数据处理方法及装置节约了中小客户前期数据量级较小时的投入成本，同时满足后期数据存储量级增大后的大数据存储计算能力的可扩展性需求。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

判断数据存储设备的运行能力指标是否达到切换存储数据库的条件；

若所述运行能力指标达到切换存储数据库的条件，等待定时数据转移过程的完成，并在所述定时数据转移过程完成后确定初始数据库的全部数据转移至目标数据库，其中，所述定时数据转移过程为周期性地将新生成的数据由初始数据库转移至目标数据库的过程；

将所述数据存储设备读写数据的数据库由所述初始数据库切换为所述目标数据库。

2.根据权利要求1所述的方法，其特征在于，在所述等待定时数据转移过程的完成之前，所述方法还包括：

接收用户触发的确认切换存储数据库的控制指令。

3.根据权利要求1所述的方法，其特征在于，所述定时数据转移过程包括：

在预设时间段内，获取所述新生成的数据的数据备份，所述新生成的数据为本次定时数据转移过程与上一次定时数据转移过程相比，在所述初始数据库新生成的数据；

将所述数据备份转换成预设格式文件，并将所述预设格式文件转移至所述目标数据库；

若在所述预设时间段内完成所述新生成的数据的全部转移，删除所述预设格式文件。

4.根据权利要求3所述的方法，其特征在于，在所述将所述数据备份转换成预设格式文件，并将所述预设格式文件转移至所述目标数据库之后，所述方法还包括：

若在所述预设时间段内未完成所述新生成的数据的全部转移，记录本次定时数据转移过程的结束位置，以便在下一次定时数据转移过程时从所述结束位置继续进行数据的转移。

5.根据权利要求1所述的方法，其特征在于，所述运行能力指标包括资源指标和数据库性能指标，所述判断数据存储设备的运行能力指标是否达到切换存储数据库的条件，包括：

获取资源指标的得分；

获取数据库性能指标的得分；

判断所述资源指标的得分与所述数据库性能指标的得分的加和是否超过预设分值；

若是，则判定所述运行能力指标达到切换存储数据库的条件；

若否，则判定所述运行能力指标未达到切换存储数据库的条件。

6.根据权利要求5所述的方法，其特征在于，所述数据库性能指标包括堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量，所述获取数据库性能指标的得分，包括：

根据所述堆积率的数值以及变化率计算所述堆积率的得分；

根据所述吞吐量的变化率计算所述吞吐量的得分；

根据所述延迟情况的变化率计算所述延迟情况的得分；

根据所述连接利用率的变化率计算所述连接利用率的得分；

根据所述缓存利用率的数值以及变化率计算所述缓冲利用率的得分；

根据新增数据平均值以及数据保留时长计算所述数据占用预估量，并根据所述数据占用预估量的数值计算所述数据占用预估量的得分；

计算所述堆积率、吞吐量、延迟情况、连接利用率、缓冲利用率以及数据占用预估量的得分的加和，所述加和为所述数据库性能指标的得分。

7.一种数据转移装置，其特征在于，所述装置包括：

条件判断模块，用于判断数据存储设备的运行能力指标是否达到切换存储数据库的条件；

转移完成确定模块，用于当所述运行能力指标达到切换存储数据库的条件时，等待定时数据转移过程的完成，并在所述定时数据转移过程完成后确定初始数据库的全部数据转移至目标数据库，其中，所述定时数据转移过程为周期性地将新生成的数据由初始数据库转移至目标数据库的过程；

数据库切换模块，用于将所述数据存储设备读写数据的数据库由所述初始数据库切换为所述目标数据库。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

控制指令接收模块，用于接收用户触发的确认切换存储数据库的控制指令。

9.一种电子设备，其特征在于，包括：处理器和存储介质，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质进行通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1-6任一项所述的方法。

10.一种可读存储介质，其特征在于，该可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-6任一项所述的方法。

Images