CN110457255A - 数据归档的方法、服务器及计算机可读存储介质 - Google Patents
数据归档的方法、服务器及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110457255A CN110457255A CN201910608692.0A CN201910608692A CN110457255A CN 110457255 A CN110457255 A CN 110457255A CN 201910608692 A CN201910608692 A CN 201910608692A CN 110457255 A CN110457255 A CN 110457255A
- Authority
- CN
- China
- Prior art keywords
- data
- filing
- server
- archived
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000011156 evaluation Methods 0.000 claims description 42
- 238000012360 testing method Methods 0.000 claims description 42
- 238000013507 mapping Methods 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 6
- 239000002699 waste material Substances 0.000 abstract description 6
- 238000003032 molecular docking Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1727—Details of free space management performed by the file system
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及数据处理技术领域，揭露了一种数据归档方法、服务器及计算机可读存储介质。该方法包括：根据预设规则判断待归档数据是否满足归档条件，当待归档数据满足归档条件时，实时监控服务器的资源占用率，当判断所述服务器的资源占有率低于预设阈值的持续时间大于预设时间时，将满足归档条件的数据分类归档到不同的数据库。实现了对满足归档条件的数据的可靠归档，避免了归档服务器存储空间的浪费，对接了归档服务器的空闲期，保证了归档操作的可靠性。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据归档的方法、服务器及计算机可读存储介质。
背景技术
大数据在带来巨大的技术创新的同时，也带来了巨大的技术挑战。在数据库系统中，对于数据量不断增长的数据库表，当数据量增长到一定规模后，系统性能将明显下降，数据增删改查的效率都将受到影响，数据备份等日常维护工作也将面临很多麻烦，对历史数据进行归档，可以减少数据冗余，保证数据库系统的性能，但通用的归档方式是统一归档所有待归档数据，未对数据进行筛选，造成了归档服务器存储空间的浪费，例如，操作日志和大多数业务数据，超过一定时间以后再被修改的几率会很小，可优选筛选出此类数据进行归档，同时未对归档服务器的资源占有率状态进行监控，无法保证归档操作的可靠性。
发明内容
鉴于以上内容，有必要提供一种数据归档的方法、服务器及计算机可读存储介质，旨在实现对满足归档条件的数据的可靠归档，避免归档服务器存储空间的浪费，对接归档服务器的空闲期，保证归档操作的可靠性。
为实现上述目的，本发明提供一种数据归档方法，该方法包括：
接收步骤：接收客户端发送的数据归档请求及待归档数据，根据预设规则判断所述待归档数据是否满足归档条件；
判断步骤：当判断所述待归档数据满足归档条件时，实时监控所述服务器的资源占用率，判断所述服务器的资源占有率低于预设阈值的持续时间是否大于预设时间；
归档步骤：当判断所述服务器的资源占用率低于预设阈值的持续时间大于预设时间时，对满足归档条件的数据执行分类操作，根据分类类别将所述满足归档条件的数据归档到不同的数据库，并建立已归档数据与数据库之间的映射关系。
可选的，所述根据预设规则判断所述待归档数据是否满足归档条件包括：
获取所述待归档数据的操作频率、数据量及最近一次操作的时间的实际值；
根据预设的操作频率、数据量、最近一次操作的时间的实际值与参考值的映射关系，分别确定所述操作频率、数据量、最近一次操作的时间的实际值对应的指标值及权重；
对所述操作频率、数据量、最近一次操作的时间的指标值及权重进行加权汇总计算，得到所述数据的归档评测值；
比较所述归档评测值与参考评测值，当所述归档评测值大于所述参考评测值时，判断所述待归档数据满足归档条件。
可选的，所述接收步骤还包括：
将所述待归档数据存储至服务器的预先确定的存储地址对应的存储空间；
所述归档步骤还包括：
归档完成后，从所述服务器的预先确定的存储地址对应的存储空间中删除所述待归档数据。
可选的，所述数据归档方法在归档步骤后还包括：
生成归档报告，所述归档报告包含归档数据占用空间大小、归档开始时间、归档结束时间，并将所述归档报告发送至所述客户端。
可选的，所述数据归档方法在归档步骤后还包括：
响应客户端发送的操作已归档数据的请求，根据所述已归档数据与数据库之间的映射关系，将所述数据库的所述已归档数据的操作界面发送至所述客户端。
为实现上述目的，本发明还提供一种服务器，该服务器包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的数据归档程序，所述数据归档程序被所述处理器执行时实现如下步骤：
接收步骤：接收客户端发送的数据归档请求及待归档数据，根据预设规则判断所述待归档数据是否满足归档条件；
判断步骤：当判断所述待归档数据满足归档条件时，实时监控资源占用率，判断资源占有率低于预设阈值的持续时间是否大于预设时间；
归档步骤：当判断资源占用率低于预设阈值的持续时间大于预设时间时，对满足归档条件的数据执行分类操作，根据分类类别将所述满足归档条件的数据归档到不同的数据库，并建立已归档数据与数据库之间的映射关系。
可选的，所述根据预设规则判断所述待归档数据是否满足归档条件包括：
获取所述待归档数据的操作频率、数据量及最近一次操作的时间的实际值；
根据预设的操作频率、数据量、最近一次操作的时间的实际值与参考值的映射关系，分别确定所述操作频率、数据量、最近一次操作的时间的实际值对应的指标值及权重；
对所述操作频率、数据量、最近一次操作的时间的指标值及权重进行加权汇总计算，得到所述数据的归档评测值；
比较所述归档评测值与第一预设阈值，当所述归档评测值大于所述第一预设阈值时，判断所述待归档数据满足归档条件。
可选的，所述接收步骤还包括：
将所述待归档数据存储至预先确定的存储地址对应的存储空间；
所述归档步骤还包括：
归档完成后，从所述预先确定的存储地址对应的存储空间中删除所述待归档数据。
可选的，所述数据归档程序被所述处理器执行时还实现如下步骤：
生成归档报告，所述归档报告包含归档数据占用空间大小、归档开始时间、归档结束时间，并将所述归档报告发送至所述客户端。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据归档程序，所述数据归档程序可被一个或者多个处理器执行，以实现上述数据归档方法的任意步骤。
相较现有技术，本发明通过根据预设规则判断待归档数据是否满足归档条件，当所述待归档数据满足归档条件时，实时监控服务器的资源占用率，当判断所述服务器的资源占有率低于预设阈值的持续时间大于预设时间时，将满足归档条件的数据分类归档到不同的数据库。实现了对满足归档条件的数据的可靠归档，避免了归档服务器存储空间的浪费，对接了归档服务器的空闲期，保证了归档操作的可靠性。
附图说明
图1为本发明服务器一实施例的示意图；
图2为图1中的数据归档程序一实施例的程序模块图；
图3为本发明数据归档的方法一实施例的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示，为本发明服务器1一实施例的示意图。
在本实施例中，服务器1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有数据归档程序10，所述数据归档程序10可被所述处理器12执行。图1仅示出了具有组件11-13以及数据归档程序10的服务器1，本领域技术人员可以理解的是，图1示出的结构并不构成对服务器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，所述服务器1可以是机架式服务器、刀片式服务器、塔式服务器或者机柜式服务器等计算设备，该服务器1可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
所述存储器11包括内存及至少一种类型的可读存储介质。内存为服务器1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是服务器1的内部存储单元，例如该服务器1的硬盘；在另一些实施例中，该非易失性存储介质也可以是服务器1的外部存储设备，例如服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于服务器1的操作系统和各类应用软件，例如存储本发明一实施例中的数据归档程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述服务器1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行数据归档程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述服务器1与客户端(图中未画出)之间建立通信连接。
可选的，所述服务器1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。
在本发明的一实施例中，所述数据归档程序10被所述处理器12执行时实现如下接收步骤、判断步骤和归档步骤。
接收步骤：接收客户端发送的数据归档请求及待归档数据，根据预设规则判断所述待归档数据是否满足归档条件；
根据预设规则筛选待归档数据可减少服务器1存储空间的浪费。
在本发明的一个实施例中，所述根据预设规则判断所述待归档数据是否满足归档条件包括：
A1、获取所述待归档数据的操作频率、数据量及最近一次操作的时间的实际值；
所述数据的操作包括增加操作、删除操作、查询操作、修改操作等。
A2、根据预设的操作频率、数据量、最近一次操作的时间的实际值与参考值的映射关系，分别确定所述操作频率、数据量、最近一次操作的时间的实际值对应的指标值及权重；
例如，操作频率的指标值可以通过以下方式确定：
式中，Gi代表第i个数据的操作频率的指标值，m、n为正整数，m小于n。
数据量的指标值可以通过以下方式确定：
式中，Qi代表第i个数据的数据量的指标值，p、q为正数，p小于q。
最近一次操作的时间的指标值通过以下方式确定：
式中，Ti代表第i个数据的最近一次操作的时间的指标值，u、v为时间数值，u表示的时间远于v表示的时间。
A3、对所述操作频率、数据量、最近一次操作的时间的指标值及权重进行加权汇总计算，得到所述数据的归档评测值；
所述数据i的归档评测值Gi的计算公式为：
Gi＝a×Di+b×Qi+c×Ti
式中，a为预先确定的操作频率的指标值对应的权重，b为预先确定的数据量的指标值对应的权重，c为预先确定的最近一次操作的时间这的指标值对应的权重，a、b、c的和为1。
A4、比较所述归档评测值与参考评测值，若所述归档评测值大于所述参考评测值时，判断所述待归档数据满足归档条件。
在本实施例中，若所述归档评测值小于所述参考评测值，则所述待归档数据不满足归档条件。
判断步骤：当判断所述待归档数据满足归档条件时，实时监控资源占用率，判断资源占有率低于预设阈值的持续时间是否大于预设时间；
当所述服务器1的资源占有率低于预设阈值(例如，70％)的持续时间大于预设时间(例如，30分钟)时，判断所述服务器1的当前时段满足归档执行条件。
服务器1的资源占有率低于预设阈值，表明服务器1当前进入空闲状态，此时启动数据的归档操作，实现了对接服务器1的空闲期，保证了归档操作的可靠性。
服务器1的资源占用率可以通过监控平台获取。监控平台通过监控服务器1中的关键资源、读写页面的使用情况、磁盘的数据块使用情况、缓冲区的使用率等，计算得到服务器1的实时资源占用率。
归档步骤：当判断资源占用率低于预设阈值的持续时间大于预设时间时，对满足归档条件的数据执行分类操作，根据分类类别将所述满足归档条件的数据归档到不同的数据库，并建立已归档数据与数据库之间的映射关系。
所述对满足归档条件的数据执行分类操作，可以按照时间顺序分类，例如，2018年的数据为第一类，2016～2017年的数据为第二类，2013～2015的数据为第三类等，在本发明的另一个实施例中，也可以是按照数据的业务类型分类，例如，客户信息类数据为第一类，交易类数据为第二类，报告类数据为第三类等。
执行归档操作时，可直接将待归档数据发送至对应的数据库，也可将待归档数据进行转换后(例如压缩)发送至对应的数据库。
将归档数据根据分类类别归档到不同的数据库，并建立已归档数据与数据库之间的映射关系，可便于后续快速对已归档数据的操作。
在本发明的一个实施例中，所述接收步骤还包括：
将所述待归档数据存储至预先确定的存储地址对应的存储空间；
所述归档步骤还包括：
归档完成后，从所述预先确定的存储地址对应的存储空间中删除所述待归档数据。
对所述预先确定的存储地址对应的存储空间中删除所述待归档数据，可及时释放服务器1的存储空间。
在本发明的一个实施例中，所述数据归档程序10被所述处理器12执行时归档步骤后还实现如下步骤：
生成归档报告，所述归档报告包含归档数据占用空间大小、归档开始时间、归档结束时间，并将所述归档报告发送至所述客户端。
本实施例中，所述归档报告可以通过邮件、短信、微信等方式通知相应的负责人。
在本发明的一个实施例中，所述数据归档程序10被所述处理器12执行时在归档步骤后还实现如下步骤：
响应客户端发送的操作已归档数据的请求，根据所述已归档数据与数据库之间的映射关系，将所述数据库的所述已归档数据的操作界面发送至所述客户端。
如图2所示，为图1中的数据归档程序10一实施例的程序模块图。
在本发明的一个实施例中，数据归档程序10包括接收模块110、判断模块120及归档模块130。
所述接收模块110，用于接收客户端发送的数据归档请求及待归档数据，根据预设规则判断所述待归档数据是否满足归档条件。
根据预设规则筛选待归档数据可减少服务器1存储空间的浪费。
在本发明的一个实施例中，所述接收模块110根据预设规则判断所述待归档数据是否满足归档条件包括：
A1、获取所述待归档数据的操作频率、数据量及最近一次操作的时间的实际值；
所述数据的操作包括增加操作、删除操作、查询操作、修改操作等。
A2、根据预设的操作频率、数据量、最近一次操作的时间的实际值与参考值的映射关系，分别确定所述操作频率、数据量、最近一次操作的时间的实际值对应的指标值及权重；
例如，操作频率的指标值可以通过以下方式确定：
式中，Gi代表第i个数据的操作频率的指标值，m、n为正整数，m小于n。
数据量的指标值可以通过以下方式确定：
式中，Qi代表第i个数据的数据量的指标值，p、q为正数，p小于q。
最近一次操作的时间的指标值通过以下方式确定：
式中，Ti代表第i个数据的最近一次操作的时间的指标值，u、v为时间数值，u表示的时间远于v表示的时间。
A3、对所述操作频率、数据量、最近一次操作的时间的指标值及权重进行加权汇总计算，得到所述数据的归档评测值；
所述数据i的归档评测值Gi的计算公式为：
Gi＝a×Di+b×Qi+c×Ti
式中，a为预先确定的操作频率的指标值对应的权重，b为预先确定的数据量的指标值对应的权重，c为预先确定的最近一次操作的时间这的指标值对应的权重，a、b、c的和为1。
A4、比较所述归档评测值与参考评测值，若所述归档评测值大于所述参考评测值时，判断所述待归档数据满足归档条件。
在本实施例中，若所述归档评测值小于所述参考评测值，则所述待归档数据不满足归档条件。
所述接收模块110，还用于将所述待归档数据存储至预先确定的存储地址对应的存储空间。
所述判断模块120，用于当判断所述待归档数据满足归档条件时，实时监控资源占用率，判断资源占有率低于预设阈值的持续时间是否大于预设时间；
当所述服务器1的资源占有率低于预设阈值(例如，70％)的持续时间大于预设时间(例如，30分钟)时，判断所述服务器1的当前时段满足归档执行条件。
服务器1的资源占有率低于预设阈值，表明服务器1当前进入空闲状态，此时启动数据的归档操作，实现了对接服务器1的空闲期，保证了归档操作的可靠性。
服务器1的资源占用率可以通过监控平台获取。监控平台通过监控服务器1中的关键资源、读写页面的使用情况、磁盘的数据块使用情况、缓冲区的使用率等，计算得到服务器1的实时资源占用率。
所述归档模块120，用于当判断资源占用率低于预设阈值的持续时间大于预设时间时，对满足归档条件的数据执行分类操作，根据分类类别将所述满足归档条件的数据归档到不同的数据库，并建立已归档数据与数据库之间的映射关系。
所述对满足归档条件的数据执行分类操作，可以按照时间顺序分类，例如，2018年的数据为第一类，2016～2017年的数据为第二类，2013～2015的数据为第三类等，在本发明的另一个实施例中，也可以是按照数据的业务类型分类，例如，客户信息类数据为第一类，交易类数据为第二类，报告类数据为第三类等。
执行归档操作时，可直接将待归档数据发送至对应的数据库，也可将待归档数据进行转换后(例如压缩)发送至对应的数据库。
将归档数据根据分类类别归档到不同的数据库，并建立已归档数据与数据库之间的映射关系，可便于后续快速对已归档数据的操作。
在本发明的一个实施例中，所述归档模块120还用于：
归档完成后，从所述预先确定的存储地址对应的存储空间中删除所述待归档数据。
对所述预先确定的存储地址对应的存储空间中删除所述待归档数据，可及时释放服务器1的存储空间。
在本发明的一个实施例中，所述归档模块120还用于：
生成归档报告，所述归档报告包含归档数据占用空间大小、归档开始时间、归档结束时间，并将所述归档报告发送至所述客户端。
本实施例中，所述归档报告可以通过邮件、短信、微信等方式通知相应的负责人。
在本发明的一个实施例中，所述归档模块120还用于：
响应客户端发送的操作已归档数据的请求，根据所述已归档数据与数据库之间的映射关系，将所述数据库的所述已归档数据的操作界面发送至所述客户端。
如图3所示，为本发明数据归档的方法一实施例的流程图，该数据归档的方法包括以下步骤S1、S2及S3。
S1、接收客户端发送的数据归档请求及待归档数据，根据预设规则判断所述待归档数据是否满足归档条件；
根据预设规则筛选待归档数据可减少服务器1存储空间的浪费。
在本发明的一个实施例中，所述根据预设规则判断所述待归档数据是否满足归档条件包括：
A1、获取所述待归档数据的操作频率、数据量及最近一次操作的时间的实际值；
所述数据的操作包括增加操作、删除操作、查询操作、修改操作等。
A2、根据预设的操作频率、数据量、最近一次操作的时间的实际值与参考值的映射关系，分别确定所述操作频率、数据量、最近一次操作的时间的实际值对应的指标值及权重；
例如，操作频率的指标值可以通过以下方式确定：
式中，Gi代表第i个数据的操作频率的指标值，m、n为正整数，m小于n。
数据量的指标值可以通过以下方式确定：
式中，Qi代表第i个数据的数据量的指标值，p、q为正数，p小于q。
最近一次操作的时间的指标值通过以下方式确定：
式中，Ti代表第i个数据的最近一次操作的时间的指标值，u、v为时间数值，u表示的时间远于v表示的时间。
A3、对所述操作频率、数据量、最近一次操作的时间的指标值及权重进行加权汇总计算，得到所述数据的归档评测值；
所述数据i的归档评测值Gi的计算公式为：
Gi＝a×Di+b×Qi+c×Ti
式中，a为预先确定的操作频率的指标值对应的权重，b为预先确定的数据量的指标值对应的权重，c为预先确定的最近一次操作的时间这的指标值对应的权重，a、b、c的和为1。
A4、比较所述归档评测值与参考评测值，若所述归档评测值大于所述参考评测值时，判断所述待归档数据满足归档条件。
在本实施例中，若所述归档评测值小于所述参考评测值，则所述待归档数据不满足归档条件。
S2、当判断所述待归档数据满足归档条件时，实时监控服务器1的资源占用率，判断所述服务器1的资源占有率低于预设阈值的持续时间是否大于预设时间；
当所述服务器1的资源占有率低于第二预设阈值(例如，70％)的持续时间大于预设时间(例如，30分钟)时，判断所述服务器1的当前时段满足归档执行条件。
服务器1的资源占有率低于预设阈值，表明服务器1当前进入空闲状态，此时启动数据的归档操作，实现了对接服务器1的空闲期，保证了归档操作的可靠性。
服务器1的资源占用率可以通过监控平台获取。监控平台通过监控服务器1中的关键资源、读写页面的使用情况、磁盘的数据块使用情况、缓冲区的使用率等，计算得到服务器1的实时资源占用率。
S3、当判断所述服务器1的资源占用率低于预设阈值的持续时间大于预设时间时，对满足归档条件的数据执行分类操作，根据分类类别将所述满足归档条件的数据归档到不同的数据库，并建立已归档数据与数据库之间的映射关系。
所述对满足归档条件的数据执行分类操作，可以按照时间顺序分类，例如，2018年的数据为第一类，2016～2017年的数据为第二类，2013～2015的数据为第三类等，在本发明的另一个实施例中，也可以是按照数据的业务类型分类，例如，客户信息类数据为第一类，交易类数据为第二类，报告类数据为第三类等。
执行归档操作时，可直接将待归档数据发送至对应的数据库，也可将待归档数据进行转换后(例如压缩)发送至对应的数据库。
将归档数据根据分类类别归档到不同的数据库，并建立已归档数据与数据库之间的映射关系，可便于后续快速对已归档数据的操作。
在本发明的一个实施例中，所述步骤S1还包括：
将所述待归档数据存储至预先确定的存储地址对应的存储空间；
所述步骤S3还包括：
归档完成后，从所述预先确定的存储地址对应的存储空间中删除所述待归档数据。
对所述预先确定的存储地址对应的存储空间中删除所述待归档数据，可及时释放服务器1的存储空间。
在本发明的一个实施例中，所述数据归档方法在步骤S3后还实现如下步骤：
生成归档报告，所述归档报告包含归档数据占用空间大小、归档开始时间、归档结束时间，并将所述归档报告发送至所述客户端。
本实施例中，所述归档报告可以通过邮件、短信、微信等方式通知相应的负责人。
在本发明的一个实施例中，所述数据归档方法在步骤S3后还实现如下步骤：
响应客户端发送的操作已归档数据的请求，根据所述已归档数据与数据库之间的映射关系，将所述数据库的所述已归档数据的操作界面发送至所述客户端。
此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括数据归档程序10，本发明之计算机可读存储介质的具体实施方式与上述数据归档的方法以及服务器的具体实施方式大致相同，在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据归档方法，应用于服务器，其特征在于，所述数据归档方法包括：
接收步骤：接收客户端发送的数据归档请求及待归档数据，根据预设规则判断所述待归档数据是否满足归档条件；
判断步骤：当判断所述待归档数据满足归档条件时，实时监控所述服务器的资源占用率，判断所述服务器的资源占有率低于预设阈值的持续时间是否大于预设时间；
归档步骤：当判断所述服务器的资源占用率低于预设阈值的持续时间大于预设时间时，对满足归档条件的数据执行分类操作，根据分类类别将所述满足归档条件的数据归档到不同的数据库，并建立已归档数据与数据库之间的映射关系。
2.如权利要求1所述的数据归档方法，其特征在于，所述根据预设规则判断所述待归档数据是否满足归档条件包括：
获取所述待归档数据的操作频率、数据量及最近一次操作的时间的实际值；
根据预设的操作频率、数据量、最近一次操作的时间的实际值与参考值的映射关系，分别确定所述操作频率、数据量、最近一次操作的时间的实际值对应的指标值及权重；
对所述操作频率、数据量、最近一次操作的时间的指标值及权重进行加权汇总计算，得到所述数据的归档评测值；
比较所述归档评测值与参考评测值，当所述归档评测值大于所述参考评测值时，判断所述待归档数据满足归档条件。
3.如权利要求1所述的数据归档方法，其特征在于，所述接收步骤还包括：
将所述待归档数据存储至所述服务器的预先确定的存储地址对应的存储空间；
所述归档步骤还包括：
归档完成后，从所述服务器的预先确定的存储地址对应的存储空间中删除所述待归档数据。
4.如权利要求1-3所述的数据归档方法，其特征在于，所述数据归档方法在归档步骤后还包括：
生成归档报告，所述归档报告包含归档数据占用空间大小、归档开始时间、归档结束时间，并将所述归档报告发送至所述客户端。
5.如权利要求1-3所述的数据归档方法，其特征在于，所述数据归档方法在归档步骤后还包括：
响应客户端发送的操作已归档数据的请求，根据所述已归档数据与数据库之间的映射关系，将所述数据库的所述已归档数据的操作界面发送至所述客户端。
6.一种服务器，其特征在于，该服务器包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的数据归档程序，所述数据归档程序被所述处理器执行时实现如下步骤：
接收步骤：接收客户端发送的数据归档请求及待归档数据，根据预设规则判断所述待归档数据是否满足归档条件；
判断步骤：当判断所述待归档数据满足归档条件时，实时监控资源占用率，判断资源占有率低于预设阈值的持续时间是否大于预设时间；
归档步骤：当判断资源占用率低于预设阈值的持续时间大于预设时间时，对满足归档条件的数据执行分类操作，根据分类类别将所述满足归档条件的数据归档到不同的数据库，并建立已归档数据与数据库之间的映射关系。
7.如权利要求6所述的服务器，其特征在于，所述根据预设规则判断所述待归档数据是否满足归档条件包括：
获取所述待归档数据的操作频率、数据量及最近一次操作的时间的实际值；
根据预设的操作频率、数据量、最近一次操作的时间的实际值与参考值的映射关系，分别确定所述操作频率、数据量、最近一次操作的时间的实际值对应的指标值及权重；
对所述操作频率、数据量、最近一次操作的时间的指标值及权重进行加权汇总计算，得到所述数据的归档评测值；
比较所述归档评测值与参考评测值，当所述归档评测值大于所述参考评测值时，判断所述待归档数据满足归档条件。
8.如权利要求6所述的服务器，其特征在于，所述接收步骤还包括：
将所述待归档数据存储至预先确定的存储地址对应的存储空间；
所述归档步骤还包括：
归档完成后，从所述预先确定的存储地址对应的存储空间中删除所述待归档数据。
9.如权利要求6-8所述的服务器，其特征在于，所述数据归档程序被所述处理器执行时还实现如下步骤：
生成归档报告，所述归档报告包含归档数据占用空间大小、归档开始时间、归档结束时间，并将所述归档报告发送至所述客户端。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据归档程序，所述数据归档程序可被一个或者多个处理器执行，以实现如权利要求1至5任一项所述的数据归档方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910608692.0A CN110457255B (zh) | 2019-07-05 | 2019-07-05 | 数据归档的方法、服务器及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910608692.0A CN110457255B (zh) | 2019-07-05 | 2019-07-05 | 数据归档的方法、服务器及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110457255A true CN110457255A (zh) | 2019-11-15 |
| CN110457255B CN110457255B (zh) | 2023-11-21 |
Family
ID=68482441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910608692.0A Active CN110457255B (zh) | 2019-07-05 | 2019-07-05 | 数据归档的方法、服务器及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110457255B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159102A (zh) * | 2019-12-20 | 2020-05-15 | 中国建设银行股份有限公司 | 非结构化数据归档方法、装置、设备及存储介质 |
| CN111506749A (zh) * | 2020-04-15 | 2020-08-07 | 北京金山云网络技术有限公司 | 一种监控数据归档方法、装置、电子设备及存储介质 |
| CN116701411A (zh) * | 2023-08-07 | 2023-09-05 | 北京谷器数据科技有限公司 | 一种多领域数据归档方法、装置、介质及设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103930864A (zh) * | 2011-09-07 | 2014-07-16 | 赛门铁克公司 | 用于备份和归档的公司数据与私人数据的自动分离 |
| CN106649436A (zh) * | 2016-09-08 | 2017-05-10 | 东软集团股份有限公司 | 数据归档方法与装置 |
| CN107870981A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
| CN108470045A (zh) * | 2018-03-06 | 2018-08-31 | 平安科技（深圳）有限公司 | 电子装置、数据链式归档的方法及存储介质 |
| CN109145052A (zh) * | 2018-07-12 | 2019-01-04 | 北京炎黄盈动科技发展有限责任公司 | 数据分区存储方法、设备、系统、存储介质及电子设备 |
| CN109542858A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技（深圳）有限公司 | 基于分布式存储系统的数据归档方法、装置、计算机设备 |
| CN109726174A (zh) * | 2018-12-28 | 2019-05-07 | 江苏满运软件科技有限公司 | 数据归档方法、系统、设备以及存储介质 |
-
2019
- 2019-07-05 CN CN201910608692.0A patent/CN110457255B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103930864A (zh) * | 2011-09-07 | 2014-07-16 | 赛门铁克公司 | 用于备份和归档的公司数据与私人数据的自动分离 |
| CN106649436A (zh) * | 2016-09-08 | 2017-05-10 | 东软集团股份有限公司 | 数据归档方法与装置 |
| CN107870981A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
| CN108470045A (zh) * | 2018-03-06 | 2018-08-31 | 平安科技（深圳）有限公司 | 电子装置、数据链式归档的方法及存储介质 |
| CN109145052A (zh) * | 2018-07-12 | 2019-01-04 | 北京炎黄盈动科技发展有限责任公司 | 数据分区存储方法、设备、系统、存储介质及电子设备 |
| CN109542858A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技（深圳）有限公司 | 基于分布式存储系统的数据归档方法、装置、计算机设备 |
| CN109726174A (zh) * | 2018-12-28 | 2019-05-07 | 江苏满运软件科技有限公司 | 数据归档方法、系统、设备以及存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111159102A (zh) * | 2019-12-20 | 2020-05-15 | 中国建设银行股份有限公司 | 非结构化数据归档方法、装置、设备及存储介质 |
| CN111506749A (zh) * | 2020-04-15 | 2020-08-07 | 北京金山云网络技术有限公司 | 一种监控数据归档方法、装置、电子设备及存储介质 |
| CN111506749B (zh) * | 2020-04-15 | 2024-01-02 | 北京金山云网络技术有限公司 | 一种监控数据归档方法、装置、电子设备及存储介质 |
| CN116701411A (zh) * | 2023-08-07 | 2023-09-05 | 北京谷器数据科技有限公司 | 一种多领域数据归档方法、装置、介质及设备 |
| CN116701411B (zh) * | 2023-08-07 | 2023-11-21 | 北京谷器数据科技有限公司 | 一种多领域数据归档方法、装置、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110457255B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101388319B1 (ko) | 보안 이벤트들을 관리하기 위한 방법 및 디바이스 | |
| CN110457255A (zh) | 数据归档的方法、服务器及计算机可读存储介质 | |
| US10115058B2 (en) | Predictive modeling | |
| US6263298B1 (en) | Method for analyzing system performance | |
| US20080235183A1 (en) | Workload Aware Checking of Database Reorganization | |
| CN109873904A (zh) | 消息推送的用户消息状态上报处理方法、装置及存储介质 | |
| CN101542446A (zh) | 系统分析和管理 | |
| US20100153675A1 (en) | Management of Native Memory Usage | |
| CN111813573A (zh) | 管理平台与机器人软件的通信方法及其相关设备 | |
| CN111277274A (zh) | 数据压缩方法、装置、设备及存储介质 | |
| CN111767269B (zh) | 数据库实例的健康检测方法、装置、设备及存储介质 | |
| CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
| CN114546590B (zh) | Java虚拟机堆内存集合对象监测方法及内存溢出分析方法 | |
| CN115455058A (zh) | 缓存数据的处理方法、装置、计算机设备及存储介质 | |
| CN115357450A (zh) | 基于人工智能的节点维护方法、装置、计算机设备及介质 | |
| CN107168643B (zh) | 一种数据存储方法及装置 | |
| CN110471832A (zh) | 程序运行的处理方法、装置及计算机可读存储介质 | |
| CN108111328B (zh) | 一种异常处理方法及装置 | |
| CN110347546B (zh) | 监控任务动态调整方法、装置、介质及电子设备 | |
| CN110191097A (zh) | 登录页面安全性的检测方法、系统、设备及存储介质 | |
| CN109918189B (zh) | 一种资源管理方法及相关设备 | |
| CN115878400A (zh) | 测试方法、装置、计算机设备、存储介质和程序产品 | |
| CN115328764A (zh) | 基于自动化测试的测试代码优化方法及其相关设备 | |
| CN112433888A (zh) | 数据处理方法及装置、存储介质和电子设备 | |
| CN115203063B (zh) | 基于实时录制的生产流量重跑风险程序的回放方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |