CN107862097A - 一种基于TimesTen内存库的表数据智能清理方法 - Google Patents

一种基于TimesTen内存库的表数据智能清理方法 Download PDF

Info

Publication number
CN107862097A
CN107862097A CN201711390093.3A CN201711390093A CN107862097A CN 107862097 A CN107862097 A CN 107862097A CN 201711390093 A CN201711390093 A CN 201711390093A CN 107862097 A CN107862097 A CN 107862097A
Authority
CN
China
Prior art keywords
data
cleaning
timesten
memory
memory bank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711390093.3A
Other languages
English (en)
Inventor
程永新
林小勇
夏海雁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI NEW CENTURY NETWORK Co Ltd
Original Assignee
SHANGHAI NEW CENTURY NETWORK Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI NEW CENTURY NETWORK Co Ltd filed Critical SHANGHAI NEW CENTURY NETWORK Co Ltd
Priority to CN201711390093.3A priority Critical patent/CN107862097A/zh
Publication of CN107862097A publication Critical patent/CN107862097A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于TimesTen内存库的表数据智能清理方法，包括如下步骤：S1)先将TimesTen内存数据库表按大小和业务访问规则进行分类，生成清理策略字典表；S2)使用操作系统定时任务crontab，对TT内存库表空间事件进行监控；S3)采用事件监控模块确定待清理的TT内存库表列表，获取所有需要进行数据清理的TT内存库表；S4)最后调用智能清理模块，将待清理的TT内存库数据库表名按照不同的数据清理类型进行自动化数据清理操作。本发明能够针对TT内存库表空间形成事件监控、智能处理机制，可以有效解决现有技术中普遍存在的内存库空间长期高使用率状态运行，避免内存库空间引起的业务中断。

Description

一种基于TimesTen内存库的表数据智能清理方法
技术领域
本发明涉及一种数据库表清理方法，尤其涉及一种基于TimesTen内存库的表数据智能清理方法。
背景技术
TimesTen内存数据库(简写TT内存库)是将数据放在内存中直接操作的数据库，运行时以内存作为存储介质，事务变更操作都在内存中完成，支持SQL92标准。TT内存库抛弃传统的磁盘数据管理方式，在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作等多方面进行了改进,数据处理速度比传统数据库的要快很多，一般在10倍以上。因此TT内存数据库常被用于业务响应及时性要求非常高的场景，如目前的通信业务系统中的计费系统。
内存是IT系统中比较昂贵的资源，而TT内存库又是使用内存来存储数据，大多数的应用都是一次性申请内存资源，后续按照实际情况进行分配使用，这是为保证在实际使用中，内存块是连续的、高效的。TT内存库在启动的时候按照配置内存参数一次性向操作系统申请一块连续的内存块使用。这样就存在一个问题，当TT内存库申请的内存空间使用完毕，就没有空间可以用来存储数据。这样就会造成业务中断，必须通过扩容来解决内存库空间问题。在实际的使用中，扩容需要通过重启TT内存库来解决，至少需要1小时，意味着业务至少需要中断1小时。
正常情况下，使用内存库的业务，都会根据业务规则制定数据清理策略，内存库空间也会配置监控告警。从业务角度分析，当然是数据存储时间越长越好，从内存库角度分析，当然是空间使用率越低越好，这样就会造成一种冲突，业务部门不会按照制定的策略进行数据清理。一般都是内存库空间发出了告警，然后通知业务部门进行数据清理。此时由于堆积的历史数据多，需要清理的表多，因此只能够人工在晚上业务闲时进行清理。由于TT内存库的空间管理特性，被清理的空间只能够用于表自身使用，不能够被他表使用，造成内存库空间长期处于高使用率状态，业务长期处于高风险运行状态。
由上可见，现有技术具有如下缺点：1、业务部门未能够根据制定的策略进行实时数据清理。2、内存库的空间管理不能够与数据清理实现智能关联。3、数据清理，必须人工在晚上业务闲时进行。4、内存空间长期处于高使用率状态，业务长期运行在高风险状态。
发明内容
本发明所要解决的技术问题是提供一种基于TimesTen内存库的表数据智能清理方法，能够针对TT内存库表空间形成事件监控、智能处理机制，可以有效解决现有技术中普遍存在的内存库空间长期高使用率状态运行，避免内存库空间引起的业务中断。
本发明为解决上述技术问题而采用的技术方案是提供一种基于TimesTen内存库的表数据智能清理方法，包括如下步骤：S1)先将TimesTen内存数据库表按大小和业务访问规则进行分类，生成清理策略字典表；S2)使用操作系统定时任务crontab，对TT内存库表空间事件进行监控；S3)采用事件监控模块确定待清理的TT内存库表列表，获取所有需要进行数据清理的TT内存库表；S4)最后调用智能清理模块，将待清理的TT内存库数据库表名按照不同的数据清理类型进行自动化数据清理操作。
上述的基于TimesTen内存库的表数据智能清理方法，其中，所述步骤S1)按照不同的清理时长对TimesTen内存数据库表进行分类，并在业务对数据的访问方式有变更时，对清理策略字典表进行同步更新。
上述的基于TimesTen内存库的表数据智能清理方法，其中，所述步骤S3)中的事件监控模块将对象的属主名、待清理数据表名和数据清理标识作为输入参数传递给步骤S4)中的智能清理模块，所述步骤S4)包括：在清理策略字典表中按照所属内存库的属主名找出该属主的所有表名及数据库表进行数据清理的类型，再将待清理的TT内存库数据库表名与数据清理类型进行匹配，按照不同的数据清理类型值对数据库表按照不同的数据清理方法进行自动化数据清理操作。
上述的基于TimesTen内存库的表数据智能清理方法，其中，所述步骤S4)还包括对新增的数据库表进行记录，并对查找到的新表做一次数据量统计，生成处理日志供数据库管理员人工更新清理策略字典表。
本发明对比现有技术有如下的有益效果：本发明提供的基于TimesTen内存库的表数据智能清理方法，通过联合使用操作系统级别计划任务以及数据库内部处理方法，依据每套TimesTen数据库的表结构及业务特点，将TT内存库数据库表划分为小表(数据量1G以下)、大表(数据量1G以上)、按分钟清理的表、按小时清理的表、按天清理的表等不同类型，根据业务特点制定相应的数据清理策略，并根据模板和框架编写智能清理模块，通过脚本自动调度运行。从而能够针对TT内存库表空间形成事件监控、智能处理机制，可以有效解决现有技术中普遍存在的内存库空间长期高使用率状态运行，避免内存库空间引起的业务中断。
附图说明
图1为本发明基于TimesTen内存库的表数据智能清理整体流程示意图；
图2为本发明基于TimesTen内存库的智能清理模块执行流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1为本发明基于TimesTen内存库的表数据智能清理整体流程示意图。
请参见图1，本发明提供的基于TimesTen内存库的表数据智能清理方法，包括以下四个重要组成部分：
a)策略部分，根据业务运行及变更规则，生成并更新数据清理策略字典表(以下简称“字典表”)；
b)操作系统级别定时任务(负责定期调度)；
c)事件监控模块(负责TT内存库表空间事件监控，并调用智能清理模块，负责传入待清理TT内存库表及策略标识)
d)智能清理模块(根据传入的变量执行相应的数据清理操作)。
各组件功能及实现说明如下：
1.TT内存库表业务访问策略
在TT内存库表设计阶段，会根据业务访问数据的规则对TT内存库表进行设计，制定相应的清理策略。
2.策略字典表
初次使用本方案时，需要根据TT内存库表业务的访问策略梳理并生成策略字典表，在字典表中将TT内存库表按照业务特点划分为不同类型(TYPE)。如果业务对数据的访问方式有变更，也需要对该字典表进行同步更新，例如：
1：清理10分钟前的数据
2：清理30分钟前的数据
3：清理1小时前的数据
4：清理2小时前的数据
5：清理6小时前的数据
6：清理12小时前的数据
7：清理一天前的数据
其他：可进行类似自定义
3.操作系统定时任务
使用操作系统定时任务crontab，按照一定的间隔调用事件监控脚本，可自定义4.事件监控模块
该模块由操作系统定时任务调度，由三部分组成：
设置环境变量；
确定待清理的TT内存库表列表，获取所有需要进行数据清理的TT内存库表；
调用智能处理模块，将上一步骤获取到的变量作为输入参数传递给智能处理模块。
5.智能清理模块
5.1输入参数及说明如下：
TYPE：智能清理标识(数值型)
tt_ower：属主名
tt_tablename:待清理数据表名
以上参数可以组成：<属主名>+<待清理数据表名>形式的组合，可以基于属主、表等粒度进行智能化数据清理。
5.2智能清理模块执行流程如图2所示，主要过程如下：
①智能清理模块从事件监控模块处获得传入参数，事件监控模块命令书写方法为：“监控模块名”+“对象的属主名”+“智能清理标识(TYPE)”，其中后两项为脚本指定的变量。
②智能清理模块首先在字典表中按照所属内存库的属主名找出该属主的所有表名及数据库表进行数据清理的类型(TYPE)。
③将过程②中的TT内存库数据库表名与类型(TYPE)进行匹配，按照TYPE的不同值对数据库表按照不同的数据清理方法进行自动化数据清理操作。
④判断是否有字典表中不存在的新增库表
正常情况下所有的数据库表均应该在定期的梳理时补充到字典表中，此类不在字典表中的数据库表属于临时或者人为添加的数据库表。对于此类新增库表，由于无法预判应使用何种方式进行有针对性的数据自动清理，本次调度中不对此表做清理操作。同时，由于此类的表数据新增，数据量一般不会突然增加非常巨大，所以，此表所在内存空间不会对TT内存库性能造成不可控的影响。
此外，需在步骤⑥中针对新增的数据库表进行记录，提醒数据库管理人员及时更新字典表。
⑤根据步骤④中查找到的新表做一次数据量统计。
⑥记录步骤③、④、⑤中的操作过程和结果，生成智能处理日志供数据库管理员备查并通知相关人员。
⑦所有步骤执行后，整个智能清理操作完成。
综上所述，本发明提供的基于TimesTen内存库的表数据智能清理方法，将内存库空间管理与数据清理操作实现智能关联，根据策略字典表配置清理策略，实现智能化的数据清理操作，无需人工干预。本发明可以根据表对应业务特点，通过配置不同的清理策略、清理条件、清理频率、清理数据量，实现智能化清理；通过配置不同的清理策略，来实现内存库空间的智能化管理。此外，本发明具有较高的可扩展性，可以通过添加、更新策略字典表，来实现数据的智能化清理，也可以通过在事件监控模块新增事件监控来实现智能数据清理。
本发明将事件监控模块的输出信息，智能清理模块执行清理信息，结果信息发送给信息通知模块，既实现了智能数据清理操作信息输出，又实现了内存库空间智能管理信息输出，便于维护掌控整个操作过程。具体优点如下：
1.及时性：本方案通过操作系统定时任务实现了数据清理的及时性，可以最大限度的将低TT内存库空间使用率。
2.自动化：通过策略字典表的方式实现了自动化清理操作，针对不同类型的库表采用不同策略进行清理操作，避免了手工编写脚本以及不定期修改脚本的复杂操作。
3.智能化：通过将内存库空间管理与清理操作进行关联，既实现了数据清理自动化，又根据内存库空间使用率来进行数据智能数据清理操作。
4.灵活性：本方案采用策略字典表存储数据清理策略，通过配置不同的清理策略、清理条件、清理频率、清理数据量，实现业务表数据灵活清理操作。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (4)

1.一种基于TimesTen内存库的表数据智能清理方法，其特征在于，包括如下步骤：
S1)先将TimesTen内存数据库表按大小和业务访问规则进行分类，生成清理策略字典表；
S2)使用操作系统定时任务crontab，对TT内存库表空间事件进行监控；
S3)采用事件监控模块确定待清理的TT内存库表列表，获取所有需要进行数据清理的TT内存库表；
S4)最后调用智能清理模块，将待清理的TT内存库数据库表名按照不同的数据清理类型进行自动化数据清理操作。
2.如权利要求1所述的基于TimesTen内存库的表数据智能清理方法，其特征在于，所述步骤S1)按照不同的清理时长对TimesTen内存数据库表进行分类，并在业务对数据的访问方式有变更时，对清理策略字典表进行同步更新。
3.如权利要求1所述的基于TimesTen内存库的表数据智能清理方法，其特征在于，所述步骤S3)中的事件监控模块将对象的属主名、待清理数据表名和数据清理标识作为输入参数传递给步骤S4)中的智能清理模块，所述步骤S4)包括：在清理策略字典表中按照所属内存库的属主名找出该属主的所有表名及数据库表进行数据清理的类型，再将待清理的TT内存库数据库表名与数据清理类型进行匹配，按照不同的数据清理类型值对数据库表按照不同的数据清理方法进行自动化数据清理操作。
4.如权利要求1所述的基于TimesTen内存库的表数据智能清理方法，其特征在于，所述步骤S4)还包括对新增的数据库表进行记录，并对查找到的新表做一次数据量统计，生成处理日志供数据库管理员人工更新清理策略字典表。
CN201711390093.3A 2017-12-21 2017-12-21 一种基于TimesTen内存库的表数据智能清理方法 Pending CN107862097A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711390093.3A CN107862097A (zh) 2017-12-21 2017-12-21 一种基于TimesTen内存库的表数据智能清理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711390093.3A CN107862097A (zh) 2017-12-21 2017-12-21 一种基于TimesTen内存库的表数据智能清理方法

Publications (1)

Publication Number Publication Date
CN107862097A true CN107862097A (zh) 2018-03-30

Family

ID=61706699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711390093.3A Pending CN107862097A (zh) 2017-12-21 2017-12-21 一种基于TimesTen内存库的表数据智能清理方法

Country Status (1)

Country Link
CN (1) CN107862097A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829782A (zh) * 2018-05-31 2018-11-16 平安科技（深圳）有限公司 数据表清理方法、服务器及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992953A (zh) * 2005-12-30 2007-07-04 中兴通讯股份有限公司 一种分布式hlr内存数据库的实现方法
CN101231599A (zh) * 2008-02-02 2008-07-30 中兴通讯股份有限公司 一种定位特定内存被函数非法改写的方法
US20100262514A1 (en) * 2009-04-10 2010-10-14 W.W. Grainger, Inc. System and method for displaying, searching, and interacting with a two dimensional product catalog
CN101986649A (zh) * 2010-11-29 2011-03-16 深圳天源迪科信息技术股份有限公司 应用于电信行业计费系统的共享数据中心
CN102033930A (zh) * 2010-12-17 2011-04-27 北京世纪互联工程技术服务有限公司 分布式内存数据库系统
US20110246503A1 (en) * 2010-04-06 2011-10-06 Bender Michael A High-Performance Streaming Dictionary
CN103412884A (zh) * 2013-07-18 2013-11-27 华中科技大学 一种异构存储介质下嵌入式数据库的管理方法
CN104317628A (zh) * 2014-11-13 2015-01-28 北京奇虎科技有限公司 移动终端及其存储空间清理方法
CN106815353A (zh) * 2017-01-20 2017-06-09 星环信息科技（上海）有限公司 一种数据查询的方法及设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992953A (zh) * 2005-12-30 2007-07-04 中兴通讯股份有限公司 一种分布式hlr内存数据库的实现方法
CN101231599A (zh) * 2008-02-02 2008-07-30 中兴通讯股份有限公司 一种定位特定内存被函数非法改写的方法
US20100262514A1 (en) * 2009-04-10 2010-10-14 W.W. Grainger, Inc. System and method for displaying, searching, and interacting with a two dimensional product catalog
US20110246503A1 (en) * 2010-04-06 2011-10-06 Bender Michael A High-Performance Streaming Dictionary
CN101986649A (zh) * 2010-11-29 2011-03-16 深圳天源迪科信息技术股份有限公司 应用于电信行业计费系统的共享数据中心
CN102033930A (zh) * 2010-12-17 2011-04-27 北京世纪互联工程技术服务有限公司 分布式内存数据库系统
CN103412884A (zh) * 2013-07-18 2013-11-27 华中科技大学 一种异构存储介质下嵌入式数据库的管理方法
CN104317628A (zh) * 2014-11-13 2015-01-28 北京奇虎科技有限公司 移动终端及其存储空间清理方法
CN106815353A (zh) * 2017-01-20 2017-06-09 星环信息科技（上海）有限公司 一种数据查询的方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许丽花等: "《电脑知识与技术》", 15 December 2010 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829782A (zh) * 2018-05-31 2018-11-16 平安科技（深圳）有限公司 数据表清理方法、服务器及计算机可读存储介质
WO2019227721A1 (zh) * 2018-05-31 2019-12-05 平安科技（深圳）有限公司 数据表清理方法、服务器及计算机可读存储介质
CN108829782B (zh) * 2018-05-31 2023-08-25 平安科技（深圳）有限公司 数据表清理方法、服务器及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN105069134B (zh) 一种Oracle统计信息自动收集方法
CN102843418B (zh) 一种资源调度系统
CN109493076A (zh) 一种Kafka消息唯一消费方法、系统、服务器及存储介质
CN108021618A (zh) 一种数据查询方法及系统
CN109800262A (zh) 数据共享交换方法及系统
CN109271435A (zh) 一种支持断点续传的数据抽取方法及系统
CN105487924A (zh) 一种批处理控制方法及装置
CN109840111A (zh) 一种图形化的业务处理系统和方法
US20100179957A1 (en) Polling Method of Switch Status Based on Timer-triggered Scheduler of Stored Procedures
CN103077070A (zh) 云计算管理系统以及云计算系统的管理方法
CN106484595A (zh) 一种事件处理方法及装置
CN105187499B (zh) 一种基于zookeeper双平面数据架构的分布式调度方法及系统
CN104572867A (zh) 一种基于Oracle的数据处理方法
CN107609172A (zh) 一种跨系统多维度数据检索处理方法及装置
CN107862097A (zh) 一种基于TimesTen内存库的表数据智能清理方法
CN109977145A (zh) 一种基于水平分区的数据库自动分区管理方法及系统
CN108052574A (zh) 基于Kafka技术的从FTP服务器导入海量数据的ETL系统及实现方法
CN101567943A (zh) 一种数据管理和呼叫管理相分离的彩铃系统及其实现方法
CN114579097A (zh) 一种基于单项数据流的云原生数据api构建方法
CN109840184B (zh) 电网设备投运展示的调度方法、系统及设备
CN109450670A (zh) 一种人工智能模式下的指令冲突判断方法及其系统
CN108388581A (zh) 一种组态软件中历史数据的读取方法及装置
CN109993319A (zh) 一种一体化机房运维管理系统
CN110674220B (zh) 一种数据异构的方法、装置及设备
CN112633764A (zh) 智能客服系统及客户服务方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180330