CN108984698A - 一种数据库业务行为的建模方法 - Google Patents

一种数据库业务行为的建模方法 Download PDF

Info

Publication number
CN108984698A
CN108984698A CN201810728734.XA CN201810728734A CN108984698A CN 108984698 A CN108984698 A CN 108984698A CN 201810728734 A CN201810728734 A CN 201810728734A CN 108984698 A CN108984698 A CN 108984698A
Authority
CN
China
Prior art keywords
record
sentence
access times
behavior
recorded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810728734.XA
Other languages
English (en)
Other versions
CN108984698B (zh
Inventor
林禹
林荫峰
蔡世平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Software Co Ltd
Original Assignee
Fujian Star Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Software Co Ltd filed Critical Fujian Star Software Co Ltd
Priority to CN201810728734.XA priority Critical patent/CN108984698B/zh
Publication of CN108984698A publication Critical patent/CN108984698A/zh
Application granted granted Critical
Publication of CN108984698B publication Critical patent/CN108984698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种数据库业务行为的建模方法，对所有行为进行记录，包括：记录行为发生的时间；记录行为运行的时间；记录行为的语句类型，包括INSERT、UPDATE、SELECT和DELETE；记录简化后的语句内容，所述简化包括对语句中所有常量进行替换；记录语句的操作向量，包括对于简化后的语句内容相同的SQL仅计算一次，语句出现次数线性增加。本发明对所有业务行为进行简化与记录，便于后期系统运维、性能调优和只能索引的构建，提高数据库的应用价值。

Description

一种数据库业务行为的建模方法
技术领域
本发明涉及数据库领域，尤其涉及一种数据库业务行为的建模方法。
背景技术
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，是信息系统的核心和基础，把信息系统中大量的数据按一定的模型组织起来，提供存储、维护、检索数据的功能，使信息系统可以方便、及时、准确地从数据库中获得所需的信息，其中，数据库的业务行为建模，对于系统运维、性能调优和智能索引构建有着重要的意义。
发明内容
本发明要解决的技术问题，在于提供一种数据库业务行为的建模方法，对所有行为进行简化与记录，便于后期系统运维、性能调优和只能索引的构建，提高数据库的应用价值。
本发明是这样实现的：一种数据库业务行为的建模方法，对所有行为进行记录，包括：
记录行为发生的时间；
记录行为运行的时间；
记录行为的语句类型，包括INSERT、UPDATE、SELECT和DELETE；
记录简化后的语句内容，所述简化包括对语句中所有常量进行替换；
记录语句的操作向量，包括对于简化后的语句内容相同的SQL仅计算一次，语句出现次数线性增加。
进一步的，对单一语句操作向量的计算步骤包括：
步骤a、对于所有数据库的查询进行抽象语法树的解析；
步骤b、对于所有的查询，按照如下规则进行拆解：
忽略PROJECTION字段；
忽略排序顺序，包括ASC和DESC；
衍生字段仅记录原始字段；
记录所有的表字段的访问次数；
记录所有的字段集合排序的使用次数。
进一步的，所述字段集合排序的计算进一步包括：
记录所有ORDERBY子句的字段顺序集合，以及使用次数；
记录所有GROUP BY字段、顺序以及使用次数；
记录所有UNIQUE字段的使用次数；
记录所有的EXIST IN的使用次数。
本发明具有如下优点：对所有行为进行简化与记录，便于后期系统运维、性能调优和只能索引的构建，通过模型的量化数据的采集和分析，为后续分析提供良好的数据基础，提升承载数据的应用价值。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
具体实施方式
如图1所示，本发明一种数据库业务行为的建模方法，对所有行为进行记录，包括：
记录行为发生的时间，精度根据建模目的设置，一般小时、天即可；
记录行为运行的时间，即耗时；
记录行为的语句类型，包括INSERT、UPDATE、SELECT和DELETE；
记录简化后的语句内容，所述简化包括对语句中所有常量进行替换，比如将所有常量替换为：INT_CONST,STR_CONST等，降低存储所占空间；
记录语句的操作向量，包括对于简化后的语句内容相同的SQL仅计算一次，语句出现次数线性增加。
较佳的，对单一语句操作向量的计算步骤包括：
步骤a、对于所有数据库的查询进行抽象语法树(AST)的解析；
步骤b、对于所有的查询(含子查询)，按照如下规则进行拆解：
忽略PROJECTION字段，SELECT...FROM之间的内容；
忽略排序顺序，包括ASC和DESC；
衍生字段仅记录原始字段，该衍生字段即经过原始表字段计算后得到的或某种函数计算后的结果；
记录所有的表.字段的访问次数；
记录所有的字段集合排序的使用次数，比如ORDER BY CREATED_DATE,NAME，与ORDERBYNAME属于两个独立的计数器。
较佳的，所述字段集合排序的计算进一步包括：
记录所有ORDERBY子句的字段顺序集合，以及使用次数；
记录所有GROUP BY字段、顺序以及使用次数；
记录所有UNIQUE字段的使用次数；
对于使用UNION、INTERSECT和EXIST IN等子句的SQL语句，把每个子句拆解成独立的单一语句并合并建模，例如，Select*from a union select*from b；可以被拆解成2个单一语句，分别为Select*from a和Select*from b。
至此，数据库的操作行为已经可以被简化的数据所近似表达，维护人员或自动运维程序可以基于该数据对数据库进行相应的运维和优化。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (3)

1.一种数据库业务行为的建模方法，其特征在于：对所有行为进行记录，包括：
记录行为发生的时间；
记录行为运行的时间；
记录行为的语句类型，包括INSERT、UPDATE、SELECT和DELETE；
记录简化后的语句内容，所述简化包括对语句中所有常量进行替换；
记录语句的操作向量，包括对于简化后的语句内容相同的SQL仅计算一次，语句出现次数线性增加。
2.根据权利要求1所述的一种数据库业务行为的建模方法，其特征在于：对单一语句操作向量的计算步骤包括：
步骤a、对于所有数据库的查询进行抽象语法树的解析；
步骤b、对于所有的查询，按照如下规则进行拆解：
忽略PROJECTION字段；
忽略排序顺序，包括ASC和DESC；
衍生字段仅记录原始字段；
记录所有的表字段的访问次数；
记录所有的字段集合排序的使用次数。
3.根据权利要求2所述的一种数据库业务行为的建模方法，其特征在于：所述字段集合排序的计算进一步包括：
记录所有ORDERBY子句的字段顺序集合，以及使用次数；
记录所有GROUP BY字段、顺序以及使用次数；
记录所有UNIQUE字段的使用次数；
记录所有的EXIST IN的使用次数。
CN201810728734.XA 2018-07-05 2018-07-05 一种数据库业务行为的建模方法 Active CN108984698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810728734.XA CN108984698B (zh) 2018-07-05 2018-07-05 一种数据库业务行为的建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810728734.XA CN108984698B (zh) 2018-07-05 2018-07-05 一种数据库业务行为的建模方法

Publications (2)

Publication Number Publication Date
CN108984698A true CN108984698A (zh) 2018-12-11
CN108984698B CN108984698B (zh) 2023-06-27

Family

ID=64537117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810728734.XA Active CN108984698B (zh) 2018-07-05 2018-07-05 一种数据库业务行为的建模方法

Country Status (1)

Country Link
CN (1) CN108984698B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008238A (zh) * 2019-03-12 2019-07-12 北京东方国信科技股份有限公司 Nlj改进表连接方法及基于该改进方法的数据查询方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250921A (ja) * 1999-02-26 2000-09-14 Hitachi Ltd データベースの管理方法およびシステム
CN102163223A (zh) * 2011-04-02 2011-08-24 锐词文化发展（北京）有限公司 一种后台数据自助式查询方法和装置
US20140006342A1 (en) * 2012-06-27 2014-01-02 Thomas Love Systems for the integrated design, operation and modification of databases and associated web applications
CN103761080A (zh) * 2013-12-25 2014-04-30 中国农业大学 一种基于SQL的MapReduce作业生成方法及系统
CN103823680A (zh) * 2014-02-24 2014-05-28 广州精攻网络科技有限公司 一种游戏业务逻辑引擎的开发方法及装置
CN104462095A (zh) * 2013-09-13 2015-03-25 阿里巴巴集团控股有限公司 一种查询语句公共部分的提取方法及装置
CN104756101A (zh) * 2012-10-31 2015-07-01 惠普发展公司，有限责任合伙企业 执行具有多个集合操作符的查询
CN105320679A (zh) * 2014-07-11 2016-02-10 中国移动通信集团重庆有限公司 一种数据表索引集合生成方法及装置
CN106156162A (zh) * 2015-04-15 2016-11-23 阿里巴巴集团控股有限公司 数据库查询量统计方法和设备
CN106997386A (zh) * 2017-03-28 2017-08-01 上海跬智信息技术有限公司 一种olap预计算模型、自动建模方法及自动建模系统
CN107016019A (zh) * 2015-10-23 2017-08-04 阿里巴巴集团控股有限公司 数据库索引创建方法及装置
CN107133367A (zh) * 2017-06-09 2017-09-05 福建中金在线信息科技有限公司 一种信息处理方法及系统、服务器
CN107203640A (zh) * 2017-06-14 2017-09-26 成都四方伟业软件股份有限公司 通过数据库运行记录建立物理模型的方法及系统
US20180121292A1 (en) * 2016-11-02 2018-05-03 Mastercard International Incorporated Systems and methods for database management
CN108920664A (zh) * 2018-07-05 2018-11-30 福建星瑞格软件有限公司 一种基于索引价值的数据库智能索引实现方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250921A (ja) * 1999-02-26 2000-09-14 Hitachi Ltd データベースの管理方法およびシステム
CN102163223A (zh) * 2011-04-02 2011-08-24 锐词文化发展（北京）有限公司 一种后台数据自助式查询方法和装置
US20140006342A1 (en) * 2012-06-27 2014-01-02 Thomas Love Systems for the integrated design, operation and modification of databases and associated web applications
CN104756101A (zh) * 2012-10-31 2015-07-01 惠普发展公司，有限责任合伙企业 执行具有多个集合操作符的查询
CN104462095A (zh) * 2013-09-13 2015-03-25 阿里巴巴集团控股有限公司 一种查询语句公共部分的提取方法及装置
CN103761080A (zh) * 2013-12-25 2014-04-30 中国农业大学 一种基于SQL的MapReduce作业生成方法及系统
CN103823680A (zh) * 2014-02-24 2014-05-28 广州精攻网络科技有限公司 一种游戏业务逻辑引擎的开发方法及装置
CN105320679A (zh) * 2014-07-11 2016-02-10 中国移动通信集团重庆有限公司 一种数据表索引集合生成方法及装置
CN106156162A (zh) * 2015-04-15 2016-11-23 阿里巴巴集团控股有限公司 数据库查询量统计方法和设备
CN107016019A (zh) * 2015-10-23 2017-08-04 阿里巴巴集团控股有限公司 数据库索引创建方法及装置
US20180121292A1 (en) * 2016-11-02 2018-05-03 Mastercard International Incorporated Systems and methods for database management
CN106997386A (zh) * 2017-03-28 2017-08-01 上海跬智信息技术有限公司 一种olap预计算模型、自动建模方法及自动建模系统
CN107133367A (zh) * 2017-06-09 2017-09-05 福建中金在线信息科技有限公司 一种信息处理方法及系统、服务器
CN107203640A (zh) * 2017-06-14 2017-09-26 成都四方伟业软件股份有限公司 通过数据库运行记录建立物理模型的方法及系统
CN108920664A (zh) * 2018-07-05 2018-11-30 福建星瑞格软件有限公司 一种基于索引价值的数据库智能索引实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杭聪等: "数据库SQL审查与性能优化技术研究与应用" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008238A (zh) * 2019-03-12 2019-07-12 北京东方国信科技股份有限公司 Nlj改进表连接方法及基于该改进方法的数据查询方法

Also Published As

Publication number Publication date
CN108984698B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US11360950B2 (en) System for analysing data relationships to support data query execution
CN110300963B (zh) 大规模数据储存库中的数据管理系统
US11461294B2 (en) System for importing data into a data repository
US6970882B2 (en) Unified relational database model for data mining selected model scoring results, model training results where selection is based on metadata included in mining model control table
EP2608074B1 (en) Systems and methods for merging source records in accordance with survivorship rules
CN105912594B (zh) Sql语句处理方法和系统
CN107122443A (zh) 一种基于Spark SQL的分布式全文检索系统及方法
CN104899295B (zh) 一种异构数据源数据关联分析方法
CN107169033A (zh) 基于数据模式转换和并行框架的关系数据查询优化方法
US10042889B2 (en) Pseudo columns for data retrieval
CN114116716A (zh) 一种层次数据检索方法、装置和设备
CN109299154A (zh) 一种大数据的数据存储系统及方法
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
US7020656B1 (en) Partition exchange loading technique for fast addition of data to a data warehousing system
He et al. Stylus: a strongly-typed store for serving massive RDF data
CN113282599A (zh) 数据同步方法及系统
US20030191727A1 (en) Managing multiple data mining scoring results
CN108984698A (zh) 一种数据库业务行为的建模方法
CN109829003A (zh) 数据库备份方法及装置
CN108920664B (zh) 一种基于索引价值的数据库智能索引实现方法
CN112445867A (zh) 一种数据关系智能分析方法和系统
CN110442729A (zh) 一种基于粗燥集的语料库系统构建方法
US7043491B1 (en) Partition exchange technique for operating a data warehousing system
CN115937881A (zh) 一种知识图谱构建标准表格内容自动识别方法
Taktak et al. Toward propagating the evolution of data warehouse on data marts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 350000 21 / F, building 5, f District, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant after: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

Address before: Floor 20-21, building 5, area F, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province 350000

Applicant before: FUJIAN SINOREGAL SOFTWARE CO.,LTD.

GR01 Patent grant
GR01 Patent grant