CN108984698B - 一种数据库业务行为的建模方法 - Google Patents
一种数据库业务行为的建模方法 Download PDFInfo
- Publication number
- CN108984698B CN108984698B CN201810728734.XA CN201810728734A CN108984698B CN 108984698 B CN108984698 B CN 108984698B CN 201810728734 A CN201810728734 A CN 201810728734A CN 108984698 B CN108984698 B CN 108984698B
- Authority
- CN
- China
- Prior art keywords
- recording
- sentence
- behavior
- field
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种数据库业务行为的建模方法，对所有行为进行记录，包括：记录行为发生的时间；记录行为运行的时间；记录行为的语句类型，包括INSERT、UPDATE、SELECT和DELETE；记录简化后的语句内容，所述简化包括对语句中所有常量进行替换；记录语句的操作向量，包括对于简化后的语句内容相同的SQL仅计算一次，语句出现次数线性增加。本发明对所有业务行为进行简化与记录，便于后期系统运维、性能调优和只能索引的构建，提高数据库的应用价值。
Description
技术领域
本发明涉及数据库领域，尤其涉及一种数据库业务行为的建模方法。
背景技术
数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，是信息系统的核心和基础，把信息系统中大量的数据按一定的模型组织起来，提供存储、维护、检索数据的功能，使信息系统可以方便、及时、准确地从数据库中获得所需的信息，其中，数据库的业务行为建模，对于系统运维、性能调优和智能索引构建有着重要的意义。
发明内容
本发明要解决的技术问题，在于提供一种数据库业务行为的建模方法，对所有行为进行简化与记录，便于后期系统运维、性能调优和只能索引的构建，提高数据库的应用价值。
本发明是这样实现的：一种数据库业务行为的建模方法，对所有行为进行记录，包括：
记录行为发生的时间；
记录行为运行的时间；
记录行为的语句类型，包括INSERT、UPDATE、SELECT和DELETE；
记录简化后的语句内容，所述简化包括对语句中所有常量进行替换；
记录语句的操作向量，包括对于简化后的语句内容相同的SQL仅计算一次，语句出现次数线性增加。
进一步的，对单一语句操作向量的计算步骤包括：
步骤a、对于所有数据库的查询进行抽象语法树的解析；
步骤b、对于所有的查询，按照如下规则进行拆解：
忽略PROJECTION字段；
忽略排序顺序，包括ASC和DESC；
衍生字段仅记录原始字段；
记录所有的表字段的访问次数；
记录所有的字段集合排序的使用次数。
进一步的，所述字段集合排序的计算进一步包括：
记录所有ORDERBY子句的字段顺序集合，以及使用次数；
记录所有GROUP BY字段、顺序以及使用次数；
记录所有UNIQUE字段的使用次数；
记录所有的EXIST IN的使用次数。
本发明具有如下优点：对所有行为进行简化与记录，便于后期系统运维、性能调优和只能索引的构建，通过模型的量化数据的采集和分析，为后续分析提供良好的数据基础，提升承载数据的应用价值。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明方法执行流程图。
具体实施方式
如图1所示，本发明一种数据库业务行为的建模方法，对所有行为进行记录，包括：
记录行为发生的时间，精度根据建模目的设置，一般小时、天即可；
记录行为运行的时间，即耗时；
记录行为的语句类型，包括INSERT、UPDATE、SELECT和DELETE；
记录简化后的语句内容，所述简化包括对语句中所有常量进行替换，比如将所有常量替换为：INT_CONST,STR_CONST等，降低存储所占空间；
记录语句的操作向量，包括对于简化后的语句内容相同的SQL仅计算一次，语句出现次数线性增加。
较佳的，对单一语句操作向量的计算步骤包括：
步骤a、对于所有数据库的查询进行抽象语法树(AST)的解析；
步骤b、对于所有的查询(含子查询)，按照如下规则进行拆解：
忽略PROJECTION字段，SELECT...FROM之间的内容；
忽略排序顺序，包括ASC和DESC；
衍生字段仅记录原始字段，该衍生字段即经过原始表字段计算后得到的或某种函数计算后的结果；
记录所有的表.字段的访问次数；
记录所有的字段集合排序的使用次数，比如ORDER BY CREATED_DATE,NAME，与ORDERBYNAME属于两个独立的计数器。
较佳的，所述字段集合排序的计算进一步包括：
记录所有ORDERBY子句的字段顺序集合，以及使用次数；
记录所有GROUP BY字段、顺序以及使用次数；
记录所有UNIQUE字段的使用次数；
对于使用UNION、INTERSECT和EXIST IN等子句的SQL语句，把每个子句拆解成独立的单一语句并合并建模，例如，Select*from a union select*from b；可以被拆解成2个单一语句，分别为Select*from a和Select*from b。
至此，数据库的操作行为已经可以被简化的数据所近似表达，维护人员或自动运维程序可以基于该数据对数据库进行相应的运维和优化。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (1)
1.一种数据库业务行为的建模方法，其特征在于：对所有行为进行记录，包括：
记录行为发生的时间；
记录行为运行的时间；
记录行为的语句类型，包括INSERT、UPDATE、SELECT和DELETE；
记录简化后的语句内容，所述简化包括对语句中所有常量进行替换；
记录语句的操作向量，包括对于简化后的语句内容相同的SQL仅计算一次，语句出现次数线性增加；
对单一语句操作向量的计算步骤包括：
步骤a、对于所有数据库的查询进行抽象语法树的解析；
步骤b、对于所有的查询，按照如下规则进行拆解：
忽略PROJECTION字段；
忽略排序顺序，包括ASC和DESC；
衍生字段仅记录原始字段；
记录所有的表字段的访问次数；
记录所有的字段集合排序的使用次数；
所述字段集合排序的计算进一步包括：
记录所有ORDER BY子句的字段顺序集合，以及使用次数；
记录所有GROUP BY字段、顺序以及使用次数；
记录所有UNIQUE字段的使用次数；
记录所有的EXIST IN的使用次数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810728734.XA CN108984698B (zh) | 2018-07-05 | 2018-07-05 | 一种数据库业务行为的建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810728734.XA CN108984698B (zh) | 2018-07-05 | 2018-07-05 | 一种数据库业务行为的建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108984698A CN108984698A (zh) | 2018-12-11 |
| CN108984698B true CN108984698B (zh) | 2023-06-27 |
Family
ID=64537117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810728734.XA Active CN108984698B (zh) | 2018-07-05 | 2018-07-05 | 一种数据库业务行为的建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108984698B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008238B (zh) * | 2019-03-12 | 2021-04-27 | 北京东方国信科技股份有限公司 | Nlj改进表连接方法及基于该改进方法的数据查询方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000250921A (ja) * | 1999-02-26 | 2000-09-14 | Hitachi Ltd | データベースの管理方法およびシステム |
| CN104756101A (zh) * | 2012-10-31 | 2015-07-01 | 惠普发展公司，有限责任合伙企业 | 执行具有多个集合操作符的查询 |
| CN105320679A (zh) * | 2014-07-11 | 2016-02-10 | 中国移动通信集团重庆有限公司 | 一种数据表索引集合生成方法及装置 |
| CN106997386A (zh) * | 2017-03-28 | 2017-08-01 | 上海跬智信息技术有限公司 | 一种olap预计算模型、自动建模方法及自动建模系统 |
| CN107016019A (zh) * | 2015-10-23 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 数据库索引创建方法及装置 |
| CN107203640A (zh) * | 2017-06-14 | 2017-09-26 | 成都四方伟业软件股份有限公司 | 通过数据库运行记录建立物理模型的方法及系统 |
| CN108920664A (zh) * | 2018-07-05 | 2018-11-30 | 福建星瑞格软件有限公司 | 一种基于索引价值的数据库智能索引实现方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102163223A (zh) * | 2011-04-02 | 2011-08-24 | 锐词文化发展（北京）有限公司 | 一种后台数据自助式查询方法和装置 |
| US20140006342A1 (en) * | 2012-06-27 | 2014-01-02 | Thomas Love | Systems for the integrated design, operation and modification of databases and associated web applications |
| CN104462095B (zh) * | 2013-09-13 | 2018-06-12 | 阿里巴巴集团控股有限公司 | 一种查询语句公共部分的提取方法及装置 |
| CN103761080B (zh) * | 2013-12-25 | 2017-02-15 | 中国农业大学 | 一种基于SQL的MapReduce作业生成方法及系统 |
| CN103823680B (zh) * | 2014-02-24 | 2017-07-18 | 广州精攻网络科技有限公司 | 一种游戏业务逻辑引擎的开发方法及装置 |
| CN106156162A (zh) * | 2015-04-15 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 数据库查询量统计方法和设备 |
| US20180121292A1 (en) * | 2016-11-02 | 2018-05-03 | Mastercard International Incorporated | Systems and methods for database management |
| CN107133367A (zh) * | 2017-06-09 | 2017-09-05 | 福建中金在线信息科技有限公司 | 一种信息处理方法及系统、服务器 |
-
2018
- 2018-07-05 CN CN201810728734.XA patent/CN108984698B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000250921A (ja) * | 1999-02-26 | 2000-09-14 | Hitachi Ltd | データベースの管理方法およびシステム |
| CN104756101A (zh) * | 2012-10-31 | 2015-07-01 | 惠普发展公司，有限责任合伙企业 | 执行具有多个集合操作符的查询 |
| CN105320679A (zh) * | 2014-07-11 | 2016-02-10 | 中国移动通信集团重庆有限公司 | 一种数据表索引集合生成方法及装置 |
| CN107016019A (zh) * | 2015-10-23 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 数据库索引创建方法及装置 |
| CN106997386A (zh) * | 2017-03-28 | 2017-08-01 | 上海跬智信息技术有限公司 | 一种olap预计算模型、自动建模方法及自动建模系统 |
| CN107203640A (zh) * | 2017-06-14 | 2017-09-26 | 成都四方伟业软件股份有限公司 | 通过数据库运行记录建立物理模型的方法及系统 |
| CN108920664A (zh) * | 2018-07-05 | 2018-11-30 | 福建星瑞格软件有限公司 | 一种基于索引价值的数据库智能索引实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杭聪等.数据库SQL审查与性能优化技术研究与应用.电力信息与通信技术.2016,(第04期),146-153. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108984698A (zh) | 2018-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6970882B2 (en) | Unified relational database model for data mining selected model scoring results, model training results where selection is based on metadata included in mining model control table | |
| CN110300963B (zh) | 大规模数据储存库中的数据管理系统 | |
| CN108027763B (zh) | 关系型数据库的调整装置和方法 | |
| US6718338B2 (en) | Storing data mining clustering results in a relational database for querying and reporting | |
| CN104765731B (zh) | 数据库查询优化方法和设备 | |
| US6546394B1 (en) | Database system having logical row identifiers | |
| US20060026199A1 (en) | Method and system to load information in a general purpose data warehouse database | |
| CN104899295B (zh) | 一种异构数据源数据关联分析方法 | |
| US8626729B2 (en) | Database index monitoring system | |
| US20110072008A1 (en) | Query Optimization with Awareness of Limited Resource Usage | |
| CN107247811B (zh) | 基于Oracle数据库的SQL语句性能优化方法及装置 | |
| CN109388523A (zh) | 一种基于二进制日志文件恢复MySQL数据库的方法 | |
| US20070239656A1 (en) | Removal of Database Query Function Calls | |
| CN102819600B (zh) | 面向电力生产管理系统关系数据库的关键词搜索方法 | |
| US20070136386A1 (en) | Automated system for identifying and dropping marginal database indexes | |
| CN113934750A (zh) | 基于编译方式的数据血缘关系分析方法 | |
| CN115080765A (zh) | 一种航天质量知识图谱构建方法、系统、介质和设备 | |
| CN108984698B (zh) | 一种数据库业务行为的建模方法 | |
| US20030191727A1 (en) | Managing multiple data mining scoring results | |
| CN117573646A (zh) | 一种基于维度建模的数据管理方法及系统 | |
| CN117453659A (zh) | 一种异构数据库sql迁移转换方法及系统 | |
| CN108920664B (zh) | 一种基于索引价值的数据库智能索引实现方法 | |
| CN112612859A (zh) | 一种基于日志解析的ddl分析方法及装置 | |
| CN116431739A (zh) | 基于PostgreSQL关系数据库的风电时序数据存储管理方法 | |
| CN112241399B (zh) | 基于NoSQL的PSD-BPA数据解析及管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 350000 21 / F, building 5, f District, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant after: FUJIAN SINOREGAL SOFTWARE CO.,LTD. Address before: Floor 20-21, building 5, area F, Fuzhou Software Park, 89 software Avenue, Gulou District, Fuzhou City, Fujian Province 350000 Applicant before: FUJIAN SINOREGAL SOFTWARE CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |