CN106339244A - 一种实现统计信息收集的方法及装置 - Google Patents

一种实现统计信息收集的方法及装置 Download PDF

Info

Publication number
CN106339244A
CN106339244A CN201610779606.9A CN201610779606A CN106339244A CN 106339244 A CN106339244 A CN 106339244A CN 201610779606 A CN201610779606 A CN 201610779606A CN 106339244 A CN106339244 A CN 106339244A
Authority
CN
China
Prior art keywords
collection
statistical information
collect
collecting
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610779606.9A
Other languages
English (en)
Inventor
于鸿鹏
杨晓辉
杨煜光
陈豪
郭铸
欧阳小兵
宋金玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN201610779606.9A priority Critical patent/CN106339244A/zh
Publication of CN106339244A publication Critical patent/CN106339244A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44505Configuring for program initiating, e.g. using registry, configuration files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种实现统计信息收集的方法,用于灵活有效地对统计信息进行收集,该方法包括:获取收集对象配置表,所述收集对象配置表中包括收集对象的收集参数;按照所述收集对象的收集参数对该收集对象进行统计信息收集。本发明还公开了一种实现统计信息收集的装置。

Description

一种实现统计信息收集的方法及装置
技术领域
本发明涉及数据库领域,具体涉及一种实现统计信息收集的方法及装置。
背景技术
目前,各软件企业组织内,产品生产运行过程中往往出现性能问题,导致联机系统查询响应慢,后线系统批量运行超时,影响的客户的体验甚至正常使用。而生产运行过程中的性能问题大部分情况下是由于数据优化器依赖的统计信息收集不及时、不充分所导致的,数据优化器需要有准确的统计信息才能在多个候选执行计划中确定最优的一个作为执行计划,进而执行的SQL(Structured Query Language,结构化查询语言)才有最优的效率。数据库的统计信息是从原始数据中通过抽象和概括得到的相对实际数据更少的信息。
在现有技术中,一般是通过数据库自带的统计信息自动收集功能实现统计信息的收集,或者通过在批量中写入固定的程序进行统计信息的收集,或者人工定期用脚本进行统计信息的收集。但是,由于系统自带的自动统计信息收集功能需要具有普遍性,而对于具体的应用场景没有针对性,故很多产品都不适用此种方式收集,而固定的批量程序收集也不够灵活,人工定期脚本收集对于后线系统批量中的数据变化无法进行及时的反应。因此,在现有技术中缺少一种灵活有效地统计信息收集的实现方式。
发明内容
有鉴于此,本发明提供一种实现统计信息收集的方法及装置,以解决现有技术中无法灵活有效地对统计信息进行收集的技术问题。
为解决上述问题,本发明提供的技术方案如下:
一种实现统计信息收集的方法,所述方法包括:
获取收集对象配置表,所述收集对象配置表中包括收集对象的收集参数;
按照所述收集对象的收集参数对该收集对象进行统计信息收集。
相应的,所述方法还包括:
获取全局配置表,所述全局配置表中包括收集对象范围、收集执行时间、收集执行频度以及收集执行并发度;
按照所述全局配置表中的所述收集执行时间、所述收集执行频度以及所述收集执行并发度对所述收集对象范围内的每个收集对象进行统计信息收集;
对所述收集对象范围内的每个收集对象进行统计信息收集时按照所述收集对象的收集参数对该收集对象进行统计信息收集。
相应的,所述方法还包括:
获取调度作业与收集对象关系表,所述调度作业与收集对象关系表中包括调度作业与收集对象之间的关系;
根据所述调度作业与收集对象关系表在所述调度作业结束后对所述调度作业对应的收集对象进行统计信息收集;
对所述调度作业对应的收集对象进行统计信息收集时按照所述收集对象的收集参数对该收集对象进行统计信息收集。
相应的,所述按照所述收集对象的收集参数对该收集对象进行统计信息收集,包括以下一种或多种:
当该收集对象为非分区表,按照所述收集对象的收集参数对该非分区表进行统计信息收集;
当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的明确定义分区进行统计信息收集;
当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的模糊匹配分区进行统计信息收集;
当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的动态配置分区进行统计信息收集;
按照所述收集对象的收集参数将与该收集对象匹配的其他收集对象的统计信息复制作为该收集对象的统计信息;
按照所述收集对象的收集参数对该收集对象的直方图进行收集;
按照所述收集对象的收集参数中的指定频度对该收集对象进行统计信息收集;
按照所述收集对象的收集参数对该收集对象的统计信息进行删除。
相应的,所述方法还包括:
在对所述收集对象进行统计信息收集结束后,将所述统计信息写入系统视图和/或日志文件。
一种实现统计信息收集的装置,所述装置包括:
第一获取单元,用于获取收集对象配置表,所述收集对象配置表中包括收集对象的收集参数;
第一收集单元,用于按照所述收集对象的收集参数对该收集对象进行统计信息收集。
相应的,所述装置还包括:
第二获取单元,用于获取全局配置表,所述全局配置表中包括收集对象范围、收集执行时间、收集执行频度以及收集执行并发度;
第二收集单元,用于按照所述全局配置表中的所述收集执行时间、所述收集执行频度以及所述收集执行并发度对所述收集对象范围内的每个收集对象进行统计信息收集;
所述第二收集单元在对所述收集对象范围内的每个收集对象进行统计信息收集时调用所述第一收集单元按照所述收集对象的收集参数对该收集对象进行统计信息收集。
相应的,所述装置还包括:
第三获取单元,用于获取调度作业与收集对象关系表,所述调度作业与收集对象关系表中包括调度作业与收集对象之间的关系;
第三收集单元,用于根据所述调度作业与收集对象关系表在所述调度作业结束后对所述调度作业对应的收集对象进行统计信息收集;
所述第三收集单元在对所述调度作业对应的收集对象进行统计信息收集时调用所述第一收集单元按照所述收集对象的收集参数对该收集对象进行统计信息收集。
相应的,所述第一收集单元包括以下一个或多个:
第一收集子单元,用于当该收集对象为非分区表,按照所述收集对象的收集参数对该非分区表进行统计信息收集;
第二收集子单元,用于当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的明确定义分区进行统计信息收集;
第三收集子单元,用于当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的模糊匹配分区进行统计信息收集;
第四收集子单元,用于当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的动态配置分区进行统计信息收集;
第五收集子单元,用于按照所述收集对象的收集参数将与该收集对象匹配的其他收集对象的统计信息复制作为该收集对象的统计信息;
第六收集子单元,用于按照所述收集对象的收集参数对该收集对象的直方图进行收集;
第七收集子单元,用于按照所述收集对象的收集参数中的指定频度对该收集对象进行统计信息收集;
第八收集子单元,用于按照所述收集对象的收集参数对该收集对象的统计信息进行删除。
相应的,所述装置还包括:
写入单元,用于在对所述收集对象进行统计信息收集结束后,将所述统计信息写入系统视图和/或日志文件。
由此可见,本发明实施例具有如下有益效果:
本发明实施例可以利用收集对象配置表实现对各个收集对象的灵活有效地进行统计信息收集,另外可以通过全局配置表实现批量收集对象的收集执行时间、收集执行频度以及收集执行并发度进行设置,可以通过调度作业与收集对象关系表实现结合调度作业进行统计信息收集,灵活配置或的统计信息收集设计,使统计信息收集更加灵活、适用多种场景,且只需要通过简单的配置和集成即可以使用,对原系统无需进行大的改造,通用性强。
附图说明
图1为本发明实施例中提供的实现统计信息收集的方法实施例一的流程图;
图2为本发明实施例中提供的实现统计信息收集的方法实施例二的流程图;
图3为本发明实施例中提供的实现统计信息收集的方法实施例二的应用示意图;
图4为本发明实施例中提供的实现统计信息收集的方法实施例三的流程图;
图5为本发明实施例中提供的实现统计信息收集的装置实施例的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明实施例作进一步详细的说明。
在现有技术中,对于统计信息收集,一般是通过数据库自带的自动统计信息收集功能去收集,或者通过在批量中写入固定程序的方式进行收集,也有通过写定时脚本,通过脚本定期的收集。但是,由于数据库自带的自动统计信息收集功能要具有普遍性,而对于具体的应用场景没有针对性,并且对于OLAP(On-Line Analytical Processing,联机分析处理)、DSS(Decision Support System,决策支持系统)系统往往自动收集时也是批量运行时段,会发生资源争用,故很多产品都不适用此种方式收集;而写死在批量程序中去收集的方式又不够灵活,往往有些时候需要针对于某个表中字段收集直方图信息,或者对于OLAP、DSS系统中分区表每日新增的分区数据做及时的收集,或者需要将数据量近似的分区进行统计信息拷贝等场景,这种方式都无法实现;同时,统计信息收集也需要迭代的调整以达到最优的效果,人工写脚本定期收集会错过OLAP、DSS系统批量过程中的数据变化,例如,有时候需要在A作业结束,B作业开始前对刚刚A作业加工的表做统计信息的收集,这种场景人工执行的收集脚本是无法实现的。
针对以上问题,本发明实施例可以有效的针对OLTP(On-Line TransactionProcessing,联机事物处理)、OLAP、DSS等不同场景进行统计信息的收集,确保数据优化器能够使用到最新、准确的统计信息,保证生产系统运行的稳定。
在本发明实施例中,可以实现对单对象进行统计信息收集、对批量对象进行统计信息收集以及结合外部调度作业进行统计信息收集,以下将分别针对这三种情况进行说明。
参见图1所示,本发明实施例中提供的实现统计信息收集的方法实施例一,在本实施例中可以实现对单对象进行统计信息收集,本实施例可以包括以下步骤:
步骤101:获取收集对象配置表,收集对象配置表中包括收集对象的收集参数。
首先,需要对收集对象的收集参数进行配置,在收集对象配置表中可以包括一个或多个收集对象的收集参数,每个收集对象有不同的标识,例如收集对象ID,每个收集对象可以对应于不同的收集参数,收集参数可以包括收集对象的类别、指定收集的分区、收集标识、收集比例、收集对象并发度、收集粒度、直方图参数、拷贝分区参数等等。其中,收集对象的类别可以为数据表、数据表中的主分区或子分区等,指定收集的分区可以通过明确定义指定、模糊匹配指定或者动态配置指定等,收集标识可以为不收集、对于记录变化量大于阈值(例如10%)进行收集、不受记录变化量阈值影响强制重新收集等
步骤102:按照收集对象的收集参数对该收集对象进行统计信息收集。
根据各个收集对象的收集参数对单对象进行统计信息收集,每个收集对象都可以有个性化的收集参数,灵活有效地实现了统计信息收集。
在实际应用中,可以通过封装数据库API(Application Programming Interface,应用程序编程接口)实现通过读取收集对象配置表获取收集参数,对单对象进行统计信息收集,实现了OLAP、DSS系统的灵活定制化统计信息收集,且对原系统无需进行大的改造,通用性强。
在本发明的一些可能的实现方式中,按照收集对象的收集参数对该收集对象进行统计信息收集,包括以下各种实现中一种或多种,即在本实施了中,对单对象进行统计信息收集至少可以有以下功能:
(1)当该收集对象为非分区表,按照收集对象的收集参数对该非分区表进行统计信息收集。
在本实施例中,可以对非分区表按照收集参数进行统计信息收集。
(2)当该收集对象为分区表,按照收集对象的收集参数对该分区表中的明确定义分区进行统计信息收集。
在本实施例中,在收集对象配置表中可以设置需要收集统计对象的明确定义分区,即通过指定明确的分区表对分区表中的指定分区进行统计信息收集。
(3)当该收集对象为分区表,按照收集对象的收集参数对该分区表中的模糊匹配分区进行统计信息收集。
在本实施例中,在收集对象配置表中可以设置需要收集统计对象的模糊匹配分区,例如指定分区表中2016年的分区进行统计信息收集,可以适用于新增分区情况和分区统计信息失效场景。
(4)当该收集对象为分区表,按照收集对象的收集参数对该分区表中的动态配置分区进行统计信息收集。
在本实施例中,在收集对象配置表中可以设置需要收集统计对象的动态配置分区,即利用传入参数替换指定字符串得到分区名,适用于动态匹配有一定规则命名方式的分区统计信息收集,例如利用参数传入当天的时间分区/子分区名称,对当日新增时间分区进行统计信息收集。
(5)按照收集对象的收集参数将与该收集对象匹配的其他收集对象的统计信息复制作为该收集对象的统计信息。
在本实施例中,可以对统计信息进行复制,例如某分区表在工作日的数据变化量很小,可以认为几乎没有变化,则可以根据实际情况将上一日的该分区表的统计信息复制作为该分区表今日的统计信息,以节约系统运行时间。
(6)按照收集对象的收集参数对该收集对象的直方图进行收集。
在某些应用场景下需要获取数据分布情况,而在现有技术中并不对收集对象的直方图进行收集,在本实施中,可以按照收集对象的收集参数实现直方图收集。
(7)按照收集对象的收集参数中的指定频度对该收集对象进行统计信息收集。
在本实施例中,可以对收集对象进行统计信息收集的频度进行设定,例如设定频度每月收集一次,可以通过判断当前时间与上次收集的时间差值,当差值达到预设频度则进行一次统计信息收集。
(8)按照收集对象的收集参数对该收集对象的统计信息进行删除。
在本实施中,可以根据实际情况对集对象的统计信息进行删除。
另外,在本实施例中还可以在本层统计信息收集结束后,自动收集上一层的统计信息,例如,某一主分区有十个子分区,在对十个子分区进行统计信息收集结束后自动对该主分区进行一次统计信息收集,以保证统计信息收集的准确性;另外还可以在本层统计信息收集后,对上一层的统计信息进行更新。
参见图2所示,本发明实施例中提供的实现统计信息收集的方法实施例二,在本实施例中可以实现对批量对象进行统计信息收集,本实施例可以包括以下步骤:
步骤201:获取收集对象配置表以及全局配置表,全局配置表中包括收集对象范围、收集执行时间、收集执行频度以及收集执行并发度。
在本实施例中可以对多个收集对象即批量对象进行统计信息收集,需要配置全局配置表,在全局配置表中可以指定收集执行时间、收集执行频度以及收集执行并发度,收集执行并发度是指可以同时进行多少个收集对象的统计信息收集。
步骤202:按照全局配置表中的收集执行时间、收集执行频度以及收集执行并发度对收集对象范围内的每个收集对象进行统计信息收集。
按照全局配置表中配置的内容可以进行定时、定频度、定并发度、定范围的并行收集,保证统计信息收集的并行执行安全高效,适用于OLTP系统根据自身特点设定参数进行灵活有效地统计信息收集。
在步骤202中对收集对象范围内的每个收集对象进行统计信息收集时按照收集对象的收集参数对该收集对象进行统计信息收集。
批量对象中的每个收集对象都可以按照收集对象配置表中的该收集对象的收集参数进行个性化的统计信息收集,对于单对象的统计信息收集可以参见上述实施例,在此不再赘述。
参见图3所示,以实际应用为例对本实施例进行说明,例如通过全局配置表可以设定收集对象范围为表A、B、C、D、E、F、G、H,收集执行并发度N为4,即可以同时进行4个收集对象的统计信息收集,在实际应用中可以通过轮询的方式读取到4个收集对象的进行统计信息收集,如果4个收集对象中的一个收集完成再读取下一个收集对象进行统计信息收集,在有收集对象等待收集的情况下保证4个收集作业同时进行,直到没有运行的收集作业之后结束收集,并行执行可以提高收集效率。
参见图4所示,本发明实施例中提供的实现统计信息收集的方法实施例三,在本实施例中可以实现结合外部调度作业进行统计信息收集,本实施例可以包括以下步骤:
步骤401:获取收集对象配置表以及调度作业与收集对象关系表,调度作业与收集对象关系表中包括调度作业与收集对象之间的关系。
步骤402:根据调度作业与收集对象关系表在调度作业结束后对调度作业对应的收集对象进行统计信息收集。
在本实施例中可以对调度作业中涉及的收集对象进行统计信息收集,需要配置调度作业与收集对象关系表,调度作业与收集对象关系表中配置了各个调度作业分别与收集对象之间的关系。例如调度作业T涉及加工表A、B,则在配置调度作业与收集对象关系表中可以配置调度作业T与收集对象A、B具有关联关系,在调度作业A结束后需要对收集对象表A、B进行统计信息收集,还可以具体配置调度作业T与收集对象表A、B中的哪个分区具体关联关系,在调度作业A结束后对收集对象表A、B中的具体分区进行统计信息收集。在实际应用中可以在调度作业结束日志中调用本实施例的方法,实现结合外部调度作业进行统计信息收集,实现了OLAP、DSS系统的灵活定制化统计信息收集,且对原系统无需进行大的改造,通用性强。
在步骤402中对调度作业对应的收集对象进行统计信息收集时按照收集对象的收集参数对该收集对象进行统计信息收集。
结合外部调度作业进行统计信息收集中的每个收集对象都可以按照收集对象配置表中的该收集对象的收集参数进行个性化的统计信息收集,对于单对象的统计信息收集可以参见上述实施例,在此不再赘述。
在实际应用中,结合外部调度作业进行统计信息收集可以实现不同场景下的统计进行收集,例如:复合分区表新增分区的作业结束后,可以实现对新分区进行统计信息收集,供后续作业使用;复合分区表新增分区的作业结束后,将上一日的数据量近似的分区的统计信息拷贝到新分区中,节省了时间,且信息较准确;针对具体批量作业中的具体表的某个字段进行直方图收集,而其他表只做一般收集,这里体现了个性化的收集优势;对于批量作业中不同类型的表,设定不同的收集比例,加快收集效率,同时达到理想效果;对于作业中的收集对象进行调整,将部分收集对象不进行收集,设置固定的统计信息值。
另外,在本发明的一些可能的实现方式中,基于上述各个实施例还可以包括:
在对收集对象进行统计信息收集结束后,将统计信息写入系统视图和/或日志文件。通过系统视图和/或日志文件可以对统计信息进行验证分析。
针对以上的说明,本发明实施例具有以下优点可以解决相应技术问题:(1)灵活配置,可配置表、可配置分区、可针对不同收集对象配置不同的收集参数,不同收集对象可配置不同的收集周期,并可通过标识控制是否对收集对象进行收集;(2)有针对性,可以指定收集范围、指定收集执行时间、指定收集执行并发度,使统计信息收集更具有针对性,能够合理利用系统资源,更有效率;(3)耦合性好,可以通过封装API方式形成功能,以工具包形式发布,对于OLAP、DSS系统,可放到系统日志工具中进行调用,无需对现有系统进行大的改造,对于OLTP系统可直接安装进行配置调用,对原系统不需改造;(4)适用于多场景,对于OLTP系统,定期、定时的指定范围的表的统计信息收集,对于OLAP、DSS系统,配合调度作业日志工具,在调度作业过程中对前驱作业加工表(分区)收集信息,供后续作业使用,支持新增分区的场景、支持分区信息拷贝的场景、支持下级分区收集结束后自动收集上级分区场景、支持收集直方图场景、支持模糊匹配分区场景等。
这样,本发明实施例可以利用收集对象配置表实现对各个收集对象的灵活有效地进行统计信息收集,另外可以通过全局配置表实现批量收集对象的收集执行时间、收集执行频度以及收集执行并发度进行设置,可以通过调度作业与收集对象关系表实现结合调度作业进行统计信息收集,灵活配置或的统计信息收集设计,使统计信息收集更加灵活、适用多种场景,且只需要通过简单的配置和集成即可以使用,对原系统无需进行大的改造,通用性强。
相应的,参见图5所示,本发明实施例中提供的实现统计信息收集的装置实施例,可以包括:
第一获取单元501,用于获取收集对象配置表,收集对象配置表中包括收集对象的收集参数。
第一收集单元502,用于按照收集对象的收集参数对该收集对象进行统计信息收集。
在本发明一些可能的实现方式中,本发明实施例中提供的实现统计信息收集的装置实施例还可以包括:
第二获取单元,用于获取全局配置表,全局配置表中包括收集对象范围、收集执行时间、收集执行频度以及收集执行并发度;
第二收集单元,用于按照全局配置表中的收集执行时间、收集执行频度以及收集执行并发度对收集对象范围内的每个收集对象进行统计信息收集;
第二收集单元在对收集对象范围内的每个收集对象进行统计信息收集时调用第一收集单元按照收集对象的收集参数对该收集对象进行统计信息收集。
在本发明一些可能的实现方式中,本发明实施例中提供的实现统计信息收集的装置实施例还可以包括:
第三获取单元,用于获取调度作业与收集对象关系表,调度作业与收集对象关系表中包括调度作业与收集对象之间的关系;
第三收集单元,用于根据调度作业与收集对象关系表在调度作业结束后对调度作业对应的收集对象进行统计信息收集;
第三收集单元在对调度作业对应的收集对象进行统计信息收集时调用第一收集单元按照收集对象的收集参数对该收集对象进行统计信息收集。
在本发明一些可能的实现方式中,第一收集单元可以包括以下一个或多个:
第一收集子单元,用于当该收集对象为非分区表,按照收集对象的收集参数对该非分区表进行统计信息收集;
第二收集子单元,用于当该收集对象为分区表,按照收集对象的收集参数对该分区表中的明确定义分区进行统计信息收集;
第三收集子单元,用于当该收集对象为分区表,按照收集对象的收集参数对该分区表中的模糊匹配分区进行统计信息收集;
第四收集子单元,用于当该收集对象为分区表,按照收集对象的收集参数对该分区表中的动态配置分区进行统计信息收集;
第五收集子单元,用于按照收集对象的收集参数将与该收集对象匹配的其他收集对象的统计信息复制作为该收集对象的统计信息;
第六收集子单元,用于按照收集对象的收集参数对该收集对象的直方图进行收集;
第七收集子单元,用于按照收集对象的收集参数中的指定频度对该收集对象进行统计信息收集;
第八收集子单元,用于按照收集对象的收集参数对该收集对象的统计信息进行删除。
在本发明一些可能的实现方式中,本发明实施例中提供的实现统计信息收集的装置实施例还可以包括:
写入单元,用于在对收集对象进行统计信息收集结束后,将统计信息写入系统视图和/或日志文件。
这样,本发明实施例可以利用收集对象配置表实现对各个收集对象的灵活有效地进行统计信息收集,另外可以通过全局配置表实现批量收集对象的收集执行时间、收集执行频度以及收集执行并发度进行设置,可以通过调度作业与收集对象关系表实现结合调度作业进行统计信息收集,灵活配置或的统计信息收集设计,使统计信息收集更加灵活、适用多种场景,且只需要通过简单的配置和集成即可以使用,对原系统无需进行大的改造,通用性强。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种实现统计信息收集的方法,其特征在于,所述方法包括:
获取收集对象配置表,所述收集对象配置表中包括收集对象的收集参数;
按照所述收集对象的收集参数对该收集对象进行统计信息收集。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取全局配置表,所述全局配置表中包括收集对象范围、收集执行时间、收集执行频度以及收集执行并发度;
按照所述全局配置表中的所述收集执行时间、所述收集执行频度以及所述收集执行并发度对所述收集对象范围内的每个收集对象进行统计信息收集;
对所述收集对象范围内的每个收集对象进行统计信息收集时按照所述收集对象的收集参数对该收集对象进行统计信息收集。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取调度作业与收集对象关系表,所述调度作业与收集对象关系表中包括调度作业与收集对象之间的关系;
根据所述调度作业与收集对象关系表在所述调度作业结束后对所述调度作业对应的收集对象进行统计信息收集;
对所述调度作业对应的收集对象进行统计信息收集时按照所述收集对象的收集参数对该收集对象进行统计信息收集。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述按照所述收集对象的收集参数对该收集对象进行统计信息收集,包括以下一种或多种:
当该收集对象为非分区表,按照所述收集对象的收集参数对该非分区表进行统计信息收集;
当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的明确定义分区进行统计信息收集;
当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的模糊匹配分区进行统计信息收集;
当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的动态配置分区进行统计信息收集;
按照所述收集对象的收集参数将与该收集对象匹配的其他收集对象的统计信息复制作为该收集对象的统计信息;
按照所述收集对象的收集参数对该收集对象的直方图进行收集;
按照所述收集对象的收集参数中的指定频度对该收集对象进行统计信息收集;
按照所述收集对象的收集参数对该收集对象的统计信息进行删除。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
在对所述收集对象进行统计信息收集结束后,将所述统计信息写入系统视图和/或日志文件。
6.一种实现统计信息收集的装置,其特征在于,所述装置包括:
第一获取单元,用于获取收集对象配置表,所述收集对象配置表中包括收集对象的收集参数;
第一收集单元,用于按照所述收集对象的收集参数对该收集对象进行统计信息收集。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二获取单元,用于获取全局配置表,所述全局配置表中包括收集对象范围、收集执行时间、收集执行频度以及收集执行并发度;
第二收集单元,用于按照所述全局配置表中的所述收集执行时间、所述收集执行频度以及所述收集执行并发度对所述收集对象范围内的每个收集对象进行统计信息收集;
所述第二收集单元在对所述收集对象范围内的每个收集对象进行统计信息收集时调用所述第一收集单元按照所述收集对象的收集参数对该收集对象进行统计信息收集。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第三获取单元,用于获取调度作业与收集对象关系表,所述调度作业与收集对象关系表中包括调度作业与收集对象之间的关系;
第三收集单元,用于根据所述调度作业与收集对象关系表在所述调度作业结束后对所述调度作业对应的收集对象进行统计信息收集;
所述第三收集单元在对所述调度作业对应的收集对象进行统计信息收集时调用所述第一收集单元按照所述收集对象的收集参数对该收集对象进行统计信息收集。
9.根据权利要求6-8任一项所述的装置,其特征在于,所述第一收集单元包括以下一个或多个:
第一收集子单元,用于当该收集对象为非分区表,按照所述收集对象的收集参数对该非分区表进行统计信息收集;
第二收集子单元,用于当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的明确定义分区进行统计信息收集;
第三收集子单元,用于当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的模糊匹配分区进行统计信息收集;
第四收集子单元,用于当该收集对象为分区表,按照所述收集对象的收集参数对该分区表中的动态配置分区进行统计信息收集;
第五收集子单元,用于按照所述收集对象的收集参数将与该收集对象匹配的其他收集对象的统计信息复制作为该收集对象的统计信息;
第六收集子单元,用于按照所述收集对象的收集参数对该收集对象的直方图进行收集;
第七收集子单元,用于按照所述收集对象的收集参数中的指定频度对该收集对象进行统计信息收集;
第八收集子单元,用于按照所述收集对象的收集参数对该收集对象的统计信息进行删除。
10.根据权利要求6-8任一项所述的装置,其特征在于,所述装置还包括:
写入单元,用于在对所述收集对象进行统计信息收集结束后,将所述统计信息写入系统视图和/或日志文件。
CN201610779606.9A 2016-08-30 2016-08-30 一种实现统计信息收集的方法及装置 Pending CN106339244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610779606.9A CN106339244A (zh) 2016-08-30 2016-08-30 一种实现统计信息收集的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610779606.9A CN106339244A (zh) 2016-08-30 2016-08-30 一种实现统计信息收集的方法及装置

Publications (1)

Publication Number Publication Date
CN106339244A true CN106339244A (zh) 2017-01-18

Family

ID=57823588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610779606.9A Pending CN106339244A (zh) 2016-08-30 2016-08-30 一种实现统计信息收集的方法及装置

Country Status (1)

Country Link
CN (1) CN106339244A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169095A (zh) * 2017-05-12 2017-09-15 郑州云海信息技术有限公司 一种db2数据库表统计信息收集方法及系统
CN108829768A (zh) * 2018-05-29 2018-11-16 中国银行股份有限公司 一种统计信息的收集方法及装置
CN110515963A (zh) * 2019-08-30 2019-11-29 北京东软望海科技有限公司 收集统计信息的方法、装置、电子设备及可读存储介质
CN111274270A (zh) * 2020-02-24 2020-06-12 北京东方金信科技有限公司 数据库优化器的统计信息处理和使用方法及存储设备
CN111625553A (zh) * 2020-05-27 2020-09-04 贵州易鲸捷信息技术有限公司 一种统计信息收集优化方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1760873A (zh) * 2004-10-15 2006-04-19 国际商业机器公司 在搜索结果中标识访问过的统一资源定位符的方法和系统
CN1905491A (zh) * 2006-08-11 2007-01-31 杭州华为三康技术有限公司 一种流量统计方法及流量采集器
CN101075911A (zh) * 2006-05-18 2007-11-21 阿拉克斯拉网络株式会社 统计信息收集系统及统计信息收集装置
EP2390786A1 (en) * 2009-01-26 2011-11-30 Fujitsu Limited Information processor provided with configuration change function, system configuration change method, and system configuration change program
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN104361022A (zh) * 2014-10-22 2015-02-18 浪潮软件集团有限公司 一种基于采集数据统计以及前台展现的方法
CN104572975A (zh) * 2014-12-31 2015-04-29 中国石油天然气股份有限公司 一种实时数据处理分析系统
CN105069134A (zh) * 2015-08-18 2015-11-18 上海新炬网络信息技术有限公司 一种Oracle统计信息自动收集方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1760873A (zh) * 2004-10-15 2006-04-19 国际商业机器公司 在搜索结果中标识访问过的统一资源定位符的方法和系统
CN101075911A (zh) * 2006-05-18 2007-11-21 阿拉克斯拉网络株式会社 统计信息收集系统及统计信息收集装置
CN1905491A (zh) * 2006-08-11 2007-01-31 杭州华为三康技术有限公司 一种流量统计方法及流量采集器
EP2390786A1 (en) * 2009-01-26 2011-11-30 Fujitsu Limited Information processor provided with configuration change function, system configuration change method, and system configuration change program
CN103425750A (zh) * 2013-07-23 2013-12-04 国云科技股份有限公司 一种跨平台跨应用的日志收集系统及其收集管理方法
CN104361022A (zh) * 2014-10-22 2015-02-18 浪潮软件集团有限公司 一种基于采集数据统计以及前台展现的方法
CN104572975A (zh) * 2014-12-31 2015-04-29 中国石油天然气股份有限公司 一种实时数据处理分析系统
CN105069134A (zh) * 2015-08-18 2015-11-18 上海新炬网络信息技术有限公司 一种Oracle统计信息自动收集方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
侯松: "《高并发Oracle数据库系统的架构与设计》", 30 November 2014, 机械工业出版社 *
孟利青 等: "《ORACLE运维点滴》", 31 August 2015, 吉林大学出版社 *
崔华: "《基于Oracle的SQL优化》", 31 January 2014, 电子工业出版社 *
林树泽 等: "《Oracle数据库管理之道》", 31 August 2012, 清华大学出版社(北京) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169095A (zh) * 2017-05-12 2017-09-15 郑州云海信息技术有限公司 一种db2数据库表统计信息收集方法及系统
CN108829768A (zh) * 2018-05-29 2018-11-16 中国银行股份有限公司 一种统计信息的收集方法及装置
CN110515963A (zh) * 2019-08-30 2019-11-29 北京东软望海科技有限公司 收集统计信息的方法、装置、电子设备及可读存储介质
CN111274270A (zh) * 2020-02-24 2020-06-12 北京东方金信科技有限公司 数据库优化器的统计信息处理和使用方法及存储设备
CN111274270B (zh) * 2020-02-24 2020-09-18 北京东方金信科技有限公司 数据库优化器的统计信息处理和使用方法及存储设备
CN111625553A (zh) * 2020-05-27 2020-09-04 贵州易鲸捷信息技术有限公司 一种统计信息收集优化方法及系统

Similar Documents

Publication Publication Date Title
CN106339244A (zh) 一种实现统计信息收集的方法及装置
CN103390066B (zh) 一种数据库全局性自动化优化预警装置及其处理方法
Cirne et al. A comprehensive model of the supercomputer workload
US9747337B2 (en) Group-by size result estimation
CN103092867B (zh) 一种数据管理方法及系统、数据分析装置
US20080140627A1 (en) Method and apparatus for aggregating database runtime information and analyzing application performance
US20090112799A1 (en) Database Statistics for Optimization of Database Queries Containing User-Defined Functions
US7472108B2 (en) Statistics collection using path-value pairs for relational databases
CN105930491A (zh) 一种基于时间序列数据库InfluxDB的监控数据存储方法
CN102521374B (zh) 基于关系型联机分析处理的智能数据聚集方法及其系统
US20090112792A1 (en) Generating Statistics for Optimizing Database Queries Containing User-Defined Functions
CN105447035B (zh) 数据扫描方法及装置
CN104035786A (zh) 一种软件定时器的优化方法及系统
CN104217004A (zh) 一种交易系统的数据库热点的监控方法及装置
CN106484915A (zh) 一种海量数据的清洗方法和系统
CN109284189A (zh) 一种批量任务超时高效触发方法及系统
CN103500170A (zh) 一种报表生成方法及系统
WO2023236301A1 (zh) 一种数据挖掘控制方法和系统
CN109298929A (zh) 定时任务执行时间推荐方法、装置、设备和存储介质
CN106407096A (zh) 基于时间序列的日志分析方法和日志分析装置
US20100011030A1 (en) Statistics collection using path-identifiers for relational databases
CN111966922A (zh) 基于互联网的智慧城市数据迁移存储管理系统
CN110008239A (zh) 基于预计算优化的逻辑执行优化方法及系统
CN112084191B (zh) 一种基于Spark SQL的OpenTsdb时序数据查询方法
CN109165155A (zh) 一种基于聚类分析的软件缺陷修复模板提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170118

RJ01 Rejection of invention patent application after publication