CN104217004B - 一种交易系统的数据库热点的监控方法及装置 - Google Patents
一种交易系统的数据库热点的监控方法及装置 Download PDFInfo
- Publication number
- CN104217004B CN104217004B CN201410469651.5A CN201410469651A CN104217004B CN 104217004 B CN104217004 B CN 104217004B CN 201410469651 A CN201410469651 A CN 201410469651A CN 104217004 B CN104217004 B CN 104217004B
- Authority
- CN
- China
- Prior art keywords
- transaction
- operation information
- database
- sql
- renewal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种交易系统的数据库热点的监控方法及装置，所述方法包括：采集交易系统的数据库表的数据操作信息；采集交易系统对应的交易的运行信息；根据所述的数据操作信息确定所述数据库表的潜在热点表；根据所述的运行信息确定出所述交易的潜在热点交易；根据所述的潜在热点表以及所述的潜在热点交易确定出所述交易系统的数据库热点。解决了交易系统的数据库热点问题难以测试、难以提前发现的难点，保障了联机交易系统稳定运行。
Description
技术领域
本发明关于大型计算机数据库技术领域，特别是关于交易系统的数据库的数据监控技术，具体的讲是一种交易系统的数据库热点的监控方法及装置。
背景技术
随着大型计算机技术的日益发展，在一个数据共享、多线程并行读取或更新的数据库管理系统中，多个用户需要同时可靠、准确、完整地访问或者更新数据，锁机制是数据库管理系统为了保证数据的并发处理和一致性的基本功能。对数据进行更新(Update)、插入(Insert)、删除(Delete)等操作时，在数据库的表空间(Tablespace)\表(Table)\数据页(Datapage)\记录(Record)等对象上会产生逻辑锁(Logic Lock)或物理锁(PhysicalLock)，简称锁。
对某些多用户并发的交易系统的交易流程，如果集中对少数数据库对象进行更新、插入、删除操作，则这些交易流程会在这些少数对象上等锁排队，严重的就会产生数据库热点(Hotspot)。在高峰时期，如果排队的交易流程太多且无法及时处理时，会引起处理超时(Timeout)、死锁(Deadlock)等问题，甚至产生大面积的数据堵塞。
在多用户并发的大型交易系统中，可能存在上万个交易流程。交易流程的种类和分支繁多，处理流程长，处理数据库对象多且关系复杂。在开发、测试流程中，很难对每个交易流程都能得到充分的压力测试，即使存在热点问题也难以发现。在生产运行环境中，如果交易流程未充分推广，或者还没达到高峰处理期，通常不会等锁或者等锁时间不长而未报警，热点问题通常也不会暴露。同时，数据库系统中也缺少有效监控工具和方法，对热表、热点交易进行监控和分析。因此，往往到了高峰期时，才会出现热点现象。这时发生超时堵塞等问题，对业务连续性、可用性的影响是最大的，严重影响客户体验。
因此，如何对交易系统的潜在的数据库热点进行主动监控，在问题未发生前进行分析和结果输出，提前对热点的性能优化或者预警规避，提升大型并行交易系统的运行稳定性是本领域亟待解决的技术难题。
发明内容
为了克服现有技术存在的上述技术问题，本发明提供了一种交易系统的数据库热点的监控方法及装置，通过收集交易系统的数据库表的数据操作信息、交易的运行信息，确定出潜伏热点，再结合确定出的交易和表两种潜伏热点对象，精准地定位和发现数据库热点以提前优化应用，解决了交易系统的数据库热点问题难以测试、难以提前发现的难点，保障了联机交易系统稳定运行。
本发明的目的之一是，提供一种交易系统的数据库热点的监控方法，包括：采集交易系统的数据库表的数据操作信息；采集交易系统对应的交易的运行信息；根据所述的数据操作信息确定所述数据库表的潜在热点表；根据所述的运行信息确定出所述交易的潜在热点交易；根据所述的潜在热点表以及所述的潜在热点交易确定出所述交易系统的数据库热点。
本发明的目的之一是，提供了一种交易系统的数据库热点的监控装置，所述的装置具体包括操作信息采集模块，用于采集交易系统的数据库表的数据操作信息；运行信息采集模块，用于采集交易系统对应的交易的运行信息；潜在热点表确定模块，用于根据所述的数据操作信息确定所述数据库表的潜在热点表；潜在热点交易确定模块，用于根据所述的运行信息确定出所述交易的潜在热点交易；数据库热点定位模块，用于根据所述的潜在热点表以及所述的潜在热点交易确定出所述交易系统的数据库热点。
本发明的有益效果在于，提供了一种交易系统的数据库热点的监控方法及装置，通过收集交易系统的数据库表的数据操作信息、交易的运行信息，确定出潜伏热点，再结合确定出的交易和表两种潜伏热点对象，精准地定位和发现数据库热点以提前优化应用，解决了交易系统的数据库热点问题难以测试、难以提前发现的难点，保障了联机交易系统稳定运行，可减少数据库运行的瓶颈，保障大数据量处理、多用户并发的联机交易系统在业务高峰期运行的稳定性、连续性，提高了用户体验。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交易系统的数据库热点的监控方法的流程图；
图2为图1中的步骤S103的具体流程图；
图3为图2中的步骤S201的具体流程图；
图4为图2中的步骤S203的实施方式一的具体流程图；
图5为图2中的步骤S203的实施方式二的具体流程图；
图6为图5中的步骤S502的具体流程图；
图7为图1中的步骤S104的具体流程图；
图8为图7中的步骤S703的具体流程图；
图9为本发明实施例提供的一种交易系统的数据库热点的监控装置的结构框图；
图10为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点表确定模块300的结构框图；
图11为本发明实施例提供的一种交易系统的数据库热点的监控装置中数据库表操作信息确定单元301的结构框图；
图12为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点表确定单元303的实施方式一的结构框图；
图13为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点表确定单元303的实施方式二的结构框图；
图14为本发明实施例提供的一种交易系统的数据库热点的监控装置中过滤单元3035的结构框图；
图15为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点交易确定模块400的结构框图；
图16为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点交易确定单元403的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对现有技术的情况，对潜在的数据库热点进行主动监控管理，在问题未发生前进行分析和结果输出，提前对热点的性能优化或者预警规避，提升大型并行交易系统的运行稳定性。
本发明提出一种交易系统的数据库热点的监控方法，根据数据库热点的特点创造了一种数据模型，通过按周期收集数据，对数据进行统计、计算、过滤，结合交易和表两种热点对象，精准地定位和发现潜伏热点，以提前优化应用。解决了数据库热点问题难以测试、人工难以梳理、难以提前发现、无分析工具的难点，保障联机交易系统稳定运行。
图1为本发明提出的一种交易系统的数据库热点的监控方法的具体流程图，由图1可知，所述的方法包括：
S101：采集交易系统的数据库表的数据操作信息；
在具体的实施例中，可将交易系统对应数据库的相关表的数据操作信息按一定周期进行采集。
S102：采集交易系统对应的交易的运行信息。
在具体的实施例中，可将交易系统对应的交易的运行信息按一定周期进行采集。
S103：根据所述的数据操作信息确定所述数据库表的潜在热点表。
S104：根据所述的运行信息确定出所述交易的潜在热点交易；
S105：根据所述的潜在热点表以及所述的潜在热点交易确定出所述交易系统的数据库热点。
也即，本发明提供了一种大机数据库系统热点监控和分析方法，通过过滤得出潜在热点表及潜在热点交易，并对两者进行结合分析，确定出所述交易系统的数据库热点，在出现问题前对热点进行提前预警、监控、优化的目的。
图2为步骤S103的具体流程图，由图2可知，该步骤具体包括：
S201：根据所述的数据操作信息确定数据库表操作信息。图3步骤S201的具体流程图，由图3可知，该步骤具体包括：
S301：根据所述的数据操作信息生成数据库表操作信息报表；
在具体的实施方式中，将对应数据库的数据操作信息按一定周期进行采集，生成一定格式的数据库表操作信息报表。
S302：从所述的数据库表操作信息报表中抽取数据库表操作信息，所述的数据库表操作信息包括数据库名、表名、记录数、表空间、记录长度、锁级别、变更SQL(StructuredQuery Language，结构化查询语言)数、数据页变化数、采样日期、采样时间段。
在具体的实施方式中，将数据库表操作信息报表按一定周期使用数据抽取工具，将需要的数据库表操作信息从报表中提取出来，并进行一定的加工、格式转换、计算等，作为后续的输入数据，如表1所示，其至少包含如下字段：
表1
由图2可知，步骤S103还包括：
S202：从所述的数据操作信息中获取采样时间段内的更新SQL数量；
S203：根据所述的数据库表操作信息以及更新SQL数量确定所述数据库表的潜在热点表。
图4为步骤S203的实施方式一的具体流程图，由图4可知，步骤S203在实施方式一中具体包括：
S401：根据所述的数据库表操作信息确定所述的数据库表操作信息的更新密度。更新密度的含义是单位时间内有更新的单一数据页被更新的平均次数。从热表的产生模式来看，如果表被更新密度越大，则表成为热表的可能性越大。
当所述数据库表为页锁类型时，其表被更新密度公式为：
Change_density＝MAX(change_sql/change_page)
其中，Change_density为数据库对应的表的更新密度，change_sql为数据库对应的表记录的插入、删除、修改的SQL总数统计值，change_page为数据库对应的表发生过插入、删除、修改的剔除重复的数据页总数统计值，max在数学中表示最大的意思。
当所述数据库表为行锁类型时，其表被更新密度公式为：
Change_density＝MAX(change_sql/change_page/rowperpage)
其中，Change_density为数据库对应的表的更新密度，change_sql为数据库对应的表记录的插入、删除、修改的SQL总数统计值，change_page为数据库对应的表发生过插入、删除、修改的剔除重复的数据页总数统计值，rowperpage为每个数据页中的记录数。由于针对交易型系统，单元只计算页锁和行锁两种类型，其他类型的默认为有问题。
S402：获取预设的更新SQL数量阈值；
S403：获取预设的更新密度阈值；
S404：根据更新SQL数量阈值、更新密度阈值、更新SQL数量、更新密度从所述的数据库表中确定出潜在热点表。主要完成热点表各类指标信息展现、更新密度变化趋势分析功能。通过展现数据库表的更新密度及其排名、更新SQL数、更新数据页、记录数、update\insert\delete SQL的数量，作为热表分析的辅助信息。同时，通过更新密度的变化趋势分析，可以知道数据库表是否由于业务的快速增长，导致表整在迅速变热，确定出潜在热点表。
图5为步骤S203的实施方式二的具体流程图，由图5可知，步骤S203在实施方式二中具体包括：
S501：根据所述的数据库表操作信息确定所述的数据库表操作信息的更新密度。更新密度的含义是单位时间内有更新的单一数据页被更新的平均次数。从热表的产生模式来看，如果表被更新密度越大，则表成为热表的可能性越大。
由于针对交易型系统，单元只计算页锁和行锁两种类型，其他类型的默认为有问题。
S502：根据所述的更新密度对交易系统的数据库表进行过滤，得到过滤后的数据库表；
S503：获取预设的更新SQL数量阈值；
S504：获取预设的更新密度阈值；
S505：根据更新SQL数量阈值、更新密度阈值、更新SQL数量、更新密度从所述的数据库表中确定出潜在热点表。
图6为步骤S502的具体流程图，由图6可知，该步骤具体包括：
S601：定义更新比例值为update/change_sql，此处的change_sql为数据库表记录的插入、删除、修改的SQL总数统计值，update为数据库表记录的修改的SQL总数统计值。
S602：获取预设的更新比例值；
S603：根据所述的更新密度确定数据库表的更新比例值；
S604：判断所述的数据库表的更新比例值是否小于预设的更新比例值；
S605：当判断为是时，将所述的数据库表过滤掉。
也即，过滤过程主要完成的功能为对表的数据库操作行为进行过滤。对热表分析来说，一张热表中的update SQL数通常比insert和delete SQL的和大很多，也就是数据记录条数相对固定，且更新很多。因此，需要通过参数设置更新比例值update/change_sql的比例下限，将更新比例低于经验比例的表过滤掉。
图7为步骤S104的具体流程图，由图7可知，该步骤具体包括：
S701：根据所述的运行信息生成交易运行信息报表。在具体的实施方式中，将相关交易的运行信息按一定周期进行采集，生成一定格式的报表。
S702：从所述的交易运行信息报表中抽取交易运行信息，所述的交易运行信息包括数据库名、表名、响应时间、数据库运行时间、交易发生次数、采样日期、采样时间段。
也即，在具体的实施方式中，按一定周期使用数据抽取工具，将需要信息从报表中提取出来并进行一定的加工、格式转换、计算等。交易运行信息按一定周期，将抽取出来的数据作为后续分析的输入数据。如表2所示，其至少包含如下字段：
表2
| 数据库名 | 数据库实例名称 |
| 交易名 | 联机交易名称 |
| 响应时间 | 交易运行时间 |
| 数据库运行时间 | 交易中数据库SQL的运行时间 |
| 交易发生次数 | 交易发生次数 |
| 采样日期 | 数据采集的日期 |
| 采样时间点 | 数据采样的时间点，以一分钟为间隔 |
S703：根据所述的交易运行信息确定出所述交易的潜在热点交易。
图8为步骤S703的具体流程图，由图8可知，该步骤具体包括：
S801：根据所述的交易运行信息确定所述交易的并发波动率值。交易的并发波动率值的含义是在一个时间段内，代表各个交易发生次数采样值的突然性、偏差性的数值。从热点交易的行为模式来看，很多都是具有交易并发度较高，且会突发增长，因此在潜伏期很难发现。用交易的并发波动值能够将具有此类行为模式的交易筛选出来。交易的并发波动值的计算公式为：
Fluctuate＝STDDEV(taskcnt)/SQRT(AVG(taskcnt))
其中，Fluctuate为表征数据库对应的交易的并发波动性的并发波动值，taskcnt表示每个连续采样点的交易调用次数，STDDEV为样本标准偏差，SQRT为平方根。
S802：根据所述的交易运行信息确定所述交易的响应时间/并发度相关系数。从热点交易的行为模式来看，交易的时间会随着交易在某个热点表上的更新并发度的上升而增长。因此，通过时间/并发度相关系数，可以反映出其时间和并发度是否存在正相关的关系。响应时间/并发度相关系数通过如下公式：
其中，cov为响应时间/并发度相关系数，taskcnt为每个连续采样点的交易调用次数，sqltime为数据库对应的交易执行SQL的时间，STDDEV为样本标准偏差，E为期望值，可以当作是平均值。
S803：根据所述的交易运行信息确定所述交易的辅助指标，所述的辅助指标包括交易调用update SQL次数、平均交易并发数、最大并发数、平均SQL运行时间，最大SQL运行时间。
S804：获取预设的并发波动率阈值、响应时间/并发度相关系数阈值；
S805：根据并发波动率阈值、响应时间/并发度相关系数阈值、并发波动率值、响应时间/并发度相关系数以及辅助指标确定出所述交易的潜在热点交易。主要完成热点交易各类指标信息展现、变化趋势分析功能。通过展现交易的波动率、时间\并发相关系数、平均响应时间、最大响应时间、平均SQL时间、最大SQL时间、平均调用次数、最大调用次数，作为热表分析的辅助信息。同时，通过平均调用量及平均响应时间的变化趋势分析，可以知道数据库表是否由于业务的快速增长，导致表整在迅速变热，确定出所述交易的潜在热点交易。
如上即为本发明提供的一种交易系统的数据库热点的监控方法，通过在交易系统中收集交易和数据库表的生产运行信息，并使用此数学模型进行统计、计算、分析、过滤，精确定位出生产环境潜在的热点，以便应用提前进行优化，或监控预警发现后规避。解决了数据库热点难以预估测试、人工梳理计算量大、难以提前发现的难点问题。通过本装置输出的热点表和热点交易，并针对性地进行优化，可减少数据库运行的瓶颈，保障大数据量处理、多用户并发的联机交易系统在业务高峰期运行的稳定性、连续性，提高用户体验。
图9为本发明实施例提供的一种交易系统的数据库热点的监控装置的结构框图，由图9可知，所述的装置包括：
操作信息采集模块100，用于采集交易系统的数据库表的数据操作信息；
在具体的实施例中，可将交易系统对应数据库的相关表的数据操作信息按一定周期进行采集。
运行信息采集模块200，用于采集交易系统对应的交易的运行信息。
在具体的实施例中，可将交易系统对应的交易的运行信息按一定周期进行采集。
潜在热点表确定模块300，用于根据所述的数据操作信息确定所述数据库表的潜在热点表。
潜在热点交易确定模块400，用于根据所述的运行信息确定出所述交易的潜在热点交易；
数据库热点定位模块500，用于根据所述的潜在热点表以及所述的潜在热点交易确定出所述交易系统的数据库热点。
也即，本发明提供了一种大机数据库系统热点监控和分析装置，通过过滤得出潜在热点表及潜在热点交易，并对两者进行结合分析，确定出所述交易系统的数据库热点，在出现问题前对热点进行提前预警、监控、优化的目的。
图10为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点表确定模块300的结构框图，由图10可知，潜在热点表确定模块具体包括：
数据库表操作信息确定单元301，用于根据所述的数据操作信息确定数据库表操作信息。图11为本发明实施例提供的一种交易系统的数据库热点的监控装置中数据库表操作信息确定单元301的结构框图，由图11可知，数据库表操作信息确定单元具体包括：
信息报表生成单元3011，用于根据所述的数据操作信息生成数据库表操作信息报表；
在具体的实施方式中，将对应数据库的数据操作信息按一定周期进行采集，生成一定格式的数据库表操作信息报表。
操作信息抽取单元3012，用于从所述的数据库表操作信息报表中抽取数据库表操作信息，所述的数据库表操作信息包括数据库名、表名、记录数、表空间、记录长度、锁级别、变更SQL(Structured Query Language，结构化查询语言)数、数据页变化数、采样日期、采样时间段。
在具体的实施方式中，将数据库表操作信息报表按一定周期使用数据抽取工具，将需要的数据库表操作信息从报表中提取出来，并进行一定的加工、格式转换、计算等，作为后续的输入数据，其至少包含的字段如表1所示。
由图10可知，潜在热点表确定模块300还包括：
更新SQL数量获取单元302，用于从所述的数据操作信息中获取采样时间段内的更新SQL数量；
潜在热点表确定单元303，用于根据所述的数据库表操作信息以及更新SQL数量确定所述数据库表的潜在热点表。
图12为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点表确定单元303的实施方式一的结构框图，由图12可知，潜在热点表确定单元303在实施方式一中具体包括：
更新密度确定单元3031，用于根据所述的数据库表操作信息确定所述的数据库表操作信息的更新密度。更新密度的含义是单位时间内有更新的单一数据页被更新的平均次数。从热表的产生模式来看，如果表被更新密度越大，则表成为热表的可能性越大。
当所述数据库表为页锁类型时，其表被更新密度公式为：
Change_density＝MAX(change_sql/change_page)
其中，Change_density为数据库对应的表的更新密度，change_sql为数据库对应的表记录的插入、删除、修改的SQL总数统计值，change_page为数据库对应的表发生过插入、删除、修改的剔除重复的数据页总数统计值，max在数学中表示最大的意思。
当所述数据库表为行锁类型时，其表被更新密度公式为：
Change_density＝MAX(change_sql/change_page/rowperpage)
其中，Change_density为数据库对应的表的更新密度，change_sql为数据库对应的表记录的插入、删除、修改的SQL总数统计值，change_page为数据库对应的表发生过插入、删除、修改的剔除重复的数据页总数统计值，rowperpage为每个数据页中的记录数。由于针对交易型系统，单元只计算页锁和行锁两种类型，其他类型的默认为有问题。
数量阈值获取单元3032，用于获取预设的更新SQL数量阈值；
密度阈值获取单元3033，用于获取预设的更新密度阈值；
热点表确定单元3034，用于根据更新SQL数量阈值、更新密度阈值、更新SQL数量、更新密度从所述的数据库表中确定出潜在热点表。主要完成热点表各类指标信息展现、更新密度变化趋势分析功能。通过展现数据库表的更新密度及其排名、更新SQL数、更新数据页、记录数、update\insert\delete SQL的数量，作为热表分析的辅助信息。同时，通过更新密度的变化趋势分析，可以知道数据库表是否由于业务的快速增长，导致表整在迅速变热，确定出潜在热点表。
图13为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点表确定单元303的实施方式二的结构框图，由图13可知，潜在热点表确定单元303在实施方式二中还包括：
过滤单元3035，用于根据所述的更新密度对交易系统的数据库表进行过滤，得到过滤后的数据库表。
图14为本发明实施例提供的一种交易系统的数据库热点的监控装置中过滤单元3035的结构框图，由图14可知，过滤单元3035具体包括：
比例值定义单元30351，用于定义更新比例值为update/change_sql，此处的change_sql为数据库表记录的插入、删除、修改的SQL总数统计值，update为数据库表记录的修改的SQL总数统计值。
预设比例值获取单元30352，用于获取预设的更新比例值；
更新比例值确定单元30353，用于根据所述的更新密度确定数据库表的更新比例值；
判断单元30354，用于判断所述的数据库表的更新比例值是否小于预设的更新比例值；
数据库表过滤单元30355，用于当所述的判断单元判断为是时，将所述的数据库表过滤掉。
也即，过滤过程主要完成的功能为对表的数据库操作行为进行过滤。对热表分析来说，一张热表中的update SQL数通常比insert和delete SQL的和大很多，也就是数据记录条数相对固定，且更新很多。因此，需要通过参数设置更新比例值update/change_sql的比例下限，将更新比例低于经验比例的表过滤掉。
图15为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点交易确定模块400的结构框图，由图15可知，潜在热点交易确定模块具体包括：
信息报表生成单元401，用于根据所述的运行信息生成交易运行信息报表。在具体的实施方式中，将相关交易的运行信息按一定周期进行采集，生成一定格式的报表。
运行信息抽取单元402，用于从所述的交易运行信息报表中抽取交易运行信息，所述的交易运行信息包括数据库名、表名、响应时间、数据库运行时间、交易发生次数、采样日期、采样时间段。
也即，在具体的实施方式中，按一定周期使用数据抽取工具，将需要信息从报表中提取出来并进行一定的加工、格式转换、计算等。交易运行信息按一定周期，将抽取出来的数据作为后续分析的输入数据。其至少包含的字段如表2所示。
潜在热点交易确定单元403，用于根据所述的交易运行信息确定出所述交易的潜在热点交易。
图16为本发明实施例提供的一种交易系统的数据库热点的监控装置中潜在热点交易确定单元403的结构框图，由图16可知，潜在热点交易确定单元具体包括：
并发波动率值确定单元4031，用于根据所述的交易运行信息确定所述交易的并发波动率值。交易的并发波动率值的含义是在一个时间段内，代表各个交易发生次数采样值的突然性、偏差性的数值。从热点交易的行为模式来看，很多都是具有交易并发度较高，且会突发增长，因此在潜伏期很难发现。用交易的并发波动值能够将具有此类行为模式的交易筛选出来。交易的并发波动值的计算公式为：
Fluctuate＝STDDEV(taskcnt)/SQRT(AVG(taskcnt))
其中，Fluctuate为表征数据库对应的交易的并发波动性的并发波动值，taskcnt表示每个连续采样点的交易调用次数，STDDEV为样本标准偏差，SQRT为平方根。
相关系数确定单元4032，用于根据所述的交易运行信息确定所述交易的响应时间/并发度相关系数。从热点交易的行为模式来看，交易的时间会随着交易在某个热点表上的更新并发度的上升而增长。因此，通过时间/并发度相关系数，可以反映出其时间和并发度是否存在正相关的关系。响应时间/并发度相关系数通过如下公式：
其中，cov为响应时间/并发度相关系数，taskcnt为每个连续采样点的交易调用次数，sqltime为数据库对应的交易执行SQL的时间，STDDEV为样本标准偏差，E为期望值，可以当作是平均值。。
辅助指标确定单元4033，用于根据所述的交易运行信息确定所述交易的辅助指标，所述的辅助指标包括交易调用update SQL次数、平均交易并发数、最大并发数、平均SQL运行时间，最大SQL运行时间。
阈值获取单元4034，用于获取预设的并发波动率阈值、响应时间/并发度相关系数阈值；
热点交易确定单元4035，用于根据并发波动率阈值、响应时间/并发度相关系数阈值、并发波动率值、响应时间/并发度相关系数以及辅助指标确定出所述交易的潜在热点交易。主要完成热点交易各类指标信息展现、变化趋势分析功能。通过展现交易的波动率、时间\并发相关系数、平均响应时间、最大响应时间、平均SQL时间、最大SQL时间、平均调用次数、最大调用次数，作为热表分析的辅助信息。同时，通过平均调用量及平均响应时间的变化趋势分析，可以知道数据库表是否由于业务的快速增长，导致表整在迅速变热，确定出所述交易的潜在热点交易。
如上即为本发明提供的一种交易系统的数据库热点的监控装置，通过在交易系统中收集交易和数据库表的生产运行信息，并使用此数学模型进行统计、计算、分析、过滤，精确定位出生产环境潜在的热点，以便应用提前进行优化，或监控预警发现后规避。解决了数据库热点难以预估测试、人工梳理计算量大、难以提前发现的难点问题。通过本装置输出的热点表和热点交易，并针对性地进行优化，可减少数据库运行的瓶颈，保障大数据量处理、多用户并发的联机交易系统在业务高峰期运行的稳定性、连续性，提高用户体验。
综上所述，本发明提出的一种交易系统的数据库热点的监控方法及装置，通过收集交易系统的数据库表的数据操作信息、交易的运行信息，确定出潜伏热点，再结合确定出的交易和表两种潜伏热点对象，精准地定位和发现数据库热点以提前优化应用，解决了交易系统的数据库热点问题难以测试、难以提前发现的难点，保障了联机交易系统稳定运行，可减少数据库运行的瓶颈，保障大数据量处理、多用户并发的联机交易系统在业务高峰期运行的稳定性、连续性，提高了用户体验。
本发明首次通过对数据库热点表与热点交易的行为模式进行建模，提出表被更新密度、交易并发波动值、交易时间/并发相关系数的概念及其计算公式，并通过实践经验对计算公式进行验证。
通过使用更新密度筛选有效地过滤出数据库热表。通过交易并发波动值和交易时间/并发相关系数两个指标的关联分析，有效精准地筛选过滤出热点交易。由于收集样本的粒度较细、时间跨度较长，能真实地反映出交易的行为，分析结果也更准确。
分析过程中，通过热点表以及热点交易量两个维度结合，则更容易定位热点，为分析优化交易逻辑提供很大便利。
通过过滤出来的热表和热点交易提前优化、密切监控，或通过一定手段规避，使大型并发交易系统在业务高峰出现热点问题产生交易堵塞的风险大大降低，保障信息系统稳定运行。通过自动收集、分析运行数据、输出结果，大大降低监控人员的工作负担。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一般计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
本领域技术人员还可以了解到本发明实施例列出的各种功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (20)
1.一种交易系统的数据库热点的监控方法，其特征是，所述的方法包括：
采集交易系统的数据库表的数据操作信息；
采集交易系统对应的交易的运行信息；
根据所述的数据操作信息确定所述数据库表的潜在热点表；
根据所述的运行信息确定出所述交易的潜在热点交易，包括根据所述的运行信息生成交易运行信息报表；从所述的交易运行信息报表中抽取交易运行信息，所述的交易运行信息包括数据库名、表名、响应时间、数据库运行时间、交易发生次数、采样日期、采样时间段；根据所述的交易运行信息确定出所述交易的潜在热点交易；
根据所述的潜在热点表以及所述的潜在热点交易确定出所述交易系统的数据库热点；
其中，根据所述的交易运行信息确定出所述交易的潜在热点交易包括：根据所述的交易运行信息确定所述交易的并发波动率值；根据所述的交易运行信息确定所述交易的响应时间/并发度相关系数；根据所述的交易运行信息确定所述交易的辅助指标，所述的辅助指标包括交易调用修改update SQL次数、平均交易并发数、最大并发数、平均SQL运行时间，最大SQL运行时间；获取预设的并发波动率阈值、响应时间/并发度相关系数阈值；根据并发波动率阈值、响应时间/并发度相关系数阈值、并发波动率值、响应时间/并发度相关系数以及辅助指标确定出所述交易的潜在热点交易。
2.根据权利要求1所述的方法，其特征是，根据所述的数据操作信息确定所述数据库表的潜在热点表包括：
根据所述的数据操作信息确定数据库表操作信息；
从所述的数据操作信息中获取采样时间段内的更新结构化查询语言SQL数量；
根据所述的数据库表操作信息以及更新SQL数量确定所述数据库表的潜在热点表。
3.根据权利要求2所述的方法，其特征是，根据所述的数据操作信息确定数据库表操作信息包括：
根据所述的数据操作信息生成数据库表操作信息报表；
从所述的数据库表操作信息报表中抽取数据库表操作信息，所述的数据库表操作信息包括数据库名、表名、记录数、表空间、记录长度、锁级别、变更SQL数、数据页变化数、采样日期、采样时间段。
4.根据权利要求2所述的方法，其特征是，根据所述的数据库表操作信息以及更新SQL数量确定所述数据库表的潜在热点表包括：
根据所述的数据库表操作信息确定所述的数据库表操作信息的更新密度；
获取预设的更新SQL数量阈值；
获取预设的更新密度阈值；
根据更新SQL数量阈值、更新密度阈值、更新SQL数量、更新密度从所述的数据库表中确定出潜在热点表。
5.根据权利要求2所述的方法，其特征是，根据所述的数据库表操作信息以及更新SQL数量确定所述数据库表的潜在热点表包括：
根据所述的数据库表操作信息确定所述的数据库表操作信息的更新密度；
根据所述的更新密度对交易系统的数据库表进行过滤，得到过滤后的数据库表；
获取预设的更新SQL数量阈值；
获取预设的更新密度阈值；
根据更新SQL数量阈值、更新密度阈值、更新SQL数量、更新密度从所述过滤后的数据库表中确定出潜在热点表。
6.根据权利要求5所述的方法，其特征是，根据所述的更新密度对交易系统的数据库表进行过滤包括：
定义更新比例值为update/change_sql，其中change_sql为数据库表记录的插入、删除、修改的SQL总数统计值，update为数据库表记录的修改的SQL总数统计值；
获取预设的更新比例值；
根据所述的更新密度确定数据库表的更新比例值；
判断所述的数据库表的更新比例值是否小于预设的更新比例值；
当判断为是时，将所述的数据库表过滤掉。
7.根据权利要求4或5所述的方法，其特征是，当所述数据库表为页锁类型时，确定所述的数据库表操作信息的更新密度通过如下公式进行：
Change_density＝MAX(change_sql/change_page)
其中，Change_density为数据库对应的表的更新密度，change_sql为数据库对应的表记录的插入、删除、修改的SQL总数统计值，change_page为数据库对应的表发生过插入、删除、修改的剔除重复的数据页总数统计值。
8.根据权利要求4或5所述的方法，其特征是，当所述数据库表为行锁类型时，确定所述的数据库表操作信息的更新密度通过如下公式进行：
Change_density＝MAX(change_sql/change_page/rowperpage)
其中，Change_density为数据库对应的表的更新密度，change_sql为数据库对应的表记录的插入、删除、修改的SQL总数统计值，change_page为数据库对应的表发生过插入、删除、修改的剔除重复的数据页总数统计值，rowperpage为每个数据页中的记录数。
9.根据权利要求1所述的方法，其特征是，确定所述交易的并发波动率值通过如下公式进行：
Fluctuate＝STDDEV(taskcnt)/SQRT(AVG(taskcnt))
其中，Fluctuate为表征数据库对应的交易的并发波动性的并发波动值，taskcnt表示每个连续采样点的交易调用次数，STDDEV为样本标准偏差，SQRT为平方根。
10.根据权利要求1所述的方法，其特征是，确定所述交易的响应时间/并发度相关系数通过如下公式进行：
<mrow>
<mi>cov</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>q</mi>
<mi>l</mi>
<mi>t</mi>
<mi>i</mi>
<mi>m</mi>
<mi>e</mi>
<mo>,</mo>
<mi>t</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
<mi>c</mi>
<mi>n</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mo>&lsqb;</mo>
<mi>s</mi>
<mi>q</mi>
<mi>l</mi>
<mi>t</mi>
<mi>i</mi>
<mi>m</mi>
<mi>e</mi>
<mo>-</mo>
<mi>E</mi>
<mo>(</mo>
<mi>s</mi>
<mi>q</mi>
<mi>l</mi>
<mi>t</mi>
<mi>i</mi>
<mi>m</mi>
<mi>e</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>t</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
<mi>c</mi>
<mi>n</mi>
<mi>t</mi>
<mo>-</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
<mi>c</mi>
<mi>n</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
<mrow>
<mi>S</mi>
<mi>T</mi>
<mi>D</mi>
<mi>D</mi>
<mi>E</mi>
<mi>V</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
<mi>c</mi>
<mi>n</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>S</mi>
<mi>T</mi>
<mi>D</mi>
<mi>D</mi>
<mi>E</mi>
<mi>V</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>q</mi>
<mi>l</mi>
<mi>t</mi>
<mi>i</mi>
<mi>m</mi>
<mi>e</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，cov为响应时间/并发度相关系数，taskcnt为每个连续采样点的交易调用次数，sqltime为数据库对应的交易执行SQL的时间，STDDEV为样本标准偏差，E为期望值。
11.一种交易系统的数据库热点的监控装置，其特征是，所述的装置包括：
操作信息采集模块，用于采集交易系统的数据库表的数据操作信息；
运行信息采集模块，用于采集交易系统对应的交易的运行信息；
潜在热点表确定模块，用于根据所述的数据操作信息确定所述数据库表的潜在热点表；
潜在热点交易确定模块，用于根据所述的运行信息确定出所述交易的潜在热点交易，所述的潜在热点交易确定模块包括：信息报表生成单元，用于根据所述的运行信息生成交易运行信息报表；运行信息抽取单元，用于从所述的交易运行信息报表中抽取交易运行信息，所述的交易运行信息包括数据库名、表名、响应时间、数据库运行时间、交易发生次数、采样日期、采样时间段；潜在热点交易确定单元，用于根据所述的交易运行信息确定出所述交易的潜在热点交易；
数据库热点定位模块，用于根据所述的潜在热点表以及所述的潜在热点交易确定出所述交易系统的数据库热点；
其中，所述的潜在热点交易确定单元包括：并发波动率值确定单元，用于根据所述的交易运行信息确定所述交易的并发波动率值；相关系数确定单元，用于根据所述的交易运行信息确定所述交易的响应时间/并发度相关系数；辅助指标确定单元，用于根据所述的交易运行信息确定所述交易的辅助指标，所述的辅助指标包括交易调用update SQL次数、平均交易并发数、最大并发数、平均SQL运行时间，最大SQL运行时间；阈值获取单元，用于获取预设的并发波动率阈值、响应时间/并发度相关系数阈值；热点交易确定单元，用于根据并发波动率阈值、响应时间/并发度相关系数阈值、并发波动率值、响应时间/并发度相关系数以及辅助指标确定出所述交易的潜在热点交易。
12.根据权利要求11所述的装置，其特征是，所述的潜在热点表确定模块包括：
数据库表操作信息确定单元，用于根据所述的数据操作信息确定数据库表操作信息；
更新SQL数量获取单元，用于从所述的数据操作信息中获取采样时间段内的更新结构化查询语言SQL数量；
潜在热点表确定单元，用于根据所述的数据库表操作信息以及更新SQL数量确定所述数据库表的潜在热点表。
13.根据权利要求12所述的装置，其特征是，所述的数据库表操作信息确定单元包括：
信息报表生成单元，用于根据所述的数据操作信息生成数据库表操作信息报表；
操作信息抽取单元，用于从所述的数据库表操作信息报表中抽取数据库表操作信息，所述的数据库表操作信息包括数据库名、表名、记录数、表空间、记录长度、锁级别、变更SQL数、数据页变化数、采样日期、采样时间段。
14.根据权利要求12所述的装置，其特征是，所述的潜在热点表确定单元包括：
更新密度确定单元，用于根据所述的数据库表操作信息确定所述的数据库表操作信息的更新密度；
数量阈值获取单元，用于获取预设的更新SQL数量阈值；
密度阈值获取单元，用于获取预设的更新密度阈值；
热点表确定单元，用于根据更新SQL数量阈值、更新密度阈值、更新SQL数量、更新密度从所述的数据库表中确定出潜在热点表。
15.根据权利要求14所述的装置，其特征是，所述的潜在热点表确定单元还包括：
过滤单元，用于根据所述的更新密度对交易系统的数据库表进行过滤，得到过滤后的数据库表。
16.根据权利要求15所述的装置，其特征是，所述的过滤单元包括：
比例值定义单元，用于将更新比例值定义为update/change_sql，其中，change_sql为数据库表记录的插入、删除、修改的SQL总数统计值，update为数据库表记录的修改的SQL总数统计值；
预设比例值获取单元，用于获取预设的更新比例值；
更新比例值确定单元，用于根据所述的更新密度确定数据库表的更新比例值；
判断单元，用于判断所述的数据库表的更新比例值是否小于预设的更新比例值；
数据库表过滤单元，用于当所述的判断单元判断为是时，将所述的数据库表过滤掉。
17.根据权利要求14所述的装置，其特征是，当所述数据库表为页锁类型时，所述的更新密度确定单元通过如下公式进行：
Change_density＝MAX(change_sql/change_page)
其中，Change_density为数据库对应的表的更新密度，change_sql为数据库对应的表记录的插入、删除、修改的SQL总数统计值，change_page为数据库对应的表发生过插入、删除、修改的剔除重复的数据页总数统计值。
18.根据权利要求14所述的装置，其特征是，当所述数据库表为行锁类型时，所述的更新密度确定单元通过如下公式进行：
Change_density＝MAX(change_sql/change_page/rowperpage)
其中，Change_density为数据库对应的表的更新密度，change_sql为数据库对应的表记录的插入、删除、修改的SQL总数统计值，change_page为数据库对应的表发生过插入、删除、修改的剔除重复的数据页总数统计值，rowperpage为每个数据页中的记录数。
19.根据权利要求11所述的装置，其特征是，所述的并发波动率值确定单元通过如下公式进行：
Fluctuate＝STDDEV(taskcnt)/SQRT(AVG(taskcnt))
其中，Fluctuate为表征数据库对应的交易的并发波动性的并发波动值，taskcnt表示每个连续采样点的交易调用次数，STDDEV为样本标准偏差，SQRT为平方根。
20.根据权利要求11所述的装置，其特征是，所述的相关系数确定单元通过如下公式进行：
<mrow>
<mi>cov</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>q</mi>
<mi>l</mi>
<mi>t</mi>
<mi>i</mi>
<mi>m</mi>
<mi>e</mi>
<mo>,</mo>
<mi>t</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
<mi>c</mi>
<mi>n</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mo>&lsqb;</mo>
<mi>s</mi>
<mi>q</mi>
<mi>l</mi>
<mi>t</mi>
<mi>i</mi>
<mi>m</mi>
<mi>e</mi>
<mo>-</mo>
<mi>E</mi>
<mo>(</mo>
<mi>s</mi>
<mi>q</mi>
<mi>l</mi>
<mi>t</mi>
<mi>i</mi>
<mi>m</mi>
<mi>e</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>&lsqb;</mo>
<mi>t</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
<mi>c</mi>
<mi>n</mi>
<mi>t</mi>
<mo>-</mo>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
<mi>c</mi>
<mi>n</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>)</mo>
</mrow>
<mrow>
<mi>S</mi>
<mi>T</mi>
<mi>D</mi>
<mi>D</mi>
<mi>E</mi>
<mi>V</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
<mi>c</mi>
<mi>n</mi>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>S</mi>
<mi>T</mi>
<mi>D</mi>
<mi>D</mi>
<mi>E</mi>
<mi>V</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>q</mi>
<mi>l</mi>
<mi>t</mi>
<mi>i</mi>
<mi>m</mi>
<mi>e</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，cov为响应时间/并发度相关系数，taskcnt为每个连续采样点的交易调用次数，sqltime为数据库对应的交易执行SQL的时间，STDDEV为样本标准偏差，E为期望值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410469651.5A CN104217004B (zh) | 2014-09-15 | 2014-09-15 | 一种交易系统的数据库热点的监控方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410469651.5A CN104217004B (zh) | 2014-09-15 | 2014-09-15 | 一种交易系统的数据库热点的监控方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104217004A CN104217004A (zh) | 2014-12-17 |
| CN104217004B true CN104217004B (zh) | 2017-10-13 |
Family
ID=52098494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410469651.5A Active CN104217004B (zh) | 2014-09-15 | 2014-09-15 | 一种交易系统的数据库热点的监控方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104217004B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682005A (zh) | 2015-11-05 | 2017-05-17 | 华为技术有限公司 | 一种确定数据库热页面的方法及装置 |
| CN108604182B (zh) * | 2015-11-20 | 2021-04-09 | 华为技术有限公司 | 产生在分布式处理系统上执行的代码的装置 |
| CN106897728B (zh) * | 2015-12-21 | 2019-12-17 | 腾讯科技（深圳）有限公司 | 基于业务监控系统的样本选择方法、装置和系统 |
| CN105955865A (zh) * | 2016-04-29 | 2016-09-21 | 浪潮(北京)电子信息产业有限公司 | 一种针对k-db数据库的监控方法及系统 |
| CN108241691A (zh) * | 2016-12-26 | 2018-07-03 | 北京国双科技有限公司 | 热点查询数据的搜集方法和装置 |
| CN107943976B (zh) * | 2017-11-29 | 2022-02-25 | 中国银行股份有限公司 | 一种海量交易日志中基于账户的热点交易识别方法及系统 |
| CN110908974A (zh) * | 2018-09-14 | 2020-03-24 | 阿里巴巴集团控股有限公司 | 数据库管理方法、装置、设备及存储介质 |
| CN111461864A (zh) * | 2020-03-31 | 2020-07-28 | 中国银行股份有限公司 | 交易处理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101169790A (zh) * | 2007-11-30 | 2008-04-30 | 中兴通讯股份有限公司 | 一种基于web应用的矩阵式数据缓存方法及装置 |
| CN102222107A (zh) * | 2011-06-28 | 2011-10-19 | 中国联合网络通信集团有限公司 | 数据存取系统及其数据存取方法 |
| CN102388374A (zh) * | 2011-09-28 | 2012-03-21 | 华为技术有限公司 | 存储数据的方法和装置 |
| CN102708188A (zh) * | 2012-05-15 | 2012-10-03 | 苏州阔地网络科技有限公司 | 一种数据分离的方法及系统 |
| CN103353873A (zh) * | 2013-06-07 | 2013-10-16 | 携程计算机技术（上海）有限公司 | 基于时间度量数据实时查询服务的优化实现方法及系统 |
| CN103412915A (zh) * | 2013-08-06 | 2013-11-27 | 复旦大学 | 一种面向金融高频交易数据的情景感知测定方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110153603A1 (en) * | 2009-12-17 | 2011-06-23 | Yahoo! Inc. | Time series storage for large-scale monitoring system |
-
2014
- 2014-09-15 CN CN201410469651.5A patent/CN104217004B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101169790A (zh) * | 2007-11-30 | 2008-04-30 | 中兴通讯股份有限公司 | 一种基于web应用的矩阵式数据缓存方法及装置 |
| CN102222107A (zh) * | 2011-06-28 | 2011-10-19 | 中国联合网络通信集团有限公司 | 数据存取系统及其数据存取方法 |
| CN102388374A (zh) * | 2011-09-28 | 2012-03-21 | 华为技术有限公司 | 存储数据的方法和装置 |
| CN102708188A (zh) * | 2012-05-15 | 2012-10-03 | 苏州阔地网络科技有限公司 | 一种数据分离的方法及系统 |
| CN103353873A (zh) * | 2013-06-07 | 2013-10-16 | 携程计算机技术（上海）有限公司 | 基于时间度量数据实时查询服务的优化实现方法及系统 |
| CN103412915A (zh) * | 2013-08-06 | 2013-11-27 | 复旦大学 | 一种面向金融高频交易数据的情景感知测定方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104217004A (zh) | 2014-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104217004B (zh) | 一种交易系统的数据库热点的监控方法及装置 | |
| CN107886238B (zh) | 一种基于海量数据分析的业务流程管理系统及方法 | |
| CN103390066B (zh) | 一种数据库全局性自动化优化预警装置及其处理方法 | |
| CN105721187A (zh) | 一种业务故障诊断方法及装置 | |
| CN111127105A (zh) | 用户分层模型构建方法及系统、运营分析方法及系统 | |
| CN113051147A (zh) | 一种数据库集群的监控方法、装置、系统、以及设备 | |
| KR101925506B1 (ko) | 감염병 확산 예측 방법 및 장치 | |
| WO2015131558A1 (zh) | 告警相关性数据挖掘方法和装置 | |
| KR101616544B1 (ko) | Lda를 이용한 특허 문헌 분석 방법 | |
| KR20150009798A (ko) | 개인 정보 상시 감시 시스템 및 그 상시 감시 방법 | |
| CN103258039B (zh) | 一种微博伪造信息的检测方法 | |
| CN104778185A (zh) | 异常结构化查询语言sql语句确定方法及服务器 | |
| CN102750367A (zh) | 在云端平台的大数据检核系统及其方法 | |
| CN109359126B (zh) | 基于业务用户习惯的智能学习查询模型的构建方法及系统 | |
| CN102801548B (zh) | 一种智能预警的方法、装置及信息系统 | |
| WO2021002780A1 (ru) | Система мониторинга качества и процессов на базе машинного обучения | |
| CN102609501B (zh) | 一种基于实时历史数据库的数据清洗方法 | |
| CN115544519A (zh) | 对计量自动化系统威胁情报进行安全性关联分析的方法 | |
| CN107094306B (zh) | 终端性能评估方法及装置 | |
| CN114116872A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN103136440B (zh) | 数据处理方法和装置 | |
| Bakariya et al. | An efficient algorithm for extracting infrequent itemsets from weblog. | |
| CN107704371A (zh) | 一种存储介质和存储系统的管理方法、装置及设备 | |
| CN105302691B (zh) | 一种元数据性能监控方法及系统 | |
| Zhang et al. | Application of data mining technology based on data center |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |