CN113590633A - 一种数据库读写热点消除方法、装置、存储介质和设备 - Google Patents
一种数据库读写热点消除方法、装置、存储介质和设备 Download PDFInfo
- Publication number
- CN113590633A CN113590633A CN202110919427.1A CN202110919427A CN113590633A CN 113590633 A CN113590633 A CN 113590633A CN 202110919427 A CN202110919427 A CN 202110919427A CN 113590633 A CN113590633 A CN 113590633A
- Authority
- CN
- China
- Prior art keywords
- jobs
- target
- long transaction
- job
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据库读写热点消除方法、装置、存储介质和设备，在每个预设时间周期内，获取正处于执行过程的作业的状态信息。将运行时间大于预设时长的作业，标识为长交易作业。对获取到的各个长交易作业进行分类，得到多个作业类别，每个作业类别所包含的各个长交易作业均访问同一个数据文件。对于每个作业类别，在作业类别所包含的长交易作业的数量大于预设阈值的情况下，从作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值。取消目标作业的执行过程，并在下一个预设时间周期内，启动目标作业的执行过程。基于本申请所示方案，能够及时有效地消除数据库中的读写热点。
Description
技术领域
本申请涉及数据处理领域，尤其涉及一种数据库读写热点消除方法、装置、存储介质和设备。
背景技术
GP数据库是一个面向数据仓库应用的关系型数据库，它基于PostgreSQL语言开发，拥有良好的体系结构，在数据存储、高并发、反应速度和性价比等方面都有明显的优势，在建行大数据智能平台(CCBD)中得到了广泛应用。以CCBD系统为例，由于使用GP数据库的用户越来越多，不同用户之间因业务需要可能频繁访问同一份数据，使得相关作业同时运行造成作业耗时时间远大于单个作业分别运行时的累计运行时间、或数据表的分布键设计不合理等原因都会造成数据库读写热点。这些数据库读写热点会造成集群的磁盘IO过高，从而导致集群产生硬件隐形故障或硬盘故障，使得集群性能整体急剧下降直至不可用。由于GP集群本身的特点，每个segment的数据冗余存放在另一个segment上。这意味着GP集群中只存在两份相同的数据，一旦硬件发生损坏导致数据不可用将会使集群面临单点故障的风险。为了避免数据库读写热点所造成的故障的发生，需要消除数据库中的读写热点。
目前，只有当IO热点形成之后造成硬件故障，触发硬件监控平台报警或者业务人员发现作业处理缓慢，通知系统管理员进行查看。然而，现有的处理方式，其只有在故障发生之后才能感知，此时已经出现硬件损害，人工操作的方式效率较低。可见，现有的处理方式无法及时有效地消除数据库中的读写热点，更无法保护磁盘等硬件设备。
发明内容
本申请提供了一种数据库读写热点消除方法、装置、存储介质和设备，目的在于及时有效地消除数据库中的读写热点。
为了实现上述目的，本申请提供了以下技术方案：
一种数据库读写热点消除方法，包括：
在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息；所述状态信息包括所述作业执行过程的运行时间；
将运行时间大于预设时长的作业，标识为长交易作业；
利用预设的聚类算法，对所述预设时间周期内获取到的各个所述长交易作业进行分类，得到多个作业类别；每个所述作业类别所包含的各个长交易作业均访问同一个数据文件；
对于每个所述作业类别，在所述作业类别所包含的长交易作业的数量大于预设阈值的情况下，从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；所述目标数值为所述作业类别所包含的长交易作业的数量与预设阈值的差值；
取消所述目标作业的执行过程，并在下一个所述预设时间周期内，启动所述目标作业的执行过程。
可选的，所述对于每个所述作业类别，在所述作业类别所包含的长交易作业的数量大于预设阈值的情况下，从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
对于每个所述作业类别，判断所述作业类别所包含的长交易作业的数量是否大于预设阈值；
在所述作业类别所包含的长交易作业的数量大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内将会触发数据库读写热点；
从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；
在所述作业类别所包含的长交易作业的数量不大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内不会触发数据库读写热点。
可选的，所述从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
按照所述运行时间由长到短的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
可选的，所述状态信息还包括所述作业执行过程的起始时间；
所述从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
按照所述起始时间由晚到早的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
一种数据库读写热点消除装置，包括：
获取单元，用于在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息；所述状态信息包括所述作业执行过程的运行时间；
标识单元，用于将运行时间大于预设时长的作业，标识为长交易作业；
分类单元，用于利用预设的聚类算法，对所述预设时间周期内获取到的各个所述长交易作业进行分类，得到多个作业类别；每个所述作业类别所包含的各个长交易作业均访问同一个数据文件；
选取单元，用于对于每个所述作业类别，在所述作业类别所包含的长交易作业的数量大于预设阈值的情况下，从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；所述目标数值为所述作业类别所包含的长交易作业的数量与预设阈值的差值；
取消单元，用于取消所述目标作业的执行过程，并在下一个所述预设时间周期内，启动所述目标作业的执行过程。
可选的，所述选取单元具体用于：
对于每个所述作业类别，判断所述作业类别所包含的长交易作业的数量是否大于预设阈值；
在所述作业类别所包含的长交易作业的数量大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内将会触发数据库读写热点；
从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；
在所述作业类别所包含的长交易作业的数量不大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内不会触发数据库读写热点。
可选的，所述选取单元用于从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
所述选取单元具体用于：
按照所述运行时间由长到短的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
可选的，所述状态信息还包括所述作业执行过程的起始时间；
所述选取单元用于从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
所述选取单元具体用于：
按照所述起始时间由晚到早的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的数据库读写热点消除方法。
一种数据库读写热点消除设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行所述的数据库读写热点消除方法。
本申请提供的技术方案，在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息。将运行时间大于预设时长的作业，标识为长交易作业。利用预设的聚类算法，对预设时间周期内获取到的各个长交易作业进行分类，得到多个作业类别。对于每个作业类别，在作业类别所包含的长交易作业的数量大于预设阈值的情况下，从作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值。取消目标作业的执行过程，并在下一个预设时间周期内，启动目标作业的执行过程。基于本申请所示方案，对预设时间周期内获取到的各个长交易作业进行分类，得到多个作业类别，对于每个作业类别，判断作业类别所包含的长交易作业的数量是否大于预设阈值，从而实现对数据库读写热点的发现，当作业类别所包含的长交易作业的数量大于预设阈值时，就取消该作业类别下的目标作业的执行过程，以实现对数据库读写热点的控制，避免访问同一数据文件的长交易作业的数量过多，从而及时有效地消除数据库中的读写热点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据库读写热点消除方法的示意图；
图2为本申请实施例提供的一种数据库读写热点消除流程示意图；
图3为本申请实施例提供的一种数据库读写热点消除流程示意图；
图4为本申请实施例提供的一种数据库读写热点消除流程示意图；
图5为本申请实施例提供的另一种数据库读写热点消除方法的示意图；
图6为本申请实施例提供的一种数据库读写热点消除装置的架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，为本申请实施例提供的一种数据库读写热点消除方法的示意图，包括如下步骤：
S101：在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息。
其中，用户提交的作业会首先进入到数据库的管理节点，而后再由管理节点将作业分配到不同的数据节点进行执行。
需要说明的是，作业的状态信息包括作业执行过程的起始时间和运行时间。
S102：将运行时间大于预设时长的作业，标识为长交易作业。
S103：利用预设的聚类算法，对预设时间周期内获取到的各个长交易作业进行分类，得到多个作业类别。
其中，每个作业类别所包含的各个长交易作业均访问同一个数据文件。
在本申请实施例中，预设的聚类算法为文本聚类算法，具体的，聚类假设认为同类的文本相似度高，不同类的文本相似度低。通过采用空间向量模型，将文本(即长交易作业所包含的语句)表示为加权的特征向量D＝D(T1，w1；T2，w2；…；Tn，wn)，然后通过计算文本相似度的方法来确定各个长交易作业的类别。通过使用空间向量模型，文本的相似度就可以用特征向量之间的内积来表示。为长交易作业所访问的数据文件的表名，赋予较高的权值，如果多个长交易作业均访问同一个数据文件，这些长交易作业之间的相似度就确定越高，因此，这些长交易作业就会被划分为到同一作业类别。当某一作业类别所包含的长交易作业的数量大于预设阈值时，确定这些个长交易作业共同访问的数据文件，就是数据库读写热点。
需要说明的是，数据库读写热点就是多个不同的长交易作业都访问同一个数据文件，这种频繁访问其实是对存储这一份数据文件的磁盘的频繁读写，也就是所谓的数据库读写热点，所谓的“热”，实质就是代表磁盘的访问量高。
S104：对于每个作业类别，判断作业类别所包含的长交易作业的数量是否大于预设阈值。
若作业类别所包含的长交易作业的数量大于预设阈值，则执行S105，否则执行S106。
S105：确定该作业类别所包含的各个长交易作业，在预设时间周期内将会触发数据库读写热点。
在执行S105之后，继续执行S107。
其中，划分在同一作业类别的多个长交易作业，同时读取相同的数据文件，就会造成该数据文件被频繁访问。这种频繁访问其实是对存这块数据文件的磁盘进行频繁读写，也就是所谓的数据库读写热点。简单可以理解为，多个长交易作业运行时频繁访问数据文件，造成数据库读写热点。
S106：确定该作业类别所包含的各个长交易作业，在预设时间周期内不会触发数据库读写热点。
S107：从该作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值。
在执行S107之后，继续执行S108。
其中，目标数值为作业类别所包含的长交易作业的数量与预设阈值的差值。
可选的，按照运行时间由长到短的顺序，对该作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在作业序列中前n位的长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值。m和n均为正整数、且n不大于m。
可选的，按照起始时间由晚到早的顺序，对该作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在作业序列中前n位的长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值。m和n均为正整数、且n不大于m。
S108：取消目标作业的执行过程，并在下一个预设时间周期内，启动目标作业的执行过程。
其中，同一作业类别下的长交易作业，如果全部取消掉，就意味着没有长交易作业在访问这块数据文件了，但是取消的这些长交易作业在某个时间点还是需要运行，所以本申请实施例目的不是不让长交易作业执行，而是让长交易作业不要集中在某一小段时间内集中执行。
需要说明的是，上述S101-S108所示的流程，可以划分为两个过程，一个是数据库读写热点发现过程，具体为S101-S103所示流程，另一个是数据库读写热点控制过程，具体为S104-S108所示流程。数据库读写热点发现过程，具体的，可以简单概括为图2所示的流程。数据库读写热点控制过程，具体的，可以简单概括为图3所示的流程。基于这两个过程，上述S101-S108所示的流程，具体的，可以简单概括为图4所示的应用过程。
综上所述，对预设时间周期内获取到的各个长交易作业进行分类，得到多个作业类别，对于每个作业类别，判断作业类别所包含的长交易作业的数量是否大于预设阈值，从而实现对数据库读写热点的发现，当作业类别所包含的长交易作业的数量大于预设阈值时，就取消该作业类别下的目标作业的执行过程，以实现对数据库读写热点的控制，避免访问同一数据文件的长交易作业的数量过多，从而及时有效地消除数据库中的读写热点。
需要说明的是，上述实施例提及的S104，为本申请所述数据库读写热点消除方法的一种可选的实现方式。此外，上述实施例提及的S105，也为本申请所述数据库读写热点消除方法的一种可选的实现方式。为此，上述实施例提及的流程，可以概括为图5所示的方法。
如图5所示，为本申请实施例提供的另一种数据库读写热点消除方法的示意图，包括如下步骤：
S501：在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息。
其中，状态信息包括作业执行过程的运行时间。
S502：将运行时间大于预设时长的作业，标识为长交易作业。
S503：利用预设的聚类算法，对预设时间周期内获取到的各个长交易作业进行分类，得到多个作业类别。
其中，每个所述作业类别所包含的各个长交易作业均访问同一个数据文件。
S504：对于每个作业类别，在作业类别所包含的长交易作业的数量大于预设阈值的情况下，从作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值。
其中，目标数值为作业类别所包含的长交易作业的数量与预设阈值的差值。
S505：取消目标作业的执行过程，并在下一个预设时间周期内，启动目标作业的执行过程。
综上所述，对预设时间周期内获取到的各个长交易作业进行分类，得到多个作业类别，对于每个作业类别，判断作业类别所包含的长交易作业的数量是否大于预设阈值，从而实现对数据库读写热点的发现，当作业类别所包含的长交易作业的数量大于预设阈值时，就取消该作业类别下的目标作业的执行过程，以实现对数据库读写热点的控制，避免访问同一数据文件的长交易作业的数量过多，从而及时有效地消除数据库中的读写热点。
与上述本申请实施例提供的数据库读写热点消除方法相对应，本申请实施例还提供了一种数据库读写热点消除装置。
如图6所示，为本申请实施例提供的一种数据库读写热点消除装置的架构示意图，包括：
获取单元100，用于在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息；状态信息包括作业执行过程的运行时间。
标识单元200，用于将运行时间大于预设时长的作业，标识为长交易作业。
分类单元300，用于利用预设的聚类算法，对预设时间周期内获取到的各个长交易作业进行分类，得到多个作业类别；每个作业类别所包含的各个长交易作业均访问同一个数据文件。
选取单元400，用于对于每个作业类别，在作业类别所包含的长交易作业的数量大于预设阈值的情况下，从作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值；目标数值为作业类别所包含的长交易作业的数量与预设阈值的差值。
其中，选取单元400具体用于：对于每个作业类别，判断作业类别所包含的长交易作业的数量是否大于预设阈值；在作业类别所包含的长交易作业的数量大于预设阈值的情况下，确定作业类别所包含的各个长交易作业，在预设时间周期内将会触发数据库读写热点；从作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值；在作业类别所包含的长交易作业的数量不大于预设阈值的情况下，确定作业类别所包含的各个长交易作业，在预设时间周期内不会触发数据库读写热点。
选取单元400用于从作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值的过程，包括：按照运行时间由长到短的顺序，对作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在作业序列中前n位的长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
此外，状态信息还包括作业执行过程的起始时间。选取单元400用于从作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值的过程，包括：按照起始时间由晚到早的顺序，对作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在作业序列中前n位的长交易作业，标识为目标作业，并确保目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
取消单元500，用于取消目标作业的执行过程，并在下一个预设时间周期内，启动目标作业的执行过程。
综上所述，对预设时间周期内获取到的各个长交易作业进行分类，得到多个作业类别，对于每个作业类别，判断作业类别所包含的长交易作业的数量是否大于预设阈值，从而实现对数据库读写热点的发现，当作业类别所包含的长交易作业的数量大于预设阈值时，就取消该作业类别下的目标作业的执行过程，以实现对数据库读写热点的控制，避免访问同一数据文件的长交易作业的数量过多，从而及时有效地消除数据库中的读写热点。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述本申请提供的数据库读写热点消除方法。
本申请还提供了一种数据库读写热点消除设备，包括：处理器、存储器和总线。处理器与存储器通过总线连接，存储器用于存储程序，处理器用于运行程序，其中，程序运行时执行上述本申请提供的数据库读写热点消除方法，包括如下步骤：
在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息；所述状态信息包括所述作业执行过程的运行时间；
将运行时间大于预设时长的作业，标识为长交易作业；
利用预设的聚类算法，对所述预设时间周期内获取到的各个所述长交易作业进行分类，得到多个作业类别；每个所述作业类别所包含的各个长交易作业均访问同一个数据文件；
对于每个所述作业类别，在所述作业类别所包含的长交易作业的数量大于预设阈值的情况下，从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；所述目标数值为所述作业类别所包含的长交易作业的数量与预设阈值的差值；
取消所述目标作业的执行过程，并在下一个所述预设时间周期内，启动所述目标作业的执行过程。
可选的，所述对于每个所述作业类别，在所述作业类别所包含的长交易作业的数量大于预设阈值的情况下，从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
对于每个所述作业类别，判断所述作业类别所包含的长交易作业的数量是否大于预设阈值；
在所述作业类别所包含的长交易作业的数量大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内将会触发数据库读写热点；
从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；
在所述作业类别所包含的长交易作业的数量不大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内不会触发数据库读写热点。
可选的，所述从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
按照所述运行时间由长到短的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
可选的，所述状态信息还包括所述作业执行过程的起始时间；
所述从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
按照所述起始时间由晚到早的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据库读写热点消除方法，其特征在于，包括：
在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息；所述状态信息包括所述作业执行过程的运行时间；
将运行时间大于预设时长的作业，标识为长交易作业；
利用预设的聚类算法，对所述预设时间周期内获取到的各个所述长交易作业进行分类，得到多个作业类别；每个所述作业类别所包含的各个长交易作业均访问同一个数据文件；
对于每个所述作业类别，在所述作业类别所包含的长交易作业的数量大于预设阈值的情况下，从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；所述目标数值为所述作业类别所包含的长交易作业的数量与预设阈值的差值；
取消所述目标作业的执行过程，并在下一个所述预设时间周期内，启动所述目标作业的执行过程。
2.根据权利要求1所述的方法，其特征在于，所述对于每个所述作业类别，在所述作业类别所包含的长交易作业的数量大于预设阈值的情况下，从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
对于每个所述作业类别，判断所述作业类别所包含的长交易作业的数量是否大于预设阈值；
在所述作业类别所包含的长交易作业的数量大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内将会触发数据库读写热点；
从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；
在所述作业类别所包含的长交易作业的数量不大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内不会触发数据库读写热点。
3.根据权利要求1所述的方法，其特征在于，所述从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
按照所述运行时间由长到短的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
4.根据权利要求1所述的方法，其特征在于，所述状态信息还包括所述作业执行过程的起始时间；
所述从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
按照所述起始时间由晚到早的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
5.一种数据库读写热点消除装置，其特征在于，包括：
获取单元，用于在每个预设时间周期内，定时从数据库的各个数据节点中，获取正处于执行过程的作业的状态信息；所述状态信息包括所述作业执行过程的运行时间；
标识单元，用于将运行时间大于预设时长的作业，标识为长交易作业；
分类单元，用于利用预设的聚类算法，对所述预设时间周期内获取到的各个所述长交易作业进行分类，得到多个作业类别；每个所述作业类别所包含的各个长交易作业均访问同一个数据文件；
选取单元，用于对于每个所述作业类别，在所述作业类别所包含的长交易作业的数量大于预设阈值的情况下，从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；所述目标数值为所述作业类别所包含的长交易作业的数量与预设阈值的差值；
取消单元，用于取消所述目标作业的执行过程，并在下一个所述预设时间周期内，启动所述目标作业的执行过程。
6.根据权利要求5所述的装置，其特征在于，所述选取单元具体用于：
对于每个所述作业类别，判断所述作业类别所包含的长交易作业的数量是否大于预设阈值；
在所述作业类别所包含的长交易作业的数量大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内将会触发数据库读写热点；
从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；
在所述作业类别所包含的长交易作业的数量不大于所述预设阈值的情况下，确定所述作业类别所包含的各个长交易作业，在所述预设时间周期内不会触发数据库读写热点。
7.根据权利要求5所述的装置，其特征在于，所述选取单元用于从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
所述选取单元具体用于：
按照所述运行时间由长到短的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
8.根据权利要求5所述的装置，其特征在于，所述状态信息还包括所述作业执行过程的起始时间；
所述选取单元用于从所述作业类别所包含的各个长交易作业中，选取一个或多个长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值，包括：
所述选取单元具体用于：
按照所述起始时间由晚到早的顺序，对所述作业类别所包含的m个长交易作业进行排序，得到作业序列，依次选取排在所述作业序列中前n位的长交易作业，标识为目标作业，并确保所述目标作业的数量不小于目标数值；其中，m和n均为正整数、且n不大于m。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1-4任一所述的数据库读写热点消除方法。
10.一种数据库读写热点消除设备，其特征在于，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-4任一所述的数据库读写热点消除方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110919427.1A CN113590633A (zh) | 2021-08-11 | 2021-08-11 | 一种数据库读写热点消除方法、装置、存储介质和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110919427.1A CN113590633A (zh) | 2021-08-11 | 2021-08-11 | 一种数据库读写热点消除方法、装置、存储介质和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113590633A true CN113590633A (zh) | 2021-11-02 |
Family
ID=78257182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110919427.1A Pending CN113590633A (zh) | 2021-08-11 | 2021-08-11 | 一种数据库读写热点消除方法、装置、存储介质和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113590633A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116089248A (zh) * | 2023-04-07 | 2023-05-09 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种写i/o突发分布预测方法、装置、设备及存储介质 |
-
2021
- 2021-08-11 CN CN202110919427.1A patent/CN113590633A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116089248A (zh) * | 2023-04-07 | 2023-05-09 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种写i/o突发分布预测方法、装置、设备及存储介质 |
| CN116089248B (zh) * | 2023-04-07 | 2023-06-02 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种写i/o突发分布预测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506266B (zh) | 一种数据恢复方法及系统 | |
| JP6260130B2 (ja) | ジョブ遅延検知方法、情報処理装置、およびプログラム | |
| CN113992340B (zh) | 用户异常行为识别方法、装置、设备和存储介质 | |
| CN113590633A (zh) | 一种数据库读写热点消除方法、装置、存储介质和设备 | |
| CN117950599B (zh) | 基于分布式系统的i/o栈构建方法、装置、设备及介质 | |
| CN114968124A (zh) | 数据存储方法、服务器和存储介质 | |
| CN115269288A (zh) | 故障确定方法、装置、设备和存储介质 | |
| CN112306383A (zh) | 执行作业的方法、计算节点、管理节点及计算设备 | |
| CN113536320A (zh) | 一种错误信息处理方法、装置及存储介质 | |
| CN112433888A (zh) | 数据处理方法及装置、存储介质和电子设备 | |
| US20180322290A1 (en) | Implementing locale management on paas: locale replacement risk analysis | |
| CN115374088A (zh) | 数据库健康度分析方法、装置、设备及可读存储介质 | |
| JP2008242524A (ja) | ファイル管理装置、ファイル管理方法、プログラム、コンピュータ読み取り可能な記録媒体 | |
| CN110059480A (zh) | 网络攻击行为监控方法、装置、计算机设备及存储介质 | |
| CN113505017A (zh) | 一种问题排查方法、装置、存储介质和设备 | |
| CN114266242A (zh) | 工单数据处理方法、装置、服务器及可读存储介质 | |
| CN113918371A (zh) | 一种内存处理方法及装置 | |
| CN108874325B (zh) | 数据打印方法及系统 | |
| CN113742116A (zh) | 一种异常定位方法及装置、设备、存储介质 | |
| US11429646B2 (en) | Non-transitory computer-readable storage medium storing information presentation program, information presentation device, and information presentation method of controlling to display information regarding trouble shooting | |
| CN111881346A (zh) | 一种热点数据的识别方法、系统及相关装置 | |
| CN115098017B (zh) | 数据的处理方法、装置、电子设备及存储介质 | |
| CN112148491B (zh) | 数据处理方法及装置 | |
| CN118113433A (zh) | 信息处理方法、装置及电子设备和存储介质 | |
| CN116414713A (zh) | 作业处理方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |