CN107357640A - 多线程数据库的请求处理方法及装置、电子设备 - Google Patents

多线程数据库的请求处理方法及装置、电子设备 Download PDF

Info

Publication number
CN107357640A
CN107357640A CN201710555587.6A CN201710555587A CN107357640A CN 107357640 A CN107357640 A CN 107357640A CN 201710555587 A CN201710555587 A CN 201710555587A CN 107357640 A CN107357640 A CN 107357640A
Authority
CN
China
Prior art keywords
thread
request
threshold value
monitoring threshold
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710555587.6A
Other languages
English (en)
Other versions
CN107357640B (zh
Inventor
杨艳杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201710555587.6A priority Critical patent/CN107357640B/zh
Publication of CN107357640A publication Critical patent/CN107357640A/zh
Application granted granted Critical
Publication of CN107357640B publication Critical patent/CN107357640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/466Transaction processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2308Concurrency control
    • G06F16/2315Optimistic concurrency control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/50Indexing scheme relating to G06F9/50
    • G06F2209/5018Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多线程数据库的请求处理方法及装置、电子设备,其方法包括:设置多个线程中每个线程请求队列的监控阈值;针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值;若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。通过对线程对应的线程请求队列中请求数量的监控,保障了线程请求队列的数据不超过监控阈值。当线程对应的线程请求队列的请求数量超过监控阈值时,即该线程阻塞,不再为该线程分配新的请求。将新的请求分配给不阻塞的线程。可以有效的缓解线程阻塞,减少线程阻塞对数据库请求造成的影响。

Description

多线程数据库的请求处理方法及装置、电子设备
技术领域
本发明涉及数据库领域,具体涉及一种多线程数据库的请求处理方法及装置、电子设备。
背景技术
数据库可以管理和存储数据,通过对数据库的操作请求可以实现对数据的操作。在连接数据库后,可以对数据库中的数据进行如更新、删除等操作。数据库可以使用多线程数据库,其包括了多个线程,每个线程都可以接收对数据的操作请求,执行相应的操作,从而实现同时执行多条数据操作,提高数据库的执行效率。在多线程数据库中,一般会将请求均衡的分配给多个线程。每个线程都有其对应的线程请求队列,在请求被分配后,会将请求加入到其被分配的线程对应的线程请求队列中,由线程依次执行线程请求队列中的各个请求。
当多线程数据库中的某一个线程在处理请求较慢时,可能会造成线程的阻塞。当该线程处于阻塞状态时,其线程请求队列中的请求会一直占用数据库的连接,持续等待被处理。如果继续按照均衡分配请求的原则,将新的请求又分配给该阻塞的线程时,会造成该线程占用大量的数据库的连接。当数据库连接都被该阻塞线程占用时,数据库将无法再被连接,即数据库无法继续提供服务。但此时数据库中的其他线程是空闲的,这样使得这些空闲的线程白白的浪费而不能处理对数据库的请求。
对多线程阻塞的处理,现有技术一般采用监控阻塞时间的方式来处理,当阻塞时间到达最大的阻塞时间后,就不再给阻塞的线程分配新的请求。但由于数据库的请求量不是一直固定的,其请求量具有波动性。如数据库可能在上午9点的时候1秒的请求量达到10万次,而在上午11点时1秒的请求量仅有2、3千次。采用监控阻塞时间的方式处理时,对于上午9点的请求量的情况,可能在其阻塞时间还没有达到最大的阻塞时间时,阻塞的线程已经又被分配了新的请求。因此,现有技术无法解决波动性的数据库请求量达到峰值时的线程阻塞问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的多线程数据库的请求处理方法及装置、电子设备。
根据本发明的一个方面,提供了一种多线程数据库的请求处理方法,其包括:
设置多个线程中每个线程请求队列的监控阈值;
针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值;
若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
根据本发明的另一方面,提供了一种多线程数据库的请求处理装置,其包括:
设置模块,适于设置多个线程中每个线程请求队列的监控阈值;
判断模块,适于针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值;
分配模块,适于若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
根据本发明的又一方面,提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述多线程数据库的请求处理方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述多线程数据库的请求处理方法对应的操作。
根据本发明提供的多线程数据库的请求处理方法及装置、电子设备,设置多个线程中每个线程请求队列的监控阈值;针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值;若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。通过对线程对应的线程请求队列中请求数量的监控,保障了线程请求队列的数据不超过监控阈值。当线程对应的线程请求队列的请求数量超过监控阈值时,即该线程阻塞,不再为该线程分配新的请求。将新的请求分配给不阻塞的线程。可以有效的缓解线程阻塞,减少线程阻塞对数据库请求造成的影响。进一步,根据实际情况设置监控阈值,可以提高多线程数据库处理请求的速度和效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的多线程数据库的请求处理方法的流程图;
图2示出了根据本发明另一个实施例的多线程数据库的请求处理方法的流程图;
图3示出了根据本发明一个实施例的多线程数据库的请求处理装置的功能框图;
图4示出了根据本发明另一个实施例的多线程数据库的请求处理装置的功能框图;
图5示出了根据本发明一个实施例的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的多线程数据库的请求处理方法的流程图。如图1所示,多线程数据库的请求处理方法具体包括如下步骤:
步骤S101,设置多个线程中每个线程请求队列的监控阈值。
多线程数据库在接收到一个请求时,会根据均衡分配的原则,将请求分配给多个线程中的一个线程,并将该请求加入到该线程对应的线程请求队列中。每个线程会依次处理其对应线程请求队列中的请求。当线程在处理请求时发生阻塞,从线程请求队列中的第二个请求起队列中的所有请求会持续占用数据库连接池中的连接数,直至线程处理完阻塞的请求。当占用数据库连接池中的连接数过多时,会导致数据库不能再被其他业务的请求连接。因此,对数据库中多个线程的每个线程设置其对应的线程请求队列的监控阈值。监控阈值的数值根据数据库的连接数进行设置。如数据库的连接数为1000时,可以设置每个线程请求队列的监控阈值为500,保证即使一个线程阻塞了,数据库依然保留了500的连接数可以使其他业务的请求与数据库连接并对其进行处理。
设置监控阈值时也可以根据其他元素设置,具体根据实施情况设置,在此不做限定。
步骤S102,针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值。
当数据库接收的新的请求时,根据监控阈值进行判断,判断多个线程中任一个线程对应的线程请求队列中请求的数量是否超过监控阈值,其中,任一线程为根据数据库对请求的均衡分配原则,预定将新的请求应该分配给的线程。新的请求可以是一个请求,也可以是一批请求(包括多个请求)。
当判断该线程的线程请求队列中请求数量超过监控阈值时,执行步骤S103。当判断该线程的线程请求队列中请求数量不超过监控阈值时,可以直接将该请求分配给该线程。
步骤S103,若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
在将新的请求分配给其他线程时,还需要去判断其他线程的线程请求队列中请求数量是否超过监控阈值。判断其他线程的线程请求队列中请求数量是否超过监控阈值可以通过循环执行步骤S102进行判断,直至找到一个线程的线程请求队列中请求数量不超过监控阈值。
在分配新的请求时,只有将新的请求分配给线程请求队列中请求数量不超过监控阈值的线程,才能减少线程阻塞对数据库造成的影响。
根据本发明提供的多线程数据库的请求处理方法,设置多个线程中每个线程请求队列的监控阈值;针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值;若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。通过对线程对应的线程请求队列中请求数量的监控,保障了线程请求队列的数据不超过监控阈值。当线程对应的线程请求队列的请求数量超过监控阈值时,即该线程阻塞,不再为该线程分配新的请求。将新的请求分配给不阻塞的线程。可以有效的缓解线程阻塞,减少线程阻塞对数据库请求造成的影响。进一步,根据实际情况设置监控阈值,可以提高多线程数据库处理请求的速度和效率。
图2示出了根据本发明另一个实施例的多线程数据库的请求处理方法的流程图。如图2所示,多线程数据库的请求处理方法具体包括如下步骤:
步骤S201,设置多个线程中每个线程请求队列的监控阈值。
对数据库中多个线程的每个线程设置其对应的线程请求队列的监控阈值,监控阈值的数值根据数据库的连接数进行设置。
步骤S202,针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值。
当数据库接收的新的请求时,根据监控阈值进行判断,判断多个线程中任一个线程对应的线程请求队列中请求的数量是否超过监控阈值,其中,任一线程为根据数据库对请求的均衡分配原则,预定将新的请求应该分配给的线程。新的请求可以是一个请求,也可以是一批请求(包括多个请求)。
当判断该线程的线程请求队列中请求数量超过监控阈值时,执行步骤S203。当判断该线程的线程请求队列中请求数量不超过监控阈值时,可以直接将该请求分配给该线程。
步骤S203,若超过监控阈值,对超过监控阈值的线程的进行监控。
对该超过监控阈值的线程进行监控,对其阻塞时间进行计时。
步骤S204,若是线程的阻塞时间超过预设阻塞时间,将线程请求队列中的请求重新分配。
可以设置一个监听设备,当线程的阻塞时间超过预设阻塞时间时,将线程请求队列中未被处理的清求重新进行分配。
在重新分配未被处理的请求时,需要将线程请求队列中未被处理的请求按照其在线程请求队列中的顺序依次进行撤回。撤回即将未被处理的请求不进行处理,直接从线程请求队列中取消。在取消时,还需要记录该被撤回请求的标识。由于多线程数据库在接收到一个请求时,会将该请求的相关信息记录在内存中。请求的相关信息包括请求的标识和请求的内容。在该被撤回的请求从线程请求队列中取消后,内存中还依然保留了该被撤回请求的相关信息。
将被撤回的请求重新分配给其他线程请求队列的请求数量不超过监控阈值的线程。在重新分配该被撤回的请求时,首先根据被撤回的请求的标识,可以从内存中查找到该被撤回的请求的相关信息。从而根据该被撤回的请求的相关信息可以将该被撤回的请求进行重新分配,将其重新分配给其他线程请求队列的请求数量不超过监控阈值的线程。
由于被阻塞线程的线程请求队列中包含了多个请求,根据线程请求队列的顺序,第一个请求在处理时阻塞,从第二个请求开始后面的请求均为未被处理的请求。按照线程请求队列的顺序将第二个请求进行撤回,将被撤回的第二个请求重新分配给其他线程请求队列的请求数量不超过监控阈值的线程。然后依次将第三个请求、第四个请求、第五个请求撤回并重新分配,直至监控到该线程不再阻塞为止。当该线程不再阻塞时,如已经将线程请求队列中的第五个线程撤回并重新分配,不再对第六个线程进行撤回,由该线程从线程请求队列的第六个请求开始继续处理。
根据本发明提供的多线程数据库的请求处理方法,预先设置线程请求队列的监控阈值,当线程请求队列中请求数量超过监控阈值时,不再分配新的请求给该线程,避免加重线程阻塞,也减少线程阻塞对数据库请求造成的影响。进一步,对阻塞的线程进行监控,当线程阻塞时间超过预设阻塞时间,将线程请求队列中未被处理的请求重新进行分配,可以及时处理被阻塞的请求,加快请求处理速度。
图3示出了根据本发明一个实施例的多线程数据库的请求处理装置的功能框图。如图3所示,多线程数据库的请求处理装置包括如下模块:
设置模块310,适于设置多个线程中每个线程请求队列的监控阈值。
多线程数据库在接收到一个请求时,会根据均衡分配的原则,将请求分配给多个线程中的一个线程,并将该请求加入到该线程对应的线程请求队列中。每个线程会依次处理其对应线程请求队列中的请求。当线程在处理请求时发生阻塞,从线程请求队列中的第二个请求起队列中的所有请求会持续占用数据库连接池中的连接数,直至线程处理完阻塞的请求。当占用数据库连接池中的连接数过多时,会导致数据库不能再被其他业务的请求连接。因此,设置模块310对数据库中多个线程的每个线程设置其对应的线程请求队列的监控阈值。监控阈值的数值根据数据库的连接数进行设置。如数据库的连接数为1000时,设置模块310可以设置每个线程请求队列的监控阈值为500,保证即使一个线程阻塞了,数据库依然保留了500的连接数可以使其他业务的请求与数据库连接并对其进行处理。
设置模块310设置监控阈值时也可以根据其他元素设置,具体根据实施情况设置,在此不做限定。
判断模块320,适于针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值。
当数据库接收的新的请求时,判断模块320根据监控阈值进行判断,判断多个线程中任一个线程对应的线程请求队列中请求的数量是否超过监控阈值,其中,任一线程为根据数据库对请求的均衡分配原则,预定将新的请求应该分配给的线程。新的请求可以是一个请求,也可以是一批请求(包括多个请求)。
当判断模块320判断该线程的线程请求队列中请求数量超过监控阈值时,执行分配模块330。当判断模块320判断该线程的线程请求队列中请求数量不超过监控阈值时,可以直接将该请求分配给该线程。
分配模块330,适于若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
分配模块330在将新的请求分配给其他线程时,还需要判断模块320去判断其他线程的线程请求队列中请求数量是否超过监控阈值。判断其他线程的线程请求队列中请求数量是否超过监控阈值可以通过循环执行判断模块320进行判断,直至找到一个线程的线程请求队列中请求数量不超过监控阈值。
在分配模块330分配新的请求时,只有将新的请求分配给线程请求队列中请求数量不超过监控阈值的线程,才能减少线程阻塞对数据库造成的影响。
根据本发明提供的多线程数据库的请求处理装置,设置多个线程中每个线程请求队列的监控阈值;针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值;若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。通过对线程对应的线程请求队列中请求数量的监控,保障了线程请求队列的数据不超过监控阈值。当线程对应的线程请求队列的请求数量超过监控阈值时,即该线程阻塞,不再为该线程分配新的请求。将新的请求分配给不阻塞的线程。可以有效的缓解线程阻塞,减少线程阻塞对数据库请求造成的影响。进一步,根据实际情况设置监控阈值,可以提高多线程数据库处理请求的速度和效率。
图4示出了根据本发明另一个实施例的多线程数据库的请求处理装置的功能框图。如图4所示,与图3相比,多线程数据库的请求处理装置还包括如下模块:
监控模块340,适于对超过监控阈值的线程的进行监控。
重新分配模块350,适于若是线程的阻塞时间超过预设阻塞时间,将线程请求队列中的请求重新分配。
记录模块360,适于将请求的相关信息记录在内存中。
监控模块340对超过监控阈值的线程进行监控,对其阻塞时间进行计时。监控模块340可以设置一个监听设备,当线程的阻塞时间超过预设阻塞时间时,重新分配模块350将线程请求队列中未被处理的清求重新进行分配。
在重新分配模块350重新分配未被处理的请求时,需要将线程请求队列中未被处理的请求按照其在线程请求队列中的顺序依次进行撤回。撤回即将未被处理的请求不进行处理,直接从线程请求队列中取消。在取消时,还需要记录该被撤回请求的标识。
由于多线程数据库在接收到一个请求时,记录模块360会将该请求的相关信息记录在内存中。请求的相关信息包括请求的标识和请求的内容。在该被撤回的请求从线程请求队列中取消后,内存中还依然保留了该被撤回请求的相关信息。
重新分配模块350将被撤回的请求重新分配给其他线程请求队列的请求数量不超过监控阈值的线程。重新分配模块350在重新分配该被撤回的请求时,首先根据被撤回的请求的标识,可以从内存中查找到该被撤回的请求的相关信息。从而重新分配模块350可以根据该被撤回的请求的相关信息将该被撤回的请求进行重新分配,将其重新分配给其他线程请求队列的请求数量不超过监控阈值的线程。
由于被阻塞线程的线程请求队列中包含了多个请求,根据线程请求队列的顺序,第一个请求在处理时阻塞,从第二个请求开始后面的请求均为未被处理的请求。重新分配模块350按照线程请求队列的顺序将第二个请求进行撤回,将被撤回的第二个请求重新分配给其他线程请求队列的请求数量不超过监控阈值的线程。然后重新分配模块350依次将第三个请求、第四个请求、第五个请求撤回并重新分配,直至监控到该线程不再阻塞为止。当该线程不再阻塞时,如重新分配模块350已经将线程请求队列中的第五个线程撤回并重新分配,不再对第六个线程进行撤回,由该线程从线程请求队列的第六个请求开始继续处理。
根据本发明提供的多线程数据库的请求处理装置,预先设置线程请求队列的监控阈值,当线程请求队列中请求数量超过监控阈值时,不再分配新的请求给该线程,避免加重线程阻塞,也减少线程阻塞对数据库请求造成的影响。进一步,对阻塞的线程进行监控,当线程阻塞时间超过预设阻塞时间,将线程请求队列中未被处理的请求重新进行分配,可以及时处理被阻塞的请求,加快请求处理速度。
本申请还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的多线程数据库的请求处理方法。
图5示出了根据本发明一个实施例的一种电子设备的结构示意图,本发明具体实施例并不对电子设备的具体实现做限定。
如图5所示,该电子设备可以包括:处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中:
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502,用于执行程序510,具体可以执行上述多线程数据库的请求处理方法实施例中的相关步骤。
具体地,程序510可以包括程序代码,该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器506,用于存放程序510。存储器506可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作:
在一种可选的实施方式中,程序510用于使得处理器502设置多个线程中每个线程请求队列的监控阈值;针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值;若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
在一种可选的实施方式中,程序510用于使得处理器502根据数据库的连接数设置每个线程请求队列的监控阈值。
在一种可选的实施方式中,程序510用于使得处理器502对超过监控阈值的线程的进行监控;若是线程的阻塞时间超过预设阻塞时间,将线程请求队列中的请求重新分配。
在一种可选的实施方式中,程序510用于使得处理器502依次将线程请求队列中未被处理的请求进行撤回;将被撤回的请求重新分配给其他线程请求队列的请求数量不超过监控阈值的线程,直至监控到线程不再阻塞。
在一种可选的实施方式中,程序510用于使得处理器502将请求的相关信息记录在内存中;相关信息包括请求的标识和请求的内容。
在一种可选的实施方式中,程序510用于使得处理器502根据被撤回的请求的标识,从内存中查找到请求;将请求重新分配给其他请求队列的数量不超过监控阈值的线程。
程序510中各步骤的具体实现可以参见上述多线程数据库的请求处理实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
通过本实施例提供的方案,设置多个线程中每个线程请求队列的监控阈值;针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过监控阈值;若超过监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。通过对线程对应的线程请求队列中请求数量的监控,保障了线程请求队列的数据不超过监控阈值。当线程对应的线程请求队列的请求数量超过监控阈值时,即该线程阻塞,不再为该线程分配新的请求。将新的请求分配给不阻塞的线程。可以有效的缓解线程阻塞,减少线程阻塞对数据库请求造成的影响。进一步,根据实际情况设置监控阈值,可以提高多线程数据库处理请求的速度和效率。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的多线程数据库的请求处理装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了:A1.一种多线程数据库的请求处理方法,其包括:
设置多个线程中每个线程请求队列的监控阈值;
针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过所述监控阈值;
若超过所述监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
A2.根据A1所述的方法,其中,所述设置每个线程请求队列的监控阈值进一步包括:
根据数据库的连接数设置每个线程请求队列的监控阈值。
A3.根据A1所述的方法,其中,所述方法还包括:
对超过所述监控阈值的线程的进行监控;
若是所述线程的阻塞时间超过预设阻塞时间,将所述线程请求队列中的请求重新分配。
A4.根据A3所述的方法,其中,所述将所述线程请求队列中的请求重新分配进一步包括:
依次将所述线程请求队列中未被处理的请求进行撤回;将所述被撤回的请求重新分配给其他线程请求队列的请求数量不超过所述监控阈值的线程,直至监控到所述线程不再阻塞。
A5.根据A4所述的方法,其中,所述方法还包括:
将请求的相关信息记录在内存中;其中,所述相关信息包括请求的标识和请求的内容。
A6.根据A5所述的方法,其中,所述将所述被撤回的请求重新分配给其他请求队列的数量不超过所述监控阈值的线程进一步包括:
根据被撤回的请求的标识,从内存中查找到所述请求;
将所述请求重新分配给其他请求队列的数量不超过所述监控阈值的线程。
本发明还公开了:B7.一种多线程数据库的请求处理装置,其包括:
设置模块,适于设置多个线程中每个线程请求队列的监控阈值;
判断模块,适于针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过所述监控阈值;
分配模块,适于若超过所述监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
B8.根据B7所述的装置,其中,所述设置模块进一步适于:
根据数据库的连接数设置每个线程请求队列的监控阈值。
B9.根据B7所述的装置,其中,所述装置还包括:
监控模块,适于对超过所述监控阈值的线程的进行监控;
重新分配模块,适于若是所述线程的阻塞时间超过预设阻塞时间,将所述线程请求队列中的请求重新分配。
B10.根据B9所述的装置,其中,所述重新分配模块进一步适于:
依次将所述线程请求队列中未被处理的请求进行撤回;将所述被撤回的请求重新分配给其他线程请求队列的请求数量不超过所述监控阈值的线程,直至监控到所述线程不再阻塞。
B11.根据B10所述的装置,其中,所述装置还包括:
记录模块,适于将请求的相关信息记录在内存中;其中,所述相关信息包括请求的标识和请求的内容。
B12.根据B11所述的装置,其中,所述重新分配模块进一步适于:
根据被撤回的请求的标识,从内存中查找到所述请求;将所述请求重新分配给其他请求队列的数量不超过所述监控阈值的线程。
本发明还公开了:C13.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如A1-A6中任一项所述的多线程数据库的请求处理方法对应的操作。
本发明还公开了:D14.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使所述处理器执行如A1-A6中任一项所述的多线程数据库的请求处理方法对应的操作。

Claims (10)

1.一种多线程数据库的请求处理方法,其包括:
设置多个线程中每个线程请求队列的监控阈值;
针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过所述监控阈值;
若超过所述监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
2.根据权利要求1所述的方法,其中,所述设置每个线程请求队列的监控阈值进一步包括:
根据数据库的连接数设置每个线程请求队列的监控阈值。
3.根据权利要求1所述的方法,其中,所述方法还包括:
对超过所述监控阈值的线程的进行监控;
若是所述线程的阻塞时间超过预设阻塞时间,将所述线程请求队列中的请求重新分配。
4.根据权利要求3所述的方法,其中,所述将所述线程请求队列中的请求重新分配进一步包括:
依次将所述线程请求队列中未被处理的请求进行撤回;将所述被撤回的请求重新分配给其他线程请求队列的请求数量不超过所述监控阈值的线程,直至监控到所述线程不再阻塞。
5.根据权利要求4所述的方法,其中,所述方法还包括:
将请求的相关信息记录在内存中;其中,所述相关信息包括请求的标识和请求的内容。
6.根据权利要求5所述的方法,其中,所述将所述被撤回的请求重新分配给其他请求队列的数量不超过所述监控阈值的线程进一步包括:
根据被撤回的请求的标识,从内存中查找到所述请求;
将所述请求重新分配给其他请求队列的数量不超过所述监控阈值的线程。
7.一种多线程数据库的请求处理装置,其包括:
设置模块,适于设置多个线程中每个线程请求队列的监控阈值;
判断模块,适于针对多个线程中任一个线程,判断该线程的线程请求队列中请求数量是否超过所述监控阈值;
分配模块,适于若超过所述监控阈值,将新的请求分配给其他线程请求队列的请求数量不超过其监控阈值的线程。
8.根据权利要求7所述的装置,其中,所述设置模块进一步适于:
根据数据库的连接数设置每个线程请求队列的监控阈值。
9.一种电子设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的多线程数据库的请求处理方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的多线程数据库的请求处理方法对应的操作。
CN201710555587.6A 2017-06-30 2017-06-30 多线程数据库的请求处理方法及装置、电子设备 Active CN107357640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710555587.6A CN107357640B (zh) 2017-06-30 2017-06-30 多线程数据库的请求处理方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710555587.6A CN107357640B (zh) 2017-06-30 2017-06-30 多线程数据库的请求处理方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN107357640A true CN107357640A (zh) 2017-11-17
CN107357640B CN107357640B (zh) 2021-06-11

Family

ID=60292708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710555587.6A Active CN107357640B (zh) 2017-06-30 2017-06-30 多线程数据库的请求处理方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN107357640B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286498A (zh) * 2018-09-20 2019-01-29 北京广利核系统工程有限公司 核电站dcs通信用网络校验方法和装置、电子装置
CN110109739A (zh) * 2019-04-25 2019-08-09 北京奇艺世纪科技有限公司 一种多线程应用程序的关闭方法及装置
CN110633133A (zh) * 2018-06-21 2019-12-31 中兴通讯股份有限公司 一种任务处理方法、装置及计算机可读存储介质
CN112286878A (zh) * 2019-07-24 2021-01-29 腾讯科技(深圳)有限公司 文件扫描方法、装置、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040139434A1 (en) * 2002-12-31 2004-07-15 International Business Machines Corporation Dynamic thread pool tuning techniques
CN101739293A (zh) * 2009-12-24 2010-06-16 航天恒星科技有限公司 一种基于多线程的卫星数据产品生产任务并行调度方法
CN102147746A (zh) * 2010-03-05 2011-08-10 微软公司 动态线程池管理
CN103455377A (zh) * 2013-08-06 2013-12-18 北京京东尚科信息技术有限公司 用于管理业务线程池的系统和方法
CN104618493A (zh) * 2015-02-12 2015-05-13 小米科技有限责任公司 数据请求处理方法及装置
CN106095590A (zh) * 2016-07-21 2016-11-09 联动优势科技有限公司 一种基于线程池的任务分配方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040139434A1 (en) * 2002-12-31 2004-07-15 International Business Machines Corporation Dynamic thread pool tuning techniques
CN101739293A (zh) * 2009-12-24 2010-06-16 航天恒星科技有限公司 一种基于多线程的卫星数据产品生产任务并行调度方法
CN102147746A (zh) * 2010-03-05 2011-08-10 微软公司 动态线程池管理
CN103455377A (zh) * 2013-08-06 2013-12-18 北京京东尚科信息技术有限公司 用于管理业务线程池的系统和方法
CN104618493A (zh) * 2015-02-12 2015-05-13 小米科技有限责任公司 数据请求处理方法及装置
CN106095590A (zh) * 2016-07-21 2016-11-09 联动优势科技有限公司 一种基于线程池的任务分配方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633133A (zh) * 2018-06-21 2019-12-31 中兴通讯股份有限公司 一种任务处理方法、装置及计算机可读存储介质
CN109286498A (zh) * 2018-09-20 2019-01-29 北京广利核系统工程有限公司 核电站dcs通信用网络校验方法和装置、电子装置
CN110109739A (zh) * 2019-04-25 2019-08-09 北京奇艺世纪科技有限公司 一种多线程应用程序的关闭方法及装置
CN112286878A (zh) * 2019-07-24 2021-01-29 腾讯科技(深圳)有限公司 文件扫描方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN107357640B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN107357640A (zh) 多线程数据库的请求处理方法及装置、电子设备
US9465663B2 (en) Allocating resources in a compute farm to increase resource utilization by using a priority-based allocation layer to allocate job slots to projects
CN103473365B (zh) 一种基于hdfs的文件存储方法、装置及分布式文件系统
CN106598705A (zh) 一种异步任务的调度方法、装置、系统以及电子设备
CN106529682A (zh) 一种在大数据集群中处理深度学习任务的方法和装置
US20090113434A1 (en) Apparatus, system and method for rapid resource scheduling in a compute farm
CN108055343A (zh) 用于机房的数据同步方法及装置
CN108846632A (zh) 线程处理方法及装置
CN103649910A (zh) 虚拟机放置
CN104040485A (zh) Paas分层调度和自动缩放
EP1525529A2 (en) Method for dynamically allocating and managing resources in a computerized system having multiple consumers
CN107493314A (zh) 基于多租户的服务提供系统及方法
CN108429783A (zh) 电子装置、配置文件推送方法及存储介质
US10013288B2 (en) Data staging management system
CN112463390A (zh) 一种分布式任务调度方法、装置、终端设备及存储介质
CN107729267A (zh) 资源的分散分配以及用于支持由多个引擎执行指令序列的互连结构
EP3523720A1 (en) Task scheduling
CN109634714B (zh) 一种智能调度的方法及装置
CN108763963A (zh) 基于数据访问权限的分布式处理方法、装置及系统
CN115185697A (zh) 一种基于kubernetes的集群资源调度方法、系统、设备和存储介质
US8316375B2 (en) Load-balancing of processes based on inertia
CN101908004A (zh) 促进请求执行的装置和方法
CN110231981B (zh) 服务调用方法及装置
CN104700255B (zh) 多进程处理方法、装置和系统
CN111143063B (zh) 任务的资源预约方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant