CN112395116A - 一种针对消息中间件的调优方法及系统 - Google Patents

一种针对消息中间件的调优方法及系统 Download PDF

Info

Publication number
CN112395116A
CN112395116A CN202110071892.4A CN202110071892A CN112395116A CN 112395116 A CN112395116 A CN 112395116A CN 202110071892 A CN202110071892 A CN 202110071892A CN 112395116 A CN112395116 A CN 112395116A
Authority
CN
China
Prior art keywords
source data
preset
data
queue
cache queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110071892.4A
Other languages
English (en)
Other versions
CN112395116B (zh
Inventor
李志鹏
李彦清
邹强
王开勇
田继东
李利军
于滨峰
张春林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dongfangtong Software Co ltd
Beijing Tongtech Co Ltd
Original Assignee
Beijing Dongfangtong Software Co ltd
Beijing Tongtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dongfangtong Software Co ltd, Beijing Tongtech Co Ltd filed Critical Beijing Dongfangtong Software Co ltd
Priority to CN202110071892.4A priority Critical patent/CN112395116B/zh
Publication of CN112395116A publication Critical patent/CN112395116A/zh
Application granted granted Critical
Publication of CN112395116B publication Critical patent/CN112395116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种针对消息中间件的调优方法及系统，所述方法包括：将发布端发送的源数据存入预设的缓存队列中；根据订阅端发送的订阅消息确定缓存队列中的源数据是否被订阅；若源数据被订阅，将源数据发送到与订阅消息对应的订阅端，并统计缓存队列中剩余的源数据的数据量；若数据量大于预设的数据量阈值，根据预设的转移机制确定缓存队列中需要进行转移的源数据并将其转移至对应的发布端。本发明的针对消息中间件的调优方法及系统，提升了消息中间件的工作性能和工作效率，避免了缓存队列中的数据量过多使消息中间件发生崩溃，同时，无需工作人员对消息中间件的已存储数据量进行监管，降低了人力成本。

Description

一种针对消息中间件的调优方法及系统
技术领域
本发明涉及数据处理技术领域，特别涉及一种针对消息中间件的调优方法及系统。
背景技术
目前，发布者将想要进行发布的消息上传至消息中间件中，等待订阅者订阅，若有订阅者订阅，将对应的消息发送给订阅者。消息中间件一般将暂时没有订阅的消息放置在自身的数据缓存单元中，但是当数据缓存单元中存储的数据量超出消息中间件自身的存储能力时，严重降低了消息中间件的工作性能和工作效率，甚至还会使消息中间件崩溃而宕机。另外，工作人员需要对消息中间件的已存储数据量进行监管，人力成本较大。
发明内容
本发明目的之一在于提供了一种针对消息中间件的调优方法及系统，通过在缓存队列中的源数据超过预设的数据量阈值时，根据预设的转移机制确定缓存队列中哪些源数据需要进行转移并将其转移至对应的发布端，提升了消息中间件的工作性能和工作效率，避免了缓存队列中的数据量过多使消息中间件发生崩溃，同时，无需工作人员对消息中间件的已存储数据量进行监管，降低了人力成本。
本发明实施例提供的一种针对消息中间件的调优方法，包括：
将发布端发送的源数据存入预设的缓存队列中；
根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅；
若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量；
若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端。
优选地，所述将发布端发送的源数据存入预设的缓存队列中，包括：
获取预设的缓存队列；
根据预设的确定规则确定所述缓存队列中的空闲队列；
将所述源数据存入所述空闲队列的最前端。
优选地，所述根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅，包括：
所述订阅消息包括：特征标识和目标路径；
分别计算所述缓存队列中的源数据与所述特征标识的总体匹配度，判定所述缓存队列中与所述特征标识总体匹配度最大的源数据为被订阅；
其中，计算所述缓存队列中一个源数据与所述特征标识的总体匹配度，包括：
对所述源数据进行特征提取后进行预处理获得获得第一向量集；
对所述特征标识进行所述预处理获得第二向量集；
基于所述第一向量集和所述第二向量集，计算所述源数据与所述特征标识的总体匹配度：
Figure 52163DEST_PATH_IMAGE001
；
其中，
Figure 277346DEST_PATH_IMAGE002
为总体相似度，
Figure 910452DEST_PATH_IMAGE003
为第一向量集中第
Figure 355340DEST_PATH_IMAGE004
个向量，
Figure 99305DEST_PATH_IMAGE005
为第二向量集中第
Figure 946038DEST_PATH_IMAGE004
个向 量，
Figure 750046DEST_PATH_IMAGE006
为第一向量集或第二向量集中的向量总个数。
优选地，所述若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量，包括：
若所述源数据被订阅，通过所述目标路径将所述源数据发送到与所述订阅消息对应的订阅端；
将所述源数据发送到与所述订阅消息对应的订阅端后，统计所述缓存队列剩余的所述源数据的数据量。
优选地，所述若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端，包括：
若所述数据量大于预设的数据量阈值，获取预设的转移机制；
所述转移机制包括：
当将发布端发送的源数据存入预设的缓存队列中时，预设的计时器开始计时，若所述源数据被订阅，所述计时器停止对所述源数据计时并删除与所述源数据对应的计时记录；
获取所述计时器对所述源数据的计时时长和所述源数据的数据大小；
基于所述计时时长和所述数据大小，计算所述源数据的评价指数：
Figure 682230DEST_PATH_IMAGE007
；
其中，
Figure 728421DEST_PATH_IMAGE008
为评价指数，
Figure 695240DEST_PATH_IMAGE009
为源数据的计时时长，
Figure 404570DEST_PATH_IMAGE010
为源数据的数据大小，
Figure 824050DEST_PATH_IMAGE011
和
Figure 909818DEST_PATH_IMAGE012
为预设的 权重值；
将所述缓存队列中剩余的源数据按所述评价指数的大小从大到小进行排列组合成待筛选队列；
选取所述待筛选队列中前
Figure 731144DEST_PATH_IMAGE013
个源数据作为所述缓存队列中需要进行转移的源数据；
Figure 133348DEST_PATH_IMAGE014
，其中，
Figure 40124DEST_PATH_IMAGE015
为待筛选队列中第
Figure 929582DEST_PATH_IMAGE016
个源数据的数据量，
Figure 605414DEST_PATH_IMAGE017
为即 将在待筛选队列中选取源数据的个数，
Figure 922126DEST_PATH_IMAGE017
为正整数，
Figure 50619DEST_PATH_IMAGE018
为数据量和数据量阈值的差值；
获取与所述缓存队列中需要进行转移的源数据对应的原始路径；
通过所述原始路径将需要进行转移的源数据转移至与其对应的发布端。
本发明实施例提供的一种针对消息中间件的调优方法，还包括：
根据预设的判定规则确定是否成功将所述缓存队列中需要进行转移的源数据转移至与其对应的发布端；
若转移失败，将所述缓存队列中需要进行转移的源数据传输至预设的临时存储单元；
将发布端发送的源数据存入预设的缓存队列中采用预设的第一传输链路，将所述源数据发送到与所述订阅消息对应的订阅端采用预设的第二传输链路，将缓存队列中需要进行转移的源数据转移至对应的发布端采用预设的第三传输链路，将所述缓存队列中需要进行转移的源数据传输至预设的临时存储单元采用预设的第四传输链路；
每隔预设的时间间隔执行包括如下操作：
使用预设的第一探针对所述第一传输链路进行检测，检测开始时，预设的计时器开始计时，当接收到发布端发送的第一响应消息时，停止计时并读取所述计时器的第一时长，根据预设的映射关系确定所述第一时长的第一状态等级；
使用预设的第二探针对所述第二传输链路进行检测，检测开始时，所述计时器开始计时，当接收到订阅端发送的第二响应消息时，停止计时并读取所述计时器的第二时长，根据预设的映射关系确定所述第二时长的第二状态等级；
使用预设的第三探针对所述第三传输链路进行检测，检测开始时，所述计时器开始计时，当接收到发布端发送的第三响应消息时，停止计时并读取所述计时器的第三时长，根据预设的映射关系确定所述第三时长的第三状态等级；
使用预设的第四探针对所述第三传输链路进行检测，检测开始时，所述计时器开始计时，当接收到临时存储单元发送的第四响应消息时，停止计时并读取所述计时器的第四时长，根据预设的映射关系确定所述第四时长的第四状态等级；
若所述第一状态等级小于预设的评价等级阈值，调用预设的第一备用传输链路对所述第一传输链路进行替换；
和/或，
若所述第二状态等级小于预设的评价等级阈值，调用预设的第二备用传输链路对所述第二传输链路进行替换；
和/或，
若所述第三状态等级小于预设的评价等级阈值，调用预设的第三备用传输链路对所述第三传输链路进行替换；
和/或，
若所述第四状态等级小于预设的评价等级阈值，调用预设的第四备用传输链路对所述第四传输链路进行替换。
本发明实施例提供的一种针对消息中间件的调优系统，包括：
存入模块，用于将发布端发送的源数据存入预设的缓存队列中；
判断模块，用于根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅；
发送与统计模块，用于若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量；
转移模块，用于若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端。
优选地，所述存入模块执行包括如下操作：
获取预设的缓存队列；
根据预设的确定规则确定所述缓存队列中的空闲队列；
将所述源数据存入所述空闲队列的最前端。
优选地，所述判断模块执行包括如下操作：
所述订阅消息包括：特征标识和目标路径；
分别计算所述缓存队列中的源数据与所述特征标识的总体匹配度，判定所述缓存队列中与所述特征标识总体匹配度最大的源数据为被订阅；
其中，计算所述缓存队列中一个源数据与所述特征标识的总体匹配度，包括：
对所述源数据进行特征提取后进行预处理获得获得第一向量集；
对所述特征标识进行所述预处理获得第二向量集；
基于所述第一向量集和所述第二向量集，计算所述源数据与所述特征标识的总体匹配度：
Figure 242304DEST_PATH_IMAGE001
；
其中，
Figure 772642DEST_PATH_IMAGE002
为总体相似度，
Figure 525835DEST_PATH_IMAGE003
为第一向量集中第
Figure 876045DEST_PATH_IMAGE004
个向量，
Figure 372885DEST_PATH_IMAGE005
为第二向量集中第
Figure 23309DEST_PATH_IMAGE004
个向 量，
Figure 180359DEST_PATH_IMAGE006
为第一向量集或第二向量集中的向量总个数。
优选地，所述发送与统计模块执行包括如下操作：
若所述源数据被订阅，通过所述目标路径将所述源数据发送到与所述订阅消息对应的订阅端；
将所述源数据发送到与所述订阅消息对应的订阅端后，统计所述缓存队列剩余的所述源数据的数据量。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种针对消息中间件的调优方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种针对消息中间件的调优方法，如图1所示，包括：
S1、将发布端发送的源数据存入预设的缓存队列中；
S2、根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅；
S3、若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量；
S4、若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端。
上述技术方案的工作原理为：
将发布端发送的源数据在没有收到订阅端发送的对该源数据进行订阅的消息时，事先将其存入预设的缓存队列中；预设的缓存队列具体为消息中间件自身的数据缓存单元；根据订阅端发送的订阅消息确定缓存队列中的源数据是否被订阅，如果该订阅消息中有对源数据进行订阅的请求，则该源数据被订阅，否则没有被订阅；当确定缓存队列中的源数据被订阅时，将该源数据发送到与订阅消息对应的订阅端上，同时对缓存队列中剩余的源数据的数据量进行统计；当缓存队列中剩余的源数据超过预设的数据量阈值时，根据预设的转移机制确定缓存队列中哪些数据需要进行转移并将需要进行转移的源数据转移至与其对应的发布端上；预设的数据量阈值具体为消息中间件中的数据缓存单元即缓存队列存储过载的警戒值；预设的转移机制具体为预先设置好用于对缓存队列中哪些源数据需要进行转移进行判定的规则。
上述技术方案的有益效果为：本发明实施例通过在缓存队列中的源数据超过预设的数据量阈值时，根据预设的转移机制确定缓存队列中哪些源数据需要进行转移并将其转移至对应的发布端，提升了消息中间件的工作性能和工作效率，避免了缓存队列中的数据量过多使消息中间件发生崩溃，同时，无需工作人员对消息中间件的已存储数据量进行监管，降低了人力成本。
本发明实施例提供了一种针对消息中间件的调优方法，所述将发布端发送的源数据存入预设的缓存队列中，包括：
获取预设的缓存队列；
根据预设的确定规则确定所述缓存队列中的空闲队列；
将所述源数据存入所述空闲队列的最前端。
上述技术方案的工作原理为：
预设的确定规则具体为：根据缓存队列中的位置有无源数据存储判断其是否是空闲位置，将全部空闲位置排列组合成空闲队列；每当有新的源数据要存储到缓存队列中时，就将该源数据存入空闲队列的最前端；最前端具体为：当空闲队列为从上至下排序时，空闲队列中最上面的位置就是最前端；当空闲队列从左至右排序时，空闲队列中最左边的位置就是最前端。
上述技术方案的有益效果为：本发明实施例将新的要存入缓存队列中的源数据存入空闲队列的最前端，紧凑利用缓存队列中的空闲位置，提升了系统对源数据存入缓存队列的管理能力。
本发明实施例提供了一种针对消息中间件的调优方法，所述根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅，包括：
所述订阅消息包括：特征标识和目标路径；
分别计算所述缓存队列中的源数据与所述特征标识的总体匹配度，判定所述缓存队列中与所述特征标识总体匹配度最大的源数据为被订阅；
其中，计算所述缓存队列中一个源数据与所述特征标识的总体匹配度，包括：
对所述源数据进行特征提取后进行预处理获得获得第一向量集；
对所述特征标识进行所述预处理获得第二向量集；
基于所述第一向量集和所述第二向量集，计算所述源数据与所述特征标识的总体匹配度：
Figure 549023DEST_PATH_IMAGE001
；
其中，
Figure 318396DEST_PATH_IMAGE002
为总体相似度，
Figure 557748DEST_PATH_IMAGE003
为第一向量集中第
Figure 387163DEST_PATH_IMAGE004
个向量，
Figure 977545DEST_PATH_IMAGE005
为第二向量集中第
Figure 49144DEST_PATH_IMAGE004
个向 量，
Figure 674160DEST_PATH_IMAGE006
为第一向量集或第二向量集中的向量总个数。
上述技术方案的工作原理为：
订阅消息包含有：特征标识和目标路径；特征标识具体为：订阅主题的关键字等；特征提取具体为：提取源数据中的具有代表性的关键数据；例如：若源数据是文本数据，将源数据中的词按其出现的频率由高至低进行排序，选取前Q个词作为关键数据；预处理具体为：将特征提取后的源数据放置或特征标识在向量空间模型中；分别计算缓存队列中各个源数据与特征标识的总体相似度；选取与特征标识的总体相似度最大的源数据作为与订阅消息对应的被订阅源数据。
上述技术方案的有益效果为：本发明实施例分别计算缓存队列各个源数据与特征标识的总体相似度，判定与特征标识总体相似度最大的源数据是被订阅，提升了系统将缓存队列中的源数据与特征标识进行匹配的精准性，提升了系统的匹配能力。
本发明实施例提供了一种针对消息中间件的调优方法，所述若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量，包括：
若所述源数据被订阅，通过所述目标路径将所述源数据发送到与所述订阅消息对应的订阅端；
将所述源数据发送到与所述订阅消息对应的订阅端后，统计所述缓存队列剩余的所述源数据的数据量。
上述技术方案的工作原理为：
订阅端发送的订阅消息中包含有目标路径，该目标路径是订阅端提供的自身的存储路径，想要将数据存入订阅端只要将要存的数据传输至目标路径即可；如果源数据被订阅，通过目标路径将被订阅的源数据发送到与订阅消息对应的订阅端；将被订阅的源数据发送到与订阅消息对应的订阅端后，立即对缓存队列中剩余的源数据的数据量进行统计。
上述技术方案的有益效果为：本发明实施例通过订阅端发送的订阅消息中的目标路径将被订阅的源数据传输至与订阅消息对应的订阅端，并对缓存队列中剩余的源数据的数据量进行统计，提升了将源数据发送到订阅其源数据的订阅端的精准性。
本发明实施例提供了一种针对消息中间件的调优方法，所述若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端，包括：
若所述数据量大于预设的数据量阈值，获取预设的转移机制；
所述转移机制包括：
当将发布端发送的源数据存入预设的缓存队列中时，预设的计时器开始计时，若所述源数据被订阅，所述计时器停止对所述源数据计时并删除与所述源数据对应的计时记录；
获取所述计时器对所述源数据的计时时长和所述源数据的数据大小；
基于所述计时时长和所述数据大小，计算所述源数据的评价指数：
Figure 674477DEST_PATH_IMAGE007
；
其中，
Figure 486575DEST_PATH_IMAGE008
为评价指数，
Figure 863330DEST_PATH_IMAGE009
为源数据的计时时长，
Figure 342853DEST_PATH_IMAGE010
为源数据的数据大小，
Figure 514071DEST_PATH_IMAGE011
和
Figure 577580DEST_PATH_IMAGE012
为预设的 权重值；
将所述缓存队列中剩余的源数据按所述评价指数的大小从大到小进行排列组合成待筛选队列；
选取所述待筛选队列中前
Figure 492446DEST_PATH_IMAGE013
个源数据作为所述缓存队列中需要进行转移的源数据；
Figure 92055DEST_PATH_IMAGE014
，其中，
Figure 434174DEST_PATH_IMAGE015
为待筛选队列中第
Figure 955286DEST_PATH_IMAGE016
个源数据的数据量，
Figure 939422DEST_PATH_IMAGE017
为即 将在待筛选队列中选取源数据的个数，
Figure 626493DEST_PATH_IMAGE017
为正整数，
Figure 405093DEST_PATH_IMAGE018
为数据量和数据量阈值的差值；
获取与所述缓存队列中需要进行转移的源数据对应的原始路径；
通过所述原始路径将需要进行转移的源数据转移至与其对应的发布端。
上述技术方案的工作原理为：
当缓存队列中剩余源数据的数据量超过预设的数据量阈值时，说明缓存队列的存储能 力已经接近饱和；预设的计时器具体为：软件或硬件计时器；预设的转移机制具体为：当有 新的源数据存入缓存队列中时，计时器对源数据的存储时间开始计时，只有当源数据被订 阅时，计时器才会停止计时并删除计时记录，否则就一直计时；根据计时器对缓存队列中的 源数据的计时时长和源数据自身的数据大小并赋予它们对应的权重值计算源数据的评价 指数；计时时长越长说明该源数据一直未被订阅，数据大小越大越占缓存队列的存储空间； 将计时时长越大和数据大小越大的源数据作为优先转移的对象；根据评价指数将缓存队列 中的源数据进行排序组合获得待筛选队列；选取待筛选队列中前
Figure 413501DEST_PATH_IMAGE013
个源数据作为需要进行 转移的对象；
Figure 935749DEST_PATH_IMAGE014
意指
Figure 978791DEST_PATH_IMAGE013
为使得转移后的缓存队列中的数据量刚好 小于数据量阈值的最大整数；当发布端发送源数据时，系统会自动记录发布端的原始路径 并将其与源数据一一对应保存；当确定缓存队列中的源数据需要进行转移时，获取源数据 对应的原始路径，通过该原始路径即可将源数据转移至与其对应的发布端中。
上述技术方案的有益效果为：本发明实施例采用合理的转移机制确定缓存队列中需要进行转移的源数据并将其通过源数据的原始路径转移到对应的发布端中，提升了消息中间件的工作性能和工作效率，避免了缓存队列中的数据量过多使消息中间件发生崩溃，同时，无需工作人员对消息中间件的已存储数据量进行监管，降低了人力成本。
本发明实施例提供了一种针对消息中间件的调优方法，还包括：
根据预设的判定规则确定是否成功将所述缓存队列中需要进行转移的源数据转移至与其对应的发布端；
若转移失败，将所述缓存队列中需要进行转移的源数据传输至预设的临时存储单元；
将发布端发送的源数据存入预设的缓存队列中采用预设的第一传输链路，将所述源数据发送到与所述订阅消息对应的订阅端采用预设的第二传输链路，将缓存队列中需要进行转移的源数据转移至对应的发布端采用预设的第三传输链路，将所述缓存队列中需要进行转移的源数据传输至预设的临时存储单元采用预设的第四传输链路；
每隔预设的时间间隔执行包括如下操作：
使用预设的第一探针对所述第一传输链路进行检测，检测开始时，预设的计时器开始计时，当接收到发布端发送的第一响应消息时，停止计时并读取所述计时器的第一时长，根据预设的映射关系确定所述第一时长的第一状态等级；
使用预设的第二探针对所述第二传输链路进行检测，检测开始时，所述计时器开始计时，当接收到订阅端发送的第二响应消息时，停止计时并读取所述计时器的第二时长，根据预设的映射关系确定所述第二时长的第二状态等级；
使用预设的第三探针对所述第三传输链路进行检测，检测开始时，所述计时器开始计时，当接收到发布端发送的第三响应消息时，停止计时并读取所述计时器的第三时长，根据预设的映射关系确定所述第三时长的第三状态等级；
使用预设的第四探针对所述第三传输链路进行检测，检测开始时，所述计时器开始计时，当接收到临时存储单元发送的第四响应消息时，停止计时并读取所述计时器的第四时长，根据预设的映射关系确定所述第四时长的第四状态等级；
若所述第一状态等级小于预设的评价等级阈值，调用预设的第一备用传输链路对所述第一传输链路进行替换；
和/或，
若所述第二状态等级小于预设的评价等级阈值，调用预设的第二备用传输链路对所述第二传输链路进行替换；
和/或，
若所述第三状态等级小于预设的评价等级阈值，调用预设的第三备用传输链路对所述第三传输链路进行替换；
和/或，
若所述第四状态等级小于预设的评价等级阈值，调用预设的第四备用传输链路对所述第四传输链路进行替换。
上述技术方案的工作原理为：
预设的判定规则具体为：判断将源数据通过原始路径发送到发布端时，发布端是否会 发送一个响应信号，该响应信号代表着源数据已经成功转移至目标端；预设的临时存储单 元具体为用于存储缓存队列中需要进行转移但是暂时未能进行转移的源数据设置的存储 区；预设的第一传输链路、第二传输链路、第三传输链路和第四传输链路具体为整个系统各 个数据进行传输的链路；预设的映射关系具体为根据得到响应的时间确定其属于哪个响应 快慢程度等级区间从而可以确定当前链路的响应快慢程度等级；例如：1
Figure 928293DEST_PATH_IMAGE019
~3
Figure 188110DEST_PATH_IMAGE019
属于等级 10，3
Figure 248470DEST_PATH_IMAGE019
~5
Figure 411598DEST_PATH_IMAGE019
属于等级9，5
Figure 532001DEST_PATH_IMAGE019
~7
Figure 780580DEST_PATH_IMAGE019
属于等级8，0
Figure 379051DEST_PATH_IMAGE019
代表故障等等以此类推；预设的第一探针、 第二探针、第三探针和第四探针具体为对链路进行检测的链路探针；预设的计时器具体为 软件或硬件计时器；预设的评价等级阈值具体为：为保证链路正常稳定最适宜事先通过大 量的测试数据确定的等级值；预设的第一备用传输链路、第二备用传输链路、第三备用传输 链路和第四备用传输链路具体为事先配置好且测试好的链路。
上述技术方案的有益效果为：本发明实施例通过探针对链路进行检测并将响应时间根据映射关系确定响应快慢等级，将该响应快慢等级与预设的评价等级阈值进行比较，确定链路的工作状态是否正常，若不正常，还可以使用备用链路对其进行更换，提升了系统各级间数据传输的稳定性和速率，提升了对链路的管理能力，同时，也更加智能化。
本发明实施例提供了一种针对消息中间件的调优方法，还包括：
获取预设历史数据库中的历史运行数据，所述历史运行数据包括：预设时间段内各探针的检测记录；
基于所述历史运行数据确定各探针的性能评价指数：
Figure 396686DEST_PATH_IMAGE020
Figure 186525DEST_PATH_IMAGE021
其中，
Figure 656821DEST_PATH_IMAGE022
为第
Figure 324563DEST_PATH_IMAGE023
探针的性能评价指数，
Figure 196704DEST_PATH_IMAGE024
分别代表第一探针、第二探针、第 三探针和第四探针，
Figure 658909DEST_PATH_IMAGE025
为第
Figure 882080DEST_PATH_IMAGE023
探针在所述时间段内的检测总次数；
基于所述性能评价指数对当前的所述时间间隔进行调整：
Figure 586468DEST_PATH_IMAGE026
其中，
Figure 313116DEST_PATH_IMAGE027
为调整后的时间间隔，
Figure 946223DEST_PATH_IMAGE028
为调整前的时间间隔即当前时间间隔，
Figure 391110DEST_PATH_IMAGE029
为误差系 数，表示误差范围，其取值范围为
Figure 400655DEST_PATH_IMAGE030
，
Figure 981809DEST_PATH_IMAGE031
为第一探针的性能评价指数，
Figure 51396DEST_PATH_IMAGE032
为其 对应的预设第一指标值，
Figure 216536DEST_PATH_IMAGE033
为第二探针的性能评价指数，
Figure 29771DEST_PATH_IMAGE034
为其对应的预设第二指标值，
Figure 465432DEST_PATH_IMAGE035
为第三探针的性能评价指数，
Figure 705920DEST_PATH_IMAGE036
为其对应的预设第三指标值，
Figure 125400DEST_PATH_IMAGE037
为第四探针的性能评 价指数，
Figure 211168DEST_PATH_IMAGE038
为其对应的预设第四指标值，
Figure 265449DEST_PATH_IMAGE039
为当前历史数据库中记录总条数，
Figure 676839DEST_PATH_IMAGE040
、
Figure 583615DEST_PATH_IMAGE041
、
Figure 738653DEST_PATH_IMAGE042
、
Figure 148906DEST_PATH_IMAGE043
和
Figure 465618DEST_PATH_IMAGE044
为预设的权重值。
上述技术方案的工作原理为：根据各探针的检测记录计算其对应的性能评价指数，基于各探针的性能评价指数、历史数据库中的记录总数、各探针性能评价指数对应的预设指标值（供用户设定）、误差系数（优选取1.0001），并赋予相应的权重值（供用户设定）对当前的时间间隔进行调整；例如：当各探针性能下降时，应调大时间间隔，缓解各探针的检测压力，反之，当各探针性能上升时，应调小时间间隔，提升其工作效率；当数据库中的记录越来越大时，说明各探针的性能评价指数越准确，因为性能评价指数是根据记录得到。
上述技术方案的有益效果为：本发明实施例通过基于历史数据计算各探针的性能评价指数，对各探针当前工作能力进行评价，并合理地对时间间隔进行自适应调整，提升了系统的工作效率，不用人工进行监测探针工作能力后调整时间间隔，大大减轻了人工成本，同时，也更加智能化。
本发明实施例提供了一种针对消息中间件的调优系统，包括：
存入模块，用于将发布端发送的源数据存入预设的缓存队列中；
判断模块，用于根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅；
发送与统计模块，用于若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量；
转移模块，用于若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端。
上述技术方案的工作原理为：
将发布端发送的源数据在没有收到订阅端发送的对该源数据进行订阅的消息时，事先将其存入预设的缓存队列中；预设的缓存队列具体为消息中间件自身的数据缓存单元；根据订阅端发送的订阅消息确定缓存队列中的源数据是否被订阅，如果该订阅消息中有对源数据进行订阅的请求，则该源数据被订阅，否则没有被订阅；当确定缓存队列中的源数据被订阅时，将该源数据发送到与订阅消息对应的订阅端上，同时对缓存队列中剩余的源数据的数据量进行统计；当缓存队列中剩余的源数据超过预设的数据量阈值时，根据预设的转移机制确定缓存队列中哪些数据需要进行转移并将需要进行转移的源数据转移至与其对应的发布端上；预设的数据量阈值具体为消息中间件中的数据缓存单元即缓存队列存储过载的警戒值；预设的转移机制具体为预先设置好用于对缓存队列中哪些源数据需要进行转移进行判定的规则。
上述技术方案的有益效果为：本发明实施例通过在缓存队列中的源数据超过预设的数据量阈值时，根据预设的转移机制确定缓存队列中哪些源数据需要进行转移并将其转移至对应的发布端，提升了消息中间件的工作性能和工作效率，避免了缓存队列中的数据量过多使消息中间件发生崩溃，同时，无需工作人员对消息中间件的已存储数据量进行监管，降低了人力成本。
本发明实施例提供了一种针对消息中间件的调优系统，所述存入模块执行包括如下操作：
获取预设的缓存队列；
根据预设的确定规则确定所述缓存队列中的空闲队列；
将所述源数据存入所述空闲队列的最前端。
上述技术方案的工作原理为：
预设的确定规则具体为：根据缓存队列中的位置有无源数据存储判断其是否是空闲位置，将全部空闲位置排列组合成空闲队列；每当有新的源数据要存储到缓存队列中时，就将该源数据存入空闲队列的最前端；最前端具体为：当空闲队列为从上至下排序时，空闲队列中最上面的位置就是最前端；当空闲队列从左至右排序时，空闲队列中最左边的位置就是最前端。
上述技术方案的有益效果为：本发明实施例将新的要存入缓存队列中的源数据存入空闲队列的最前端，紧凑利用缓存队列中的空闲位置，提升了系统对源数据存入缓存队列的管理能力。
本发明实施例提供了一种针对消息中间件的调优系统，所述判断模块执行包括如下操作：
所述订阅消息包括：特征标识和目标路径；
分别计算所述缓存队列中的源数据与所述特征标识的总体匹配度，判定所述缓存队列中与所述特征标识总体匹配度最大的源数据为被订阅；
其中，计算所述缓存队列中一个源数据与所述特征标识的总体匹配度，包括：
对所述源数据进行特征提取后进行预处理获得获得第一向量集；
对所述特征标识进行所述预处理获得第二向量集；
基于所述第一向量集和所述第二向量集，计算所述源数据与所述特征标识的总体匹配度：
Figure 859690DEST_PATH_IMAGE001
；
其中，
Figure 51374DEST_PATH_IMAGE002
为总体相似度，
Figure 581713DEST_PATH_IMAGE003
为第一向量集中第
Figure 69326DEST_PATH_IMAGE004
个向量，
Figure 685115DEST_PATH_IMAGE005
为第二向量集中第
Figure 181956DEST_PATH_IMAGE004
个向 量，
Figure 832380DEST_PATH_IMAGE045
为第一向量集或第二向量集中的向量总个数。
上述技术方案的工作原理为：
订阅消息包含有：特征标识和目标路径；特征标识具体为：订阅主题的关键字等；特征提取具体为：提取源数据中的具有代表性的关键数据；例如：若源数据是文本数据，将源数据中的词按其出现的频率由高至低进行排序，选取前Q个词作为关键数据；预处理具体为：将特征提取后的源数据放置或特征标识在向量空间模型中；分别计算缓存队列中各个源数据与特征标识的总体相似度；选取与特征标识的总体相似度最大的源数据作为与订阅消息对应的被订阅源数据。
上述技术方案的有益效果为：本发明实施例分别计算缓存队列各个源数据与特征标识的总体相似度，判定与特征标识总体相似度最大的源数据是被订阅，提升了系统将缓存队列中的源数据与特征标识进行匹配的精准性，提升了系统的匹配能力。
本发明实施例提供了一种针对消息中间件的调优系统，所述发送与统计模块执行包括如下操作：
若所述源数据被订阅，通过所述目标路径将所述源数据发送到与所述订阅消息对应的订阅端；
将所述源数据发送到与所述订阅消息对应的订阅端后，统计所述缓存队列剩余的所述源数据的数据量。
上述技术方案的工作原理为：
订阅端发送的订阅消息中包含有目标路径，该目标路径是订阅端提供的自身的存储路径，想要将数据存入订阅端只要将要存的数据传输至目标路径即可；如果源数据被订阅，通过目标路径将被订阅的源数据发送到与订阅消息对应的订阅端；将被订阅的源数据发送到与订阅消息对应的订阅端后，立即对缓存队列中剩余的源数据的数据量进行统计。
上述技术方案的有益效果为：本发明实施例通过订阅端发送的订阅消息中的目标路径将被订阅的源数据传输至与订阅消息对应的订阅端，并对缓存队列中剩余的源数据的数据量进行统计，提升了将源数据发送到订阅其源数据的订阅端的精准性。
本发明实施例提供了一种针对消息中间件的调优系统，所述转移模块执行包括如下操作：
若所述数据量大于预设的数据量阈值，获取预设的转移机制；
所述转移机制包括：
当将发布端发送的源数据存入预设的缓存队列中时，预设的计时器开始计时，若所述源数据被订阅，所述计时器停止对所述源数据计时并删除与所述源数据对应的计时记录；
获取所述计时器对所述源数据的计时时长和所述源数据的数据大小；
基于所述计时时长和所述数据大小，计算所述源数据的评价指数：
Figure 989429DEST_PATH_IMAGE007
；
其中，
Figure 92515DEST_PATH_IMAGE008
为评价指数，
Figure 861887DEST_PATH_IMAGE009
为源数据的计时时长，
Figure 632397DEST_PATH_IMAGE010
为源数据的数据大小，
Figure 727392DEST_PATH_IMAGE011
和
Figure 52194DEST_PATH_IMAGE012
为预设的 权重值；
将所述缓存队列中剩余的源数据按所述评价指数的大小从大到小进行排列组合成待筛选队列；
选取所述待筛选队列中前
Figure 625258DEST_PATH_IMAGE013
个源数据作为所述缓存队列中需要进行转移的源数据；
Figure 748810DEST_PATH_IMAGE014
，其中，
Figure 14706DEST_PATH_IMAGE015
为待筛选队列中第
Figure 826804DEST_PATH_IMAGE016
个源数据的数据量，
Figure 203559DEST_PATH_IMAGE017
为即 将在待筛选队列中选取源数据的个数，
Figure 417503DEST_PATH_IMAGE017
为正整数，
Figure 854300DEST_PATH_IMAGE018
为数据量和数据量阈值的差值；
获取与所述缓存队列中需要进行转移的源数据对应的原始路径；
通过所述原始路径将需要进行转移的源数据转移至与其对应的发布端。
上述技术方案的工作原理为：
当缓存队列中剩余源数据的数据量超过预设的数据量阈值时，说明缓存队列的存储能 力已经接近饱和；预设的计时器具体为：软件或硬件计时器；预设的转移机制具体为：当有 新的源数据存入缓存队列中时，计时器对源数据的存储时间开始计时，只有当源数据被订 阅时，计时器才会停止计时并删除计时记录，否则就一直计时；根据计时器对缓存队列中的 源数据的计时时长和源数据自身的数据大小并赋予它们对应的权重值计算源数据的评价 指数；计时时长越长说明该源数据一直未被订阅，数据大小越大越占缓存队列的存储空间； 将计时时长越大和数据大小越大的源数据作为优先转移的对象；根据评价指数将缓存队列 中的源数据进行排序组合获得待筛选队列；选取待筛选队列中前
Figure 652230DEST_PATH_IMAGE013
个源数据作为需要进行 转移的对象；
Figure 832675DEST_PATH_IMAGE014
意指
Figure 901125DEST_PATH_IMAGE013
为使得转移后的缓存队列中的数据量刚好 小于数据量阈值的最大整数；当发布端发送源数据时，系统会自动记录发布端的原始路径 并将其与源数据一一对应保存；当确定缓存队列中的源数据需要进行转移时，获取源数据 对应的原始路径，通过该原始路径即可将源数据转移至与其对应的发布端中。
上述技术方案的有益效果为：本发明实施例采用合理的转移机制确定缓存队列中需要进行转移的源数据并将其通过源数据的原始路径转移到对应的发布端中，提升了消息中间件的工作性能和工作效率，避免了缓存队列中的数据量过多使消息中间件发生崩溃，同时，无需工作人员对消息中间件的已存储数据量进行监管，降低了人力成本。
本发明实施例提供了一种针对消息中间件的调优系统，还包括：
控制中心，用于根据预设的判定规则确定是否成功将所述缓存队列中需要进行转移的源数据转移至与其对应的发布端；
若转移失败，将所述缓存队列中需要进行转移的源数据传输至预设的临时存储单元；
将发布端发送的源数据存入预设的缓存队列中采用预设的第一传输链路，将所述源数据发送到与所述订阅消息对应的订阅端采用预设的第二传输链路，将缓存队列中需要进行转移的源数据转移至对应的发布端采用预设的第三传输链路，将所述缓存队列中需要进行转移的源数据传输至预设的临时存储单元采用预设的第四传输链路；
所述控制中心每隔预设的时间间隔执行还包括如下操作：
使用预设的第一探针对所述第一传输链路进行检测，检测开始时，预设的计时器开始计时，当接收到发布端发送的第一响应消息时，停止计时并读取所述计时器的第一时长，根据预设的映射关系确定所述第一时长的第一状态等级；
使用预设的第二探针对所述第二传输链路进行检测，检测开始时，所述计时器开始计时，当接收到订阅端发送的第二响应消息时，停止计时并读取所述计时器的第二时长，根据预设的映射关系确定所述第二时长的第二状态等级；
使用预设的第三探针对所述第三传输链路进行检测，检测开始时，所述计时器开始计时，当接收到发布端发送的第三响应消息时，停止计时并读取所述计时器的第三时长，根据预设的映射关系确定所述第三时长的第三状态等级；
使用预设的第四探针对所述第三传输链路进行检测，检测开始时，所述计时器开始计时，当接收到临时存储单元发送的第四响应消息时，停止计时并读取所述计时器的第四时长，根据预设的映射关系确定所述第四时长的第四状态等级；
若所述第一状态等级小于预设的评价等级阈值，调用预设的第一备用传输链路对所述第一传输链路进行替换；
和/或，
若所述第二状态等级小于预设的评价等级阈值，调用预设的第二备用传输链路对所述第二传输链路进行替换；
和/或，
若所述第三状态等级小于预设的评价等级阈值，调用预设的第三备用传输链路对所述第三传输链路进行替换；
和/或，
若所述第四状态等级小于预设的评价等级阈值，调用预设的第四备用传输链路对所述第四传输链路进行替换。
上述技术方案的工作原理为：
预设的判定规则具体为：判断将源数据通过原始路径发送到发布端时，发布端是否会 发送一个响应信号，该响应信号代表着源数据已经成功转移至目标端；预设的临时存储单 元具体为用于存储缓存队列中需要进行转移但是暂时未能进行转移的源数据设置的存储 区；预设的第一传输链路、第二传输链路、第三传输链路和第四传输链路具体为整个系统各 个数据进行传输的链路；预设的映射关系具体为根据得到响应的时间确定其属于哪个响应 快慢程度等级区间从而可以确定当前链路的响应快慢程度等级；例如：1
Figure 508824DEST_PATH_IMAGE019
~3
Figure 561094DEST_PATH_IMAGE019
属于等级 10，3
Figure 279651DEST_PATH_IMAGE019
~5
Figure 202608DEST_PATH_IMAGE019
属于等级9，5
Figure 479743DEST_PATH_IMAGE019
~7
Figure 19309DEST_PATH_IMAGE019
属于等级8，0
Figure 275978DEST_PATH_IMAGE019
代表故障等等以此类推；预设的第一探针、 第二探针、第三探针和第四探针具体为对链路进行检测的链路探针；预设的计时器具体为 软件或硬件计时器；预设的评价等级阈值具体为：为保证链路正常稳定最适宜事先通过大 量的测试数据确定的等级值；预设的第一备用传输链路、第二备用传输链路、第三备用传输 链路和第四备用传输链路具体为事先配置好且测试好的链路。
上述技术方案的有益效果为：本发明实施例通过探针对链路进行检测并将响应时间根据映射关系确定响应快慢等级，将该响应快慢等级与预设的评价等级阈值进行比较，确定链路的工作状态是否正常，若不正常，还可以使用备用链路对其进行更换，提升了系统各级间数据传输的稳定性和速率，提升了对链路的管理能力，同时，也更加智能化。
本发明实施例提供了一种针对消息中间件的调优系统，还包括：
自适应调整模块，用于根据各探针的性能对所述时间间隔进行自适应调整；
所述自适应调整模块执行包括如下操作：
获取预设历史数据库中的历史运行数据，所述历史运行数据包括：预设时间段内各探针的检测记录；
基于所述历史运行数据确定各探针的性能评价指数：
Figure 584599DEST_PATH_IMAGE046
Figure 268522DEST_PATH_IMAGE021
其中，
Figure 295384DEST_PATH_IMAGE047
为第
Figure 355743DEST_PATH_IMAGE023
探针的性能评价指数，
Figure 775265DEST_PATH_IMAGE024
分别代表第一探针、第二探针、第 三探针和第四探针，
Figure 161247DEST_PATH_IMAGE048
为第
Figure 144246DEST_PATH_IMAGE023
探针在所述时间段内的检测总次数；
基于所述性能评价指数对当前的所述时间间隔进行调整：
Figure 8297DEST_PATH_IMAGE049
其中，
Figure 25932DEST_PATH_IMAGE027
为调整后的时间间隔，
Figure 317236DEST_PATH_IMAGE028
为调整前的时间间隔即当前时间间隔，
Figure 551646DEST_PATH_IMAGE029
为误差系 数，表示误差范围，其取值范围为
Figure 953808DEST_PATH_IMAGE050
，
Figure 91529DEST_PATH_IMAGE031
为第一探针的性能评价指数，
Figure 553734DEST_PATH_IMAGE032
为 其对应的预设第一指标值，
Figure 511326DEST_PATH_IMAGE033
为第二探针的性能评价指数，
Figure 717179DEST_PATH_IMAGE034
为其对应的预设第二指标 值，
Figure 709406DEST_PATH_IMAGE035
为第三探针的性能评价指数，
Figure 841048DEST_PATH_IMAGE036
为其对应的预设第三指标值，
Figure 551515DEST_PATH_IMAGE037
为第四探针的性能 评价指数，
Figure 295480DEST_PATH_IMAGE038
为其对应的预设第四指标值，
Figure 142213DEST_PATH_IMAGE039
为当前历史数据库中记录总条数，
Figure 946221DEST_PATH_IMAGE040
、
Figure 878405DEST_PATH_IMAGE041
、
Figure 426061DEST_PATH_IMAGE042
、
Figure 891415DEST_PATH_IMAGE043
和
Figure 866324DEST_PATH_IMAGE044
为预设的权重值。
上述技术方案的工作原理为：根据各探针的检测记录计算其对应的性能评价指数，基于各探针的性能评价指数、历史数据库中的记录总数、各探针性能评价指数对应的预设指标值（供用户设定）、误差系数（优选取1.0001），并赋予相应的权重值（供用户设定）对当前的时间间隔进行调整；例如：当各探针性能下降时，应调大时间间隔，缓解各探针的检测压力，反之，当各探针性能上升时，应调小时间间隔，提升其工作效率；当数据库中的记录越来越大时，说明各探针的性能评价指数越准确，因为性能评价指数是根据记录得到。
上述技术方案的有益效果为：本发明实施例通过基于历史数据计算各探针的性能评价指数，对各探针当前工作能力进行评价，并合理地对时间间隔进行自适应调整，提升了系统的工作效率，不用人工进行监测探针工作能力后调整时间间隔，大大减轻了人工成本，同时，也更加智能化。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种针对消息中间件的调优方法，其特征在于，包括：
将发布端发送的源数据存入预设的缓存队列中；
根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅；
若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量；
若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端。
2.如权利要求1所述的一种针对消息中间件的调优方法，其特征在于，所述将发布端发送的源数据存入预设的缓存队列中，包括：
获取预设的缓存队列；
根据预设的确定规则确定所述缓存队列中的空闲队列；
将所述源数据存入所述空闲队列的最前端。
3.如权利要求1所述的一种针对消息中间件的调优方法，其特征在于，所述根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅，包括：
所述订阅消息包括：特征标识和目标路径；
分别计算所述缓存队列中的源数据与所述特征标识的总体匹配度，判定所述缓存队列中与所述特征标识总体匹配度最大的源数据为被订阅；
其中，计算所述缓存队列中一个源数据与所述特征标识的总体匹配度，包括：
对所述源数据进行特征提取后进行预处理获得获得第一向量集；
对所述特征标识进行所述预处理获得第二向量集；
基于所述第一向量集和所述第二向量集，计算所述源数据与所述特征标识的总体匹配度：
Figure 35560DEST_PATH_IMAGE001
；
其中，
Figure 386907DEST_PATH_IMAGE002
为总体相似度，
Figure 942653DEST_PATH_IMAGE003
为第一向量集中第
Figure 88464DEST_PATH_IMAGE004
个向量，
Figure 493775DEST_PATH_IMAGE005
为第二向量集中第
Figure 117655DEST_PATH_IMAGE004
个向 量，
Figure 793487DEST_PATH_IMAGE006
为第一向量集或第二向量集中的向量总个数。
4.如权利要求3所述的一种针对消息中间件的调优方法，其特征在于，所述若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量，包括：
若所述源数据被订阅，通过所述目标路径将所述源数据发送到与所述订阅消息对应的订阅端；
将所述源数据发送到与所述订阅消息对应的订阅端后，统计所述缓存队列剩余的所述源数据的数据量。
5.如权利要求1所述的一种针对消息中间件的调优方法，所述若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端，包括：
若所述数据量大于预设的数据量阈值，获取预设的转移机制；
所述转移机制包括：
当将发布端发送的源数据存入预设的缓存队列中时，预设的计时器开始计时，若所述源数据被订阅，所述计时器停止对所述源数据计时并删除与所述源数据对应的计时记录；
获取所述计时器对所述源数据的计时时长和所述源数据的数据大小；
基于所述计时时长和所述数据大小，计算所述源数据的评价指数：
Figure 375778DEST_PATH_IMAGE007
；
其中，
Figure 504271DEST_PATH_IMAGE008
为评价指数，
Figure 197420DEST_PATH_IMAGE009
为源数据的计时时长，
Figure 727759DEST_PATH_IMAGE010
为源数据的数据大小，
Figure 737344DEST_PATH_IMAGE011
和
Figure 618713DEST_PATH_IMAGE012
为预设的 权重值；
将所述缓存队列中剩余的源数据按所述评价指数的大小从大到小进行排列组合成待筛选队列；
选取所述待筛选队列中前
Figure 849974DEST_PATH_IMAGE013
个源数据作为所述缓存队列中需要进行转移的源数据；
Figure 500398DEST_PATH_IMAGE014
，其中，
Figure 893333DEST_PATH_IMAGE015
为待筛选队列中第
Figure 261998DEST_PATH_IMAGE016
个源数据的数据量，
Figure 795485DEST_PATH_IMAGE017
为即将 在待筛选队列中选取源数据的个数，
Figure 300416DEST_PATH_IMAGE017
为正整数，
Figure 129831DEST_PATH_IMAGE018
为数据量和数据量阈值的差值；
获取与所述缓存队列中需要进行转移的源数据对应的原始路径；
通过所述原始路径将需要进行转移的源数据转移至与其对应的发布端。
6.如权利要求1所述的一种针对消息中间件的调优方法，还包括：
根据预设的判定规则确定是否成功将所述缓存队列中需要进行转移的源数据转移至与其对应的发布端；
若转移失败，将所述缓存队列中需要进行转移的源数据传输至预设的临时存储单元；
将发布端发送的源数据存入预设的缓存队列中采用预设的第一传输链路，将所述源数据发送到与所述订阅消息对应的订阅端采用预设的第二传输链路，将缓存队列中需要进行转移的源数据转移至对应的发布端采用预设的第三传输链路，将所述缓存队列中需要进行转移的源数据传输至预设的临时存储单元采用预设的第四传输链路；
每隔预设的时间间隔执行包括如下操作：
使用预设的第一探针对所述第一传输链路进行检测，检测开始时，预设的计时器开始计时，当接收到发布端发送的第一响应消息时，停止计时并读取所述计时器的第一时长，根据预设的映射关系确定所述第一时长的第一状态等级；
使用预设的第二探针对所述第二传输链路进行检测，检测开始时，所述计时器开始计时，当接收到订阅端发送的第二响应消息时，停止计时并读取所述计时器的第二时长，根据预设的映射关系确定所述第二时长的第二状态等级；
使用预设的第三探针对所述第三传输链路进行检测，检测开始时，所述计时器开始计时，当接收到发布端发送的第三响应消息时，停止计时并读取所述计时器的第三时长，根据预设的映射关系确定所述第三时长的第三状态等级；
使用预设的第四探针对所述第三传输链路进行检测，检测开始时，所述计时器开始计时，当接收到临时存储单元发送的第四响应消息时，停止计时并读取所述计时器的第四时长，根据预设的映射关系确定所述第四时长的第四状态等级；
若所述第一状态等级小于预设的评价等级阈值，调用预设的第一备用传输链路对所述第一传输链路进行替换；
和/或，
若所述第二状态等级小于预设的评价等级阈值，调用预设的第二备用传输链路对所述第二传输链路进行替换；
和/或，
若所述第三状态等级小于预设的评价等级阈值，调用预设的第三备用传输链路对所述第三传输链路进行替换；
和/或，
若所述第四状态等级小于预设的评价等级阈值，调用预设的第四备用传输链路对所述第四传输链路进行替换。
7.一种针对消息中间件的调优系统，其特征在于，包括：
存入模块，用于将发布端发送的源数据存入预设的缓存队列中；
判断模块，用于根据订阅端发送的订阅消息确定所述缓存队列中的源数据是否被订阅；
发送与统计模块，用于若所述源数据被订阅，将所述源数据发送到与所述订阅消息对应的订阅端，并统计所述缓存队列中剩余的所述源数据的数据量；
转移模块，用于若所述数据量大于预设的数据量阈值，根据预设的转移机制确定所述缓存队列中需要进行转移的源数据并将其转移至对应的发布端。
8.如权利要求7所述的一种针对消息中间件的调优系统，其特征在于，所述存入模块执行包括如下操作：
获取预设的缓存队列；
根据预设的确定规则确定所述缓存队列中的空闲队列；
将所述源数据存入所述空闲队列的最前端。
9.如权利要求7所述的一种针对消息中间件的调优系统，其特征在于，所述判断模块执行包括如下操作：
所述订阅消息包括：特征标识和目标路径；
分别计算所述缓存队列中的源数据与所述特征标识的总体匹配度，判定所述缓存队列中与所述特征标识总体匹配度最大的源数据为被订阅；
其中，计算所述缓存队列中一个源数据与所述特征标识的总体匹配度，包括：
对所述源数据进行特征提取后进行预处理获得获得第一向量集；
对所述特征标识进行所述预处理获得第二向量集；
基于所述第一向量集和所述第二向量集，计算所述源数据与所述特征标识的总体匹配度：
Figure 720213DEST_PATH_IMAGE001
；
其中，
Figure 558856DEST_PATH_IMAGE002
为总体相似度，
Figure 918293DEST_PATH_IMAGE003
为第一向量集中第
Figure 184189DEST_PATH_IMAGE004
个向量，
Figure 494823DEST_PATH_IMAGE005
为第二向量集中第
Figure 137156DEST_PATH_IMAGE004
个向 量，
Figure 351100DEST_PATH_IMAGE006
为第一向量集或第二向量集中的向量总个数。
10.如权利要求7所述的一种针对消息中间件的调优系统，其特征在于，所述发送与统计模块执行包括如下操作：
若所述源数据被订阅，通过所述目标路径将所述源数据发送到与所述订阅消息对应的订阅端；
将所述源数据发送到与所述订阅消息对应的订阅端后，统计所述缓存队列剩余的所述源数据的数据量。
CN202110071892.4A 2021-01-20 2021-01-20 一种针对消息中间件的调优方法及系统 Active CN112395116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110071892.4A CN112395116B (zh) 2021-01-20 2021-01-20 一种针对消息中间件的调优方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110071892.4A CN112395116B (zh) 2021-01-20 2021-01-20 一种针对消息中间件的调优方法及系统

Publications (2)

Publication Number Publication Date
CN112395116A true CN112395116A (zh) 2021-02-23
CN112395116B CN112395116B (zh) 2021-04-30

Family

ID=74625721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110071892.4A Active CN112395116B (zh) 2021-01-20 2021-01-20 一种针对消息中间件的调优方法及系统

Country Status (1)

Country Link
CN (1) CN112395116B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201319A (zh) * 2022-02-17 2022-03-18 广东东华发思特软件有限公司 数据调度方法、装置、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130246498A1 (en) * 2012-03-16 2013-09-19 Stephen Zucknovich Content distribution management system
CN107645542A (zh) * 2017-09-03 2018-01-30 中国南方电网有限责任公司 一种应用于云审计系统的数据采集装置
CN107704545A (zh) * 2017-11-08 2018-02-16 华东交通大学 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法
CN108920552A (zh) * 2018-06-19 2018-11-30 浙江工业大学 一种面向多源大数据流的分布式索引方法
CN112039979A (zh) * 2020-08-27 2020-12-04 中国平安财产保险股份有限公司 分布式数据缓存管理方法、装置、设备及存储介质
CN112035563A (zh) * 2020-08-28 2020-12-04 南京华盾电力信息安全测评有限公司 一种基于共享存储的实时数据库系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130246498A1 (en) * 2012-03-16 2013-09-19 Stephen Zucknovich Content distribution management system
CN107645542A (zh) * 2017-09-03 2018-01-30 中国南方电网有限责任公司 一种应用于云审计系统的数据采集装置
CN107704545A (zh) * 2017-11-08 2018-02-16 华东交通大学 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法
CN108920552A (zh) * 2018-06-19 2018-11-30 浙江工业大学 一种面向多源大数据流的分布式索引方法
CN112039979A (zh) * 2020-08-27 2020-12-04 中国平安财产保险股份有限公司 分布式数据缓存管理方法、装置、设备及存储介质
CN112035563A (zh) * 2020-08-28 2020-12-04 南京华盾电力信息安全测评有限公司 一种基于共享存储的实时数据库系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHILIPPE DOBBELAERE等: "Kafka versus RabbitMQ", 《ARXIV:1709.00333V1》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201319A (zh) * 2022-02-17 2022-03-18 广东东华发思特软件有限公司 数据调度方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN112395116B (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US8762369B2 (en) Optimized data stream management system
CN110362473B (zh) 测试环境的优化方法及装置、存储介质、终端
CN107707376A (zh) 一种监控和告警的方法和系统
CN107678908B (zh) 日志记录方法、装置、计算机设备及存储介质
CN112395116B (zh) 一种针对消息中间件的调优方法及系统
CN106330588B (zh) 一种bfd检测方法与装置
CN114154035A (zh) 一种动环监控的数据处理系统
CN115576738B (zh) 一种基于芯片分析实现设备故障确定的方法及系统
CN113505044B (zh) 数据库告警方法、装置、设备和存储介质
CN112199394A (zh) 告警信息推送方法、系统、智能终端及存储介质
WO2022116922A1 (zh) 磁盘失效预测方法、预测模型训练方法、电子设备
WO2020143181A1 (zh) 数据存储方法、装置、计算机设备及存储介质
CA3140769A1 (en) Method and system for positioning fault root cause of service system
CN109873858B (zh) 一种业务数据分布式监控方法和分布式监控集群
JPWO2015182629A1 (ja) 監視システム、監視装置及び監視プログラム
CN113157521B (zh) 用于区块链全生命周期的监控方法和监控系统
CN117130851B (zh) 一种高性能计算集群运行效率评价方法及系统
CN113391900A (zh) 一种离散生产环境下异常事件处理方法及系统
CN113220543B (zh) 一种业务自动报警方法及装置
CN113742400B (zh) 一种基于自适应约束条件的网络数据获取系统及方法
CN116069618A (zh) 一种面向应用场景的国产化系统评估方法
CN114398425A (zh) 一种基于kafka消息实现即时查询的系统及方法
CN111258788B (zh) 磁盘故障预测方法、装置及计算机可读存储介质
CN112533246A (zh) 一种智能设备设备频繁网络请求的监控系统及方法
CN115686381B (zh) 存储集群运行状态的预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant