CN114780620A - 基于大数据挖掘性能的云计算业务分析方法、装置及系统 - Google Patents
基于大数据挖掘性能的云计算业务分析方法、装置及系统 Download PDFInfo
- Publication number
- CN114780620A CN114780620A CN202210701193.8A CN202210701193A CN114780620A CN 114780620 A CN114780620 A CN 114780620A CN 202210701193 A CN202210701193 A CN 202210701193A CN 114780620 A CN114780620 A CN 114780620A
- Authority
- CN
- China
- Prior art keywords
- query
- service
- user
- users
- services
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 40
- 238000007418 data mining Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000002650 habitual effect Effects 0.000 claims description 20
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 19
- 230000006399 behavior Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013277 forecasting method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24534—Query rewriting; Transformation
- G06F16/24539—Query rewriting; Transformation using cached or materialised query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/02—Banking, e.g. interest calculation or account maintenance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Evolutionary Biology (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于大数据挖掘性能的云计算业务分析方法、装置及系统，涉及行为预测技术领域。主要包括：根据用户对不同业务的历史查询情况获得用户的查询特征值；利用预设时长内访问的所有用户的查询特征值进行用户分类，获得同一类用户的习惯业务序列；根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得其在任一查询次数中任意两业务间的关联性；根据用户当前所查询业务、用户的习惯序列以及当前查询次数中各业务的关联性，预测用户下一个查询业务，并将预测查询业务提前放入供用户查询的缓存中。本发明实施例中各业务间的关联性更具针对性，从而提高用户查询的预测结果的准确性。
Description
技术领域
本申请涉及行为预测技术领域，具体涉及一种基于大数据挖掘性能的云计算业务分析方法、装置及系统。
背景技术
银行数据中可访问或搜索的业务，包括但不限于客户的交易数据、流水数据、记账数据、借款数据以及贷款数据等业务数据；在银行的业务系统中，部分数据为不常用数据，导致数据仓库的存储存在冗余，从而降低查询效率，同时，在客户数据查询时，需要对客户个体的数据进行遍历检索，进而进一步降低系统运行效率。因此，需要对客户所需要查询或访问的业务进行预测，从而实现存储资源的提前部署以提升效率。
现有技术中对于用户需要查询的业务的预测，往往通过根据用户的对各业务的查询情况进行统计，从而将用户查询次数多的优先展示供用户选择。
然而，现有技术中通过对用户所查询业务的查询次数进行统计后排序的方法，忽略了各类用户在使用习惯上的差异，且无法通过用户的前一次查询行为对用户后续的查询行为实现预测。
发明内容
针对上述技术问题，本发明提供了一种基于大数据挖掘性能的云计算业务分析方法、装置及系统，能针对不同用户进行具有针对性的查询业务的预测，同时能够被用户所查询的业务类型发生改变时，能够重新确定各业务间的关联性，进而进行存储资源的提前部署以提升效率。
第一方面，本发明实施例提出了一种基于大数据挖掘性能的云计算业务分析方法，包括：
根据用户对不同业务的历史查询情况，获得用户的查询特征值。
利用预设时长内访问的所有用户的查询特征值将用户聚类成多类，并按照查询次数的先后顺序，将同一类用户在各查询次数中查询频率最高的业务进行排序，以获得同一类用户的习惯业务序列。
根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性。
根据用户的查询特征值，确定该用户的习惯业务序列，并判断当前所查询的业务与习惯业务序列中当前查询次数对应的业务是否一致。
若判断结果为是，则将习惯业务序列中下一个业务作为预测查询业务。若判断结果为否，将与当前查询业务关联性最大的业务作为预测查询业务。将预测查询业务提前放入供用户查询的缓存中。
在一个可行的实施例中，根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性，包括：
其中，
为同一类用户在进行第i次查询时业务
与业务
之间的关联性，
为同一类用户在进行第i次查询时业务
被查询的频率，
为同一类用户在进行第i次查询时业务
被查询的频率，
为同一类用户在进行第i-1次查询时业务
被查询的频率，
为业务
与业务
之间的相关性，
为指数曲线。
可选的，所述方法还包括：
选取同一类用户中预设比例的用户作为代表用户，根据代表用户相邻查询次数的最高查询频率之差以及不同业务间的相关性，获得代表用户在进行任一查询次数下任意两业务间的关联性。
将代表用户在进行任一查询次数下任意两业务间的关联性，作为同一类用户在进行任一查询次数下任意两业务间的关联性。
本发明实施例中所得到的业务间的关联性与用户的类型以及用户的查询次数存在关系，由于现有技术中只考虑两个业务本身的相关性，而未考虑业务在被用户查询或访问之后，也会对该用户是否会继续查询该业务产生影响，因此本发明实施例中得到的业务间的关联性更具准确性，同时更加契合实际场景。
在一个可行的实施例中，根据用户对不同业务的历史查询情况，获得用户的查询特征值，包括：
对历史查询情况中同一查询次数下不同用户对各业务的查询次数进行第一PCA，将第一PCA的最大主成分作为第一最大主成分。
分别将不同用户对各业务的查询次数对第一最大主成分进行投影，分别获得各用户在同一查询次数下的第一查询特征值。
将各用户在各查询次数下的所述第一查询特征值进行第二PCA，将第二PCA的最大主成分方向作为第二最大主成分。
分别将各用户在各查询次数下的所述第一查询特征值对第二最大主成分进行投影，分别获得各用户的第二查询特征值，并将用户的第二查询特征值作为用户的查询特征值。
可选的，所述方法还包括：
当前所查询的业务与习惯业务序列中当前查询次数对应的业务一致时，将习惯业务序列中预测查询业务后预设数量个业务作为备选查询业务，将备选查询业务放入预测查询业务的缓存后。
这样，当用户下一次所查询的业务与所预测的业务不一致时，用户很有可能会访问备选查询业务中的业务，进而能够在预测失效的情况下提高效率。
可选的，所述方法还包括：
当前所查询的业务与习惯业务序列中当前查询次数对应的业务不一致时，将与预测查询业务关联性最大的预设数量个业务作为备选查询业务，将备选查询业务放入预测查询业务的缓存后。
这样，当用户下一次所查询的业务与所预测的业务不一致时，用户很有可能会访问备选查询业务中的业务，进而能够在预测失效的情况下提高效率。
可选的，根据用户对不同业务的历史查询情况，获得用户的查询特征值前，所述方法还包括：对用户对不同业务的历史查询情况进行数据清洗。
这样能够使得用户的查询情况的相关数据更具针对性和准确性。
可选的，利用预设时长内访问的所有用户的查询特征值将用户聚类成多类后，所述方法还包括：建立多个云数据仓库用于储存所有用户的查询数据，且同一个云数据仓库中存放同一类用户的查询数据。
第二方面，本发明实施例提出了一种基于大数据挖掘性能的云计算业务分析装置，包括：
用户查询特征值获取模块，用于根据用户对不同业务的历史查询情况，获得用户的查询特征值。
用户聚类模块，用于利用预设时长内访问的所有用户的查询特征值将用户聚类成多类。
习惯业务序列获取模块，用于按照查询次数的先后顺序，将同一类用户在各查询次数中查询频率最高的业务进行排序，以获得同一类用户的习惯业务序列。
关联性获取模块，用于根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性。
判断模块，用于根据用户的查询特征值，确定该用户的习惯业务序列，并判断当前所查询的业务与习惯业务序列中当前查询次数对应的业务是否一致。
预测业务确定模块，若判断结果为是，则将习惯业务序列中下一个业务作为预测查询业务。若判断结果为否，将与当前查询业务关联性最大的业务作为预测查询业务。
缓存预调度模块，将预测查询业务提前放入供用户查询的缓存中。
第三方面，本发明实施例提出了一种基于大数据挖掘性能的云计算业务分析系统，包括：存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现本发明实施例中基于大数据挖掘性能的云计算业务分析方法。
本发明提供了一种基于大数据挖掘性能的云计算业务分析方法、装置及系统，相比于现有技术，本发明实施例的有益效果至少包括：能够克服层次分析法的主观性，并能针对不同用户进行具有针对性的查询业务的预测，同时能够被用户所查询的业务类型发生改变时，能够重新确定各业务间的关联性，进而提前进行存储资源的提前部署以提升效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于大数据挖掘性能的云计算业务分析方法的流程示意图。
图2是本发明实施例中习惯业务序列的获取过程的示意图。
图3是本发明实施例提供的一种基于大数据挖掘性能的云计算业务分析装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明实施例提供了一种基于大数据挖掘性能的云计算业务分析方法，如图1所示，包括：
步骤S101、根据用户对不同业务的历史查询情况，获得用户的查询特征值。
步骤S102、利用预设时长内访问的所有用户的查询特征值将用户聚类成多类，并按照查询次数的先后顺序，将同一类用户在各查询次数中查询频率最高的业务进行排序，以获得同一类用户的习惯业务序列。
步骤S103、根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性。
步骤S104、根据用户的查询特征值，确定该用户的习惯业务序列，并判断当前所查询的业务与习惯业务序列中当前查询次数对应的业务是否一致。
步骤S105、若判断结果为是，则将习惯业务序列中下一个业务作为预测查询业务。若判断结果为否，将与当前查询业务关联性最大的业务作为预测查询业务。将预测查询业务提前放入供用户查询的缓存中。
在银行的业务系统中，部分数据为不常用数据，导致数据仓库的存储存在冗余，从而降低查询效率，同时，在客户数据查询时，需要对客户个体的数据进行遍历检索，进而进一步降低系统运行效率。
银行数据中可访问或搜索的业务，包括但不限于客户的交易数据、流水数据、记账数据、借款数据、贷款数据等业务数据，同时实施者可根据具体实施场景，对客户能够访问或查询的的业务进行调整。
进一步的，步骤S101、根据用户对不同业务的历史查询情况，获得用户的查询特征值。具体包括：
本发明实施例中，将客户开始查询到结束查询的过程作为一个完整的查询过程，期间，用户存在对不同业务的多次查询及访问过程，将完整的查询过程中按照查询发生的先后顺序进行排序，得到不同查询次数下所查询的不同业务。
例如，在一段时间内，客户所访问的业务类型包括A、B、C和D四种，客户的对这四种业务访问或查询的先后顺序为ABABCDCA，即在本次查询过程中,客户首先访问业务A，随后访问业务B，其次访问业务A，并以此完成对业务的查询后，一段时间内不再进行业务查询。在该客户进行本次查询过程中，查询次数1对应的业务为A,查询次数2对应的业务为B，最后即查询次数为8时对应的业务为A。
可选的，可以对用户对不同业务的历史查询情况进行数据清洗，在数据清洗过程中，主要处理的是缺失值、异常值和重复值。所谓清洗，是对数据集通过丢弃、填充、替换、去重等操作，达到去除异常、纠正错误、补足缺失的目的。
这样能够使得用户的查询情况的相关数据更具针对性和准确性。
首先，对历史查询情况中同一查询次数下不同用户对各业务的查询次数进行第一PCA，将第一PCA的最大主成分作为第一最大主成分；分别将不同用户对各业务的查询次数对第一最大主成分进行投影，分别获得各用户在同一查询次数下的第一查询特征值。
其次，将各用户在各查询次数下的所述第一查询特征值进行第二PCA，将第二PCA的最大主成分方向作为第二最大主成分；分别将各用户在各查询次数下的所述第一查询特征值对第二最大主成分进行投影，分别获得各用户的第二查询特征值，并将用户的第二查询特征值作为用户的查询特征值。
如此，便于后续将具有相同查询习惯的客户归为一类，进而实现对客户的分类。
需要说明的是，PCA（Principal components analysis，主成分分析）是重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。其利用正交变换把一系列可能线性相关的变量转换为一组线性不相关的新变量，也称为主成分，从而利用新变量在更小的维度下展示数据的特征。
具体的，在空间上，PCA可以理解为把原始数据投射到一个新的坐标系统，第一主成分为第一坐标轴，它的含义代表了原始数据中多个变量经过某种变换得到的新变量的变化区间；第二成分为第二坐标轴，代表了原始数据中多个变量经过某种变换得到的第二个新变量的变化区间。这样我们把利用原始数据解释样品的差异转变为利用新变量解释样品的差异。
需要说明的是，这种投射方式会有很多，为了最大限度保留对原始数据的解释，一般会用最大方差理论或最小损失理论，使得第一主成分有着最大的方差或变异数。本实施例中最大主成分方向即第一主成分方向。
进一步的，步骤S102、利用预设时长内访问的所有用户的查询特征值将用户聚类成多类，并按照查询次数的先后顺序，将同一类用户在各查询次数中查询频率最高的业务进行排序，以获得同一类用户的习惯业务序列。具体包括：
需要说明的是，聚类即将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。聚类分析又称群分析，它是研究样品或指标分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。
首先，利用预设时长内访问的所有用户的查询特征值将用户聚类成多类，作为一示例，本发明实施例中预设时长为2小时。
这样，能使得用户类别得到及时的更新，使得在客户需求或者业务类型发生变化的时候，及时实现对用户类型的更新，从而避免信息的过时。
具体的，在数据挖掘中，聚类也是很重要的一个概念。传统的聚类分析计算方法主要有划分方法、层次方法、基于密度的方法、基于网格的方法、基于模型的方法共五种。
需要说明的是，在收到客户真实的查询请求后，及时预测出客户将要访问的业务，能够实现提前部署，进而提高客户查询过程的效率。
可选的，可以建立多个云数据仓库用于存放所有用户的查询数据，且同一云数据仓库中存放同一类用户的查询数据。需要说明的是，数据仓库是从操作系统和外部数据源派生的集成历史数据的中央存储库，其中传统的数据仓库需要本地IT(InternetTechnology，信息技术)资源，例如服务器和软件来传递数据仓库功能。企业运行自己的本地数据仓库时，还必须有效地管理基础架构。
这样，能够使得所创建的数据库更具备针对性，在进行后续调度或存取过程中，减少调度所需要消耗的负载。
需要说明的是，对于云数据仓库，通过提供互联网接入的数据仓库功能，公共云提供商可帮助公司避开构建传统本地数据仓库所需的初始设置成本。此外，云中的这些企业数据仓库是完全托管的，因此服务提供商管理并承担提供所需数据仓库功能的责任，例如系统补丁和更新。
其次，按照查询次数的先后顺序，将同一类用户在各查询次数中查询频率最高的业务进行排序，以获得同一类用户的习惯业务序列。
图2示出了本发明实施例中习惯业务序列的获取过程的示意图，图2中表格部分为对同一类用户在不同访问次数中对各业务类型的访问次数的统计，图2中存在ABCD四种业务类型，分别选择各查询次数中查询频率最高的业务进行排序，在图2中得到的习惯业务序列为ACDCCB，本领域技术人员应该知道的是，在各访问次数中被查询频数与被查询频率有直接关系。
可选的，可以选择选取同一类用户中预设比例的用户作为代表用户，将代表用户的习惯业务序列作为该类用户的习惯业务序列，作为一个示例，本发明实施例中预设比例为30%。
可选的，可以获得同一类用户的习惯业务序列的最小周期，将习惯业务序列中最小周期内的序列重复排列后作为新的习惯业务序列。
这样，由于查询业务本身存在周期性，同时在一个完整的查询过程中用户也会存在往复查询的情况，获得整个习惯业务序列的最小周期，能够利用该新的习惯业务序列获得更长以及更具代表性的习惯业务序列。
进一步的，步骤S103、根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性。具体包括：
其中，
为同一类用户在进行第i次查询时业务
与业务
之间的关联性，
为同一类用户在进行第i次查询时业务
被查询的频率，
为同一类用户在进行第i次查询时业务
被查询的频率，
为同一类用户在进行第i-1次查询时业务
被查询的频率，
为业务
与业务
之间的相关性，
（Exponential，指数曲线)是高等数学里以自然常数e为底的指数函数。
具体的，任意两业务之间的相关性是通过层次分析法获得的，需要说明的是，层次分析法（AHP，analytic hierarchy process）是指将与决策总是有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法。
需要说明的是，通过层次分析法能够获得两业务之间存在的相关性，同时由于该相关性存在主观性，故本发明实施例结合业务被查询的情况，获得能够避免主观性的业务间的关联性，同时，本发明实施例中所得到的业务间的关联性与用户的类型以及用户的查询次数存在关系，由于现有技术中只考虑两个业务本身的相关性，而未考虑业务在被用户查询或访问之后，也会对该用户是否会继续查询该业务产生影响，因此本发明实施例中得到的业务间的关联性更具准确性，同时更加契合实际场景。
进一步的，步骤S104、根据用户的查询特征值，确定该用户的习惯业务序列，并判断当前所查询的业务与习惯业务序列中当前查询次数对应的业务是否一致。具体包括：
当用户开始查询时，根据步骤S101中用户的查询特征值的获得方法，获得该用户的查询特征值，确定该用户所属的用户类型对应的习惯业务序列，并判断当前所查询的业务与习惯业务序列中当前查询次数对应的业务是否一致。
进一步的，步骤S105、若判断结果为是，则将习惯业务序列中下一个业务作为预测查询业务。若判断结果为否，将与当前查询业务关联性最大的业务作为预测查询业务。将预测查询业务提前放入供用户查询的缓存中。具体包括：
若步骤S104中判断结果为是，则将习惯业务序列中下一个业务作为预测查询业务，这样能够实现对用户的下一次所查询业务的预测，以便进行提前调度从而提高效率。
可选的，当前所查询的业务与习惯业务序列中当前查询次数对应的业务一致时，可将习惯业务序列中预测查询业务后预设数量个业务作为备选查询业务，将备选查询业务放入预测查询业务的缓存后。
这样，当用户下一次所查询的业务与所预测的业务不一致时，用户很有可能会访问备选查询业务中的业务，进而能够在预测失效的情况下提高效率。
若步骤S104中判断结果为否，将与当前查询业务关联性最大的业务作为预测查询业务，此时，用户暂时不按照习惯业务序列进行查询，通过将关联性最大的作为预测查询业务，这样，能够实现对用户的下一次所查询业务的预测，以便进行提前调度从而提高效率。
可选的，当前所查询的业务与习惯业务序列中当前查询次数对应的业务不一致时，将与预测查询业务关联性最大的预设数量个业务作为备选查询业务，将备选查询业务放入预测查询业务的缓存后。
这样，当用户下一次所查询的业务与所预测的业务不一致时，用户很有可能会访问备选查询业务中的业务，进而能够在预测失效的情况下提高效率。
本发明实施例提供了一种基于大数据挖掘性能的云计算业务分析装置，如图3所示，包括：
用户查询特征值获取模块201，用于根据用户对不同业务的历史查询情况，获得用户的查询特征值。
用户聚类模块202，用于利用预设时长内访问的所有用户的查询特征值将用户聚类成多类。
习惯业务序列获取模块203，用于按照查询次数的先后顺序，将同一类用户在各查询次数中查询频率最高的业务进行排序，以获得同一类用户的习惯业务序列。
关联性获取模块204，用于根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性。
判断模块205，用于根据用户的查询特征值，确定该用户的习惯业务序列，并判断当前所查询的业务与习惯业务序列中当前查询次数对应的业务是否一致。
预测业务确定模块206，若判断结果为是，则将习惯业务序列中下一个业务作为预测查询业务。若判断结果为否，将与当前查询业务关联性最大的业务作为预测查询业务。
缓存预调度模块207，将预测查询业务提前放入供用户查询的缓存中。
其中，以上各模块的具体实现、相关说明及技术效果请参考具体实施方式中方法实施例部分。
基于与上述方法相同的发明构思，本实施例还提供了一种基于大数据挖掘性能的云计算业务分析系统，本实施例中基于大数据挖掘性能的云计算业务分析系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如本发明实施例中基于大数据挖掘性能的云计算业务分析方法实施例中所描述的功能。
由于基于大数据挖掘性能的云计算业务分析方法实施例中已经对大数据的金融业务信息查询的方法进行了说明，此处不再赘述。
综上所述，本发明提供了一种基于大数据挖掘性能的云计算业务分析方法、装置及系统，相比于现有技术，本发明实施例的有益效果至少包括：能够克服层次分析法的主观性，并能针对不同用户进行具有针对性的查询业务的预测，同时能够被用户所查询的业务类型发生改变时，能够重新确定各业务间的关联性，进而提前进行存储资源的提前部署以提升效率。
本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本发明的方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
上述实施例仅仅是为清楚地说明所做的举例，并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。
Claims (10)
1.基于大数据挖掘性能的云计算业务分析方法，其特征在于，包括：
根据用户对不同业务的历史查询情况，获得用户的查询特征值；
利用预设时长内访问的所有用户的查询特征值将用户聚类成多类，并按照查询次数的先后顺序，将同一类用户在各查询次数中查询频率最高的业务进行排序，以获得同一类用户的习惯业务序列；
根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性；
根据用户的查询特征值，确定该用户的习惯业务序列，并判断当前所查询的业务与习惯业务序列中当前查询次数对应的业务是否一致；
若判断结果为是，则将习惯业务序列中下一个业务作为预测查询业务；若判断结果为否，将与当前查询业务关联性最大的业务作为预测查询业务；将预测查询业务提前放入供用户查询的缓存中。
2.根据权利要求1所述的基于大数据挖掘性能的云计算业务分析方法，其特征在于，根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性，包括：
其中，
为同一类用户在进行第i次查询时业务
与业务
之间的关联性，
为同一类用户在进行第i次查询时业务
被查询的频率，
为同一类用户在进行第i次查询时业务
被查询的频率，
为同一类用户在进行第i-1次查询时业务
被查询的频率，
为业务
与业务
之间的相关性，
为指数曲线。
3.根据权利要求2所述的基于大数据挖掘性能的云计算业务分析方法，其特征在于，所述方法还包括：
选取同一类用户中预设比例的用户作为代表用户，根据代表用户相邻查询次数的最高查询频率之差以及不同业务间的相关性，获得代表用户在进行任一查询次数下任意两业务间的关联性；
将代表用户在进行任一查询次数下任意两业务间的关联性，作为同一类用户在进行任一查询次数下任意两业务间的关联性。
4.根据权利要求1所述的基于大数据挖掘性能的云计算业务分析方法，其特征在于，根据用户对不同业务的历史查询情况，获得用户的查询特征值，包括：
对历史查询情况中同一查询次数下不同用户对各业务的查询次数进行第一PCA，将第一PCA的最大主成分作为第一最大主成分；
分别将不同用户对各业务的查询次数对第一最大主成分进行投影，分别获得各用户在同一查询次数下的第一查询特征值；
将各用户在各查询次数下的所述第一查询特征值进行第二PCA，将第二PCA的最大主成分方向作为第二最大主成分；
分别将各用户在各查询次数下的所述第一查询特征值对第二最大主成分进行投影，分别获得各用户的第二查询特征值，并将用户的第二查询特征值作为用户的查询特征值。
5.根据权利要求1所述的基于大数据挖掘性能的云计算业务分析方法，其特征在于，所述方法还包括：
当前所查询的业务与习惯业务序列中当前查询次数对应的业务一致时，将习惯业务序列中预测查询业务后预设数量个业务作为备选查询业务，将备选查询业务放入预测查询业务的缓存后。
6.根据权利要求1所述的基于大数据挖掘性能的云计算业务分析方法，其特征在于，所述方法还包括：
当前所查询的业务与习惯业务序列中当前查询次数对应的业务不一致时，将与预测查询业务关联性最大的预设数量个业务作为备选查询业务，将备选查询业务放入预测查询业务的缓存后。
7.根据权利要求1所述的基于大数据挖掘性能的云计算业务分析方法，其特征在于，根据用户对不同业务的历史查询情况，获得用户的查询特征值前，所述方法还包括：对用户对不同业务的历史查询情况进行数据清洗。
8.根据权利要求1所述的基于大数据挖掘性能的云计算业务分析方法，其特征在于，利用预设时长内访问的所有用户的查询特征值将用户聚类成多类后，所述方法还包括：建立多个云数据仓库用于储存所有用户的查询数据，且同一个云数据仓库中存放同一类用户的查询数据。
9.基于大数据挖掘性能的云计算业务分析装置，包括：
用户查询特征值获取模块，用于根据用户对不同业务的历史查询情况，获得用户的查询特征值；
用户聚类模块，用于利用预设时长内访问的所有用户的查询特征值将用户聚类成多类；
习惯业务序列获取模块，用于按照查询次数的先后顺序，将同一类用户在各查询次数中查询频率最高的业务进行排序，以获得同一类用户的习惯业务序列；
关联性获取模块，用于根据同一类用户相邻查询次数的不同业务被查询的频率之差以及不同业务间的相关性，获得同一类用户在任一查询次数中任意两业务间的关联性；
判断模块，用于根据用户的查询特征值，确定该用户的习惯业务序列，并判断当前所查询的业务与习惯业务序列中当前查询次数对应的业务是否一致；
预测业务确定模块，若判断结果为是，将习惯业务序列中下一个业务作为预测查询业务，若判断结果为否，将与当前查询业务关联性最大的业务作为预测查询业务；
缓存预调度模块，将预测查询业务提前放入供用户查询的缓存中。
10.基于大数据挖掘性能的云计算业务分析系统，包括：存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-8中任一项所述的基于大数据挖掘性能的云计算业务分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701193.8A CN114780620B (zh) | 2022-06-21 | 2022-06-21 | 基于大数据挖掘性能的云计算业务分析方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701193.8A CN114780620B (zh) | 2022-06-21 | 2022-06-21 | 基于大数据挖掘性能的云计算业务分析方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114780620A true CN114780620A (zh) | 2022-07-22 |
| CN114780620B CN114780620B (zh) | 2022-08-26 |
Family
ID=82420277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210701193.8A Active CN114780620B (zh) | 2022-06-21 | 2022-06-21 | 基于大数据挖掘性能的云计算业务分析方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114780620B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536841A (zh) * | 2018-04-13 | 2018-09-14 | 国家计算机网络与信息安全管理中心 | 基于业务用户习惯的智能学习查询模型 |
| US20210158175A1 (en) * | 2019-11-22 | 2021-05-27 | International Business Machines Corporation | Asset addition scheduling for a knowledge base |
| WO2021151521A1 (en) * | 2020-01-31 | 2021-08-05 | Lytt Limited | Maching learning using time series data |
-
2022
- 2022-06-21 CN CN202210701193.8A patent/CN114780620B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108536841A (zh) * | 2018-04-13 | 2018-09-14 | 国家计算机网络与信息安全管理中心 | 基于业务用户习惯的智能学习查询模型 |
| US20210158175A1 (en) * | 2019-11-22 | 2021-05-27 | International Business Machines Corporation | Asset addition scheduling for a knowledge base |
| WO2021151521A1 (en) * | 2020-01-31 | 2021-08-05 | Lytt Limited | Maching learning using time series data |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114780620B (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7680773B1 (en) | System for automatically managing duplicate documents when crawling dynamic documents | |
| Lan et al. | A study of dynamic meta-learning for failure prediction in large-scale systems | |
| US7343369B2 (en) | Method and apparatus for predicting selectivity of database query join conditions using hypothetical query predicates having skewed value constants | |
| US7353218B2 (en) | Methods and apparatus for clustering evolving data streams through online and offline components | |
| CN110134738B (zh) | 分布式存储系统资源预估方法、装置 | |
| CN111046059B (zh) | 基于分布式数据库集群的低效sql语句分析方法及系统 | |
| EP4046038A1 (en) | Prefetching based on historical use and real-time signals | |
| Cacheda et al. | A case study of distributed information retrieval architectures to index one terabyte of text | |
| CN111597449A (zh) | 用于搜索的候选词构建方法、装置、电子设备及可读介质 | |
| CN113835874A (zh) | 深度学习业务调度方法、系统、终端及存储介质 | |
| CN110689368A (zh) | 一种移动应用内广告点击率预测系统设计方法 | |
| Gemulla et al. | Sampling time-based sliding windows in bounded space | |
| CN110825526B (zh) | 基于er关系的分布式调度方法及装置、设备以及存储介质 | |
| CN113190426A (zh) | 一种大数据评分系统稳定性监控方法 | |
| CN113282630A (zh) | 基于接口切换的数据查询方法及装置 | |
| CN117851490A (zh) | 基于大数据的数据分析处理系统 | |
| CN111488323B (zh) | 一种数据处理方法、装置及电子设备 | |
| CN115145871A (zh) | 文件查询方法、装置和电子设备 | |
| Fariss et al. | Comparative study of skyline algorithms for selecting Web Services based on QoS | |
| CN111125199A (zh) | 一种数据库访问方法、装置及电子设备 | |
| CN115659411A (zh) | 数据分析的方法和装置 | |
| CN116909751A (zh) | 一种云计算系统中的资源分配方法 | |
| Lyu et al. | Fine-grained modeling and optimization for intelligent resource management in big data processing | |
| US20120323926A1 (en) | Efficient Optimization over Uncertain Data | |
| CN108052535B (zh) | 基于多处理器平台的视觉特征并行快速匹配方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |