CN113282630A - 基于接口切换的数据查询方法及装置 - Google Patents

基于接口切换的数据查询方法及装置 Download PDF

Info

Publication number
CN113282630A
CN113282630A CN202110692648.XA CN202110692648A CN113282630A CN 113282630 A CN113282630 A CN 113282630A CN 202110692648 A CN202110692648 A CN 202110692648A CN 113282630 A CN113282630 A CN 113282630A
Authority
CN
China
Prior art keywords
interface
data
query
target
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110692648.XA
Other languages
English (en)
Other versions
CN113282630B (zh
Inventor
张军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202110692648.XA priority Critical patent/CN113282630B/zh
Publication of CN113282630A publication Critical patent/CN113282630A/zh
Application granted granted Critical
Publication of CN113282630B publication Critical patent/CN113282630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于接口切换的数据查询方法及装置，涉及计算机技术领域，主要目的在于解决现有基于数据接口进行数据查询的效率差的问题。包括：当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程；若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中。

Description

基于接口切换的数据查询方法及装置
技术领域
本发明涉及一种计算机技术领域，特别是涉及一种基于接口切换的数据查询方法及装置。
背景技术
随着大数据处理能力的快速发展，各大领域企业越来越重视对用户大数据的处理及管理，尤其是重视保密性、安全性的保险类企业。其中，投保人的相关数据查询是审核、报价等业务处理中的重要技术支撑，因此，各大保险企业均会把此类数据存储在以spark架构为基础的大数据平台系统上，平台系统通过提供不同接口的方式供各方系统进行数据查询。
目前，现有基于此架构的平台系统上进行数据查询时，由于不同的查询接口为不同的开发人员开发，不同接口的查询效率、查询业务的复杂程度均不同，在数据频繁的检索查询下，需要不断进行接口参数的切换，接口查询效率过低，频繁地对接口参数进行配置更新会浪费大量人力资源，又会使得系统吞吐量较低，从而影响基于数据接口进行数据查询的效率。
发明内容
有鉴于此，本发明提供一种基于接口切换的数据查询方法及装置，主要目的在于解决现有基于数据接口进行数据查询的效率差的问题。
依据本发明一个方面，提供了一种基于接口切换的数据查询方法，包括：
当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；
若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；
输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中。
进一步地，所述在缓存线程池中查找与所述数据接口匹配的目标线程之前，所述方法还包括：
当检测到闲置线程时，获取至少一个数据接口的配置信息，所述配置信息包括接口配置参数、接口切换参数；
根据所述接口切换参数替换所述接口配置参数，并调取所述闲置线程执行替换所述接口配置参数后的切换接口的虚拟数据查询操作；
若所述虚拟数据查询操作执行成功，则将所述闲置线程存储至缓存线程池中。
进一步地，所述根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证包括：
根据已完成训练的高斯混合聚类模型对所述目标数据进行聚类处理，并解析所述请求参数的属性分类；
计算得到所述目标数据的聚类特征与解析得到的属性分类之间的相似度值，并判断所述相似度值是否在预设相似度阈值范围内；
若所述相似度值在预设相似度阈值范围内，则确定所述目标数据通过验证。
进一步地，所述根据已完成训练的聚类模型对所述目标数据进行聚类处理之前，所述方法还包括：
获取所述目标数据的训练样本集，并配置聚类簇以及高斯分布参数；
在所述训练样本集对高斯混合聚类模型进行训练过程中，当通过所述高斯分布参数统计所述聚类簇的概率时，通过预置权重对所述概率进行概率最大化求解，所述预置权重为基于所述训练样本集的总概率与所述概率之和的比值；
当所述概率最大化求解的误差值为最小值时，完成对所述高斯混合聚类算法的模型训练。
进一步地，所述输出通过验证的所述目标数据包括：
根据所述参数请求识别进行数据查询的业务方，并判断查询白名单中是否存在所述业务方与所述目标数据之间的查询关系；
若存在查询关系，则向所述业务方输出通过验证的所述目标数据。
进一步地，所述方法还包括：
通过所述预设接口库中至少一个数据接口，以离散采样方式获取待查询数据；
解析所述待查询数据的特征属性，并根据所述特征属性确定业务方，所述特征属性用于表征所述待查询数据的存储路径、存储结构；
建立所述业务方与所述待查询数据之间的查询关系，生成查询白名单。
进一步地，所述在缓存线程池中查找与所述数据接口匹配的目标线程包括：
解析所述请求参数中的关键标识项；
从缓存线程池中查找与所述关键标识项匹配的关键标识值，所述关键标识值为基于线程中执行所述数据接口的接口配置参数替换接口切换参数时生成的参数；
将查找到的所述关键标识值所标记的线程确定为目标线程。
依据本发明另一个方面，提供了一种基于接口切换的数据查询装置，包括：
查找模块，用于当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；
验证模块，用于若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；
输出模块，用于输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中。
进一步地，所述装置还包括：
获取模块，用于当检测到闲置线程时，获取至少一个数据接口的配置信息，所述配置信息包括接口配置参数、接口切换参数；
执行模块，用于根据所述接口切换参数替换所述接口配置参数，并调取所述闲置线程执行替换所述接口配置参数后的切换接口的虚拟数据查询操作；
存储模块，用于若所述虚拟数据查询操作执行成功，则将所述闲置线程存储至缓存线程池中。
进一步地，所述验证模块包括：
处理单元，用于根据已完成训练的高斯混合聚类模型对所述目标数据进行聚类处理，并解析所述请求参数的属性分类；
计算单元，用于计算得到所述目标数据的聚类特征与解析得到的属性分类之间的相似度值，并判断所述相似度值是否在预设相似度阈值范围内；
确定单元，用于若所述相似度值在预设相似度阈值范围内，则确定所述目标数据通过验证。
进一步地，所述验证模块还包括：
配置单元，用于获取所述目标数据的训练样本集，并配置聚类簇以及高斯分布参数；
求解单元，用于在所述训练样本集对高斯混合聚类模型进行训练过程中，当通过所述高斯分布参数统计所述聚类簇的概率时，通过预置权重对所述概率进行概率最大化求解，所述预置权重为基于所述训练样本集的总概率与所述概率之和的比值；
训练单元，用于当所述概率最大化求解的误差值为最小值时，完成对所述高斯混合聚类算法的模型训练。
进一步地，所述输出模块包括：
判断单元，用于根据所述参数请求识别进行数据查询的业务方，并判断查询白名单中是否存在所述业务方与所述目标数据之间的查询关系；
输出单元，用于若存在查询关系，则向所述业务方输出通过验证的所述目标数据。
进一步地，所述输出模块还包括：
获取单元，用于通过所述预设接口库中至少一个数据接口，以离散采样方式获取待查询数据；
确定单元，用于解析所述待查询数据的特征属性，并根据所述特征属性确定业务方，所述特征属性用于表征所述待查询数据的存储路径、存储结构；
生成单元，用于建立所述业务方与所述待查询数据之间的查询关系，生成查询白名单。
进一步地，所述查找模块包括：
解析单元，用于解析所述请求参数中的关键标识项；
查找单元，用于从缓存线程池中查找与所述关键标识项匹配的关键标识值，所述关键标识值为基于线程中执行所述数据接口的接口配置参数替换接口切换参数时生成的参数；
确定单元，用于将查找到的所述关键标识值所标记的线程确定为目标线程。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于接口切换的数据查询方法对应的操作。
根据本发明的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于接口切换的数据查询方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供了一种基于接口切换的数据查询方法及装置，与现有技术相比，本发明实施例通过当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中，实现利用闲置空间预先完成接口切换，从而在进行大量接口查询时，降低系统压力，并以接口自动完成切换查询方式，减少人力更新接口的资源浪费，从而提高数据接口进行数据查询的效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种基于接口切换的数据查询方法流程图；
图2示出了本发明实施例提供的一种执行接口切换查询操作的方法流程图；
图3示出了本发明实施例提供的一种目标数据验证方法的流程图；
图4示出了本发明实施例提供的一种模型训练方法的流程图；
图5示出了本发明实施例提供的一种目标线程查找方法的流程图；
图6示出了本发明实施例提供的一种基于接口切换的数据查询装置组成框图；
图7示出了本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于接口切换的数据查询方法，如图1所示，该方法包括：
101、当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程。
本发明实施例中，接收到外部业务端向当前执行端发送数据查询请求后，当前执行端中的预设接口库中存储有多个已完成配置的接口信息，从而响应于数据查询请求在预设接口库中查找与携带的请求参数匹配的数据接口。其中，若未查找到匹配请求参数匹配的数据接口时，则当前执行端从缓存线程池中查找一个已经完成接口切换查询操作的目标线程，即目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口。具体的，开发人员对不同的数据接口可以预先录入的配置信息，例如包括接口配置参数、接口切换参数，通过接切换参数对接口配置参数进行替换进行接口切换，完成后，执行接口切换查询，从而完成数据接口接口切换查询操作，若成功查询到匹配的数据，则说明切换成功，进行接口切换查询操作得到一个切换接口。另外，在查询目标线程的过程中，由于数据接口是基于请求参数进行查询的，而各个线程中的接口切换查询操作是基于数据接口中的配置信息进行的，因此，查找目标线程时，根据请求参数匹配的数据接口从各个线程中查询是否存在进行了此数据接口的接口切换查询操作的线程，从而确定为目标线程，请求参数包括但不限于接口参数、待查询数据参数等用于表征需要查询内容的参数，本发明实施例不做具体限定。
需要说明的是，为了使接口切换查询操作独立于当前执行端中的系统操作，从而增大系统吞吐量，在进行接口切换查询操作时，调取任意一个当前执行端中的闲置线程，通过此闲置线程完成接口切换查询操作，并存储在缓存线程池中，以便从缓存线程池中查询目标线程。
102、若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证。
本发明实施例中，当前执行端若从缓存线程池中查找到目标线程，则调取目标线程中完成接口切换查询操作得到的切换接口进行数据查询，从而得到与未切换的数据接口所可以查询到的目标数据。另外，由于在目标线程中进行的接口切换查询操作已经完成一次切换接口的数据查询，但是，仅仅是根据数据接口完成切换后进行的一次验证性质的数据查询，因此，为了使通过切换接口查询到的目标数据匹配请求参数，则根据目标数据的聚类特征与请求参数的属性分类进行相似对比验证。其中，目标数据的聚类特征为基于预设聚类算法对目标数据进行聚类处理得到的聚类特征，请求参数的属性分类为基于属性参数分类表进行对比确定的，属性分类、聚类特征可以包括但不限于姓名、年龄、职业、产品、保额等不同业务领域所需要查询数据所对应的类型，本发明实施例不做具体限定。另外，对于相似对比验证，则为计算聚类特征与属性分类的相似度，若计算的相似度符合预设条件，则确定通过验证，说明目标数据匹配请求参数，以进行输出。
103、输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中。
本发明实施例中，若对目标数据进行相似对比验证后，匹配请求参数，则输出目标数据，作为数据查询请求的响应内容。另外，由于此目标数据为基于目标线程中的切换接口进行查询到的，为了提高对相同请求参数进行数据查询的效率，以便再次进行相同请求参数所匹配的目标数据的查询时，减少接口配置繁琐性，直接从预设接口库中调取数据进行进行查询，会记录目标线程的查询次数，当查询次数到达预设查询阈值时，说明此切换接口可以作为正式的数据接口存储在预设接口库中，即将切换接口确定为请求参数所匹配的数据接口更新至预设接口库中。
需要说明的是，将切换接口确定为请求参数匹配的数据接口更新至预设接口库中时，由于切换接口为数据接口按照接口切换参数替换接口配置参数得到的，因此，在将切换接口确定为数据接口时，即为将接口切换参数配置为接口配置参数，从而将切换接口作为数据接口更新在预设接口库中。
在本发明实施例中，如图2所示的一种执行接口切换查询操作的方法流程图，为了预先实现接口切换查询操作，在步骤101中所述在缓存线程池中查找与所述数据接口匹配的目标线程之前，所述方法还包括：201、当检测到闲置线程时，获取至少一个数据接口的配置信息，所述配置信息包括接口配置参数、接口切换参数；202、根据所述接口切换参数替换所述接口配置参数，并调取所述闲置线程执行替换所述接口配置参数后的切换接口的虚拟数据查询操作；203、若所述虚拟数据查询操作执行成功，则将所述闲置线程存储至缓存线程池中。
由于预设线程池中预先存储有多个已完成接口切换查询的线程，从而在查找不到接口库中查找不到数据接口时，依据线程池中的切换接口进行查询。具体的，开发人员在开发数据接口时，同时配置数据接口的接口配置参数、接口切换参数，作为配置信息存储在当前执行端中。当前执行端实时检测是否存在闲置的线程，若检测到闲置线程，则获取至少一个数据接口的配置，以通过闲置线程进行此数据接口的接口切换查询操作。其中，任意一个闲置线程可以执行一个或多个数据接口的接口切换查询操作，因此，在获取到的配置信息后，按照各个数据接口的接口切换参数替换接口配置参数，以通过调取闲置线程执行执行接口切换查询操作后的切换接口的虚拟数据查询操作。具体的，对于接口切换参数可以为对接口配置参数的逻辑表达式进行替换的参数，也可以为对接口配置参数中的接口变量进行表达方式的替换，还可以为对查询路径等内容的替换，本发明实施例不做具体限定。
需要说明的是，由于闲置线程中执行的是接口替换查询操作，并不是实际存在的查询请求所产生的查询操作，因此，当前执行端中基于预先写入的虚拟查询指令启动虚拟数据查询操作，以判断切换接口是否可以正常查找到数据，已验证接口切换查询操作的完成效果。因此，当虚拟数据查询操作执行成功，说明切换接口功能正常，则将闲置线程存储至缓存线程池中。另外，为了提高系统处理效率，缓存线程池中的各个线程若被查询的次数未到预设查询阈值，则说明此切换接口的使用效率较低，按照预设时间间隔清除缓存线程池中的各个线程，从而释放系统压力。
在本发明实施例中，如图3所示的一种目标数据验证方法，为了进一步限定及说明，步骤102中所述根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证包括：1021、根据已完成训练的高斯混合聚类模型对所述目标数据进行聚类处理，并解析所述请求参数的属性分类；1022、计算得到所述目标数据的聚类特征与解析得到的属性分类之间的相似度值，并判断所述相似度值是否在预设相似度阈值范围内；1023、若所述相似度值在预设相似度阈值范围内，则确定所述目标数据通过验证。
为了使查找到的目标数据匹配数据查询请求的请求参数，从而数据查询准确性，确保即使切换接口进行的数据查询的准确性，根据已完成训练的高斯混合聚类模型对目标数据进行聚类处理，得到聚类后的聚类特征，并结合解析请求参数的属性分类，将聚类特征与属性分类进行相似度计算，从而根据计算出的相似度值与预设相似度阈值进行比较，若计算出的相似度值在预设相似度阈值范围内，说明目标数据与请求参数匹配，确定目标数据通过验证，若没有在预设相似度阈值范围内，说明书目标数据与请求产权不匹配，确定目标数据未通过验证，本发明实施例对预设相似度阈值的范围不做具体限定，为开发人员预先进行配置。
例如，查询到的目标数据为客户a-28岁、客户b-34岁、客户a-医生、客户b-教师，请求参数为年龄、执业，首先对客户a与客户b进行聚类处理，得到的聚类特征分别为年龄、执业，则计算请求参数的年龄、执业与聚类特征分别为年龄、执业之间的相似度，得到的相似度值在预设相似度阈值0.5范围内，则确定目标数据通过验证。
在本发明实施例中，如图4所示的模型训练方法，为了提高对目标数据的验证效率，实现对目标数据的聚类准确性，步骤1021中所述根据已完成训练的聚类模型对所述目标数据进行聚类处理之前，所述方法还包括：301、获取所述目标数据的训练样本集，并配置聚类簇以及高斯分布参数；302、在所述训练样本集对高斯混合聚类模型进行训练过程中，当通过所述高斯分布参数统计所述聚类簇的概率时，通过预置权重对所述概率进行概率最大化求解，所述预置权重为基于所述训练样本集的总概率与所述概率之和的比值；303、当所述概率最大化求解的误差值为最小值时，完成对所述高斯混合聚类算法的模型训练。
在进行聚类处理之前，获取进行模型训练所需的训练样本集，并配置聚类簇以及高斯分布参数，其中，所述训练样本集包括目标数据的作为训练的输入参数以及已经确定聚类特征分类的模型输出，从而对高斯混合聚类模型GMM进行训练。为了实现对高斯混合聚类模型的训练优化，本发明实施例中结合最大期望值方式加入高斯混合聚类算法中，模型训练的步骤具体包括：1.选择聚类簇的数量并随机初始化每个簇的高斯分布参数，即包括均值和方差，可以配置为一个相对精确的均值和方差；2.给定每个聚类簇的高斯分布，计算每个数据点属于每个簇的概率，其中，若一个数据点越靠近高斯分布的中心就越可能属于该聚类簇；3.基于概率计算方式计算高斯分布参数，使得数据点的概率最大化，其中，通过使用数据点概率的加权计算新的高斯分布参数，权重即为数据点属于该聚类簇的概率；4.重复迭代步骤2和3直到在迭代中的误差最小，完成模型训练。
需要说明的是，聚类处理的模型为最大期望-高斯混合聚类算法，为了对聚类算法的优化，具体的，当通过所述高斯分布参数统计所述聚类簇的概率时，通过预置权重对所述概率进行概率最大化求解，所述预置权重为基于所述训练样本集的总概率与所述概率之和的比值，对权重进行重新配置，原有权重为数据点属于该聚类簇的概率，即为一种绝对概率，为了减少数据陷入局部最优的情况，进行优化的权重计算方式为数据点属于该聚类簇的概率除以数据点属于各聚类簇概率之和，即为一种相对概率，执行步骤3中的概率最大化，完成聚类模型的优化，本发明实施例不做具体限定。
在本发明实施例中，为了进一步限定及说明，步骤103中所述输出通过验证的所述目标数据具体包括：根据所述参数请求识别进行数据查询的业务方，并判断查询白名单中是否存在所述业务方与所述目标数据之间的查询关系；若存在查询关系，则向所述业务方输出通过验证的所述目标数据。
为了避免输出的目标数据出现输出对象错误的情况，当确定目标数据通过验证后，根据参数请求识别发送数据查询请求的业务方是否与目标数据之间存在查询关系，若存在查询关系，则说明向业务方输出目标数据为具有权限的，因此，向业务方输出通过验证的目标数据。其中，当前执行端中预先配置有包含不同业务方与不同目标数据之间的查询关系的查询白名单，查询白名单中已列表形式记录有不同业务方与不同目标数据之间的查询关系，例如，业务方甲与目标数据客户a、客户b、客户c的保额数据之间分别对应的查询关系为1、1、0，分别对应有权查询、有权查询、无权查询，即可以向业务方输出目标数据客户a、客户b的保额数据，从而提高了数据查询的安全性。
在本发明实施例中，为了进一步说明及限定，所述根据所述参数请求识别进行数据查询的业务方之前，所述方法还包括：通过所述预设接口库中至少一个数据接口，以离散采样方式获取待查询数据；解析所述待查询数据的特征属性，并根据所述特征属性确定业务方，所述特征属性用于表征所述待查询数据的存储路径、存储结构；建立所述业务方与所述待查询数据之间的查询关系，生成查询白名单。
由于查询白名单用于确保数据查询的安全性，为了实现查询白名单的确定，建立安全性较高的查询白名单，利用预设接口库中的数据接口获取各个数据库中的待查询数据，作为建立查询白名单的依据。其中，获取待查询数据时，由于各个数据库中存储有海量数据，因此，通过离散采样方式进行获取。并且，在获取到待查询数据时，解析待查询数据的特征属性，即通过表征待查询数据的存储路径、存储结构的特征属性确定业务方，存储路径为存储不同数据至不同类型、不同功能数据库的路径，例如，针对用户信息类的数据存储在MySQL数据库中，针对业务交易类的数据存储在Oracle数据库中等，因此，可以对获取到的待查询数据进行解析，得到存储路径。同样的，存储结构为数据存储在不同数据库中的形式，在获取到待查询数据时，解析待查询数据，可以得到数据结构，从而结合解析出的存储路径、存储结构确定业务方。具体的，由于不同的业务方具有不同数据的查询权限，从而针对不同存储路径、存储结构所对应的待查询数据，可以匹配出不同的业务方，本发明实施例中，根据预先配置的查询权限确定。例如，业务方1具有存储路径a、存储路径b、以及存储结构s的查询权限，因此，若待查询数据的存储路径a、存储结构s，则可以确定业务方1为对应的业务方，则预先建立业务方与待查询数据之间的查询关系，生成查询白名单，以便在确定目标数据后，在查询白名单中，确定目标数据与业务方之间的查询关系。
在本发明实施例中，如图5所示的一种目标线程查找方法，为了进一步限定及说明，步骤101中所述在缓存线程池中查找与所述数据接口匹配的目标线程，具体包括：1011、解析所述请求参数中的关键标识项；1012、从缓存线程池中查找与所述关键标识项匹配的关键标识值，所述关键标识值为基于线程中执行所述数据接口的接口配置参数替换接口切换参数时生成的参数；1013、将查找到的所述关键标识值所标记的线程确定为目标线程。
为了实现查找数据接口匹配的目标线程，本发明实施例中，当前执行端在闲置线程中执行接口切换查询操作的同时，生成用于进行配对的关键标识值，以与请求参数中的关键标识项进行配对，若匹配，则说明此进行接口切换查询操作的线程为查找的目标线程。其中，由于请求参数包括但不限于接口参数、待查询数据参数等用于表征需要查询内容的参数，因此，请求参数中的关键标识项key，表示为需要查询内容所请求访问接口的一个标识内容。在正常情况下，基于此关键标识项key可以匹配到数据接口，但是，本发明实施例中，在闲置线程中进行数据接口的接口切换查询操作时，会同步生成用于表示此数据接口进行接口切换查询操作的关键标识值vlue，作为标记线程的形式存储在缓存线程池中，从而在未查找到匹配关键标识项key的数据接口时，从缓存线程池中配对查找关键标识值vlue，将查找到配对的关键标识值所标记的线程确定为目标线程。
需要说明的是，关键标识值vlue与关键标识项key的配对关系为开放人员预先设定，并且同时配置关键标识值vlue的生成计算函数，从而实时根据各个线程中的接口切换查询操作同步生成，本发明实施例不做具体限定。
本发明实施例提供了一种基于接口切换的数据查询方法，与现有技术相比，本发明实施例通过当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中，实现利用闲置空间预先完成接口切换，从而在进行大量接口查询时，降低系统压力，并以接口自动完成切换查询方式，减少人力更新接口的资源浪费，从而提高数据接口进行数据查询的效率。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种基于接口切换的数据查询装置，如图6所示，该装置包括：
查找模块41，用于当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；
验证模块42，用于若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；
输出模块43，用于输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中。
进一步地，所述装置还包括：
获取模块，用于当检测到闲置线程时，获取至少一个数据接口的配置信息，所述配置信息包括接口配置参数、接口切换参数；
执行模块，用于根据所述接口切换参数替换所述接口配置参数，并调取所述闲置线程执行替换所述接口配置参数后的切换接口的虚拟数据查询操作；
存储模块，用于若所述虚拟数据查询操作执行成功，则将所述闲置线程存储至缓存线程池中。
进一步地，所述验证模块包括：
处理单元，用于根据已完成训练的高斯混合聚类模型对所述目标数据进行聚类处理，并解析所述请求参数的属性分类；
计算单元，用于计算得到所述目标数据的聚类特征与解析得到的属性分类之间的相似度值，并判断所述相似度值是否在预设相似度阈值范围内；
确定单元，用于若所述相似度值在预设相似度阈值范围内，则确定所述目标数据通过验证。
进一步地，所述验证模块还包括：
配置单元，用于获取所述目标数据的训练样本集，并配置聚类簇以及高斯分布参数；
求解单元，用于在所述训练样本集对高斯混合聚类模型进行训练过程中，当通过所述高斯分布参数统计所述聚类簇的概率时，通过预置权重对所述概率进行概率最大化求解，所述预置权重为基于所述训练样本集的总概率与所述概率之和的比值；
训练单元，用于当所述概率最大化求解的误差值为最小值时，完成对所述高斯混合聚类算法的模型训练。
进一步地，所述输出模块包括：
判断单元，用于根据所述参数请求识别进行数据查询的业务方，并判断查询白名单中是否存在所述业务方与所述目标数据之间的查询关系；
输出单元，用于若存在查询关系，则向所述业务方输出通过验证的所述目标数据。
进一步地，所述输出模块还包括：
获取单元，用于通过所述预设接口库中至少一个数据接口，以离散采样方式获取待查询数据；
确定单元，用于解析所述待查询数据的特征属性，并根据所述特征属性确定业务方，所述特征属性用于表征所述待查询数据的存储路径、存储结构；
生成单元，用于建立所述业务方与所述待查询数据之间的查询关系，生成查询白名单。
进一步地，所述查找模块包括：
解析单元，用于解析所述请求参数中的关键标识项；
查找单元，用于从缓存线程池中查找与所述关键标识项匹配的关键标识值，所述关键标识值为基于线程中执行所述数据接口的接口配置参数替换接口切换参数时生成的参数；
确定单元，用于将查找到的所述关键标识值所标记的线程确定为目标线程。
本发明实施例提供了一种基于接口切换的数据查询装置，与现有技术相比，本发明实施例通过当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中，实现利用闲置空间预先完成接口切换，从而在进行大量接口查询时，降低系统压力，并以接口自动完成切换查询方式，减少人力更新接口的资源浪费，从而提高数据接口进行数据查询的效率。
根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于接口切换的数据查询方法。
图7示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。
如图7所示，该计算机设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述基于接口切换的数据查询方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；
若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；
输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于接口切换的数据查询方法，其特征在于，包括：
当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；
若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；
输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中。
2.根据权利要求1所述的方法，其特征在于，所述在缓存线程池中查找与所述数据接口匹配的目标线程之前，所述方法还包括：
当检测到闲置线程时，获取至少一个数据接口的配置信息，所述配置信息包括接口配置参数、接口切换参数；
根据所述接口切换参数替换所述接口配置参数，并调取所述闲置线程执行替换所述接口配置参数后的切换接口的虚拟数据查询操作；
若所述虚拟数据查询操作执行成功，则将所述闲置线程存储至缓存线程池中。
3.根据权利要求1所述的方法，其特征在于，所述根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证包括：
根据已完成训练的高斯混合聚类模型对所述目标数据进行聚类处理，并解析所述请求参数的属性分类；
计算得到所述目标数据的聚类特征与解析得到的属性分类之间的相似度值，并判断所述相似度值是否在预设相似度阈值范围内；
若所述相似度值在预设相似度阈值范围内，则确定所述目标数据通过验证。
4.根据权利要求3所述的方法，其特征在于，所述根据已完成训练的聚类模型对所述目标数据进行聚类处理之前，所述方法还包括：
获取所述目标数据的训练样本集，并配置聚类簇以及高斯分布参数；
在所述训练样本集对高斯混合聚类模型进行训练过程中，当通过所述高斯分布参数统计所述聚类簇的概率时，通过预置权重对所述概率进行概率最大化求解，所述预置权重为基于所述训练样本集的总概率与所述概率之和的比值；
当所述概率最大化求解的误差值为最小值时，完成对所述高斯混合聚类算法的模型训练。
5.根据权利要求1所述的方法，其特征在于，所述输出通过验证的所述目标数据包括：
根据所述参数请求识别进行数据查询的业务方，并判断查询白名单中是否存在所述业务方与所述目标数据之间的查询关系；
若存在查询关系，则向所述业务方输出通过验证的所述目标数据。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
通过所述预设接口库中至少一个数据接口，以离散采样方式获取待查询数据；
解析所述待查询数据的特征属性，并根据所述特征属性确定业务方，所述特征属性用于表征所述待查询数据的存储路径、存储结构；
建立所述业务方与所述待查询数据之间的查询关系，生成查询白名单。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述在缓存线程池中查找与所述数据接口匹配的目标线程包括：
解析所述请求参数中的关键标识项；
从缓存线程池中查找与所述关键标识项匹配的关键标识值，所述关键标识值为基于线程中执行所述数据接口的接口配置参数替换接口切换参数时生成的参数；
将查找到的所述关键标识值所标记的线程确定为目标线程。
8.一种基于接口切换的数据查询装置，其特征在于，包括：
查找模块，用于当响应于数据查询请求后在预设接口库中未查找到与所述数据查询请求中携带的请求参数匹配的数据接口时，在缓存线程池中查找与所述数据接口匹配的目标线程，所述目标线程中存储有执行所述数据接口的接口切换查询操作得到的切换接口；
验证模块，用于若查找到所述目标线程，则调取所述目标线程中的切换接口进行数据查询，并根据查询到目标数据的聚类特征与所述请求参数的属性分类进行相似对比验证；
输出模块，用于输出通过验证的所述目标数据，并当所述目标线程的查询次数到达预设查询阈值时，将所述切换接口确定为所述请求参数匹配的数据接口更新至所述预设接口库中。
9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于接口切换的数据查询方法对应的操作。
10.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于接口切换的数据查询方法对应的操作。
CN202110692648.XA 2021-06-22 2021-06-22 基于接口切换的数据查询方法及装置 Active CN113282630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110692648.XA CN113282630B (zh) 2021-06-22 2021-06-22 基于接口切换的数据查询方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110692648.XA CN113282630B (zh) 2021-06-22 2021-06-22 基于接口切换的数据查询方法及装置

Publications (2)

Publication Number Publication Date
CN113282630A true CN113282630A (zh) 2021-08-20
CN113282630B CN113282630B (zh) 2023-09-26

Family

ID=77285248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110692648.XA Active CN113282630B (zh) 2021-06-22 2021-06-22 基于接口切换的数据查询方法及装置

Country Status (1)

Country Link
CN (1) CN113282630B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793093A (zh) * 2021-08-24 2021-12-14 深圳市前海云途物流有限公司 轨迹查询展示方法、设备及可读存储介质
CN113836405A (zh) * 2021-09-09 2021-12-24 深圳Tcl新技术有限公司 信息查询方法、装置以及计算机可读存储介质
CN114529405A (zh) * 2022-02-24 2022-05-24 发明之家(北京)科技有限公司 一种基于智能交易的信息访问管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134376A (zh) * 2019-05-15 2019-08-16 重庆八戒电子商务有限公司 Html5界面与app界面切换方法、装置、介质和电子设备
CN111831915A (zh) * 2020-07-23 2020-10-27 北京奇艺世纪科技有限公司 响应数据查询请求的方法、装置、电子设备及存储介质
US20200410624A1 (en) * 2019-06-26 2020-12-31 Lyft, Inc. Dynamically adjusting transportation provider pool size
CN112363941A (zh) * 2020-11-13 2021-02-12 平安普惠企业管理有限公司 接口测试方法、装置、计算机设备及存储介质
CN112418874A (zh) * 2020-06-10 2021-02-26 上海哔哩哔哩科技有限公司 数据追溯方法、装置及计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134376A (zh) * 2019-05-15 2019-08-16 重庆八戒电子商务有限公司 Html5界面与app界面切换方法、装置、介质和电子设备
US20200410624A1 (en) * 2019-06-26 2020-12-31 Lyft, Inc. Dynamically adjusting transportation provider pool size
CN112418874A (zh) * 2020-06-10 2021-02-26 上海哔哩哔哩科技有限公司 数据追溯方法、装置及计算机设备
CN111831915A (zh) * 2020-07-23 2020-10-27 北京奇艺世纪科技有限公司 响应数据查询请求的方法、装置、电子设备及存储介质
CN112363941A (zh) * 2020-11-13 2021-02-12 平安普惠企业管理有限公司 接口测试方法、装置、计算机设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793093A (zh) * 2021-08-24 2021-12-14 深圳市前海云途物流有限公司 轨迹查询展示方法、设备及可读存储介质
CN113793093B (zh) * 2021-08-24 2024-04-26 深圳市前海云途物流有限公司 轨迹查询展示方法、设备及可读存储介质
CN113836405A (zh) * 2021-09-09 2021-12-24 深圳Tcl新技术有限公司 信息查询方法、装置以及计算机可读存储介质
CN113836405B (zh) * 2021-09-09 2024-03-12 深圳Tcl新技术有限公司 信息查询方法、装置以及计算机可读存储介质
CN114529405A (zh) * 2022-02-24 2022-05-24 发明之家(北京)科技有限公司 一种基于智能交易的信息访问管理方法及系统
CN114529405B (zh) * 2022-02-24 2022-11-15 发明之家(北京)科技有限公司 一种基于智能交易的信息访问管理方法及系统

Also Published As

Publication number Publication date
CN113282630B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US12073298B2 (en) Machine learning service
US10877974B2 (en) Statistical identification of instances during reconciliation process
US11379755B2 (en) Feature processing tradeoff management
US20230409835A1 (en) Discovering a semantic meaning of data fields from profile data of the data fields
US11526799B2 (en) Identification and application of hyperparameters for machine learning
US10318882B2 (en) Optimized training of linear machine learning models
US11182691B1 (en) Category-based sampling of machine learning data
CN113282630B (zh) 基于接口切换的数据查询方法及装置
US9886670B2 (en) Feature processing recipes for machine learning
US10339465B2 (en) Optimized decision tree based models
US8972336B2 (en) System and method for mapping source columns to target columns
US11500830B2 (en) Learning-based workload resource optimization for database management systems
US20150379429A1 (en) Interactive interfaces for machine learning model evaluations
US20150379428A1 (en) Concurrent binning of machine learning data
US11120031B2 (en) Automatic indexing of relevant domains in a data lake for data discovery and integration
CN113626241B (zh) 应用程序的异常处理方法、装置、设备及存储介质
US11514054B1 (en) Supervised graph partitioning for record matching
US11669428B2 (en) Detection of matching datasets using encode values
WO2022156086A1 (zh) 人机交互方法、装置、设备及存储介质
US11615064B2 (en) Data management configuration tuning through link preference detection
US20230061914A1 (en) Rule based machine learning for precise fraud detection
JP2017068758A (ja) 検索制御プログラム、検索制御方法および検索サーバ装置
CN116843291A (zh) 一种交易数据校验方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant