CN113590603A - 基于数据源智能选择的数据处理方法、装置、设备及介质 - Google Patents

基于数据源智能选择的数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN113590603A
CN113590603A CN202110874678.2A CN202110874678A CN113590603A CN 113590603 A CN113590603 A CN 113590603A CN 202110874678 A CN202110874678 A CN 202110874678A CN 113590603 A CN113590603 A CN 113590603A
Authority
CN
China
Prior art keywords
data source
data
information
normal
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110874678.2A
Other languages
English (en)
Inventor
肖甜
徐从洋
刘大航
杨忱宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weikun Shanghai Technology Service Co Ltd
Original Assignee
Weikun Shanghai Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weikun Shanghai Technology Service Co Ltd filed Critical Weikun Shanghai Technology Service Co Ltd
Priority to CN202110874678.2A priority Critical patent/CN113590603A/zh
Publication of CN113590603A publication Critical patent/CN113590603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于数据源智能选择的数据处理方法、装置、设备及介质，方法包括：若接收到所输入的数据源信息，根据模型构建规则构建数据源质量评分模型，获取数据源信息中每一数据源的基础评价信息并输入数据源质量评分模型进行处理得到每一数据源的质量评分，根据质量评分设置每一数据源的优先级，若接收到客户端输入的指标计算请求信息，根据检测探针从数据源中获取正常数据源，基于正常数据源的优先级对指标计算请求信息包含的指标进行计算处理得到指标值。本发明属于集群计算技术领域，可智能化获取每一数据源的质量评分并配置优先级，从而实现了基于数据源的质量灵活选择并切换所需计算的指标对应的数据源，大幅提高了所得到的指标值的质量。

Description

基于数据源智能选择的数据处理方法、装置、设备及介质
技术领域
本发明涉及集群计算技术领域，属于智慧城市中对数据源进行智能选择并进行计算处理以获取相应计算结果的应用场景，尤其涉及一种基于数据源智能选择的数据处理方法、装置、设备及介质。
背景技术
随着互联网大数据平台及技术的提升，各专业行业领域对大数据领域的业务数据应用需求日益激增。在构建每个领域的指标体系的过程中，由于单一的数据源无法满足指标计算，因此需要定期从多个数据源中获取相应的数据进行指标值的计算，但是多个数据源的数据由于提供的时间具有较大的差别，同时每个数据源提供的数据的质量也不同，导致上层业务数据处理层在进行指标计算时，无法灵活的在多个数据源中进行切换，计算得到的指标值的时效性不强、准确性不高，从而导致最终得到的指标值的质量较差。
发明内容
本发明实施例提供了一种基于数据源智能选择的数据处理方法、装置、设备及介质，旨在解决现有技术方法中对指标值进行计算时所存在的质量较差的问题。
第一方面，本发明实施例提供了一种基于数据源智能选择的数据处理方法，其包括：
若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型；
根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息；
将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分；
根据每个所述数据源的质量评分设置每个所述数据源的优先级；
若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源；
根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
第二方面，本发明实施例提供了一种基于数据源智能选择的数据处理装置，其包括：
评分模型构建单元，用于若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型；
基础评价信息获取单元，用于根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息；
质量评分获取单元，用于将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分；
优先级设置单元，用于根据每个所述数据源的质量评分设置每个所述数据源的优先级；
正常数据源获取单元，用于若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源；
指标值获取单元，用于根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于数据源智能选择的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于数据源智能选择的数据处理方法。
本发明实施例提供了一种基于数据源智能选择的数据处理方法、装置、设备及介质。若接收到所输入的数据源信息，根据模型构建规则构建数据源质量评分模型，获取数据源信息中每一数据源的基础评价信息并输入数据源质量评分模型进行处理，得到每一数据源的质量评分，根据质量评分设置每一数据源的优先级，若接收到客户端输入的指标计算请求信息，根据检测探针从数据源中获取正常数据源，并基于正常数据源的优先级对指标计算请求信息包含的指标进行计算处理得到对应的指标值。通过上述方法，可智能化获取每一数据源的质量评分并配置相应优先级，从而实现了基于数据源的质量灵活选择并切换所需计算的指标对应的数据源，大幅提高了所计算得到的指标值的质量。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于数据源智能选择的数据处理方法的流程示意图；
图2为本发明实施例提供的基于数据源智能选择的数据处理方法的应用场景示意图；
图3为本发明实施例提供的基于数据源智能选择的数据处理方法的子流程示意图；
图4为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
图5为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
图6为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
图7为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
图8为本发明实施例提供的基于数据源智能选择的数据处理方法的另一子流程示意图；
图9为本发明实施例提供的基于数据源智能选择的数据处理装置的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1及图2，图1是本发明实施例提供的基于数据源智能选择的数据处理方法的流程示意图；图2为本发明实施例提供的基于数据源智能选择的数据处理方法的应用场景示意图；该基于数据源智能选择的数据处理方法应用于管理服务器10中，该基于数据源智能选择的数据处理方法通过安装于管理服务器10中的应用软件进行执行，管理服务器10与至少一台客户端20建立网络连接以实现数据信息的传输，客户端20的使用者即为用户，管理服务器10即是用于接收来自客户端的指标计算请求信息并智能化选择相应数据源以计算得到指标值的服务器端，如企业或政府部门所构建的服务器，客户端20即是用于供用户进行使用并可与管理服务器10进行数据交互的终端设备，如台式电脑、笔记本电脑、平板电脑或手机等。如图1所示，该方法包括步骤S110～S160。
S110、若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型。
若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型。其中，数据源信息可由管理服务器的管理员进行输入，数据源信息中可包含每一数据源对应的接口信息，数据源的接口信息可采用URL链接进行表示，通过接口信息即可调用相应接口，例如接口可用是企业或政府部门所配置的数据源集群所提供的终端接口，则通过数据源的接口信息调用相应数据源的接口，即可从相应数据源获取对应的数据信息。历史数据计算日志即为管理服务器中预先存储的基于数据源中数据信息进行计算的历史记录信息。接收到数据源信息后，可首先根据模型构建规则及预存的历史数据计算日志构建数据源质量评分模型，模型构建规则即为管理服务器中预先配置的用于对数据源相关的信息进行提取的模板，模型构建规则中包含多个信息提取项，可基于模型构建规则中包含的多个信息提取项及预存的历史数据计算日志构建对应的数据源质量评分模型。
在一实施例中，如图3所示，步骤S110包括子步骤S111、S112、S113、S114和S115。
S111、根据所述模型构建规则中的信息提取项及所述历史数据计算日志构建与所述信息提取项对应的判断矩阵；S112、对所述判断矩阵中每一列向量进行归一化处理，得到归一化处理后的判断矩阵；S113、将所述归一化处理后的判断矩阵的各行进行相加，得到权重向量；S114、对所述权重向量进行归一化处理，得到与每一所述信息提取项对应的权重值；S115、根据所述权重值对初始数据源质量评分模型进行参数配置以构建得到对应的数据源质量评分模型。
具体的，历史数据计算日志中包含每一历史指标计算值计算的过程中每一提取项的贡献度，模型构建规则中可包含精确度、有效比例以及时效度三个信息提取项，则可基于上述三个信息提取项从历史数据计算日志中获取每一历史指标计算值在三个信息提取项中的贡献度，每一历史指标对应包含一个或多个历史指标计算值，则可基于历史指标计算值统计每一历史指标的计算次数，并基于每一历史指标计算值的计算次数占比，对三个信息提取项中的贡献度进行加权计算，得到三个信息提取项的综合贡献度。可基于所得到的三个信息提取项的综合贡献度对应构建得到判断矩阵。
所得到的判断矩阵为用于表征所述精确度、所述有效比例以及所述时效度之间的重要性排序的向量矩阵，通过对所述判断矩阵所包含的向量值进行相应的处理，便可得到每个所述数据源的精确度、有效比例以及时效度在所述数据源质量评分模型中的权重。
在构建判断矩阵的过程中，采用两两比较的方法，并运用相对尺度进行标记，以确定不同要素对应的重要性评级，可基于三个信息提取项的综合贡献度对要素进行重要性评级。两个信息提取项的对比即构成判断矩阵中的一个要素，所得到的判断矩阵需满足以下要求：(1)aij＞0；(2)aji＝1/aij，(i，j＝1、2、3、.....n)，其中，aij为标度，aji为判断矩阵中的元素，aij值的大小标度含义如表1所示，标度即是与重要性评级向关联的数值，所得到的多个标度进行组合即可构成判断矩阵，则判断矩阵中包含的每一标度即构成该判断矩阵中的一个向量值。
Figure BDA0003190167920000061
表1
在本实施例中，通过对所述判断矩阵中每一列的向量进行归一化处理，便可使得所述判断矩阵中每个元素均落于0-1之间，然后将归一化处理后的判断矩阵的各行进行相加，得到每个所述数据源的精确度、有效比例以及时效度的权重向量，最后对每个所述数据源的精确度、有效比例以及时效度的权重向量进行归一化，便可得到每个所述数据源的精确度、有效比例以及时效度的权重。初始数据源质量评分模型中包含与精确度、有效比例以及时效度三个信息提取项对应的参数，则可根据获取到的权重值对初始数据源质量评分模型中三个信息提取项的参数分别进行配置，进行参数配置后即可得到所构建的数据源质量评分模型。
在一实施例中，如图4所示，步骤S115之后还包括步骤S116、S117和S118。
S116、计算所述判断矩阵的最大特征根；S117、根据所述最大特征根对所述判断矩阵进行一致性校验，以得到所述数据源质量评分模型是否验证通过的校验结果。
具体的，所述一致性校验是每个所述数据源的精确度、有效比例以及时效度的权重能否运用于后续分析的前提和基础。每个所述数据源的精确度、有效比例以及时效度的判断矩阵只有通过所述一致性校验，才能运用每个所述数据源的精确度、有效比例以及时效度的权重对每个所述数据源进行进一步的评价。所述判断矩阵的一致性校验的公式为：
Figure BDA0003190167920000062
其中n为判断矩阵的阶数，λmax为判断矩阵的最大特征根。当CI等于0时，则所述判断矩阵具有完全一致性；当CI不等于时，计算所述判断矩阵的检验系数并根据所述检验系数判断所述判断矩阵是否具有一致性；若所述检验系数小于0.1，则所述判断矩阵具有一致性；若大于0.1，则所述判断矩阵不具有一致性。所述检验系数的计算公式为：
Figure BDA0003190167920000071
其中，RI为随机一致性指标，CR为检验系数。
S118、若所述校验结果为不通过，反馈数据源质量评分模型校验不通过的提示信息。
若校验结果为通过，则继续执行后续步骤，也即是继续执行步骤S120，若校验结果为不通过，则可向管理服务器的管理员反馈数据源质量评分模型校验不通过的提示信息。
S120、根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息。
根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息，具体的，所述基础评价信息包括精确度、有效比例及时效度。其中，精确度可用于对每个数据源的数据信息与基准数据之间的接近程度进行表征，有效比例可用于对每个数据源的数据能有效应用于指标计算的比例值进行表征，时效度可用于对每个数据源在预设时间内用于指标计算的时效性进行表征。
在一实施例中，如图5所示，步骤S120包括子步骤S121、S122和S123。
S121、计算预设时间内每一所述数据源的目标数据与所述模型构建规则中基准数据之间的重合度，得到每一所述数据源的精确度。
模型构建规则中配置有预设时间及基准数据，在本实施例中，预设时间可以是某一时间范围之内，如10分钟以内，模型构建规则中的基准数据为上层数据处理层进行指标计算后可达到预设期望的期望数据，每个数据源的目标数据为预设时间内每个所述数据源中实际用于上层数据处理层进行指标计算的数据。由于每个数据源中的数据均用于预设指标体系的指标计算，因此可以通过统计预设时间内每个所述数据源的目标数据中的指标数量和所述基准数据中指标数量，以获取每个所述数据源中指标的数量在所述基准数据中的占比，便可得到每个所述数据源的精确度。
例如，某一数据源的目标数据中包含15个指标数量，基准数据中包含25个指标数量，则该数据源的精确度为60％。
S122、计算每一所述数据源的目标数据中有效参数值的占比，得到每一所述数据源的有效比例。
模型构建规则中还配置有数据范围，具体的，有效参数值为预设时间内每个数据源的目标数据中可用于指标计算的数据量的占比，可对每一数据源的目标数据中包含的数值是否位于数据范围内进行判断，以获取位于数据范围内的数值，位于数据范围内的数值即可判断为有效数值，并计算每一数据源的有效数值与相应数据源的目标数据总数值之间的比值，得到每一数据源的有效比例。
S123、计算每一所述数据源的目标数据与所述模型构建规则中基准数据的时间戳之间的时间差，得到每一所述数据源的时效度。
模型构建规则的基准数据中还配置有时间戳，管理服务器中还配置有数据库，数据库即为对基准数据集每一数据源的目标数据进行存储的数据库。时间戳即为基准数据存储至数据库中的时间信息，可计算数据源的目标数据存储至数据库的平均时间与基准数据的时间戳之间的时间差，将所得到的时间差作为相应数据源的时效度。则通过上述方法可计算得到每一数据源的时效度。
S130、将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分。
数据源质量评分模型为预先制定并用于对每个所述数据源进行质量评价的具体模型，所述质量评分为用于表征所述每个所述数据源的质量。其中，将每个所述数据源的精确度、有效比例以及时效度输入至预置的数据源质量评分模型中之前，需对每个所述数据源的精确度、有效比例以及时效度进行归一化处理，以使得每个所述数据源的精确度、有效比例以及时效度处于同一维度，以便于对每个所述数据源进行定量分析。所述数据源质量评分模型所输出的质量评分可采用以下公式进行表示：L＝a1×H1+a2×H2+a3×H3；其中，a1、a2、a3分别为每个所述数据源的精确度、有效比例以及时效度，H1、H2、H3为对应的权重。
S140、根据每个所述数据源的质量评分设置每个所述数据源的优先级。
在本实施例中，所述优先级包括第一优先级和第二优先级，其中所述第一优先级的等级高于所述第二优先级，所述数据源质量评分模型输出每个所述数据源的质量评分后，判断每个所述数据源的质量评分是否高于预设阈值，若高于所述预设阈值，则将该数据源的等级设置为第一优先级，若低于所述预设阈值，则将该数据源的等级设置为第二优先级。通过所述预设阈值确定每个所述数据源的优先级后，在预设的配置文件中设置每个所述所数据源的Key值，通过所述Key值表征每个所述数据源的优先级。所述配置文件保存至预设的配置中心系统中，所述配置中心系统通过Spring Cloud技术构建并并入相应的jar包，可通过直接使用方法来获取所述配置文件中每个所述数据源的Key值，通过解析所述配置文件中的Key值便可得到每个所述数据源的优先级。
S150、若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源。
指标计算请求信息中配置有具体的指标，指标计算请求信息为在管理服务器中所配置的上层数据处理层中对相应指标对应的数据进行计算的请求信息，上层数据处理层为用于对指标对应的数据进行计算以获取指标值的数据层，管理服务器在接收到对指标计算请求信息后，可通过预设的检测探针在所配置的数据库中进行扫描，以将存储在该数据库中与相应指标对应的数据发送给上层数据处理层，通过上层数据处理层对指标对应的数据进行计算，便可得到与指标计算请求信息对应的指标值。
在更具体的实施例中，如图6所示，步骤S150包括子步骤S151和S152。
S151、根据所述检测探针对每个所述数据源进行检测，得到每个所述数据源的状态信息；S152、根据所述状态信息确定所述数据源信息对应的多个数据源中正常数据源。
具体的，所述状态信息为每个所述数据源在预设时间内到达所述预设数据库的数据信息，所述状态信息包括未同步、同步成功、同步失败三个状态，每个所述数据源的状态信息均通过预设的状态流转机进行设置，每个所述数据源在到达所述预设数据库中后，所述状态流转机判断该数据源是否同步成功，若同步成功，所述状态流转机将该数据源的状态信息调整为同步成功的状态，若未同步，则所述状态流转机将该数据源的状态信息调整为未同步的状态，若同步失败，则所述状态流转机将该数据源的状态信息调整为同步失败的状态。所述检测探针在检测每个所述数据源的状态信息后，便可得到所述数据源信息对应的多个数据源中正常数据源，通过正常数据源所对应的数据进行所述指标的计算，便可得到所述指标的指标值。
S160、根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
具体的，经筛选得到的正常数据源中至少包含一个数据源，所述正常数据源所配置的优先级可以是第一优先级或第二优先级。通过获取每一正常数据源的优先级，然后根据每个正常数据源的优先级获取相应数据进行计算，即可得到与指标计算请求信息中的指标对应的计算值。
在更具体的实施例中，如图7所示，步骤S160包括子步骤S161、S162、S163和S164。
S161、判断所述正常数据源中是否包含优先级为第一优先级的正常数据源；S162、若包含第一优先级的正常数据源，获取所述第一优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；S163、若不包含第一优先级的正常数据源；获取优先级为第二优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；S164、根据所述指标对应的计算式对待计算数据进行计算，得到与所述指标对应的指标值。
可根据正常数据源的优先级获取第一优先级的正常数据源，并判断第一优先级的正常数据源是否为一个，若为一个，则直接获取该正常数据源存储在数据库中的数据作为待计算数据进行计算；若第一优先级的正常数据源为多个，则获取存储时间最新的正常数据源对应的数据作为待计算数据进行计算，存储时间即为数据源的数据存储至管理服务器中所配置的数据库中的时间信息；若第一优先级的正常数据源为零个，则获取获取优先级为第二优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据。管理服务器中还配置有与每一指标分别对应的计算式，计算式可以是采用SQL语言编辑得到的SQL语句，SQL语句即为预先编辑好且可用于在上层数据处理层中对数据进行的程序语言。所述指标既可以为基础指标，也可以为衍生指标，其中衍生指标由多个基础指标根据预设的运算规则得到。
在更具体的实施例中，如图8所示，步骤S164之后还包括步骤S165。
S165、若所述检测探针检测到所述数据源信息对应的多个数据源中异常数据源恢复正常，根据所述异常数据源恢复正常的时间戳更新所述异常数据源的优先级。
具体的，检测探针定期对每个数据源的状态信息进行检测，当多个数据源中的异常数据源恢复正常后，该异常数据源的状态信息则被状态流转机设置为同步成功的状态信息，所述检测探针在检测到多个数据源中异常数据源恢复正常后，通过所述异常数据源恢复正常的时间戳更新所述异常数据的时效度，然后根据所述异常数据的时效度更新所述异常数据的优先级。
本申请可应用于智慧政务/智慧城管/智慧社区/智慧安防/智慧物流/智慧医疗/智慧教育/智慧环保/智慧交通等对数据源进行智能选择并进行计算处理以获取相应计算结果的场景中，从而推动智慧城市的建设。
在本发明实施例所提供的基于数据源智能选择的数据处理方法中，若接收到所输入的数据源信息，根据模型构建规则构建数据源质量评分模型，获取数据源信息中每一数据源的基础评价信息并输入数据源质量评分模型进行处理，得到每一数据源的质量评分，根据质量评分设置每一数据源的优先级，若接收到客户端输入的指标计算请求信息，根据检测探针从数据源中获取正常数据源，并基于正常数据源的优先级对指标计算请求信息包含的指标进行计算处理得到指标值。通过上述方法，可智能化获取每一数据源的质量评分并配置相应优先级，从而实现了基于数据源的质量灵活选择并切换所需计算的指标对应的数据源，大幅提高了所计算得到的指标值的质量。
本发明实施例还提供一种基于数据源智能选择的数据处理装置，该基于数据源智能选择的数据处理装置用于执行前述的基于数据源智能选择的数据处理方法的任一实施例，具体地，请参阅图9，图9为本发明实施例提供的基于数据源智能选择的数据处理装置的示意性框图。
如图9所示，基于数据源智能选择的数据处理装置100包括评分模型构建单元110、基础评价信息获取单元120、质量评分获取单元130、优先级设置单元140、正常数据源获取单元150和指标值获取单元160。
评分模型构建单元110，用于若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型。
在一实施例中，所述评分模型构建单元110包括子单元：判断矩阵构建单元，用于根据所述模型构建规则中的信息提取项及所述历史数据计算日志构建与所述信息提取项对应的判断矩阵；归一化处理单元，用于对所述判断矩阵中每一列向量进行归一化处理，得到归一化处理后的判断矩阵；权重向量获取单元，用于将所述归一化处理后的判断矩阵的各行进行相加，得到权重向量；权重值获取单元，用于对所述权重向量进行归一化处理，得到与每一所述信息提取项对应的权重值；参数配置单元，用于根据所述权重值对初始数据源质量评分模型进行参数配置以构建得到对应的数据源质量评分模型。
在一实施例中，所述评分模型构建单元110还包括子单元：最大特征根计算单元，用于计算所述判断矩阵的最大特征根；模型验证单元，用于根据所述最大特征根对所述判断矩阵进行一致性校验，以得到所述数据源质量评分模型是否验证通过的校验结果；提示信息反馈单元，用于若所述校验结果为不通过，反馈数据源质量评分模型校验不通过的提示信息。
基础评价信息获取单元120，用于根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息。
在一实施例中，所述基础评价信息获取单元120包括子单元：精确度获取单元，用于计算预设时间内每一所述数据源的目标数据与所述模型构建规则中基准数据之间的重合度，得到每一所述数据源的精确度；有效比例获取单元，用于计算每一所述数据源的目标数据中有效参数值的占比，得到每一所述数据源的有效比例；时效度获取单元，用于计算每一所述数据源的目标数据与所述模型构建规则中基准数据的时间戳之间的时间差，得到每一所述数据源的时效度。
质量评分获取单元130，用于将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分。
优先级设置单元140，用于根据每个所述数据源的质量评分设置每个所述数据源的优先级。
正常数据源获取单元150，用于若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源。
在一实施例中，所述正常数据源获取单元150包括子单元：状态信息获取单元，用于根据所述检测探针对每个所述数据源进行检测，得到每个所述数据源的状态信息；正常数据源确定单元，用于根据所述状态信息确定所述数据源信息对应的多个数据源中正常数据源。
指标值获取单元160，用于根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
在一实施例中，所述指标值获取单元160包括子单元：优先级判断单元，用于判断所述正常数据源中是否包含优先级为第一优先级的正常数据源；第一待计算数据获取单元，用于若包含第一优先级的正常数据源，获取所述第一优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；第二待计算数据获取单元，用于若不包含第一优先级的正常数据源；获取优先级为第二优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；数据计算单元，用于根据所述指标对应的计算式对待计算数据进行计算，得到与所述指标对应的指标值。
在一实施例中，所述指标值获取单元160还包括子单元：优先级更新单元，用于若所述检测探针检测到所述数据源信息对应的多个数据源中异常数据源恢复正常，根据所述异常数据源恢复正常的时间戳更新所述异常数据源的优先级。
在本发明实施例所提供的基于数据源智能选择的数据处理装置应用上述基于数据源智能选择的数据处理方法，若接收到所输入的数据源信息，根据模型构建规则构建数据源质量评分模型，获取数据源信息中每一数据源的基础评价信息并输入数据源质量评分模型进行计算，得到每一数据源的质量评分，根据质量评分设置每一数据源的优先级，若接收到客户端输入的指标计算请求信息，根据检测探针从数据源中获取正常数据源，并基于正常数据源的优先级对指标计算请求信息包含的指标进行计算得到指标值。通过上述方法，可智能化获取每一数据源的质量评分并配置相应优先级，从而实现了基于数据源的质量灵活选择并切换所需计算的指标对应的数据源，大幅提高了所计算得到的指标值的质量。
上述基于数据源智能选择的数据处理装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备可以是用于执行基于数据源智能选择的数据处理方法以对数据源进行智能选择并进行计算以获取相应计算结果的管理服务器。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于数据源智能选择的数据处理方法，其中，存储介质503可以为易失性的存储介质或非易失性的存储介质。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于数据源智能选择的数据处理方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上述的基于数据源智能选择的数据处理方法中对应的功能。
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为易失性或非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现上述的基于数据源智能选择的数据处理方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，管理服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于数据源智能选择的数据处理方法，其特征在于，所述方法应用于管理服务器中，所述管理服务器与至少一台客户端建立网络连接以实现数据信息的传输，所述方法包括：
若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志及预存的历史数据计算日志构建对应的数据源质量评分模型；
根据所述模型构建规则包含的信息提取项从所述数据源信息中获取每一数据源对应的基础评价信息；
将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分；
根据每个所述数据源的质量评分设置每个所述数据源的优先级；
若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源；
根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
2.根据权利要求1所述的基于数据源智能选择的数据处理方法，其特征在于，所述根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型，包括：
根据所述模型构建规则中的信息提取项及所述历史数据计算日志构建与所述信息提取项对应的判断矩阵；
对所述判断矩阵中每一列向量进行归一化处理，得到归一化处理后的判断矩阵；
将所述归一化处理后的判断矩阵的各行进行相加，得到权重向量；
对所述权重向量进行归一化处理，得到与每一所述信息提取项对应的权重值；
根据所述权重值对初始数据源质量评分模型进行参数配置以构建得到对应的数据源质量评分模型。
3.根据权利要求2所述的基于数据源智能选择的数据处理方法，其特征在于，所述根据所述权重值对初始数据源质量评分模型进行参数配置以构建得到对应的数据源质量评分模型之后，还包括：
计算所述判断矩阵的最大特征根；
根据所述最大特征根对所述判断矩阵进行一致性校验，以得到所述数据源质量评分模型是否验证通过的校验结果；
若所述校验结果为不通过，反馈数据源质量评分模型校验不通过的提示信息。
4.根据权利要求1所述的基于数据源智能选择的数据处理方法，其特征在于，所述基础评价信息包括精确度、有效比例及时效度，所述根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息，包括：
计算预设时间内每一所述数据源的目标数据与所述模型构建规则中基准数据之间的重合度，得到每一所述数据源的精确度；
计算每一所述数据源的目标数据中有效参数值的占比，得到每一所述数据源的有效比例；
计算每一所述数据源的目标数据与所述模型构建规则中基准数据的时间戳之间的时间差，得到每一所述数据源的时效度。
5.根据权利要求1所述的基于数据源智能选择的数据处理方法，其特征在于，所述根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源，包括：
根据所述检测探针对每个所述数据源进行检测，得到每个所述数据源的状态信息；
根据所述状态信息确定所述数据源信息对应的多个数据源中的正常数据源。
6.根据权利要求1所述的基于数据源智能选择的数据处理方法，其特征在于，所述根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值，包括：
判断所述正常数据源中是否包含优先级为第一优先级的正常数据源；
若包含第一优先级的正常数据源，获取所述第一优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；
若不包含第一优先级的正常数据源；获取优先级为第二优先级的正常数据源中存储时间最新的一个正常数据源对应的数据作为待计算数据；
根据所述指标对应的计算式对待计算数据进行计算，得到与所述指标对应的指标值。
7.根据权利要求6所述的基于数据源智能选择的数据处理方法，其特征在于，所述根据所述指标对应的计算式对待计算数据进行计算，得到与所述指标对应的指标值之后，还包括：
若所述检测探针检测到所述数据源信息对应的多个数据源中异常数据源恢复正常，根据所述异常数据源恢复正常的时间戳更新所述异常数据源的优先级。
8.一种基于数据源智能选择的数据处理装置，其特征在于，包括：
评分模型构建单元，用于若接收到所输入的数据源信息，根据预置的模型构建规则及预存的历史数据计算日志构建对应的数据源质量评分模型；
基础评价信息获取单元，用于根据所述模型构建规则从所述数据源信息中获取每一数据源对应的基础评价信息；
质量评分获取单元，用于将每一所述数据源的基础评价信息输入至所述数据源质量评分模型进行处理，得到每一所述数据源的质量评分；
优先级设置单元，用于根据每个所述数据源的质量评分设置每个所述数据源的优先级；
正常数据源获取单元，用于若接收到所述客户端输入的指标计算请求信息，根据预设的检测探针对每个所述数据源是否正常进行检测，以根据检测结果获取其中的正常数据源；
指标值获取单元，用于根据所述正常数据源的优先级对所述指标计算请求信息中包含的指标进行计算，得到所述指标的指标值。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于数据源智能选择的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于数据源智能选择的数据处理方法。
CN202110874678.2A 2021-07-30 2021-07-30 基于数据源智能选择的数据处理方法、装置、设备及介质 Pending CN113590603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110874678.2A CN113590603A (zh) 2021-07-30 2021-07-30 基于数据源智能选择的数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110874678.2A CN113590603A (zh) 2021-07-30 2021-07-30 基于数据源智能选择的数据处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113590603A true CN113590603A (zh) 2021-11-02

Family

ID=78252929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110874678.2A Pending CN113590603A (zh) 2021-07-30 2021-07-30 基于数据源智能选择的数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113590603A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968408A (zh) * 2022-05-31 2022-08-30 中国船舶重工集团公司第七0七研究所 一种可配置的船用多源多通道信息筛选的系统及方法
CN115022255A (zh) * 2022-06-01 2022-09-06 智道网联科技(北京)有限公司 数据处理方法及装置、车载终端及自动驾驶系统
CN117082006A (zh) * 2023-08-22 2023-11-17 广东中山网传媒信息科技有限公司 一种基于大数据的客户端的数据源切换方法
CN117082151A (zh) * 2023-07-31 2023-11-17 中移互联网有限公司 多数据源的调用方法、装置及存储介质
CN117082151B (zh) * 2023-07-31 2024-09-24 中移互联网有限公司 多数据源的调用方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916272A (zh) * 2010-08-10 2010-12-15 南京信息工程大学 用于深层网数据集成的数据源选择方法
US20160078361A1 (en) * 2014-09-11 2016-03-17 Amazon Technologies, Inc. Optimized training of linear machine learning models
CN112749164A (zh) * 2020-12-30 2021-05-04 北京知因智慧科技有限公司 数据质量分析方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916272A (zh) * 2010-08-10 2010-12-15 南京信息工程大学 用于深层网数据集成的数据源选择方法
US20160078361A1 (en) * 2014-09-11 2016-03-17 Amazon Technologies, Inc. Optimized training of linear machine learning models
CN112749164A (zh) * 2020-12-30 2021-05-04 北京知因智慧科技有限公司 数据质量分析方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968408A (zh) * 2022-05-31 2022-08-30 中国船舶重工集团公司第七0七研究所 一种可配置的船用多源多通道信息筛选的系统及方法
CN115022255A (zh) * 2022-06-01 2022-09-06 智道网联科技(北京)有限公司 数据处理方法及装置、车载终端及自动驾驶系统
CN117082151A (zh) * 2023-07-31 2023-11-17 中移互联网有限公司 多数据源的调用方法、装置及存储介质
CN117082151B (zh) * 2023-07-31 2024-09-24 中移互联网有限公司 多数据源的调用方法、装置及存储介质
CN117082006A (zh) * 2023-08-22 2023-11-17 广东中山网传媒信息科技有限公司 一种基于大数据的客户端的数据源切换方法
CN117082006B (zh) * 2023-08-22 2024-03-19 广东中山网传媒信息科技有限公司 一种基于大数据的客户端的数据源切换方法

Similar Documents

Publication Publication Date Title
CN109961086B (zh) 基于聚类和sse的异常点比例优化方法及装置
CN113590603A (zh) 基于数据源智能选择的数据处理方法、装置、设备及介质
Kingrani et al. Estimating the number of clusters using diversity
Mitchell et al. Bayesian model selection with BAMM: effects of the model prior on the inferred number of diversification shifts
CN108833458A (zh) 一种应用推荐方法、装置、介质及设备
US20090228233A1 (en) Rank-based evaluation
CN111461180A (zh) 样本分类方法、装置、计算机设备及存储介质
CN110287219B (zh) 一种数据处理方法及系统
CN107193915A (zh) 一种企业信息分类方法及装置
WO2022126975A1 (zh) 客户信息校验方法、装置、计算机设备及存储介质
CN113297393A (zh) 基于态势感知和大数据的情报生成方法及信息安全系统
CN112541635A (zh) 业务数据统计预测方法、装置、计算机设备及存储介质
CN114116828A (zh) 多维网络指标的关联规则分析方法、设备和存储介质
CN110874744A (zh) 一种数据异常检测方法及装置
Leigh et al. Monte Carlo strategies for selecting parameter values in simulation experiments
US20160042017A1 (en) System Of And Method For Entity Representation Splitting Without The Need For Human Interaction
CN110991785A (zh) 基于文本的指标提取方法、装置、计算机设备及存储介质
CN111581258A (zh) 一种安全数据分析方法、装置、系统、设备及存储介质
CN111079179A (zh) 数据处理方法、装置、电子设备及可读存储介质
CN114780606B (zh) 一种大数据挖掘方法及系统
CN112416988A (zh) 基于人工智能的供求匹配方法、装置及计算机设备
CN112487021B (zh) 业务数据的关联分析方法、装置及设备
CN110633304B (zh) 组合特征筛选方法、装置、计算机设备及存储介质
CN114861800B (zh) 模型训练方法、概率确定方法、装置、设备、介质及产品
CN114238062B (zh) 板卡烧录装置性能分析方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination