CN117009857A - 数据筛选方法、装置、设备、存储介质和产品 - Google Patents

数据筛选方法、装置、设备、存储介质和产品 Download PDF

Info

Publication number
CN117009857A
CN117009857A CN202310996468.XA CN202310996468A CN117009857A CN 117009857 A CN117009857 A CN 117009857A CN 202310996468 A CN202310996468 A CN 202310996468A CN 117009857 A CN117009857 A CN 117009857A
Authority
CN
China
Prior art keywords
sample
sample set
data
initial
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310996468.XA
Other languages
English (en)
Inventor
林鹭晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202310996468.XA priority Critical patent/CN117009857A/zh
Publication of CN117009857A publication Critical patent/CN117009857A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Technology Law (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种数据筛选方法、装置、设备、存储介质和产品，涉及大数据技术领域。该方法包括：配置与初始业务样本数据的目标函数相关联的拟合门限值，根据拟合门限值与初始业务样本数据的样本间距离对初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合，基于集合置换条件对第一候选样本集合中的样本子集与第二候选样本集合中的样本子集进行集合置换，得到对应的目标样本集合，以采用目标样本集合中的样本数据进行业务预测。本发明的技术方案，可在设置拟合门限值的情况下，通过集合置换条件达到最小化目标样本集合的目的，有效降低计算复杂度和计算成本，提升数据样本筛选的精度以及后续业务预测的效果。

Description

数据筛选方法、装置、设备、存储介质和产品
技术领域
本发明实施例涉及大数据技术领域，尤其涉及一种数据筛选方法、装置、设备、存储介质和产品。
背景技术
对于数据样本进行参数训练时，通常需要大量数据样本，然而，过多的数据样本会导致计算成本的大幅度增加，同时也会增加泛化误差水平。现有技术中，在对大量数据样本数据筛选时，通常用到的数据样本筛选技术是主成分分析、聚类分析等等，以实现对关键指标数据的筛选，但是，这种方式计算量复杂且筛选精度低，无法实现对目标函数相关的关键信息度量，同时无法确认对信息样本筛选后，目标函数的信息量是否还符合使用预期，亟需一种数据筛选方式，使得在不降低训练参数精度或在可接受范围内，有效降低计算成本和泛化误差水平。
发明内容
本发明实施例提供一种数据筛选方法、装置、设备、存储介质和产品，用以通过集合置换条件达到最小化目标样本集合的目的，有效降低计算复杂度和计算成本，提升数据样本筛选的精度，在同等条件下有效提高后续业务预测的效果。
第一方面，本发明实施例提供了一种数据筛选方法，包括：
根据预设业务筛选需求配置与初始业务样本数据的目标函数相关联的拟合门限值；
根据所述拟合门限值与所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合；
基于预先配置的集合置换条件对所述第一候选样本集合中的样本子集与所述第二候选样本集合中对应的样本子集进行集合置换，得到对应的目标样本集合，以采用所述目标样本集合中的样本数据进行业务预测；其中，所述预先配置的集合置换条件满足：所述第一候选样本集合中每个样本子集内的第一样本点数大于所述第二候选样本集合中对应样本子集内的第二样本点数，且所述目标样本集合满足所述目标函数相关联的拟合门限值。
第二方面，本发明实施例还提供了一种数据筛选装置，该装置包括：
配置模块，用于根据预设业务筛选需求配置与初始业务样本数据的目标函数相关联的拟合门限值；
分类模块，用于根据所述拟合门限值与所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合；
置换模块，用于基于预先配置的集合置换条件对所述第一候选样本集合中的样本子集与所述第二候选样本集合中对应的样本子集进行集合置换，得到对应的目标样本集合，以采用所述目标样本集合中的样本数据进行业务预测；其中，所述预先配置的集合置换条件满足：所述第一候选样本集合中每个样本子集内的第一样本点数大于所述第二候选样本集合中对应样本子集内的第二样本点数，且所述目标样本集合满足所述目标函数相关联的拟合门限值。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据筛选方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据筛选方法。
第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的数据筛选方法。
本发明实施例中，在设置目标函数相关联的拟合门限值的情况下，通过初始业务样本数据的样本距离和拟合门限值对初始业务样本数据进行分类，并基于预先配置的集合置换条件将分类后的集合进行置换得到目标样本集合，能够在设置拟合门限值的情况下，通过集合置换条件达到最小化目标样本集合的目的，有效降低计算复杂度和计算成本，提升数据样本筛选的精度，在同等条件下有效提高后续业务预测的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明一实施例提供的一种数据筛选方法的流程图；
图2为本发明一实施例提供的又一种数据筛选方法的流程图；
图3为本发明一实施例提供的一种数据筛选装置的结构框图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
在一实施例中，图1为本发明一实施例提供的一种数据筛选方法的流程图，本实施例可适用于对大量的业务样本数据进行筛选以降低业务样本数据时的情况，该方法可以由数据筛选装置来执行，该数据筛选装置可以采用硬件和/或软件的形式实现，该数据筛选装置可配置于电子设备中。
如图1所示，本实施中的数据筛选方法，具体步骤包括：
S110、根据预设业务筛选需求配置与初始业务样本数据的目标函数相关联的拟合门限值。
其中，预设业务筛选需求可以理解为对相关业务样本数据进行业务数据进行筛选时的需求，当然，预设业务筛选需求可以包含多种业务筛选的需求，可以包括但不限于业务管理方面的业务筛选需求和金融行业业务交易方面的筛选需求。
在本实施例中，初始业务样本数据指的是与业务筛选需求相关的原始业务样本数据，该原始业务样本数据为不同时刻所收集到的业务样本数据，可以包括但不限于利率业务样本数据、金融汇率业务样本数据、客户行为相关的业务样本数据。本实施例中，对于不同业务需求对应不同的原始业务样本数据，示例性的，当业务筛选需求为对利率业务样本数据进行筛选时，则初始业务样本数据为预设时间内所收集到的利率业务相关的业务样本数据；当业务筛选需求为对金融汇率业务样本数据进行筛选时，则初始业务样本数据为预设时间内所收集到的金融汇率业务相关的业务样本数据，本实施例在此不做限制。
在本实施例中，目标函数为在预设业务筛选需求的情况下，为初始业务样本数据所配置的目标函数，本实施例中的目标函数可以为似然函数的形式，也可以为其他函数的形式，本实施例在此不做限制。本实施例中，为初始业务样本数据所配置的目标函数对应相应的拟合门限值，该拟合门限值也可以理解为目标函数所对应赤池信息量准则(AkaikeInformation Criterion，AIC)的最小拟合优度指标，可以权衡所估计目标函数的复杂度和此准则拟合数据的优良性。
在本实施例中，由于不同的预设业务筛选需求对应不同的初始业务样本数据，可以选择预设时间段内的初始业务样本数据，并根据预设业务筛选需求对初始业务样本数据构建相应的目标函数，在该目标函数的基础上，选择与该目标函数相匹配的AIC，并得到AIC相关联的拟合门限值，该拟合门限值可以保证在初始业务样本数据筛选精度的基础上，从初始业务样本数据中得到足够少的目标样本数据。需要说明的是，由于不同业务需求在不同时间上的业务样本数据会出现差异，本实施例中在进行原始业务样本数据的筛选时，可以将时间变量作为原始业务样本数据的特征变量，以使得筛选的结果更加精确，在一定程度上提升后续业务预测的精度。
S120、根据拟合门限值与初始业务样本数据的样本间距离对初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合。
其中，样本间距离指的是初始业务样本数据中任意两个样本之间的距离，该样本间距离可以通过欧氏距离、曼哈顿距离、切比雪夫距离和明可夫斯基距离等其中的一种距离公式进行计算得到，本实施例在此不做限制。
在本实施例中，第一候选样本集合也可以称为最少涉及集合，可以理解为依据初始业务样本数据的样本间距离进行分类之后所得到满足拟合门限值条件的候选样本集合。第二候选样本集合也可以称为非最少涉及集合，可以理解为依据初始业务样本数据的样本间距离进行分类之后所得到不满足拟合门限值条件的候选样本集合。当然，第一候选样本集合中可以包括一个或多个样本子集，每个样本子集中包括一个或多个业务样本数据；类似的，第二候选样本集合中也可以包括一个或多个样本子集，每个样本子集中包括一个或多个业务样本数据。
在本实施例中，可以将初始样本数据在不同的空间维度上进行处理，通过预设第一距离公式得到处理后初始业务样本数据的样本间距离，并根据样本间距离和预设聚类算法对该初始样本数据进行相应的聚类分析，得到对应的初始样本集合，在此基础上，根据初始样本集合中的每个样本子集分别所对应的样本集合质心和预设第二距离公式确定处理后初始业务样本数据到各样本集合质心的目标样本间距离，并按照目标样本间距离和拟合门限值从初始样本集合中进行剔除样本子集，并将候选样本集合中未剔除样本子集的ACI值满足拟合门限值的样本集合组成第一候选样本集合，以及将剔除的样本集合组成第二候选样本集合。
S130、基于预先配置的集合置换条件对第一候选样本集合中的样本子集与第二候选样本集合中对应的样本子集进行集合置换，得到对应的目标样本集合，以采用目标样本集合中的样本数据进行业务预测。
其中，集合置换条件指的是预先配置的进行集合置换需要满足的条件，该集合置换条件能够保证在进行集合置换的过程中样本数据减少的同时所得到的目标样本集合满足目标函数相关联的拟合门限值。目标样本集合可以理解为最终所得到的样本集合，可以将该目标样本集合用于后续的业务预测。
在一些实施例中，预先配置的集合置换条件满足：第一候选样本集合中每个样本子集内的第一样本点数大于第二候选样本集合中对应样本子集内的第二样本点数，且目标样本集合满足目标函数相关联的拟合门限值。可以理解为，在进行集合置换时，第一候选样本集合中的样本子集与第二候选样本集合中对应的样本子集满足该集合置换条件的进行样本子集置换，相反的，不满足该集合置换条件的，则不进行样本子集置换。
在本实施例中，可以按照预先设置的排序方式对第一候选样本集合中的每个样本子集与第二候选样本集合中对应的每个样本子集进行排序，得到分别对应的排序后的第一目标样本集合和第二目标样本集合，在排序的基础上，基于预先配置的集合置换条件将第一目标样本集合中的样本子集和第二目标样本集合中的样本子集进行样本集合置换。具体的，可以确定出第一目标样本集合内最远样本集合中的每个样本点与所述最远样本集合质心的距离大于预设第一距离阈值的样本点作为边缘样本点，并确定出第二目标样本集合中最近样本集合中的每个样本点与所述最近样本集合质心的距离小于预设第二距离阈值的样本点作为质心附近点，将边缘样本点对应的样本集合和质心附近点对应的样本集合进行样本集合置换，重复上述样本集合置换的方式直至第一目标样本集合和第二目标样本集合无法进行置换操作，得到目标样本集合。
在本实施例中，所得到的目标样本集合中的样本数据可以用于进行业务预测，业务预测的场景可以包括但不限于利率预测、市场汇率预测、客户行为预测；当然，业务预测的场景与初始业务样本数据相关，示例性的，在业务预测的场景为用于利率预测的情况下，初始业务样本数据为预设时间段内的利率业务样本数据，从利率业务样本数据筛选得到精度高的利率业务数据，后续用于利率预测；在业务预测的场景为用于客户行为预测的情况下，初始业务样本数据为预设时间段内的客户行为对应的业务样本数据，从客户行为业务样本数据筛选得到精度高的业务样本数据，后续用于客户行为预测；本实施例在此不做限制。
本实施例的上述技术方案，在设置目标函数相关联的拟合门限值的情况下，通过初始业务样本数据的样本距离和拟合门限值对初始业务样本数据进行分类，并基于预先配置的集合置换条件将分类后的集合进行置换得到目标样本集合，能够在设置拟合门限值的情况下，通过集合置换条件达到最小化目标样本集合的目的，有效降低计算复杂度和计算成本，提升数据样本筛选的精度，在同等条件下有效提高后续业务预测的效果。
在一实施例中，图2为本发明一实施例提供的又一种数据筛选方法的流程图，本实施例在上述各实施例地基础上，对根据预设业务筛选需求配置与初始业务样本数据的目标函数相关联的拟合门限值；根据拟合门限值与初始业务样本数据的样本间距离对初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合；基于预先配置的集合置换条件对第一候选样本集合中的样本子集与第二候选样本集合中对应的样本子集进行集合置换，得到对应的目标样本集合进行了进一步的细化。
如图2所示，本实施例中的数据筛选方法，具体可以包含如下步骤：
S210、配置初始业务样本数据的目标函数。
在本实施例中，可以通过人为自行构建初始业务样本数据的目标函数，该目标函数中包括初始业务样本数据的样本总量、最终所要达到的目标业务样本数据以及条件参数。为保证筛选的精确性，本发明还引入时间变量。
示例性的，为便于更好的理解目标函数的构建，本实施例中，目标函数用公式可以表示为：目标函数Y＝f(X|θ)，其中，Y表示初始业务样本数据的样本总量，X表示最终所要达到的目标业务样本数据，θ表示条件参数，不失一般性的，可以令时刻t的样本集合At＝{(X1t,Y1t,t),…,(XNtt,YNtt,t)}，其中，N表示维度。
S220、根据预设业务筛选需求确定目标函数的似然值。
其中，似然值可以表征目标函数的似然值水平，一般而言，预设业务筛选需求涉及金融交易的情况下，目标函数的似然值水平相对较高；预设业务筛选需求涉及业务管理的情况下，目标函数的似然值水平相对较低，可以理解为，目标函数的似然值水平与预设业务筛选需求相关，可以根据预设业务筛选需求进行设置，本实施例在此不做限制。
S230、根据似然值以及与目标函数相匹配的AIC确定对应的拟合门限值。
其中，AIC可以理解为衡量目标函数拟合优良性的一种标准，可以权衡目标函数的复杂度和AIC拟合数据的优良性，用公式可以表示为AIC＝2·k-2·ln(Y)，其中，Y表示目标函数，即为似然函数。
在本实施例中，选择目标函数相匹配的AIC，可以依据目标函数的似然值以及与目标函数相匹配的AIC，确定对应的拟合门限值，示例性的，目标函数的似然值为C，则拟合门限值可以表示为C乘AIC，该拟合门限值为初始业务样本数据筛选时的最低拟合门限值。
S240、根据初始业务样本数据的样本间距离对初始业务样本数据进行分类，得到对应的初始样本集合。
其中，初始样本集合可以理解为对初始业务样本数据进行初始分类所得到的样本集合。本实施例中，初始样本集合中可以包括至少两个样本子集合。
在本实施例中，可以通过预设距离公式确定出初始业务样本数据的样本间距离，依据样本间距离和预设聚类算法对初始业务样本数据进行分类，得到对应的初始样本集合，具体的，通过在不同维度上对初始业务样本数据进行归一化处理，得到第一归一化业务样本数据，在计算样本间距离的基础上，依据样本间距离和预设聚类算法对初始业务样本数据进行分类，得到对应的初始样本集合。
在一实施例中，S240包括S2401-S2403：
S2401、在第一维度上对初始业务样本数据进行归一化处理，得到第一归一化业务样本数据。
其中，第一维度包括初始业务样本数据对应的第一变量、目标函数和时间变量。第一归一化业务样本数据指的是初始业务样本数据在第一维度上进行改造所得到的归一化样本数据。
在本实施例中，可以在第一维度上对初始业务样本数据进行归一化处理，可以理解为将初始业务样本数据在第一维度上进行改造，以得到第一归一化业务样本数据。具体的，对初始业务样本数据进行归一化处理的方式可以人为进行改造处理，以使改造后初始业务样本数据不会出现大浮动的波动。
在一实施例中，在第一维度上对初始业务样本数据进行归一化处理，得到第一归一化业务样本数据，包括：
将初始业务样本数据的第一变量转换成与第一变量和第一波动系数相关的第二变量；
将初始业务样本数据的时间变量转换成与时间变量和第二波荡系数相关的新时间变量；
将第二变量、目标函数和新时间变量得到对应的第一归一化业务样本数据。
在本实施例中，归一化处理的方式包括：将初始业务样本数据的第一变量转换成第一变量和第一波动系数的第一比值，并将该第一比值作为转换后的第二变量，将初始业务样本数据的时间变量转换成时间变量和第二波荡系数的第二比值，并将该第二比值作为新时间变量，将第二变量、目标函数和新时间变量组成在第一维度上对应的第一归一化业务样本数据。
示例性，为便于更好的理解初始业务样本数据在第一维度上的改造方式，本实施例用公式的方式对初始业务样本数据在第一维度上的处理进行进一步的详细说明，即第一维度用公式表示为：(X,Y,t)，X表示第一变量，Y表示目标函数，t表示时间变量。经过在第一维度的处理改造，可以将初始业务样本数据改造为其中，ΔfX表示目标函数的偏微分，用于归一化X使得波动范围小；σ表示标准差，反映初始业务样本数据的离散程度，处于平稳状态；/>为改造后的新第一时间变量，/>表示第二变量。
S2402、依据预设第一距离公式确定第一归一化业务样本数据在第一维度上对应的第一样本间距离。
在本实施例中，预设第一距离公式可以理解为初始业务样本数据在第一维度上所使用的样本间距离计算公式。示例性的，初始业务样本数据中两个样本数据之间的距离计算公式可以表示为：
其中，X为n维的第一变量，Y为m维的目标函数，t表示时间变量，表示目标函数在第一维度上的偏微分，σ表示波动系数；可以通过该样本间距离公式计算初始业务样本数据在第一维度的样本间距离。
S2403、根据预设聚类算法和第一样本间距离对第一归一化业务样本数据进行分类，得到对应的初始样本集合。
其中，预设聚类算法可以为基于划分的k-means及其衍生算法,也可以是基于密度的DBSCAN算法，本实施例在此不做限制。
在本实施例中，可以根据预设聚类算法和第一样本间距离对第一归一化业务样本数据进行分类，得到对应的初始样本集合。具体的，可以通过从第一归一化业务样本数据中选取聚类中心点，以根据聚类中心点和第一样本间距离进行多次聚类分析，得到对应的初始样本集合。
在一实施例中，根据预设聚类算法和第一样本间距离对第一归一化业务样本数据进行分类，得到对应的初始样本集合，包括：
从第一归一化业务样本数据中随机选取至少一个业务样本数据点作为聚类中心点，并将所述聚类中心点作为当前聚类中心点；
按照各第一样本间距离将其他业务样本数据点依次聚类到距离最近的当前聚类中心点，以形成至少一个聚类集合；
选取各聚类集合中业务样本数据的均值，将均值作为下一聚类中心点，并将下一聚类中心点作为当前聚类中心点，返回按照各第一样本间距离将其他业务样本数据点依次聚类到距离最近的当前聚类中心点的步骤，直至下一聚类中心点的移动范围在预设范围内，或者，下一聚类中心点的聚类次数达到预设聚类次数为止，得到各初始样本集合。
在本实施例中，从第一归一化业务样本数据中随机选取至少一个业务样本数据点作为聚类中心点，并将所述聚类中心点作为当前聚类中心点，按照各第一样本间距离将其他业务样本数据点依次聚类到距离最近的当前聚类中心点，以形成至少一个聚类集合，选取各聚类集合中业务样本数据的均值，将均值作为下一聚类中心点，并将下一聚类中心点作为当前聚类中心点，返回按照各第一样本间距离将其他业务样本数据点依次聚类到距离最近的当前聚类中心点的步骤，直至下一聚类中心点的移动范围在预设范围内，或者，下一聚类中心点的聚类次数达到预设聚类次数为止，得到各初始样本集合。示例性的，根据K-mean聚类算法和第一样本间距离形成s个样本分类集合有A1,…,As；同时，对于每一个样本集合均对应一个样本分类集合的质心，即A1,…,As对应的样本分类集合质心表示为a1,…,as。
S250、根据初始样本集合中部分样本集合的AIC值和拟合门限值进行分类，得到对应的第一候选样本集合和第二候选样本集合。
在本实施例中，在初始样本集合的基础上，对初始样本集合进行分类时，可以依据初始样本集合中部分样本集合的AIC值和拟合门限值进行分类，得到对应的第一候选样本集合和第二候选样本集合，具体的，可以依据初始样本集合中的每个样本集合分别所对应的样本集合质心，以及预设第二距离公式得到目标样本间距离，并根据预设排序规则和目标样本间距离得到第一候选样本集合和第二候选样本集合。
在一实施例中，S250包括S2501-S2505：
S2501、确定初始样本集合中的每个样本集合分别所对应的样本集合质心。
在本实施例中，可以通过均值计算或质心计算方式确定初始样本集合中的每个样本集合分别所对应的样本集合质心，可以理解为，初始样本集合中的每个样本集合均对应相应的样本集合质心。
S2502、在第二维度上对初始业务样本数据进行的归一化处理得到第二归一化业务样本数据。
其中，第二归一化业务样本数据指的是初始业务样本数据在第二维度上进行改造所得到的归一化样本数据。第二维度包括初始业务样本数据对应的第三变量和时间变量。
在本实施例中，在第二维度上对初始业务样本数据进行的归一化处理得到第二归一化业务样本数据，可以理解为，将初始业务样本数据在第二维度上进行改造，以得到第二归一化业务样本数据。
在一实施例中，在第二维度上对初始业务样本数据进行的归一化处理得到第二归一化业务样本数据，包括：
将初始业务样本数据的第三变量转换成与第三变量和第一波动系数相关的第四变量；
将初始业务样本数据的时间变量转换成与时间变量和第二波荡系数相关的新第二时间变量；
将第四变量和新第二时间变量得到对应的第二归一化业务样本数据。
在本实施例中，将初始业务样本数据的第三变量转换成第三变量和第一波动系数的比值，并将该比值作为第四变量，将初始业务样本数据的时间变量转换成时间变量和第二波荡系数的比值，并将该比值作为新第二时间变量，然后将第四变量和新第二时间变量组成对应的第二归一化业务样本数据。
示例性，为便于更好的理解初始业务样本数据在第二维度上的改造方式，本实施例用公式的方式对初始业务样本数据在第二维度上的处理进行进一步的详细说明，即第二维度上的初始业务样本数据用公式表示第二维度上初始业务样本数据表示为(X,t)，改造处理为其中，ΔfX表示目标函数的偏微分，用于归一化X使得波动范围小，σ表示标准差，反映初始业务样本数据的离散程度，处于平稳状态；其中，/>表示为第三变量，/>表示为新第二时间变量。
S2503、依据预设第二距离公式确定第二归一化业务样本数据到各样本集合质心的目标样本间距离。
在本实施例中，预设第二距离公式指的是所定义的第二归一化业务样本数据到各样本集合质心的样本间距离，可以用公式表示为：
其中，X为n维的第三变量，t表示时间变量，/>表示目标函数在第二维度上的偏微分，σ表示波动系数；可以通过该样本间距离公式计算初始业务样本数据在第二维度的样本间距离，即第二归一化业务样本数据到各样本集合质心的目标样本间距离。
S2504、按照目标样本间距离对初始样本集合中的每个样本子集进行排序，得到排序后的候选样本集合。
在本实施例中，按照目标样本间距离对初始样本集合中的每个样本子集进行排序，得到排序后的候选样本集合，可以理解为，将按照目标样本间距离将由近至远或者由远至近进行排序，得到排序后的候选样本集合。
S2505、按照拟合门限值和AIC值从由远至近从候选样本集合进行剔除样本子集，并将未剔除样本子集的ACI值满足拟合门限值的样本子集组成第一候选样本集合，以及将剔除的样本子集组成第二候选样本集合。
其中，ACI值满足拟合门限值的条件包括：第一个初始业务样本数据到第z个初始业务样本数据所对应的ACI值大于等于拟合门限值，且，第一个初始业务样本数据到第z个初始业务样本数据所对应的ACI值小于拟合门限值。
在本实施例中，针对已排序后的候选样本集合，按照拟合门限值和ACI值从由远至近从候选样本集合进行剔除样本子集，并将未剔除样本子集的ACI值满足拟合门限值的样本子集组成第一候选样本集合，以及将剔除的样本子集组成第二候选样本集合。
示例性的，为便于更好的理解第一候选样本集合和第二候选样本集合的分类方式，本实施例以举例方式进行详细的说明。本实施例中，第二维度上初始业务样本数据表示为(X,t)，改造处理为定义初始样本集合到第二归一化业务样本数据之间的距离是：初始样本集合中每个样本子集对应的集合质点as到与/>的欧式距离ls。本实施例中，最少涉及集合数即第一候选样本集合的定位方式：不失一般性的将第一候选样本集合从近到远排序为A1,…,As。从远到近的顺序逐个从初始样本集合中进行删除，直到存在一个子集集合Az，使得有/>且/>那么A1,…,Az为其最少涉及集合集，即第一候选样本集合，记为G＝{A1,…,Az}；则剩余集合Az+1,…,As构成的集合为非最少涉及集合集，即第二候选样本集合，记为Gc＝{Az+1,…,As}。
S260、按照第一排序方式将第一候选样本集合中的每个样本子集进行排序得到第一目标样本集合。
在本实施例中，按照第一排序方式将第一候选样本集合中的每个样本子集进行排序得到第一目标样本集合，需要说明的是，第一排序方式可以是按照第一候选样本集合中的每个样本子集的质心与对应样本子集内的每个样本数据的距离由远至近进行排序，或者由近至远进行排序。
S270、按照第二排序方式将第二候选样本集合中的每个样本子集进行排序得到第二目标样本集合；其中，第一排序方式与第二排序方式的排序顺序相反。
在本实施例中，按照第二排序方式将第二候选样本集合中的每个样本子集进行排序得到第二目标样本集合，在本实施例中，第一排序方式可以是按照第二候选样本集合中的每个样本子集的质心与对应样本子集内的每个样本数据的距离由远至近进行排序，或者由近至远进行排序。需要说明的是，第一候选样本集合和第二候选样本集合内分别对应的样本子集的排序方式为相反方向，可以理解为，若第一排序方式为由远至近进行排序，则第二排序方式为由近至远进行排序；同样的，若第一排序方式为由近至远进行排序，则第二排序方式为由远至近进行排序。
S280、根据第一目标样本集合、第二目标样本集合以及预先配置的集合置换条件得到置换后的目标样本集合。
在本实施例中，依据排序后得到的第一目标样本集合和第二目标样本集合以及预先配置的集合置换条件，可以得到置换后的目标样本集合。具体的，取第一目标样本集合中选择最远样本集合的边缘样本点，并取第二目标样本集合中选择最近样本集合的质心附近点，按照预先配置的集合置换条件将最远样本集合的边缘样本点和最近样本集合的质心附近点进行集合置换，重复上述操作，直至无法满足置换条件得到置换后的目标样本集合。
在一实施例中，根据第一目标样本集合、第二目标样本集合以及预先配置的集合置换条件得到置换后的目标样本集合，包括：
从第一目标样本集合中选择最远样本集合的边缘样本点，并将最远样本集合的边缘样本点作为当前最远样本集合；其中，边缘样本点为所述最远样本集合中的每个样本点与最远样本集合质心的距离大于预设第一距离阈值的样本点；
从第二目标样本集合中选择最近样本集合的质心附近点，并将最近样本集合的质心附近点作为当前最近样本集合；其中，质心附近点为最近样本集合中的每个样本点与最近样本集合质心的距离小于预设第二距离阈值的样本点；
在第一候选样本集合中每个样本子集内的第一样本点数大于第二候选样本集合中每个样本子集内的第二样本点数，且满足目标函数相关联的拟合门限值的情况下，将最远样本集合的边缘样本点和最近样本集合的质心附近点进行样本集合置换，得到目标样本子集，返回从第一目标样本集合中选择最远样本集合的边缘样本点并将最远样本集合的边缘样本点作为当前最远样本集合的步骤，直至第一目标样本集合中样本子集内的边缘样本点和第二目标样本集合中样本子集内的质心附件点无法进行置换；
将各目标样本子集组成目标样本集合，并将目标样本集合作为初始业务样本数据筛选后的关键信息数据。
在本实施例中，从第一目标样本集合中选择所述最远样本集合中的每个样本点与最远样本集合质心的距离大于预设第一距离阈值的样本点，将该样本点作为最远样本集合的边缘样本点，并将最远样本集合的边缘样本点作为当前最远样本集合，并从第二目标样本集合中选择最近样本集合中的每个样本点与最近样本集合质心的距离小于预设第二距离阈值的样本点作为最近样本集合的质心附近点，并将最近样本集合的质心附近点作为当前最近样本集合，在第一候选样本集合中每个样本子集内的第一样本点数大于第二候选样本集合中每个样本子集内的第二样本点数，且满足目标函数相关联的拟合门限值的情况下，将最远样本集合的边缘样本点和最近样本集合的质心附近点进行样本集合置换，得到目标样本子集，返回从第一目标样本集合中选择最远样本集合的边缘样本点并将最远样本集合的边缘样本点作为当前最远样本集合的步骤，直至第一目标样本集合中样本子集内的边缘样本点和第二目标样本集合中样本子集内的质心附件点无法进行置换，将各目标样本子集组成目标样本集合，并将目标样本集合作为初始业务样本数据筛选后的关键信息数据。
示例性的，为便于更好的理解集合置换方式，本实施例以举例形式对集合置方式进行说明。首先取最少涉及集合集中的最远集合Az的边缘样本点，边缘样本点指的是集合Az中的样本点与其质点az的距离(该距离定义为dy距离)较大的样本点。取此边缘样本点若干且该样本点已按从大到小进行排序。取未进入最少涉及集合集的最近集合Az+1的质心附近点，质心附近点指的是集合Az+1的样本点与其质心az+1的距离(该距离定义为dy距离)较小的样本点。取此质心附近点若干/>且该样本点已按从小到大进行排序。样本置换，将获得的集合Az的边缘样本点/>与获得的集合Az+1的质心附近点/>进行置换。置换要求：(1)边缘样本点数量大于质心附近点，即要求置出样本点数量大于置入样本点数量，m＞n；(2)测试并保证样本模型AIC不超过c·AIC，否则不置出。Az继续置换：按上述操作步骤向未进入最少涉及集合集的次近端集合Az+2,…,As逐个进行样本置换。直至集合Az无法置出。在最少涉及集合集中由远到近(即从Az-1到A1)逐个向非最少涉及集合集中的集合Gc＝{Az+1,…,As}由近到远(即从Az+1到As)进行置换，直至所有集合无法置出,，最后最少涉及集合中的置留样本数据即为关键信息数据。
本实施例中的上述技术方案，通过目标函数的似然值以及与目标函数相匹配的AIC确定对应的拟合门限值的情况下，通过初始业务样本数据的样本间距离对初始业务样本数据进行分类，得到对应的初始样本集合，根据初始样本集合中部分样本集合的AIC值和拟合门限值进行分类，得到对应的第一候选样本集合和第二候选样本集合，按照预设排序方式将第一候选样本集合中的每个样本子集，以及第二候选样本集合中的每个样本子集进行排序得到第一目标样本集合和第二目标样本集合，并根据第一目标样本集合、第二目标样本集合以及预先配置的集合置换条件得到置换后的目标样本集合，能够进一步在设置拟合门限值的情况下，通过集合置换条件达到最小化目标样本集合的目的，有效降低计算复杂度和计算成本，提升数据样本筛选的精度，在同等条件下有效提高后续业务预测的效果。
在一实施例中，图3为本发明一实施例提供的一种数据筛选装置的结构框图，该装置适用对大量的业务样本数据进行筛选以降低业务样本数据时的情况，该装置可以由硬件/软件实现。可配置于电子设备中来实现本发明实施例中的一种数据筛选方法。如图3所示，该装置包括：配置模块310、分类模块320以及置换模块330。
其中，配置模块310，用于根据预设业务筛选需求配置与初始业务样本数据的目标函数相关联的拟合门限值；
分类模块320，用于根据所述拟合门限值与所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合；
置换模块330，用于基于预先配置的集合置换条件对所述第一候选样本集合中的样本子集与所述第二候选样本集合中对应的样本子集进行集合置换，得到对应的目标样本集合，以采用所述目标样本集合中的样本数据进行业务预测；其中，所述预先配置的集合置换条件满足：所述第一候选样本集合中每个样本子集内的第一样本点数大于所述第二候选样本集合中对应样本子集内的第二样本点数，且所述目标样本集合满足所述目标函数相关联的拟合门限值。
本发明实施例，在设置目标函数相关联的拟合门限值的情况下，分类模块，通过初始业务样本数据的样本距离和拟合门限值对初始业务样本数据进行分类，置换模块，基于预先配置的集合置换条件将分类后的集合进行置换得到目标样本集合，能够在设置拟合门限值的情况下，通过集合置换条件达到最小化目标样本集合的目的，有效降低计算复杂度和计算成本，提升数据样本筛选的精度，在同等条件下有效提高后续业务预测的效果。
在一实施例中，配置模块310，包括：
函数配置模块，用于配置初始业务样本数据的目标函数；
第一确定模块，用于根据预设业务筛选需求确定所述目标函数的似然值；
第二确定模块，用于根据所述似然值以及与所述目标函数相匹配的赤池信息量准则AIC确定对应的拟合门限值。
在一实施例中，分类模块320，包括：
初始集合确定单元，用于根据所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的初始样本集合；
候选集合确定单元，用于根据所述初始样本集合中部分样本集合的AIC值和所述拟合门限值进行分类，得到对应的第一候选样本集合和第二候选样本集合。
在一实施例中，初始集合确定单元，包括：
处理子单元，用于在第一维度上对所述初始业务样本数据进行归一化处理，得到第一归一化业务样本数据；
距离确定子单元，用于依据预设第一距离公式确定所述第一归一化业务样本数据在所述第一维度上对应的第一样本间距离；其中，所述第一维度包括：所述初始业务样本数据对应的第一变量、目标函数和时间变量；
集合确定子单元，用于根据预设聚类算法和所述第一样本间距离对所述第一归一化业务样本数据进行分类，得到对应的初始样本集合。
在一实施例中，处理子单元，具体还用于：
将所述初始业务样本数据的第一变量转换成与所述第一变量和第一波动系数相关的第二变量；
将所述初始业务样本数据的时间变量转换成与所述时间变量和第二波荡系数相关的新时间变量；
将所述第二变量、所述目标函数和所述新时间变量得到对应的第一归一化业务样本数据。
在一实施例中，集合确定子单元，具体还用于：
从所述第一归一化业务样本数据中随机选取至少一个业务样本数据点作为聚类中心点，并将所述聚类中心点作为当前聚类中心点；
按照各所述第一样本间距离将所述其他业务样本数据点依次聚类到距离最近的当前聚类中心点，以形成至少一个聚类集合；
选取各所述聚类集合中业务样本数据的均值，将所述均值作为下一聚类中心点，并将所述下一聚类中心点作为所述当前聚类中心点，返回所述按照各所述第一样本间距离将所述其他业务样本数据点依次聚类到距离最近的当前聚类中心点的步骤，直至所述下一聚类中心点的移动范围在预设范围内，或者，所述下一聚类中心点的聚类次数达到预设聚类次数为止，得到各所述初始样本集合。
在一实施例中，候选集合确定单元，还包括：
质心确定子单元，用于确定所述初始样本集合中的每个样本子集分别所对应的样本集合质心；
处理子单元，用于在第二维度上对所述初始业务样本数据进行的归一化处理得到第二归一化业务样本数据；
距离确定子单元，用于依据预设第二距离公式确定所述第二归一化业务样本数据到各所述样本集合质心的目标样本间距离；
排序子单元，用于按照所述目标样本间距离对所述初始样本集合中的每个样本子集进行排序，得到排序后的候选样本集合；
组成子单元，用于按照所述拟合门限值从由远至近从所述候选样本集合进行剔除样本子集，并将所述候选样本集合中未剔除样本子集的ACI值满足所述拟合门限值的样本子集组成第一候选样本集合，以及将剔除的样本子集组成第二候选样本集合；
其中，所述ACI值满足所述拟合门限值的条件包括：第一个初始业务样本数据到第z个初始业务样本数据所对应的ACI值大于等于所述拟合门限值，且，所述第一个初始业务样本数据到所述第z个初始业务样本数据所对应的ACI值小于所述拟合门限值。
在一实施例中，所述第二维度包括所述初始业务样本数据对应的第三变量和时间变量；所述处理子单元，还用于：
将所述初始业务样本数据的第三变量转换成与所述第三变量和第一波动系数相关的第四变量；
将所述初始业务样本数据的时间变量转换成与所述时间变量和第二波荡系数相关的新时间变量；
将所述第四变量和所述新时间变量得到对应的第二归一化业务样本数据。
在一实施例中，置换模块，包括：
第一排序单元，用于按照第一排序方式将所述第一候选样本集合中的每个样本子集进行排序得到第一目标样本集合；
第二排序单元，用于按照第二排序方式将所述第二候选样本集合中的每个样本子集进行排序得到第二目标样本集合；其中，所述第一排序方式与所述第二排序方式的排序顺序相反；
置换单元，用于根据所述第一目标样本集合、所述第二目标样本集合以及预先配置的集合置换条件得到置换后的目标样本集合。
在一实施例中，置换单元，包括：
第一集合选择子单元，用于从所述第一目标样本集合中选择最远样本集合的边缘样本点，并将所述最远样本集合的边缘样本点作为当前最远样本集合；其中，所述边缘样本点为所述最远样本集合中的每个样本点与所述最远样本集合质心的距离大于预设第一距离阈值的样本点；
第二集合选择子单元，用于从所述第二目标样本集合中选择最近样本集合的质心附近点，并将所述最近样本集合的质心附近点作为当前最近样本集合；其中，所述质心附近点为所述最近样本集合中的每个样本点与所述最近样本集合质心的距离小于预设第二距离阈值的样本点；
置换子单元，用于在所述第一候选样本集合中每个样本子集内的第一样本点数大于所述第二候选样本集合中每个样本子集内的第二样本点数，且满足所述目标函数相关联的拟合门限值的情况下，将所述最远样本集合的边缘样本点和所述最近样本集合的质心附近点进行样本集合置换，得到所述目标样本子集，返回所述从所述第一目标样本集合中选择最远样本集合的边缘样本点并将所述最远样本集合的边缘样本点作为当前最远样本集合的步骤，直至所述第一目标样本集合中样本子集内的边缘样本点和所述第二目标样本集合中样本子集内的质心附件点无法进行置换；
组成子单元，用于将各所述目标样本子集组成所述目标样本集合，并将所述目标样本集合作为所述初始业务样本数据筛选后的关键信息数据。
本发明实施例所提供的数据筛选装置可执行本发明任意实施例所提供的数据筛选方法，具备执行方法相应的功能模块和有益效果。
在一实施例中，图4为本发明实施例提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据筛选方法。
在一些实施例中，数据筛选方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据筛选方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据筛选方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据筛选装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
在一实施例中，本发明实施例还包括一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的数据筛选方法。
本发明实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现如本申请任一实施例所提供的数据筛选方法。
计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种数据筛选方法，其特征在于，包括：
根据预设业务筛选需求配置与初始业务样本数据的目标函数相关联的拟合门限值；
根据所述拟合门限值与所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合；
基于预先配置的集合置换条件对所述第一候选样本集合中的样本子集与所述第二候选样本集合中的样本子集进行集合置换，得到对应的目标样本集合，以采用所述目标样本集合中的样本数据进行业务预测；
其中，所述预先配置的集合置换条件满足：所述第一候选样本集合中每个样本子集内的第一样本点数大于所述第二候选样本集合中对应样本子集内的第二样本点数，且所述目标样本集合满足所述目标函数相关联的拟合门限值。
2.根据权利要求1所述的方法，其特征在于，所述根据预设业务筛选需求配置与初始业务样本数据的目标函数相关联的拟合门限值，包括：
配置初始业务样本数据的目标函数；
根据预设业务筛选需求确定所述目标函数的似然值；
根据所述似然值以及与所述目标函数相匹配的赤池信息量准则AIC确定对应的拟合门限值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述拟合门限值与所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合，包括：
根据所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的初始样本集合；
根据所述初始样本集合中部分样本集合的AIC值和所述拟合门限值进行分类，得到对应的第一候选样本集合和第二候选样本集合。
4.根据权利要求3所述的方法，其特征在于，所述根据所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的初始样本集合，包括：
在第一维度上对所述初始业务样本数据进行归一化处理，得到第一归一化业务样本数据；
依据预设第一距离公式确定所述第一归一化业务样本数据在所述第一维度上对应的第一样本间距离；其中，所述第一维度包括：所述初始业务样本数据对应的第一变量、目标函数和时间变量；
根据预设聚类算法和所述第一样本间距离对所述第一归一化业务样本数据进行分类，得到对应的初始样本集合。
5.根据权利要求4所述的方法，其特征在于，所述在第一维度上对所述初始业务样本数据进行归一化处理，得到第一归一化业务样本数据，包括：
将所述初始业务样本数据的第一变量转换成与所述第一变量和第一波动系数相关的第二变量；
将所述初始业务样本数据的时间变量转换成与所述时间变量和第二波荡系数相关的新时间变量；
将所述第二变量、所述目标函数和所述新时间变量得到对应的第一归一化业务样本数据。
6.根据权利要求4所述的方法，其特征在于，所述根据预设聚类算法和所述第一样本间距离对所述第一归一化业务样本数据进行分类，得到对应的初始样本集合，包括：
从所述第一归一化业务样本数据中随机选取至少一个业务样本数据点作为聚类中心点，并将所述聚类中心点作为当前聚类中心点；
按照各所述第一样本间距离将其他业务样本数据点依次聚类到距离最近的当前聚类中心点，以形成至少一个聚类集合；
选取各所述聚类集合中业务样本数据的均值，将所述均值作为下一聚类中心点，并将所述下一聚类中心点作为所述当前聚类中心点，返回所述按照各所述第一样本间距离将所述其他业务样本数据点依次聚类到距离最近的当前聚类中心点的步骤，直至所述下一聚类中心点的移动范围在预设范围内，或者，所述下一聚类中心点的聚类次数达到预设聚类次数为止，得到各所述初始样本集合。
7.根据权利要求3所述的方法，其特征在于，所述根据所述初始样本集合中部分样本集合的AIC值和所述拟合门限值进行分类，得到对应的第一候选样本集合和第二候选样本集合，包括：
确定所述初始样本集合中的每个样本子集分别所对应的样本集合质心；
在第二维度上对所述初始业务样本数据进行的归一化处理得到第二归一化业务样本数据；
依据预设第二距离公式确定所述第二归一化业务样本数据到各所述样本集合质心的目标样本间距离；
按照所述目标样本间距离对所述初始样本集合中的每个样本子集进行排序，得到排序后的候选样本集合；
按照所述拟合门限值从由远至近从所述候选样本集合中进行剔除样本子集，并将所述候选样本集合中未剔除样本子集所对应的ACI值满足所述拟合门限值的样本子集组成第一候选样本集合，以及将剔除的样本集合组成第二候选样本集合；
其中，所述ACI值满足所述拟合门限值的条件包括：第一个初始业务样本数据到第z个初始业务样本数据所对应的ACI值大于等于所述拟合门限值，且，所述第一个初始业务样本数据到所述第z个初始业务样本数据所对应的ACI值小于所述拟合门限值。
8.根据权利要求7所述的方法，其特征在于，所述第二维度包括所述初始业务样本数据对应的第三变量和时间变量；所述在第二维度上对所述初始业务样本数据进行的归一化处理得到第二归一化业务样本数据，包括：
将所述初始业务样本数据的第三变量转换成与所述第三变量和第一波动系数相关的第四变量；
将所述初始业务样本数据的时间变量转换成与所述时间变量和第二波荡系数相关的新时间变量；
将所述第四变量和所述新时间变量得到对应的第二归一化业务样本数据。
9.根据权利要求1所述的方法，其特征在于，所述基于预先配置的集合置换条件对所述第一候选样本集合中的样本子集与所述第二候选样本集合中对应的样本子集进行集合置换，得到对应的目标样本集合，包括：
按照第一排序方式将所述第一候选样本集合中的每个样本子集进行排序得到第一目标样本集合；
按照第二排序方式将所述第二候选样本集合中的每个样本子集进行排序得到第二目标样本集合；其中，所述第一排序方式与所述第二排序方式的排序顺序相反；
根据所述第一目标样本集合、所述第二目标样本集合以及预先配置的集合置换条件得到置换后的目标样本集合。
10.根据权利要求9所述的方法，其特征在于，所述根据所述第一目标样本集合、所述第二目标样本集合以及预先配置的集合置换条件得到置换后的目标样本集合，包括：
从所述第一目标样本集合中选择最远样本集合的边缘样本点，并将所述最远样本集合的边缘样本点作为当前最远样本集合；其中，所述边缘样本点为所述最远样本集合中的每个样本点与所述最远样本集合质心的距离大于预设第一距离阈值的样本点；
从所述第二目标样本集合中选择最近样本集合的质心附近点，并将所述最近样本集合的质心附近点作为当前最近样本集合；其中，所述质心附近点为所述最近样本集合中的每个样本点与所述最近样本集合质心的距离小于预设第二距离阈值的样本点；
在第一候选样本集合中每个样本子集内的第一样本点数大于第二候选样本集合中每个样本子集内的第二样本点数，且满足所述目标函数相关联的拟合门限值的情况下，将所述最远样本集合的边缘样本点和所述最近样本集合的质心附近点进行样本集合置换，得到所述目标样本子集，返回所述从所述第一目标样本集合中选择最远样本集合的边缘样本点并将所述最远样本集合的边缘样本点作为当前最远样本集合的步骤，直至所述第一目标样本集合中样本子集内的边缘样本点和所述第二目标样本集合中样本子集内的质心附件点无法进行置换；
将各所述目标样本子集组成所述目标样本集合，并将所述目标样本集合作为所述初始业务样本数据筛选后的关键信息数据。
11.一种数据筛选装置，其特征在于，包括：
配置模块，用于根据预设业务筛选需求配置与初始业务样本数据的目标函数相关联的拟合门限值；
分类模块，用于根据所述拟合门限值与所述初始业务样本数据的样本间距离对所述初始业务样本数据进行分类，得到对应的第一候选样本集合和第二候选样本集合；
置换模块，用于基于预先配置的集合置换条件对所述第一候选样本集合中的样本子集与所述第二候选样本集合中对应的样本子集进行集合置换，得到对应的目标样本集合，以采用所述目标样本集合中的样本数据进行业务预测；
其中，所述预先配置的集合置换条件满足：所述第一候选样本集合中每个样本子集内的第一样本点数大于所述第二候选样本集合中对应样本子集内的第二样本点数，且所述目标样本集合满足所述目标函数相关联的拟合门限值。
12.根据权利要求11所述的装置，其特征在于，所述配置模块，包括：
目标配置单元，用于配置初始业务样本数据的目标函数；
似然值确定单元，用于根据预设业务筛选需求确定所述目标函数的似然值；
门限值确定单元，用于根据所述似然值以及与所述目标函数相匹配的赤池信息量准则AIC确定对应的拟合门限值。
13.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的数据筛选方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-10中任一项所述的数据筛选方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的数据筛选方法。
CN202310996468.XA 2023-08-08 2023-08-08 数据筛选方法、装置、设备、存储介质和产品 Pending CN117009857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310996468.XA CN117009857A (zh) 2023-08-08 2023-08-08 数据筛选方法、装置、设备、存储介质和产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310996468.XA CN117009857A (zh) 2023-08-08 2023-08-08 数据筛选方法、装置、设备、存储介质和产品

Publications (1)

Publication Number Publication Date
CN117009857A true CN117009857A (zh) 2023-11-07

Family

ID=88565230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310996468.XA Pending CN117009857A (zh) 2023-08-08 2023-08-08 数据筛选方法、装置、设备、存储介质和产品

Country Status (1)

Country Link
CN (1) CN117009857A (zh)

Similar Documents

Publication Publication Date Title
CN113657465B (zh) 预训练模型的生成方法、装置、电子设备和存储介质
CN114549874B (zh) 多目标图文匹配模型的训练方法、图文检索方法及装置
CN114444619B (zh) 样本生成方法、训练方法、数据处理方法以及电子设备
CN113705628B (zh) 预训练模型的确定方法、装置、电子设备以及存储介质
CN113516185B (zh) 模型训练的方法、装置、电子设备及存储介质
CN116340831B (zh) 一种信息分类方法、装置、电子设备及存储介质
CN114662607B (zh) 基于人工智能的数据标注方法、装置、设备以及存储介质
CN113961765B (zh) 基于神经网络模型的搜索方法、装置、设备和介质
CN113761379B (zh) 商品推荐方法及装置、电子设备和介质
CN113612777B (zh) 训练方法、流量分级方法、装置、电子设备以及存储介质
CN115665783A (zh) 一种异常指标溯源方法、装置、电子设备及存储介质
CN117009857A (zh) 数据筛选方法、装置、设备、存储介质和产品
CN113032251B (zh) 应用程序服务质量的确定方法、设备和存储介质
CN114037060A (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN114610953A (zh) 一种数据分类方法、装置、设备及存储介质
CN114037057B (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN114037058B (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN117131197B (zh) 一种招标书的需求类别处理方法、装置、设备及存储介质
CN117611324A (zh) 信用评级方法、装置、电子设备和存储介质
CN116167978A (zh) 一种模型更新方法、装置、电子设备及存储介质
CN115034893A (zh) 深度学习模型的训练方法、风险评估方法和装置
CN115758142A (zh) 深度学习模型的训练方法、数据处理方法和装置
CN117951548A (zh) 车辆类别的判别方法、装置、设备及存储介质
CN116522158A (zh) 数据的冷热状态预测方法、装置、电子设备及存储介质
CN113869430A (zh) 训练方法、图像识别方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination