CN106022912A - 评价模型的更新方法及系统 - Google Patents
评价模型的更新方法及系统 Download PDFInfo
- Publication number
- CN106022912A CN106022912A CN201610370313.5A CN201610370313A CN106022912A CN 106022912 A CN106022912 A CN 106022912A CN 201610370313 A CN201610370313 A CN 201610370313A CN 106022912 A CN106022912 A CN 106022912A
- Authority
- CN
- China
- Prior art keywords
- model
- new appraisement
- evaluation
- new
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种评价模型的更新方法及系统。本发明的评价模型的更新方法，包括：监控运行平台运行的当前评价模型的稳定性和/或准确性；若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。本发明的评价模型的更新方法及系统，可实时更新评价算法，缩短周期，提高系统性能，降低成本。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种评价模型的更新方法及系统。
背景技术
评价模型(评分模型)的应用广泛。例如，借贷款等等应用，需要评价用户的信用，就会利用到信用评分模型；又例如，投放广告、分析用户购买需求等等应用，需要评价用户的需求，就会利用到需求评分模型。
目前采用的技术方案通常是，线下完成样本训练，建立评价模型，然后人为对评价模型进行线下验证，验证通过后上线运行。
以借贷款流程为例，其评价用户信用的评价模型的生成及更新过程如下：
利用已有的样本进行训练，建立评价模型；
等待样本的表现，待一段表现期之后，得到样本的表现结果，人为根据样本的表现结果验证评价模型；
验证通过后，上线运行。
可以按照设定的周期或者根据需求，人为启动上述过程，从而更新评价模型。
其中，一个客户对应一个样本。
现有的评价模型的更新周期较长、成本较高。
发明内容
针对现有技术中的缺陷，本发明提供一种评价模型的更新方法及系统，以减少评价模型的更新周期，降低成本。
第一方面，本发明提供的评价模型的更新方法，包括：监控运行平台运行的当前评价模型的稳定性和/或准确性；若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。
可选地，所述监控运行平台运行的当前评价模型的稳定性，包括：根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。
可选地，所述监控运行平台运行的当前评价模型的准确性，包括：根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性；根据更新属性后的样本监控所述当前评价模型的准确性。
可选地，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型，包括：按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高；若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大；若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大；若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。
可选地，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，包括：利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。
第二方面，本发明提供的评价模型的更新装置，包括：当前模型监控单元，用于监控运行平台运行的当前评价模型的稳定性和/或准确性；新模型测试单 元，用于若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；模型更新单元，用于将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。
可选地，所述前模型监控单元具体用于：根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。
可选地，所述当前模型监控单元具体用于：根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性；根据更新属性后的样本监控所述当前评价模型的准确性。
可选地，所述新模型测试单元具体用于：按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高；若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大；若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大；若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。
可选地，所述新模型测试单元具体用于：利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。
由上述技术方案可知，本发明提供的评价模型的更新方法及装置，可实时更新评价算法，缩短周期，提高系统性能，降低成本。
附图说明
图1为本发明实施例所提供的一种评价模型的更新方法的流程图；
图2为本发明实施例所提供的一种评价模型的更新装置的结构框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
如图1所示，本发明实施例的评价模型的更新方法包括：
步骤S10，监控运行平台运行的当前评价模型的稳定性和/或准确性；
步骤S20，若当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行新评价模型以判断新评价模型是否可用，直至生成可用的新评价模型；
步骤S30，将运行平台运行的当前评价模型替换为可用的所述新评价模型。
本发明实施例提供的方法，可实时、自动化地更新评价模型，缩短周期，提高系统性能，降低成本。
本发明实施例中，监控模型的稳定性的技术手段有多种。为了更好地监控评价模型的稳定性，本发明实施例提供步骤S10的一种优选实现方式：根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示当前评价模型不稳定。实时监控PSI指标，以PSI指标是否超出阈值作为更新的触发条件，实现了实时、自动化地更新评价模型。
其中，PSI的取值在0～1之间；阈值可以选取0.02、0.05等等，也可根据实际需求设置。
PSI监控的具体实现方式不限。
例如，在样本量较多的情况下，每天监控当天的新样本，根据当天的PSI取值判断稳定性；在样本量较少的情况下，每天监控之前7天内的新样本，根 据之前7天的PSI的取值判断稳定性。一旦判定模型不稳定，即触发生成新的评价模型。
本发明实施例中，监控模型的准确性的技术手段有多种。为了更好地监控评价模型的准确性，本发明实施例还提供步骤S10的另一种优选实现方式：根据运行平台反馈的样本属性更新数据，更新对应样本的属性；根据更新属性后的样本监控当前评价模型的准确性。
具体以借贷款为例说明上述方案：假设客户的借贷分为3期，每期1个月，即每月还款，共还3个月。那么，每次还款都会有至少如下结果：按期还款、逾期还款，据此更新样本，并判断按期还款的比例，当按期还款的比例达到设定值，则模型准确，否则模型不准确。
本发明实施例中，上述步骤S20的实现方式有多种。为了得到准确的评价模型，本发明实施例提供步骤S20的一种优选实现方式：包括：按照多种算法分别生成新评价模型；在测试平台分别运行各个新评价模型以判断新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；若基于准确率检测判断新评价模型是否可用，设定策略为准确率最高；若基于KS值检测判断所述新评价模型是否可用，设定策略为KS值最大；若基于基尼值判断新评价模型是否可用，设定策略为基尼值最大；若基于ROC值判断新评价模型是否可用，设定策略为ROC值最大。利用多个算法分别建立评价模型，选取其中最优的评价模型，提高了模型的准确性。
其中，生成评价模型的算法很多，例如：基于逻辑回归，基于决策树，基于神经网络等等。本发明实施例中，既可以采用一种既定的算法生成评价模型，例如采用逻辑回归建模，也可以分别利用不同的算法建立评价模型，相应的，按照设定的策略选择最优的评价模型。
为了得到准确的评价模型，本发明实施例还提供步骤S20的另一种优选实现方式：利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新 评价模型以利用剩余已有样本评价所述新评价模型是否可用。利用已有的样本创建模型，并利用已有的样本测试模型是否可用，使得生成的评价模型得到的数据更接近实际数据。
基于与上述评价模型的更新方法同样的发明构思，本发明实施例还提供一种评价模型的更新装置，包括：当前模型监控单元101，用于监控运行平台运行的当前评价模型的稳定性和/或准确性；新模型测试单元102，用于若当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行新评价模型以判断新评价模型是否可用，直至生成可用的新评价模型；模型更新单元103，用于将运行平台运行的当前评价模型替换为可用的新评价模型。
本发明实施例提供的系统，可实时、自动化地更新评价模型，缩短周期，提高系统性能，降低成本。
当前模型监控单元101具体用于：根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示当前评价模型不稳定。实时监控PSI指标，以PSI指标是否超出阈值作为更新的触发条件，实现了实时、自动化地更新评价模型。
其中，PSI的取值在0～1之间；阈值可以选取0.02、0.05等等，也可根据实际需求设置。
PSI监控的具体实现方式不限。
例如，在样本量较多的情况下，每天监控当天的新样本，根据当天的PSI取值判断稳定性；在样本量较少的情况下，每天监控之前7天内的新样本，根据之前7天的PSI的取值判断稳定性。一旦判定模型不稳定，即触发生成新的评价模型。
当前模型监控单元101还具体用于：根据运行平台反馈的样本属性更新数据，更新对应样本的属性；根据更新属性后的样本监控当前评价模型的准确性。
具体以借贷款为例说明上述方案：假设客户的借贷分为3期，每期1个月， 即每月还款，共还3个月。那么，每次还款都会有至少如下结果：按期还款、逾期还款，据此更新样本，并判断按期还款的比例，当按期还款的比例达到设定值，则模型准确，否则模型不准确。
新模型测试单元102具体用于：按照多种算法分别生成新评价模型；在测试平台分别运行各个新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；若基于准确率检测判断所述新评价模型是否可用，设定策略为准确率最高；若基于KS值检测判断所述新评价模型是否可用，设定策略为KS值最大；若基于基尼值判断新评价模型是否可用，设定策略为基尼值最大；若基于ROC值判断所述新评价模型是否可用，设定策略为ROC值最大。利用多个算法分别建立评价模型，选取其中最优的评价模型，提高了模型的准确性。
其中，生成评价模型的算法很多，例如：基于逻辑回归，基于决策树，基于神经网络等等。本发明实施例中，既可以采用一种既定的算法生成评价模型，例如采用逻辑回归建模，也可以分别利用不同的算法建立评价模型，相应的，按照设定的策略选择最优的评价模型。
新模型测试单元102还具体用于：利用预设比例的已有样本生成新评价模型，并在测试平台运行新评价模型以利用剩余已有样本评价新评价模型是否可用。利用已有的样本创建模型，并利用已有的样本测试模型是否可用，使得生成的评价模型得到的数据更接近实际数据。
本发明提供的评价模型的更新装置，可实时、自动化地更新评价模型，缩短周期，提高系统性能，降低成本。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相 应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种评价模型的更新方法，其特征在于，包括：
监控运行平台运行的当前评价模型的稳定性和/或准确性；
若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；
将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。
2.根据权利要求1所述的方法，其特征在于，所述监控运行平台运行的当前评价模型的稳定性，包括：
根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。
3.根据权利要求1所述的方法，其特征在于，所述监控运行平台运行的当前评价模型的准确性，包括：
根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性；
根据更新属性后的样本监控所述当前评价模型的准确性。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型，包括：
按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；
若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高；
若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大；
若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大；
若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。
5.根据权利要求1～3任一项所述的方法，其特征在于，所述生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，包括：
利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。
6.一种评价模型的更新系统，其特征在于，包括：
当前模型监控单元，用于监控运行平台运行的当前评价模型的稳定性和/或准确性；
新模型测试单元，用于若所述当前评价模型不稳定或不准确，生成新评价模型，并在测试平台运行所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；
模型更新单元，用于将所述运行平台运行的当前评价模型替换为可用的所述新评价模型。
7.根据权利要求6所述的系统，其特征在于，所述当前模型监控单元具体用于：
根据设定时间段内输入当前评价模型的样本，监控运行平台运行的当前评价模型的PSI取值，若PSI取值大于设定阈值，表示所述当前评价模型不稳定。
8.根据权利要求6所述的系统，其特征在于，所述当前模型监控单元具体用于：
根据所述运行平台反馈的样本属性更新数据，更新对应样本的属性；
根据更新属性后的样本监控所述当前评价模型的准确性。
9.根据权利要求6～8任一项所述的系统，其特征在于，所述新模型测试单元具体用于：
按照多种算法分别生成新评价模型；在测试平台分别运行各个所述新评价模型以判断所述新评价模型是否可用，直至生成可用的新评价模型；若存在多个可用的新评价模型，按照设定策略选择最优的可用的新评价模型；
若基于准确率检测判断所述新评价模型是否可用，所述设定策略为准确率最高；
若基于KS值检测判断所述新评价模型是否可用，所述设定策略为KS值最大；
若基于基尼值判断所述新评价模型是否可用，所述设定策略为基尼值最大；
若基于ROC值判断所述新评价模型是否可用，所述设定策略为ROC值最大。
10.根据权利要求6～8任一项所述的系统，其特征在于，所述新模型测试单元具体用于：
利用预设比例的已有样本生成新评价模型，并在测试平台运行所述新评价模型以利用剩余已有样本评价所述新评价模型是否可用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610370313.5A CN106022912A (zh) | 2016-05-30 | 2016-05-30 | 评价模型的更新方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610370313.5A CN106022912A (zh) | 2016-05-30 | 2016-05-30 | 评价模型的更新方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106022912A true CN106022912A (zh) | 2016-10-12 |
Family
ID=57092267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610370313.5A Pending CN106022912A (zh) | 2016-05-30 | 2016-05-30 | 评价模型的更新方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106022912A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679103A (zh) * | 2017-09-08 | 2018-02-09 | 口碑(上海)信息技术有限公司 | 用于实体的属性分析方法及系统 |
| CN108090678A (zh) * | 2017-12-19 | 2018-05-29 | 马上消费金融股份有限公司 | 一种数据模型监控方法、系统、设备及计算机存储介质 |
| CN108109066A (zh) * | 2017-12-11 | 2018-06-01 | 上海前隆信息科技有限公司 | 一种信用评分模型更新方法及系统 |
| CN108573355A (zh) * | 2018-05-08 | 2018-09-25 | 阿里巴巴集团控股有限公司 | 模型更新后替换运行的方法、装置、及业务服务器 |
| CN109003091A (zh) * | 2018-07-10 | 2018-12-14 | 阿里巴巴集团控股有限公司 | 一种风险防控处理方法、装置及设备 |
| CN109636243A (zh) * | 2019-01-03 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 模型故障检测方法、装置、计算机设备以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996385A (zh) * | 2009-08-25 | 2011-03-30 | 埃森哲环球服务有限公司 | 索赔分析引擎 |
| CN103426123A (zh) * | 2013-07-24 | 2013-12-04 | 国家电网公司 | 基于粗糙集理论的配电网故障风险评估方法 |
-
2016
- 2016-05-30 CN CN201610370313.5A patent/CN106022912A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996385A (zh) * | 2009-08-25 | 2011-03-30 | 埃森哲环球服务有限公司 | 索赔分析引擎 |
| CN103426123A (zh) * | 2013-07-24 | 2013-12-04 | 国家电网公司 | 基于粗糙集理论的配电网故障风险评估方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679103A (zh) * | 2017-09-08 | 2018-02-09 | 口碑(上海)信息技术有限公司 | 用于实体的属性分析方法及系统 |
| CN108109066A (zh) * | 2017-12-11 | 2018-06-01 | 上海前隆信息科技有限公司 | 一种信用评分模型更新方法及系统 |
| CN108090678A (zh) * | 2017-12-19 | 2018-05-29 | 马上消费金融股份有限公司 | 一种数据模型监控方法、系统、设备及计算机存储介质 |
| CN108090678B (zh) * | 2017-12-19 | 2022-08-02 | 马上消费金融股份有限公司 | 一种数据模型监控方法、系统、设备及计算机存储介质 |
| CN108573355A (zh) * | 2018-05-08 | 2018-09-25 | 阿里巴巴集团控股有限公司 | 模型更新后替换运行的方法、装置、及业务服务器 |
| CN108573355B (zh) * | 2018-05-08 | 2021-07-13 | 创新先进技术有限公司 | 模型更新后替换运行的方法、装置、及业务服务器 |
| CN109003091A (zh) * | 2018-07-10 | 2018-12-14 | 阿里巴巴集团控股有限公司 | 一种风险防控处理方法、装置及设备 |
| CN109636243A (zh) * | 2019-01-03 | 2019-04-16 | 深圳壹账通智能科技有限公司 | 模型故障检测方法、装置、计算机设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106022912A (zh) | 评价模型的更新方法及系统 | |
| CN106022892A (zh) | 信用评分模型的更新方法及系统 | |
| CN109242135B (zh) | 一种模型运营方法、装置、及业务服务器 | |
| CN113454548A (zh) | 流水线的动态训练 | |
| CN110188910A (zh) | 利用机器学习模型提供在线预测服务的方法及系统 | |
| CN107967485A (zh) | 用电计量设备故障分析方法及装置 | |
| CN105224458A (zh) | 一种数据库测试方法及系统 | |
| CN112699051B (zh) | 一种基于相关输入变量的变异体分组方法 | |
| US9582620B1 (en) | Method and system for automated refined exclusion of entities from a metric driven verification analysis score | |
| CN107146035A (zh) | 针织服装大货生产中批量系数的计算方法 | |
| CN105719112A (zh) | 配送异常状态的确定方法、装置及服务器 | |
| CN108109066A (zh) | 一种信用评分模型更新方法及系统 | |
| US20070233532A1 (en) | Business process analysis apparatus | |
| CN112633501A (zh) | 基于容器化技术的机器学习模型框架的开发方法与系统 | |
| CN113449753B (zh) | 业务风险预测方法、装置和系统 | |
| Markina‐Khusid et al. | Agile Dynamics at Scale | |
| EP1672578A1 (en) | Method and system for analyzing the risk of a project | |
| CN106909454A (zh) | 一种规则处理方法和设备 | |
| CN113986730A (zh) | 邀约文件测试方法、装置、设备及存储介质 | |
| CN113344708A (zh) | 大型系统投产演练应用评估方法及系统 | |
| Zhang | Improvement of Computer Adaptive Multistage Testing Algorithm Based on Adaptive Genetic Algorithm | |
| CN108665002A (zh) | 一种二分类任务标签噪声容忍分类器学习方法 | |
| CN104573526B (zh) | 软件产品多版本管理方法、装置以及计算机设备 | |
| CN105101475B (zh) | 一种识别无线局域网wlan潜在用户的方法及装置 | |
| CN112785331A (zh) | 一种结合评价文本的抗注入攻击的鲁棒推荐方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161012 |
|
| RJ01 | Rejection of invention patent application after publication |