CN110738326B - 一种人工智能服务系统模型的选择方法和装置 - Google Patents

一种人工智能服务系统模型的选择方法和装置 Download PDF

Info

Publication number
CN110738326B
CN110738326B CN201910904369.8A CN201910904369A CN110738326B CN 110738326 B CN110738326 B CN 110738326B CN 201910904369 A CN201910904369 A CN 201910904369A CN 110738326 B CN110738326 B CN 110738326B
Authority
CN
China
Prior art keywords
model
models
data
module
selector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910904369.8A
Other languages
English (en)
Other versions
CN110738326A (zh
Inventor
张发恩
刘俊龙
周鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Chuangxin Qizhi Technology Group Co.,Ltd.
Original Assignee
Shenzhen Ainnovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ainnovation Technology Co ltd filed Critical Shenzhen Ainnovation Technology Co ltd
Priority to CN201910904369.8A priority Critical patent/CN110738326B/zh
Publication of CN110738326A publication Critical patent/CN110738326A/zh
Application granted granted Critical
Publication of CN110738326B publication Critical patent/CN110738326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种人工智能服务系统模型的选择方法和装置，方法为对人工智能服务系统的输入部分的各个模块设计多个模型，并根据历史数据计算各输入数据项对各个模型的重要性，结合数据项异常概率，评估各模块各模型的可靠性，最后依据模型数据项重要性，选取最合适的模块内模型。本方法可以规避数据输入中的数据缺失、异常、噪音问题，提高AI系统的鲁棒性，避免造成外部重大风险。

Description

一种人工智能服务系统模型的选择方法和装置
技术领域
本专利申请属于人工智能服务技术领域，更具体地说，是涉及一种融合数据异常检测的人工智能服务系统模型的选择方法和装置。
背景技术
在线人工智能服务系统接受数据输入，通过机器学习、运筹优化、知识推理等模块，输出决策数据或预测数据。数据输入、模型漏洞等对于系统输出合理性及正确性非常重要。
现有技术方案往往重视模型漏洞的填补，例如对抗神经网络，而对输入数据可能出现的数据缺失、异常、噪音考虑不够。系统模块在历史规整数据集上表现良好，而在线上出现不同程度的性能衰退，甚至造成外部重大风险。
发明内容
本发明需要解决的技术问题是提供一种人工智能服务系统模型的选择方法，可以规避数据输入中的数据缺失、异常、噪音问题。
为了解决上述问题，本发明所采用的技术方案是：
一种人工智能服务系统模型的选择方法，对人工智能服务系统的输入部分的各个模块设计多个模型，通过选择器的筛选规则选取排序最优的模块，使得选取出的模块一方面效果满足需要，另一方面重点依赖的数据项异常概率低于预期。
本发明技术方案的进一步改进在于：筛选规则为：选择器根据历史数据计算各输入数据项对各个模型的重要性，结合数据项异常概率，评估各模块各模型的可靠性，最后依据模型数据项重要性，选取最合适的模块内模型，输入部分的排序选择模型的表达式为：wj*sum(1-pi)*qij，其中：j为模型编号，pi为第i项数据异常概率，qij为第i项数据对模型j的重要性，wj为模型j数据项重要性。
本发明技术方案的进一步改进在于：筛选过程为：
输入数据经过数据项预处理后进行异常检测，然后通过选择器一选择出若干个机器学习模型，接着将选择出的机器学习模型经过选择器二的二次处理后，输出对应的若干个决策模型，所有的机器学习模型和所有的决策模型在生成后均需结合各自对应的业务模型进行模型数据重要性评估，经过模型数据重要性评估后，符合要求的模型进行数据输出，不符合要求的模型再依次进入选择器一和选择器二中进行处理，依此循环，直到最终筛选出最合适的模块内模型，进行数据输出。
本发明技术方案的进一步改进在于：对人工智能服务系统的输出部分，也计算数据项异常概率，如果出现大概率异常，则默认对输入部分进行重新输入，并选择高可靠性的预留业务模型进行输出处理。
本发明技术方案的进一步改进在于：输入部分设计的多个模型包括机器学习模型和规则引擎，对于机器学习模型使用特征作为数据项重要性的判断依据，对于规则引擎通过数据项影响规则的数量或深度进行数据项重要性定义。
或者也可以根据历史回测，利用不同数据项的取值和模块输出的相关性进行归一化处理后作为数据项重要性的判断依据。也就是计算各个模块内对于数据项重要性的评估，可以通过数据项的取值和模块输出的相关性(皮尔逊系数等)来作为相关性的评估，各个数据项和模块输入的相关性要做归一化。例如3个数据项和模块输出的相关性分别是0.8，0.4，0.2,归一化后分别是0.8/1.4,0.4/1.4,0.2/1.4。
本发明技术方案的进一步改进在于：机器学习模型为用于保护系统的稳定性机制的逻辑回归模型或决策树模型。
本发明技术方案的进一步改进在于：选择器一和选择器二为卡方选择器或css选择器。
一种人工智能服务系统模型的选择装置，用于实现上述方法，包括与预处理模块连接的异常检测模块、与预处理模块和异常检测模块均连接的选择器一、与选择器一对应的若干个机器学习模型和业务模型一、与所有机器学习模型和业务模型一均连接的选择器二、与选择器二对应的若干个决策模型和业务模型二、与所有决策模型和业务模型二均对应连接的数据输出模块以及模型数据重要性模块，模型数据重要性模块还连接选择器一、选择器二、所有机器学习模型和业务模型一，数据输出模块还与异常检测模块连接。
本发明技术方案的进一步改进在于：异常检测模块通过分类方法、聚类方法、最近邻方法、统计方法、信息论方法或谱方法的一种或多种实现异常检测。
由于采用了上述技术方案，本发明取得的有益效果是：本方法可以规避数据输入中的数据缺失、异常、噪音问题，提高AI系统的鲁棒性，同时具有结构简单、操作简便，适用性强的特点，有效避免造成外部重大风险，提高系统稳定运行性。
附图说明
图1为传统人工智能系统的流程；
图2为本发明提供的稳定可靠的人工智能系统的流程。
具体实施方式
下面结合实施例对本发明做进一步详细说明。
本发明公开了一种人工智能服务系统模型的选择方法，包括对人工智能服务系统的输入部分的各个模块设计多个模型，通过选择器的筛选规则选取排序最优的模块，使得选取出的模块一方面效果满足需要，另一方面重点依赖的数据项异常概率低于预期。
筛选规则为：选择器根据历史数据计算各输入数据项对各个模型的重要性，结合数据项异常概率，评估各模块各模型的可靠性，最后依据模型数据项重要性，选取最合适的模块内模型，输入部分的排序选择模型的表达式为：wj*sum(1-pi)*qij，其中：j为模型编号，pi为第i项数据异常概率，qij为第i项数据对模型j的重要性，wj为模型j数据项重要性。
筛选过程为：输入数据经过数据项预处理后进行异常检测，然后通过选择器一选择出若干个机器学习模型，接着将选择出的机器学习模型经过选择器二的二次处理后，输出对应的若干个决策模型，所有的机器学习模型和所有的决策模型在生成后均需结合各自对应的业务模型进行模型数据重要性评估，经过模型数据重要性评估后，符合要求的模型进行数据输出，不符合要求的模型再依次进入选择器一和选择器二中进行处理，依此循环，直到最终筛选出最合适的模块内模型，进行数据输出。
对人工智能服务系统的输出部分，也计算数据项异常概率，如果出现大概率异常，则默认对输入部分进行重新输入，并选择高可靠性的预留业务模型进行输出处理。
输入部分设计的多个模型包括机器学习模型和规则引擎，对于机器学习模型使用特征作为数据项重要性的判断依据，对于规则引擎通过数据项影响规则的数量或深度进行数据项重要性定义。
或者也可以根据历史回测，利用不同数据项的取值和模块输出的相关性进行归一化处理后作为数据项重要性的判断依据。也就是计算各个模块内对于数据项重要性的评估，可以通过数据项的取值和模块输出的相关性(皮尔逊系数等)来作为相关性的评估，各个数据项和模块输入的相关性要做归一化。例如3个数据项和模块输出的相关性分别是0.8，0.4，0.2,归一化后分别是0.8/1.4,0.4/1.4,0.2/1.4。
机器学习模型为逻辑回归模型或决策树模型，此两种模型可用于保护系统的稳定性机制。
选择器一和选择器二为卡方选择器或css选择器。
一种人工智能服务系统模型的选择装置，用于实现上述选择方法，包括与预处理模块连接的异常检测模块、与预处理模块和异常检测模块均连接的选择器一、与选择器一对应的若干个机器学习模型和业务模型一、与所有机器学习模型和业务模型一均连接的选择器二、与选择器二对应的若干个决策模型和业务模型二、与所有决策模型和业务模型二均对应连接的数据输出模块以及模型数据重要性模块，模型数据重要性模块还连接选择器一、选择器二、所有机器学习模型和业务模型一，数据输出模块还与异常检测模块连接。
异常检测模块通过分类方法、聚类方法、最近邻方法、统计方法、信息论方法或谱方法的一种或多种实现异常检测。
图1、图2将两种方法进行了对比，效果对比比较直观。在图2中，选择器根据数据项异常概率p，模型数据重要性w、模型性能q三项总和考量选择最优模型进行执行。示例：根据wj*sum(1-pi)*qij排序选择模型，j为模型编号，pi为第i项数据异常概率，qij为第i项数据对模型j的重要性；如果使用机器学习模型/决策模型数据输出出现异常，则选择器一和选择器二使用可靠业务模型(业务模型一和业务模型二)建模，保证系统的稳定运行。

Claims (8)

1.一种人工智能服务系统模型的选择方法，其特征在于：对人工智能服务系统的输入部分的各个模块设计多个模型，通过选择器的筛选规则选取排序最优的模块，使得选取出的模块一方面效果满足需要，另一方面重点依赖的数据项异常概率低于预期；
筛选规则为：选择器根据历史数据计算各输入数据项对各个模型的重要性，结合数据项异常概率，评估各模块各模型的可靠性，最后依据模型数据项重要性，选取最合适的模块内模型，输入部分的排序选择模型的表达式为：wj*sum(1-pi)*qij，其中：j为模型编号，pi为第i项数据异常概率，qij为第i项数据对模型j的重要性，wj为模型j数据项重要性。
2.根据权利要求1所述的一种人工智能服务系统模型的选择方法，其特征在于：筛选过程为：
输入数据经过数据项预处理后进行异常检测，然后通过选择器一选择出若干个机器学习模型，接着将选择出的机器学习模型经过选择器二的二次处理后，输出对应的若干个决策模型，所有的机器学习模型和所有的决策模型在生成后均需结合各自对应的业务模型进行模型数据重要性评估，经过模型数据重要性评估后，符合要求的模型进行数据输出，不符合要求的模型再依次进入选择器一和选择器二中进行处理，依此循环，直到最终筛选出最合适的模块内模型，进行数据输出。
3.根据权利要求1所述的一种人工智能服务系统模型的选择方法，其特征在于：对人工智能服务系统的输出部分，也计算数据项异常概率，如果出现大概率异常，则默认对输入部分进行重新输入，并选择高可靠性的预留业务模型进行输出处理。
4.根据权利要求2所述的一种人工智能服务系统模型的选择方法，其特征在于：输入部分设计的多个模型包括机器学习模型和规则引擎，对于机器学习模型使用特征作为数据项重要性的判断依据，对于规则引擎通过数据项影响规则的数量或深度进行数据项重要性定义。
5.根据权利要求4所述的一种人工智能服务系统模型的选择方法，其特征在于：机器学习模型为逻辑回归模型或决策树模型。
6.根据权利要求5所述的一种人工智能服务系统模型的选择方法，其特征在于：选择器一和选择器二为卡方选择器或css选择器。
7.一种人工智能服务系统模型的选择装置，用于实现上述权利要求1-6任一项所述的方法，其特征在于：包括与预处理模块连接的异常检测模块、与预处理模块和异常检测模块均连接的选择器一、与选择器一对应的若干个机器学习模型和业务模型一、与所有机器学习模型和业务模型一均连接的选择器二、与选择器二对应的若干个决策模型和业务模型二、与所有决策模型和业务模型二均对应连接的数据输出模块以及模型数据重要性模块，模型数据重要性模块还连接选择器一、选择器二、所有机器学习模型和业务模型一，数据输出模块还与异常检测模块连接。
8.根据权利要求7所述的一种人工智能服务系统模型的选择装置，其特征在于：异常检测模块通过分类方法、聚类方法、最近邻方法、统计方法、信息论方法或谱方法的一种或多种实现异常检测。
CN201910904369.8A 2019-09-24 2019-09-24 一种人工智能服务系统模型的选择方法和装置 Active CN110738326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910904369.8A CN110738326B (zh) 2019-09-24 2019-09-24 一种人工智能服务系统模型的选择方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910904369.8A CN110738326B (zh) 2019-09-24 2019-09-24 一种人工智能服务系统模型的选择方法和装置

Publications (2)

Publication Number Publication Date
CN110738326A CN110738326A (zh) 2020-01-31
CN110738326B true CN110738326B (zh) 2020-12-04

Family

ID=69269505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910904369.8A Active CN110738326B (zh) 2019-09-24 2019-09-24 一种人工智能服务系统模型的选择方法和装置

Country Status (1)

Country Link
CN (1) CN110738326B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112309112B (zh) * 2020-09-10 2021-10-29 浙江工业大学 一种基于GraphSAGE-GAN的交通路网数据修复方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620691A (zh) * 2008-06-30 2010-01-06 上海全成通信技术有限公司 电信业自动化数据挖掘平台
CN106779087B (zh) * 2016-11-30 2019-02-22 福建亿榕信息技术有限公司 一种通用机器学习数据分析平台
KR101955091B1 (ko) * 2017-05-15 2019-03-06 두산중공업 주식회사 이상 신호 복원 시스템 및 방법
CN107516135A (zh) * 2017-07-14 2017-12-26 浙江大学 一种支持多源数据的自动化监督性学习方法
CN109711440B (zh) * 2018-12-13 2022-02-08 新奥数能科技有限公司 一种数据异常检测方法和装置
CN109784676B (zh) * 2018-12-25 2023-08-29 杨鑫 数据分析的学习和使用方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN110738326A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN107391369A (zh) 一种基于数据筛选和数据过采样的跨项目缺陷预测方法
CN110837963A (zh) 一种基于数据、模型及策略的风险控制平台建设方法
Kalyani et al. Pattern analysis and classification for security evaluation in power networks
CN112491854B (zh) 一种基于fcnn的多方位安全入侵检测方法及系统
CN115099335A (zh) 多源异构数据的异常辨识和特征筛选方法、系统
Shuvro et al. Predicting cascading failures in power grids using machine learning algorithms
Cai et al. Cooperative coevolution with knowledge-based dynamic variable decomposition for bilevel multiobjective optimization
CN110738326B (zh) 一种人工智能服务系统模型的选择方法和装置
CN114676435A (zh) 一种基于知识图谱的软件漏洞可利用性预测方法
CN116489038A (zh) 网络流量的预测方法、装置、设备和介质
EP3918755A1 (en) Device and method for monitoring communication networks
CN116882756B (zh) 基于区块链的电力安全管控方法
CN111953531B (zh) 网络故障分析方法及装置
Kalyani et al. Static security assessment in power systems using multi-class SVM with parameter selection methods
CN109784403A (zh) 一种识别风险设备的方法以及相关设备
Xu et al. Comparisons of logistic regression and artificial neural network on power distribution systems fault cause identification
CN113962273B (zh) 一种基于多指标的时间序列异常检测方法、系统及存储介质
CN113570114B (zh) 一种资源服务智能匹配方法、系统和计算机设备
CN115115131A (zh) 基于迁移学习的多中心电力系统故障预测方法及系统
CN111160603B (zh) 一种端到端电力通信业务可靠性保障方法及系统
CN113807462A (zh) 一种基于ai的网络设备故障原因定位方法及其系统
De Caro et al. Review of data-driven techniques for on-line static and dynamic security assessment of modern power systems
CN114548195A (zh) 一种数据标注处理方法、装置、存储介质及电子装置
CN112560213A (zh) 基于模型系统工程和超网络理论的体系建模方法及系统
Arvind et al. An Energy Efficient Artificial Intelligence Based Innovation Detection for Complex Data Communication Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200

Patentee after: Qingdao Chuangxin Qizhi Technology Group Co.,Ltd.

Address before: 518054 room 04, 02 / F, podium building 4, Shenzhen software industry base, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN AINNOVATION TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200

Patentee after: Qingdao Chuangxin Qizhi Technology Group Co.,Ltd.

Address before: Room 501, block a, Haier International Plaza, 939 Zhenwu Road, Jimo Economic Development Zone, Qingdao, Shandong 266200

Patentee before: Qingdao Chuangxin Qizhi Technology Group Co.,Ltd.