CN116910449B - 一种人工智能算力的运算应用平台 - Google Patents
一种人工智能算力的运算应用平台 Download PDFInfo
- Publication number
- CN116910449B CN116910449B CN202310855760.XA CN202310855760A CN116910449B CN 116910449 B CN116910449 B CN 116910449B CN 202310855760 A CN202310855760 A CN 202310855760A CN 116910449 B CN116910449 B CN 116910449B
- Authority
- CN
- China
- Prior art keywords
- adaptive model
- prediction
- data
- self
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 29
- 230000003044 adaptive effect Effects 0.000 claims abstract description 77
- 238000004364 calculation method Methods 0.000 claims abstract description 52
- 238000012544 monitoring process Methods 0.000 claims abstract description 46
- 230000000694 effects Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000012800 visualization Methods 0.000 claims abstract description 17
- 238000013523 data management Methods 0.000 claims abstract description 12
- 230000001537 neural effect Effects 0.000 claims description 69
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000004140 cleaning Methods 0.000 claims description 12
- 210000005036 nerve Anatomy 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 9
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 26
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本发明涉及人工智能技术领域,公开了一种人工智能算力的运算应用平台,利用数据管理模块实现数据的标准化,方便更好地构建自适应模型,利用训练模型模块构建自适应模型方便适应不同的交互,利用预测模块实现自动优化自适应模型,给予用户最优的数据分析与决策支持,利用可视化和监控模块实时监控自适应模型的准确度,方便更好地对自适应模型进行优化,训练模型模块使用数据管理模块的处理数据生成自适应模型,自适应模型为预测模块做模型支撑,可视化和监控模块利用自适应模型和预测模块的预测效果进行监控,能够更好地适应不同的交互,通过监控自适应模型状态,在预测效果差的时候自动优化自适应模型,不断优化自适应模型的准确度和速度。
Description
技术领域
本发明涉及人工智能的技术领域,尤其涉及一种人工智能算力的运算应用平台。
背景技术
现阶段,科技的不断进步和发展带动了人工智能的发展和普及,其中人工智能算力成为人工智能产业化进一步发展的关键,例如现在最火的ChatGPT能够实现当前如此强大的交互,离不开背后庞大的算力支撑,市面上存在的人工智能算力的运算应用平台可以提供强大的计算资源,实现平台自动管理和分配计算资源,而且在语音识别、图像识别、自然语言处理、推荐系统等领域都有广泛的应用场景,但并没有更好地适应不同的交互,会存在预测效果差的现象,而且需要不断监控模型的准确度,并提高运算速度。
如申请公开号为CN111552573A的中国专利公开了一种区块链异构系统及人工智能算力网络。区块链异构系统包括主链、以及以跨链方式与主链链接的计算链;所述计算链包括至少一个出块节点和至少一个计算节点,所述出块节点出块并将所出的块构成块链,出块主节点与计算节点交易并将交易数据出块;通过第一工作证明算法判断计算节点运算能力的高低。该异构系统为计算节点提供了一种分布式的连接方式,将分散的算力进行整合,并对其运算能力进行区分,使得计算节点及其组合能进行各种运算。该计算链的网络结构,结合分布式存储的方式使整个网络更加健壮,更有弹性,同时更加符合计算任务的特性。
如申请公开号为CN111552573A的中国专利公开了一种人工智能算法编程能力自动评估方法、装置、介质及设备,属于人工智能领域。提供了一种自动化代码评测流程,可针对用户提交的代码进行自动评估,并在评估后针对模型表现和可解释性结果得出的评分和模型优化建议,便于用户在学习过程中快速上手人工智能算法。同时提供了智能化的数据预处理流程,可让用户专注于构建模型算法本身,而不需要关注模型算法之外其他的处理流程,从而使用户能够聚焦于学习人工智能算法中的核心内容。能够提供多维度的结果分析,且模型中不同超参数、输入特征的设置效果一目了然,以便于用户对模型进行有效改进。
以上专利存在本背景技术提出的问题:没有更好地适应不同的交互,会存在预测效果差的现象,而且需要不断监控模型的准确度,并提高运算速度。为解决这一问题,本发明提出一种人工智能算力的运算应用平台。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有人工智能算力的运算应用平台存在的问题,提出了本发明。
因此,本发明目的是提供一种人工智能算力的运算应用平台。
为解决上述技术问题,本发明提供如下技术方案:数据管理模块、训练模型模块、预测模块以及可视化和监控模块;
所述训练模型模块使用所述数据管理模块中的处理数据生成自适应模型;
所述预测模块利用所述自适应模型做模型支撑,构建预测知识库,并执行自动化预测;
所述可视化和监控模块利用所述自适应模型和所述预测模块的预测效果进行监控;
所述数据管理模块进行数据收集、数据清洗和预处理;
所述数据收集是收集包括算法、数据集和计算参数的数据;
所述数据清洗和预处理是将所述数据收集的所述数据进行删除重复数据、填补缺省数据和修改错误数据的操作并进行归一化处理,生成所述处理数据,形成样本集,所述归一化处理的计算公式如下:
式中,a表示所述算法,d表示所述数据集,c表示所述计算参数,表示所述算法的均值,表示所述数据集的均值,表示所述计算参数的均值,Sa表示所述算法的方差,Sd表示所述数据集的方差,Sc表示所述计算参数的方差,λ表示一个八位小数的常数,防止所有方差计算为0;
所述训练模型模块包括构建自适应模型、训练自适应模型和评估自适应模型;
所述自适应模型利用人工神经网络和自适应算法,将所述样本集分为80%的训练集和20%的测试集;
所述人工神经网络包括输入层、隐含层和输出层,所述输入层有3个神经节点,所述隐含层有3个神经节点,所述输出层有1个神经节点,构建所述自适应模型,公式如下:
OP=sn+1(θ(n+1)Tsn(θ(n)T···s1(θ(1)T(a,d,c)+l1)+···ln));
式中,OP表示所述自适应模型输出的预测结果,s1、sn和sn+1表示激活函数,n表示所述隐含层的层数,a表示所述算法,d表示所述数据集,c表示所述计算参数,l1表示所述输入层的神经节点到第一层所述隐含层的神经节点间的偏置参数,ln表示第n-1层所述隐含层的神经节点到第n层所述隐含层的神经节点间的偏置参数,θ(1)T表示所述输入层的神经节点到第一层所述隐含层的神经节点间的权值矩阵,θ(n)T表示第n-1层所述隐含层的神经节点到第n层所述隐含层的神经节点间的权值矩阵,θ(n+1)T表示第n层所述隐含层的神经节点到所述输出层的神经节点间的权值矩阵;
其中,s1的计算公式为
式中,e表示自然常数,a表示所述算法,d表示所述数据集,c表示所述计算参数;
sn的计算公式为
式中,e表示自然常数,a表示所述算法,d表示所述数据集,c表示所述计算参数;
sn+1的计算公式为sn+1=(a,d,c);
式中,a表示所述算法,d表示所述数据集,c表示所述计算参数;
l1的计算公式为l1=(l1i)T,i=a,d,c;
式中,l1i表示所述输入层的神经节点到第一层所述隐含层的3个神经节点间的偏置参数向量;
ln的计算公式为ln=(lni)T,i=a,d,c;
式中,lni表示第n-1层所述隐含层的神经节点到第n层所述隐含层的3个神经节点间的偏置参数向量;
θ(1)T的计算公式为
式中,表示所述输入层的3个神经节点到第一层所述隐含层的3个神经节点间的权值矩阵;
θ(n)T的计算公式为
式中,表示第n-1层所述隐含层的3个神经节点到第n层所述隐含层的3个神经节点间的权值矩阵;
θ(n+1)T的计算公式为
式中,表示第n层所述隐含层的3个神经节点到所述输出层的1个神经节点间的权值矩阵;
利用损失函数训练所述自适应模型,所述损失函数的公式如下:
式中,LF表示所述自适应模型输出的预测结果和所述训练集输出的真实结果的损失差值,OP表示所述自适应模型输出的预测结果,表示所述训练集输出的真实结果,X表示所述样本集的总数;
迭代所述自适应模型r次,所述自适应模型的自适应规则如下:
若所述损失差值LF在连续r次迭代中都有下降,则增加所述隐含层的神经节点;
若所述损失差值LF在连续r2次迭代中都没有下降,则减少所述隐含层的神经节点;
若所述损失差值LF在连续r和r2次迭代中都没有规则变化,则保持所述隐含层的神经节点不变;
利用评估函数评估所述自适应模型,所述评估函数的计算如下:
式中,EV表示所述自适应模型的评估结果,OP表示所述自适应模型输出的预测结果,表示所述训练集输出的真实结果,X表示所述样本集的总数;
若75%≤EV≤100%且所述损失差值LF在迭代中都没有规则变化,则表示所述自适应模型符合要求;
若75%≤EV≤100%且所述损失差值LF在迭代中有规则变化,则表示所述自适应模型符合要求,但需要增加或减少所述隐含层的神经节点;
若0%≤EV<75%且所述损失差值LF在迭代中都没有规则变化,则表示所述自适应模型符合要求,但需要继续优化所述自适应模型;
若0%≤EV<75%且所述损失差值LF在迭代中有规则变化,则表示所述自适应模型不符合要求,需要不断训练不断优化;
所述预测模块利用所述自适应模型做模型支撑,构建预测知识库,并执行自动化预测,且所述预测模块还包括预测规则;
所述自动化预测是根据所述自适应模型实现的,将所述自适应模型部署在运算应用平台中,利用所述自适应模型的所述处理数据、所述预测结果和自适应性构建所述预测知识库;
所述预测规则如下:
若所述自适应模型符合要求且所述预测知识库的事实、关系清晰,则通过所述自适应模型输出最终结果;
若所述自适应模型符合要求且所述预测知识库的事实、关系不清晰,则重新构建所述预测知识库,直到所述预测知识库的事实、关系清晰再通过所述自适应模型输出最终结果;
若所述自适应模型不符合要求且所述预测知识库的事实、关系清晰,则通过所述自适应规则进行优化所述自适应模型,再通过所述自适应模型输出最终结果;
若所述自适应模型不符合要求且所述预测知识库的事实、关系不清晰,则通过所述自适应规则进行优化所述自适应模型,并进行剪枝使所述预测知识库的事实、关系清晰化,再通过所述自适应模型输出最终结果。
作为本发明所述人工智能算力的运算应用平台的一种优选方案,其中:所述自动化预测的流程如下:
S1、利用所述自适应模型构建所述预测知识库;
S2、执行所述预测规则;
S3、输入新数据;
所述新数据是指不同于所述数据的新算法、新数据集和新计算参数;
S4、数据清洗和数据预处理;
对所述新数据进行所述数据清洗和数据预处理;
S5、自动化预测;
S6、看预测效果;
所述预测效果的判断标准如下:
若EV≥75%,则所述预测效果满足要求;
若EV<75%,则所述预测效果不满足要求;
若所述预测效果满足要求,则生成结果;
若所述预测效果不满足要求,看用户是否认可,若用户认可,则生成结果,若用户不认可,则重新执行所述自动化预测;
S7、将生成结果存储到所述预测知识库中,不断优化所述预测模块的性能和准确性。
作为本发明所述人工智能算力的运算应用平台的一种优选方案,其中:所述可视化和监控模块包括实时监控和结果可视化;
所述实时监控和结果可视化是监控所述自适应模型的准确性,并将监控结果利用图谱展现出来;
监控规则如下:
收集信息,所述信息包括所述损失函数的结果、所述评估函数的结果和所述自适应模型开始到监控结束的持续时间,若所述信息没有超过阈值,则结束监控,若所述信息超过阈值,则继续看所述预测效果,若所述预测效果满足要求,则给予平台提示所述信息超过阈值,需检查所述自适应模型,并结束监控,若所述预测效果不满足要求,则给予平台报警,需立即修正所述自适应模型,并结束监控。
作为本发明所述人工智能算力的运算应用平台的一种优选方案,其中:所述阈值包括:所述损失函数的结果在连续r和r2次迭代中有规则变化、所述评估函数的结果为75%、所述持续时间为5s;
将监控过程中出现的问题用仪表盘图和进度条图进行展示,并对比原始模型的数据。
本发明的有益效果:本发明通过对人工智能算力的运算应用平台进行设计,利用数据管理模块实现数据的标准化,方便更好地构建自适应模型,利用训练模型模块构建自适应模型方便适应不同的交互,利用预测模块实现自动优化自适应模型,给予用户最优的数据分析与决策支持,利用可视化和监控模块实时监控自适应模型的准确度,方便更好地对自适应模型进行优化,其中所述训练模型模块使用所述数据管理模块中的处理数据生成自适应模型,所述预测模块利用所述自适应模型做模型支撑,所述可视化和监控模块利用所述自适应模型和所述预测模块的预测效果进行监控,能够更好地适应不同的交互,并且通过监控自适应模型的状态,在预测效果差的时候能够自动优化自适应模型,不断优化自适应模型的准确度和速度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1为本发明人工智能算力的运算应用平台的整体模块图。
图2为本发明人工智能算力的运算应用平台所述的自动化预测流程图。
图3为本发明人工智能算力的运算应用平台所述的监控规则图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
再其次,本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
实施例
参照图1,提供了一种人工智能算力的运算应用平台的整体模块图,如图1,一种人工智能算力的运算应用平台包括数据管理模块、训练模型模块、预测模块以及可视化和监控模块。
数据管理模块进行数据收集、数据清洗和预处理两个操作,实现数据的标准化,能够更好地构建自适应模型。
数据收集是收集包括算法、数据集和计算参数的数据,其中算法可以通过研究已有的论文或者书籍、参加学术会议或者在线课程获得,数据集可以通过公共数据库下载或者数据挖掘工具爬取获得,计算参数需要根据具体任务或问题,选取合适的模型和算法,并进行调参,通过实验和验证来确定最佳参数;
数据清洗和预处理是将数据收集的数据进行删除重复数据、填补缺省数据和修改错误数据的操作并进行归一化处理,生成处理数据,形成样本集,归一化处理的计算公式如下:
式中,a表示算法,d表示数据集,c表示计算参数,表示算法的均值,
表示数据集的均值,表示计算参数的均值,Sa表示算法的方差,Sd表示数据集的方差,Sc表示计算参数的方差,λ表示一个八位小数的小常数,防止所有方差计算为0。
具体应用中,收集100组数据进行归一化处理,生成处理数据,执行训练模型模块。
训练模型模块包括构建自适应模型、训练自适应模型和评估自适应模型。
自适应模型是利用人工神经网络和自适应算法,将样本集分为80%的训练集和20%的测试集,利用自适应模型的自适应性能够更好地适应不同的交互;
人工神经网络包括输入层、隐含层和输出层,已知输入层有3个神经节点,隐含层有3个神经节点,输出层有1个神经节点,构建自适应模型,公式如下:
OP=sn+1(θ(n+1)Tsn(θ(n)T···s1(θ(1)T(a,d,c)+l1)+···ln));
式中,OP表示自适应模型输出的预测结果,s1、sn和sn+1表示激活函数,n表示隐含层的层数,a表示算法,d表示数据集,c表示计算参数,l1表示输入层的神经节点到第一层隐含层的神经节点间的偏置参数,ln表示第n-1层隐含层的神经节点到第n层隐含层的神经节点间的偏置参数,θ(1)T表示输入层的神经节点到第一层隐含层的神经节点间的权值矩阵,θ(n)T表示第n-1层隐含层的神经节点到第n层隐含层的神经节点间的权值矩阵,θ(n+1)T表示第n层隐含层的神经节点到输出层的神经节点间的权值矩阵;
其中,s1的计算公式为
式中,e表示自然常数,a表示算法,d表示数据集,c表示计算参数;
sn的计算公式为
式中,e表示自然常数,a表示算法,d表示数据集,c表示计算参数;
sn+1的计算公式为sn+1=(a,d,c);
式中,a表示算法,d表示数据集,c表示计算参数;
l1的计算公式为l1=(l1i)T,i=a,d,c;
式中,l1i表示输入层的神经节点到第一层隐含层的3个神经节点间的偏置参数向量;
ln的计算公式为ln=(lni)T,i=a,d,c;
式中,lni表示第n-1层隐含层的神经节点到第n层隐含层的3个神经节点间的偏置参数向量;
θ(1)T的计算公式为
式中,表示输入层的3个神经节点到第一层隐含层的3个神经节点间的权值矩阵;
θ(n)T的计算公式为
式中,表示第n-1层隐含层的3个神经节点到第n层隐含层的3个神经节点间的权值矩阵;
θ(n+1)T的计算公式为
式中,表示第n层隐含层的3个神经节点到输出层的1个神经节点间的权值矩阵;
利用损失函数训练自适应模型,能够更好地展示出自适应模型输出的预测结果和训练集输出的真实结果的差距,差距越小说明自适应模型越优秀,损失函数的公式如下:
式中,LF表示自适应模型输出的预测结果和训练集输出的真实结果的损失差值,OP表示自适应模型输出的预测结果,表示训练集输出的真实结果,X表示样本集的总数;
迭代自适应模型r次,自适应模型的自适应规则如下:
若损失差值LF在连续r次迭代中都有下降,则增加隐含层的神经节点;
若损失差值LF在连续r2次迭代中都没有下降,则减少隐含层的神经节点;
若损失差值LF在连续r和r2次迭代中都没有规则变化,则保持隐含层的神经节点不变;
利用评估函数评估自适应模型,结合损失差值LF,评估结果越大且损失差值LF都没有规则变化说明自适应模型越符合要求,评估函数的计算如下:
式中,EV表示自适应模型的评估结果,OP表示自适应模型输出的预测结果,表示训练集输出的真实结果,X表示样本集的总数;
若75%≤EV≤100%且损失差值LF在迭代中都没有规则变化,则表示自适应模型符合要求;
若75%≤EV≤100%且损失差值LF在迭代中有规则变化,则表示自适应模型符合要求,但需要增加或减少隐含层的神经节点;
若0%≤EV<75%且损失差值LF在迭代中都没有规则变化,则表示自适应模型符合要求,但需要继续优化自适应模型;
若0%≤EV<75%且损失差值LF在迭代中有规则变化,则表示自适应模型不符合要求,需要不断训练不断优化;
规则变化是指LF存在连续r次迭代中都有下降和连续r2次迭代中都没有下降的情况。
具体应用中,利用处理数据构建自适应模型,执行预测模块。
预测模块利用自适应模型做模型支撑,构建预测知识库,并执行自动化预测,且预测模块还包括预测规则,能够实现自动优化自适应模型,给予用户最优的数据分析与决策支持。
构建预测知识库需要利用自适应模型的处理数据、预测结果和自适应性,将处理数据输入到自适应模型中得出相应的预测结果,其中处理数据、自适应模型、预测结果为事实,则处理数据、自适应模型和预测结果之间的联系为关系,处理数据为自适应模型提供数据支撑、自适应模型为预测结果提供模型支撑,自适应性是指自适应模型可以根据处理数据自动优化处理方法,实现更好地交互;
预测规则具体如下:
若自适应模型符合要求且预测知识库的事实、关系清晰,则通过自适应模型输出最终结果;
若自适应模型符合要求且预测知识库的事实、关系不清晰,则重新构建预测知识库,直到预测知识库的事实、关系清晰再通过自适应模型输出最终结果;
若自适应模型不符合要求且预测知识库的事实、关系清晰,则通过自适应规则进行优化自适应模型,再通过自适应模型输出最终结果;
若自适应模型不符合要求且预测知识库的事实、关系不清晰,则通过自适应规则进行优化自适应模型,并进行剪枝使预测知识库的事实、关系清晰化,再通过自适应模型输出最终结果;
预测知识库的事实、关系是否清晰的判断标准如下:
若预测结果和真实结果的损失差值LF在迭代中都没有规则变化且EV≥75%,则预测知识库的事实、关系清晰;
若预测结果和真实结果的损失差值LF在迭代中都没有规则变化且EV<75%,则预测知识库的事实、关系不清晰;
若预测结果和真实结果的损失差值LF在迭代中有规则变化且EV≥75%,则预测知识库的事实、关系不清晰;
若预测结果和真实结果的损失差值LF在迭代中有规则变化且EV<75%,则预测知识库的事实、关系不清晰;
自动化预测是根据自适应模型实现的,将自适应模型部署在运算应用平台中,自动化预测的流程如图2所示,具体如下:
S1、利用自适应模型构建预测知识库;
构建预测知识库需要利用自适应模型的处理数据、预测结果和自适应性,将处理数据输入到自适应模型中得出相应的预测结果,其中处理数据、自适应模型、预测结果为事实,则处理数据、自适应模型和预测结果之间的联系为关系,处理数据为自适应模型提供数据支撑、自适应模型为预测结果提供模型支撑;
S2、执行预测规则;
预测规则的具体内容如上述描述所示;
S3、输入新数据;
新数据是指不同于数据的新算法、新数据集和新计算参数;
S4、数据清洗和数据预处理;
数据清洗和数据预处理是将新数据进行删除重复数据、填补缺省数据和修改错误数据的操作并利用归一化处理公式进行归一化处理,形成结构化数据,方便进行后续操作;
S5、自动化预测;
基于自适应模型和预测知识库的预测性,对结构化数据进行处理,生成一个最优且简单的结果;
S6、看预测效果;
预测效果的判断标准如下:
若EV≥75%,则预测效果满足要求;
若EV<75%,则预测效果不满足要求;
看结果的预测效果是否满足要求;
若预测效果满足要求,则生成结果;
若预测效果不满足要求,看用户是否认可,若用户认可,则生成结果,若用户不认可,则重新执行自动化预测;
S7、将生成结果存储到预测知识库中,不断优化预测模块的性能和准确性;
将预测效果满足要求的生成结果存储到预测知识库中,大量且优质的生成结果能够更好地训练和优化预测知识库,从而能不断地优化预测模块的性能和准确性。
具体应用中,借助自适应模型构建预测知识库,现用户需要对房车的市场进行预测并对该市场进行金融风险评估,输入算法包括FP-Growth、决策树和K均值聚类,输入数据集包括房车购买的数据、区域数据、人群数据、价格数据、年龄数据、型号数据、购买方式数据、用途数据,动态调整计算参数,预测知识库对算法、数据集、计算参数进行识别实现自动化预测,预测结果为用户可以考虑在江苏做6米以下的二手旅居车的市场,特别是在春夏季加大促销力度,该预测结果的可行性比较高,且符合市场规律。
可视化和监控模块包括实时监控和结果可视化,实时监控自适应模型的准确度,方便更好地对自适应模型进行优化;
实时监控和结果可视化是监控自适应模型的准确性,并将监控结果利用图谱展现出来;
监控规则如图3所示,具体如下:
收集信息,信息包括损失函数的结果、评估函数的结果和自适应模型开始到监控结束的持续时间;
若信息没有超过阈值,则结束监控;
若信息超过阈值,则继续看预测效果;
若预测效果满足要求,则给予平台提示信息超过阈值,需检查自适应模型,并结束监控;
若预测效果不满足要求,则给予平台报警,需立即修正自适应模型,并结束监控。
阈值包括:损失函数的结果在连续r和r2次迭代中有规则变化、评估函数的结果与100%的差值为25%、持续时间为5s;
将监控过程中出现的问题用仪表盘图和进度条图进行展示,并对比原始模型的数据,直观展示监控过程中出现的问题;
问题包括损失函数和评估函数的异常结果以及持续时间的异常,并将问题存储成结构化数据,利用可视化软件Tableau将损失函数和评估函数的异常结果形成的结构化数据以仪表盘图的形式展示出来,将持续时间的异常形成的结构化数据以进度条图的形式展示出来,再将原始的损失函数和评估函数的结果以仪表盘图的形式展示出来,两者形成对比,更加直观地展示了监控所出现的问题,并有指向性地去维护和优化平台。
具体应用中,损失函数的结果没有在规则变化,且评估函数为80%,持续时间为2s,没有出现异常结果,结束监控。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种人工智能算力的运算应用平台,应用于图像识别中,其特征在于:包括,
数据管理模块、训练模型模块、预测模块以及可视化和监控模块;
所述训练模型模块使用所述数据管理模块中的处理数据生成自适应模型;
所述预测模块利用所述自适应模型做模型支撑,构建预测知识库,并执行自动化预测;
所述可视化和监控模块利用所述自适应模型和所述预测模块的预测效果进行监控;
所述数据管理模块进行数据收集、数据清洗和预处理;
所述数据收集是收集包括算法、数据集和计算参数的数据;
所述数据清洗和预处理是将所述数据收集的所述数据进行删除重复数据、填补缺省数据和修改错误数据的操作并进行归一化处理,生成所述处理数据,形成样本集,所述归一化处理的计算公式如下:
式中,a表示所述算法,d表示所述数据集,c表示所述计算参数,表示所述算法的均值,表示所述数据集的均值,表示所述计算参数的均值,Sa表示所述算法的方差,Sd表示所述数据集的方差,Sc表示所述计算参数的方差,λ表示一个八位小数的常数,防止所有方差计算为0;
所述训练模型模块包括构建自适应模型、训练自适应模型和评估自适应模型;
所述自适应模型利用人工神经网络和自适应算法,将所述样本集分为80%的训练集和20%的测试集;
所述人工神经网络包括输入层、隐含层和输出层,所述输入层有3个神经节点,所述隐含层有3个神经节点,所述输出层有1个神经节点,构建所述自适应模型,公式如下:
OP=sn+1(θ(n+1)Tsn(θ(n)T…s1(θ(1)T(a,d,c)+l1)+…ln));
式中,OP表示所述自适应模型输出的预测结果,s1、sn和sn+1表示激活函数,n表示所述隐含层的层数,a表示所述算法,d表示所述数据集,c表示所述计算参数,l1表示所述输入层的神经节点到第一层所述隐含层的神经节点间的偏置参数,ln表示第n-1层所述隐含层的神经节点到第n层所述隐含层的神经节点间的偏置参数,θ(1)T表示所述输入层的神经节点到第一层所述隐含层的神经节点间的权值矩阵,θ(n)T表示第n-1层所述隐含层的神经节点到第n层所述隐含层的神经节点间的权值矩阵,θ(n+1)T表示第n层所述隐含层的神经节点到所述输出层的神经节点间的权值矩阵;
其中,s1的计算公式为
式中,e表示自然常数,a表示所述算法,d表示所述数据集,c表示所述计算参数;
sn的计算公式为
式中,e表示自然常数,a表示所述算法,d表示所述数据集,c表示所述计算参数;
sn+1的计算公式为sn+1=(a,d,c);
式中,a表示所述算法,d表示所述数据集,c表示所述计算参数;
l1的计算公式为l1=(l1i)T,i=a,d,c;
式中,l1i表示所述输入层的神经节点到第一层所述隐含层的3个神经节点间的偏置参数向量;
ln的计算公式为ln=(lni)T,i=a,d,c;
式中,lni表示第n-1层所述隐含层的神经节点到第n层所述隐含层的3个神经节点间的偏置参数向量;
θ(1)T的计算公式为
式中,表示所述输入层的3个神经节点到第一层所述隐含层的3个神经节点间的权值矩阵;
θ(n)T的计算公式为
式中,表示第n-1层所述隐含层的3个神经节点到第n层所述隐含层的3个神经节点间的权值矩阵;
θ(n+1)T的计算公式为
式中,表示第n层所述隐含层的3个神经节点到所述输出层的1个神经节点间的权值矩阵;
利用损失函数训练所述自适应模型,所述损失函数的公式如下:
式中,LF表示所述自适应模型输出的预测结果和所述训练集输出的真实结果的损失差值,OP表示所述自适应模型输出的预测结果,表示所述训练集输出的真实结果,X表示所述样本集的总数;
迭代所述自适应模型r次,所述自适应模型的自适应规则如下:
若所述损失差值LF在连续r次迭代中都有下降,则增加所述隐含层的神经节点;
若所述损失差值LF在连续r2次迭代中都没有下降,则减少所述隐含层的神经节点;
若所述损失差值LF在连续r和r2次迭代中都没有规则变化,则保持所述隐含层的神经节点不变;
利用评估函数评估所述自适应模型,所述评估函数的计算如下:
式中,EV表示所述自适应模型的评估结果,OP表示所述自适应模型输出的预测结果,表示所述训练集输出的真实结果,X表示所述样本集的总数;
若75%≤EV≤100%且所述损失差值LF在迭代中都没有规则变化,则表示所述自适应模型符合要求;
若75%≤EV≤100%且所述损失差值LF在迭代中有规则变化,则表示所述自适应模型符合要求,但需要增加或减少所述隐含层的神经节点;
若0%≤EV<75%且所述损失差值LF在迭代中都没有规则变化,则表示所述自适应模型符合要求,但需要继续优化所述自适应模型;
若0%≤EV<75%且所述损失差值LF在迭代中有规则变化,则表示所述自适应模型不符合要求,需要不断训练不断优化;
所述预测模块利用所述自适应模型做模型支撑,构建预测知识库,并执行自动化预测,且所述预测模块还包括预测规则;
所述自动化预测是根据所述自适应模型实现的,将所述自适应模型部署在运算应用平台中,利用所述自适应模型的所述处理数据、所述预测结果和自适应性构建所述预测知识库;
所述预测规则如下:
若所述自适应模型符合要求且所述预测知识库的事实、关系清晰,则通过所述自适应模型输出最终结果;
若所述自适应模型符合要求且所述预测知识库的事实、关系不清晰,则重新构建所述预测知识库,直到所述预测知识库的事实、关系清晰再通过所述自适应模型输出最终结果;
若所述自适应模型不符合要求且所述预测知识库的事实、关系清晰,则通过所述自适应规则进行优化所述自适应模型,再通过所述自适应模型输出最终结果;
若所述自适应模型不符合要求且所述预测知识库的事实、关系不清晰,则通过所述自适应规则进行优化所述自适应模型,并进行剪枝使所述预测知识库的事实、关系清晰化,再通过所述自适应模型输出最终结果。
2.如权利要求1所述的人工智能算力的运算应用平台,其特征在于:所述自动化预测的流程如下:
S1、利用所述自适应模型构建所述预测知识库;
S2、执行所述预测规则;
S3、输入新数据;
所述新数据是指不同于所述数据的新算法、新数据集和新计算参数;
S4、数据清洗和数据预处理;
对所述新数据进行所述数据清洗和数据预处理;
S5、自动化预测;
S6、看预测效果;
所述预测效果的判断标准如下:
若EV≥75%,则所述预测效果满足要求;
若EV<75%,则所述预测效果不满足要求;
若所述预测效果满足要求,则生成结果;
若所述预测效果不满足要求,看用户是否认可,若用户认可,则生成结果,若用户不认可,则重新执行所述自动化预测;
S7、将生成结果存储到所述预测知识库中,不断优化所述预测模块的性能和准确性。
3.如权利要求2所述的人工智能算力的运算应用平台,其特征在于:所述可视化和监控模块包括实时监控和结果可视化;
所述实时监控和结果可视化是监控所述自适应模型的准确性,并将监控结果利用图谱展现出来;
监控规则如下:
收集信息,所述信息包括所述损失函数的结果、所述评估函数的结果和所述自适应模型开始到监控结束的持续时间,若所述信息没有超过阈值,则结束监控,若所述信息超过阈值,则继续看所述预测效果,若所述预测效果满足要求,则给予平台提示所述信息超过阈值,需检查所述自适应模型,并结束监控,若所述预测效果不满足要求,则给予平台报警,需立即修正所述自适应模型,并结束监控。
4.如权利要求3所述的人工智能算力的运算应用平台,其特征在于:所述阈值包括:所述损失函数的结果在连续r和r2次迭代中有规则变化、所述评估函数的结果为75%、所述持续时间为5s;
将监控过程中出现的问题用仪表盘图和进度条图进行展示,并对比原始模型的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310855760.XA CN116910449B (zh) | 2023-07-12 | 一种人工智能算力的运算应用平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310855760.XA CN116910449B (zh) | 2023-07-12 | 一种人工智能算力的运算应用平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116910449A CN116910449A (zh) | 2023-10-20 |
CN116910449B true CN116910449B (zh) | 2024-07-05 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114968788A (zh) * | 2022-05-27 | 2022-08-30 | 浙江大学 | 人工智能算法编程能力自动评估方法、装置、介质及设备 |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114968788A (zh) * | 2022-05-27 | 2022-08-30 | 浙江大学 | 人工智能算法编程能力自动评估方法、装置、介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738564A (zh) | 贷后风险评估方法及装置、存储介质 | |
CN106529729A (zh) | 基于BP_Adaboost模型的信用卡用户违约的预测方法及系统 | |
CN110717535B (zh) | 一种基于数据分析处理系统的自动建模方法及系统 | |
CN112270547A (zh) | 基于特征构造的金融风险评估方法、装置和电子设备 | |
CN104778622A (zh) | Tps交易事件阈值的预测方法及预测系统 | |
CN112085565A (zh) | 基于深度学习的信息推荐方法、装置、设备及存储介质 | |
CN111738331A (zh) | 用户分类方法及装置、计算机可读存储介质、电子设备 | |
CN109919188A (zh) | 基于稀疏局部注意力机制和卷积回声状态网络的时序分类方法 | |
CN112819523B (zh) | 结合内/外积特征交互和贝叶斯神经网络的营销预测方法 | |
CN111967971A (zh) | 银行客户数据处理方法及装置 | |
CN111199469A (zh) | 用户还款模型生成方法、装置及电子设备 | |
CN111221881B (zh) | 用户特征数据合成方法、装置及电子设备 | |
CN109753568A (zh) | 一种处理方法及电子设备 | |
CN115640888A (zh) | 一种递减函数嵌入式门限序列网络的产量预测方法 | |
Zhu et al. | Loan default prediction based on convolutional neural network and LightGBM | |
CN116910449B (zh) | 一种人工智能算力的运算应用平台 | |
CN116910449A (zh) | 一种人工智能算力的运算应用平台 | |
Guo et al. | Mobile user credit prediction based on lightgbm | |
CN111612491A (zh) | 状态分析模型构建方法、分析方法及装置 | |
CN113392958B (zh) | 一种模糊神经网络fnn的参数优化及应用方法与系统 | |
CN115409541A (zh) | 基于数据血缘的卷烟品牌数据处理方法 | |
Velikova et al. | Decision trees for monotone price models | |
Zhang et al. | Construction method of concept lattice based on improved variable precision rough set | |
CN113781056A (zh) | 预测用户欺诈行为的方法及装置 | |
CN113723660A (zh) | 一种基于dnn-lstm融合模型的特定行为类型预测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |