CN114707657A - 基于联邦机器学习算法的服务评估方法与系统 - Google Patents
基于联邦机器学习算法的服务评估方法与系统 Download PDFInfo
- Publication number
- CN114707657A CN114707657A CN202210192934.4A CN202210192934A CN114707657A CN 114707657 A CN114707657 A CN 114707657A CN 202210192934 A CN202210192934 A CN 202210192934A CN 114707657 A CN114707657 A CN 114707657A
- Authority
- CN
- China
- Prior art keywords
- data
- service evaluation
- local
- machine learning
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于联邦机器学习算法的服务评估系统,包括服务评估云端(1)、布置于多个区域的本地服务器端(2)和多个评价数据采集模块(4);每个本地服务器端(2)包括对应于的数个评价数据采集模块(4),从而每个本地服务器端(2)分别和对应的数个评价数据采集模块(4)数据通信连接;所述评价数据采集模块(4)用于采集服务评价数据,同时,所述服务评价数据加上答复时长,形成服务评价数据记录,并将所述服务评价数据记录发送给对应于的所述本地服务器端(2);所述服务评估云端(1)通过数据通信网络和布置于多个区域的本地服务器端(2)、大数据分析和调度模块(3)数据通信连接;所述服务评估云端(1)包括云存储模块(3)和联邦机器学习和评估模块(5)。本发明分别存储有局部训练模型和全局整体联邦模型,在分析局部数据和局部的服务评价时,采用局部训练模型,这样局部训练模型具备更加针对性,更加准确反映局部数据特征,从而更好反映服务质量。
Description
技术领域
本发明涉及在服务评价与评估技术领域,具体为一种基于联邦机器学习算法的服务评估方法与系统。
背景技术
公司、企业和政府服务机关等为了了解公众、客户等对自己的完成任务或服务的评价,通常会采用电话回访、调查问卷和评价服务平台等方式完成,这些服务评价的反馈,通常数量比较大,为了基于这些服务评价的反馈进行分析和判断,得出评价结果,需要大量分析每个服务评价的反馈并不现实,因此,通常会采取抽样的方式来进行,这种方式虽然可以减少分析的数据的数量,但也容易导致由于抽样的不合理最终的评价结果不准确,甚至完全偏离的结果,这样显然不符合基于评价来反馈服务等质量的评价体系;但对所有服务评价都纳入进行分析,这样一方面对传统的运算服务器要求很高,同时,而且处理周期长,导致需要大量数据逻辑的运算,从而对处理器的运算处理能力需求进一步加强,而为了适应于大规模的计算和运算处理能力,这必然会提高对处理器的逻辑计算能力需求,而大规模集成电路或超大规模集成电路的运算处理能力,也直接影响到了其生产成本和时间成本。另外一方面,对各种智能设备来说,为了实现各种智能化处理的技术效果,需要联合各传感设备或各机构的数据,进行综合逻辑计算后,进行汇总后作出综合判断,但要将分散在各地的数据进行整合在巨大的困难和经济成本,而目前也存在对分布在各地的数据进行联合访问和处理的技术,如联邦机器学习,又名联邦学习,联合学习,联盟学习,联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模;
如专利申请CN112884163A公开了一种基于联邦机器学习算法与云端反馈的组合服务评估方法与系统,包括分布在不同地址的多个设备(1)、云端联邦机器学习服务器(2)、联邦数据训练模块(5)和全局数据存储模块(9);将所述设备(1)分成数个分组(13),每个所述分组(13)包括一定数量的所述设备(1),每个所述设备(1)包括数据预处理模块(3)、数据传感模块(6)、单机存储模块(7)和数据读取模块(11);所述云端联邦机器学习服务器(2)分别和联邦数据训练模块(5)和全局数据存储模块(9)数据通信连接;该发明通过采用分组联邦学习的模式,采用分组,利用小分组的计算能力小,对数据运行能力小的部分,放在小分组中,而数据运算能源需求高的计算部分,放在云端,从而可以利用运算能力更强的本地数据运输模块去进行最后大型运算需求的部分,提供更加优质和高效的模型构建方法和系统。
专利CN101873270A公开了一种网络技术领域的多角度信息反馈的服务管理系统,包括:领域管理模块、服务管理模块、服务查找模块、服务排序模块和服务反馈模块,其中:领域管理模块和服务管理模块相连传输领域信息,服务管理模块与服务查找模块相连传输服务质量信息,服务管理模块与服务反馈模块相连传输服务质量信息和服务反馈调整值信息,服务查找模块和服务排序模块相连传输待选服务信息。该发明在互联网环境下为用户提供了一个通用的,基于服务质量的评估和查找平台,帮助用户从众多的同质服务中查找到最适合自己的服务,且准确率高、所用时间短。
专利CN102111440A公开了一种支持动态交互的实时信息安全服务系统及方法,提供一种可以支持信息安全服务提供方与服务接受方能够远程实时交互的过程中进行动态安全服务的系统及其方法,其间如果遇到比较困难的信息安全问题,需要多个信息安全专家通过网页(web)加入进来,以在线的方式进行协同诊断与提出安全建议,最终完成安全服务。本发明的服务方法与原有人工安全服务,以及IT服务方法比较起来,具有较好的实时性、交互性,能够快速的解决组织面临的信息安全服务问题,以及节约大量成本;方法简单实用,可以应用于大中小型的信息系统和组织的安全服务。
专利CN103871143A公开了一种银行服务评估系统,是对传统的窗口评价机的创新和升级。让客户评价不再局限于窗口部分,拓展到对于银行大厅环境和安全性及服务效率的评价,借鉴银行排号机的外观设置,可以提升银行系统自我监督和自我管理机制,完善银行服务。本产品的组成包括:(1)壳体(2)电源电路(3)嵌入式最小系统(4)辅助电路(5)液晶屏接口电路(6)触摸屏接口电路(7)网络通信电路,本产品可以更好地反馈客户对于银行服务全方位的评价。
专利CN105119751A公开了一种定位服务评估方法,该方法包括:向客户端发送定位依据和需要测试的定位产品的信息,以使客户端调用需要测试的定位产品的信息对应的定位产品,对定位依据进行定位,获取定位产品的定位结果;接收客户端发送的定位产品的定位结果;根据定位结果以及预先获取的基准数据,确定定位产品的定位服务评估结果。该发明实施例的方法可以自动的评估各个行政区域、各个定位产品的定位效果,取代了外场评估专员的实地评估,大大节省了人力成本,提高了评估效率。
专利CN104038392A公开了一种云计算资源服务质量评估方法,本发明采用优化调整资源通过逐步变更虚拟机的配置来高效合理使用物理资源,并利用采集器采集虚拟资源、物理资源的CPU、内存使用效率数据存入数据库作为基础数据,通过对每一个物理资源,虚拟机资源历史数据计算出该资源使用的增加量或减少量,及增长速率和减少速率,通过和近期资源平均的使用率进行分析得出需要扩容还是缩小,等等。本发明一方面在保证质量的情况下合理使用运资源,另一方面也通过保证服务质量前提的条件下合理利用资源实现IT的绿色节能,节约资金的目的。
可见,目前,市面上的服务评估系统中,虽然一定程度反馈了服务的效果,但是还存在以下缺陷:
1.在现有技术中,在进行联邦机器学习中,通常是在局部建立模型后,只将建立的模型发送给其他子系统进行数据的进一步的模型训练,得出最终的联邦机器学习模型,但是由于其联邦机器学习模型是在每个单独的本地数据处理模型下完成,并进行联邦训练,这样通常不会考虑个本地数据记录的数量,进而导致在构建的训练模型不准确,特别是对数据量大的训练模型不利,不利用在局部数据模型的表达和应用。
2.在现有技术中,通常是多个本地的服务器端直接利用联邦模型对数据进行分析,但是为了方便通常在进行数据分析时,通常采用的是统一的联邦模型,而在实际使用中,由于地域的差异,通常本地服务器端的数据训练模型和全局整体模型并不相同,因此当专门针对某个本地端进行数据训练和模型时,采用全局模型并不准确。
面对上述技术问题,人们希望提供一种能够快速进行数据训练,同时提供准确性的联邦机器学习服务方法和差异化的技术手段,以便快速处理数据的得到更加准确和差异化的数据模型的技术方案。但到目前为止,现有技术中并无有效办法解决上述技术难题。
面对上述技术问题,希望提供一种基于联邦机器学习算法的服务评估方法与系统,以解决上述技术问题。
发明内容
针对上述技术问题,本发明的目的在于提供一种基于联邦机器学习算法的服务评估方法与系统,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于联邦机器学习算法的服务评估系统,包括服务评估云端、布置于多个区域的本地服务器端和多个评价数据采集模块;每个本地服务器端包括对应于的数个评价数据采集模块,从而每个本地服务器端分别和对应的数个评价数据采集模块数据通信连接;所述评价数据采集模块用于采集服务评价数据,同时,所述服务评价数据加上答复时长,形成服务评价数据记录,并将所述服务评价数据记录发送给对应于的所述本地服务器端;所述服务评估云端通过数据通信网络和布置于多个区域的本地服务器端数据通信连接;所述服务评估云端包括云存储模块和联邦机器学习和评估模块;
每个所述本地服务器端包括本地数据清理模块、本地数据评估分析模块和本地子模型建立模块和本地数据储存模块;所述服务评价数据记录发送到所述本地服务器端时,先将所述服务评价数据记录发送给所述本地数据清理模块,所述本地数据清理模块用于对收集的服务评价数据记录进行清理,清理服务评价数据记录中存在前后矛盾的部分、填写不全的服务评价数据记录,以及所述答复时长短于规定时长的数据记录,并将清理后的所述服务评价数据记录发送至所述本地数据储存模块进行存储;
所述本地子模型建立模块读取存储于所述本地数据储存模块中的服务评价数据记录,并基于所述服务评价数据记录进行大数据分析训练得出本地数据训练模型,并将所述本地数据训练模型存储于所述本地数据储存模块,同时,将所述本地数据训练模型备份一份作为初始的全局数据训练模型,并也存储于所述本地数据储存模块,同时,还将该初始的全局数据训练模型的发送至所述服务评估云端的所述云存储模块;
所述服务评估云端的联邦机器学习和评估模块所述将各所述本地服务器端发送的所述初始的全局数据训练模型,采用比例加权的方式将所述初始的全局数据训练模型加权得到所述云端初始全局训练模型,并将所述云端初始全局训练模型基于各本地服务评价数据记录作为训练数据,通过联邦机器学习方法得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端的所述本地数据储存模块进行存储以替换初始的全局数据训练模型;
各所述本地服务器端基于存储于各所述本地数据存储模块的服务评价数据记录对最新的所述联邦机器学习模型进行验证,即基于所述本地数据存储模块存储的服务评价数据记录的部分数据作为输入部分输入所述联邦机器学习模型,进而得出模型数据输出,并将所述模型数据输出和所述本地的服务评价数据记录的数值进行对比,当偏差达到一定值时,调整所述联邦机器学习模型,将该所述联邦机器学习模型作为初始模型,并基于该本地的服务评价数据记录进行数据训练,形成新的联邦机器学习模型以便更新所述联邦机器学习模型。
优选的,在基于联邦机器学习算法生成联邦机器学习模型时,预先设定每个本地服务器端进行联邦机器学习得出所述联邦机器学习模型的服务评价数据记录数量,保证在进行联邦机器学习生成联邦机器学习模型时,不会因为某个本地服务器端的服务评价数据记录数量不足导致联邦机器学习模型不准确;当其中的本地服务器端的服务评价数据记录量少于预先设定的数据记录数量时,在进行联邦机器学习生成联邦机器学习模型时,对该所述服务评价数据记录量采用复制的方式增加数据的数量,或基于所述本地数据训练模型生成足够数量的服务评价数据记录量,以便满足进行数量训练的数据记录数量。
优选的,在所述本地数据清理模块对所述服务评价数据记录进行数据清理时,当本地服务器端的服务评价数据存在部分缺失不完整时,基于各所述本地数据训练模型进行数据训练,生成空缺的数据部分,从而形成完整的服务评价数据记录。
优选的,在所述本地数据清理模块对所述服务评价数据记录进行数据清理时,为了给部分服务评价数据记录进行补全其他列数据以便形成更多维度的服务评价数据记录,所述本地数据清理模块读取所述联邦机器学习模型,从而基于数据记录输入所述全局数据训练模型进行联邦迁移学习以便得到更多维度的数据,或者读取具备相应维度的本地数据训练模型,并基于该本地数据训练模型得到更多维度的数据。
优选的,所述本地数据清理模块对所述服务评价数据记录进行数据清理时,将所述服务评价数据记录输入所述本地数据训练模型进行数据训练形成数据输出,并对服务评价数据记录输入和通过所述本地数据训练模型进行数据训练形成数据输出进行对比分析,统计服务评价数据记录输入偏离一定值的数据数量,当所述数据数量达到一定数量时,则认为所述本地数据训练模型不再适应当前的本地服务评价数据记录,重新基于存储于所述本地数据储存模块的采集的服务评价数据记录进行训练,生成最新的本地数据训练模型,同时,通过所述服务评估云端将各所述本地服务器端发送的全局数据训练模型,并依据各本地服务器端的服务评价数据记录进行联邦机器学习,得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端的所述本地数据储存模块进行存储以替换所述全局数据训练模型。
优选的,每个所述本地服务器端还包括本地数据评估分析模块,所述本地数据评估分析模块读取所述服务评价数据记录,并基于所述联邦机器学习模型进行数据训练形成全局数据训练输出,并将所述全局数据训练输出和所述服务评价数据记录进行对比得出数据偏差,当所述数据偏差达到一定值时,将产生数据偏差的所述服务评价数据记录进行分析,判断出现数据记录异常的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块。
优选的,当偏离一定值的服务评价数据记录的所述数据数量达到一定数量时,将产生偏离的所述服务评价数据记录发送至所述本地数据评估分析模块,所述本地数据评估分析模块对所述服务评价数据记录进行数据分析,判断出现数据记录异常其中的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块。
优选的,所述云服务器的联邦机器学习和评估模块基于各所述本地数据训练模型,统计分析各本地数据训练模型的差异,分析各本地的数据特点。
另外一方面,本申请还提供一种基于联邦机器学习算法的服务评估方法,包括基于联邦机器学习算法的服务评估系统,其特征在于,包括如下步骤:
步骤S1,初始化所述基于联邦机器学习算法的服务评估系统,所述评价数据采集模块用于采集服务评价数据,同时,所述服务评价数据加上答复时长,形成服务评价数据记录,并将所述服务评价数据记录发送给对应于的所述本地服务器端;
步骤S2,每个所述本地服务器端包括本地数据清理模块、本地数据评估分析模块和本地子模型建立模块和本地数据储存模块;所述服务评价数据记录发送到所述本地服务器端时,先将所述服务评价数据记录发送给所述本地数据清理模块,所述本地数据清理模块用于对收集的服务评价数据记录进行清理,清理服务评价数据记录中存在前后矛盾的部分、填写不全的服务评价数据记录,以及所述答复时长短于规定时长的数据记录,并将清理后的所述服务评价数据记录发送至所述本地数据储存模块进行存储;
步骤S3,所述本地子模型建立模块读取存储于所述本地数据储存模块中的服务评价数据记录,并基于所述服务评价数据记录进行大数据分析训练得出本地数据训练模型,并将所述本地数据训练模型存储于所述本地数据储存模块,同时,将所述本地数据训练模型备份一份作为初始的全局数据训练模型,并也存储于所述本地数据储存模块,同时,还将该初始的全局数据训练模型的发送至所述服务评估云端的所述云存储模块;
步骤S4,所述服务评估云端的联邦机器学习和评估模块所述将各所述本地服务器端发送的所述初始的全局数据训练模型,采用比例加权的方式将所述初始的全局数据训练模型加权得到所述云端初始全局训练模型,并将所述云端初始全局训练模型基于各本地服务评价数据记录作为训练数据,通过联邦机器学习方法得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端的所述本地数据储存模块进行存储以替换初始的全局数据训练模型;
步骤S5,在基于联邦机器学习算法生成联邦机器学习模型时,预先设定每个本地服务器端进行联邦机器学习得出所述联邦机器学习模型的服务评价数据记录数量,保证在进行联邦机器学习生成联邦机器学习模型时,不会因为某个本地服务器端的服务评价数据记录数量不足导致联邦机器学习模型不准确;当其中的本地服务器端的服务评价数据记录量少于预先设定的数据记录数量时,在进行联邦机器学习生成联邦机器学习模型时,对该所述服务评价数据记录量采用复制的方式增加数据的数量,或基于所述本地数据训练模型生成足够数量的服务评价数据记录量,以便满足进行数量训练的数据记录数量;
步骤S6,各所述本地服务器端基于存储于各所述本地数据存储模块的服务评价数据记录对最新的所述联邦机器学习模型进行验证,即基于所述本地数据存储模块存储的服务评价数据记录的部分数据作为输入部分输入所述联邦机器学习模型,进而得出模型数据输出,并将所述模型数据输出和所述本地的服务评价数据记录的数值进行对比,当偏差达到一定值时,调整所述联邦机器学习模型,将该所述联邦机器学习模型作为初始模型,并基于该本地的服务评价数据记录进行数据训练,形成新的联邦机器学习模型以便更新所述联邦机器学习模型。
优选的,所述本地数据评估分析模块读取所述服务评价数据记录,并基于所述联邦机器学习模型进行数据训练形成全局数据训练输出,并将所述全局数据训练输出和所述服务评价数据记录进行对比得出数据偏差,当所述数据偏差达到一定值时,将产生数据偏差的所述服务评价数据记录进行分析,判断出现数据记录异常的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块。
与现有技术相比,本发明的有益效果是:
1、本发明的基于联邦机器学习算法的服务评估方法与系统,分别存储有局部训练模型和全局整体联邦模型,在分析局部数据和局部的服务评价时,采用局部训练模型,这样局部训练模型具备更加针对性,更加准确反映局部数据特征,从而更好反映服务质量。
2、本发明的基于联邦机器学习算法的服务评估方法与系统,在基于联邦机器学习算法生成联邦机器学习模型时,预先设定每个本地服务器端(2)进行联邦机器学习得出所述联邦机器学习模型的服务评价数据记录数量,保证在进行联邦机器学习生成联邦机器学习模型时,不会因为某个本地服务器端(2)的服务评价数据记录数量不足导致联邦机器学习模型不准确;当其中的本地服务器端(2)的服务评价数据记录量少于预先设定的数据记录数量时,在进行联邦机器学习生成联邦机器学习模型时,对该所述服务评价数据记录量采用复制的方式增加数据的数量,或基于所述本地数据训练模型生成足够数量的服务评价数据记录量,以便满足进行数量训练的数据记录数量。
附图说明
图1为本发明的整体结构示意图;
图2为本发明的本地服务器端的数据流程结构示意图;
图3位本发明的服务评估云端的数据流程结构示意图。
图中:1、服务评估云端;2、本地服务器端;3、云存储模块;4、评价数据采集模块;5、联邦机器学习和评估模块;6、本地数据清理模块;7、本地数据评估分析模块;8、本地子模型建立模块;9、本地数据储存模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
具体实施例一:
一种基于联邦机器学习算法的服务评估系统,包括服务评估云端1、布置于多个区域的本地服务器端2和多个评价数据采集模块4;每个本地服务器端2包括对应于的数个评价数据采集模块4,从而每个本地服务器端2分别和对应的数个评价数据采集模块4数据通信连接;所述评价数据采集模块4用于采集服务评价数据,同时,所述服务评价数据加上答复时长,形成服务评价数据记录,并将所述服务评价数据记录发送给对应于的所述本地服务器端2;所述服务评估云端1通过数据通信网络和布置于多个区域的本地服务器端2数据通信连接;所述服务评估云端1包括云存储模块3和联邦机器学习和评估模块5;
每个所述本地服务器端2包括本地数据清理模块6、本地数据评估分析模块7和本地子模型建立模块8和本地数据储存模块9;所述服务评价数据记录发送到所述本地服务器端2时,先将所述服务评价数据记录发送给所述本地数据清理模块6,所述本地数据清理模块6用于对收集的服务评价数据记录进行清理,清理服务评价数据记录中存在前后矛盾的部分、填写不全的服务评价数据记录,以及所述答复时长短于规定时长的数据记录,并将清理后的所述服务评价数据记录发送至所述本地数据储存模块9进行存储;
所述本地子模型建立模块8读取存储于所述本地数据储存模块9中的服务评价数据记录,并基于所述服务评价数据记录进行大数据分析训练得出本地数据训练模型,并将所述本地数据训练模型存储于所述本地数据储存模块9,同时,将所述本地数据训练模型备份一份作为初始的全局数据训练模型,并也存储于所述本地数据储存模块9,同时,还将该初始的全局数据训练模型的发送至所述服务评估云端1的所述云存储模块3;
所述服务评估云端1的联邦机器学习和评估模块5所述将各所述本地服务器端2发送的所述初始的全局数据训练模型,采用比例加权的方式将所述初始的全局数据训练模型加权得到所述云端初始全局训练模型,并将所述云端初始全局训练模型基于各本地服务评价数据记录作为训练数据,通过联邦机器学习方法得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端2的所述本地数据储存模块9进行存储以替换初始的全局数据训练模型;
各所述本地服务器端2基于存储于各所述本地数据存储模块9的服务评价数据记录对最新的所述联邦机器学习模型进行验证,即基于所述本地数据存储模块9存储的服务评价数据记录的部分数据作为输入部分输入所述联邦机器学习模型,进而得出模型数据输出,并将所述模型数据输出和所述本地的服务评价数据记录的数值进行对比,当偏差达到一定值时,调整所述联邦机器学习模型,将该所述联邦机器学习模型作为初始模型,并基于该本地的服务评价数据记录进行数据训练,形成新的联邦机器学习模型以便更新所述联邦机器学习模型。
优选的,在基于联邦机器学习算法生成联邦机器学习模型时,预先设定每个本地服务器端2进行联邦机器学习得出所述联邦机器学习模型的服务评价数据记录数量,保证在进行联邦机器学习生成联邦机器学习模型时,不会因为某个本地服务器端2的服务评价数据记录数量不足导致联邦机器学习模型不准确;当其中的本地服务器端2的服务评价数据记录量少于预先设定的数据记录数量时,在进行联邦机器学习生成联邦机器学习模型时,对该所述服务评价数据记录量采用复制的方式增加数据的数量,或基于所述本地数据训练模型生成足够数量的服务评价数据记录量,以便满足进行数量训练的数据记录数量。
优选的,在所述本地数据清理模块6对所述服务评价数据记录进行数据清理时,当本地服务器端2的服务评价数据存在部分缺失不完整时,基于各所述本地数据训练模型进行数据训练,生成空缺的数据部分,从而形成完整的服务评价数据记录。
优选的,在所述本地数据清理模块6对所述服务评价数据记录进行数据清理时,为了给部分服务评价数据记录进行补全其他列数据以便形成更多维度的服务评价数据记录,所述本地数据清理模块6读取所述联邦机器学习模型,从而基于数据记录输入所述全局数据训练模型进行联邦迁移学习以便得到更多维度的数据,或者读取具备相应维度的本地数据训练模型,并基于该本地数据训练模型得到更多维度的数据。
优选的,所述本地数据清理模块6对所述服务评价数据记录进行数据清理时,将所述服务评价数据记录输入所述本地数据训练模型进行数据训练形成数据输出,并对服务评价数据记录输入和通过所述本地数据训练模型进行数据训练形成数据输出进行对比分析,统计服务评价数据记录输入偏离一定值的数据数量,当所述数据数量达到一定数量时,则认为所述本地数据训练模型不再适应当前的本地服务评价数据记录,重新基于存储于所述本地数据储存模块9的采集的服务评价数据记录进行训练,生成最新的本地数据训练模型,同时,通过所述服务评估云端1将各所述本地服务器端2发送的全局数据训练模型,并依据各本地服务器端2的服务评价数据记录进行联邦机器学习,得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端2的所述本地数据储存模块9进行存储以替换所述全局数据训练模型。
优选的,每个所述本地服务器端2还包括本地数据评估分析模块7,所述本地数据评估分析模块7读取所述服务评价数据记录,并基于所述联邦机器学习模型进行数据训练形成全局数据训练输出,并将所述全局数据训练输出和所述服务评价数据记录进行对比得出数据偏差,当所述数据偏差达到一定值时,将产生数据偏差的所述服务评价数据记录进行分析,判断出现数据记录异常的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块9。
优选的,当偏离一定值的服务评价数据记录的所述数据数量达到一定数量时,将产生偏离的所述服务评价数据记录发送至所述本地数据评估分析模块7,所述本地数据评估分析模块7对所述服务评价数据记录进行数据分析,判断出现数据记录异常其中的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块9。
优选的,所述云服务器5的联邦机器学习和评估模块5基于各所述本地数据训练模型,统计分析各本地数据训练模型的差异,分析各本地的数据特点。
具体实施例二:
一种基于联邦机器学习算法的服务评估方法,包括基于联邦机器学习算法的服务评估系统,其特征在于,包括如下步骤:
步骤S1,初始化所述基于联邦机器学习算法的服务评估系统,所述评价数据采集模块4用于采集服务评价数据,同时,所述服务评价数据加上答复时长,形成服务评价数据记录,并将所述服务评价数据记录发送给对应于的所述本地服务器端2;
步骤S2,每个所述本地服务器端2包括本地数据清理模块6、本地数据评估分析模块7和本地子模型建立模块8和本地数据储存模块9;所述服务评价数据记录发送到所述本地服务器端2时,先将所述服务评价数据记录发送给所述本地数据清理模块6,所述本地数据清理模块6用于对收集的服务评价数据记录进行清理,清理服务评价数据记录中存在前后矛盾的部分、填写不全的服务评价数据记录,以及所述答复时长短于规定时长的数据记录,并将清理后的所述服务评价数据记录发送至所述本地数据储存模块9进行存储;
步骤S3,所述本地子模型建立模块8读取存储于所述本地数据储存模块9中的服务评价数据记录,并基于所述服务评价数据记录进行大数据分析训练得出本地数据训练模型,并将所述本地数据训练模型存储于所述本地数据储存模块9,同时,将所述本地数据训练模型备份一份作为初始的全局数据训练模型,并也存储于所述本地数据储存模块9,同时,还将该初始的全局数据训练模型的发送至所述服务评估云端1的所述云存储模块3;
步骤S4,所述服务评估云端1的联邦机器学习和评估模块5所述将各所述本地服务器端2发送的所述初始的全局数据训练模型,采用比例加权的方式将所述初始的全局数据训练模型加权得到所述云端初始全局训练模型,并将所述云端初始全局训练模型基于各本地服务评价数据记录作为训练数据,通过联邦机器学习方法得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端2的所述本地数据储存模块9进行存储以替换初始的全局数据训练模型;
步骤S5,在基于联邦机器学习算法生成联邦机器学习模型时,预先设定每个本地服务器端2进行联邦机器学习得出所述联邦机器学习模型的服务评价数据记录数量,保证在进行联邦机器学习生成联邦机器学习模型时,不会因为某个本地服务器端2的服务评价数据记录数量不足导致联邦机器学习模型不准确;当其中的本地服务器端2的服务评价数据记录量少于预先设定的数据记录数量时,在进行联邦机器学习生成联邦机器学习模型时,对该所述服务评价数据记录量采用复制的方式增加数据的数量,或基于所述本地数据训练模型生成足够数量的服务评价数据记录量,以便满足进行数量训练的数据记录数量;
步骤S6,各所述本地服务器端2基于存储于各所述本地数据存储模块9的服务评价数据记录对最新的所述联邦机器学习模型进行验证,即基于所述本地数据存储模块9存储的服务评价数据记录的部分数据作为输入部分输入所述联邦机器学习模型,进而得出模型数据输出,并将所述模型数据输出和所述本地的服务评价数据记录的数值进行对比,当偏差达到一定值时,调整所述联邦机器学习模型,将该所述联邦机器学习模型作为初始模型,并基于该本地的服务评价数据记录进行数据训练,形成新的联邦机器学习模型以便更新所述联邦机器学习模型。
优选的,所述本地数据评估分析模块7读取所述服务评价数据记录,并基于所述联邦机器学习模型进行数据训练形成全局数据训练输出,并将所述全局数据训练输出和所述服务评价数据记录进行对比得出数据偏差,当所述数据偏差达到一定值时,将产生数据偏差的所述服务评价数据记录进行分析,判断出现数据记录异常的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块9。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语″包括″、″包含″或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于联邦机器学习算法的服务评估系统,包括服务评估云端(1)、布置于多个区域的本地服务器端(2)和多个评价数据采集模块(4);每个本地服务器端(2)包括对应于的数个评价数据采集模块(4),从而每个本地服务器端(2)分别和对应的数个评价数据采集模块(4)数据通信连接;所述评价数据采集模块(4)用于采集服务评价数据,同时,所述服务评价数据加上答复时长,形成服务评价数据记录,并将所述服务评价数据记录发送给对应于的所述本地服务器端(2);所述服务评估云端(1)通过数据通信网络和布置于多个区域的本地服务器端(2)数据通信连接;所述服务评估云端(1)包括云存储模块(3)和联邦机器学习和评估模块(5)。
2.根据权利要求2所述的一种基于联邦机器学习算法的服务评估系统,其特征在于:
每个所述本地服务器端(2)包括本地数据清理模块(6)、本地子模型建立模块(8)和本地数据储存模块(9);所述服务评价数据记录发送到所述本地服务器端(2)时,先将所述服务评价数据记录发送给所述本地数据清理模块(6),所述本地数据清理模块(6)用于对收集的服务评价数据记录进行清理,清理服务评价数据记录中存在前后矛盾的部分、填写不全的服务评价数据记录,以及所述答复时长短于规定时长的数据记录,并将清理后的所述服务评价数据记录发送至所述本地数据储存模块(9)进行存储;
所述本地子模型建立模块(8)读取存储于所述本地数据储存模块(9)中的服务评价数据记录,并基于所述服务评价数据记录进行大数据分析训练得出本地数据训练模型,并将所述本地数据训练模型存储于所述本地数据储存模块(9),同时,将所述本地数据训练模型备份一份作为初始的全局数据训练模型,并也存储于所述本地数据储存模块(9),同时,还将该初始的全局数据训练模型的发送至所述服务评估云端(1)的所述云存储模块(3);
所述服务评估云端(1)的联邦机器学习和评估模块(5)所述将各所述本地服务器端(2)发送的所述初始的全局数据训练模型,采用比例加权的方式将所述初始的全局数据训练模型加权得到所述云端初始全局训练模型,并将所述云端初始全局训练模型基于各本地服务评价数据记录作为训练数据,通过联邦机器学习方法得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端(2)的所述本地数据储存模块(9)进行存储以替换初始的全局数据训练模型;
各所述本地服务器端(2)基于存储于各所述本地数据存储模块(9)的服务评价数据记录对最新的所述联邦机器学习模型进行验证,即基于所述本地数据存储模块(9)存储的服务评价数据记录的部分数据作为输入部分输入所述联邦机器学习模型,进而得出模型数据输出,并将所述模型数据输出和所述本地的服务评价数据记录的数值进行对比,当偏差达到一定值时,调整所述联邦机器学习模型,将该所述联邦机器学习模型作为初始模型,并基于该本地的服务评价数据记录进行数据训练,形成新的联邦机器学习模型以便更新所述联邦机器学习模型;
在基于联邦机器学习算法生成联邦机器学习模型时,预先设定每个本地服务器端(2)进行联邦机器学习得出所述联邦机器学习模型的服务评价数据记录数量,保证在进行联邦机器学习生成联邦机器学习模型时,不会因为某个本地服务器端(2)的服务评价数据记录数量不足导致联邦机器学习模型不准确;当其中的本地服务器端(2)的服务评价数据记录量少于预先设定的数据记录数量时,在进行联邦机器学习生成联邦机器学习模型时,对该所述服务评价数据记录量采用复制的方式增加数据的数量,或基于所述本地数据训练模型生成足够数量的服务评价数据记录量,以便满足进行数量训练的数据记录数量。
3.根据权利要求2所述的一种基于联邦机器学习算法的服务评估系统,其特征在于:在所述本地数据清理模块(6)对所述服务评价数据记录进行数据清理时,当本地服务器端(2)的服务评价数据存在部分缺失不完整时,基于各所述本地数据训练模型进行数据训练,生成空缺的数据部分,从而形成完整的服务评价数据记录。
4.根据权利要求3所述的一种基于联邦机器学习算法的服务评估系统,其特征在于:在所述本地数据清理模块(6)对所述服务评价数据记录进行数据清理时,为了给部分服务评价数据记录进行补全其他列数据以便形成更多维度的服务评价数据记录,所述本地数据清理模块(6)读取所述联邦机器学习模型,从而基于数据记录输入所述全局数据训练模型进行联邦迁移学习以便得到更多维度的数据,或者读取具备相应维度的本地数据训练模型,并基于该本地数据训练模型得到更多维度的数据。
5.根据权利要求3所述的一种基于联邦机器学习算法的服务评估系统,其特征在于:所述本地数据清理模块(6)对所述服务评价数据记录进行数据清理时,将所述服务评价数据记录输入所述本地数据训练模型进行数据训练形成数据输出,并对服务评价数据记录输入和通过所述本地数据训练模型进行数据训练形成数据输出进行对比分析,统计服务评价数据记录输入偏离一定值的数据数量,当所述数据数量达到一定数量时,则认为所述本地数据训练模型不再适应当前的本地服务评价数据记录,重新基于存储于所述本地数据储存模块(9)的采集的服务评价数据记录进行训练,生成最新的本地数据训练模型,同时,通过所述服务评估云端(1)将各所述本地服务器端(2)发送的全局数据训练模型,并依据各本地服务器端(2)的服务评价数据记录进行联邦机器学习,得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端(2)的所述本地数据储存模块(9)进行存储以替换所述全局数据训练模型。
6.根据权利要求2所述的一种基于联邦机器学习算法的服务评估系统,其特征在于:每个所述本地服务器端(2)还包括本地数据评估分析模块(7),所述本地数据评估分析模块(7)读取所述服务评价数据记录,并基于所述联邦机器学习模型进行数据训练形成全局数据训练输出,并将所述全局数据训练输出和所述服务评价数据记录进行对比得出数据偏差,当所述数据偏差达到一定值时,将产生数据偏差的所述服务评价数据记录进行分析,判断出现数据记录异常的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块(9)。
7.根据权利要求6所述的一种基于联邦机器学习算法的服务评估系统,其特征在于:当偏离一定值的服务评价数据记录的所述数据数量达到一定数量时,将产生偏离的所述服务评价数据记录发送至所述本地数据评估分析模块(7),所述本地数据评估分析模块(7)对所述服务评价数据记录进行数据分析,判断出现数据记录异常其中的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块(9)。
8.根据权利要求2所述的一种基于联邦机器学习算法的服务评估系统,其特征在于:所述云服务器(5)的联邦机器学习和评估模块(5)基于各所述本地数据训练模型,统计分析各本地数据训练模型的差异,分析各本地的数据特点。
9.一种基于联邦机器学习算法的服务评估方法,包括如权利要求2-8中任意一项所述的基于联邦机器学习算法的服务评估系统,其特征在于,包括如下步骤:
步骤S1,初始化所述基于联邦机器学习算法的服务评估系统,所述评价数据采集模块(4)用于采集服务评价数据,同时,所述服务评价数据加上答复时长,形成服务评价数据记录,并将所述服务评价数据记录发送给对应于的所述本地服务器端(2);
步骤S2,每个所述本地服务器端(2)包括本地数据清理模块(6)、本地数据评估分析模块(7)和本地子模型建立模块(8)和本地数据储存模块(9);所述服务评价数据记录发送到所述本地服务器端(2)时,先将所述服务评价数据记录发送给所述本地数据清理模块(6),所述本地数据清理模块(6)用于对收集的服务评价数据记录进行清理,清理服务评价数据记录中存在前后矛盾的部分、填写不全的服务评价数据记录,以及所述答复时长短于规定时长的数据记录,并将清理后的所述服务评价数据记录发送至所述本地数据储存模块(9)进行存储;
步骤S3,所述本地子模型建立模块(8)读取存储于所述本地数据储存模块(9)中的服务评价数据记录,并基于所述服务评价数据记录进行大数据分析训练得出本地数据训练模型,并将所述本地数据训练模型存储于所述本地数据储存模块(9),同时,将所述本地数据训练模型备份一份作为初始的全局数据训练模型,并也存储于所述本地数据储存模块(9),同时,还将该初始的全局数据训练模型的发送至所述服务评估云端(1)的所述云存储模块(3);
步骤S4,所述服务评估云端(1)的联邦机器学习和评估模块(5)所述将各所述本地服务器端(2)发送的所述初始的全局数据训练模型,采用比例加权的方式将所述初始的全局数据训练模型加权得到所述云端初始全局训练模型,并将所述云端初始全局训练模型基于各本地服务评价数据记录作为训练数据,通过联邦机器学习方法得出最终的联邦机器学习模型;并将联邦机器学习模型发送给各所述本地服务器端(2)的所述本地数据储存模块(9)进行存储以替换初始的全局数据训练模型;
步骤S5,在基于联邦机器学习算法生成联邦机器学习模型时,预先设定每个本地服务器端(2)进行联邦机器学习得出所述联邦机器学习模型的服务评价数据记录数量,保证在进行联邦机器学习生成联邦机器学习模型时,不会因为某个本地服务器端(2)的服务评价数据记录数量不足导致联邦机器学习模型不准确;当其中的本地服务器端(2)的服务评价数据记录量少于预先设定的数据记录数量时,在进行联邦机器学习生成联邦机器学习模型时,对该所述服务评价数据记录量采用复制的方式增加数据的数量,或基于所述本地数据训练模型生成足够数量的服务评价数据记录量,以便满足进行数量训练的数据记录数量;
步骤S6,各所述本地服务器端(2)基于存储于各所述本地数据存储模块(9)的服务评价数据记录对最新的所述联邦机器学习模型进行验证,即基于所述本地数据存储模块(9)存储的服务评价数据记录的部分数据作为输入部分输入所述联邦机器学习模型,进而得出模型数据输出,并将所述模型数据输出和所述本地的服务评价数据记录的数值进行对比,当偏差达到一定值时,调整所述联邦机器学习模型,将该所述联邦机器学习模型作为初始模型,并基于该本地的服务评价数据记录进行数据训练,形成新的联邦机器学习模型以便更新所述联邦机器学习模型。
10.根据权利要求9所述的一种基于联邦机器学习算法的服务评估方法,其特征在于:所述本地数据评估分析模块(7)读取所述服务评价数据记录,并基于所述联邦机器学习模型进行数据训练形成全局数据训练输出,并将所述全局数据训练输出和所述服务评价数据记录进行对比得出数据偏差,当所述数据偏差达到一定值时,将产生数据偏差的所述服务评价数据记录进行分析,判断出现数据记录异常的原因,以便对该服务评价数据记录进行修改或者添加数据记录的参数,并将修改后的服务评价数据记录存储于所述本地数据储存模块(9)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210192934.4A CN114707657A (zh) | 2022-03-01 | 2022-03-01 | 基于联邦机器学习算法的服务评估方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210192934.4A CN114707657A (zh) | 2022-03-01 | 2022-03-01 | 基于联邦机器学习算法的服务评估方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114707657A true CN114707657A (zh) | 2022-07-05 |
Family
ID=82166359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210192934.4A Pending CN114707657A (zh) | 2022-03-01 | 2022-03-01 | 基于联邦机器学习算法的服务评估方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114707657A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI832701B (zh) * | 2023-02-14 | 2024-02-11 | 國立成功大學 | 具有叢集架構的聯邦式學習預約平台、預約系統及其預約方法 |
WO2024147440A1 (ko) * | 2023-01-03 | 2024-07-11 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
-
2022
- 2022-03-01 CN CN202210192934.4A patent/CN114707657A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024147440A1 (ko) * | 2023-01-03 | 2024-07-11 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
TWI832701B (zh) * | 2023-02-14 | 2024-02-11 | 國立成功大學 | 具有叢集架構的聯邦式學習預約平台、預約系統及其預約方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103761309B (zh) | 一种运营数据处理方法及系统 | |
CN114707657A (zh) | 基于联邦机器学习算法的服务评估方法与系统 | |
CN110717784B (zh) | 一种基于智能管理平台的电力营销系统及方法 | |
CN102143507B (zh) | 一种业务质量监测方法、系统、以及分析方法和系统 | |
CN102480529A (zh) | 实现广域网负载均衡的域名解析方法及域名解析服务器 | |
KR101300517B1 (ko) | 전자 입찰에 있어 투찰금액 예측방법 및 그 시스템 | |
CN101110699B (zh) | 具有网络满意度预测预警功能的系统及其实现方法 | |
CN106803799B (zh) | 一种性能测试方法和装置 | |
CN105791046A (zh) | 用户体验质量QoE评估方法、装置、终端及服务器 | |
CN110147803A (zh) | 用户流失预警处理方法与装置 | |
CN112487046A (zh) | 用电信息分析方法、装置、系统、计算机设备和存储介质 | |
CN113872813B (zh) | 一种载波通信设备全生命周期管理方法及系统 | |
CN109902859B (zh) | 基于大数据和机器学习算法的排队高峰时段预估方法 | |
CN105956987A (zh) | 一种公路交通工程试验检测数据采集和评价系统 | |
CN109002924B (zh) | 一种配网故障抢修预测分析系统及方法 | |
CN112862172B (zh) | 国网95598停电投诉预测方法、装置、计算机设备和存储介质 | |
KR102081727B1 (ko) | 서비스 최적화 운영관리 및 의사결정 지원을 위한 서비스 제공 시스템 및 방법 | |
CN111353828A (zh) | 网点到店人数预测方法及装置 | |
CN111611519A (zh) | 一种个人异常行为检测方法及装置 | |
CN117217380A (zh) | 停车场空余停车位预测方法、装置、电子设备及存储介质 | |
CN114943565A (zh) | 基于智能算法的电力现货价格预测方法及装置 | |
CN117014324A (zh) | 域名信息监控方法、装置及电子设备 | |
CN114092158A (zh) | 一种用于电力市场中长期交易的辅助交易系统 | |
CN103973902A (zh) | 一种用户感知业务质量的量化装置、监测系统和方法 | |
CN116614344B (zh) | 一种基于数字孪生的故障诊断方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |