CN109784867A - 一种自反馈人工智能模型管理系统 - Google Patents

一种自反馈人工智能模型管理系统 Download PDF

Info

Publication number
CN109784867A
CN109784867A CN201910083813.4A CN201910083813A CN109784867A CN 109784867 A CN109784867 A CN 109784867A CN 201910083813 A CN201910083813 A CN 201910083813A CN 109784867 A CN109784867 A CN 109784867A
Authority
CN
China
Prior art keywords
feed back
artificial intelligence
management system
result
complaint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910083813.4A
Other languages
English (en)
Inventor
张发恩
闫威
郑韬
刘亚萍
秦永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (beijing) Technology Co Ltd
Original Assignee
Innovation Qizhi (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (beijing) Technology Co Ltd filed Critical Innovation Qizhi (beijing) Technology Co Ltd
Priority to CN201910083813.4A priority Critical patent/CN109784867A/zh
Publication of CN109784867A publication Critical patent/CN109784867A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种自反馈人工智能模型管理系统，包括：计算模块、反馈模块和统计查询模块，其中，所述计算模块用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将所述识别结果反馈至所述调用方；所述反馈模块用于接收来自所述调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给所述调用方；所述统计查询模块用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。本发明可以在调用方对识别结果不满意时，接收其申诉请求，并向调用方反馈经过修正的申诉结果，以提高调用方的服务体验，提升人工和算法进行配合工作的效率。

Description

一种自反馈人工智能模型管理系统
技术领域
本发明涉及人工智能计算技术领域，特别涉及一种自反馈人工智能模型管理系统。
背景技术
人工智能计算服务大多需要一个监督学习下生成的模型，该模型需要不断更新迭代，在这个过程中也需要不断收集反馈信息。现有常见业务管理系统中，都是对人的经营业务的情况进行记录分析，没有针对模型优化过程以及人与算法的配合过程的设计的数字化管理体系。
发明内容
本发明的目的旨在至少解决所述技术缺陷之一。
为此，本发明的目的在于提出一种自反馈人工智能模型管理系统。
为了实现上述目的，本发明的实施例提供一种自反馈人工智能模型管理系统，包括：计算模块、反馈模块和统计查询模块，其中，
所述计算模块用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将所述识别结果反馈至所述调用方；
所述反馈模块用于接收来自所述调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给所述调用方；
所述统计查询模块用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。
进一步，本发明还包括：数据库，所述数据库还用于存储来自所述计算模块的识别结果。
进一步，所述数据库还用于存储来自所述反馈模块的申诉结果。
进一步，所述申诉结果为工作人员根据所述申请请求所针对的任务结果进行重新识别处理及修正的结果。
进一步，所述统计查询模块的统计的服务运行数据包括：所述识别任务的计算量、针对要识别的整张图片的正确率、申诉率、不同识别对象的出现次数、针对每个sku单元的识别正确率。
进一步，所述统计查询模块还用于对申诉结果的工作进行阶段性统计总结，以进行迭代优化。
进一步，所述统计查询模块根据所述调用方申诉的数量，计算模型得分、sku识别效果得分，并进而根据模型得分、sku识别效果得分计算训练集得分，根据训练集得分优化模型生产线和在线服务。
进一步，所述统计查询模块根据预设周期内的客户申诉的数量，计算每个项目当前模型的模型得分。
进一步，所述统计查询模块根据每个提出申诉请求的任务中的sku数量，计算出每个预设的sku识别效果得分。
进一步，所述预设周期为24小时或7天。
根据本发明实施例的自反馈人工智能模型管理系统，可以在调用方对识别结果不满意时，接收其申诉请求，并向调用方反馈经过修正的申诉结果，以提高调用方的服务体验。并且，本发明可以对每次服务的执行数据进行统计，并进行迭代优化，提升人工和算法进行配合工作的效率。本发明使得人工智能服务算法效果能够不断提高，帮助企业为客户提供更好的服务。同时经营人员可以更有效的通过数据掌握人工智能服务供应链各个环节的工作情况，更好的优化企业管理，从而提升企业整体的经营效益。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的自反馈人工智能模型管理系统的结构图；
图2为根据本发明实施例的自反馈人工智能模型管理系统的数据流程图；
图3为根据本发明实施例的自反馈人工智能模型管理系统的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
本发明提供一种自反馈的人工智能模型管理系统，可以提供人工智能计算服务。
如图1和图2所示，本发明实施例的自反馈人工智能模型管理系统，包括：计算模块1、反馈模块2和统计查询模块3。
具体的，计算模块1用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将识别结果反馈至调用方。
在本发明的实施例中，识别任务可以为对实体产品或图像的识别。
其中，识别任务：主要针对包含实体产品或其他需要识别的对象的图片或视频，任务会从这些图片或视频中提取不同业务场景所需的信息。
本发明实施例的自反馈人工智能模型管理系统，还包括：数据库。数据库还用于存储来自计算模块1的识别结果。
反馈模块2用于接收来自调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给调用方。
具体的，当调用方对计算模块1反馈的识别结果不满意时，可以向反馈模块2发出申诉请求。反馈模块2负责收集人工智能算法的效果评价，记录该次计算结果是否被申诉，如被申诉则交由工作人员人力介入进行结果修正。同时该工作人员修正结果(即申诉结果)相关的数据，也会被记录。即，数据库还用于存储来自反馈模块2的申诉结果。
如果该任务被申诉，反馈模块2则将任务结果调出，由人工重新进行识别处理，并提交人工处理的结果。人工结果同时被返回给调用方，并记录在数据库中。人工工作情况也会同时被记录。
在本发明的一个实施例中，申诉结果为工作人员根据申请请求所针对的任务结果进行重新识别处理及修正的结果。
统计查询模块3用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。
在本发明的一个实施例中，服务运行数据包括：识别任务的计算量、针对要识别的整张图片的正确率、申诉率、不同识别对象的出现次数、针对每个sku单元的识别正确率，将这些数据可用作模型效果评估。
此外，统计查询模块3还用于对申诉结果的工作进行阶段性统计总结，以提升人工和算法进行配合工作的效率，最终使模型可以不断被迭代优化。
具体的，统计查询模块3根据调用方申诉的数量，计算模型得分、sku识别效果得分，并进而根据模型得分、sku识别效果得分计算训练集得分，根据训练集得分优化模型生产线和在线服务。具体来说，训练集得分能够反应出，训练集中每种sku数据在训练过数据集的缺陷，工作人员可以根据这个结论有针对性的优化训练机，提升服务效果。
统计查询模块3根据预设周期内的客户申诉的数量，计算每个项目当前模型的模型得分。设模型得分为score(model)，申诉统计周期为T，申诉数量为p，模型本身的准确率为a，召回率为r，sku总数为s，被申诉的sku数为n。score(model)由T，p，a，r组合计算得到。简记为：score(model)＝F(T,p,a,r,s,n)
在本发明的一个实施例中，预设周期为24小时或7天。需要说明的是，预设周期是由管理员进行配置，其时间长度可以由管理员根据需要进行设置。
统计查询模块3根据每个提出申诉请求的任务中的sku数量，计算出每个预设的sku识别效果得分。设sku识别效果得分为score(sku)。sku在出现的图片数为n，sku出现总数为s，被正确识别出的次数为r，计算周期为T，则score(sku)＝F(n,s,r,T)
图3为根据本发明实施例的自反馈人工智能模型管理系统的示意图。
1.计算模块每次计算一个任务，将任务结果进行记录，并返回给调用端。
2.如果该任务被申诉，则将任务结果调出，由人工重新进行识别处理，并提交人工处理的结果(即，申诉结果)。人工结果同时被返回给调用方，并记录在数据库中。人工工作情况也会同时被记录。
3.根据需要查询出评估人工智能算法的效果所需的数据。
4.根据一个周期内的客户申诉的数量，计算每一个项目当前模型的得分。
5.根据每一个申诉的任务中，包含的sku数量，计算出每个预设的sku识别情况的得分。
6.根据模型得分和sku识别得分，计算出模型训练集的评分。
7.根据上述得分，优化模型生产线和在线服务。
根据本发明实施例的自反馈人工智能模型管理系统，可以在调用方对识别结果不满意时，接收其申诉请求，并向调用方反馈经过修正的申诉结果，以提高调用方的服务体验。并且，本发明可以对每次服务的执行数据进行统计，并进行迭代优化，提升人工和算法进行配合工作的效率。本发明使得人工智能服务算法效果能够不断提高，帮助企业为客户提供更好的服务。同时经营人员可以更有效的通过数据掌握人工智能服务供应链各个环节的工作情况，更好的优化企业管理，从而提升企业整体的经营效益。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (10)

1.一种自反馈人工智能模型管理系统，其特征在于，包括：计算模块、反馈模块和统计查询模块，其中，
所述计算模块用于接收调用方发送来的识别任务，对该识别任务进行计算后得到识别结果，将所述识别结果反馈至所述调用方；
所述反馈模块用于接收来自所述调用方的申诉请求，并将该申诉请求转至工作人员进行处理，将处理后的申诉结果返回给所述调用方；
所述统计查询模块用于以预设周期统计每个识别任务的服务运行数据，以进行服务效果评估，并反馈给管理员。
2.如权利要求1所述的自反馈人工智能模型管理系统，其特征在于，还包括：数据库，所述数据库还用于存储来自所述计算模块的识别结果。
3.如权利要求2所述的自反馈人工智能模型管理系统，其特征在于，所述数据库还用于存储来自所述反馈模块的申诉结果。
4.如权利要求1或3所述的自反馈人工智能模型管理系统，其特征在于，所述申诉结果为工作人员根据所述申请请求所针对的任务结果进行重新识别处理及修正的结果。
5.如权利要求1所述的自反馈人工智能模型管理系统，其特征在于，所述统计查询模块的统计的服务运行数据包括：所述识别任务的计算量、针对要识别的整张图片的正确率、申诉率、不同识别对象的出现次数、针对每个sku单元的识别正确率。
6.如权利要求1所述的自反馈人工智能模型管理系统，其特征在于，所述统计查询模块还用于对申诉结果的工作进行阶段性统计总结，以进行迭代优化。
7.如权利要求6所述的自反馈人工智能模型管理系统，其特征在于，所述统计查询模块根据所述调用方申诉的数量，计算模型得分、sku识别效果得分，并进而根据模型得分、sku识别效果得分计算训练集得分，根据训练集得分优化模型生产线和在线服务。
8.如权利要求7所述的自反馈人工智能模型管理系统，其特征在于，所述统计查询模块根据预设周期内的客户申诉的数量，计算每个项目当前模型的模型得分。
9.如权利要求7所述的自反馈人工智能模型管理系统，其特征在于，所述统计查询模块根据每个提出申诉请求的任务中的sku数量，计算出每个预设的sku识别效果得分。
10.如权利要求1所述的自反馈人工智能模型管理系统，其特征在于，所述预设周期为24小时或7天。
CN201910083813.4A 2019-01-18 2019-01-18 一种自反馈人工智能模型管理系统 Pending CN109784867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910083813.4A CN109784867A (zh) 2019-01-18 2019-01-18 一种自反馈人工智能模型管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910083813.4A CN109784867A (zh) 2019-01-18 2019-01-18 一种自反馈人工智能模型管理系统

Publications (1)

Publication Number Publication Date
CN109784867A true CN109784867A (zh) 2019-05-21

Family

ID=66502818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910083813.4A Pending CN109784867A (zh) 2019-01-18 2019-01-18 一种自反馈人工智能模型管理系统

Country Status (1)

Country Link
CN (1) CN109784867A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991458A (zh) * 2019-11-25 2020-04-10 创新奇智(北京)科技有限公司 基于图像特征的人工智能识别结果抽样系统及抽样方法
WO2022087351A1 (en) * 2020-10-23 2022-04-28 Vinsa, Inc. Apparatus and methods for artificial intelligence model management
CN115174969A (zh) * 2022-07-01 2022-10-11 抖音视界(北京)有限公司 视频的推送方法、装置和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045122A (zh) * 2015-06-24 2015-11-11 张子兴 一种基于音频和视频的智能家居自然交互系统
CN106056912A (zh) * 2016-07-29 2016-10-26 浙江银江研究院有限公司 一种卡口运行状态量化评估方法及系统
CN106101121A (zh) * 2016-06-30 2016-11-09 中国人民解放军防空兵学院 一种全网络流量异常抽取方法
CN106203490A (zh) * 2016-06-30 2016-12-07 江苏大学 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法
CN106781449A (zh) * 2017-02-21 2017-05-31 青岛智能产业技术研究院 路口行人过街综合管理控制系统
CN108171340A (zh) * 2017-12-15 2018-06-15 东峡大通（北京）管理咨询有限公司 用于对单车报修信息进行鉴别的方法、设备和存储介质
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN108762936A (zh) * 2018-06-05 2018-11-06 广州偕作信息科技有限公司 基于人工智能图像识别的分布式计算系统及方法
CN109102812A (zh) * 2017-06-21 2018-12-28 北京搜狗科技发展有限公司 一种声纹识别方法、系统及电子设备
DE102017211331A1 (de) * 2017-07-04 2019-01-10 Robert Bosch Gmbh Bildauswertung mit zielgerichteter Vorverarbeitung

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN105045122A (zh) * 2015-06-24 2015-11-11 张子兴 一种基于音频和视频的智能家居自然交互系统
CN106101121A (zh) * 2016-06-30 2016-11-09 中国人民解放军防空兵学院 一种全网络流量异常抽取方法
CN106203490A (zh) * 2016-06-30 2016-12-07 江苏大学 一种安卓平台下基于属性学习和交互反馈的图像在线识别、检索方法
CN106056912A (zh) * 2016-07-29 2016-10-26 浙江银江研究院有限公司 一种卡口运行状态量化评估方法及系统
CN106781449A (zh) * 2017-02-21 2017-05-31 青岛智能产业技术研究院 路口行人过街综合管理控制系统
CN109102812A (zh) * 2017-06-21 2018-12-28 北京搜狗科技发展有限公司 一种声纹识别方法、系统及电子设备
DE102017211331A1 (de) * 2017-07-04 2019-01-10 Robert Bosch Gmbh Bildauswertung mit zielgerichteter Vorverarbeitung
CN108171340A (zh) * 2017-12-15 2018-06-15 东峡大通（北京）管理咨询有限公司 用于对单车报修信息进行鉴别的方法、设备和存储介质
CN108762936A (zh) * 2018-06-05 2018-11-06 广州偕作信息科技有限公司 基于人工智能图像识别的分布式计算系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991458A (zh) * 2019-11-25 2020-04-10 创新奇智(北京)科技有限公司 基于图像特征的人工智能识别结果抽样系统及抽样方法
WO2022087351A1 (en) * 2020-10-23 2022-04-28 Vinsa, Inc. Apparatus and methods for artificial intelligence model management
CN115174969A (zh) * 2022-07-01 2022-10-11 抖音视界(北京)有限公司 视频的推送方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN109784867A (zh) 一种自反馈人工智能模型管理系统
CN107403296B (zh) 运力配置方法及装置
TW201835789A (zh) 評分模型的建立、用戶信用的評估方法及裝置
CN112862012A (zh) 一种基于lstm模型的运维系统异常预警方法、装置及设备
CN109816412B (zh) 一种训练模型生成方法、装置、设备和计算机存储介质
CN114782030B (zh) 一种基于大数据项目智能管理系统及方法
CN112446526A (zh) 生产排程系统及方法
KR102065780B1 (ko) 빅데이터를 활용한 인공지능 시계열 데이터 예측을 수행하는 전자 장치 및 그 예측 방법
CN114971356A (zh) 一种电力工程项目进度预测系统及方法
CN115034525A (zh) 基于数据分析的钢管订单生产工期预测监管系统及方法
CN115423541B (zh) 广告自动排期投放方法、装置、设备及存储介质
CN110688757B (zh) 一种基于大数据驱动下的oee动态化的实现方法
CN109934368B (zh) 订单数量和订单状态的预测方法、装置及系统
CN116502830A (zh) 一种排产计划生成方法、系统和产品
CN109409780B (zh) 变更处理方法、装置、计算机设备和存储介质
US8687213B2 (en) Data filtering for print service providers
CN113448808B (zh) 一种批处理任务中单任务时间的预测方法、系统及存储介质
CN117319809B (zh) 一种监控视野的智能调节方法
US11900286B2 (en) Job value model generation method and system
CN107194616A (zh) 企业产能统计系统和方法
CN117114381A (zh) 智能制造服务链动态优化配置方法及系统
CN115936650A (zh) 一种人力资源信息管理方法及系统
CN109902196A (zh) 一种商标类别推荐方法、装置、计算机设备及存储介质
CN110009180B (zh) 一种基于区块链的准时生产控制方法
CN113826294B (zh) 电力管理方法、装置、计算设备、介质以及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190521