CN116776154A - 一种ai人机协同数据标注方法和系统 - Google Patents
一种ai人机协同数据标注方法和系统 Download PDFInfo
- Publication number
- CN116776154A CN116776154A CN202310825409.6A CN202310825409A CN116776154A CN 116776154 A CN116776154 A CN 116776154A CN 202310825409 A CN202310825409 A CN 202310825409A CN 116776154 A CN116776154 A CN 116776154A
- Authority
- CN
- China
- Prior art keywords
- labeling
- data
- module
- person
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 403
- 230000006870 function Effects 0.000 claims abstract description 56
- 230000005284 excitation Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004064 recycling Methods 0.000 claims description 4
- 230000008451 emotion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 230000035479 physiological effects, processes and functions Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于人工智能技术领域，公开了一种AI人机协同数据标注方法和系统，人工标注模块，多名标注者在拿到基本数据后对数据进行标注，按照每个标注者的置信度进行标注结果融合；根据每个人标注质量，标注者的置信度周期性动态调整；基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；基于学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。本发明提供的AI人机协同数据标注方法的面向对象为视频片段、图片、音频、生理等，对于每一种模态数据，会给多个人标注，最终的标注结果取自多人的综合标注结果，提高数据标注的正确率。
Description
技术领域
本发明属于教育信息化领域，尤其涉及一种AI人机协同数据标注方法和系统。
背景技术
目前，人工智能(Artificial Intelligence，AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，在多层次战略规划的指导下，无论是学术界还是产业界，我国在人工智能国际同行中均有不错的表现，在世界人工智能舞台上扮演了重要的角色，我国人工智能的发展已驶入快车道。
数据标注是大部分人工智能算法得以有效运行的关键环节。人工智能算法是数据驱动型算法，如果想实现人工智能，首先需要将人类理解和判断事物的能力教给计算机，让计算机学习到这种识别能力。数据标注是通过人工贴标的方式，为机器系统可供学习的样本；将需要机器识别和分辨的数据贴上标签，然后让计算机不断地学习这些数据的特征，最终实现计算机能够自主识别。
但是，在人工智能落地应用的过程中，中心化的数据采集和数据标注存在隐私泄露、高昂中介费和服务费等问题，不利于应用创新和推广。同时，现有数据标注方法还存在区块链算力浪费以及人工智能模型训练的算力不足和费用昂贵的问题。因此，亟需设计一种新的AI人机协同数据标注方法。
教育信息化，就是在现代教育思想、理论的指导下，主要运用现代信息技术，开发教育资源，优化教育过程，以培养和提高学生信息素养为重要目标的一种新的教育方式。
在人工智能领域中，多模态数据往往指感知信息，如图像、文本、语音、脑电、心电等数据，帮人工智能更准确地理解外部世界。同理，在教育场景下面，也会产生多模态数据，例如一次课程中，学生和教师会同时产生多模态数据。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有中心化的数据采集和数据标注技术存在隐私泄露、高昂中介费和服务费等问题，不利于应用创新和推广。
(2)现有数据标注方法还存在区块链算力浪费以及人工智能模型训练的算力不足和费用昂贵的问题。
(3)现有的标注方法很少涉及多人标注结果的汇聚方法。
(4)现有的深度模型预测结果很少应用到标注结果上面，或者是让预测结果给人类提供辅助参考。
(5)在教育场景下，很少有标注系统来对多模态数据进行采集和标注。
发明内容
针对现有技术存在的问题，本发明提供了一种AI人机协同数据标注方法和系统，涉及到的数据包括但不限于教育场景下的视频片段、图片、音频、生理信息等。
本发明是这样实现的，一种AI人机协同数据标注方法和系统，AI人机协同数据标注方法和系统包括：①人工标注模块，多名标注者在拿到基本数据后，基于各自的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合；根据每个人标注质量，标注者的置信度周期性动态调整；②基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；与此同时，AI标注结果与各个标注者的标注结果及融合后的结果进行加权求和，记为学习激励函数；基于这个学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。
进一步，AI人机协同数据标注方法包括以下模块：
模块一，人工标注，包括标注结果融合和标注者置信度更新策略确定；
多名标注者在标注系统的提示下，基于各自的理解和标注原则和规范对数据进行标注，经过评估每一个标准者的置信度和标注结果，汇聚为最终的标注结果；经过特定轮次标注后，周期性地更新每个人的置信度(每个人都有一个初始置信度，比如0.5)。
模块二，AI标注，包括采用深度学习模型进行全自动标注网络及奖惩网络。
AI标注模块里面包含两个子模块，分别是标注网络和奖惩网络。标注网络采用深度学习模型，如标注的数据是图片/视频，则采用CNN神经网络族，如标注的数据是文本，则采用RNN神经网络族。奖惩网络根据比较AI标注和各个人工标注的结果，对以上对比结果进行加权求和，不断学习并调整标注网络参数。标注网络通过奖惩模块学习人工标注数据。不断调整优化模型，避免个人标注错误，得到可靠的值，从而接近或达到人工的效果，甚至最终实现全自动标注，不需要人工标注。
进一步，模块一中的标注结果融合包括：
多人标注融合方法：计算每一类别的标签的分值；根据每个标注者的标注结果及标注者的置信度，计算每个类别标签的分值，总分最大的标签为最终结果；
其中，lj为第j个标签得分，n为标注者总人数，Ri为标注者i的置信度。
进一步，模块一中的标注者置信度更新策略确定包括：
每个标注者均赋予一个初始权重后，周期性更新标注者的置信度。
根据各类别的具体意义，定义标签之间的距离d(i,j)；定义情绪类别：1)喜2)怒3)哀4)乐……，类别距离：d(1,2)＝5；d(1,3)＝3；d(1,4)＝2。
每标注m个数据后，标注者得分依据标注的结果和融合结果的差距计算：
其中，Max(d)为类距离的最大值，li为该标注者第i次标注结果，为第i次标准融合结果，m为标注的数据个数。
标注者置信度更新为：
Rcurrent＝Rlast(1-α)+Gα；
其中，α为迭代系数，取0.25；根据标注进度，周期性地更新。α取决与和的差异。差异越大，α越大；差异越小，α越小。具体为：
Rcurrent为本次更新后的置信度，Rlast为本次更新前的置信度。
进一步，模块二中的标注网络包括：
标注采用深度学习模型，若标注的对象是图片/视频，则采用CNN卷积神经网络族；若标注的对象是文本，则采用RNN循环神经网络族，等等。
进一步，模块二中的奖惩模块包括：
当Y1、Y2、Yn为每个人的标注结果，L为众人标注汇聚结果，L′为AI标注结果；e0、e1、e2、en为L′分别与L、Y1、Y2、Yn进行比较的结果。
e1、e2、en是机器标注与各个人的标注的对比结果，并不会直接用于奖惩，而是用于对每个人的评价，评价某个人在某次标注下的标注质量，同时用作AI标注模块的加权求和。
综上，可以设计一个函数，称之为学习激励函数，记号为F，意义在于评估所有人和机器标注结果的标注质量，进而决定给标注网络奖励还是惩罚。
通常来说，给定未标注数据为和n个标注员做C分类的标注任务。N是数据量大小。用/>来表示第i个标注员的标注结果；用/>来表示众人标注汇聚结果；用/>来表示机器标注结果。其中/>li、l′i∈{0，1，2，3……C-1}。
因此，学习激励函数F可以表示为以下加权求和形式：
F＝R1*e1+R2*e1+Rn*en+(1-α)e0
其中e0、e1、e2、en表示为：
其中代表带有参数θ的标注网络对数据X标注；1[a＝b]表示当a＝b时输出1，否则为0。
因此，学习激励函数又可以表示成以θ为自变量的函数，F＝f(θ)。通过以上公式，可知学习激励函数可以表示成一个一元函数。这里我们通过随机梯度下降和反向传播方法，不断地调整θ，使得学习激励函数值最大，即可得到更好的标注准确率。
通过以上方法不断调整优化标注网络，避免个人标注错误，得到可靠的值，从而接近或达到人工的效果。
进一步，模块二中的奖惩模块执行完毕后，等待下一轮的人工标注，再循环使用标注网络，使得该标注网络能最终学习到众人的标注方法，甚至最终实现全自动标注，不需要人工标注。
本发明的另一目的在于提供一种应用所述AI人机协同数据标注方法的AI人机协同数据标注系统，AI人机协同数据标注系统包括：
人工标注模块，多名标注者在拿到基本数据后，基于各自的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合；根据每个人标注质量，标注者的置信度周期性动态调整；
基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；与此同时，AI标注结果与各个标注者的标注结果及融合后的结果进行加权求和，记为学习激励函数；基于这个学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。
本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述AI人机协同数据标注方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述AI人机协同数据标注方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述AI人机协同数据标注系统。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
本发明提供了一种AI人机协同数据(包括但不限于视频片段、图片、音频、生理等)标注方法及系统；一方面，名标注者在拿到基本数据后，基于各自的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合；根据每个人标注质量，标注者的置信度周期性动态调整；另一方面，基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；与此同时，AI标注结果与各个标注者的标注结果及融合后的结果进行加权求和，记为学习激励函数；基于这个学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。
本发明提供的AI人机协调数据标注方法中，对于每一种模态数据，会给多个人标注，最终的标注结果取自多人的综合标注结果。本发明的标注模块采用深度学习模型，如标注的对象是图片/视频，则采用CNN神经网络族，如标注的是文本，则采用RNN神经网络族；AI通过学习人工标注数据，不断调整优化标注网络，从而实现众人标注，为人工标注提供辅助参考，甚至最终实现全自动标注，不需要人工标注。
本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：本发明提供了两种数据标注模块，分别是人工标注和AI标注。人工标注：多名标注者基于自己的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合。AI标注：用于基于深度神经网络的AI标注模块，对同一数据进行标注。标注结果与各个标注者的标注结果及融合后的结果分别进行比对，计算差距。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的AI人机协同数据标注方法流程图；
图2是本发明实施例提供的AI人机协同数据标注系统总体结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种AI人机协同数据标注方法和系统，下面结合附图对本发明作详细的描述。
为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的AI人机协同数据标注方法包括以下步骤：
S101，多名标注者在拿到基本数据后，基于各自的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合；
S102，根据每个人标注质量，标注者的置信度周期性动态调整；
S103，基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；
S104，AI标注结果与各个标注者的标注结果及融合后的结果进行加权求和，记为学习激励函数；
S105，基于这个学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。
作为优选实施例，本发明实施例提供的AI人机协同数据标注方法包括以下步骤：
1.人工标注
通常而言，对于每一种模态数据，会给多个人标注。最终的标注结果取自多人的综合标注结果。
1.1标注结果融合
计算每一类别的标签的分值。根据每个标注者的标注结果及标注者的置信度，计算每个类别标签的分值，总分最大的标签为最终结果。具体算法为：
其中，lj为第j个标签得分，n为标注者总人数，Ri为标注者i的置信度。
1.2标注者置信度更新策略
每个标注者都赋予一个初始权重，例如为0.5。此后，周期性更新标注者的置信度。
根据各类别的具体意义，定义标签之间的距离d(i,j)。
例如，定义情绪类别：1)喜2)怒3)哀4)乐……，类别距离：d(1,2)＝5；d(1,3)＝3；d(1,4)＝2。
每标注m个数据后，标注者得分依据其标注的结果和融合结果的差距计算：
其中，Max(d)为类距离的最大值，li为该标注者第i次标注结果，为第i次标准融合结果，m为标注的数据个数。
标注者置信度更新为：
Rcurrent＝Rlast(1-α)+Gα
其中，α为迭代系数，取0.25；根据标注进度，周期性地更新。α取决与和的差异。差异越大，α越大；差异越小，α越小。具体为：
Rcurrent为本次更新后的置信度，Rlast为本次更新前的置信度。
2.AI标注模块
2.1标注网络
标注网络采用深度学习模型，如标注的数据是图片/视频，则采用CNN神经网络族，如标注的数据是文本，则采用RNN神经网络族。标注网络通过奖惩模块学习人工标注数据。不断调整优化模型，避免个人标注错误，得到可靠的值，从而接近或达到人工的效果，为人工标注提供参考，甚至最终实现全自动标注，不需要人工标注。
2.2奖惩模块
图2中，当Y1、Y2、Yn为每个人的标注结果，L为众人标注汇聚结果，L′为AI标注结果；e0、e1、e2、en为L′分别与L、Y1、Y2、Yn进行比较的结果。
e1、e2、en是机器标注与各个人的标注的对比结果，并不会直接用于奖惩，而是用于对每个人的评价，评价某个人在某次标注下的标注质量，同时用作AI标注模块的加权求和。
综上，可以设计一个函数，称之为学习激励函数，记号为F，意义在于评估所有人和机器标注结果的标注质量，进而决定给标注网络奖励还是惩罚。
通常来说，给定未标注数据为和n个标注员做C分类的标注任务。N是数据量大小。用/>来表示第i个标注员的标注结果；用/>来表示众人标注汇聚结果；用/>来表示机器标注结果。其中/>li、l′i∈{0，1，2，3……C-1}。
因此，学习激励函数F可以表示为以下加权求和形式：
F＝R1-e1+R2*e1+Rn*en+(1-α)e0
其中e0、e1、e2、en表示为：
其中代表带有参数θ的标注网络对数据X标注；1[a＝b]表示当a＝b时输出1，否则为0。
因此，学习激励函数又可以表示成以θ为自变量的函数，F＝f(θ)。通过以上公式，可知学习激励函数可以表示成一个一元函数。这里我们通过随机梯度下降和反向传播方法，不断地调整θ，使得学习激励函数值最大，即可得到更好的标注准确率。
通过以上方法不断调整优化标注网络，避免个人标注错误，得到可靠的值，从而接近或达到人工的效果。
进一步，模块二中的奖惩模块执行完毕后，等待下一轮的人工标注，再循环使用标注网络，使得该标注网络能最终学习到众人的标注方法，甚至最终实现全自动标注，不需要人工标注。
如图2所示，本发明实施例提供的AI人机协同数据标注系统包括人工标注模块和AI标注模块。人工标注和AI标注同步进行，不分先后顺序。
人工标注模块，人工标注模块，多名标注者在拿到基本数据后，基于各自的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合；根据每个人标注质量，标注者的置信度周期性动态调整；
AI标注模块，基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；与此同时，AI标注结果与各个标注者的标注结果及融合后的结果进行加权求和，记为学习激励函数；基于这个学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。
本发明实施例提供的AI人机协同数据标注系统包括人工标注模块和AI标注模块。
人工标注模块，多名标注者在拿到基本数据后，基于各自的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合；根据每个人标注质量，标注者的置信度周期性动态调整；
AI标注模块，基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；与此同时，AI标注结果与各个标注者的标注结果及融合后的结果进行加权求和，记为学习激励函数；基于这个学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。
本发明实施例的两个具体实施例为：
实施例一：
模块一：人工标注。首先，多名标注者接收到需要进行标注的数据。基于他们各自的理解和标注规则，他们对数据进行标注。然后，根据每个标注者的置信度，将他们的标注结果进行融合。标注者的置信度可以基于他们过去的标注质量来动态调整。例如，如果某个标注者的标注结果在过去通常与融合后的结果非常接近，那么他的置信度可能会提高。
模块二：AI标注。深度神经网络模型在获得数据后，对数据进行自动标注。然后，将AI的标注结果与各个标注者的标注结果以及融合后的结果进行加权求和，得到学习激励函数。此函数是评估每个标注者以及AI自身标注情况的基础，并用于调整深度神经网络模型的参数。
实施例二：
步骤一：收集数据。数据可能是图片、文本、声音或其他可以进行标注的数据。收集足够且具有代表性的数据是任何AI项目的关键。
步骤二：人工标注。多名标注者根据自己的理解和标注规则对数据进行标注。这些标注者可以是内部员工，也可以是通过众包平台找到的外部人员。为了提高标注的质量和一致性，可以提供详细的标注指南，并定期对标注者进行培训。
步骤三：标注结果融合。将所有标注者的标注结果根据他们的置信度进行融合。置信度可以基于他们过去的标注质量来确定，但在此实施例中，我们可以使用强化学习算法来自动调整每个标注者的置信度。具体来说，如果某个标注者的标注结果与AI模型的预测结果或其他标注者的结果接近，那么他的置信度会提高；反之，则会降低。
步骤四：AI标注。使用深度学习模型对数据进行自动标注。模型的训练数据可以来自于人工标注的结果，以及模型在过去的预测结果。
步骤五：生成学习激励函数。将AI的标注结果与各个标注者的标注结果以及融合后的结果进行加权求和，得到学习激励函数。这个函数用于评估每个标注者以及AI模型自身的标注质量。
步骤六：模型更新。基于学习激励函数，更新深度学习模型的参数。具体来说，可以使用梯度下降或其他优化算法来最小化学习激励函数。此外，我们还可以引入奖惩机制，即当AI模型的标注结果与融合后的结果接近时，给予模型奖励，反之，则给予惩罚。
步骤七：评估和调整。在每个周期结束时，评估人工标注者和AI模型的表现，并根据评估结果调整他们的置信度或模型参数。此外，我们还可以周期性地对整个系统进行全面评估和优化，以确保其持续提供高质量的标注结果。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种AI人机协同数据标注方法，其特征在于，包括：
人工标注模块，多名标注者在拿到基本数据后，基于各自的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合；根据每个人标注质量，标注者的置信度周期性动态调整；基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；与此同时，AI标注结果与各个标注者的标注结果及融合后的结果进行加权求和，记为学习激励函数；基于这个学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。
2.如权利要求1所述的AI人机协同数据标注方法，其特征在于，AI人机协同数据标注方法包括以下模块：
模块一，人工标注，包括标注结果融合和标注者置信度更新策略确定；
模块二，AI标注，包括采用深度学习模型进行全自动标注及奖惩。
3.如权利要求2所述的AI人机协同数据标注方法，其特征在于，模块一中的标注结果融合包括：
计算每一类别的标签的分值；根据每个标注者的标注结果及标注者的置信度，计算每个类别标签的分值，总分最大的标签为最终结果；
其中，lj为第j个标签得分，n为标注者总人数，Ri为标注者i的置信度；
4.如权利要求2所述的AI人机协同数据标注方法，其特征在于，模块一中的标注者置信度更新策略确定包括：
每个标注者均赋予一个初始权重后，周期性更新标注者的置信度；
根据各类别的具体意义，定义标签之间的距离d(i,j)；定义情绪类别：1)喜2)怒3)哀4)乐……，类别距离：d(1,2)＝5；d(1,3)＝3；d(1,4)＝2；
每标注m个数据后，标注者得分依据标注的结果和融合结果的差距计算：
其中，α为迭代系数，取0.25；根据标注进度，周期性地更新；α取决与和的差异；差异越大，α越大，差异越小，α越小，具体为：
Rcurrent为本次更新后的置信度，Rlast为本次更新前的置信度。
5.如权利要求2所述的AI人机协同数据标注方法，其特征在于，模块二中的标注包括：
标注采用深度学习模型，若标注的对象是图片/视频，则采用CNN神经网络族；若标注的对象是文本，则采用RNN神经网络族；AI通过学习人工标注数据不断调整优化模型，从而接近或达到人工效果，最终实现全自动标注或为人工标注提供参考。
6.如权利要求2所述的AI人机协同数据标注方法，其特征在于，模块二中的奖惩包括：
当Y1、Y2、Yn为每个人的标注结果，L为众人标注汇聚结果，L′为AI标注结果；e0、e1、e2、en为L′分别与L、Y1、Y2、Yn进行比较的结果；
e1、e2、en是机器标注与各个人的标注的对比结果，并不会直接用于奖惩，而是用于对每个人的评价，评价某个人在某次标注下的标注质量，同时用作AI标注模块的加权求和；
设计一个函数，称之为学习激励函数，记号为F，意义在于评估所有人和机器标注结果的标注质量，进而决定给标注网络奖励还是惩罚；
通常来说，给定未标注数据为和n个标注员做C分类的标注任务，N是数据量大小；用/>来表示第i个标注员的标注结果；用/>来表示众人标注汇聚结果；用/>来表示机器标注结果，其中/>li、l′i∈{0，1，2，3……C-1}；
因此，学习激励函数F可以表示为以下加权求和形式：
F＝R1*e1+R2*e1+Rn*en+(1-α)e0
其中e0、e1、e2、en表示为：
其中 代表带有参数θ的标注网络对数据X标注；1[a＝b]表示当a＝b时输出1，否则为0；
学习激励函数可以表示成以θ为自变量的函数，F＝f(θ)，通过以上公式，可知学习激励函数可以表示成一个一元函数，通过随机梯度下降和反向传播方法，不断地调整θ，使得学习激励函数值最大，即可得到更好的标注准确率；
通过以上方法不断调整优化标注网络，避免个人标注错误，得到可靠的值，从而接近或达到人工的效果；
进一步，模块二中的奖惩模块执行完毕后，等待下一轮的人工标注，再循环使用标注网络，使得该标注网络能最终学习到众人的标注方法，甚至最终实现全自动标注，不需要人工标注。
7.一种应用如权利要求1～6任意一项所述的AI人机协同数据标注方法的AI人机协同数据标注系统，其特征在于，AI人机协同数据标注系统包括：
人工标注模块，多名标注者在拿到基本数据后，基于各自的理解和标注原则和规范对数据进行标注，然后按照每个标注者的置信度进行标注结果融合；根据每个人标注质量，标注者的置信度周期性动态调整；
AI标注模块，基于深度神经网络的AI标注模块，标注网络对同一数据进行标注；与此同时，AI标注结果与各个标注者的标注结果及融合后的结果进行加权求和，记为学习激励函数；基于这个学习激励函数，AI标注模块评估每个标注者及自身标注情况并调整标注网络，从而实现众人标注，甚至最终实现全自动标注，不需要人工标注。
8.如权利要求7所述的AI人机协同数据标注系统，其特征在于，还进一步包括：
奖惩模块，当Y1、Y2、Yn为每个人的标注结果，L为众人标注汇聚结果，L′为AI标注结果；e0、e1、e2、en为L′分别与L、Y1、Y2、Yn进行比较的结果；
e1、e2、en是机器标注与各个人的标注的对比结果，并不会直接用于奖惩，而是用于对每个人的评价，评价某个人在某次标注下的标注质量，同时用作AI标注模块的加权求和；
设计一个函数，称之为学习激励函数，记号为F，意义在于评估所有人和机器标注结果的标注质量，进而决定给标注网络奖励还是惩罚；
通常来说，给定未标注数据为和n个标注员做C分类的标注任务，N是数据量大小；用/>来表示第i个标注员的标注结果；用/>来表示众人标注汇聚结果；用/>来表示机器标注结果，其中/>li、l′i∈{0，1，2，3……C-1}；
因此，学习激励函数F可以表示为以下加权求和形式：
F＝R1*e1+R2*e1+Rn*en+(1-α)e0
其中e0、e1、e2、en表示为：
其中 代表带有参数θ的标注网络对数据X标注；1[a＝b]表示当a＝b时输出1，否则为0；
因此，学习激励函数可以表示成以θ为自变量的函数，F＝f(θ)，学习激励函数可以表示成一个一元函数，通过随机梯度下降和反向传播方法，不断地调整θ，使得学习激励函数值最大，即可得到更好的标注准确率；
通过以上方法不断调整优化标注网络，避免个人标注错误，得到可靠的值，从而接近或达到人工的效果；
进一步，模块二中的奖惩模块执行完毕后，等待下一轮的人工标注，再循环使用标注网络，使得该标注网络能最终学习到众人的标注方法，甚至最终实现全自动标注，不需要人工标注。
9.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的AI人机协同数据标注方法的步骤。
10.一种信息数据处理终端，其特征在于，信息数据处理终端用于实现如权利要求7所述的AI人机协同数据标注系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825409.6A CN116776154B (zh) | 2023-07-06 | 2023-07-06 | 一种ai人机协同数据标注方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310825409.6A CN116776154B (zh) | 2023-07-06 | 2023-07-06 | 一种ai人机协同数据标注方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116776154A true CN116776154A (zh) | 2023-09-19 |
| CN116776154B CN116776154B (zh) | 2024-04-09 |
Family
ID=88013243
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310825409.6A Active CN116776154B (zh) | 2023-07-06 | 2023-07-06 | 一种ai人机协同数据标注方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116776154B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741332A (zh) * | 2018-12-28 | 2019-05-10 | 天津大学 | 一种人机协同的图像分割与标注方法 |
| CN113076950A (zh) * | 2021-04-01 | 2021-07-06 | 安徽酷哇机器人有限公司 | 一种基于深度强化学习的图像数据自动化标注方法及系统 |
| CN113486173A (zh) * | 2021-06-11 | 2021-10-08 | 南京邮电大学 | 文本标注神经网络模型及其标注方法 |
| CN113901823A (zh) * | 2021-10-22 | 2022-01-07 | 平安科技（深圳）有限公司 | 命名实体识别方法、装置、存储介质及终端设备 |
| CN114519092A (zh) * | 2022-02-24 | 2022-05-20 | 复旦大学 | 一种面向中文领域大规模复杂关系数据集构建框架 |
| WO2022241808A1 (zh) * | 2021-05-19 | 2022-11-24 | 广州中国科学院先进技术研究所 | 一种多机器人轨迹规划方法 |
| WO2023077821A1 (zh) * | 2021-11-07 | 2023-05-11 | 西北工业大学 | 基于多清晰度集成自训练的小样本低质量图像目标检测方法 |
-
2023
- 2023-07-06 CN CN202310825409.6A patent/CN116776154B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741332A (zh) * | 2018-12-28 | 2019-05-10 | 天津大学 | 一种人机协同的图像分割与标注方法 |
| CN113076950A (zh) * | 2021-04-01 | 2021-07-06 | 安徽酷哇机器人有限公司 | 一种基于深度强化学习的图像数据自动化标注方法及系统 |
| WO2022241808A1 (zh) * | 2021-05-19 | 2022-11-24 | 广州中国科学院先进技术研究所 | 一种多机器人轨迹规划方法 |
| CN113486173A (zh) * | 2021-06-11 | 2021-10-08 | 南京邮电大学 | 文本标注神经网络模型及其标注方法 |
| CN113901823A (zh) * | 2021-10-22 | 2022-01-07 | 平安科技（深圳）有限公司 | 命名实体识别方法、装置、存储介质及终端设备 |
| WO2023065635A1 (zh) * | 2021-10-22 | 2023-04-27 | 平安科技（深圳）有限公司 | 命名实体识别方法、装置、存储介质及终端设备 |
| WO2023077821A1 (zh) * | 2021-11-07 | 2023-05-11 | 西北工业大学 | 基于多清晰度集成自训练的小样本低质量图像目标检测方法 |
| CN114519092A (zh) * | 2022-02-24 | 2022-05-20 | 复旦大学 | 一种面向中文领域大规模复杂关系数据集构建框架 |
Non-Patent Citations (3)
| Title |
|---|
| ELI FRIEDMAN等: "Generalizing Across Multi-Objective Reward Functions in Deep Reinforcement Learning", ARXIV:1809.06364V1, pages 1 - 9 * |
| 何儒汉等: "融合强化学习与迁移对抗的服装标注", 软 件 导 刊, vol. 21, no. 9, pages 152 - 158 * |
| 张利钊等: "基于多模态数据的学习投入评估方法分析", 电化教育研究, vol. 43, no. 10, pages 72 - 78 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116776154B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902298B (zh) | 一种自适应学习系统中领域知识建模及知识水平估测方法 | |
| US10290221B2 (en) | Systems and methods to customize student instruction | |
| Nagao et al. | Artificial intelligence in education | |
| CN113807519B (zh) | 一种融入教学反馈与习得理解的知识图谱构建方法 | |
| CN114021722A (zh) | 一种融合认知刻画的注意力知识追踪方法 | |
| CN107451230A (zh) | 一种问答方法以及问答系统 | |
| CN117035074B (zh) | 基于反馈强化的多模态知识生成方法及装置 | |
| CN116186250A (zh) | 小样本条件下的多模态学习水平挖掘方法、系统及介质 | |
| Tang et al. | A practical exploration of constructive english learning platform informatization based on rbf algorithm | |
| CN115730244A (zh) | 联合文本分类和序列标注的课堂行为分类方法及装置 | |
| Li | Teaching mode of oral English in the age of artificial intelligence | |
| Zhang | A New Machine Learning Framework for Effective Evaluation of English Education. | |
| Li et al. | Aligning open educational resources to new taxonomies: How AI technologies can help and in which scenarios | |
| Tuo et al. | Construction and Application of a Human‐Computer Collaborative Multimodal Practice Teaching Model for Preschool Education | |
| Kumari et al. | Domain-Specific Chatbot Development Using the Deep Learning-Based RASA Framework | |
| Wen et al. | Longitudinal cognitive diagnostic assessment based on the HMM/ANN model | |
| Gao et al. | Improving Knowledge Learning Through Modelling Students’ Practice-Based Cognitive Processes | |
| CN116776154B (zh) | 一种ai人机协同数据标注方法和系统 | |
| Wang et al. | [Retracted] Design of Sports Training Simulation System for Children Based on Improved Deep Neural Network | |
| CN116541507A (zh) | 一种基于动态语义图神经网络的视觉问答方法及系统 | |
| Tharmaseelan et al. | Revisit of automated marking techniques for programming assignments | |
| CN114840679B (zh) | 一种基于乐理知识图谱推理的机器人智能导学方法及应用 | |
| Lin | Research on the Teaching Method of College Students’ Education Based on Visual Question Answering Technology | |
| Zeng et al. | A textual and visual features-jointly driven hybrid intelligent system for digital physical education teaching quality evaluation | |
| CN114925610A (zh) | 一种学习者知识结构与水平建模方法、系统、设备及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |