CN114139726A - 数据处理方法及装置、电子设备、存储介质 - Google Patents
数据处理方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN114139726A CN114139726A CN202111458298.7A CN202111458298A CN114139726A CN 114139726 A CN114139726 A CN 114139726A CN 202111458298 A CN202111458298 A CN 202111458298A CN 114139726 A CN114139726 A CN 114139726A
- Authority
- CN
- China
- Prior art keywords
- data
- selection strategy
- autonomous learning
- selection
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000002372 labelling Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 42
- 238000012795 verification Methods 0.000 claims description 24
- 230000002238 attenuated effect Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012804 iterative process Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- ONUFESLQCSAYKA-UHFFFAOYSA-N iprodione Chemical compound O=C1N(C(=O)NC(C)C)CC(=O)N1C1=CC(Cl)=CC(Cl)=C1 ONUFESLQCSAYKA-UHFFFAOYSA-N 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开实施例是关于一种数据处理方法及装置、电子设备、存储介质,涉及人工智能技术领域,该数据处理方法包括:将待处理数据划分为已标注数据和未标注数据,根据使用所述已标注数据训练的当前模型对所述未标注数据进行标注,并确定自主学习对应的选择策略;使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,并对所述样本数据进行标注得到标注的样本数据,以获取更新的已标注数据;根据使用更新的已标注数据训练的下一模型,对除所述样本数据之外的未标注数据进行标注,直至满足终止条件为止得到目标模型;根据所述目标模型对剩余未标注数据进行预测标注,获取标注结果。本公开的技术方案能够提高数据处理的准确性和高效性。
Description
技术领域
本公开涉及人工智能技术领域,具体而言,涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。
背景技术
目前的自主学习领域,基本做法都是采用某个固定的选择策略贯穿整个自主学习迭代过程。
相关技术中,一般采用基于信息量的选择策略和基于多样性的选择策略。其中,基于信息量的选择策略可能抽取到相似样本,存在一定的抽样偏差,从而使得训练的模型的准确性较差。基于多样性的选择策略的计算的方式,人工成本较大,并且需要浪费较多的计算资源。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种数据处理方法及装置、电子设备、存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的准确率较低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种数据处理方法,包括:将待处理数据划分为已标注数据和未标注数据,根据使用所述已标注数据训练的当前模型对所述未标注数据进行标注,并确定自主学习对应的选择策略;所述已标注数据和未标注数据用于自主学习;使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,并对所述样本数据进行标注得到标注的样本数据,以获取更新的已标注数据;根据使用更新的已标注数据训练的下一模型,对除所述样本数据之外的未标注数据进行标注,直至满足终止条件为止得到目标模型;根据所述目标模型对剩余未标注数据进行预测标注,获取标注结果。
根据本公开的一个方面,提供一种数据处理装置,包括:选择策略确定模块,用于将待处理数据划分为已标注数据和未标注数据,根据使用所述已标注数据训练的当前模型对所述未标注数据进行标注,并确定自主学习对应的选择策略;所述已标注数据和未标注数据用于自主学习;样本选择模块,用于使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,并对所述样本数据进行标注得到标注的样本数据,以获取更新的已标注数据;迭代模块,用于根据使用更新的已标注数据训练的下一模型,对除所述样本数据之外的未标注数据进行标注,直至满足终止条件为止得到目标模型;预测标注模块,用于根据所述目标模型对剩余未标注数据进行预测标注,获取标注结果。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据处理方法。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的数据处理方法。
本公开实施例中提供的数据处理方法、数据处理装置、电子设备以及计算机可读存储介质中,通过确定出自主学习对应的选择策略,并使用自主学习对应的选择策略从未标注数据池中选择出目标数量的样本数据,以根据标注的样本数据更新已标注数据,并根据更新的已标注数据继续训练下一模型,依次迭代实现自主学习过程,直至得到目标模型,并通过目标模型对剩余未标注数据进行预测标注。一方面,由于自主学习对应的选择策略不同,避免了相关技术中只能采用一种固定的选择策略的局限性,能够准确确定每轮自主学习对应的选择策略,进而能够根据多种选择策略选择到多样性的样本数据,提升模型训练的准确性。另一方面,自动为每一轮的自主学习选择合适的选择策略,无需用户通过人工方式关注各个阶段的变化情况从而选择策略,提高自主学习的迭代过程,提升数据的标注质量,并且避免了人工标注数据时需要占用大量计算资源的问题,减少了处理过程中需要的计算资源和所需要的存储空间,减少了人工工作量,简化了标注步骤,进而提高了数据标注效率,降低数据标注的成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的数据处理方法或数据处理装置的系统架构的示意图。
图2示出了适于用来实现本公开实施例的电子设备的结构示意图。
图3示意性示出本公开实施例中一种数据处理方法的示意图。
图4示意性示出本公开实施例中确定选择策略的示意图。
图5示意性示出本公开实施例中切换选择策略的流程示意图。
图6示意性示出本公开实施例中自主学习的迭代过程确定选择策略的整体流程图。
图7示意性示出本公开实施例中第一选择策略样本数据的流程图。
图8示意性示出本公开实施例中第二选择策略样本数据的流程图。
图9示意性示出本公开实施例中自主迭代的整体流程图。
图10示意性示出本公开实施例中自主迭代中数据的示意图。
图11示意性示出本公开实施例中应用界面的示意图。
图12示意性示出本公开实施例中一种数据处理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开实施例中提供了一种数据处理方法,图1示出了可以应用本公开实施例的数据处理方法或数据处理装置的系统架构的示意图。
如图1所示,系统架构100可以包括第一端101、网络102、第二端103。其中,第一端可以为客户端,例如可以为智能手机、电脑、平板电脑智能音箱等终端。网络102用以在第一端101和第二端103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线通信链路、无线通信链路等等,在本公开实施例中,第一端101和第二端103之间的网络102可以是有线通信链路,例如可以通过串口连接线提供通信链路,也可以是无线通信链路,通过无线网络提供通信链路。第二端103可以是具有计算功能的服务器或者是客户端,例如便携式计算机、台式计算机、智能手机等具有计算功能的终端设备,用于对第一端发送的数据进行处理。需要说明的是,第一端可以与第二端相同,例如可以为同一个移动终端;第二端也可以与第一端不同,例如第一端为移动终端,第二端为服务器。
本公开实施例中,第一端可以将待处理数据发送至第二端,第二端对待处理数据进行划分,通过当前模型对未标注数据进行并确定自主学习的选择策略;根据自主学习的选择策略选择出目标数量的样本数据并进行标注,然后使用通过标注的样本数据得到的更新的已标注数据训练下一模型以对除样本数据之外的未标注数据进行标注直至得到目标模型为止,从而通过目标模型对未标注数据池中的剩余未标注数据进行预测标注,从而获得标注结果。
需要说明的是,本公开实施例所提供的数据处理方法可以完全由客户端来执行。相应地,数据处理装置可设置于客户端中。也可以由服务器执行,此处不作限定。
图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开的终端可以被配置为如图2所示电子设备的形式,然而,需要说明的是,图2示出的电子设备仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
本公开的电子设备至少包括处理器和存储器,存储器用于存储一个或多个程序,当一个或多个程序被处理器执行时,使得处理器可以实现本公开示例性实施方式的方法。
具体的,如图2所示,电子设备200可以包括:处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus,USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule,SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器、调制解调处理器、图形处理器、图像信号处理器、控制器、视频编解码器、数字信号处理器、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。另外,处理器210中还可以设置存储器,用于存储指令和数据。本示例性实施方式中的模型训练方法可以由应用处理器、图形处理器或图像信号处理器来执行,当方法涉及到神经网络相关的处理时,可以由NPU来执行。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。
移动终端200的通信功能可以通过移动通信模块、天线1、无线通信模块、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块可以提供应用在移动终端200上2G、3G、4G、5G等移动通信解决方案。无线通信模块可以提供应用在移动终端200上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏用于实现显示功能,如显示用户界面、图像、视频等。摄像模块用于实现拍摄功能,如拍摄图像、视频等。音频模块用于实现音频功能,如播放音频,采集语音等。电源模块用于实现电源管理功能,如为电池充电、为设备供电、监测电池状态等。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
在目前的AI场景中,大多是纯人工标注的模式,还有一些为了提升效率而采用的“算法预标注”模式(即先用AI模型标注,然后基于模型标注进行人工校验),这两种方法都需要人工标注所有的样本数据。为了节省标注成本,还出现了半监督学习和自主学习的方式。半监督学习和自主学习的方式是在小部分已标注数据集+大部分未标注数据集混合而成的训练数据集上进行的算法。半监督学习方法主要通过聚类,相似度算法等算法给无标签数据附上伪标签信息,以扩充已标注数据集,但这种伪标签的信息直接由机器学习算法得到,没有经过人工的校准,会给AI模型的训练引入噪声,阻碍模型训练收敛。自主学习的方式通过每轮“模型训练-选择未标注数据-人工标注”的迭代,逐轮将人工标注经验引入AI模型的训练中,直到满足停止条件,能够稳步提升模型训练效果,同时迭代停止时用模型标注大量剩余未标注数据,能够节省大量人工标注成本。自主学习的核心是每轮迭代中的选择策略,选择策略的目的是在未标注数据中挑选出一批最有利于提升模型训练效果的样本。相关技术中已经存在多种选择策略,主要是基于信息量的选择策略和基于多样性的选择策略。基于信息量的选择策略又称为不确定性抽样,即选择当前模型认为最不确定的样本,这些样本包含丰富的信息量,标注这类样本对提升当前模型最有帮助,基于信息量的选择策略就是要想方设法地找出信息量最高的样本。基于多样性的选择策略则从未标注数据的信息结构来挑选样本,旨在使挑选的各样本间差异最大化,避免选择相似样本,尽可能使挑选出的样本代表整体数据集的潜在分布。基于信息量的选择策略是最常用的自主学习选择策略,但它存在抽样偏差,极可能选出一批很相似的样本,过多的相似样本在自主学习初期往往无法使模型训练效果得到足够多的提升。基于多样性的选择策略能够在每轮为模型训练提供更多的数据分布信息,改进基于信息量选择策略的不足,更有利于模型训练,特别适用于自主学习初期已标的训练数据很少的情况,但基于多样性的选择策略往往计算成本巨大。
本公开实施例中,提供了一种数据处理方法,可以用于基于自主学习的数据标注过程中。接下来,参考图3对本公开实施例中的数据处理方法进行详细说明。
在步骤S310中,将待处理数据划分为已标注数据和未标注数据,根据使用所述已标注数据训练的当前模型对所述未标注数据进行标注,并确定自主学习对应的选择策略;所述已标注数据和未标注数据用于自主学习。
本公开实施例中,具体可以应用于基于自主学习的数据标注的应用场景中。待处理数据指的是待处理对象对应的数据。待处理对象可以为待处理图像或者是其他类型的对象等等。已标注数据指的是待处理对象对应的所有数据中得到标签的数据,即已标注图像的数据。已标注数据可以为对待处理数据中的部分数据进行人工标注得到的数据,且已标注数据用于实现模型自主学习。未标注数据指的是待处理对象对应的所有数据中未得到标签的数据,即未标注图像的数据。未标注数据池中的未标注数据用于通过训练好的模型进行智能标注,且所有的未标注数据可以组成用于表示未人工标注的数据的集合的未标注数据池。并且,已标注数据的数量小于未标注数据池中包含的未标注数据的数量。
自主学习用于获取标注数据。其具体过程可以包括:首先基于一小部分的已标注数据训练AI模型,然后基于选择策略获取对目标任务贡献较大的未标样本,经过人工审核标注后加入已标注数据进行下一轮“模型训练-数据挑选-人工标注”的迭代中,直到达到预先设定的停止条件(如每轮模型在固定验证集上的准确率、人工标注比例等),然后用该轮模型对剩余未标注数据进行标注,已达到提升模型训练效果和节省人工标注成本的目的。
本公开实施例中,当前模型指的是当轮的AI模型,AI模型用于进行AI数据标注,以确定数据的标签。AI数据标注即对相应数据进行标注的过程,如图像的拉框、图像分割、文本分类与提槽等。
在获取到已标注数据后,可以根据已标注数据对模型进行训练得到当前模型。对于每一轮自主学习而言,都会根据每轮的已标注数据训练得到一个当前模型,且每轮的当前模型的参数可以不同。具体地,可以将已标注数据以及对应的真实标签作为输入对模型进行训练,根据预测标签与真实标签进行对比来训练当前模型。每轮的已标注数据可以进行实时更新。
可以基于当前模型对未标注数据池中的所有未标注数据进行标注,以得到每个未标注数据在当前模型下的属性信息。属性信息可以包括信息量,信息量包括但不限于基于分类置信度、margin、entropy等方法。进一步地,可以基于信息量使用自动分阶段选择策略来确定多个阶段的选择策略。选择策略的目的是在未标注数据中挑选出一批最有利于提升模型训练效果的样本。
自主学习可以分为多个不同阶段,且每个阶段可以包括一轮或多轮自主学习过程。基于此,可以通过自动分阶段选择策略自动确定自主学习对应的选择策略,以将所有轮的自主学习过程划分为第一阶段和第二阶段。第一阶段和第二阶段根据是否满足分阶段条件以及满足指标参数条件来划分。满足分阶段条件指的是能够进入下一个选择策略的阶段,满足指标参数条件指的是指标参数小于10。例如,未满足分阶段条件或未满足指标参数条件则属于第一阶段,满足分阶段条件且满足指标参数条件则属于第二阶段。第一阶段可以为前期阶段,包括从起始时刻到满足分阶段条件且满足指标参数条件为止的所有轮自主学习,第二阶段可以后期阶段,包括为第一阶段之后的所有轮自主学习。第一阶段和第二阶段分别可以表示多轮自主学习,且第一阶段和第二阶段代表的自主学习的轮数可以相同或不同。
若自主学习所属的阶段不同,其对应的选择策略不同。例如第一阶段可以为混合选择策略,第二阶段可以为基于信息量的选择阶段。基于此,为了准确进行样本提取,可以确定每轮自主学习对应的选择策略。
图4中示意性示出确定选择策略的流程图,参考图4所示,主要包括以下步骤:
在步骤S410中,将第一选择策略确定为当轮自主学习对应的选择策略;
在步骤S420中,若确定满足分阶段条件,结合所述第一选择策略和所述第二选择策略确定下一轮自主学习对应的选择策略。
本公开实施例中,在第一阶段,可以直接将第一选择策略作为当轮自主学习的选择策略,当轮自主学习可以为整个自主学习过程中的任意一轮。第一选择策略可以为混合选择策略。混合选择策略指的是基于信息量的选择策略以及基于多样性的选择策略。可以根据第一选择策略从未标注数据池中选择出N个样本数据,即目标数量的样本数据。
在第一选择策略的使用过程中,可以判断当轮自主学习是否满足分阶段条件。分阶段条件用于描述当轮自主学习是否能够进入第二阶段。可以根据验证集指标以及根据第一选择策略选择的多个样本数据的属性信息来确定当轮自主学习是否满足分阶段条件。验证集中的数据存在标签,且验证集用于监控每轮模型的训练效果。验证集指标指的是模型在验证集上的准确率。
其中,若连续多轮的验证集指标未增加,或根据第一选择策略选择的目标数量的样本数据的属性信息相对于上一轮的属性信息未增加,确定满足分阶段条件。具体地,根据当轮第一选择策略选择的多个样本数据与上一轮对应的多个样本数据的信息量的对比结果,或根据当前模型针对于验证集的验证集指标的判断结果,确定是否满足分阶段条件。若选择出的N个样本数据相比上一轮的N个样本数据的信息量方差没有提升(未增加)或者当前模型在验证集上的准确率连续两轮没有提升(未增加),则确定满足分阶段条件。为了更好的判断自主学习是否能够进入下一个选择策略即第二选择策略的阶段,第r轮自主学习选择出的N个样本数据的信息量方差可以如公式(1)所示:
如果确定当轮自主学习不满足分阶段条件,则继续执行第一选择策略来进行下一轮自主学习迭代。如果满足分阶段条件,则控制从自主学习的第一阶段进入至自主学习的第二阶段,并将第一选择策略切换为第二选择策略,以结合所述第一选择策略和所述第二选择策略确定下一轮自主学习的选择策略。第二选择策略可以为基于信息量的选择策略。从下一轮开始后续的每轮自主学习可以从第一选择策略逐渐过渡至第二选择策略,即先执行第一选择策略,再对第一选择策略进行调整以将第一选择策略切换为第二选择策略。
在将第一选择策略切换为第二选择策略时,可以根据指标参数与参数阈值的对比结果来进行切换。指标参数指的是数据集扩充指数。数据集扩充指数B指的是当轮采用混合选择策略的参数,具体可以根据公式(2)来确定,其中N为预先设定的每轮自主学习选择的未标注数据量,即目标数量。当轮未标注数据量//N指的是除法操作后取整数。
B=min(当轮未标注数据量//N,10) 公式(2)
图5中示出了切换选择策略的流程图,参考图5中所示,主要包括以下步骤:
在步骤S510中,判断指标参数是否小于参数阈值。若是,则转至步骤S520;若否,则转至步骤S530。
本步骤中,参数阈值可以根据实际需求事先确定,参数阈值例如可以为10或者是其他数值,此处以10为例进行说明。可以将指标参数与参数阈值进行对比,得到指标参数大于参数阈值或者是指标参数小于参数阈值的对比结果。进一步地,可以根据对比结果将第一选择策略切换为第二选择策略。
在步骤S520中,若第一选择策略中的指标参数小于参数阈值,直接将所述第一选择策略切换为所述第二选择策略。
本步骤中,如果数据集扩充指数小于10,则可以直接将第一选择策略转换为第二选择策略,此后的每轮自主学习采用只基于信息量的选择策略。
在步骤S530中,若所述指标参数不小于所述参数阈值,对第一选择策略的指标参数进行调整,将所述选择策略从第一选择策略转换为第二选择策略。
本步骤中,如果数据集扩充指数不小于10,可以对指标参数进行衰减,以通过参考选择策略将第一选择策略逐渐过渡至第二选择策略。参考选择策略指的是数据集扩充指数动态变化的第一选择策略。在对指标参数进行衰减时,首先对指标参数进行缩小,然后再对缩小后的指标参数进行递减。在进行缩小时,对指标参数按照第一固定参数进行缩小,第一固定参数可以为2。进行递减时,可以按照第二固定参数进行递减。第二固定参数可以为1,直至指标参数衰减为参考指标参数时可以停止衰减。参考指标参数可以为1。即,将指标参数B衰减1/2变为B/2,此后每轮自主学习的mini-batch kmeans混合选择策略中将指标参数B依次减少1,直到指标参数B等于1时停止衰减。mini-batch kmeans聚类,先将总数据集按照一些条件进行筛选得到一个规模较小的mini-batch数据,再在这个mini-batch上进行kmeans聚类操作。在指标参数衰减为1时,将所述第一选择策略切换为所述第二选择策略。因此可以理解为,若所述指标参数不小于所述参数阈值,先对第一选择策略进行调整以继续按照混合选择策略进行下一轮自主学习,直到指标参数B等于1时停止衰减,按照第二选择策略表示的单一选择策略进行后续的每轮自主学习。
图6中示意性示出了一个完整自主学习的迭代过程确定选择策略的具体流程图,参考图6中所示,主要包括以下步骤:
步骤S610,确定当轮采用混合选择策略的指标参数B。混合选择策略即为第一选择策略,由于每轮未标注数据的数量不同,因此每一轮自主学习的混合选择策略对应的指标参数均不同。
步骤S620,该轮自主学习采用参数为B混合选择策略。
步骤S630,从未标注数据池中选出N个选择样本。N个选择样本指的是N个样本数据。
步骤S640,判断当轮自主学习是否满足分阶段条件;若否,则重复步骤S610至步骤S630的自主学习迭代;若是,则执行步骤S650。
步骤S650,判断此时的指标参数B是否小于参数阈值;若是,则执行步骤S670;若否,则执行步骤S660。
步骤S660,将指标参数B衰减1/2变为B/2,此后每轮自主学习的混合选择策略中将B依次减少1,直到指标参数B等于1。即,从下一轮自主学习开始的每一轮自主学习对第一选择策略的指标参数进行衰减。
步骤S670,此后每轮自主学习采用只基于信息量的选择策略,即从下一轮自主学习开始的每一轮自主学习采用第二选择策略。或从B等于1的自主学习开始的每一轮自主学习采用第二选择策略。
本公开实施例中,对于每一轮自主学习而言,先进行第一选择策略并自动判断是否切换为第二选择策略,通过确定自主学习对应的每个阶段的选择策略,而不是在整个自主学习迭代过程中一直使用某一个固定的选择策略,避免了只使用一种选择策略的局限性和单一性,提高了准确性和合理性。基于此,联合验证集准确率和选择数据信息量方差进行监控,自动决定自主学习是否应该进入下一个选择策略阶段,使每一轮的自主学习采用最合适的选择策略,以加速自主学习迭代进程,提升模型训练效果和最终的智能标注质量。并且,能够自动识别当轮自主学习属于第一阶段还是属于第二阶段,以及自动判断是否到下一个选择策略的阶段,自动判断是否切换选择策略,避免了人工判断时可能导致的误操作,能够提高操作效率和自主学习的准确性。
在步骤S320中,使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,并对所述样本数据进行标注得到标注的样本数据,以获取更新的已标注数据。
本公开实施例中,可以使用自主学习对应的选择策略从未标注数据池中选择出目标数量的样本数据。即,在第一阶段根据第一选择策略选择目标数量的样本数据,以及在第二阶段根据第二选择策略选择目标数量的样本数据。在得到目标数量的样本数据后,可以对样本数据进行标注得到标注的样本数据。此处的标注过程可以为人工标注。进一步地,可以基于标注的样本数据对已标注数据进行更新,得到更新的已标注数据。具体地,可以将标注的样本数据添加至已标注数据集中,得到更新的已标注数据。需要说明的是,在每轮迭代完成后,均可以根据使用当轮人工标注的样本数据对已标注数据进行更新。
其中,在根据第一选择策略选择未标注数据时,具体步骤包括:通过当前模型对未标注数据池中的未标注数据进行预测得到预测分数,并基于所述预测分数计算未标注数据的信息量。预测分数可以为预测置信度。信息量可以包括但不限于分类置信度、置信度margin、置信度entropy。进一步地,根据所述信息量的排列顺序获取参考数量的样本数据;参考数量可以大于目标数量,且根据指标参数以及目标数量而确定。例如可以为指标参数以及目标数量的乘积B*N,其中B为数据集扩充指数,N为预先设定的每轮自主学习选择的未标注数据,即目标数量。
在此基础上,可以对参考数量的样本数据进行聚类,以获取目标数量的样本数据。可以使用聚类算法对参考数量的样本数据进行聚类,得到目标数量的聚类中心,以获取目标数量的样本数据。聚类算法可以包括但不限于kmeans聚类、谱聚类以及层次聚类等等,此处以kmeans聚类为例进行说明。具体地,在所述参考数量的样本数量中,分别选择距离聚类中心最近的一个样本数据,以获取所述目标数量的样本数据。
图7中示意性示出了第一选择策略选择样本数据的流程图,参考图7中所示,主要包括以下步骤:
步骤S701,当轮训练得到的当前模型预测未标注数据。
步骤S702,当前模型预测未标注数据得到预测分数,基于预测分数计算未标注数据的信息量。
步骤S703,选取信息量排名前B*N个样本数据。
步骤S704,选取N个距离对应聚类中心最近的样本。对B*N个样本数据进行kmeans聚类分为N类,能够得到N个聚类中心。
步骤S705,进行人工标注后加入已标注数据。
其中,聚类的特征可以使用文本的深度网络编码、图像的像素信息矩阵等。kmeans具体算法步骤为:
1、选择初始化的N个样本作为初始聚类中心{a1,a2,...,aN};
2、针对数据集中每个样本xi计算它到N个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中;
3、用{c1,c2,...,cN}表示分成的N个类别,对应聚类中心为{a1,a2,...,aN},针对每个类别cj,重新根据公式(3)计算它的聚类中心,其中|cj|标识类别cj中包含的数据量:
4、重复上面2、3两步操作,直到达到结束条件。结束条件可以根据迭代次数大于预设次数或最小误差变化小于预设变化值而确定。
5、在分为N类的B*N个样本数据里,各自选择距离聚类中心最近的一个样本数据,N个类别就能得到N个样本数据;
6、将得到的N个样本数据进行人工标注后加入已标注数据集,准备进行下一轮自主学习迭代。
对于自主学习前期的选择策略,为了达到既利用多样性选择策略的优点又克服其计算成本大的缺点,采用了mini-batch kmeans混合选择策略,混合策略能够兼顾信息量和多样性选择策略的优点。
具体地,在根据第二选择策略选择未标注数据时,具体步骤包括:通过当前模型对未标注数据池中的未标注数据进行预测获取预测分数。预测分数可以为预测置信度。以分类任务为例,假设总标签集合为M={y1,y2,...,yM},标签总数为m,一条数据x的预测置信度通常是一个向量向量维度为总类别数m,的表达如公式(4)所示,其中p(yi|x),x=1,2,,...,m表示样本x被预测为标签类别yi的分类置信度:
在模型智能标注时通常选取最大置信度对应的标签类别,即公式(5)所示:
进一步基于所述未标注数据的预测分数计算信息量,并根据所述信息量的排列顺序从所述未标注数据池中获取目标数量的样本数据。信息量有多种计算指标,通常有基于分类置信度、margin、entropy等方法,假设U表示未标注数据集,总标签集合为M={y1,y2,...,yM},则可以根据对应方法来计算每种类型的信息量。
基于分类置信度计算的信息量如公式(6)所示:
基于margin的选择策略如公式(7)所示:
基于entropy的选择策略如公式(8)所示:
接下来,可以按照信息量从大到小的排列顺序,从未标注数据池中选取信息量排列在前N个的样本数据来作为目标数量的样本数据。若用XN表示挑选出的目标数量的样本数据,选择方法可以为公式(9)所示:
XN=argtopNmaxx∈Uφx 公式(9)
其中argtopN表示选择满足条件的信息量排列在前N个的样本数据。
图8示意性示出了第二选择策略的流程图,参考图8中所示,主要包括以下步骤:
在步骤S801中,当轮训练得到的当前模型预测未标注数据池;
在步骤S802中,当前模型预测未标注数据得到预测分数;基于未标注数据的预测分数,计算信息量;
在步骤S803中,在未标注数据池中选取信息量排名前N个的样本数据;
在步骤S804中,剩余样本继续留在未标注数据池,选出的样本进行人工标注后加入已标注数据集,准备进行下一轮自主学习迭代。
本公开实施例中,后期通过mini-batch kmeans的参数B的变化使选择策略逐渐向基于信息量过渡,也能保证自主学习中后期模型训练效果稳步上升。
综上所述,本公开实施例中提供的技术方案,通过分阶段变化选择策略,在自主学习迭代初期使用多样性和信息量混合的mini-batch kmeans混合选择策略,能选择出更丰富且具有多样性的样本,使模型训练效果更好,验证集准确率提升更快。同时能够减少计算开销,提升迭代效率。后期通过mini-batch kmeans的参数B的变化使选择策略逐渐向基于信息量过渡,能保证自主学习中后期模型训练效果稳步上升。该方法的分阶段变化选择策略不需要人为操作,而是通过每轮样本数据的信息量方差变化这个指标和验证集准确率来联合自动决定自主学习是否应该进入下一个选择策略阶段,避免人工的错误判断与操作影响自主学习的效果。基于此,确定每个阶段的选择策略能够加速自主学习迭代进程,提高标注数据的准确性和模型的准确性,整个过程智能又高效,能为目前的AI数据标注节省相当大的人工成本,为人工智能的快速发展提供了必要的基础条件。
在通过自动分阶段的选择策略确定自主学习的选择策略后,可以根据每轮自主学习对应的选择策略从未标注数据中得到目标数量的样本数据后,对这些样本数据进行人工标注得到标注的样本数据,这部分标注的样本数据从未标注数据池中去除并加入已标注数据中,以用于下一轮自主学习。
在步骤S330中,根据使用更新的已标注数据训练的下一模型,对除所述样本数据之外的未标注数据进行标注,直至满足终止条件为止得到目标模型。
本公开实施例中,可以基于标注的样本数据对已标注数据进行更新,得到更新的已标注数据。进而根据更新的已标注数据对模型进行训练,得到下一模型。然后根据下一模型对未标注数据池中除标注的样本数据之外的数据进行标注,得到每个数据在下一模型下的信息量。根据信息量使用自动分阶段选择策略从数据中选择目标数量的样本数据,进一步对目标数量的样本数据进行人工标注,再次获取更新的已标注数据,以使得目标数量的样本数据获得人工标注的标签后能够对下一轮的模型训练效果提升最大。
每个自主学习过程包括训练模型-数据挑选-人工标注。基于此,可以重复上述训练模型、通过模型对剩余的未标注数据进行标注以计算信息量以及分阶段选择策略提取目标数量的样本数据并进行标注的过程,直至满足终止条件为止,以完成整个自主学习迭代过程。其中,可以根据验证集监控每个模型的标注参数,并在所述标注参数满足标注条件时确定满足终止条件。每个模型指的是每一轮自主迭代所训练的模型。标注参数为验证集的准确率以及人工标注的数据比例。基于此,可以在验证集的准确率大于预设值和/或人工标注的数据比例达到预设比例时认为达到终止条件。当自主学习达到终止条件时,停止迭代并得到目标模型。目标模型指的是多轮自主学习后得到的最新模型。
在步骤S340中,根据所述目标模型对剩余未标注数据进行预测标注,获取标注结果。
本步骤中,在得到目标模型后,可以根据目标模型来对未标注数据池中的剩余未标注数据进行标注,得到其对应的标注结果,以得到最大规模的已标注数据和最优的目标模型。进一步地,可以根据标注结果来进行目标操作。目标操作可以根据实际应用场景而确定,例如可以为识别操作或者是分类操作,此处以目标操作为识别操作为例进行说明。
图9示意性示出了整体的流程示意图,参考图9中所示,主要包括以下步骤:
步骤S901,将待处理数据分为少量已标注数据和未标注数据池。
步骤S902,基于已标注数据进行AI模型训练。
步骤S903,用训练好的模型去预测未标注数据,得到每个未标注数据在当前模型预测下的信息量。
步骤S904,使用自动分阶段选择策略,从未标注数据池中选择目标数量的样本数据。
步骤S905,对目标数量的样本数据进行人工标注,从未标注数据池中去除并加入已标注数据中。
步骤S906,重复步骤S902至步骤S905,每次重复为一次自主学习迭代,另外会有一个独立的有标签验证集用于监控每轮模型训练的效果。可以预先设定停止条件来控制迭代进程,停止条件可以是模型在验证集上的准确率、人工标注的数据比例等。
步骤S907,当自主学习达到终止条件时,停止迭代,用目标模型对剩余未标注数据进行预测标注。
在此基础上,可以将待处理对象对应的待处理数据划分为已标注数据和未标注数据,根据使用所述已标注数据训练的当前模型对所述未标注数据进行标注,并确定自主学习对应的选择策略;使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,并对所述样本数据进行标注得到标注的样本数据,以获取更新的已标注数据;根据使用更新的已标注数据训练的下一模型,对除所述样本数据之外的未标注数据进行标注,直至满足终止条件为止得到目标模型;根据所述目标模型对剩余未标注数据进行预测标注,获取标注结果。进一步根据标注结果对待处理对象进行目标操作,以得到目标操作对应的处理结果。例如,识别待处理图像的类型。
图10中示意性示出了自主迭代过程中数据的处理过程,将待处理数据1000划分为已标注数据1001和未标注数据1002。根据自主学习对应的选择策略从未标注数据中选择出目标数量的样本数据1003,并将目标数量的样本数据加入已标注数据中。以此循环,直至满足终止条件为止,以得到剩余未标注数据1004。
本公开实施例的技术方案,提供了一种高效智能的自主学习系统用于数据标注,用户只需要初期提供少量人工标注数据用于模型自主学习,模型训练好后对未标注数据进行智能标注,并采用自动分阶段的选择策略筛选出部分样本用于人工校验标注,校验后的数据用于模型的下一轮自主学习,模型训练好后在启动下一轮智能标注,直到满足预设的终止条件,该方案能够使用户最终获得大规模的已标注数据和最优模型。
在使用上述方式进行数据标注时,可以设定分阶段选择策略中用到的具体信息量指标,每轮选择出来用于人工校验的数据量,以及自主学习的迭代终止条件。参考图11中的初始的配置界面所示,基于信息量的选择策略,每轮选择的数据量为50,自主学习迭代终止条件为模型准确率。自主学习停止迭代时,目标模型对剩余未标注数据进行智能标注,获得优质的大规模已标注数据和最优的目标模型。
本公开实施例中提出的技术方案,在自主学习迭代初期即第一阶段采用兼顾多样性和信息量的mini-batch kmeans混合选择策略,使模型训练效果快速提升。并且通过样本数据的信息量方差,在每轮自主学习中监测样本数据的信息量方差和验证集准确率,对mini-batch kmeans混合选择策略中的参数进行自动变化,使其逐渐向基于信息量的选择策略过渡,使模型性能效果稳步提升。本公开提供的技术方案不需要用户关注各个阶段的变化情况,自动实现分阶段变化选择策略,降低了自主学习过程中的人工标注成本。
本公开实施例中提供了一种数据处理装置,参考图12中所示,该数据处理装置1200可以包括:
选择策略确定模块1201,用于将待处理数据划分为已标注数据和未标注数据,根据使用所述已标注数据训练的当前模型对所述未标注数据进行标注,并确定自主学习对应的选择策略;所述已标注数据和未标注数据用于自主学习;
样本选择模块1202,用于使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,并对所述样本数据进行标注得到标注的样本数据,以获取更新的已标注数据;
迭代模块1203,用于根据使用更新的已标注数据训练的下一模型,对除所述样本数据之外的未标注数据进行标注,直至满足终止条件为止得到目标模型;
预测标注模块1204,用于根据所述目标模型对剩余未标注数据进行预测标注,获取标注结果。
在本公开的一种示例性实施例中,选择策略确定模块包括:当轮确定模块,用于将第一选择策略确定为当轮自主学习对应的选择策略;下一轮确定模块,用于根据验证集指标以及每个未标注数据在所述当前模型下的属性信息,确定下一轮自主学习对应的选择策略;所述属性信息根据所述当前模型对未标注数据进行标注而得到。
在本公开的一种示例性实施例中,下一轮确定模块包括:第一确定模块,用于若根据验证集指标以及所述属性信息确定当前自主学习不满足分阶段条件,将所述第一选择策略确定为下一轮自主学习对应的选择策略;第二确定模块,用于若确定当前自主学习满足分阶段条件,结合所述第一选择策略和所述第二选择策略确定下一轮自主学习对应的选择策略。
在本公开的一种示例性实施例中,所述装置还包括:条件判断模块,用于若连续多轮的验证集指标未增加,或根据第一选择策略选择的目标数量的样本数据的属性信息相对于上一轮的属性信息未增加,确定满足分阶段条件。
在本公开的一种示例性实施例中,第二确定模块包括:切换模块,用于若第一选择策略中的指标参数小于参数阈值,直接将所述第一选择策略切换为所述第二选择策略;过渡模块,用于若所述指标参数不小于所述参数阈值,对第一选择策略的指标参数进行调整,将所述选择策略从第一选择策略过渡至第二选择策略。
在本公开的一种示例性实施例中,过渡模块包括:衰减模块,用于对所述指标参数进行衰减,直至所述指标参数衰减为参考指标参数时将所述第一选择策略过渡至所述第二选择策略。
在本公开的一种示例性实施例中,样本选择模块包括:信息量计算模块,用于通过当前模型对未标注数据池中的未标注数据进行预测得到预测分数,并基于所述预测分数计算未标注数据的信息量;样本获取模块,用于根据所述信息量的排列顺序获取参考数量的样本数据;样本筛选模块,用于对所述参考数量的样本数据进行聚类,以获取目标数量的样本数据。
在本公开的一种示例性实施例中,样本筛选模块包括:聚类模块,用于在所述参考数量的样本数量中,分别选择距离聚类中心最近的一个样本数据,以获取所述目标数量的样本数据;参考数量的样本数据对应目标数量的类别。
在本公开的一种示例性实施例中,样本选择模块包括:预测分数确定模块,用于通过当前模型对未标注数据进行预测获取预测分数;选择控制模块,用于基于所述未标注数据的预测分数计算信息量,并根据所述信息量的排列顺序获取目标数量的样本数据。
需要说明的是,上述数据处理装置中各模块的具体细节已经在对应的数据处理方法中进行了详细描述,因此此处不再赘述。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (12)
1.一种数据处理方法,其特征在于,包括:
将待处理数据划分为已标注数据和未标注数据,根据使用所述已标注数据训练的当前模型对所述未标注数据进行标注,并确定自主学习对应的选择策略;所述已标注数据和未标注数据用于自主学习;
使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,并对所述样本数据进行标注得到标注的样本数据,以获取更新的已标注数据;
根据使用更新的已标注数据训练的下一模型,对除所述样本数据之外的未标注数据进行标注,直至满足终止条件为止得到目标模型;
根据所述目标模型对剩余未标注数据进行预测标注,获取标注结果。
2.根据权利要求1所述的数据处理方法,其特征在于,所述确定自主学习对应的选择策略,包括:
将第一选择策略确定为当轮自主学习对应的选择策略;
根据验证集指标以及每个未标注数据在所述当前模型下的属性信息,确定下一轮自主学习对应的选择策略;所述属性信息根据所述当前模型对未标注数据进行标注而得到。
3.根据权利要求2所述的数据处理方法,其特征在于,所述根据验证集指标以及每个未标注数据在所述当前模型下的属性信息,确定下一轮自主学习对应的选择策略,包括:
若根据验证集指标以及所述属性信息确定当前自主学习不满足分阶段条件,将所述第一选择策略确定为下一轮自主学习对应的选择策略;
若确定当前自主学习满足分阶段条件,结合所述第一选择策略和所述第二选择策略确定下一轮自主学习对应的选择策略。
4.根据权利要求3所述的数据处理方法,其特征在于,所述方法还包括:
若连续多轮的验证集指标未增加,或根据第一选择策略选择的目标数量的样本数据的属性信息相对于上一轮的属性信息未增加,确定满足分阶段条件。
5.根据权利要求3所述的数据处理方法,其特征在于,所述结合所述第一选择策略和所述第二选择策略确定下一轮自主学习对应的选择策略,包括:
若第一选择策略中的指标参数小于参数阈值,直接将所述第一选择策略切换为所述第二选择策略;
若所述指标参数不小于所述参数阈值,对第一选择策略的指标参数进行调整,将所述选择策略从第一选择策略过渡至第二选择策略。
6.根据权利要求5所述的数据处理方法,其特征在于,所述对第一选择策略的指标参数进行调整,将所述选择策略从第一选择策略过渡至第二选择策略,包括:
对所述指标参数进行衰减,直至所述指标参数衰减为参考指标参数时将所述第一选择策略过渡至所述第二选择策略。
7.根据权利要求1所述的数据处理方法,其特征在于,所述使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,包括:
通过当前模型对未标注数据池中的未标注数据进行预测得到预测分数,并基于所述预测分数计算未标注数据的信息量;
根据所述信息量的排列顺序获取参考数量的样本数据;
对所述参考数量的样本数据进行聚类,以获取目标数量的样本数据。
8.根据权利要求7所述的数据处理方法,其特征在于,所述对所述参考数量的样本数据进行聚类,以获取目标数量的样本数据,包括:
在所述参考数量的样本数量中,分别选择距离聚类中心最近的一个样本数据,以获取所述目标数量的样本数据;参考数量的样本数据对应目标数量的类别。
9.根据权利要求1所述的数据处理方法,其特征在于,所述使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,包括:
通过当前模型对未标注数据进行预测获取预测分数;
基于所述未标注数据的预测分数计算信息量,并根据所述信息量的排列顺序获取目标数量的样本数据。
10.一种数据处理装置,其特征在于,包括:
选择策略确定模块,用于将待处理数据划分为已标注数据和未标注数据,根据使用所述已标注数据训练的当前模型对所述未标注数据进行标注,并确定自主学习对应的选择策略;所述已标注数据和未标注数据用于自主学习;
样本选择模块,用于使用自主学习对应的选择策略从未标注数据中选择目标数量的样本数据,并对所述样本数据进行标注得到标注的样本数据,以获取更新的已标注数据;
迭代模块,用于根据使用更新的已标注数据训练的下一模型,对除所述样本数据之外的未标注数据进行标注,直至满足终止条件为止得到目标模型;
预测标注模块,用于根据所述目标模型对剩余未标注数据进行预测标注,获取标注结果。
11.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-9任意一项所述的数据处理方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-9任意一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111458298.7A CN114139726A (zh) | 2021-12-01 | 2021-12-01 | 数据处理方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111458298.7A CN114139726A (zh) | 2021-12-01 | 2021-12-01 | 数据处理方法及装置、电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114139726A true CN114139726A (zh) | 2022-03-04 |
Family
ID=80386921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111458298.7A Pending CN114139726A (zh) | 2021-12-01 | 2021-12-01 | 数据处理方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114139726A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115774854A (zh) * | 2023-01-30 | 2023-03-10 | 北京亿赛通科技发展有限责任公司 | 一种文本分类方法、装置、电子设备和存储介质 |
-
2021
- 2021-12-01 CN CN202111458298.7A patent/CN114139726A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115774854A (zh) * | 2023-01-30 | 2023-03-10 | 北京亿赛通科技发展有限责任公司 | 一种文本分类方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110347873B (zh) | 视频分类方法、装置、电子设备及存储介质 | |
CN111930992B (zh) | 神经网络训练方法、装置及电子设备 | |
CN115879535B (zh) | 一种自动驾驶感知模型的训练方法、装置、设备和介质 | |
WO2020177673A1 (zh) | 一种视频序列选择的方法、计算机设备及存储介质 | |
KR20210134528A (ko) | 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
KR20200145827A (ko) | 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체 | |
US11948359B2 (en) | Video processing method and apparatus, computing device and medium | |
CN111026914A (zh) | 视频摘要模型的训练方法、视频摘要生成方法及装置 | |
CN110956059B (zh) | 一种动态手势识别方法、装置和电子设备 | |
CN116050496A (zh) | 图片描述信息生成模型的确定方法及装置、介质、设备 | |
CN115147935B (zh) | 一种基于关节点的行为识别方法、电子设备及存储介质 | |
CN110263218A (zh) | 视频描述文本生成方法、装置、设备和介质 | |
CN113673613A (zh) | 基于对比学习的多模态数据特征表达方法、装置及介质 | |
CN114139726A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
CN115861879A (zh) | 基于事件一致性的视听事件检测方法及装置 | |
CN116204694A (zh) | 一种基于深度学习与哈希算法的多模态检索方法 | |
CN115311605A (zh) | 基于近邻一致性和对比学习的半监督视频分类方法及系统 | |
CN116189053A (zh) | 一种基于多模态的未修剪长视频识别系统及方法 | |
CN115328319A (zh) | 一种基于轻量型手势识别的智能控制方法及装置 | |
CN115115914A (zh) | 信息识别方法、装置以及计算机可读存储介质 | |
CN114463839A (zh) | 一种手势识别的方法、装置、电子装置和存储介质 | |
CN118052907A (zh) | 一种文本配图生成方法和相关装置 | |
CN113850012A (zh) | 数据处理模型生成方法、装置、介质及电子设备 | |
CN116824005A (zh) | 图像处理方法及装置、存储介质以及电子设备 | |
EP4184424A1 (en) | Method and device for improving video quality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |