CN116756576A - 数据处理方法、模型训练方法、电子设备及存储介质 - Google Patents
数据处理方法、模型训练方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116756576A CN116756576A CN202311044243.0A CN202311044243A CN116756576A CN 116756576 A CN116756576 A CN 116756576A CN 202311044243 A CN202311044243 A CN 202311044243A CN 116756576 A CN116756576 A CN 116756576A
- Authority
- CN
- China
- Prior art keywords
- training
- data
- labeling
- data processing
- labeling result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 420
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000003860 storage Methods 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title abstract description 33
- 238000002372 labelling Methods 0.000 claims abstract description 413
- 238000012545 processing Methods 0.000 claims abstract description 296
- 238000011156 evaluation Methods 0.000 claims description 42
- 238000004140 cleaning Methods 0.000 claims description 31
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种数据处理方法、模型训练方法、电子设备及存储介质，涉及大模型技术、小样本标注领域。其中，该方法包括：获取待处理数据，其中，待处理数据包括至少一个待标记对象；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。本申请解决了相关技术中利用小样本训练得到的大模型或生成的生产链路，对数据处理的准确率较低的技术问题。
Description
技术领域
本申请涉及大模型技术、小样本标注领域，具体而言，涉及一种数据处理方法、模型训练方法、电子设备及存储介质。
背景技术
目前，大模型或者生产链路的训练需要构建巨大数据量的训练样本，但是，在小样本标注领域中，由于预标注的训练样本数据量较小，导致利用小样本训练得到的大模型或生成的生产链路，对数据处理的准确率较低。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理方法、模型训练方法、电子设备及存储介质，以至少解决相关技术中利用小样本训练得到的大模型或生成的生产链路，对数据处理的准确率较低的技术问题。
根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取待处理数据，其中，待处理数据包括至少一个待标记对象；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
根据本申请实施例的另一方面，还提供了一种模型训练方法，包括：获取训练样本，其中，训练样本包括至少一个训练对象；利用数据处理模型对训练样本进行标注，得到至少一个训练对象的初始标注结果；对初始标注结果中满足预设条件的目标训练对象进行重新标注，得到训练标注结果；基于训练样本和训练标注结果，对数据处理模型进行训练。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示待处理数据，其中，待处理数据包括至少一个待标记对象；响应作用于操作界面上的数据处理指令，在操作界面上显示至少一个待标记对象的目标标注结果，其中，目标标注结果是利用数据处理模型对待处理数据进行处理得到的，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：通过调用第一接口获取待处理数据，其中，第一接口包括第一参数，第一参数的参数值为待处理数据，待处理数据包括至少一个待标记对象；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果；通过调用第二接口输出目标标注结果，其中，第二接口包括第二参数，第二参数的参数值为目标标注结果。
根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：获取模块，用于获取待处理数据，其中，待处理数据包括至少一个待标记对象；处理模块，用于利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
根据本申请实施例的另一方面，还提供了一种模型训练装置，包括：获取模块，用于获取训练样本，其中，训练样本包括至少一个训练对象；第一标注模块，用于利用数据处理模型对训练样本进行标注，得到至少一个训练对象的初始标注结果；第二标注模块，用于对初始标注结果中满足预设条件的目标训练对象进行重新标注，得到训练标注结果；训练模块，用于基于训练样本和训练标注结果，对数据处理模型进行训练。
根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：第一显示模块，用于响应作用于操作界面上的输入指令，在操作界面上显示待处理数据，其中，待处理数据包括至少一个待标记对象；第二显示模块，用于响应作用于操作界面上的数据处理指令，在操作界面上显示至少一个待标记对象的目标标注结果，其中，目标标注结果是利用数据处理模型对待处理数据进行处理得到的，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
根据本申请实施例的另一方面，还提供了一种数据处理装置，包括：获取模块，用于通过调用第一接口获取待处理数据，其中，第一接口包括第一参数，第一参数的参数值为待处理数据，待处理数据包括至少一个待标记对象；处理模块，用于利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果；输出模块，用于通过调用第二接口输出目标标注结果，其中，第二接口包括第二参数，第二参数的参数值为目标标注结果。
根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器，存储有可执行程序；处理器，用于运行程序，其中，程序运行时执行上述任意一项的方法。
根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行上述任意一项的方法。
在本申请实施例中，采用获取待处理数据；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果的方式，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。容易注意到的是，通过将满足预设条件的目标训练对象进行重新标注，并将重新标注后的标注结果作为数据处理模型的训练标注结果，使得数据处理模型的训练数据更加准确，达到了提高数据处理模型的数据处理准确率的技术效果，进而解决了相关技术中利用小样本训练得到的大模型或生成的生产链路，对数据处理的准确率较低的技术问题。
容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种数据处理方法的应用场景的示意图；
图2是根据本申请实施例1的一种数据处理方法的流程图；
图3是根据本申请实施例1的一种可选的数据处理方法的流程图；
图4是根据本申请实施例1的一种可选的数据处理方法的系统的示意图；
图5是根据本申请实施例2的一种模型训练方法的流程图；
图6是根据本申请实施例3的一种数据处理方法的流程图；
图7是根据本申请实施例3的一种可选的操作界面的示意图；
图8是根据本申请实施例4的一种数据处理方法的流程图；
图9是根据本申请实施例5的一种数据处理装置的示意图；
图10是根据本申请实施例6的一种数据处理装置的示意图；
图11是根据本申请实施例7的一种数据处理装置的示意图；
图12是根据本申请实施例8的一种数据处理装置的示意图；
图13是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请提供的技术方案主要采用大模型技术实现，此处的大模型是指具有大规模模型参数的深度学习模型，通常可以包含上亿、上百亿、上千亿、上万亿甚至十万亿以上的模型参数。大模型又可以称为基石模型/基础模型（Foundation Model），通过大规模无标注的语料进行大模型的预训练，产出亿级以上参数的预训练模型，这种模型能适应广泛的下游任务，模型具有较好的泛化能力，例如大规模语言模型（Large Language Model, LLM）、多模态预训练模型（multi-modal pre-training model）等。
需要说明的是，大模型在实际应用时，可以通过少量样本对预训练模型进行微调，使得大模型可以应用于不同的任务中。例如，大模型可以广泛应用于自然语言处理（Natural Language Processing，简称NLP）、计算机视觉等领域，具体可以应用于如视觉问答（Visual Question Answering，简称VQA）、图像描述（Image Caption，简称IC）、图像生成等计算机视觉领域任务，也可以广泛应用于基于文本的情感分类、文本摘要生成、机器翻译等自然语言处理领域任务。因此，大模型主要的应用场景包括但不限于数字助理、智能机器人、搜索、在线教育、办公软件、电子商务、智能设计等。在本申请实施例中，以数据生产链路场景下通过数据处理模型进行数据处理为例进行解释说明。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
联邦学习：一种机器学习(Machine Learning) 技术，可让一组（batch）组织或同一组织内的群组以协作和迭代的方式训练和改进共享的全局机器学习模型。
在线学习：深度学习中模型的一种训练方法，能够根据线上反馈数据，实时快速地进行模型调整，使得模型及时反映线上的变化，提高线上预测的准确率。
强化学习：基于环境的反馈而行动，通过不断的与环境的交互、试错，最终完成特定目的或者使得整体行动收益较大化。
数据挖掘: 是一种计算机辅助技术，用于分析以处理和探索大型数据集。
HEAD层：获取网络输出内容的网络，能够利用之前提取的特征做出预测。
NECK层：位于主干网络和HEAD中间的网络，能够更好的利用主干网络提取的特征。
实施例1
根据本申请实施例，提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
考虑到大模型的模型参数量庞大，且移动终端的运算资源有限，本申请实施例提供的上述数据处理方法可以应用于如图1所示的应用场景，但不仅限于此。图1是根据本申请实施例的一种数据处理方法的应用场景的示意图，在如图1所示的应用场景中，大模型部署在服务器10中，服务器10可以通过局域网连接、广域网连接、因特网连接，或者其他类型的数据网络，连接一个或多个客户端设备20，此处的客户端设备20可以包括但不限于：智能手机、平板电脑、笔记本电脑、掌上电脑、个人计算机、智能家居设备、车载设备等。客户端设备20可以通过图形用户界面与用户进行交互，实现对大模型的调用，进而实现本申请实施例所提供的方法。
在本申请实施例中，客户端设备和服务器构成的系统可以执行如下步骤：客户端设备执行生成待处理数据，并发送给服务器，服务器执行利用数据处理模型对待处理数据进行处理，并将目标标注结果返回至客户端设备。需要说明的是，在客户端设备的运行资源能够满足大模型的部署和运行条件的情况下，本申请实施例可以在客户端设备中进行。
在上述运行环境下，本申请提供了如图2所示的数据处理方法。图2是根据本申请实施例1的一种数据处理方法的流程图。如图2所示，该方法可以包括如下步骤：
步骤S202，获取待处理数据，其中，待处理数据包括至少一个待标记对象。
上述的待处理数据可以包含需要进行标注的对象的数据，例如，图像、文本、语音等，但不仅限于此。上述的待标记对象可以是待处理数据中需要进行标注的对象，可以为一个，也可以为多个。此处的标注可以是对待标记对象检测、分割、分类等，可以根据具体应用场景确定，例如，待标记对象可以是图像中需要进行分类的不同物品，但不仅限于此。
在一种可选的实施例中，用户可以在客户端设备上输入待处理数据，从而客户端设备可以获取到待处理数据，并将待处理数据通过网络发送给服务器，由服务器对待处理数据进行处理，也即由服务器对至少一个待标记对象进行标注，从而得到至少一个待标记对象的目标标注结果。
例如，以待处理数据为图像，待标记对象为图像中待分割的不同物品为例进行详细说明，用户可以通过对不用物品进行拍摄的方式来生成图像，并将拍摄到的图像通过网络发送给服务器，又或者用户可以通过选择已经拍摄好的图像作为待处理数据，并将选择出的图像通过网络发送给服务器。
又例如，以待处理数据为文本，待标记对象为需要翻译的文字为例进行详细说明，用户可以通过在操作界面上进行操作，输入需要翻译的文本，从而客户端设备可以获取到文本，并通过网络发送给服务器。
步骤S204，利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
上述的目标标注结果可以是对待标记对象进行标注所得到的结果，例如待标记对象的分类结果、待标记对象的检测结果、待标记对象的分割结果等，但不仅限于此。
上述的数据处理模型可以是部署在客户端设备的轻量化模型，由于该模型的结果简单，因此，可以运行在浏览器、本地应用或服务器集群。另外，为了扩展数据处理模型的应用场景，可以预先设定多个不同任务类型对应的HEAD/NECK层，实现不同类型的任务。
上述的训练样本可以是用户提前获取的，用于对数据处理模型进行训练的数据，该训练样本的数据量较小，属于小样本标注领域，但不仅限于此。上述的训练对象可以是训练样本中的待标记对象，将训练样本输入至数据处理模型中，可以得到初始标注结果。由于利用小样本训练得到的数据处理模型的标注准确度不高，导致初始标注结果存在错误，为了提升数据处理模型的标注准确度，可以对初始标注结果中满足预设条件的目标训练对象进行重新标注，从而得到准确度更高的训练标注结果，进而完成数据处理模型的训练过程。上述的预设条件可以是用户提前设置的条件，用于表征初始标注结果错误的条件，例如，可以是初始标注结果的置信度不满足置信度阈值，也可以是初始标注结果的准确率小于预设阈值，但不仅限于此，还可以是初始标注结果的召回率小于预设阈值等。
在一种可选的实施例中，在小样本标注领域，服务器接收到客户端设备发送的待处理数据后，首先可以对待处理数据进行特征提取，其次可以将提取出的特征信息发送至部署在客户端设备的数据处理模型，数据处理模型可以基于提取出的特征信息对待处理数据进行标注，得到待处理数据的目标标注结果，最后数据处理模型可以通过网络将目标标注结果发送至客户端设备，客户端设备通过显示界面向用户展示目标标注结果，以方便用户查看。
例如，以待处理数据为图像，待标记对象为图像中待识别对象为例进行说明，当服务器接收到客户端设备发送的图像后，首先可以对图像进行图像特征提取得到图像特征信息，其次可以将图像特征信息发送至数据处理模型，数据处理模型基于图像特征信息对图像特征信息对应的图像进行标注后，可以得到图像的识别结果为待识别对象小猫，但不仅限于此，最后数据处理模型可以将识别出的小猫发送至客户端设备，客户端设备可以通过显示界面向用户展示识别出的小猫。
又例如，以待处理数据为文本，待标记对象为需要翻译的文字为例进行说明，当服务器接收到客户端设备发送的文本后，首先可以对文本进行特征提取得到文本特征信息，其次可以将文本特征信息发送至数据处理模型，数据处理模型可以基于文本特征信息对文本特征信息对应的文本进行翻译得到翻译结果，最后数据处理模型可以将翻译结果发送至客户端设备，客户端设备通过显示界面向用户展示翻译结果。
需要说明的是，为了提高数据处理模型的处理准确度，在进行实际处理之前，首先可以通过训练样本和训练标注结果对数据处理模型进行训练。
在本申请实施例中，采用获取待处理数据；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果的方式，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。容易注意到的是，通过将满足预设条件的目标训练对象进行重新标注，并将重新标注后的标注结果作为数据处理模型的训练标注结果，使得数据处理模型的训练数据更加准确，达到了提高数据处理模型的数据处理准确率的技术效果，进而解决了相关技术中利用小样本训练得到的大模型或生成的生产链路，对数据处理的准确率较低的技术问题。
本申请上述实施例中，利用数据处理模型对待处理数据进行处理，得到待标记对象的目标标注结果，包括：利用大模型对待处理数据进行特征提取，得到待处理数据的数据特征；利用数据处理模型基于数据特征，对待标记对象进行标注，预测得到目标标注结果。
在一种可选的实施例中，当服务器接收到客户端设备发送的待处理数据后，首先可以通过大模型对待处理数据进行特征提取，得到待处理数据的数据特征，其中，大模型可以位于云端服务器中，也可以位于本地服务器中，但不仅限于此，其次服务器可以将数据特征发送至数据处理模型，数据处理模型基于数据特征对待标记对象进行标注后，可以预测得到目标标注结果，然后数据处理模型可以将目标标注结果发送至客户端设备，客户端设备通过显示界面向用户展示目标标注结果。
本申请上述实施例中，数据处理模型至少包括：从多个输出层中选中的目标输出层，其中，不同输出层用于输出不同类型的标注结果。
上述的目标输出层可以是基于目标标注确定的输出层，用于基于数据特征对待标记对象进行标注后，输出目标标注结果，其中，目标标注可以是用户确定的。其中，输出层能够根据输入特征得到模型最终的输出结果，不同输出层可以输出不同类型的标注结果，例如，二分类输出层可以输出分类结果，恒等函数输出层可以输出回归结果，多分类输出层可以输出属于各个分类的概率等。
在一种可选的实施例中，数据处理模型至少包括输出层，输出层可以包括但不限于：多样化HEAD层和多样化NECK层。当基于目标标注从多个输出层中确定目标输出层后，通过目标输出层基于提取得到的数据特征对待标记对象进行标注，并输出对应类型的目标标注结果。
例如，以待标记对象为图像中需要分类的不同物品为例进行说明，此时可以确定目标标记为分类，因此可以从多个类型的输出层中确定用于分类的HEAD层和NECK层（即目标输出层），然后可以通过目标输出层基于提取得到的数据特征对待标记对象进行分类，并输出分类结果。
本申请上述实施例中，该方法还包括：基于初始标注结果，确定至少一个训练对象中，满足预设条件的初始训练对象；对包含初始训练对象的训练样本进行数据清洗，得到清洗样本；对清洗样本包含的目标训练对象进行重新标注，得到训练标注结果。
在一种可选的实施例中，对数据处理模型进行训练时，首先可以基于初始标注结果确定训练对象中，满足初始标注结果的准确率小于预设阈值（即预设条件）的初始训练对象，也即，可以确定未被准确标注的至少一个训练对象（即初始训练对象），其次为了得到准确度更高的训练标注结果，可以确定包含初始训练对象的训练样本，然后可以对包含初始训练对象的训练样本进行数据清洗，得到清洗样本，最后可以对清洗样本中包含的目标训练对象重新进行标注，即可以得到准确度更高的训练标注结果。又例如，对数据处理模型进行训练时，首先可以基于初始标注结果确定训练对象中，满足初始标注结果召回率小于预设阈值的初始训练对象，也即，可以确定未被准确标注的至少一个训练对象，其次为了得到准确度更高的训练标注结果，可以确定包含初始训练对象的训练样本，然后可以对包含初始训练对象的训练样本进行数据清洗，得到清洗样本，最后可以对清洗样本中包含的目标训练对象重新进行标注，即可以得到训练标注结果。
本申请上述实施例中，该方法还包括：确定初始标注结果对应的评价指标；在评价指标大于或等于预设指标的情况下，对满足预设条件的目标训练对象进行重新标注，得到训练标注结果；在评价指标小于预设指标的情况下，对至少一个训练对象进行重新标注，得到训练标注结果。
上述的预设指标可以是用户提前设置的，用于确定初始标注结果是否达到要求的指标，例如可以是准确率指标，还可以是召回率指标，但不仅限于此。其中，确定是否达到要求是指，确定数据处理模型的处理精度或者处理性能是否能够达到用户要求。
在一种可选的实施例中，在对数据处理模型进行训练时，首先还可以确定初始训练结果对应的评价指标，其次可以将评价指标与预设指标进行对比，当确定评价指标大于或等于预设指标时，可以表明初始标注结果的准确率指标或召回率指标均达到用户要求的指标，因此可以表明通过数据处理模型预测得到的初始标注结果可信，此时可以对满足预设条件的目标训练对象进行重新标注，也即可以对未被正确标注的目标训练对象重新进行标注，得到准确度更高的训练标注结果；当确定评价指标小于预设指标时，可以表明初始标注结果的准确率指标或召回率指标均未达到用户要求的指标，因此可以表明通过数据处理模型预测得到的初始标注结果不可信，此时为了提高数据处理模型的处理精度或者处理性能，可以对训练样本中的至少一个训练对象重新进行人工标注，即可以得到准确度更高的训练标注结果。
本申请上述实施例中，在对至少一个训练对象进行重新标注，得到训练标注结果之后，该方法还包括：基于训练样本和训练标注结果，对本地模型的模型参数进行更新，得到第一参数；基于第一参数对部署于服务器上的主处理模型的模型参数进行调整。
上述的主处理模型是指采用联邦学习进行模型训练过程中，部署在服务器上的master模型，用于在训练数据量巨大的情况下，基于联邦学习对数据处理模型的参数进行调整，以得到训练准确度更高的数据处理模型。
在一种可选的实施例中，当通过数据处理模型得到训练标注结果后，首先还可以基于训练样本和训练标注结果对本地模型的模型参数进行更新，得到第一参数，其中，基于第一参数能够提高本地模型的处理准确率，其次可以基于第一参数对部署于服务器上的主处理模型的模型参数进行调整（例如可以是联邦学习），能够进一步提高主处理模型的处理准确率。
其中，由于主处理模型位于服务器中，且服务器中的信息为共享信息，而数据处理模型位于客户端设备，为了防止信息泄露等情况发生，因此可以采用联邦学习的方式对主处理模型的模型参数进行调整。在本申请实施例中，因为主处理模型与数据处理模型的结构相同，因此得到第一参数后，可以基于第一参数对主处理模型的模型参数进行调整，其中，联邦学习的过程无需进行信息的传送，有效的避免了信息的泄露。
本申请上述实施例中，该方法还包括：基于训练样本和训练标注结果，对部署于服务器上的主处理模型进行参数调整，得到第二参数，其中，主处理模型的网络结构与本地服务器相同；基于第二参数对数据处理模型的模型参数进行调整。
在一种可选的实施例中，当通过数据处理模型得到训练标注结果后，因为主处理模型的网络结构与本地服务器的网络结构相同，因此还可以基于训练样本和训练标注结果，对部署于服务器上的主处理模型进行参数调整，得到第二参数，其次，还可以基于第二参数对数据处理模型的模型参数进行调整，能够进一步提高数据处理模型的处理准确率。
本申请上述实施例中，在利用数据处理模型对待处理数据进行处理，得到待标记对象的目标标注结果之后，该方法还包括：确定目标标注结果对应的目标评价指标；在目标评价指标小于预设评价指标的情况下，对待标记对象进行重新标注，得到第一标注结果；基于待处理数据和第一标注结果，对数据处理模型的模型参数进行调整。
上述的预设评价指标可以是用户提前设置的，用于确定目标标注结果是否可信的指标，可以为置信度，但不仅限于此。
在一种可选的实施例中，当得到待标记对象的目标标注结果之后，首先还可以确定目标标注结果对应的目标评价指标，其次可以将目标评价指标与预设评价指标进行对比，当确定目标评价指标小于预设评价指标时，表明确定目标标注结果可信的概率较低，此时可以通过在线学习的方式，自动化对待标记对象进行重新标注，得到第一标注结果，然后可以基于待处理数据和第一标注结果，对数据处理模型的模型参数进行调整，能够进一步提高数据处理模型的处理准确率。
本申请上述实施例中，在利用数据处理模型对待处理数据进行处理，得到待标记对象的目标标注结果之后，该方法还包括：输出待处理数据和目标标注结果；接收第二标注结果，其中，第二标注结果是对待标记对象进行重新标注得到的结果；基于待处理数据和第二标注结果，对数据处理模型的模型参数进行调整。
在一种可选的实施例中，当得到待标记对象的目标标注结果之后，首先还可以通过数据处理模型输出待处理数据和目标标注结果，其次可以接收人工对待标记对象重新进行标注后的第二标注结果，然后可以基于待处理数据和第二标注结果，对数据处理模型的模型参数进行调整，能够进一步提高数据处理模型的处理准确率。
图3是根据本申请实施例1的一种可选的数据处理方法的流程图，如图3所示，该方法可以包括如下步骤：
步骤S301，获取待处理数据；
步骤S302，获取基础模型提供的特征数据；
步骤S303，本地的数据处理模型接收到待处理数据和特征数据后，对待处理数据进行标注，得到目标标注结果；
步骤S304，确定目标标注结果是否满足预设条件，若是，进入步骤S305，若否，进入步骤S312；
步骤S305，对满足预设条件的目标标注结果重新进行标注，得到更新后的目标标注结果，进入步骤S306和步骤S307；
步骤S306，基于更新后的目标标注结果更新本地数据处理模型，进入步骤S308；
步骤S307，基于更新后的目标标注结果进行数据探查（即数据清洗），进入步骤S311；
步骤S308，通过联邦学习更新主处理模型（master模型），进入步骤SS306和步骤S309；
步骤S309，判断是否满足结束约束，若是，进入步骤S310，若否，进入步骤S301；
步骤S310，结束；
步骤S311，对数据探查后的目标标注结果重新进行标注，进入步骤S308；
步骤S312，对不满足预设条件，且目标评价指标小于预设评价指标的目标标注结果重新进行标注，得到训练标注结果，进入步骤S306和步骤S307。
图4是根据本申请实施例1的一种可选的数据处理方法的系统的示意图，如图4所示，该系统包括：数据处理模型，以及部署于服务器上的主处理模型。该数据处理方法的主要流程包括：首先进行数据预处理Data pre-filter，其次将经过预处理的数据进行人工标注Manual basic Label，然后将人工标注后的数据分别进行数据清洗/探查Data explore/clean、更新调整update/finetune进行模型参数更新Auto fit，以及通过本地数据处理模型进行标注Semi-automic labeling，数据经过清洗/探查后会重新进行人工标注，模型参数更新后会通过本地数据处理模型进行标注，本地数据处理模型标注完成后，会将数据分别进行数据清洗/探查、模型参数更新以及自动化标注Automic labeling。将主要流程拆分后可以看到，该系统主要包括数据特征、刷库、多模态属性以及数据管理。首先可以通过多模态大模型进行特征提取/聚合，以及属性聚合，然后将大模型提供的特征Generalembedding/features发送至数据处理模型，数据处理模型可以通过对应的输出层（例如多样化Head/Neck层）进行标注预测predict，即可以得到目标标注结果Labeling。其中，数据处理模型可以分别应用在浏览器、本地应用或服务器集群中，此外，还可以通过在线学习、强化学习、联邦学习等基于目标标注结果对模型参数进行调整，然后还可以通过数据清洗模型Date Clean Model对目标标注结果进行数据探查（数据清洗），最后通过不确定性学习其他理论Confidence Learning Other Methods对清洗后的数据以及目标标注结果进行数据探查后，将探查后的异常数据召回recall。
在上述的系统中，提取待处理的数据处理对象的基础特征的embedding(一个或者多个基础模型) ；通过联邦学习方式+在线学习On-line learning 方式对于数据实时学习样本特征，通过不同任务类型选择对应的任务处理HEAD /NECK层进行预估任务输出。这个过程过滤freeze掉基础大模型，只学习NECK+HEAD这部分和处理目的较紧密的部分。这部分模型结构相对比较轻量，因此可以在浏览器、本地客户端或者服务端机群上运行；通过标注过程增加人工错误数据捞回，通过对于数据统计或者特征上聚类发现存量数据中存在异常数据进行召回，并最终人工进行校验；持续迭代2-3，模型数据收敛或者异常梯度(消失/爆炸)。
在本申请实施例中，通过训练样本和训练标注结果进行训练得到数据处理模型，使得耗时部分在服务端离线处理完，通过增加自适应的Head/Neck层来保证模型轻量化自适应，这部分模型可以在客户浏览器或本地应用、后端集群动态生成/更新。
在本申请实施例中，通过第一参数、第二参数、第一标注结果、第二标注结果对本地数据处理模型参数进行调整，以及提供的快速自适应多种任务的数据清洗链路；因为基础大模型可以提供足够基础特征，通过大模型提取基础特征进行聚合，再结合小模型embeding Neck/Head层通过On-line Learning快速对于数据进行自适应。其中，标注流程能够通过小样本对数据进行快速适应，另一方面因为本地数据处理模型较小，标注员可以在本地更新模型，能够有更快的适应能力； 基础大模型和客户端小模型都可以自由替换用来适应不同模型；通过预制数据探查模块可以高效找出潜在可能错误样本，提升数据质量；标注系统收敛过后的模型可以快速用于生产。通过标注过程标注错误数据，并对错误数据特征进行聚类，发现潜在异常关联事件case进行数据挖掘或召回。
此外，在本申请实施例中，通过第一参数、第二参数、第一标注结果、第二标注结果对主处理模型参数进行调整，在初始标注过程中客户端学习本地特征并周期同步至进程进行模型更新，同时本地模型进行模型更新；当本地模型准确率满足一定阈值后，本地模型就可以逐步开始进行自动打标，通过数据探查Data Explore过滤出有问题数据进行二次打标逐步收敛数据质量并提高整体模型的稳定性。并且，数据探查部分，结合清洗实验CleanLab结合基础聚类信息探查出潜在问题数据对模型效果进行矫正，防止模型不收敛。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
实施例2
根据本申请实施例的另一方面，还提供了一种模型训练方法。图5是根据本申请实施例2的一种模型训练方法的流程图。如图5所示，该方法可以包括如下步骤：
步骤S502，获取训练样本，其中，训练样本包括至少一个训练对象；
步骤S504，利用数据处理模型对训练样本进行标注，得到至少一个训练对象的初始标注结果；
步骤S506，对初始标注结果中满足预设条件的目标训练对象进行重新标注，得到训练标注结果；
步骤S508，基于训练样本和训练标注结果，对数据处理模型进行训练。
在一种可选的实施例中，当需要对模型进行训练时，首先可以获取训练训练样本，其中，训练样本包括至少一个训练对象，其次，可以利用数据处理模型对训练样本进行标注，得到至少一个训练对象的初始标注结果，然后可以对初始标注结果中满足预设条件的目标训练对象进行重新标注，得到训练标注结果，最后基于训练样本和训练标注结果，对数据处理模型进行训练。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
实施例3
根据本申请实施例的另一方面，还提供了一种数据处理方法。图6是根据本申请实施例3的一种数据处理方法的流程图。如图6所示，该方法可以包括如下步骤：
步骤S602，响应作用于操作界面上的输入指令，在操作界面上显示待处理数据，其中，待处理数据包括至少一个待标记对象；
步骤S604，响应作用于操作界面上的数据处理指令，在操作界面上显示至少一个待标记对象的目标标注结果，其中，目标标注结果是利用数据处理模型对待处理数据进行处理得到的，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
图7是根据本申请实施例3的一种可选的操作界面的示意图，如图7所示，该操作界面包括：输入按钮、数据处理按钮以及显示区域，当需要对数据进行处理时，首先用户可以对操作界面上的输入按钮执行操作，其次响应于基于用户操作生成的输入指令，操作界面可以在显示区域显示待处理数据，其中，待处理数据包括至少一个待标记对象，然后用户可以对操作界面上的数据处理按钮执行操作，然后响应于基于用户操作生成的数据处理指令，操作界面可以在显示区域显示至少一个待标记对象的目标标注结果，其中，目标标注结果是利用数据处理模型对待处理数据进行处理得到的，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
实施例4
根据本申请实施例的另一方面，还提供了一种数据处理方法。图8是根据本申请实施例4的一种数据处理方法的流程图。如图8所示，该方法可以包括如下步骤：
步骤S802，通过调用第一接口获取待处理数据，其中，第一接口包括第一参数，第一参数的参数值为待处理数据，待处理数据包括至少一个待标记对象；
步骤S804，利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果；
步骤S806，通过调用第二接口输出目标标注结果，其中，第二接口包括第二参数，第二参数的参数值为目标标注结果。
上述的第一接口可以是从服务器获取待处理数据的接口，上述的第二接口可以是向服务器输出目标标注结果的接口。
在一种可选的实施例中，当需要对数据进行处理时，首先可以通过第一接口从服务器端获取待处理数据，其中，第一接口包括第一参数，第一参数的参数值为待处理数据，待处理数据包括至少一个待标记对象，其次可以利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果，然后可以调用第二接口输出目标标注结果，其中，第二接口包括第二参数，第二参数的参数值为目标标注结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例所述的方法。
实施例5
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，图9是根据本申请实施例5的一种数据处理装置的示意图，如图9所示，该装置包括：获取模块92和处理模块94。
其中，获取模块用于获取待处理数据，其中，待处理数据包括至少一个待标记对象；处理模块用于利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
本申请上述实施例中，处理模块包括：提取单元和标注单元。
其中，提取单元用于利用大模型对待处理数据进行特征提取，得到待处理数据的数据特征；标注单元用于利用数据处理模型基于数据特征，对待标记对象进行标注，预测得到目标标注结果。
本申请上述实施例中，数据处理模型至少包括：从多个输出层中选中的目标输出层，其中，不同输出层用于输出不同类型的标注结果。
本申请上述实施例中，该装置还包括：第一确定模块、清洗模块和第一标注模块。
其中，第一确定模块用于基于初始标注结果，确定至少一个训练对象中，满足预设条件的初始训练对象；清洗模块用于对包含初始训练对象的训练样本进行数据清洗，得到清洗样本；第一标注模块用于对清洗样本包含的目标训练对象进行重新标注，得到训练标注结果。
本申请上述实施例中，该装置还包括：第二确定模块、第二标注模块和第三标注模块。
其中，第二确定模块用于确定初始标注结果对应的评价指标；第二标注模块用于在评价指标大于或等于预设指标的情况下，对满足预设条件的目标训练对象进行重新标注，得到训练标注结果；第三标注模块用于在评价指标小于预设指标的情况下，对至少一个训练对象进行重新标注，得到训练标注结果。
本申请上述实施例中，在对至少一个训练对象进行重新标注，得到训练标注结果之后，第三标注模块包括：更新单元和调整单元。
其中，更新单元用于基于训练样本和训练标注结果，对本地模型的模型参数进行更新，得到第一参数；调整单元用于基于第一参数对部署于服务器上的主处理模型的模型参数进行调整。
本申请上述实施例中，该装置还包括：第一调整模块和第二调整模块。
其中，第一调整模块用于基于训练样本和训练标注结果，对部署于服务器上的主处理模型进行参数调整，得到第二参数，其中，主处理模型的网络结构与本地服务器相同；第二调整模块基于第二参数对数据处理模型的模型参数进行调整。
本申请上述实施例中，在利用数据处理模型对待处理数据进行处理，得到待标记对象的目标标注结果之后，该装置还包括：第三确定单元、第四标注模块和第三调整模块。
其中，第三确定单元用于确定目标标注结果对应的目标评价指标；第四标注模块用于在目标评价指标小于预设评价指标的情况下，对待标记对象进行重新标注，得到第一标注结果；第三调整模块用于基于待处理数据和第一标注结果，对数据处理模型的模型参数进行调整。
本申请上述实施例中，在利用数据处理模型对待处理数据进行处理，得到待标记对象的目标标注结果之后，该装置还包括：输出模块、接收模块和第四调整模块。
其中，输出模块用于输出待处理数据和目标标注结果；接收模块用于接收第二标注结果，其中，第二标注结果是对待标记对象进行重新标注得到的结果；第四调整模块用于基于待处理数据和第二标注结果，对数据处理模型的模型参数进行调整。
此处需要说明的是，上述获取模块92和处理模块94对应于实施例1中的步骤S202至步骤S204，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器（例如，存储器104）中并由一个或多个处理器（例如，处理器102a，102b，……，102n）处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例一提供的服务器10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例，还提供了一种用于实施上述模型训练方法的模型训练装置，图10是根据本申请实施例6的一种模型训练装置的示意图，如图10所示，该装置包括：获取模块1002、第一标注模块1004和第二标注模块1006。
其中，获取模块用于获取训练样本，其中，训练样本包括至少一个训练对象；第一标注模块用于利用数据处理模型对训练样本进行标注，得到至少一个训练对象的初始标注结果；第二标注模块用于对初始标注结果中满足预设条件的目标训练对象进行重新标注，得到训练标注结果；训练模块，用于基于训练样本和训练标注结果，对数据处理模型进行训练。
此处需要说明的是，上述获取模块1002、第一标注模块1004和第二标注模块1006对应于实施例2中的步骤S502至步骤S506，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器（例如，存储器104）中并由一个或多个处理器（例如，处理器102a，102b，……，102n）处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例一提供的服务器10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例7
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，图11是根据本申请实施例7的一种数据处理装置的示意图，如图11所示，该装置包括：第一显示模块1102和第二显示模块1104。
其中，第一显示模块用于响应作用于操作界面上的输入指令，在操作界面上显示待处理数据，其中，待处理数据包括至少一个待标记对象；第二显示模块用于响应作用于操作界面上的数据处理指令，在操作界面上显示至少一个待标记对象的目标标注结果，其中，目标标注结果是利用数据处理模型对待处理数据进行处理得到的，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
此处需要说明的是，上述第一显示模块1102和第二显示模块1104对应于实施例3中的步骤S602至步骤S604，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器（例如，存储器104）中并由一个或多个处理器（例如，处理器102a，102b，……，102n）处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例一提供的服务器10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例8
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，图12是根据本申请实施例8的一种数据处理装置的示意图，如图12所示，该装置包括：获取模块1202、处理模块1204和输出模块1206。
其中，获取模块，用于通过调用第一接口获取待处理数据，其中，第一接口包括第一参数，第一参数的参数值为待处理数据，待处理数据包括至少一个待标记对象；处理模块，用于利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果；输出模块，用于通过调用第二接口输出目标标注结果，其中，第二接口包括第二参数，第二参数的参数值为目标标注结果。
此处需要说明的是，上述获取模块1202、处理模块1204和输出模块1206对应于实施例4中的步骤S802至步骤S806，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块或单元可以是存储在存储器（例如，存储器104）中并由一个或多个处理器（例如，处理器102a，102b，……，102n）处理的硬件组件或软件组件，上述模块也可以作为装置的一部分可以运行在实施例一提供的服务器10中。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例9
本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：获取待处理数据，其中，待处理数据包括至少一个待标记对象；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
可选地，图13是根据本申请实施例的一种计算机终端的结构框图。如图13所示，该计算机终端A可以包括：一个或多个（图中仅示出一个）处理器1302、存储器1304、存储控制器、以及外设接口，其中，外设接口与射频模块、音频模块和显示器连接。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待处理数据，其中，待处理数据包括至少一个待标记对象；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
可选的，上述处理器还可以执行如下步骤的程序代码：利用大模型对待处理数据进行特征提取，得到待处理数据的数据特征；利用数据处理模型基于数据特征，对待标记对象进行标注，预测得到目标标注结果。
可选的，上述处理器还可以执行如下步骤的程序代码：从多个输出层中选中的目标输出层，其中，不同输出层用于输出不同类型的标注结果。
可选的，上述处理器还可以执行如下步骤的程序代码：基于初始标注结果，确定至少一个训练对象中，满足预设条件的初始训练对象；对包含初始训练对象的训练样本进行数据清洗，得到清洗样本；对清洗样本包含的目标训练对象进行重新标注，得到训练标注结果。
可选的，上述处理器还可以执行如下步骤的程序代码：确定初始标注结果对应的评价指标；在评价指标大于或等于预设指标的情况下，对满足预设条件的目标训练对象进行重新标注，得到训练标注结果；在评价指标小于预设指标的情况下，对至少一个训练对象进行重新标注，得到训练标注结果。
可选的，上述处理器还可以执行如下步骤的程序代码：基于训练样本和训练标注结果，对本地模型的模型参数进行更新，得到第一参数；基于第一参数对部署于服务器上的主处理模型的模型参数进行调整。
可选的，上述处理器还可以执行如下步骤的程序代码：基于训练样本和训练标注结果，对部署于服务器上的主处理模型进行参数调整，得到第二参数，其中，主处理模型的网络结构与本地服务器相同；基于第二参数对数据处理模型的模型参数进行调整。
可选的，上述处理器还可以执行如下步骤的程序代码：确定目标标注结果对应的目标评价指标；在目标评价指标小于预设评价指标的情况下，对待标记对象进行重新标注，得到第一标注结果；基于待处理数据和第一标注结果，对数据处理模型的模型参数进行调整。
可选的，上述处理器还可以执行如下步骤的程序代码：输出待处理数据和目标标注结果；接收第二标注结果，其中，第二标注结果是对待标记对象进行重新标注得到的结果；基于待处理数据和第二标注结果，对数据处理模型的模型参数进行调整。
采用本申请实施例，提供了一种获取待处理数据；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果的方式，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。容易注意到的是，通过将满足预设条件的目标训练对象进行重新标注，并将重新标注后的标注结果作为数据处理模型的训练标注结果，使得数据处理模型的训练数据更加准确，达到了提高数据处理模型的数据处理准确率的技术效果，进而解决了相关技术中利用小样本训练得到的大模型或生成的生产链路，对数据处理的准确率较低的技术问题。
本领域普通技术人员可以理解，图13所示的结构仅为示意，计算机终端也可以是智能手机（如、平板电脑、掌上电脑以及移动互联网设备（MobileInternetDevices，MID）、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图3中所示更多或者更少的组件（如网络接口、显示装置等），或者具有与图13所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（RandomAccess Memory，RAM）、磁盘或光盘等。
实施例10
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的数据处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取待处理数据，其中，待处理数据包括至少一个待标记对象；利用数据处理模型对待处理数据进行处理，得到至少一个待标记对象的目标标注结果，其中，数据处理模型是基于训练样本和训练标注结果进行训练得到的，训练样本包括至少一个训练对象，训练标注结果是对初始标注结果中满足预设条件的目标训练对象进行重新标注得到的结果，初始标注结果是利用数据处理模型对训练样本进行标注得到的结果。
可选地，在本实施例中，存储介质还被设置为存储用于执行以下步骤的程序代码：利用大模型对待处理数据进行特征提取，得到待处理数据的数据特征；利用数据处理模型基于数据特征，对待标记对象进行标注，预测得到目标标注结果。
可选地，在本实施例中，存储介质还被设置为存储用于执行以下步骤的程序代码：从多个输出层中选中的目标输出层，其中，不同输出层用于输出不同类型的标注结果。
可选地，在本实施例中，存储介质还被设置为存储用于执行以下步骤的程序代码：基于初始标注结果，确定至少一个训练对象中，满足预设条件的初始训练对象；对包含初始训练对象的训练样本进行数据清洗，得到清洗样本；对清洗样本包含的目标训练对象进行重新标注，得到训练标注结果。
可选地，在本实施例中，存储介质还被设置为存储用于执行以下步骤的程序代码：确定初始标注结果对应的评价指标；在评价指标大于或等于预设指标的情况下，对满足预设条件的目标训练对象进行重新标注，得到训练标注结果；在评价指标小于预设指标的情况下，对至少一个训练对象进行重新标注，得到训练标注结果。
可选地，在本实施例中，存储介质还被设置为存储用于执行以下步骤的程序代码：基于训练样本和训练标注结果，对本地模型的模型参数进行更新，得到第一参数；基于第一参数对部署于服务器上的主处理模型的模型参数进行调整。
可选地，在本实施例中，存储介质还被设置为存储用于执行以下步骤的程序代码：基于训练样本和训练标注结果，对部署于服务器上的主处理模型进行参数调整，得到第二参数，其中，主处理模型的网络结构与本地服务器相同；基于第二参数对数据处理模型的模型参数进行调整。
可选地，在本实施例中，存储介质还被设置为存储用于执行以下步骤的程序代码：确定目标标注结果对应的目标评价指标；在目标评价指标小于预设评价指标的情况下，对待标记对象进行重新标注，得到第一标注结果；基于待处理数据和第一标注结果，对数据处理模型的模型参数进行调整。
可选地，在本实施例中，存储介质还被设置为存储用于执行以下步骤的程序代码：输出待处理数据和目标标注结果；接收第二标注结果，其中，第二标注结果是对待标记对象进行重新标注得到的结果；基于待处理数据和第二标注结果，对数据处理模型的模型参数进行调整。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (14)
1.一种数据处理方法，其特征在于，包括：
获取待处理数据，其中，所述待处理数据包括至少一个待标记对象；
利用数据处理模型对所述待处理数据进行处理，得到所述至少一个待标记对象的目标标注结果，其中，所述数据处理模型是基于训练样本和训练标注结果进行训练得到的，所述训练样本包括至少一个训练对象，所述训练标注结果是对初始标注结果中满足预设条件的目标训练对象重新进行人工标注得到的结果，所述初始标注结果是利用所述数据处理模型对所述训练样本进行标注得到的结果，所述预设条件为所述初始标注结果有误的条件。
2.根据权利要求1所述的方法，其特征在于，利用数据处理模型对所述待处理数据进行处理，得到所述待标记对象的目标标注结果，包括：
利用大模型对所述待处理数据进行特征提取，得到所述待处理数据的数据特征；
利用所述数据处理模型基于所述数据特征，对所述待标记对象进行标注，预测得到所述目标标注结果。
3.根据权利要求2所述的方法，其特征在于，所述数据处理模型至少包括：从多个输出层中选中的目标输出层，其中，不同输出层用于输出不同类型的标注结果。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述初始标注结果，确定所述至少一个训练对象中，满足所述预设条件的初始训练对象；
对包含所述初始训练对象的训练样本进行数据清洗，得到清洗样本；
对所述清洗样本包含的所述目标训练对象进行重新标注，得到所述训练标注结果。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述初始标注结果对应的评价指标；
在所述评价指标大于或等于预设指标的情况下，对所述满足预设条件的目标训练对象进行重新标注，得到所述训练标注结果；
在所述评价指标小于所述预设指标的情况下，对所述至少一个训练对象进行重新标注，得到所述训练标注结果。
6.根据权利要求5所述的方法，其特征在于，在对所述至少一个训练对象进行重新标注，得到所述训练标注结果之后，所述方法还包括：
基于所述训练样本和所述训练标注结果，对本地模型的模型参数进行更新，得到第一参数；
基于所述第一参数对部署于服务器上的主处理模型的模型参数进行调整。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述训练样本和所述训练标注结果，对部署于服务器上的主处理模型进行参数调整，得到第二参数，其中，所述主处理模型的网络结构与本地服务器相同；
基于所述第二参数对所述数据处理模型的模型参数进行调整。
8.根据权利要求1所述的方法，其特征在于，在利用数据处理模型对所述待处理数据进行处理，得到所述待标记对象的目标标注结果之后，所述方法还包括：
确定所述目标标注结果对应的目标评价指标；
在所述目标评价指标小于预设评价指标的情况下，对所述待标记对象进行重新标注，得到第一标注结果；
基于所述待处理数据和所述第一标注结果，对所述数据处理模型的模型参数进行调整。
9.根据权利要求1所述的方法，其特征在于，在利用数据处理模型对所述待处理数据进行处理，得到所述待标记对象的目标标注结果之后，所述方法还包括：
输出所述待处理数据和所述目标标注结果；
接收第二标注结果，其中，所述第二标注结果是对所述待标记对象进行重新标注得到的结果；
基于所述待处理数据和所述第二标注结果，对所述数据处理模型的模型参数进行调整。
10.一种模型训练方法，其特征在于，包括：
获取训练样本，其中，所述训练样本包括至少一个训练对象；
利用数据处理模型对所述训练样本进行标注，得到所述至少一个训练对象的初始标注结果；
对所述初始标注结果中满足预设条件的目标训练对象重新进行人工标注，得到训练标注结果，其中，所述预设条件为所述初始标注结果有误的条件；
基于所述训练样本和所述训练标注结果，对所述数据处理模型进行训练。
11.一种数据处理方法，其特征在于，包括：
响应作用于操作界面上的输入指令，在所述操作界面上显示待处理数据，其中，所述待处理数据包括至少一个待标记对象；
响应作用于所述操作界面上的数据处理指令，在所述操作界面上显示所述至少一个待标记对象的目标标注结果，其中，所述目标标注结果是利用数据处理模型对所述待处理数据进行处理得到的，所述数据处理模型是基于训练样本和训练标注结果进行训练得到的，所述训练样本包括至少一个训练对象，所述训练标注结果是对初始标注结果中满足预设条件的目标训练对象重新进行人工标注得到的结果，所述初始标注结果是利用所述数据处理模型对所述训练样本进行标注得到的结果，所述预设条件为所述初始标注结果有误的条件。
12.一种数据处理方法，其特征在于，包括：
通过调用第一接口获取待处理数据，其中，所述第一接口包括第一参数，所述第一参数的参数值为所述待处理数据，所述待处理数据包括至少一个待标记对象；
利用数据处理模型对所述待处理数据进行处理，得到所述至少一个待标记对象的目标标注结果，其中，所述数据处理模型是基于训练样本和训练标注结果进行训练得到的，所述训练样本包括至少一个训练对象，所述训练标注结果是对初始标注结果中满足预设条件的目标训练对象重新进行人工标注得到的结果，所述初始标注结果是利用所述数据处理模型对所述训练样本进行标注得到的结果，所述预设条件为所述初始标注结果有误的条件；
通过调用第二接口输出所述目标标注结果，其中，所述第二接口包括第二参数，所述第二参数的参数值为所述目标标注结果。
13.一种电子设备，其特征在于，包括：
存储器，存储有可执行程序；
处理器，用于运行所述程序，其中，所述程序运行时执行权利要求1至12中任意一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的可执行程序，其中，在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311044243.0A CN116756576B (zh) | 2023-08-17 | 2023-08-17 | 数据处理方法、模型训练方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311044243.0A CN116756576B (zh) | 2023-08-17 | 2023-08-17 | 数据处理方法、模型训练方法、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116756576A true CN116756576A (zh) | 2023-09-15 |
| CN116756576B CN116756576B (zh) | 2023-12-12 |
Family
ID=87957650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311044243.0A Active CN116756576B (zh) | 2023-08-17 | 2023-08-17 | 数据处理方法、模型训练方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116756576B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756576B (zh) * | 2023-08-17 | 2023-12-12 | 阿里巴巴（中国）有限公司 | 数据处理方法、模型训练方法、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347769A (zh) * | 2020-10-30 | 2021-02-09 | 北京百度网讯科技有限公司 | 实体识别模型的生成方法、装置、电子设备及存储介质 |
| CN112686301A (zh) * | 2020-12-29 | 2021-04-20 | 平安普惠企业管理有限公司 | 基于交叉验证的数据标注方法及相关设备 |
| CN114092769A (zh) * | 2022-01-20 | 2022-02-25 | 国网江西省电力有限公司电力科学研究院 | 基于联邦学习的变电站多场景巡检分析方法 |
| CN114445678A (zh) * | 2022-01-27 | 2022-05-06 | 上海商汤智能科技有限公司 | 图像处理模型的训练方法及相关装置、设备和存储介质 |
| CN114548192A (zh) * | 2020-11-23 | 2022-05-27 | 千寻位置网络有限公司 | 样本数据处理方法、装置、电子设备及介质 |
| CN115081014A (zh) * | 2022-05-31 | 2022-09-20 | 西安翔迅科技有限责任公司 | 一种基于联邦学习的目标检测标签自动标注方法 |
| CN115294505A (zh) * | 2022-10-09 | 2022-11-04 | 平安银行股份有限公司 | 风险物体检测及其模型的训练方法、装置及电子设备 |
| WO2023279963A1 (zh) * | 2021-07-05 | 2023-01-12 | 上海商汤智能科技有限公司 | 一种神经网络训练方法、装置、计算机设备、存储介质及程序 |
| US20230142217A1 (en) * | 2021-08-26 | 2023-05-11 | Beijing Baidu Netcom Science Technology Co., Ltd. | Model Training Method, Electronic Device, And Storage Medium |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756576B (zh) * | 2023-08-17 | 2023-12-12 | 阿里巴巴（中国）有限公司 | 数据处理方法、模型训练方法、电子设备及存储介质 |
-
2023
- 2023-08-17 CN CN202311044243.0A patent/CN116756576B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347769A (zh) * | 2020-10-30 | 2021-02-09 | 北京百度网讯科技有限公司 | 实体识别模型的生成方法、装置、电子设备及存储介质 |
| CN114548192A (zh) * | 2020-11-23 | 2022-05-27 | 千寻位置网络有限公司 | 样本数据处理方法、装置、电子设备及介质 |
| CN112686301A (zh) * | 2020-12-29 | 2021-04-20 | 平安普惠企业管理有限公司 | 基于交叉验证的数据标注方法及相关设备 |
| WO2023279963A1 (zh) * | 2021-07-05 | 2023-01-12 | 上海商汤智能科技有限公司 | 一种神经网络训练方法、装置、计算机设备、存储介质及程序 |
| US20230142217A1 (en) * | 2021-08-26 | 2023-05-11 | Beijing Baidu Netcom Science Technology Co., Ltd. | Model Training Method, Electronic Device, And Storage Medium |
| CN114092769A (zh) * | 2022-01-20 | 2022-02-25 | 国网江西省电力有限公司电力科学研究院 | 基于联邦学习的变电站多场景巡检分析方法 |
| CN114445678A (zh) * | 2022-01-27 | 2022-05-06 | 上海商汤智能科技有限公司 | 图像处理模型的训练方法及相关装置、设备和存储介质 |
| CN115081014A (zh) * | 2022-05-31 | 2022-09-20 | 西安翔迅科技有限责任公司 | 一种基于联邦学习的目标检测标签自动标注方法 |
| CN115294505A (zh) * | 2022-10-09 | 2022-11-04 | 平安银行股份有限公司 | 风险物体检测及其模型的训练方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| XUEJIAN LIANG等: "Dimensionality-Varied Convolutional Neural Network for Hyperspectral Image Classification With Small-Sized Labeled Samples", 《2018 9TH WORKSHOP ON HYPERSPECTRAL IMAGE AND SIGNAL PROCESSING: EVOLUTION IN REMOTE SENSING (WHISPERS)》 * |
| 蔡柳等: "基于不确定抽样的半监督城市土地功能分类方法", 《吉林大学学报(信息科学版)》, no. 04 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756576B (zh) * | 2023-08-17 | 2023-12-12 | 阿里巴巴（中国）有限公司 | 数据处理方法、模型训练方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116756576B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102288249B1 (ko) | 정보 처리 방법, 단말기, 및 컴퓨터 저장 매체 | |
| CN111444428A (zh) | 基于人工智能的信息推荐方法、装置、电子设备及存储介质 | |
| CN110232109A (zh) | 一种网络舆情分析方法以及系统 | |
| CN113010702A (zh) | 多媒体信息的互动处理方法、装置、电子设备及存储介质 | |
| CN116756576B (zh) | 数据处理方法、模型训练方法、电子设备及存储介质 | |
| WO2023287910A1 (en) | Intelligent task completion detection at a computing device | |
| CN112925888A (zh) | 一种问答响应及小样本文本匹配模型的训练方法和装置 | |
| CN106407381A (zh) | 一种基于人工智能的推送信息的方法和装置 | |
| CN114492601A (zh) | 资源分类模型的训练方法、装置、电子设备及存储介质 | |
| CN116050405A (zh) | 文本处理、问答文本处理及文本处理模型训练方法 | |
| WO2024169529A1 (zh) | 知识库的构建方法、数据检索方法、装置和云设备 | |
| CN117435999A (zh) | 一种风险评估方法、装置、设备以及介质 | |
| CN110362828B (zh) | 网络资讯风险识别方法及系统 | |
| CN116956183A (zh) | 多媒体资源推荐方法、模型训练方法、装置及存储介质 | |
| CN116303951A (zh) | 对话处理方法、装置、电子设备和存储介质 | |
| CN116958729A (zh) | 对象分类模型的训练、对象分类方法、装置及存储介质 | |
| CN113010664B (zh) | 一种数据处理方法、装置及计算机设备 | |
| CN112948251B (zh) | 软件自动测试方法及装置 | |
| CN114969544A (zh) | 基于热点数据的推荐内容生成方法、装置、设备及介质 | |
| CN114328995A (zh) | 内容推荐方法、装置、设备及存储介质 | |
| CN116798059A (zh) | 票据类型识别方法、装置、设备及存储介质 | |
| CN111311197A (zh) | 差旅数据处理方法及装置 | |
| CN113792163B (zh) | 多媒体推荐方法、装置、电子设备及存储介质 | |
| CN112966173B (zh) | 一种用于信息评论的分类操作方法及装置 | |
| CN117972222B (zh) | 基于人工智能的企业信息检索方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |