CN111027707A - 模型的优化方法、装置及电子设备 - Google Patents
模型的优化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111027707A CN111027707A CN201911157999.XA CN201911157999A CN111027707A CN 111027707 A CN111027707 A CN 111027707A CN 201911157999 A CN201911157999 A CN 201911157999A CN 111027707 A CN111027707 A CN 111027707A
- Authority
- CN
- China
- Prior art keywords
- model
- optimized
- image
- misjudged
- prediction result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000005457 optimization Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 85
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013473 artificial intelligence Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及模型的优化方法、装置及电子设备。该方法包括：获取待优化模型的错例集，其中，待优化模型为使用训练集通过机器学习对初始模型进行训练得到，训练集包括至少一张样本图像和与每张样本图像对应的人工标签，错例集包括至少一个错判图像和与每张错判图像对应的错判标签，错判标签为待优化模型对错判图像的预测结果；使用训练集和错例集通过机器学习对待优化模型进行训练，以调整待优化模型的初始参数，得到优化模型。
Description
技术领域
本发明涉及人工智能技术领域，更具体地，涉及一种模型的优化方法、一种图像识别方法、一种模型的优化装置、一种图像识别装置以及一种电子设备。
背景技术
随着云计算、大数据以及人工智能技术的发展，越来越多的云公司开始对外提供人工智能服务，如图片分类等。这些服务背后大都是基于深度学习模型的，这些深度模型一般是云公司内部按照一定的标注规则人工标注大量的数据，然后在该数据上进行训练得到的。在实际场景中，云公司内部的标注规则与所有客户的需求不一定都完全吻合，这导致一些客户在使用服务的过程中时常会反馈错例给云公司。这些错例指的是该客户认为模型判错的样本，它们可能确实是模型的误判，也可能是由于云公司内部的标注规则与该客户需求不一致所造成的。
很多情况下客户的需求是无法准确获得的，因此，如何在客户需求不明确的情况下，高效地利用客户反馈的错例数据对云公司提供的深度学习模型进行调优，进而在一定程度上满足客户的需求是一项非常重要且迫切的任务。
发明内容
本发明的一个目的是提供一种模型优化的新技术方案。
根据本发明的第一方面，提供了一种模型的优化方法，包括：
获取待优化模型的错例集，其中，所述待优化模型为使用训练集通过机器学习对初始模型进行训练得到，所述训练集包括至少一张样本图像和与每张样本图像对应的人工标签，所述错例集包括至少一个错判图像和与每张错判图像对应的错判标签，所述错判标签为所述待优化模型对所述错判图像的预测结果；
使用所述训练集和错例集通过机器学习对所述待优化模型进行训练，以调整所述待优化模型的初始参数，得到优化模型。
可选地，所述使用所述训练集和错例集通过机器学习对所述待优化模型进行训练，以调整所述待优化模型的初始参数，得到优化模型，包括：
基于所述待优化模型对所述样本图像进行预测，得到与每张样本图像对应的第一预测结果；
基于所述待优化模型对所述错判图像进行预测，得到与每张错判图像对应的第二预测结果；
将所述第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失；
基于所述共同损失对所述待优化模型的初始参数的进行更新，得到优化模型。
可选地，所述基于所述待优化模型对所述样本图像进行预测，得到与每张样本图像对应的第一预测结果包括：
从所述训练集中选取一张样本图像，将选取的样本图像输入所述待优化模型，得到第一输出结果；
将所述第一输出结果输入归一化函数，得到第一概率分布向量。
可选地，所述基于所述待优化模型对所述错判图像进行预测，得到与每张错判图像对应的第二预测结果，包括：
从所述错例集中选取一张错判图像，将选取的错判图像输入所述待优化模型，得到第二输出结果；
将所述第二输出结果输入归一化函数，得到第二概率分布向量。
可选地，所述第一预测结果包括多个元素，每个元素对应一种类别的人工标签，每个元素用于表示所述待优化模型将所述样本图像预测为与其对应类别的人工标签的概率；
所述第二预测结果包括多个元素，每个元素对应一种类别的错判标签，每个元素用于表示所述待优化模型将所述错例图像预测为与其对应类别的错判标签的概率；
所述将所述第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失，包括：
将所述第一预测结果中每个元素和第二预测结果中每个元素代入预设的损失函数进行计算，得到样本图像和错判图像的共同损失。
可选地，将所述第一预测结果中每个元素和第二预测结果中每个元素代入式(1)进行计算，得到样本图像和错判图像的共同损失Ltotal，
其中，
代表错判图像
对应的错判标签，y代表样本图像X对应的人工标签，
代表
对应的第一概率分布向量p中元素，py代表y对应的第二概率分布向量p中元素。
可选地，所述基于所述共同损失对所述待优化模型的初始参数的进行更新，得到优化模型，包括：
基于所述共同损失和预设的反向传播算法计算所述待优化模型中初始参数的导数；
基于所述初始参数的导数和梯度下降算法对所述待优化模型中的初始参数的进行更新；
基于多张样本图像和错判图像的共同损失对所述待优化模型中的参数进行多次更新，直到收敛，得到优化模型。
根据本发明的第二方面，提供了一种图像识别方法，包括：
获取待识别图像；
基于本发明第一方面所述的方法得到的优化模型对所述待识别图像进行识别，得到相应的识别标签；
反馈所述待识别图像的识别标签。
根据本发明的第三方面，提供了一种模型的优化装置，包括：
错例集获取模块，用于获取待优化模型的错例集，其中，所述待优化模型为使用训练集通过机器学习对初始模型进行训练得到，所述训练集包括至少一张样本图像和与每张样本图像对应的人工标签，所述错例集包括至少一个错判图像和与每张错判图像对应的错判标签，所述错判标签为所述待优化模型对所述错判图像的预测结果；
模型训练模块，用于使用所述训练集和错例集通过机器学习对所述待优化模型进行训练，以调整所述待优化模型的初始参数，得到优化模型。
可选地，所述模型训练模块在使用所述训练集和错例集通过机器学习对所述待优化模型进行训练，以调整所述待优化模型的初始参数，得到优化模型时，用于：
基于所述待优化模型对所述样本图像进行预测，得到与每张样本图像对应的第一预测结果；
基于所述待优化模型对所述错判图像进行预测，得到与每张错判图像对应的第二预测结果；
将所述第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失；
基于所述共同损失对所述待优化模型的初始参数的进行更新，得到优化模型。
可选地，所述模型训练模块在基于所述待优化模型对所述样本图像进行预测，得到与每张样本图像对应的第一预测结果时，用于：
从所述训练集中选取一张样本图像，将选取的样本图像输入所述待优化模型，得到第一输出结果；
将所述第一输出结果输入归一化函数，得到第一概率分布向量。
可选地，所述模型训练模块在基于所述待优化模型对所述错判图像进行预测，得到与每张错判图像对应的第二预测结果时，用于：
从所述错例集中选取一张错判图像，将选取的错判图像输入所述待优化模型，得到第二输出结果；
将所述第二输出结果输入归一化函数，得到第二概率分布向量。
可选地，所述第一预测结果包括多个元素，每个元素对应一种类别的人工标签，每个元素用于表示所述待优化模型将所述样本图像预测为与其对应类别的人工标签的概率；
所述第二预测结果包括多个元素，每个元素对应一种类别的错判标签，每个元素用于表示所述待优化模型将所述错例图像预测为与其对应类别的错判标签的概率；
所述模型训练模块在将所述第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失时，用于：
将所述第一预测结果中每个元素和第二预测结果中每个元素代入预设的损失函数进行计算，得到样本图像和错判图像的共同损失。
可选地，将所述第一预测结果中每个元素和第二预测结果中每个元素代入式(1)进行计算，得到样本图像和错判图像的共同损失Ltotal，
其中，
代表错判图像
对应的错判标签，y代表样本图像X对应的人工标签，
代表
对应的第一概率分布向量p中元素，py代表y对应的第二概率分布向量p中元素。
可选地，所述模型训练模块在基于所述共同损失对所述待优化模型的初始参数的进行更新，得到优化模型时，用于：
基于所述共同损失和预设的反向传播算法计算所述待优化模型中初始参数的导数；
基于所述初始参数的导数和梯度下降算法对所述待优化模型中的初始参数的进行更新；
基于多张样本图像和错判图像的共同损失对所述待优化模型中的参数进行多次更新，直到收敛，得到优化模型。
根据本发明的第四方面，提供了一种图像识别装置，包括：
图像获取模块，用于获取待识别图像；
图像识别模块，用于基于本发明第一方面所述的方法得到的优化模型对所述待识别图像进行识别，得到相应的识别标签；
反馈模块，用于反馈所述待识别图像的识别标签。
根据本发明的第五方面，提供了一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现本发明第一方面或者第二方面所述的方法。
本实施例中的模型优化方法，不需要人工对海量错例样本进行重新标注，能够自动对模型进行优化，大大降低了人力成本。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是可用于实现本发明实施例的模型优化系统的示意图。
图2是可用于实现本发明实施例的电子设备的结构示意图。
图3是根据本发明实施例的模型优化方法的流程图。
图4是根据本发明实施例的一个具体例子的流程图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1示出了可用于实现本发明的实施例的人工智能模型的错例分析系统的硬件配置。
如图1所示，本实施例中的人工智能模型的模型优化系统1000包括用户设备1100、人工智能服务器1200和终端设备1300。
人工智能服务器1200是用于提供人工智能云服务的服务器。其中，云服务是基于互联网的相关服务的增加、使用和交互模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。在一个例子中，人工智能服务器1200对外提供图片分类的人工智能云服务。
人工智能服务器1200可以是刀片服务器、机架式服务器等，也可以是部署在云端的服务器集群。
用户设备1100是人工智能云服务用户的电子设备，用于向人工智能服务器1200发送需要处理的目标对象以及反馈错例等。用户设备1100可以是终端设备，也可以是服务器。
终端设备1300是人工智能云服务开发人员的终端设备。开发人员通过终端设备1300进行训练样本的收集、标注等。终端设备1300例如是智能手机、台式计算机、笔记本电脑、平板电脑等等。
人工智能服务器1200分别与用户设备1100和终端设备1300通信连接。这里的通信连接可以是有线连接也可以是无线连接。
模型优化系统1000涉及的电子设备例如具有如图2所示的结构。参见图2，电子设备2000包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500和输入装置2600。处理器2100例如可以是中央处理器CPU、微控制单元MCU等。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、串行接口等。通信装置2400例如是有线网卡或无线网卡。显示装置2500例如是液晶显示屏。输入装置2600例如包括触摸屏、键盘、鼠标、麦克风等。
本领域技术人员应当理解，尽管在图2中示出了电子设备2000的多个装置，但是，故障处理系统1000中的电子设备可以仅涉及其中的部分装置，例如，只涉及处理器2100、存储器2200和通信装置2400。
图1和图2所示的硬件配置仅是解释性的，并且决不是为了要限制本发明、其应用或用途。
<方法实施例>
本实施例提供了一种模型的优化方法，应用于图1中的人工智能服务器1200。如图3所示，该方法包括以下步骤S1100-S1200。
在步骤S1100中，获取待优化模型的错例集，其中，待优化模型为使用训练集通过机器学习对初始模型进行训练得到，训练集包括至少一张样本图像和与每张样本图像对应的人工标签，错例集包括至少一个错判图像和与每张错判图像对应的错判标签，错判标签为待优化模型对错判图像的预测结果。
在一个实施例中，待优化模型通过以下方式获取：获取用于生成待优化模型的训练样本，形成训练集；根据设定的网络结构建立初始模型；其中，网络结构中的最后一个全连接层输出K维向量，K代表训练集对应的人工标签的数量；利用训练集训练初始模型，获得相应的模型即待优化模型。
本实施例中，开发人员根据业务需求，按照特定规则来收集样本图像并进行人工标注，形成训练集。在一个例子中，训练集D包括N个样本
其中，Xi代表第i个样本图像，yi代表Xi的类别标签并且yi∈{Lable0,Lable1……LableK-1}，也就是说，训练集D中包含了K个不同类别的样本。
本实施例中，初始模型为神经网络模型，包括特征提取层、池化层和输出层。特征提取层用于对输入的图像进行特征提取得到图像特征，具体地，特征提取层包括卷积层、批归一化层和激活函数；池化层用于对输入的图像特征进行全局平均池化操作，得到全局特征；输出层用于对输入的全局特征进行分析，得到预测结果，具体地，输出层为一个全连接层，全连接层的输入为池化层得到的全局特征，输出K维向量z，K代表训练样本集对应的标签数量。
在一个例子中，神经网络模型的输入图像的分辨率为224×224。
在一个实施例中，利用训练集训练初始模型，获得待优化模型的过程包括以下步骤。
首先，将训练集中的训练样本X输入初始模型，获得最后一个全连接层输出的向量z。容易理解，向量z是K维向量。
其次，将向量z输入softmax函数，获得相应的概率向量p，其中，p的元素为
pj代表p的第j个元素，zj代表Z的第j个元素，j为整数且1≤j≤K。p中的元素和训练集的标签类别一一对应。例如，pj代表第j个标签对应的概率。
之后，建立损失函数Ltotal＝-log(py)，其中，y代表样本图像X对应的人工标签，py代表y对应的p中元素。容易理解，py的大小反映了标签y对应的概率大小。
最后，按照
持续调整初始模型的参数，直至结果收敛：其中，W代表每次调整前的初始模型的参数，W'代表每次调整后的初始模型的参数，
代表Ltotal对W的导数，α代表学习率。
将初始模型的参数调整为收敛后的参数W，即获得了训练好的待优化模型。
本实施例中，用户设备向人工智能服务器发送目标对象(例如目标图片)，人工智能服务器将目标对象输入人工智能模型，获得相应的预测结果(例如目标图片的预测标签)并发送至用户设备。
本实施例中，用户可以在预测结果不符合预期的情况下，通过用户设备向人工智能服务器报错。人工智能服务器将用户报错的错判图像以及相应的错判标签存储到错例集中。在一个例子中，错例集D’包括N’个样本
其中，
代表第i个错判图像，
代表
的错判标签并且
在步骤S1200中，使用训练集和错例集通过机器学习对待优化模型进行训练，以调整待优化模型的初始参数，得到优化模型。
在一个实施例中，步骤S1200进一步包括：基于待优化模型对样本图像进行预测，得到与每张样本图像对应的第一预测结果；基于待优化模型对错判图像进行预测，得到与每张错判图像对应的第二预测结果；将第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失；基于共同损失对待优化模型的初始参数的进行更新，得到优化模型。
在一个实施例中，基于待优化模型对样本图像进行预测，得到与每张样本图像对应的第一预测结果包括：从训练集中选取一张样本图像，将选取的样本图像输入待优化模型，得到第一输出结果；将第一输出结果输入归一化函数，得到第一概率分布向量。
本实施例中，归一化函数例如是softmax函数。softmax函数能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数可用于多分类问题中。
作为一个例子，将训练集中的训练样本X输入待优化模型，获得最后一个全连接层输出的向量z，即为第一输出结果。容易理解，向量z是K维向量。将向量z输入softmax函数，获得相应的概率向量p，即第一概率分布向量。其中，p的元素为
pj代表p的第j个元素，zj代表z的第j个元素，j为整数且1≤j≤K。p中的元素和待优化模型输出的标签类别一一对应。例如，p代表第j个标签对应的概率。
在一个实施例中，基于待优化模型对错判图像进行预测，得到与每张错判图像对应的第二预测结果，包括：从错例集中选取一张错判图像，将选取的错判图像输入待优化模型，得到第二输出结果；将第二输出结果输入归一化函数，得到第二概率分布向量。
作为一个例子，将错例集中的错判图像
输入待优化模型，获得最后一个全连接层输出的向量
即第二预测结果。容易理解，向量
是K维向量。将向量
输入softmax函数，获得相应的概率向量
即第一概率分布向量。其中，
的元素为
代表
的第j个元素，
代表
的第j个元素，j为整数且1≤j≤K。
中的元素和待优化模型的标签类别一一对应。例如，
代表第j个标签对应的概率。
在一个实施例中，第一预测结果包括多个元素，每个元素对应一种类别的人工标签，每个元素用于表示待优化模型将样本图像预测为与其对应类别的人工标签的概率；第二预测结果包括多个元素，每个元素对应一种类别的错判标签，每个元素用于表示待优化模型将错例图像预测为与其对应类别的错判标签的概率；将第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失，包括：将第一预测结果中每个元素和第二预测结果中每个元素代入预设的损失函数进行计算，得到样本图像和错判图像的共同损失。
在一个实施例中，将第一预测结果中每个元素和第二预测结果中每个元素代入式(1)进行计算，得到样本图像和错判图像的共同损失Ltotal，
其中，
代表错判图像
对应的错判标签，y代表样本图像X对应的人工标签，
代表
对应的第一概率分布向量p中元素，py代表y对应的第二概率分布向量p中元素。
容易理解，
的大小反映了标签
对应的概率大小，py的大小反映了标签y对应的概率大小。
在一个实施例中，基于共同损失对待优化模型的初始参数的进行更新，得到优化模型，包括：基于共同损失和预设的反向传播算法计算待优化模型中初始参数的导数；基于初始参数的导数和梯度下降算法对待优化模型中的初始参数的进行更新；基于多张样本图像和错判图像的共同损失对待优化模型中的参数进行多次更新，直到收敛，得到优化模型。
作为一个例子，按照
持续调整待优化模型的参数，直至结果收敛：其中，W代表每次调整前的待优化模型的参数，W'代表每次调整后的待优化模型的参数，
代表Ltotal对W的导数，α代表学习率。
本实施例中，将待优化模型的参数调整为收敛后的参数W，即获得了相应的优化模型。容易理解，优化模型在保留了待优化模型的主要性能的同时，降低了将错判图像
预测为相应的错判标签
的概率，能够获得更高的预测准确率。
本实施例中的模型优化方法，不需要人工对海量错例样本进行重新标注，能够自动对模型进行优化，大大降低了人力成本。
本实施例还提供一种模型的优化方法，应用于图1中的人工智能服务器1200。该方法包括以下步骤S2100-S2300。
在步骤S2100中，获取待识别图像。
本实施例中，待识别图像由用户通过终端设备发送至人工智能服务器。
在步骤S2200中，基于本发明实施例描述的模型的优化方法得到的优化模型对待识别图像进行识别，得到相应的识别标签。
本实施例中，人工智能服务器基于优化模型提供图像识别服务，有利于获得更高的识别正确率。
在步骤S2300中，反馈待识别图像的识别标签。
本实施例中，人工智能服务器将识别标签发送至用户的终端设备。进一步地，用户可以继续对错例上报至人工智能服务器，使得服务器获取到新的错例，从而迭代进行模型优化。
图4是根据本发明实施例的一个具体例子的流程图。参见图4，首先，终端设备将开发人员收集的训练集发送至人工智能服务器，即执行步骤S101。人工智能服务器根据训练样本集对初始模型进行训练，获得待优化模型，即执行步骤S102。之后，人工智能服务器根据待优化模型对外提供人工智能服务。用户设备将需要处理的目标对象发送至人工智能服务器，即执行步骤S103。人工智能服务器将目标对象输入待优化模型，获得相应的预测标签，即执行步骤S104。之后，人工智能服务器将预测标签发送至用户设备。在预测标签不符合用户要求的情况下，用户可以将错例反馈给人工智能服务器，即执行步骤S106。人工智能服务器根据用户反馈的错例样本生成错例集，即执行步骤S107。之后，人工智能服务器根据错例集和训练集对待优化模型进行自动优化，即执行步骤S108。之后，人工智能服务器根据优化模型对外提供人工智能服务，即执行步骤S109-S111。
<装置实施例>
本实施例提供一种模型的优化装置，包括错例集获取模块和模型训练模块。
错例集获取模块，用于获取待优化模型的错例集，其中，待优化模型为使用训练集通过机器学习对初始模型进行训练得到，训练集包括至少一张样本图像和与每张样本图像对应的人工标签，错例集包括至少一个错判图像和与每张错判图像对应的错判标签，错判标签为待优化模型对错判图像的预测结果。
模型训练模块，用于使用训练集和错例集通过机器学习对待优化模型进行训练，以调整待优化模型的初始参数，得到优化模型。
在一个实施例中，模型训练模块在使用训练集和错例集通过机器学习对待优化模型进行训练，以调整待优化模型的初始参数，得到优化模型时，用于：基于待优化模型对样本图像进行预测，得到与每张样本图像对应的第一预测结果；基于待优化模型对错判图像进行预测，得到与每张错判图像对应的第二预测结果；将第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失；基于共同损失对待优化模型的初始参数的进行更新，得到优化模型。
在一个实施例中，模型训练模块在基于待优化模型对样本图像进行预测，得到与每张样本图像对应的第一预测结果时，用于：从训练集中选取一张样本图像，将选取的样本图像输入待优化模型，得到第一输出结果；将第一输出结果输入归一化函数，得到第一概率分布向量。
在一个实施例中，模型训练模块在基于待优化模型对错判图像进行预测，得到与每张错判图像对应的第二预测结果时，用于：从错例集中选取一张错判图像，将选取的错判图像输入待优化模型，得到第二输出结果；将第二输出结果输入归一化函数，得到第二概率分布向量。
在一个实施例中，第一预测结果包括多个元素，每个元素对应一种类别的人工标签，每个元素用于表示待优化模型将样本图像预测为与其对应类别的人工标签的概率；第二预测结果包括多个元素，每个元素对应一种类别的错判标签，每个元素用于表示待优化模型将错例图像预测为与其对应类别的错判标签的概率；模型训练模块在将第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失时，用于：将第一预测结果中每个元素和第二预测结果中每个元素代入预设的损失函数进行计算，得到样本图像和错判图像的共同损失。
在一个实施例中，将第一预测结果中每个元素和第二预测结果中每个元素代入式(1)进行计算，得到样本图像和错判图像的共同损失Ltotal，
其中，
代表错判图像
对应的错判标签，y代表样本图像X对应的人工标签，
代表
对应的第一概率分布向量p中元素，py代表y对应的第二概率分布向量p中元素。
在一个实施例中，模型训练模块在基于共同损失对待优化模型的初始参数的进行更新，得到优化模型时，用于：基于共同损失和预设的反向传播算法计算待优化模型中初始参数的导数；基于初始参数的导数和梯度下降算法对待优化模型中的初始参数的进行更新；基于多张样本图像和错判图像的共同损失对待优化模型中的参数进行多次更新，直到收敛，得到优化模型。
本实施例还提供一种图像识别装置，包括图像获取模块、图像识别模块和反馈模块。
图像获取模块，用于获取待识别图像。
图像识别模块，用于基于本发明第一方面的方法得到的优化模型对待识别图像进行识别，得到相应的识别标签。
反馈模块，用于反馈待识别图像的识别标签。
<电子设备实施例>
本实施例提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现本发明方法实施例描述的方法。
<机器可读存储介质实施例>
本实施例提供一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现本发明方法实施例描述的方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (11)
1.一种模型的优化方法，包括：
获取待优化模型的错例集，其中，所述待优化模型为使用训练集通过机器学习对初始模型进行训练得到，所述训练集包括至少一张样本图像和与每张样本图像对应的人工标签，所述错例集包括至少一个错判图像和与每张错判图像对应的错判标签，所述错判标签为所述待优化模型对所述错判图像的预测结果；
使用所述训练集和错例集通过机器学习对所述待优化模型进行训练，以调整所述待优化模型的初始参数，得到优化模型。
2.根据权利要求1所述的方法，其中，所述使用所述训练集和错例集通过机器学习对所述待优化模型进行训练，以调整所述待优化模型的初始参数，得到优化模型，包括：
基于所述待优化模型对所述样本图像进行预测，得到与每张样本图像对应的第一预测结果；
基于所述待优化模型对所述错判图像进行预测，得到与每张错判图像对应的第二预测结果；
将所述第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失；
基于所述共同损失对所述待优化模型的初始参数的进行更新，得到优化模型。
3.根据权利要求2所述的方法，其中，所述基于所述待优化模型对所述样本图像进行预测，得到与每张样本图像对应的第一预测结果包括：
从所述训练集中选取一张样本图像，将选取的样本图像输入所述待优化模型，得到第一输出结果；
将所述第一输出结果输入归一化函数，得到第一概率分布向量。
4.根据权利要求2所述的方法，其中，所述基于所述待优化模型对所述错判图像进行预测，得到与每张错判图像对应的第二预测结果，包括：
从所述错例集中选取一张错判图像，将选取的错判图像输入所述待优化模型，得到第二输出结果；
将所述第二输出结果输入归一化函数，得到第二概率分布向量。
5.根据权利要求2所述的方法，其中，
所述第一预测结果包括多个元素，每个元素对应一种类别的人工标签，每个元素用于表示所述待优化模型将所述样本图像预测为与其对应类别的人工标签的概率；
所述第二预测结果包括多个元素，每个元素对应一种类别的错判标签，每个元素用于表示所述待优化模型将所述错例图像预测为与其对应类别的错判标签的概率；
所述将所述第一预测结果和第二预测结果代入预设的损失函数进行计算，得到每张样本图像和错判图像的共同损失，包括：
将所述第一预测结果中每个元素和第二预测结果中每个元素代入预设的损失函数进行计算，得到样本图像和错判图像的共同损失。
6.根据权利要求2所述的方法，其中，将所述第一预测结果中每个元素和第二预测结果中每个元素代入式(1)进行计算，得到样本图像和错判图像的共同损失Ltotal，
其中，
代表错判图像
对应的错判标签，y代表样本图像X对应的人工标签，
代表
对应的第一概率分布向量p中元素，py代表y对应的第二概率分布向量p中元素。
7.根据权利要求2所述的方法，其中，所述基于所述共同损失对所述待优化模型的初始参数的进行更新，得到优化模型，包括：
基于所述共同损失和预设的反向传播算法计算所述待优化模型中初始参数的导数；
基于所述初始参数的导数和梯度下降算法对所述待优化模型中的初始参数的进行更新；
基于多张样本图像和错判图像的共同损失对所述待优化模型中的参数进行多次更新，直到收敛，得到优化模型。
8.一种图像识别方法，包括：
获取待识别图像；
基于权利要求1-7任一项所述的方法得到的优化模型对所述待识别图像进行识别，得到相应的识别标签；
反馈所述待识别图像的识别标签。
9.一种模型的优化装置，包括：
错例集获取模块，用于获取待优化模型的错例集，其中，所述待优化模型为使用训练集通过机器学习对初始模型进行训练得到，所述训练集包括至少一张样本图像和与每张样本图像对应的人工标签，所述错例集包括至少一个错判图像和与每张错判图像对应的错判标签，所述错判标签为所述待优化模型对所述错判图像的预测结果；
模型训练模块，用于使用所述训练集和错例集通过机器学习对所述待优化模型进行训练，以调整所述待优化模型的初始参数，得到优化模型。
10.一种图像识别装置，包括：
图像获取模块，用于获取待识别图像；
图像识别模块，用于基于权利要求1-7任一项所述的方法得到的优化模型对所述待识别图像进行识别，得到相应的识别标签；
反馈模块，用于反馈所述待识别图像的识别标签。
11.一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911157999.XA CN111027707B (zh) | 2019-11-22 | 2019-11-22 | 模型的优化方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911157999.XA CN111027707B (zh) | 2019-11-22 | 2019-11-22 | 模型的优化方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111027707A true CN111027707A (zh) | 2020-04-17 |
| CN111027707B CN111027707B (zh) | 2023-08-22 |
Family
ID=70203171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911157999.XA Active CN111027707B (zh) | 2019-11-22 | 2019-11-22 | 模型的优化方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027707B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582193A (zh) * | 2020-05-09 | 2020-08-25 | 北京世纪好未来教育科技有限公司 | 坏例识别及其模型优化方法、装置及计算机存储介质 |
| CN111582366A (zh) * | 2020-05-07 | 2020-08-25 | 清华大学 | 图像处理方法、装置及设备 |
| CN111597918A (zh) * | 2020-04-26 | 2020-08-28 | 北京金山云网络技术有限公司 | 人脸活体检测模型的训练、检测方法、装置及电子设备 |
| CN111753996A (zh) * | 2020-06-24 | 2020-10-09 | 中国建设银行股份有限公司 | 一种方案确定模型的优化方法、装置、设备及存储介质 |
| CN111753914A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 模型优化方法和装置、电子设备及存储介质 |
| CN113553778A (zh) * | 2021-09-18 | 2021-10-26 | 浙江大华技术股份有限公司 | 模型的参数优化方法以及电子设备、计算机可读存储介质 |
| CN116910501A (zh) * | 2023-07-28 | 2023-10-20 | 中国电子科技集团公司第十五研究所 | 错例驱动的数据识别方法、装置和设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682681A (zh) * | 2016-08-19 | 2017-05-17 | 江苏电力信息技术有限公司 | 一种基于相关反馈的识别算法自动改进方法 |
| CN108647577A (zh) * | 2018-04-10 | 2018-10-12 | 华中科技大学 | 一种自适应难例挖掘的行人重识别模型、方法与系统 |
| CN109325541A (zh) * | 2018-09-30 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置 |
| CN109948807A (zh) * | 2019-03-14 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 一种主动学习方法及装置 |
| CN110458233A (zh) * | 2019-08-13 | 2019-11-15 | 腾讯云计算（北京）有限责任公司 | 混合粒度物体识别模型训练及识别方法、装置及存储介质 |
-
2019
- 2019-11-22 CN CN201911157999.XA patent/CN111027707B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682681A (zh) * | 2016-08-19 | 2017-05-17 | 江苏电力信息技术有限公司 | 一种基于相关反馈的识别算法自动改进方法 |
| CN108647577A (zh) * | 2018-04-10 | 2018-10-12 | 华中科技大学 | 一种自适应难例挖掘的行人重识别模型、方法与系统 |
| CN109325541A (zh) * | 2018-09-30 | 2019-02-12 | 北京字节跳动网络技术有限公司 | 用于训练模型的方法和装置 |
| CN109948807A (zh) * | 2019-03-14 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 一种主动学习方法及装置 |
| CN110458233A (zh) * | 2019-08-13 | 2019-11-15 | 腾讯云计算（北京）有限责任公司 | 混合粒度物体识别模型训练及识别方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| YUAN GUO1, ET AL.: "Experimental Design Under the Bradley-Terry Model" * |
| 高耀东 等: "基于多标签学习的卷积神经网络的图像标注方法" * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597918A (zh) * | 2020-04-26 | 2020-08-28 | 北京金山云网络技术有限公司 | 人脸活体检测模型的训练、检测方法、装置及电子设备 |
| CN111582366A (zh) * | 2020-05-07 | 2020-08-25 | 清华大学 | 图像处理方法、装置及设备 |
| CN111582366B (zh) * | 2020-05-07 | 2023-10-31 | 清华大学 | 图像处理方法、装置及设备 |
| CN111582193A (zh) * | 2020-05-09 | 2020-08-25 | 北京世纪好未来教育科技有限公司 | 坏例识别及其模型优化方法、装置及计算机存储介质 |
| CN111753996A (zh) * | 2020-06-24 | 2020-10-09 | 中国建设银行股份有限公司 | 一种方案确定模型的优化方法、装置、设备及存储介质 |
| CN111753914A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 模型优化方法和装置、电子设备及存储介质 |
| CN111753914B (zh) * | 2020-06-29 | 2024-04-16 | 北京百度网讯科技有限公司 | 模型优化方法和装置、电子设备及存储介质 |
| CN113553778A (zh) * | 2021-09-18 | 2021-10-26 | 浙江大华技术股份有限公司 | 模型的参数优化方法以及电子设备、计算机可读存储介质 |
| CN116910501A (zh) * | 2023-07-28 | 2023-10-20 | 中国电子科技集团公司第十五研究所 | 错例驱动的数据识别方法、装置和设备 |
| CN116910501B (zh) * | 2023-07-28 | 2024-04-12 | 中国电子科技集团公司第十五研究所 | 错例驱动的数据识别方法、装置和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111027707B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027707B (zh) | 模型的优化方法、装置及电子设备 | |
| US11915123B2 (en) | Fusing multimodal data using recurrent neural networks | |
| CN108628830B (zh) | 一种语义识别的方法和装置 | |
| CN113906452A (zh) | 利用转移学习的低资源实体解析 | |
| CN111611240A (zh) | 执行自动机器学习过程的方法、装置及设备 | |
| US10162879B2 (en) | Label filters for large scale multi-label classification | |
| US20180012237A1 (en) | Inferring user demographics through categorization of social media data | |
| CN113240510B (zh) | 异常用户预测方法、装置、设备及存储介质 | |
| US10678821B2 (en) | Evaluating theses using tree structures | |
| US11645049B2 (en) | Automated software application generation | |
| CN111104874A (zh) | 人脸年龄预测方法及模型的训练方法、装置及电子设备 | |
| CN112036954A (zh) | 物品推荐方法和装置、计算机可读存储介质、电子设备 | |
| CN113850072A (zh) | 文本情感分析方法、情感分析模型训练方法、装置、设备及介质 | |
| CN112116393B (zh) | 用于实现事件用户维护的方法、装置和设备 | |
| CN116701411B (zh) | 一种多领域数据归档方法、装置、介质及设备 | |
| WO2023088109A1 (en) | Erroneous cell detection using an artificial intelligence model | |
| CN113111165A (zh) | 基于深度学习模型的接警警情类别确定方法和装置 | |
| US11714637B1 (en) | User support content generation | |
| US20230222358A1 (en) | Artificial intelligence operations adaptive multi-granularity event grouping | |
| JP2023152270A (ja) | 人工知能によるデータラベリング方法、装置、電子デバイス、記憶媒体、及びプログラム | |
| CN113989562A (zh) | 模型训练、图像分类方法和装置 | |
| CN114817716A (zh) | 预测用户转化行为及训练模型的方法、装置、设备及介质 | |
| CN114266239A (zh) | 数据集的生成方法及装置 | |
| CN116415548A (zh) | 标签预测模型的训练方法及装置 | |
| CN111274383B (zh) | 一种应用于报价的分类对象方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |