CN113065571A - 一种构造训练数据集的方法和装置 - Google Patents
一种构造训练数据集的方法和装置 Download PDFInfo
- Publication number
- CN113065571A CN113065571A CN201911293820.3A CN201911293820A CN113065571A CN 113065571 A CN113065571 A CN 113065571A CN 201911293820 A CN201911293820 A CN 201911293820A CN 113065571 A CN113065571 A CN 113065571A
- Authority
- CN
- China
- Prior art keywords
- image
- aesthetic
- marked
- label
- annotated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000011156 evaluation Methods 0.000 claims abstract description 112
- 230000008569 process Effects 0.000 claims description 13
- 238000013210 evaluation model Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种构造训练数据集的方法和装置，涉及计算机技术领域。该方法包括：从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；将第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一评价因子和第二评价因子；根据第一评价因子和第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签；重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集。该方法和装置降低了标注复杂度和标注成本，提高了可扩展性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种构造训练数据集的方法和装置。
背景技术
图像美学评价衡量了一幅图像在人类眼中的视觉吸引力。目前，图像美学评价算法主要通过深度神经网络深度学习的方式，在大数据集上直接回归图像美学分数。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
在基于深度学习方法的方式中，深度神经网络需要在图像美学数据集上进行训练，而数据集的标注方法需要大量的人力成本。而且，对于不同类目的图像，需要针对每个类目的图像标注一个训练集，这将是一件成本非常昂贵的任务。
发明内容
有鉴于此，本发明实施例提供一种构造训练数据集的方法和装置，能够降低标注复杂度和标注成本，提高可扩展性。
为实现上述目的，根据本发明实施例的一个方面，提供了一种构造训练数据集的方法，包括：
从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；
将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签；
重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集。
可选地，确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签包括：
将第一待标注图像和第二待标注图像分别作为输入数据，输入预训练的基础美学评价模型，得到第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签。
可选地，根据如下过程训练得到所述图像美学比较模型：
获取各类目的多组图像对，并通过人工方式对每一组图像对进行标注，以生成美学比较训练集；
对所述美学比较训练集进行训练，得到图像美学比较模型。
可选地，对所述美学比较训练集进行训练，得到图像美学比较模型包括：设置多种训练方法和多种模型复杂度；基于所述多种训练方法和多种模型复杂度，对所述美学比较训练集进行训练，得到多个图像美学比较模型。
可选地，将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子包括：
将所述第一待标注图像和第二待标注图像作为输入数据，输入所述多个图像美学比较模型中的其中一个，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签包括：
根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，将更新后的第一基础美学标签和第二基础美学标签分别作为新的第一基础美学标签和新的第二基础美学标签；
将所述第一待标注图像和第二待标注图像作为输入数据，输入其他图像美学比较模型，得到新的第一评价因子和新的第二评价因子；
基于所述新的第一评价因子和新的第二评价因子，更新所述新的第一基础美学标签和新的第二基础美学标签；
重复执行上述步骤，直至遍历完所述多个图像美学比较模型。
可选地，根据下式更新所述第一基础美学标签和所述第二基础美学标签：
其中，Ra表示第一基础美学标签，Rb表示第二基础美学标签，Sa表示第一评价因子，Sb表示第二评价因子，k和β分别为预设参数，Ra*表示更新后的第一基础美学标签，Rb*表示更新后的第二基础美学标签。
可选地，将最终得到的基础美学标签作为待标注图像的最终美学标签包括：将最终得到的基础美学标签进行归一化，将归一化后的基础美学标签作为待标注图像的最终美学标签。
为实现上述目的，根据本发明实施例的另一个方面，提供了一种一种构造训练数据集的装置，包括：
基础标签获取模块，用于从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；
评价因子获取模块，用于将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
标签更新模块，用于根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集。
可选地，所述基础标签获取模块：将第一待标注图像和第二待标注图像分别作为输入数据，输入预训练的基础美学评价模型，得到第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签。
可选地，根据如下过程训练得到所述图像美学比较模型：
获取各类目的多组图像对，并通过人工方式对每一组图像对进行标注，以生成美学比较训练集；
对所述美学比较训练集进行训练，得到图像美学比较模型。
可选地，对所述美学比较训练集进行训练，得到图像美学比较模型包括：
设置多种训练方法和多种模型复杂度；基于所述多种训练方法和多种模型复杂度，对所述美学比较训练集进行训练，得到多个图像美学比较模型。
可选地，所述评价因子获取模块还用于：
将所述第一待标注图像和第二待标注图像作为输入数据，输入所述多个图像美学比较模型中的其中一个，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
所述标签更新模块还用于：
根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，将更新后的第一基础美学标签和第二基础美学标签分别作为新的第一基础美学标签和新的第二基础美学标签；
将所述第一待标注图像和第二待标注图像作为输入数据，输入其他图像美学比较模型，得到新的第一评价因子和新的第二评价因子；
基于所述新的第一评价因子和新的第二评价因子，更新所述新的第一基础美学标签和新的第二基础美学标签；
重复执行上述步骤，直至遍历完所述多个图像美学比较模型。
可选地，所述标签更新模块还用于根据下式更新所述第一基础美学标签和所述第二基础美学标签：
其中，Ra表示第一基础美学标签，Rb表示第二基础美学标签，Sa表示第一评价因子，Sb表示第二评价因子，k和β分别为预设参数，Ra*表示更新后的第一基础美学标签，Rb*表示更新后的第二基础美学标签。
可选地，所述标签更新模块还用于：将最终得到的基础美学标签进行归一化，将归一化后的基础美学标签作为待标注图像的最终美学标签。
为实现上述目的，根据本发明实施例的又一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的构造训练数据集的方法。
为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的构造训练数据集的方法。
上述发明中的一个实施例具有如下优点或有益效果：通过从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集的技术手段，降低了在构造训练数据集时标注的复杂度和标注成本，提高了可扩展性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例的构造训练数据集的方法的主要流程的示意图；
图2是本发明实施例的构造训练数据集的方法的流程的图；
图3是本发明实施例的构造训练数据集的方法的子流程的示意图；
图4是本发明另一实施例的构造训练数据集的方法的流程的图；
图5是本发明实施例的构造训练数据集的装置的主要模块的示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本发明实施例的构造训练数据集的方法的主要流程的示意图，如图1所示，该方法包括：
步骤S101：从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签。
在本步骤中，可以通过如下过程获取第一基础美学标签和第二基础美学标签：
将第一待标注图像和第二待标注图像分别作为输入数据，输入预训练的基础美学评价模型，得到第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签。其中，该基础美学评价模型可以是在公开的美学数据集上训练出来的通用模型，例如在AVA美学数据集(The Aesthetic Visual Analysis dataset，是一个公开的美学数据集)上训练出来的通用模型。由于AVA美学数据集多样的图片类型，精细的标注结果，使得在其上训练的模型给出的图像美学评价具有很好的泛化性能。在其他可选的实施例中，基础美学评价模型也可以使用其他公开的美学数据集，本发明在此不做限制。当利用AVA美学数据集训练得到基础美学评价模型时，该第一基础美学标签和第二基础美学标签分别为1-10内的美学评分。
其中，第一待标注图像和第二待标注图像可以来自同一类目，也可以来自不同类目。图像所属的类目可以根据图像中所描述的对象所属的类目确定，作为示例，可以根据商品品类的划分结果对图像类目进行划分。在划分图像类目时，可以根据应用需求设置划分的粒度。
步骤S102：将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子。
在本步骤中，可以根据如下过程训练得到所述图像美学比较模型：
获取各类目的多组图像对，并通过人工方式对每一组图像对进行标注，以生成美学比较训练集；
对所述美学比较训练集进行训练，得到图像美学比较模型。
在训练图像美学比较模型之前，需要标注用于训练图像美学比较模型的数据集，即美学比较训练集。其标注的过程是：对于每一类目的图像，分别获取一批该类目图像对；然后人工选出图像对中更美的那张图像，将其标注为第一图像，得到第一评价因子，例如1；图像对中的另一张图像标注为第二图像，得到第二评价因子，例如0；最后，利用标注后的全类目的图像对进行训练(在训练时，以两张图像为输入数据进行训练，该两张图像可以来自同一类目，也可以不来自同一类目)，从而得到图像美学比较模型。
值得说明的是，本步骤中标注全类目图像对是本发明实施例的构建训练数据集的方法中唯一需要标注的训练集，而且，与现有技术不同的是，该标注只需要挑选出图像对中更漂亮的那张，而不需要标注出1-10分的美学评估分数。因此，本发明实施例的构建训练数据集的方法通过将原本需要进行1-10分分类标注的方式转换为标注图像对中更漂亮、更有吸引力的简单的二选一的方式，降低了构造训练集的成本，且更容易扩展到不同的图像类目上。
在上述实施例中，为了方便标注，以来自同一类目的图像对为对象进行标注。在其他可选的实施例中，也可以不以来自同一类目图像对为对象进行标注，即图像对的两张图像可以来自不同的类目。
步骤S103：根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签。
作为具体的示例，可以使用ELO算法(Elo rating system，埃洛等级分系统)对第一基础美学标签和第二基础美学标签进行调整。具体的，可以根据下式(1)更新所述第一基础美学标签和所述第二基础美学标签：
其中，Ra表示第一基础美学标签，Rb表示第二基础美学标签，Sa表示第一评价因子，Sb表示第二评价因子，k和β分别为预设参数，Ra*表示更新后的第一基础美学标签，Rb*表示更新后的第二基础美学标签。
该公式的具体推导原理如下：
Sa：在图像美学比较模型下，第一待标注图像的第一评价因子，即实际获得的分数值(0 or 1)；
Sb：在图像美学比较模型下，第二待标注图像的第二评价因子，Sb＝1-Sa；
Ea：第一待标注图像预期的比较分数，Ea＝1/(1+10^[(Rb-Ra)/400])；
Eb：第二待标注图像预期的比较分数，Eb＝1-Ea；
第一待标注图像调整过后的第一基础美学标签Ra*＝Ra+K(Sa-Ea)；
第二待标注图像调整过后的第二基础美学标签Rb*＝Rb+K(Sb-Eb)；
将Ea和Eb代入Ra*和Rb*的计算公式中，即可得到公式(1)。
作为具体的示例，β可以设置为400。在其他可选的实施例中，β也可以设置为其他数值。K是一个比例系数，可以根据设定的最后美学标签(即美学分数)的范围进行调整。K的大小会影响图像美学分数改变的速度。若需要使两张图片的美学分数差距较大，则可以将K设置的较大，否则，可以将K设置的较小。
步骤S104：重复上述步骤S101-S103，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集。
在本实施例中，可以预先设置循环执行的次数，该次数可以远远大于待标注数据集中待标注图像的数量。
在本发明实施例中，若待标注数据集中共有M张待标注的图像(M为大于或等于2的整数)。在随机选取第一待标注图像和第二待标注图像时，选到的图像可能是待标注数据集中的任何一张待标注图像。对于第一次被选到的待标注图像，其基础美学标签是通过基础美学评价模型得到的。对于非第一被选到的待标注图像，其基础美学标签是通过循环执行步骤S101-S103更新后得到的。本发明实施例通过循环执行步骤S101-S103，可以使得图像的标注更加准确。
本发明实施例的构建训练数据集的方法，通过从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集的技术手段，降低了在构造训练数据集时标注的复杂度和标注成本，提高了可扩展性。
在可选的实施例中，在对所述美学比较训练集进行训练时，可以设置不同的训练方法和不同的模型复杂度，从而得到多个图像美学比较模型。
当训练得到多个图像美学比较模型时，如图3所示，步骤S102和步骤S103可以包括如下子步骤：
步骤S301：将所述第一待标注图像和第二待标注图像作为输入数据输入所述多个图像美学比较模型中的其中一个，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
步骤S302：基于所述第一评价因子和第二评价因子，更新第一基础美学标签和第二基础美学标签，将更新后的第一基础美学标签和第二基础美学标签分别作为新的第一基础美学标签和新的第二基础美学标签；
步骤S303：将所述第一待标注图像和第二待标注图像作为输入数据，输入其他图像美学比较模型，得到新的第一评价因子和新的第二评价因子；
步骤S304：基于所述新的第一评价因子和新的第二评价因子，更新所述新的第一基础美学标签和新的第二基础美学标签；
步骤S305：重复执行上述步骤S303-S304，直至遍历完所述多个图像美学比较模型。
在本实施例中，训练多个图像美学比较模型的目的是为了增加图像美学比较模型的多样性，这些模型间的不同可以通过选用不同训练方法，不同的模型复杂度达到。一个图像对经过多个比较模型会得到更准确的结果。
图4是本发明另一实施例的构建训练数据集的方法的主要流程的示意图。在本实施例中假设需要标注的图像(即待标注图像)共有M张(M为大于或等于2的整数)，设置循环次数阈值为K(K大于M)，对该M张待标注图像的标注过程如图4所示：
步骤S401：通过基础美学评价模型，获取每一张待标注图像的基础美学标签；
步骤S402：获取各类目的多组图像对，并通过人工方式对每一组图像对进行标注，以生成美学比较训练集；
步骤S403：通过不同的训练方法和不同的模型复杂度，对美学比较训练集进行训练，得到N个图像美学比较模型，N为大于1的整数；
步骤S404：令d＝1；
步骤S405：从M张待标注的图像中，随机选取两张待标注的图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；
步骤S406：将所述第一待标注图像和第二待标注图像作为输入数据，输入第i个图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子，1<i≤N；
步骤S407：根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签；
步骤S408：判断i是否等于N，若否，则执行步骤S406，若是，则执行步骤S409；
步骤S409：判断d是否大于或等于K，若否，则执行步骤S410，若是，则执行S411；
步骤S410：令d＝d+1；
步骤S411：将更新后的第一基础美学标签和第二基础美学标签进行归一化，将归一化后的第一基础美学标签和第二基础美学标签分别作为第一待标注图像和第二待标注图像的最终美学标签。
本发明实施例的方法，通过N个图像美学比较模型对待标注图像的美学分数进行整，其是一个递进的过程，通过一个图像美学比较模型调整完分数的两个图片，再经过第二个图像美学比较比较模型，这样好的图片在美学分数上会逐渐和差的图像拉开差距，最后有的图片分数或许会较大(例如大于10)，此时可以对分数进行归一化，从而使其落在预设的范围内(如1-10内)。
图5是本发明实施例的构造训练数据集的装置500的主要模块的示意图，如图5所示，该构造训练数据集的装置500包括：
基础标签获取模块501，用于从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；
评价因子获取模块502，用于将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
标签更新模块503，用于根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集。
可选地，所述基础标签获取模块501：将第一待标注图像和第二待标注图像分别作为输入数据，输入预训练的基础美学评价模型，得到第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签。
可选地，根据如下过程训练得到所述图像美学比较模型：
获取各类目的多组图像对，并通过人工方式对每一组图像对进行标注，以生成美学比较训练集；
对所述美学比较训练集进行训练，得到图像美学比较模型。
可选地，对所述美学比较训练集进行训练，得到图像美学比较模型包括：
设置多种训练方法和多种模型复杂度；基于所述多种训练方法和多种模型复杂度，对所述美学比较训练集进行训练，得到多个图像美学比较模型。
可选地，所述评价因子获取模块502还用于：
将所述第一待标注图像和第二待标注图像作为输入数据，输入所述多个图像美学比较模型中的其中一个，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
所述标签更新模块还用于：
根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，将更新后的第一基础美学标签和第二基础美学标签分别作为新的第一基础美学标签和新的第二基础美学标签；
将所述第一待标注图像和第二待标注图像作为输入数据，输入其他图像美学比较模型，得到新的第一评价因子和新的第二评价因子；
基于所述新的第一评价因子和新的第二评价因子，更新所述新的第一基础美学标签和新的第二基础美学标签；
重复执行上述步骤，直至遍历完所述多个图像美学比较模型。
可选地，所述标签更新模块503还用于根据下式更新所述第一基础美学标签和所述第二基础美学标签：
其中，Ra表示第一基础美学标签，Rb表示第二基础美学标签，Sa表示第一评价因子，Sb表示第二评价因子，k和β分别为预设参数，Ra*表示更新后的第一基础美学标签，Rb*表示更新后的第二基础美学标签。
可选地，所述标签修正模块503还用于：将最终得到的基础美学标签进行归一化，将归一化后的基础美学标签作为待标注图像的最终美学标签。
本发明实施例的构造训练数据集的装置，通过从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集的技术手段，降低了在构造训练数据集时标注的复杂度和标注成本，提高了可扩展性。
上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
图6示出了可以应用本发明实施例的构造训练数据集的方法或构造训练数据集的装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
需要说明的是，本发明实施例所提供的构造训练数据集的方法一般由服务器605执行，相应地，构造训练数据集的装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定获取第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；
将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
根据所述第一评价因子和所述第二评价因子，修正更新所述第一基础美学标签和所述第二基础美学标签，；
重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集。
本发明实施例的技术方案，降低了在构造训练数据集时标注的复杂度和标注成本，提高了可扩展性。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种构造训练数据集的方法，其特征在于，包括：
从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；
将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签；
重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集。
2.根据权利要求1所述的方法，其特征在于，确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签包括：
将第一待标注图像和第二待标注图像分别作为输入数据，输入预训练的基础美学评价模型，得到第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签。
3.根据权利要求1所述的方法，其特征在于，根据如下过程训练得到所述图像美学比较模型：
获取各类目的多组图像对，并通过人工方式对每一组图像对进行标注，以生成美学比较训练集；
对所述美学比较训练集进行训练，得到图像美学比较模型。
4.根据权利要求3所述的方法，其特征在于，对所述美学比较训练集进行训练，得到图像美学比较模型包括：
设置多种训练方法和多种模型复杂度；基于所述多种训练方法和多种模型复杂度，对所述美学比较训练集进行训练，得到多个图像美学比较模型。
5.根据权利要求4所述的方法，其特征在于，将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子包括：
将所述第一待标注图像和第二待标注图像作为输入数据，输入所述多个图像美学比较模型中的其中一个，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签包括：
根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，将更新后的第一基础美学标签和第二基础美学标签分别作为新的第一基础美学标签和新的第二基础美学标签；
将所述第一待标注图像和第二待标注图像作为输入数据，输入其他图像美学比较模型，得到新的第一评价因子和新的第二评价因子；
基于所述新的第一评价因子和新的第二评价因子，更新所述新的第一基础美学标签和新的第二基础美学标签；
重复执行上述步骤，直至遍历完所述多个图像美学比较模型。
6.根据权利要求1-5任一项所述的方法，其特征在于，根据下式更新所述第一基础美学标签和所述第二基础美学标签：
其中，Ra表示第一基础美学标签，Rb表示第二基础美学标签，Sa表示第一评价因子，Sb表示第二评价因子，k和β分别为预设参数，Ra*表示更新后的第一基础美学标签，Rb*表示更新后的第二基础美学标签。
7.根据权利要求6所述的方法，其特征在于，将最终得到的基础美学标签作为待标注图像的最终美学标签包括：
将最终得到的基础美学标签进行归一化，将归一化后的基础美学标签作为待标注图像的最终美学标签。
8.一种构造训练数据集的装置，其特征在于，包括：
基础标签获取模块，用于从待标注数据集中随机选取两张待标注图像作为第一待标注图像和第二待标注图像，并确定第一待标注图像的第一基础美学标签和第二待标注图像的第二基础美学标签；
评价因子获取模块，用于将所述第一待标注图像和第二待标注图像作为输入数据，输入预训练的图像美学比较模型，得到第一待标注图像的第一评价因子和第二待标注图像的第二评价因子；
标签更新模块，用于根据所述第一评价因子和所述第二评价因子，更新所述第一基础美学标签和所述第二基础美学标签，重复上述步骤，直至重复次数达到阈值，将最终得到的基础美学标签作为待标注图像的最终美学标签，以得到训练数据集。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911293820.3A CN113065571A (zh) | 2019-12-16 | 2019-12-16 | 一种构造训练数据集的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911293820.3A CN113065571A (zh) | 2019-12-16 | 2019-12-16 | 一种构造训练数据集的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113065571A true CN113065571A (zh) | 2021-07-02 |
Family
ID=76558456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911293820.3A Pending CN113065571A (zh) | 2019-12-16 | 2019-12-16 | 一种构造训练数据集的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065571A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622274A (zh) * | 2016-07-15 | 2018-01-23 | 北京市商汤科技开发有限公司 | 用于图像处理的神经网络训练方法、装置以及计算机设备 |
| CN108520213A (zh) * | 2018-03-28 | 2018-09-11 | 五邑大学 | 一种基于多尺度深度的人脸美丽预测方法 |
| CN109544503A (zh) * | 2018-10-15 | 2019-03-29 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN109978074A (zh) * | 2019-04-04 | 2019-07-05 | 山东财经大学 | 基于深度多任务学习的图像美感和情感联合分类方法及系统 |
| CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
-
2019
- 2019-12-16 CN CN201911293820.3A patent/CN113065571A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622274A (zh) * | 2016-07-15 | 2018-01-23 | 北京市商汤科技开发有限公司 | 用于图像处理的神经网络训练方法、装置以及计算机设备 |
| CN108520213A (zh) * | 2018-03-28 | 2018-09-11 | 五邑大学 | 一种基于多尺度深度的人脸美丽预测方法 |
| CN109544503A (zh) * | 2018-10-15 | 2019-03-29 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN109978074A (zh) * | 2019-04-04 | 2019-07-05 | 山东财经大学 | 基于深度多任务学习的图像美感和情感联合分类方法及系统 |
| CN110473164A (zh) * | 2019-05-31 | 2019-11-19 | 北京理工大学 | 一种基于注意力机制的图像美学质量评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109460513B (zh) | 用于生成点击率预测模型的方法和装置 | |
| US11978245B2 (en) | Method and apparatus for generating image | |
| US11620532B2 (en) | Method and apparatus for generating neural network | |
| CN107609506B (zh) | 用于生成图像的方法和装置 | |
| US11758088B2 (en) | Method and apparatus for aligning paragraph and video | |
| CN110288705B (zh) | 生成三维模型的方法和装置 | |
| CN109446442B (zh) | 用于处理信息的方法和装置 | |
| CN109101309B (zh) | 用于更新用户界面方法和装置 | |
| US11244153B2 (en) | Method and apparatus for processing information | |
| US11706172B2 (en) | Method and device for sending information | |
| CN110619078B (zh) | 用于推送信息的方法和装置 | |
| CN110866040B (zh) | 用户画像生成方法、装置和系统 | |
| CN109413056B (zh) | 用于处理信息的方法和装置 | |
| CN110633717A (zh) | 一种目标检测模型的训练方法和装置 | |
| WO2022001233A1 (zh) | 基于层次化迁移学习的预标注方法及其相关设备 | |
| CN108509442B (zh) | 搜索方法和装置、服务器以及计算机可读存储介质 | |
| CN109472028B (zh) | 用于生成信息的方法和装置 | |
| CN109408647B (zh) | 用于处理信息的方法和装置 | |
| CN111814044A (zh) | 一种推荐方法、装置、终端设备及存储介质 | |
| CN110442806A (zh) | 用于识别图像的方法和装置 | |
| CN113065571A (zh) | 一种构造训练数据集的方法和装置 | |
| CN109584012B (zh) | 用于生成物品推送信息的方法和装置 | |
| CN111984839B (zh) | 绘制用户画像的方法和装置 | |
| CN111488537A (zh) | 一种页面展示的方法和装置 | |
| CN113704596A (zh) | 用于生成召回信息集合的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |