CN112634123A - 一种图像处理方法和装置 - Google Patents
一种图像处理方法和装置 Download PDFInfo
- Publication number
- CN112634123A CN112634123A CN201910949246.6A CN201910949246A CN112634123A CN 112634123 A CN112634123 A CN 112634123A CN 201910949246 A CN201910949246 A CN 201910949246A CN 112634123 A CN112634123 A CN 112634123A
- Authority
- CN
- China
- Prior art keywords
- attribute information
- picture
- image
- attribute
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000013136 deep learning model Methods 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007418 data mining Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：确定对象的属性信息；利用深度学习模型确定所述属性信息在所述对象的图片中的对应区域图；将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到所述对象的简笔画图像。该实施方式能够使得图片转换为简笔画之后充分地体现图像中对象的重要细节，并减少边缘噪音，提升图像生成简笔画的转换效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法和装置。
背景技术
转换图片为简笔画有较广泛的应用，例如进行人脸照片简笔画的转换可以为用户提供具备个性化风格的头像，使用简笔画进行商品检索也具有较大研究前景，可以为用户提供更便捷的商品检索方式，这种检索需要大量高质量的简笔画数据作为训练数据，自动转换图片为简笔画即可满足这种数据需求。
现有的图片到简笔画的转换方案不会考虑物体内部的细节，因此转出来的简笔画通常有两个方面的问题：一是内部部分重要细节缺失；二是出现了很多不必要的边缘噪音。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现有方案存在重要细节缺失和边缘噪音较多的问题。
发明内容
有鉴于此，本发明实施例提供一种图像处理方法和装置，能够使得图片转换为简笔画之后充分地体现图像中对象的重要细节，并减少边缘噪音，提升图像生成简笔画的转换效果。
为实现上述目的，根据本发明实施例的一个方面，提供了一种图像处理方法。
一种图像处理方法，包括：确定对象的属性信息；利用深度学习模型确定所述属性信息在所述对象的图片中的对应区域图；将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到所述对象的简笔画图像。
可选地，确定对象的属性信息的步骤，包括：从所述对象的图片对应的描述数据集中选出高频词汇，所述描述数据集包括所述对象的描述信息，所述高频词汇为在所述描述数据集中出现频次大于预设阈值的词汇；按照预设规则训练选出的高频词汇对应的分类器，所述分类器用于针对所述对象的图片与该高频词汇的描述是否一致进行分类；统计各分类器的分类精度，根据精度最高的预设数量的分类器对应的高频词汇确定所述对象的属性信息。
可选地，所述深度学习模型为卷积神经网络，利用深度学习模型确定所述属性信息在所述对象的图片中的对应区域图的步骤，包括：根据全连接层的每一节点对应的权重值集合，以及所述每一节点与所述对象的属性信息之间的预设对应关系，得到所述对象的各属性信息对应的权重值集合，其中，每一权重值集合包括多个权重值，每个权重值对应特征图的一个通道，所述特征图由所述卷积神经网络的最后一个卷积层输出，所述全连接层位于所述卷积神经网络最后一层且通过全局平均池化层与所述最后一个卷积层连接；对于所述特征图的每个位置，根据该位置在每个所述通道的特征值，以及所述对象的各属性信息对应的权重值集合，分别计算该位置与各属性信息的相关程度值，一所述位置与一所述属性信息的相关程度值指示该位置与该属性信息的相关联的程度；根据所述特征图的每个位置与各属性信息的相关程度值，通过属性激活映射处理，生成每一所述属性信息在所述对象的图片中的对应区域图。
可选地，将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换的步骤，包括：将所述对象的图片转换为简笔画图像，其中包括根据所述属性信息在所述对象的图片中的对应区域图，生成所述简笔画图像中与所述属性信息对应的图像细节。
可选地，所述图像转换网络为对抗生成网络。
根据本发明实施例的另一方面，提供了一种图像处理装置。
一种图像处理装置，包括：属性确定模块，用于确定对象的属性信息；属性区域图生成模块，用于利用深度学习模型确定所述属性信息在所述对象的图片中的对应区域图；图像转换模块，用于将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到所述对象的简笔画图像。
可选地，所述属性确定模块还用于：从所述对象的图片对应的描述数据集中选出高频词汇，所述描述数据集包括所述对象的描述信息，所述高频词汇为在所述描述数据集中出现频次大于预设阈值的词汇；按照预设规则训练选出的高频词汇对应的分类器，所述分类器用于针对所述对象的图片与该高频词汇的描述是否一致进行分类；统计各分类器的分类精度，根据精度最高的预设数量的分类器对应的高频词汇确定所述对象的属性信息。
可选地，所述深度学习模型为卷积神经网络，所述属性区域图生成模块还用于：根据全连接层的每一节点对应的权重值集合，以及所述每一节点与所述对象的属性信息之间的预设对应关系，得到所述对象的各属性信息对应的权重值集合，其中，每一权重值集合包括多个权重值，每个权重值对应特征图的一个通道，所述特征图由所述卷积神经网络的最后一个卷积层输出，所述全连接层位于所述卷积神经网络最后一层且通过全局平均池化层与所述最后一个卷积层连接；对于所述特征图的每个位置，根据该位置在每个所述通道的特征值，以及所述对象的各属性信息对应的权重值集合，分别计算该位置与各属性信息的相关程度值，一所述位置与一所述属性信息的相关程度值指示该位置与该属性信息的相关联的程度；根据所述特征图的每个位置与各属性信息的相关程度值，通过属性激活映射处理，生成每一所述属性信息在所述对象的图片中的对应区域图。
可选地，所述图像转换模块还用于：将所述对象的图片转换为简笔画图像，其中包括根据所述属性信息在所述对象的图片中的对应区域图，生成所述简笔画图像中与所述属性信息对应的图像细节。
可选地，所述图像转换网络为对抗生成网络。
根据本发明实施例的又一方面，提供了一种电子设备。
一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明提供的图像处理方法。
根据本发明实施例的又一方面，提供了一种计算机可读介质。
一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的图像处理方法。
上述发明中的一个实施例具有如下优点或有益效果：确定对象的属性信息；利用深度学习模型确定属性信息在对象的图片中的对应区域图；将对象的图片和属性信息在对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到对象的简笔画图像。能够使得图片转换为简笔画之后充分地体现图像中对象的重要细节，并减少边缘噪音，提升图像生成简笔画的转换效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的图像处理方法的主要步骤示意图；
图2是根据本发明实施例的卷积神经网络的结构示意图；
图3是根据本发明实施例的其中一个属性信息在对象的图片中的对应区域图的效果图；
图4是根据本发明实施例的循环对抗生成网络的示意图；
图5是根据本发明实施例的图像处理装置的主要模块示意图；
图6是本发明实施例可以应用于其中的示例性系统架构图；
图7是适于用来实现本发明实施例的服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
图1是根据本发明第一实施例的图像处理方法的主要步骤示意图。
如图1所示，本发明第一实施例的图像处理方法主要包括如下的步骤S101至步骤S103。
步骤S101：确定对象的属性信息。
其中，对象即图片中的待转换为简笔画的主要目标，例如可以是人、物品等带有属性的事物。
作为优选实施方式，步骤S101具体可以包括：
从对象的图片对应的描述数据集中选出高频词汇，描述数据集包括对象的描述信息，高频词汇为在描述数据集中出现频次大于预设阈值的词汇；按照预设规则训练选出的高频词汇对应的分类器，分类器用于针对对象的图片与该高频词汇的描述是否一致进行分类；统计各分类器的分类精度，根据精度最高的预设数量的分类器对应的高频词汇确定对象的属性信息。
本领域技术人员可以理解的是，本发明实施例通过人工标注的方式来确定对象的属性信息也是可以实现的。
步骤S102：利用深度学习模型确定属性信息在对象的图片中的对应区域图。
深度学习模型可以为卷积神经网络。
步骤S102具体可以包括：
根据全连接层的每一节点对应的权重值集合，以及每一节点与对象的属性信息之间的预设对应关系，得到对象的各属性信息对应的权重值集合，其中，每一权重值集合包括多个权重值，每个权重值对应特征图的一个通道，该特征图由卷积神经网络的最后一个卷积层输出，全连接层位于卷积神经网络最后一层且通过全局平均池化层与最后一个卷积层连接；
对于特征图的每个位置，根据该位置在每个通道的特征值，以及对象的各属性信息对应的权重值集合，分别计算该位置与各属性信息的相关程度值，其中，一位置与一属性信息的相关程度值指示该位置与该属性信息的相关联的程度；
根据特征图的每个位置与各属性信息的相关程度值，通过属性激活映射处理，生成每一属性信息在对象的图片中的对应区域图。
步骤S103：将对象的图片和属性信息在对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到对象的简笔画图像。
具体地，将对象的图片转换为简笔画图像，其中包括根据属性信息在对象的图片中的对应区域图，生成简笔画图像中与属性信息对应的图像细节，从而得到对象的简笔画图像。
作为优选实施方式，图像转换网络采用循环对抗生成网络(Cycle-GAN)，还可以采用其他对抗生成网络。
本实施例可以克服现有的简笔画转换方案不注重物体细节的缺点，并且，减少了非重点区域的噪音情况。
下面通过第二实施例，以对象为商品为例，详细介绍本发明的图像处理方法。
本实施例利用数据挖掘的方法确定确定对象的属性信息(可以参照第一实施例步骤S101的优选实施方式)。商品的属性包括各种对商品特征的描述。以鞋为例，某种特别的纹理(条纹)为一种属性，颜色为另一种属性，等等。通常商品的属性种类很多，如果通过人工标注的方式将十分繁琐，且人工标注的属性并不一定具有普遍代表性，而网络中对商品的描述却有很多，因此本实施例通过对网络中的商品描述进行数据挖掘，从而确定商品的属性信息。网络中的商品描述中体现的商品属性有的具有具体的视觉意义，有的则比较抽象，因此需要进行甄别。具体方法如下：
首先收集商品的图片对应的描述数据集，并从描述数据集中选出高频词汇，高频词汇的界定可以根据需要定义，例如在描述数据集中出现设定的次数，就判定为高频词汇；
然后使用含有某一高频词汇的图片作为正样本、不含该词汇的图片作为负样本训练一个分类器，并为所有高频词汇都训练各自的一个分类器；
使用这些分类器在验证集(或称测试集)上测试分类精确度(即分类精度)，选择精确度高的N个分类器对应的词汇为确定出的该商品的属性，N的值可以根据需要定义。
以某商品是鞋为例。
收集鞋的多个图片以及每一图片对应的多个描述词汇的集合，得到鞋的图片对应的描述数据集。从描述数据集中选出一系列高频词汇，假定选出的高频词汇诸如“高跟”、“运动”、“休闲”等。
训练分类器的过程以“高跟”为例，使用所有的包括“高跟”描述的图片作为正样本(这些图片中的商品通常全是高跟鞋)，使用所有不包括“高跟”描述的图片作为负样本，训练一个高频词汇“高跟”的分类器。按照同样方法训练其他高频词汇的分类器。
使用包括“高跟”的分类器在内的所有训练好的高频词汇分类器在测试集上进行测试，如果其中“高跟”分类器的分类精度足够高(可以将各分类器的分类精度从大到小排序，并判断“高跟”的分类器的分类精度是否位于前K个，K为设定值，若是则表示“高跟”分类器的分类精度足够高)，则“高跟”为已选中属性。
本发明实施例通过上述的数据挖掘的方式确定商品的属性信息，可以解决人工标注属性耗费时间和人力的问题，且属性信息对于商品比较有代表性，使得转换得到的简笔画更能体现商品的特征。
通过数据挖掘得到的属性标注是图片级别的，并没有对应到图片中的具体位置，为了进行具体的属性区域指导，需要通过深度学习学到属性和图片区域的对应关系，这种对应关系可通过在卷积神经网络上加全局平均池化(global average pooling，GAP)的方法训练得到。学完之后，得到每个属性在图片上的对应区域，进而得到商品的属性信息在商品的图片中的对应区域图。
下面结合图2所示的卷积神经网络介绍确定属性信息在商品的图片中的对应区域图的过程。图2所示的卷积神经网络以5个CONV(卷积)层为例。需要说明的是，本发明实施例的卷积神经网络不限制卷积层的数量。该卷积神经网络的输入为鞋，通过各卷积层进行卷积处理，每个卷积层输出鞋的特征图。本发明对最后一个卷积层(CONV层)做全局平均池化(GAP)，图2中201为最后一个卷积层的放大效果，方框202表示全局平均池化层，203表示全连接层，全连接层位于卷积神经网络最后一层且通过全局平均池化层与最后一个卷积层连接。
另fk(x,y)表示该最后一个卷积层的第k个通道层(或称通道)中位置为(x,y)的点的数值，其中1≤k≤n，n为最后一个卷积层输出特征图的通道总数量，则全局平均池化应用到第k个通道层时，计算方框202中各圆圈代表的数值，即：
Fk＝∑x,yfk(x,y)，
方框202中每个圆圈代表一个全局平均池化层的一个节点，全局平均池化层的各节点均与全连接层(图中203)的各节点连接，方框203中每个圆圈即代表全连接层的节点，全局平均池化层的一个节点与全连接层的一个节点连接时，有对应的连接权重，如图2所示，全局平均池化层的各个节点与全连接层的第二个节点(记作Na)连接时对应的连接权重即为w1,w2,...wn，连接权重w1,w2,...wn的具体数值，即权重值构成全连接层的第二个节点对应的权重值集合。每个权重值或连接权重对应最后一个卷积层输出的特征图的一个通道。各连接权重的具体数值在网络训练完成后获得。
图2中仅示例性地示出了全局平均池化层的各节点与全连接层的第二个节点之间的连接关系，同理，全局平均池化层的所有节点与全连接层的其他各节点的连接关系类似，不同之处在于全连接层的其他节点对应的权重值集合与该第二个节点对应的权重值集合可能不同。
预先设置全连接层(图中203)的每个节点对应商品的一个属性信息，对于本例，全连接层的每个节点对应鞋的一个属性。如图2，根据全连接层第二个节点Na对应的属性(记作a)和该第二个节点对应的权重值集合，得到鞋的属性a对应的权重值集合。
对于最后一个卷积层输出的特征图的每个位置，根据该位置在每个通道的特征值，以及鞋的各属性对应的权重值集合，分别计算该位置与各属性的相关程度值，例如，某位置(x0,y0)，其在最后一个卷积层输出的特征图的第k个通道层的数值(或称特征值)为fk(x0,y0)，那么该位置与属性a的相关程度值Ma(x0,y0)可以通过下式计算：
其中，1≤k≤n，n为最后一个卷积层输出特征图的通道总数量，wk为属性a对应的权重值集合，即图2中w1,w2,...wn的数值集合。
按照上述同样方法，可以计算最后一个卷积层输出的特征图的其他剩余位置与属性a的相关程度值，从而最后得到该特征图的每个位置与属性a的相关联的程度。
需要说明的是，本发明实施例的卷积神经网络的网络结构不限于图2所示的网络结构，采用各种分类网络与图2中的全局平均池化层、全连接层相组合(组合方式为分类网络的最后一个卷积层通过全局平均池化层与全连接层连接)而得到的网络结构均可以实现本发明的方案。分类网络是能够用于分类的卷积神经网络，例如VGG卷积神经网络等。
根据最后一个卷积层输出的特征图的每个位置与各属性信息的相关程度值，通过属性激活映射处理，生成每一属性信息在对象的图片中的对应区域图。例如，根据最后一个卷积层输出的特征图的每个位置与鞋的属性a的相关程度值，通过属性激活映射处理，即可生成如图3所示的热度图(图3中鞋的图片)，即为属性a在鞋的图片中的对应区域图，结合图2的鞋的图片中鞋的蝴蝶结位置，可知图3中热度较高的区域为蝴蝶结对应的区域(见图3鞋的图片中椭圆形白色圈及其内部区域)，本例中该属性a为与蝴蝶结有关的属性(例如装饰属性)。图3中每个方框代表特征图每个通道各点的特征值集合，例如方框“通道1”表示第1个通道的特征图各点的特征值集合。
将图2中鞋的图片和鞋的各属性(或称属性信息)在鞋的图片中的对应区域图输入图像转换网络进行图像转换，将图2中鞋的图片转换为简笔画图像，其中包括根据鞋的属性在鞋的图片中的对应区域图，生成简笔画图像中与各属性对应的图像细节。
本实施例图像转换网络以循环对抗生成网络(Cycle-GAN)为例，Cycle-GAN是GAN(对抗生成网络)的一种，是通过回路训练更可靠的风格转换网络。如图4所示，401为鞋的图片，位于鞋的图片后面的各灰色图片(402)是鞋的各属性信息在鞋的图片中的对应区域图。通过将属性在鞋的图片中的对应区域图作为鞋的图片的额外通道连接在RGB通道后(每个属性一个区域图，RGB通道即鞋的图片对应的通道)，一起作为Cycle-GAN的输入，可以有效指导Cycle-GAN对重点属性区域进行转换，从而产生更接近简笔画的结果，同时减少了非重点区域的噪音。
本发明实施例通过对商品属性的自动挖掘，通过属性的对应区域学习而学出与属性相关度高的区域，以及将属性对应区域图作为Cycle-GAN的额外通道输入，在转换简笔画时重点突出这些区域，能够使得图片转换为简笔画之后充分地体现图像中商品的重要细节，并减少边缘噪音，提升图像生成简笔画的转换效果。
图5是根据本发明实施例的图像处理装置的主要模块示意图。
如图5所示，本发明实施例的图像处理装置500主要包括：属性确定模块501、属性区域图生成模块502、图像转换模块503。
属性确定模块501，用于确定对象的属性信息。
属性确定模块501具体用于：从对象的图片对应的描述数据集中选出高频词汇，其中，描述数据集包括对象的描述信息，高频词汇为在描述数据集中出现频次大于预设阈值的词汇；按照预设规则训练选出的高频词汇对应的分类器，该分类器用于针对所述对象的图片与该高频词汇的描述是否一致进行分类；统计各分类器的分类精度，根据精度最高的预设数量的分类器对应的高频词汇确定对象的属性信息。
属性区域图生成模块502，用于利用深度学习模型确定属性信息在对象的图片中的对应区域图。
深度学习模型具体可以为卷积神经网络。
属性区域图生成模块502具体可以用于：根据全连接层的每一节点对应的权重值集合，以及每一节点与对象的属性信息之间的预设对应关系，得到对象的各属性信息对应的权重值集合，其中，每一权重值集合包括多个权重值，每个权重值对应特征图的一个通道，特征图由所述卷积神经网络的最后一个卷积层输出，全连接层位于卷积神经网络最后一层且通过全局平均池化层与最后一个卷积层连接；对于特征图的每个位置，根据该位置在每个通道的特征值，以及对象的各属性信息对应的权重值集合，分别计算该位置与各属性信息的相关程度值，一位置与一属性信息的相关程度值指示该位置与该属性信息的相关联的程度；根据该特征图的每个位置与各属性信息的相关程度值，通过属性激活映射处理，生成每一属性信息在对象的图片中的对应区域图。
图像转换模块503，用于将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到所述对象的简笔画图像。
图像转换模块503具体用于：将对象的图片转换为简笔画图像，其中包括根据属性信息在对象的图片中的对应区域图，生成简笔画图像中与属性信息对应的图像细节。
图像转换网络具体可以为循环对抗生成网络，本发明实施例也可以用其他对抗生成网络替代循环对抗生成网络。
另外，在本发明实施例中图像处理装置的具体实施内容，在上面所述图像处理方法中已经详细说明了，故在此重复内容不再说明。
图6示出了可以应用本发明实施例的图像处理方法或图像处理装置的示例性系统架构600。
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的图像处理方法一般由服务器605执行，相应地，图像处理装置一般设置于服务器605中。
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图7，其示出了适于用来实现本申请实施例的服务器的计算机系统700的结构示意图。图7示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本发明公开的实施例，上文参考主要步骤示意图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤示意图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的主要步骤示意图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，主要步骤示意图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或主要步骤示意图中的每个方框、以及框图或主要步骤示意图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括属性确定模块、属性区域图生成模块、图像转换模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，属性确定模块还可以被描述为“用于确定对象的属性信息的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：确定对象的属性信息；利用深度学习模型确定所述属性信息在所述对象的图片中的对应区域图；将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到所述对象的简笔画图像。
根据本发明实施例的技术方案，利用深度学习模型确定对象的属性信息在对象的图片中的对应区域图；将对象的图片和属性信息在对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到对象的简笔画图像。能够使得图片转换为简笔画之后充分地体现图像中对象的重要细节，并减少边缘噪音，提升图像生成简笔画的转换效果。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
确定对象的属性信息；
利用深度学习模型确定所述属性信息在所述对象的图片中的对应区域图；
将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到所述对象的简笔画图像。
2.根据权利要求1所述的方法，其特征在于，确定对象的属性信息的步骤，包括：
从所述对象的图片对应的描述数据集中选出高频词汇，所述描述数据集包括所述对象的描述信息，所述高频词汇为在所述描述数据集中出现频次大于预设阈值的词汇；
按照预设规则训练选出的高频词汇对应的分类器，所述分类器用于针对所述对象的图片与该高频词汇的描述是否一致进行分类；
统计各分类器的分类精度，根据精度最高的预设数量的分类器对应的高频词汇确定所述对象的属性信息。
3.根据权利要求1所述的方法，其特征在于，所述深度学习模型为卷积神经网络，
利用深度学习模型确定所述属性信息在所述对象的图片中的对应区域图的步骤，包括：
根据全连接层的每一节点对应的权重值集合，以及所述每一节点与所述对象的属性信息之间的预设对应关系，得到所述对象的各属性信息对应的权重值集合，其中，每一权重值集合包括多个权重值，每个权重值对应特征图的一个通道，所述特征图由所述卷积神经网络的最后一个卷积层输出，所述全连接层位于所述卷积神经网络最后一层且通过全局平均池化层与所述最后一个卷积层连接；
对于所述特征图的每个位置，根据该位置在每个所述通道的特征值，以及所述对象的各属性信息对应的权重值集合，分别计算该位置与各属性信息的相关程度值，一所述位置与一所述属性信息的相关程度值指示该位置与该属性信息的相关联的程度；
根据所述特征图的每个位置与各属性信息的相关程度值，通过属性激活映射处理，生成每一所述属性信息在所述对象的图片中的对应区域图。
4.根据权利要求1所述的方法，其特征在于，将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换的步骤，包括：
将所述对象的图片转换为简笔画图像，其中包括根据所述属性信息在所述对象的图片中的对应区域图，生成所述简笔画图像中与所述属性信息对应的图像细节。
5.根据权利要求1所述的方法，其特征在于，所述图像转换网络为对抗生成网络。
6.一种图像处理装置，其特征在于，包括：
属性确定模块，用于确定对象的属性信息；
属性区域图生成模块，用于利用深度学习模型确定所述属性信息在所述对象的图片中的对应区域图；
图像转换模块，用于将所述对象的图片和所述属性信息在所述对象的图片中的对应区域图输入图像转换网络进行图像转换，以得到所述对象的简笔画图像。
7.根据权利要求6所述的装置，其特征在于，所述属性确定模块还用于：
从所述对象的图片对应的描述数据集中选出高频词汇，所述描述数据集包括所述对象的描述信息，所述高频词汇为在所述描述数据集中出现频次大于预设阈值的词汇；
按照预设规则训练选出的高频词汇对应的分类器，所述分类器用于针对所述对象的图片与该高频词汇的描述是否一致进行分类；
统计各分类器的分类精度，根据精度最高的预设数量的分类器对应的高频词汇确定所述对象的属性信息。
8.根据权利要求6所述的装置，其特征在于，所述深度学习模型为卷积神经网络，
所述属性区域图生成模块还用于：
根据全连接层的每一节点对应的权重值集合，以及所述每一节点与所述对象的属性信息之间的预设对应关系，得到所述对象的各属性信息对应的权重值集合，其中，每一权重值集合包括多个权重值，每个权重值对应特征图的一个通道，所述特征图由所述卷积神经网络的最后一个卷积层输出，所述全连接层位于所述卷积神经网络最后一层且通过全局平均池化层与所述最后一个卷积层连接；
对于所述特征图的每个位置，根据该位置在每个所述通道的特征值，以及所述对象的各属性信息对应的权重值集合，分别计算该位置与各属性信息的相关程度值，一所述位置与一所述属性信息的相关程度值指示该位置与该属性信息的相关联的程度；
根据所述特征图的每个位置与各属性信息的相关程度值，通过属性激活映射处理，生成每一所述属性信息在所述对象的图片中的对应区域图。
9.根据权利要求6所述的装置，其特征在于，所述图像转换模块还用于：
将所述对象的图片转换为简笔画图像，其中包括根据所述属性信息在所述对象的图片中的对应区域图，生成所述简笔画图像中与所述属性信息对应的图像细节。
10.根据权利要求6所述的装置，其特征在于，所述图像转换网络为对抗生成网络。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910949246.6A CN112634123A (zh) | 2019-10-08 | 2019-10-08 | 一种图像处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910949246.6A CN112634123A (zh) | 2019-10-08 | 2019-10-08 | 一种图像处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112634123A true CN112634123A (zh) | 2021-04-09 |
Family
ID=75283002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910949246.6A Pending CN112634123A (zh) | 2019-10-08 | 2019-10-08 | 一种图像处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634123A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609536A (zh) * | 2017-09-29 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| US20180039867A1 (en) * | 2016-08-02 | 2018-02-08 | International Business Machines Corporation | Finding Missing Persons by Learning Features for Person Attribute Classification Based on Deep Learning |
| CN108345890A (zh) * | 2018-03-01 | 2018-07-31 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置和相关设备 |
| CN108537283A (zh) * | 2018-04-13 | 2018-09-14 | 厦门美图之家科技有限公司 | 一种图像分类方法及卷积神经网络生成方法 |
| CN109344762A (zh) * | 2018-09-26 | 2019-02-15 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN109446929A (zh) * | 2018-10-11 | 2019-03-08 | 浙江清华长三角研究院 | 一种基于增强现实技术的简笔画识别系统 |
-
2019
- 2019-10-08 CN CN201910949246.6A patent/CN112634123A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180039867A1 (en) * | 2016-08-02 | 2018-02-08 | International Business Machines Corporation | Finding Missing Persons by Learning Features for Person Attribute Classification Based on Deep Learning |
| CN107609536A (zh) * | 2017-09-29 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN108345890A (zh) * | 2018-03-01 | 2018-07-31 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置和相关设备 |
| CN108537283A (zh) * | 2018-04-13 | 2018-09-14 | 厦门美图之家科技有限公司 | 一种图像分类方法及卷积神经网络生成方法 |
| CN109344762A (zh) * | 2018-09-26 | 2019-02-15 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN109446929A (zh) * | 2018-10-11 | 2019-03-08 | 浙江清华长三角研究院 | 一种基于增强现实技术的简笔画识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657084B2 (en) | Correlating image annotations with foreground features | |
| CN106649890B (zh) | 数据存储方法和装置 | |
| WO2020155423A1 (zh) | 一种跨模态信息检索方法、装置和存储介质 | |
| CN110489582B (zh) | 个性化展示图像的生成方法及装置、电子设备 | |
| CN109918513B (zh) | 图像处理方法、装置、服务器及存储介质 | |
| US20190325616A1 (en) | Makeup Identification Using Deep Learning | |
| KR20210124111A (ko) | 모델을 훈련하기 위한 방법, 장치, 기기, 매체 및 프로그램 제품 | |
| WO2020233432A1 (zh) | 一种信息推荐方法及装置 | |
| CN111522927A (zh) | 基于知识图谱的实体查询方法和装置 | |
| CN111967467A (zh) | 图像目标检测方法、装置、电子设备和计算机可读介质 | |
| CN113657087B (zh) | 信息的匹配方法及装置 | |
| AU2018202767A1 (en) | Data structure and algorithm for tag less search and svg retrieval | |
| CN111310074A (zh) | 兴趣点的标签优化方法、装置、电子设备和计算机可读介质 | |
| CN108268510B (zh) | 一种图像标注方法和装置 | |
| US20230035366A1 (en) | Image classification model training method and apparatus, computer device, and storage medium | |
| CN113434716A (zh) | 一种跨模态信息检索方法和装置 | |
| CN110633717A (zh) | 一种目标检测模型的训练方法和装置 | |
| CN110059172B (zh) | 基于自然语言理解的推荐答案的方法和装置 | |
| CN111209351A (zh) | 对象关系预测、对象推荐方法及装置、电子设备、介质 | |
| CN114565768A (zh) | 图像分割方法及装置 | |
| CN114266937A (zh) | 模型训练、图像处理方法，装置，设备以及存储介质 | |
| CN113850714A (zh) | 图像风格转换模型的训练、图像风格转换方法及相关装置 | |
| CN116863116A (zh) | 基于人工智能的图像识别方法、装置、设备及介质 | |
| CN111598000A (zh) | 基于多任务的人脸识别方法、装置、服务器和可读存储介质 | |
| JP2014078100A (ja) | 配信装置及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |