CN110163222A - 一种图像识别的方法、模型训练的方法以及服务器 - Google Patents
一种图像识别的方法、模型训练的方法以及服务器 Download PDFInfo
- Publication number
- CN110163222A CN110163222A CN201811169065.3A CN201811169065A CN110163222A CN 110163222 A CN110163222 A CN 110163222A CN 201811169065 A CN201811169065 A CN 201811169065A CN 110163222 A CN110163222 A CN 110163222A
- Authority
- CN
- China
- Prior art keywords
- image
- sketch
- trained
- sketch image
- natural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像识别的方法，包括：获取待识别的目标素描图像，其中，目标素描图像为线条化图像；通过素描图像识别模型获取目标素描图像的目标特征信息，其中，素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，自然图像集合包括至少一个自然图像，素描图像集合包括至少一个素描图像，自然图像为非线条化图像，素描图像为线条化图像；根据目标特征信息确定目标素描图像所对应的图像识别结果。本发明实施例还提供了一种模型训练的方法以及服务器。本实施例利用自然图像和素描图像共同训练得到用于识别素描图像的素描图像识别模型，能够有效地提升素描图像的识别能力，从而有利于增加素描图像识别的准确率。
Description
技术领域
本发明涉及人工智能处理领域，尤其一种图像识别的方法、模型训练的方法以及服务器。
背景技术
近年来，人工智能(Artificial Intelligence，AI)的应用越来越广泛。AI领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。在图像识别领域中，AI能够自动地对图片进行归类和判别。
目前，在使用深度神经网络对图像进行分类时，主要是先训练一个图像特征提取的模型，然后使用分类器对图像的特征进行分类和识别。
然而，对于素描图像而言往往具有较少的特征。由于素描图像的特征有限，因此，在使用分类器对素描图像的特征进行分类时，不利于保证图像识别的准确率。
发明内容
本发明实施例提供了一种图像识别的方法、模型训练的方法以及服务器，利用自然图像和素描图像共同训练得到用于识别素描图像的素描图像识别模型，能够有效地提升素描图像的识别能力，从而有利于增加素描图像识别的准确率。
有鉴于此，本发明的第一方面提供了一种图像识别的方法，包括：
获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像；
根据所述目标特征信息确定所述目标素描图像所对应的图像识别结果。
本发明的第二方面提供了一种模型训练的方法，包括：
获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像；
获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息；
根据所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
根据所述模型调节参数训练得到素描图像识别模型。
本发明的第三方面提供了一种服务器，包括：
获取模块，用于获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
所述获取模块，还用于通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像；
确定模块，用于根据所述获取模块获取的所述目标特征信息确定所述目标素描图像所对应的图像识别结果。
本发明的第四方面提供了一种服务器，包括：
获取模块，用于获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像；
所述获取模块，还用于获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息；
确定模块，用于根据所述获取模块获取的所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
训练模块，用于根据所述确定模块确定的所述模型调节参数训练得到素描图像识别模型。
本发明的第五方面提供了一种服务器，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像；
根据所述目标特征信息确定所述目标素描图像所对应的图像识别结果；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本发明的第六方面提供了一种服务器，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像；
获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息；
根据所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
根据所述模型调节参数训练得到素描图像识别模型；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本发明的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，提供了一种图像识别的方法，首先，服务器获取待识别的目标素描图像，标素描图像为线条化图像，然后服务器通过素描图像识别模型获取目标素描图像的目标特征信息，该素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，自然图像集合包括至少一个自然图像，素描图像集合包括至少一个素描图像，自然图像为非线条化图像，素描图像为线条化图像，最后，由服务器根据目标特征信息确定目标素描图像所对应的图像识别结果。通过上述方式，利用自然图像和素描图像共同训练得到用于识别素描图像的素描图像识别模型，能够有效地提升素描图像的识别能力，从而有利于增加素描图像识别的准确率。
附图说明
图1为本发明实施例中图像识别系统的一个架构示意图；
图2为本发明实施例中图像识别的方法一个实施例示意图；
图3为本发明实施例中模型训练的方法一个实施例示意图；
图4为本发明实施例中素描图像的一个示意图；
图5为本发明实施例中自然图像的一个示意图；
图6为本发明实施例中模型训练的一个整体框架示意图；
图7为本发明实施例中服务器一个实施例示意图；
图8为本发明实施例中服务器一个实施例示意图；
图9为本发明实施例中服务器另一个实施例示意图；
图10为本发明实施例中服务器一个结构示意图。
具体实施方式
本发明实施例提供了一种图像识别的方法、模型训练的方法以及服务器，利用自然图像和素描图像共同训练得到用于识别素描图像的素描图像识别模型，能够有效地提升素描图像的识别能力，从而有利于增加素描图像识别的准确率。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本发明可以基于生成式对抗网络(generative adversarial networks，GAN)来训练得到素描图像识别模型。可以应用于云端对数据库中出现的素描图像进行分类。本发明主要是通过深度神经网络完成素描图像特征提取和分类。具体而言，首先训练得到一个比较好的自然图像识别模型，之后在训练素描图像的特征提取模型时，利用自然图像训练得到的模型协助训练，使模型提取到一种比较有区分力的素描图像特征，根据该图像特征进行多类别的素描图像分类。本发明能有效地对多类别的素描图像进行分类，从而能够自动地对素描图像进行归类和判别。
本发明可以应用于素描图片的识别服务。在后台服务器对素描图像进行特征提取之后，使用经典的分类器模型对提取到的素描图像进行分类，从而实现在服务器端对素描图像进行自动化分类。也可部署在搜索类网络中，对用户上传的素描图像进行快速搜索与匹配内容。还可以用于素描图像的个性化推荐。
请参阅图1，图1为本发明实施例中图像识别系统的一个架构示意图，如图所示，用户可以通过终端设备发起素描图像的识别请求，服务器接收终端设备之后，根据预先训练得到的素描图像识别模型可以生成素描图像的识别结果。需要说明的是，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机以及个人电脑(personal computer，PC)，此处不做限定。
而服务器则通过GAN训练得到素描图像识别模型。这里以生成图片为例进行说明。假设我们有两个网络，分别为生成网络(Generator，G)和判别网络(Discriminator，D)。G网络是一个生成图片的网络，它接收一个随机的噪声z，然后通过这个噪声生成图片，记做G(z)。
D网络是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D(x)代表x为真实图片的概率，如果为1，就代表100％是真实的图片，而输出为0，就代表不可能是真实的图片。
在训练过程中，生成网络的目标就是尽量生成真实的图片去欺骗判别网络。而判别网络的目标就是尽量把生成网络生成的图片和真实的图片分别开来。这样，生成网络和判别网络构成了一个动态的博弈过程。在最理想的状态下，生成网络可以生成足以“以假乱真”的图片G(z)。对于判别网络来说，它难以判定生成网络生成的图片究竟是不是真实的，因此D(G(z))＝0.5。
这样我们的目的就达成了，即得到了一个生成模型，它可以用来生成图片。在模型收敛时，生成数据具有和真实数据相同的分布，从而保证了模型效果。
下面将从服务器的角度，对本发明中图像识别的方法进行介绍，请参阅图2，本发明实施例中图像识别的方法一个实施例包括：
101、获取待识别的目标素描图像，其中，目标素描图像为线条化图像；
本实施例中，服务器首先获取待识别的目标素描图像，这里的目标素描图像是指线条化的图像，这里的线条颜色可以是黑白的，也可以是彩色的，此处不做限定。与素描图像不同的是自然图像，自然图像可以是黑白的，也可以是彩色的，但是不由线条组成。相对于自然图像而言，素描图像比较抽象，所包含的细节信息较少，并且缺乏颜色信息和纹理信息。
102、通过素描图像识别模型获取目标素描图像的目标特征信息，其中，素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，自然图像集合包括至少一个自然图像，素描图像集合包括至少一个素描图像，自然图像为非线条化图像，素描图像为线条化图像；
本实施例中，服务器将目标素描图像输入至预先训练得到的素描图像识别模型，然后通过素描图像识别模型输出该目标素描图像的目标特征信息。这里的素描图像识别模型是通过多个自然图像和多个素描图像训练得到的，也就是说，基于一组训练好的自然图像识别网络来监督训练素描图像识别模型，从而提升服务器对素描图像的识别能力。
103、根据目标特征信息确定目标素描图像所对应的图像识别结果。
本实施例中，服务器可以得到目标素描图像的目标特征信息，其中，目标特征信息与最终的图像识别结果之间具有对应关系。为了便于介绍，请参阅表1，表1为特征信息与图像识别结果之间的对应关系一个示意。
表1
| 特征信息 | 图像识别结果 |
| 0000 | 熊猫 |
| 0001 | 兔子 |
| 0010 | 房子 |
| 0011 | 船 |
| 0100 | 电脑 |
| 0101 | 汽车 |
| 0111 | 手机 |
可以理解的是，特征信息仅为一个示意，在实际应用中，特征信息还可以是其他的形式，不同的特征信息可以对应不同的图像识别结果。
本发明实施例中，提供了一种图像识别的方法，首先，服务器获取待识别的目标素描图像，标素描图像为线条化图像，然后服务器通过素描图像识别模型获取目标素描图像的目标特征信息，该素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，自然图像集合包括至少一个自然图像，素描图像集合包括至少一个素描图像，自然图像为非线条化图像，素描图像为线条化图像，最后，由服务器根据目标特征信息确定目标素描图像所对应的图像识别结果。通过上述方式，利用自然图像和素描图像共同训练得到用于识别素描图像的素描图像识别模型，能够有效地提升素描图像的识别能力，从而有利于增加素描图像识别的准确率。
下面将从服务器的角度，对本发明中模型训练的方法进行介绍，请参阅图3，本发明实施例中模型训练的方法一个实施例包括：
201、获取待训练的自然图像集合以及待训练的素描图像集合，其中，自然图像集合包括至少一个自然图像，素描图像集合包括至少一个素描图像，自然图像为非线条化图像，素描图像为线条化图像，待训练的自然图像集合与待训练的素描图像集合属于同一类别的图像；
本实施例中，将介绍服务器如何训练得到用于识别素描图像的素描图像识别模型。首先，服务器需要获取大量的待训练自然图像集合以及待训练素描图像集合，其中，待训练的自然图像集合往往可以包括多个自然图像，而待训练的素描图像集合往往可以包括多个素描图像。这是因为足够多的样本有利于提升模型训练的鲁棒性。在训练素描图像识别模型的过程中，可以将同一类别图像集合作为输入，比如采用10000张“小猪”的素描图像以及10000张“小猪”的自然图像作为模型训练的输入，利用“小猪”的自然图像特征和“小猪”的素描图像特征共同训练素描图像识别模型，使得素描图像识别模型能够更好识别与“小猪”素描图像的特征。
为了便于介绍，请参阅图4，图4为本发明实施例中素描图像的一个示意图，如图所示，素描图像是由线条构成的，而图5所示的自然图像则不具有线条化的特征，通常是一张图片，图片包括颜色以及纹理等特征。
202、获取待训练的自然图像集合的第一特征信息，以及获取待训练的素描图像集合的第二特征信息，其中，第一特征信息为待训练的自然图像集合中各个自然图像的特征信息，第二特征信息为待训练的素描图像集合中各个素描图像的特征信息；
本实施例中，服务器先获取一组待训练的自然图像集合中各个自然图像的第一特征信息，此外，服务器还需要获取一组待训练的素描图像集合中各个素描图像的第二特征信息。
203、根据第一特征信息以及第二特征信息确定模型调节参数，其中，模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
本实施例中，服务器结合各个自然图像的第一特征信息以及各个素描图像的第二特征信息，计算得到模型调节参数。模型调节参数包括第一损失参数、第二损失参数以及第三损失参数，其中，第一损失参数对应于第一损失函数，第二损失参数对应于第二损失函数，第三损失参数对应于第三损失函数，三个损失参数协同调节素描图像识别模型，从而对素描图像识别模型进行训练。
204、根据模型调节参数训练得到素描图像识别模型。
本实施例中，最后，服务器利用生成的模型调节参数训练得到素描图像识别模型。
本发明实施例中，提供了一种模型训练的方法，首先，服务器获取待训练的自然图像集合以及待训练的素描图像集合，然后获取待训练的自然图像集合的第一特征信息，以及获取待训练的素描图像集合的第二特征信息，接下来，服务器根据第一特征信息以及第二特征信息确定模型调节参数，其中，模型调节参数包括第一损失参数、第二损失参数以及第三损失参数。最后根据模型调节参数训练得到素描图像识别模型。通过上述方式，同时利用素描图像和自然图像训练得到用于识别素描图像的模型，从而能够有效地提升素描图像的识别能力，有利于增加素描图像识别的准确率。
可选地，在上述图3对应的实施例的基础上，本发明实施例提供模型训练的方法第一个可选实施例中，获取待训练的自然图像集合的第一特征信息，可以包括：
通过自然图像识别模型获取待训练的自然图像集合中每个自然图像的第一特征信息，其中，自然图像识别模型为预先训练得到的；
获取待训练的素描图像集合的第二特征信息，可以包括：
通过待训练素描图像识别模型获取待训练的素描图像集合中每个素描图像的第二特征信息，其中，待训练素描图像识别模型的图像类别数量与自然图像识别模型的图像类别数量一致；
根据模型调节参数训练得到素描图像识别模型，可以包括：
根据模型调节参数对待训练素描图像识别模型进行训练，得到素描图像识别模型。
本实施例中，服务器训练素描图像识别模型的过程主要为，服务器首先利用自然图像识别模型获取待训练的自然图像集合中每个自然图像的第一特征信息。其中，自然图像识别模型是预先训练得到的，在获取自然图像识别模型之后，将该模型的网络参数固定起来，这些网络参数用于对待训练素描图像识别模型进行训练。而待训练素描图像识别模型是指需要反复进行训练的模型，利用待训练素描图像识别模型可以获取每个素描图像的第二特征信息。服务器根据第一特征信息和第二特征信息生成模型调节参数，最后，服务器根据模型调节参数对待训练素描图像识别模型进行训练，得到素描图像识别模型。
可以理解的是，本方案中的自然图像识别模型主要是基于卷积神经网络(Convolutional Neural Network，CNN)是生成的。机器学习中，CNN是一种深度前馈人工神经网络，已成功地应用于图像识别。CNN包括卷积层和池化层。CNN还包括一维CNN、二维CNN以及三维CNN。一维CNN常应用于序列类的数据处理，二维CNN常应用于图像类文本的识别，而三维CNN主要应用于医学图像以及视频类数据识别。
自然图像识别模型可以利用具有残差网络的结构进行训练，残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用(退化问题)，这样能够通过单纯地增加网络深度，来提高网络性能。对于自然图像的数据库而言，往往具有非常多的类别，比如1000类，而对于素描图像而言，通常没有这么多的类型，比如只有200类。因此，挑选出与素描图像相同类别的自然图像进行训练，也就需要将自然图像的类别进行整合，从而使得待训练素描图像识别模型的图像类别数量与自然图像识别模型的图像类别数量一致。
其次，本发明实施例中，介绍了如何训练得到素描图像识别模型的过程，即首先服务器通过自然图像识别模型获取待训练的自然图像集合中每个自然图像的第一特征信息，然后通过待训练素描图像识别模型获取待训练的素描图像集合中每个素描图像的第二特征信息，随后根据模型调节参数对待训练素描图像识别模型进行训练，得到素描图像识别模型。通过上述方式，利用一个已经固定的自然图像识别模型，以及一个待训练素描图像识别模型可以分别得到不同的特征信息，根据特征信息训练得到更接近实际需求的素描图像识别模型，从而提升方案的可靠性。
可选地，在上述图3以及图3对应的第一个实施例的基础上，本发明实施例提供模型训练的方法第二个可选实施例中，根据第一特征信息以及第二特征信息确定模型调节参数，可以包括：
根据第一特征信息以及第二特征信息计算第一损失参数；
根据第一特征信息、第二特征信息以及判别网络计算第二损失参数；
根据待训练的素描图像集合的第一分类结果与待训练的素描图像集合的第二分类结果，计算第三损失参数，其中，第一分类结果为预测得到的分类结果，第二分类结果为实际得到的分类结果；
根据第一损失参数、第二损失参数以及第三损失参数，计算模型调节参数。
本实施例中，利用三个损失参数生成的模型调节参数，可以用于调节和训练素描图像识别模型。通常情况下，模型调节参数的值越小，表示素描图像识别模型的鲁棒性越好，而模型调节参数与损失参数相关，损失参数即为损失函数的输出结果。
具体地，服务器可以根据第一特征信息以及第二特征信息计算第一损失参数，并且根据第一特征信息、第二特征信息以及判别网络计算第二损失参数，并且根据待训练的素描图像集合的第一分类结果与待训练的素描图像集合的第二分类结果，计算第三损失参数，其中，第一分类结果为预测得到的分类结果，第二分类结果为实际得到的分类结果。最后，服务器根据第一损失参数、第二损失参数以及第三损失参数，计算模型调节参数。其中，第一损失参数对应于第一损失函数，第二损失参数对应于第二损失函数，第三损失参数对应于第三损失函数。
在统计学，统计决策理论和经济学中，损失函数是指一种将一个事件(在一个样本空间中的一个元素)映射到一个表达与其事件相关的经济成本或机会成本的实数上的一种函数。在统计学中损失函数是一种衡量损失和错误(这种损失与错误的估计有关，如费用或者设备的损失)程度的函数。
再次，本发明实施例中，介绍了如何根据第一特征信息以及第二特征信息确定模型调节参数，即需要分别获取第一损失参数、第二损失参数以及第三损失参数，结合第一损失参数、第二损失参数以及第三损失参数，计算模型调节参数。通过上述方式，利用多个损失参数来调节素描图像识别模型，其中，多个损失参数越小，表示素描图像识别模型的鲁棒性越好，由此，提升方案的可操作性。
可选地，在上述图3对应的第二个实施例的基础上，本发明实施例提供模型训练的方法第三个可选实施例中，根据第一特征信息以及第二特征信息计算第一损失参数，可以包括：
采用如下方式计算第一损失参数：
其中，Ldis表示第一损失参数，T1表示第一特征信息，T2表示第二特征信息，z表示待训练的自然图像集合，x表示待训练的素描图像集合，T1(z)表示待训练的自然图像集合的第一特征信息，T2(x)表示待训练的素描图像集合的第二特征信息。
本实施例中，在训练素描图像识别模型的时候，可以将自然图像识别模型一同放入训练框架中，在训练过程中，我们将素描图像送入待训练素描图像识别模型，然后将其同类的自然图像送入自然图像识别模型中，这个时候，两个网络结构会提取到两组不同的特征(即第一图像特征以及第二图像特征)，我们固定自然图像识别模型的参数，调节待训练素描图像识别模型，调节过程中，我们使用了三组损失函数来训练我们的待训练素描图像识别模型。其中，第一个损失函数的表示方式如下所示：
这里的Ldis表示第一损失参数，T1表示第一特征信息，T2表示第二特征信息，z表示待训练的自然图像集合，x表示待训练的素描图像集合，T1(z)表示待训练的自然图像集合的第一特征信息，T2(x)表示待训练的素描图像集合的第二特征信息。
第一损失参数相当于计算第一特征信息和第二特征信息之间的欧氏距离，该第一损失参数越小，说明两者之间的差距越小。
进一步地，本发明实施例中，介绍了一种根据第一特征信息以及第二特征信息计算第一损失参数的方式。通过上述方式，可以为计算第一损失参数提供可靠的手段，从而提升方案的可行性和可操作性。
可选地，在上述图3对应的第二个实施例的基础上，本发明实施例提供模型训练的方法第四个可选实施例中，根据第一特征信息、第二特征信息以及判别网络计算第二损失参数，可以包括：
采用如下方式计算第二损失参数：
其中，Ladv表示第二损失参数，Ε表示期望值计算，D表示判别器网络，判别器网络用于对图像的类型进行判定，min表示最小值计算，max表示最大值计算，T1表示第一特征信息，T2表示第二特征信息，z表示待训练的自然图像集合，x表示待训练的素描图像集合，T1(z)表示待训练的自然图像集合的第一特征信息，T2(x)表示待训练的素描图像集合的第二特征信息。
本实施例中，将介绍如何利用一个二值分类损失对待训练素描图像识别模型进行训练，从而使得素描图像的特征尽可能的接近自然图像的特征，该二值分类损失即为第二损失函数。其中，第二个损失函数的表示方式如下所示：
这里的Ladv表示第二损失参数，Ε表示期望值计算，D表示判别器网络，判别器网络用于对图像的类型进行判定，min表示最小值计算，max表示最大值计算，T1表示第一特征信息，T2表示第二特征信息，z表示待训练的自然图像集合，x表示待训练的素描图像集合，T1(z)表示待训练的自然图像集合的第一特征信息，T2(x)表示待训练的素描图像集合的第二特征信息。
进一步地，本发明实施例中，介绍了一种根据第一特征信息、第二特征信息以及判别网络计算第二损失参数的方式。通过上述方式，可以为计算第二损失参数提供可靠的手段，从而提升方案的可行性和可操作性。
可选地，在上述图3对应的第二个实施例的基础上，本发明实施例提供模型训练的方法第五个可选实施例中，根据待训练的素描图像集合的第一分类结果与待训练的素描图像集合的第二分类结果，计算第三损失参数，可以包括：
采用如下方式计算第三损失参数：
Lcla＝∑P(x)logQ(x)；
其中，Lcla表示第三损失参数，P(x)表示待训练的素描图像集合的第一分类结果，Q(x)表示待训练的素描图像集合的第二分类结果。
本实施例中，将介绍如何利用素描图像的分类损失对待训练素描图像识别模型进行训练，该素描图像的分类损失即为第三损失函数。其中，第三个损失函数的表示方式如下所示：
Lcla＝∑P(x)logQ(x)；
这里的Lcla表示第三损失参数，P(x)表示待训练的素描图像集合的第一分类结果，也就是代表通过待训练素描图像识别模型预测得到的分类结果，Q(x)表示待训练的素描图像集合的第二分类结果，也就是代表素描图像的真实分类结果。
进一步地，本发明实施例中，介绍了一种根据待训练的素描图像集合的第一分类结果与待训练的素描图像集合的第二分类结果，计算第三损失参数的方式。通过上述方式，可以为计算第三损失参数提供可靠的手段，从而提升方案的可行性和可操作性。
可选地，在上述图3对应的第二个实施例的基础上，本发明实施例提供模型训练的方法第六个可选实施例中，根据第一损失参数、第二损失参数以及第三损失参数，计算模型调节参数，可以包括：
采用如下方式计算模型调节参数：
L＝Ldis+α·Ladv+β·Lcla；
其中，L表示模型调节参数，Ldis表示第一损失参数，Ladv表示第二损失参数，Lcla表示第三损失参数，α表示第一权重值，β表示第二权重值。
本实施例中，服务器在获取到第一损失参数、第二损失参数和第三损失参数之后，可以利用如下方式计算模型调节参数：
L＝Ldis+α·Ladv+β·Lcla；
其中，L表示模型调节参数，Ldis表示第一损失参数，Ladv表示第二损失参数，Lcla表示第三损失参数，α表示第一权重值，β表示第二权重值。
需要说明的是，第一权重值和第二权重值可以根据实际情况进行设定，此处不做限定。
进一步地，本发明实施例中，介绍了一种根据第一损失参数、第二损失参数以及第三损失参数，计算模型调节参数的方法。通过上述方式，可以为计算模型调节参数提供可靠的手段，从而提升方案的可行性和可操作性。
可选地，在上述图3对应的实施例的基础上，本发明实施例提供模型训练的方法第七个可选实施例中，根据模型调节参数训练得到素描图像识别模型之后，还可以包括：
获取待识别的目标素描图像，其中，目标素描图像为线条化图像；
通过仓库网络模型获取目标素描图像的第一目标特征信息，其中，仓库网络模型为待训练的自然图像集合以及待训练的素描图像集合训练得到的；
通过素描图像识别模型获取目标素描图像的第二目标特征信息；
根据第一目标特征信息以及第二目标特征信息，确定目标素描图像所对应的图像识别结果。
本实施例中，在服务器训练得到素描图像识别模型之后，即可对待识别的目标素描图像进行识别。首先，服务器获取待识别的目标素描图像，然后将目标素描图像输入至仓库网络模型，由仓库网络模型输出第一目标特征信息。与此同时，将目标素描图像输入至素描图像识别模型，由素描图像识别模型输出第二目标特征信息。最后，服务器结合第一目标特征信息和第二目标特征信息得到目标素描图像的图像识别结果。
为了便于介绍，请参阅图6，图6为本发明实施例中模型训练的一个整体框架示意图，如图所示，对于素描图像的识别，首先我们需要训练一个自然图像识别模型，在获得该自然图像识别模型之后，将该自然图像识别模型的参数固定起来。之后用于训练素描图像识别模型，在这个过程中，我们使用三个损失函数进行监督，首先是根据自然图像和素描图像所提取的特征，计算第一损失函数所对应的第一损失参数，使自然图像的特征和素描图像的特征尽可能相近。第二个损失函数是使用一种二值分类器，对提取的特征进行判断，使提取的素描图像的特征更好的接近自然图像的特征。而第三个损失函数是素描图像的分类器。最后为了得到更具有区分力的特征，可以根据自然图像与素描图像的区别，学习一个仓库网络模型，这个仓库网络模型可以学习到一组新的特征，将新的特征加入到素描图像特征中，随后进行分类。
其次，本发明实施例中，在服务器训练得到素描图像识别模型之后，还可以获取待识别的目标素描图像，通过仓库网络模型获取目标素描图像的第一目标特征信息，同时，通过素描图像识别模型获取目标素描图像的第二目标特征信息，最后，服务器结合第一目标特征信息以及第二目标特征信息，确定目标素描图像所对应的图像识别结果。通过上述方式，由于与自然图片相比，素描图片缺少很多信息，因此，为了增加这类信息，使素描图像特征尽可能的与自然图像特征更为相似，可以建立仓库网络模型，从而有效地增强素描图像的特征，有利于素描图像分类的准确性。
可选地，在上述图3对应的第七个实施例的基础上，本发明实施例提供模型训练的方法第八个可选实施例中，通过仓库网络模型获取目标素描图像的第一目标特征信息之前，还可以包括：
根据待训练的自然图像集合以及待训练的素描图像集合，计算得到图像差别值；
根据图像差别值对仓库网络模型进行训练；
其中，根据待训练的自然图像集合以及待训练的素描图像集合，计算得到图像差别值，包括：
采用如下方式计算图像差别值：
其中，Δw表示图像差别值，Ψ表示仓库网络模型，m表示送入至仓库网络模型中自然图像的数量，zi表示待训练的自然图像集合中的第i个自然图像，n表示送入至仓库网络模型中素描图像的数量，xj表示待训练的素描图像集合中的第j个素描图像。
本实施例中，与自然图像相比，素描图像缺少很多信息，比如颜色以及纹理等等，为了增加这类信息，使素描图像的特征尽可能与自然图像的特征相似，我们建立了一个仓库网络模型，将素描图像的特征送入至仓库网络模型，得到一组近似于自然图像的特征，然后将该特征加入到之前提取到了素描图像中，从而一起进行分类。这里需要利用图像差别值对仓库网络模型进行训练，而图像差别值的计算方式如下：
其中，Δw表示图像差别值，Ψ表示仓库网络模型，m表示送入至仓库网络模型中自然图像的数量，zi表示待训练的自然图像集合中的第i个自然图像，n表示送入至仓库网络模型中素描图像的数量，xj表示待训练的素描图像集合中的第j个素描图像。
再次，本发明实施例中，可以根据待训练的自然图像集合以及待训练的素描图像集合，计算得到图像差别值，然后根据图像差别值对仓库网络模型进行训练。通过上述方式，为计算仓库网络模型提供可靠的手段，从而提升方案的可行性和可操作性。
下面对本发明中的服务器进行详细描述，请参阅图7，图7为本发明实施例中服务器一个实施例示意图，服务器30包括：
获取模块301，用于获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
所述获取模块301，还用于通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像；
确定模块302，用于根据所述获取模块301获取的所述目标特征信息确定所述目标素描图像所对应的图像识别结果。
本实施例中，获取模块301获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像，所述获取模块301通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，确定模块302根据所述获取模块301获取的所述目标特征信息确定所述目标素描图像所对应的图像识别结果。
本发明实施例中，提供了一种服务器，首先，服务器获取待识别的目标素描图像，标素描图像为线条化图像，然后服务器通过素描图像识别模型获取目标素描图像的目标特征信息，该素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，自然图像集合包括至少一个自然图像，素描图像集合包括至少一个素描图像，自然图像为非线条化图像，素描图像为线条化图像，最后，由服务器根据目标特征信息确定目标素描图像所对应的图像识别结果。通过上述方式，利用自然图像和素描图像共同训练得到用于识别素描图像的素描图像识别模型，能够有效地提升素描图像的识别能力，从而有利于增加素描图像识别的准确率。
下面对本发明中的服务器进行详细描述，请参阅图8，图8为本发明实施例中服务器一个实施例示意图，服务器40包括：
获取模块401，用于获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像；
所述获取模块401，还用于获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息；
确定模块402，用于根据所述获取模块401获取的所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
训练模块403，用于根据所述确定模块402确定的所述模型调节参数训练得到素描图像识别模型。
本实施例中，获取模块401获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像，所述获取模块401获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息，确定模块402根据所述获取模块401获取的所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数，训练模块403根据所述确定模块402确定的所述模型调节参数训练得到素描图像识别模型。
本发明实施例中，提供了一种模型训练的方法，首先，服务器获取待训练的自然图像集合以及待训练的素描图像集合，然后获取待训练的自然图像集合的第一特征信息，以及获取待训练的素描图像集合的第二特征信息，接下来，服务器根据第一特征信息以及第二特征信息确定模型调节参数，其中，模型调节参数包括第一损失参数、第二损失参数以及第三损失参数。最后根据模型调节参数训练得到素描图像识别模型。通过上述方式，同时利用素描图像和自然图像训练得到用于识别素描图像的模型，从而能够有效地提升素描图像的识别能力，有利于增加素描图像识别的准确率。
可选地，在上述图8所对应的实施例的基础上，本发明实施例提供的服务器40的另一实施例中，
所述获取模块401，具体用于通过自然图像识别模型获取所述待训练的自然图像集合中每个自然图像的第一特征信息，其中，所述自然图像识别模型为预先训练得到的；
通过待训练素描图像识别模型获取所述待训练的素描图像集合中每个素描图像的第二特征信息，其中，所述待训练素描图像识别模型的图像类别数量与所述自然图像识别模型的图像类别数量一致；
所述训练模块403，具体用于根据所述模型调节参数对所述待训练素描图像识别模型进行训练，得到所述素描图像识别模型。
其次，本发明实施例中，介绍了如何训练得到素描图像识别模型的过程，即首先服务器通过自然图像识别模型获取待训练的自然图像集合中每个自然图像的第一特征信息，然后通过待训练素描图像识别模型获取待训练的素描图像集合中每个素描图像的第二特征信息，随后根据模型调节参数对待训练素描图像识别模型进行训练，得到素描图像识别模型。通过上述方式，利用一个已经固定的自然图像识别模型，以及一个待训练素描图像识别模型可以分别得到不同的特征信息，根据特征信息训练得到更接近实际需求的素描图像识别模型，从而提升方案的可靠性。
可选地，在上述图8所对应的实施例的基础上，本发明实施例提供的服务器40的另一实施例中，
所述确定模块402，用于根据所述第一特征信息以及所述第二特征信息计算所述第一损失参数；
根据所述第一特征信息、所述第二特征信息以及判别网络计算所述第二损失参数；
根据所述待训练的素描图像集合的第一分类结果与所述待训练的素描图像集合的第二分类结果，计算所述第三损失参数，其中，所述第一分类结果为预测得到的分类结果，所述第二分类结果为实际得到的分类结果；
根据所述第一损失参数、所述第二损失参数以及所述第三损失参数，计算所述模型调节参数。
再次，本发明实施例中，介绍了如何根据第一特征信息以及第二特征信息确定模型调节参数，即需要分别获取第一损失参数、第二损失参数以及第三损失参数，结合第一损失参数、第二损失参数以及第三损失参数，计算模型调节参数。通过上述方式，利用多个损失参数来调节素描图像识别模型，其中，多个损失参数越小，表示素描图像识别模型的鲁棒性越好，由此，提升方案的可操作性。
可选地，在上述图8所对应的实施例的基础上，本发明实施例提供的服务器40的另一实施例中，
所述确定模块402，具体用于采用如下方式计算所述第一损失参数：
其中，所述Ldis表示所述第一损失参数，所述T1表示第一特征信息，所述T2表示第二特征信息，所述z表示所述待训练的自然图像集合，所述x表示所述待训练的素描图像集合，所述T1(z)表示所述待训练的自然图像集合的第一特征信息，所述T2(x)表示所述待训练的素描图像集合的第二特征信息。
进一步地，本发明实施例中，介绍了一种根据第一特征信息以及第二特征信息计算第一损失参数的方式。通过上述方式，可以为计算第一损失参数提供可靠的手段，从而提升方案的可行性和可操作性。
可选地，在上述图8所对应的实施例的基础上，本发明实施例提供的服务器40的另一实施例中，
所述确定模块402，用于采用如下方式计算所述第二损失参数：
其中，所述Ladv表示所述第二损失参数，所述Ε表示期望值计算，所述D表示判别器网络，所述判别器网络用于对图像的类型进行判定，所述min表示最小值计算，所述max表示最大值计算，所述T1表示第一特征信息，所述T2表示第二特征信息，所述z表示所述待训练的自然图像集合，所述x表示所述待训练的素描图像集合，所述T1(z)表示所述待训练的自然图像集合的第一特征信息，所述T2(x)表示所述待训练的素描图像集合的第二特征信息。
进一步地，本发明实施例中，介绍了一种根据第一特征信息、第二特征信息以及判别网络计算第二损失参数的方式。通过上述方式，可以为计算第二损失参数提供可靠的手段，从而提升方案的可行性和可操作性。
可选地，在上述图8所对应的实施例的基础上，本发明实施例提供的服务器40的另一实施例中，
所述确定模块402，用于采用如下方式计算所述第三损失参数：
Lcla＝∑P(x)logQ(x)；
其中，所述Lcla表示所述第三损失参数，所述P(x)表示所述待训练的素描图像集合的第一分类结果，所述Q(x)表示所述待训练的素描图像集合的第二分类结果。
进一步地，本发明实施例中，介绍了一种根据待训练的素描图像集合的第一分类结果与待训练的素描图像集合的第二分类结果，计算第三损失参数的方式。通过上述方式，可以为计算第三损失参数提供可靠的手段，从而提升方案的可行性和可操作性。
可选地，在上述图8所对应的实施例的基础上，本发明实施例提供的服务器40的另一实施例中，
所述确定模块402，具体用于采用如下方式计算所述模型调节参数：
L＝Ldis+α·Ladv+β·Lcla；
其中，所述L表示所述模型调节参数，所述Ldis表示所述第一损失参数，所述Ladv表示所述第二损失参数，所述Lcla表示所述第三损失参数，所述α表示第一权重值，所述β表示第二权重值。
进一步地，本发明实施例中，介绍了一种根据第一损失参数、第二损失参数以及第三损失参数，计算模型调节参数的方法。通过上述方式，可以为计算模型调节参数提供可靠的手段，从而提升方案的可行性和可操作性。
可选地，在上述图8所对应的实施例的基础上，本发明实施例提供的服务器40的另一实施例中，
所述获取模块401，还用于所述训练模块403根据所述第一损失参数、所述第二损失参数以及所述第三损失参数，计算所述模型调节参数之后，获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
通过仓库网络模型获取所述目标素描图像的第一目标特征信息，其中，所述仓库网络模型为所述待训练的自然图像集合以及所述待训练的素描图像集合训练得到的；
通过所述素描图像识别模型获取所述目标素描图像的第二目标特征信息；
所述确定模块402，还用于根据所述获取模块401获取的所述第一目标特征信息以及所述第二目标特征信息，确定所述目标素描图像所对应的图像识别结果。
其次，本发明实施例中，在服务器训练得到素描图像识别模型之后，还可以获取待识别的目标素描图像，通过仓库网络模型获取目标素描图像的第一目标特征信息，同时，通过素描图像识别模型获取目标素描图像的第二目标特征信息，最后，服务器结合第一目标特征信息以及第二目标特征信息，确定目标素描图像所对应的图像识别结果。通过上述方式，由于与自然图片相比，素描图片缺少很多信息，因此，为了增加这类信息，使素描图像特征尽可能的与自然图像特征更为相似，可以建立仓库网络模型，从而有效地增强素描图像的特征，有利于素描图像分类的准确性。
可选地，在上述图8所对应的实施例的基础上，请参阅图9，本发明实施例提供的服务器40的另一实施例中，所述服务器40还包括计算模块404；
所述计算模块404，用于所述获取模块401通过仓库网络模型获取所述目标素描图像的第一目标特征信息之前，根据所述待训练的自然图像集合以及所述待训练的素描图像集合，计算得到图像差别值；
所述训练模块403，还用于根据所述计算模块404计算得到的所述图像差别值对所述仓库网络模型进行训练；
其中，所述计算模块404，具体用于采用如下方式计算所述图像差别值：
其中，所述Δw表示所述图像差别值，所述Ψ表示所述仓库网络模型，所述m表示送入至所述仓库网络模型中自然图像的数量，所述zi表示所述待训练的自然图像集合中的第i个自然图像，所述n表示送入至所述仓库网络模型中素描图像的数量，所述xj表示所述待训练的素描图像集合中的第j个素描图像。
再次，本发明实施例中，可以根据待训练的自然图像集合以及待训练的素描图像集合，计算得到图像差别值，然后根据图像差别值对仓库网络模型进行训练。通过上述方式，为计算仓库网络模型提供可靠的手段，从而提升方案的可行性和可操作性。
图10是本发明实施例提供的一种服务器结构示意图，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图10所示的服务器结构。
本实施例中，CPU 522用于执行如下步骤：
获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像；
根据所述目标特征信息确定所述目标素描图像所对应的图像识别结果。
本实施例中，CPU 522用于执行如下步骤：
获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像；
获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息；
根据所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
根据所述模型调节参数训练得到素描图像识别模型。
可选地，CPU 522具体用于执行如下步骤：
通过自然图像识别模型获取所述待训练的自然图像集合中每个自然图像的第一特征信息，其中，所述自然图像识别模型为预先训练得到的；
通过待训练素描图像识别模型获取所述待训练的素描图像集合中每个素描图像的第二特征信息，其中，所述待训练素描图像识别模型的图像类别数量与所述自然图像识别模型的图像类别数量一致；
根据所述模型调节参数对所述待训练素描图像识别模型进行训练，得到所述素描图像识别模型。
可选地，CPU 522具体用于执行如下步骤：
根据所述第一特征信息以及所述第二特征信息计算所述第一损失参数；
根据所述第一特征信息、所述第二特征信息以及判别网络计算所述第二损失参数；
根据所述待训练的素描图像集合的第一分类结果与所述待训练的素描图像集合的第二分类结果，计算所述第三损失参数，其中，所述第一分类结果为预测得到的分类结果，所述第二分类结果为实际得到的分类结果；
根据所述第一损失参数、所述第二损失参数以及所述第三损失参数，计算所述模型调节参数。
可选地，CPU 522具体用于执行如下步骤：
采用如下方式计算所述第一损失参数：
其中，所述Ldis表示所述第一损失参数，所述T1表示第一特征信息，所述T2表示第二特征信息，所述z表示所述待训练的自然图像集合，所述x表示所述待训练的素描图像集合，所述T1(z)表示所述待训练的自然图像集合的第一特征信息，所述T2(x)表示所述待训练的素描图像集合的第二特征信息。
可选地，CPU 522具体用于执行如下步骤：
采用如下方式计算所述第二损失参数：
其中，所述Ladv表示所述第二损失参数，所述Ε表示期望值计算，所述D表示判别器网络，所述判别器网络用于对图像的类型进行判定，所述min表示最小值计算，所述max表示最大值计算，所述T1表示第一特征信息，所述T2表示第二特征信息，所述z表示所述待训练的自然图像集合，所述x表示所述待训练的素描图像集合，所述T1(z)表示所述待训练的自然图像集合的第一特征信息，所述T2(x)表示所述待训练的素描图像集合的第二特征信息。
可选地，CPU 522具体用于执行如下步骤：
采用如下方式计算所述第三损失参数：
Lcla＝∑P(x)logQ(x)；
其中，所述Lcla表示所述第三损失参数，所述P(x)表示所述待训练的素描图像集合的第一分类结果，所述Q(x)表示所述待训练的素描图像集合的第二分类结果。
可选地，CPU 522具体用于执行如下步骤：
采用如下方式计算所述模型调节参数：
L＝Ldis+α·Ladv+β·Lcla；
其中，所述L表示所述模型调节参数，所述Ldis表示所述第一损失参数，所述Ladv表示所述第二损失参数，所述Lcla表示所述第三损失参数，所述α表示第一权重值，所述β表示第二权重值。
可选地，CPU 522还用于执行如下步骤：
获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
通过仓库网络模型获取所述目标素描图像的第一目标特征信息，其中，所述仓库网络模型为所述待训练的自然图像集合以及所述待训练的素描图像集合训练得到的；
通过所述素描图像识别模型获取所述目标素描图像的第二目标特征信息；
根据所述第一目标特征信息以及所述第二目标特征信息，确定所述目标素描图像所对应的图像识别结果。
可选地，CPU 522还用于执行如下步骤：
根据所述待训练的自然图像集合以及所述待训练的素描图像集合，计算得到图像差别值；
根据所述图像差别值对所述仓库网络模型进行训练；
CPU 522具体执行如下步骤：
采用如下方式计算所述图像差别值：
其中，所述Δw表示所述图像差别值，所述Ψ表示所述仓库网络模型，所述m表示送入至所述仓库网络模型中自然图像的数量，所述zi表示所述待训练的自然图像集合中的第i个自然图像，所述n表示送入至所述仓库网络模型中素描图像的数量，所述xj表示所述待训练的素描图像集合中的第j个素描图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (15)
1.一种图像识别的方法，其特征在于，包括：
获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像；
根据所述目标特征信息确定所述目标素描图像所对应的图像识别结果。
2.一种模型训练的方法，其特征在于，包括：
获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像；
获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息；
根据所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
根据所述模型调节参数训练得到素描图像识别模型。
3.根据权利要求2所述的方法，其特征在于，所述获取所述待训练的自然图像集合的第一特征信息，包括：
通过自然图像识别模型获取所述待训练的自然图像集合中每个自然图像的第一特征信息，其中，所述自然图像识别模型为预先训练得到的；
所述获取所述待训练的素描图像集合的第二特征信息，包括：
通过待训练素描图像识别模型获取所述待训练的素描图像集合中每个素描图像的第二特征信息，其中，所述待训练素描图像识别模型的图像类别数量与所述自然图像识别模型的图像类别数量一致；
根据所述模型调节参数训练得到素描图像识别模型，包括：
根据所述模型调节参数对所述待训练素描图像识别模型进行训练，得到所述素描图像识别模型。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一特征信息以及所述第二特征信息确定模型调节参数，包括：
根据所述第一特征信息以及所述第二特征信息计算所述第一损失参数；
根据所述第一特征信息、所述第二特征信息以及判别网络计算所述第二损失参数；
根据所述待训练的素描图像集合的第一分类结果与所述待训练的素描图像集合的第二分类结果，计算所述第三损失参数，其中，所述第一分类结果为预测得到的分类结果，所述第二分类结果为实际得到的分类结果；
根据所述第一损失参数、所述第二损失参数以及所述第三损失参数，计算所述模型调节参数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征信息以及所述第二特征信息计算所述第一损失参数，包括：
采用如下方式计算所述第一损失参数：
其中，所述Ldis表示所述第一损失参数，所述T1表示第一特征信息，所述T2表示第二特征信息，所述z表示所述待训练的自然图像集合，所述x表示所述待训练的素描图像集合，所述T1(z)表示所述待训练的自然图像集合的第一特征信息，所述T2(x)表示所述待训练的素描图像集合的第二特征信息。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征信息、所述第二特征信息以及判别网络计算所述第二损失参数，包括：
采用如下方式计算所述第二损失参数：
其中，所述Ladv表示所述第二损失参数，所述Ε表示期望值计算，所述D表示判别器网络，所述判别器网络用于对图像的类型进行判定，所述min表示最小值计算，所述max表示最大值计算，所述T1表示第一特征信息，所述T2表示第二特征信息，所述z表示所述待训练的自然图像集合，所述x表示所述待训练的素描图像集合，所述T1(z)表示所述待训练的自然图像集合的第一特征信息，所述T2(x)表示所述待训练的素描图像集合的第二特征信息。
7.根据权利要求4所述的方法，其特征在于，所述根据所述待训练的素描图像集合的第一分类结果与所述待训练的素描图像集合的第二分类结果，计算所述第三损失参数，包括：
采用如下方式计算所述第三损失参数：
Lcla＝∑P(x)logQ(x)；
其中，所述Lcla表示所述第三损失参数，所述P(x)表示所述待训练的素描图像集合的第一分类结果，所述Q(x)表示所述待训练的素描图像集合的第二分类结果。
8.根据权利要求4所述的方法，其特征在于，所述根据所述第一损失参数、所述第二损失参数以及所述第三损失参数，计算所述模型调节参数，包括：
采用如下方式计算所述模型调节参数：
L＝Ldis+α·Ladv+β·Lcla；
其中，所述L表示所述模型调节参数，所述Ldis表示所述第一损失参数，所述Ladv表示所述第二损失参数，所述Lcla表示所述第三损失参数，所述α表示第一权重值，所述β表示第二权重值。
9.根据权利要求2所述的方法，其特征在于，所述根据所述模型调节参数训练得到素描图像识别模型之后，所述方法还包括：
获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
通过仓库网络模型获取所述目标素描图像的第一目标特征信息，其中，所述仓库网络模型为所述待训练的自然图像集合以及所述待训练的素描图像集合训练得到的；
通过所述素描图像识别模型获取所述目标素描图像的第二目标特征信息；
根据所述第一目标特征信息以及所述第二目标特征信息，确定所述目标素描图像所对应的图像识别结果。
10.根据权利要求9所述的方法，其特征在于，所述通过仓库网络模型获取所述目标素描图像的第一目标特征信息之前，所述方法还包括：
根据所述待训练的自然图像集合以及所述待训练的素描图像集合，计算得到图像差别值；
根据所述图像差别值对所述仓库网络模型进行训练；
其中，所述根据所述待训练的自然图像集合以及所述待训练的素描图像集合，计算得到图像差别值，包括：
采用如下方式计算所述图像差别值：
其中，所述Δw表示所述图像差别值，所述Ψ表示所述仓库网络模型，所述m表示送入至所述仓库网络模型中自然图像的数量，所述zi表示所述待训练的自然图像集合中的第i个自然图像，所述n表示送入至所述仓库网络模型中素描图像的数量，所述xj表示所述待训练的素描图像集合中的第j个素描图像。
11.一种服务器，其特征在于，包括：
获取模块，用于获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
所述获取模块，还用于通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像；
确定模块，用于根据所述获取模块获取的所述目标特征信息确定所述目标素描图像所对应的图像识别结果。
12.一种服务器，其特征在于，包括：
获取模块，用于获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像；
所述获取模块，还用于获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息；
确定模块，用于根据所述获取模块获取的所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
训练模块，用于根据所述确定模块确定的所述模型调节参数训练得到素描图像识别模型。
13.一种服务器，其特征在于，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待识别的目标素描图像，其中，所述目标素描图像为线条化图像；
通过素描图像识别模型获取所述目标素描图像的目标特征信息，其中，所述素描图像识别模型为根据自然图像集合以及素描图像集合训练得到的，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像；
根据所述目标特征信息确定所述目标素描图像所对应的图像识别结果；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
14.一种服务器，其特征在于，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待训练的自然图像集合以及待训练的素描图像集合，其中，所述自然图像集合包括至少一个自然图像，所述素描图像集合包括至少一个素描图像，所述自然图像为非线条化图像，所述素描图像为线条化图像，所述待训练的自然图像集合与所述待训练的素描图像集合属于同一类别的图像；
获取所述待训练的自然图像集合的第一特征信息，以及获取所述待训练的素描图像集合的第二特征信息，其中，所述第一特征信息为所述待训练的自然图像集合中各个自然图像的特征信息，所述第二特征信息为所述待训练的素描图像集合中各个素描图像的特征信息；
根据所述第一特征信息以及所述第二特征信息确定模型调节参数，其中，所述模型调节参数包括第一损失参数、第二损失参数以及第三损失参数；
根据所述模型调节参数训练得到素描图像识别模型；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述的方法，或者执行如权利要求2至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811169065.3A CN110163222B (zh) | 2018-10-08 | 2018-10-08 | 一种图像识别的方法、模型训练的方法以及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811169065.3A CN110163222B (zh) | 2018-10-08 | 2018-10-08 | 一种图像识别的方法、模型训练的方法以及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110163222A true CN110163222A (zh) | 2019-08-23 |
| CN110163222B CN110163222B (zh) | 2023-01-24 |
Family
ID=67645126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811169065.3A Active CN110163222B (zh) | 2018-10-08 | 2018-10-08 | 一种图像识别的方法、模型训练的方法以及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163222B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862110A (zh) * | 2021-02-11 | 2021-05-28 | 脸萌有限公司 | 模型生成方法、装置和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120141032A1 (en) * | 2010-12-03 | 2012-06-07 | Massachusetts Institute Of Technology | Sketch recognition system |
| CN104484650A (zh) * | 2014-12-09 | 2015-04-01 | 北京信息科技大学 | 素描人脸识别的方法和装置 |
| CN108090508A (zh) * | 2017-12-12 | 2018-05-29 | 腾讯科技（深圳）有限公司 | 一种分类训练方法、装置及存储介质 |
| CN108491812A (zh) * | 2018-03-29 | 2018-09-04 | 百度在线网络技术（北京）有限公司 | 人脸识别模型的生成方法和装置 |
-
2018
- 2018-10-08 CN CN201811169065.3A patent/CN110163222B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120141032A1 (en) * | 2010-12-03 | 2012-06-07 | Massachusetts Institute Of Technology | Sketch recognition system |
| CN104484650A (zh) * | 2014-12-09 | 2015-04-01 | 北京信息科技大学 | 素描人脸识别的方法和装置 |
| CN108090508A (zh) * | 2017-12-12 | 2018-05-29 | 腾讯科技（深圳）有限公司 | 一种分类训练方法、装置及存储介质 |
| CN108491812A (zh) * | 2018-03-29 | 2018-09-04 | 百度在线网络技术（北京）有限公司 | 人脸识别模型的生成方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| HUA ZHANG ET AL: "SketchNet: Sketch Classification withWeb Images", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 周汐 等: "分块LBP的素描人脸识别", 《中国图象图形学报》 * |
| 赵鹏 等: "基于深度学习的手绘草图识别", 《四川大学学报(工程科学版)》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862110A (zh) * | 2021-02-11 | 2021-05-28 | 脸萌有限公司 | 模型生成方法、装置和电子设备 |
| CN112862110B (zh) * | 2021-02-11 | 2024-01-30 | 脸萌有限公司 | 模型生成方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110163222B (zh) | 2023-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN109816092B (zh) | 深度神经网络训练方法、装置、电子设备及存储介质 | |
| CN112131978B (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| Moallem et al. | Optimal threshold computing in automatic image thresholding using adaptive particle swarm optimization | |
| US11429809B2 (en) | Image processing method, image processing device, and storage medium | |
| CN108090508A (zh) | 一种分类训练方法、装置及存储介质 | |
| CN108230291B (zh) | 物体识别系统训练方法、物体识别方法、装置和电子设备 | |
| JP2022141931A (ja) | 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム | |
| CN106951825A (zh) | 一种人脸图像质量评估系统以及实现方法 | |
| CN109002755B (zh) | 基于人脸图像的年龄估计模型构建方法及估计方法 | |
| CN104866829A (zh) | 一种基于特征学习的跨年龄人脸验证方法 | |
| CN109886072A (zh) | 基于双向Ladder结构的人脸属性分类系统 | |
| CN113761259A (zh) | 一种图像处理方法、装置以及计算机设备 | |
| CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
| CN113076994A (zh) | 一种开集域自适应图像分类方法及系统 | |
| CN111368926B (zh) | 图像筛选方法、装置和计算机可读存储介质 | |
| CN107067022B (zh) | 图像分类模型的建立方法、建立装置和设备 | |
| CN108492301A (zh) | 一种场景分割方法、终端及存储介质 | |
| CN112507800A (zh) | 一种基于通道注意力机制和轻型卷积神经网络的行人多属性协同识别方法 | |
| CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
| CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN110765285A (zh) | 基于视觉特征的多媒体信息内容管控方法及系统 | |
| CN112668482A (zh) | 人脸识别训练方法、装置、计算机设备及存储介质 | |
| CN111931757A (zh) | 基于mdlbp分块直方图和pca降维的指静脉快速排序方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |