CN109558904A - 图像局部特征的分类方法、装置和存储介质 - Google Patents

图像局部特征的分类方法、装置和存储介质 Download PDF

Info

Publication number
CN109558904A
CN109558904A CN201811392195.3A CN201811392195A CN109558904A CN 109558904 A CN109558904 A CN 109558904A CN 201811392195 A CN201811392195 A CN 201811392195A CN 109558904 A CN109558904 A CN 109558904A
Authority
CN
China
Prior art keywords
image
training
neural network
convolutional neural
series hybrid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811392195.3A
Other languages
English (en)
Inventor
赵璐
刘佑达
马杰
钟宜峰
李鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN201811392195.3A priority Critical patent/CN109558904A/zh
Publication of CN109558904A publication Critical patent/CN109558904A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像局部特征的分类方法，包括：获取目标图像；运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。本发明还公开了一种图像局部特征的分类装置和计算机可读存储介质。

Description

图像局部特征的分类方法、装置和存储介质
技术领域
本发明涉及图像识别技术，尤其涉及一种图像局部特征的分类方法、装置和计算机可读存储介质。
背景技术
图像中局部特征分类是指针对图像中的某个局部特征进行分类的问题，例如，自动驾驶采集的道路图像中的车道线分类，人脸五官(如眼睛、发型类型) 特征的分类等。现有的解决方案一般分为两种：一种是基于大量数据的图像特征分类，需要对大量数据进行标注，并采用一个分类的深度神经网络，通过不断地训练，从而找到对应的特征进行分类；另外一种技术是采用pipeline的方式，先利用物体识别(Object Detection)或者图像分割技术，提取图像局部特征后，再采用机器学习算法完成分类训练。
针对上述第一种分类方法来说，该方法的缺点是需要标注的数据量大，而且由于受到复杂背景的干扰，该模型一般收敛慢或者难以收敛；而另外一种是采用管道(pipeline)的方式，该方法的缺点是将物体识别或分割与分类隔离，即需要分别取优化分割或识别算法以及分类算法，流程较为复杂，且最终分类结果受图像识别或分割结果的影响很大。
发明内容
有鉴于此，本发明的主要目的在于提供一种图像局部特征的分类方法、装置和计算机可读存储介质。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种图像局部特征的分类方法，所述方法包括：
获取目标图像；
运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
上述方案中，所述图像识别模型，包括：串联混合卷积神经网络；
所述方法还包括：训练所述串联混合卷积神经网络，根据训练后的所述串联混合卷积神经网络获得所述图像识别模型。
上述方案中，所述训练所述串联混合卷积神经网络，包括：
获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签；
根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
上述方案中，所述串联混合卷积神经网络包括：第一输出端和第二输出端；
所述根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络，包括：
将所述训练图像、所述训练图像对应的所述分割标签和分类标签输入所述串联混合卷积神经网络，获得所述第一输出端输出的第一结果、及所述第二输出端输出的第二结果；所述第一结果表征所述串联混合卷积神经网络提取的所述训练图像包含的训练局部特征；所述第二结果表征所述串联混合卷积神经网络识别的所述训练局部特征对应的训练类别；
根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数；
根据所述联合损失函数对所述串联混合卷积神经网络进行反向传播，以更新所述串联混合卷积神经网络中的权重值。
上述方案中，所述运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果，包括：
将所述目标图像输入所述图像识别模型；所述图像识别模型识别所述目标图像，提取所述目标图像的局部特征并识别所述局部特征的类别，根据所述局部特征和所述局部特征的类别获得所述目标图像的识别结果。
本发明实施例提供了一种图像局部特征的分类装置，所述装置包括：第一处理模块和第二处理模块；其中，
所述第一处理模块，用于获取目标图像；
所述第二处理模块，用于运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
上述方案中，所述图像识别模型，包括：串联混合卷积神经网络；
所述装置还包括：预处理模块，用于训练所述串联混合卷积神经网络，根据训练后的所述串联混合卷积神经网络获得所述图像识别模型；
所述预处理模块，具体用于获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签；
根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
上述方案中，所述串联混合卷积神经网络包括：第一输出端和第二输出端；
所述预处理模块，具体用于将所述训练图像、所述训练图像对应的所述分割标签和分类标签输入所述串联混合卷积神经网络，获得所述第一输出端输出的第一结果、及所述第二输出端输出的第二结果；所述第一结果表征所述串联混合卷积神经网络提取的所述训练图像包含的训练局部特征；所述第二结果表征所述串联混合卷积神经网络识别的所述训练局部特征对应的训练类别；
根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数；
根据所述联合损失函数对所述串联混合卷积神经网络进行反向传播，以更新所述串联混合卷积神经网络中的权重值。
本发明实施例提供了一种图像局部特征的分类装置，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行以上所述的任意一种图像局部特征的分类方法的步骤。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的任意一种图像局部特征的分类方法的步骤。
本发明实施例所提供的图像局部特征的分类方法、装置和计算机可读存储介质，获取目标图像；运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。本发明实施例中，同时输出图像局部特征的分割结果和分类结果，分类结果不受图像识别或分割结果的影响，提高分类的准确度。
附图说明
图1为本发明实施例提供的一种图像局部特征的分类方法的流程示意图；
图2为本发明实施例提供的一种常用的图像分类网络的结构示意图；
图3为本发明实施例提供的一种串联混合卷积神经网络的结构示意图；
图4为本发明实施例提供的一种训练串联混合卷积神经网络的流程示意图；
图5为本发明实施例提供的一种图像局部特征的分类装置的结构示意图；
图6为本发明实施例提供的另一种图像局部特征的分类装置的结构示意图。
具体实施方式
在本发明的各种实施例中，获取目标图像；运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
下面结合实施例对本发明再作进一步详细的说明。
图1为本发明实施例提供的一种图像局部特征的分类方法的流程示意图；所述方法可以应用于服务器，如图1所示，所述方法包括：
步骤101、获取目标图像。
这里，所述目标图像为待识别图像。在一实施例中，所述目标图像可以保存在服务器中，由所述服务器读取自身保存的目标图像，即获取目标图像；在另一实施例中，可以由其他终端将目标图像发送给所述服务器，从而所述服务器获得所述目标图像。
步骤102、运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
具体来说，所述运用预设的图像识别模型识别所述目标图像，获得所述目标图像的局部特征的分割结果和分类结果，包括：
将所述目标图像输入所述图像识别模型；所述图像识别模型识别所述目标图像，提取所述目标图像的局部特征并识别所述局部特征的类别，根据所述局部特征和所述局部特征的类别获得所述目标图像的识别结果。
这里需要说明的是，根据识别需求可以预先设定所述图像识别模型仅输出局部特征、仅输出局部特征的类别、或者同时输出局部特征和所述局部特征的类别。
本实施例中，所述目标图像包括局部特征；举例来说，目标图像为人物类图像，其局部特征可以包括：眼睛、鼻子、嘴巴、头发等；目标图像为风景类图像，其局部特征可以包括：大海、沙滩、马路、树木等。
这里，所述图像识别模型，包括：串联混合卷积神经网络。所述串联混合卷积神经网络用于对所述目标图像进行分割，确定所述目标图像中的局部特征，以及，确定所述局部特征对应的类别。
举例来说，所述局部特征为头发，所述局部特征的类别可以包括：长直发、长卷发、短直发、短卷发、其他等。
本实施例中，所述方法还包括：生成所述图像识别模型。
所述生成所述图像识别模型，包括：训练所述串联混合卷积神经网络，根据训练后的所述串联混合卷积神经网络获得所述图像识别模型。
这里，训练后获得的所述串联混合卷积神经网络可以看成两部分。第一部分用于进行图像分割、确定局部特征，这里可以采用全卷积网络(FCN，Fully ConvolutionalNetworks for Semantic Segmentation)。第二部分用于进行局部特征的分类；所述第二部分无需采用现有技术中复杂的基础网络，可根据分类问题的复杂度，采用2～3层简单的卷积神经网络加上一层全连接即可实现图像的精确分类。需要说明的是，这里所述第一部分和所述第二部分是相关联的，即训练过程中，所述第一部分输出的局部特征、即分割结果，与所述第二部分输出的类别、即分类结果是相互影响的，从而使得分割结果和分类结果得到同步优化，提高分割和分类的精度。
以下对训练串联混合卷积神经网络的过程进行详细说明。
具体地，所述训练所述串联混合卷积神经网络，包括：
获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签；
根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
这里，所述串联混合卷积神经网络包括：第一输出端和第二输出端；
所述第一输出端，用于输出分割结果；即局部特征。
所述第二输出端，用于输出分类结果；即局部特征对应的类别。
所述根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络，包括：
将所述训练图像、所述训练图像对应的所述分割标签和分类标签输入所述串联混合卷积神经网络，获得所述第一输出端输出的第一结果、及所述第二输出端输出的第二结果；所述第一结果表征所述串联混合卷积神经网络提取的所述训练图像包含的训练局部特征；所述第二结果表征所述串联混合卷积神经网络识别的所述训练局部特征对应的训练类别；
根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数；
根据所述联合损失函数对所述串联混合卷积神经网络进行反向传播，以更新所述串联混合卷积神经网络中的权重值。
这里，所述根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数，可以包括：根据所述分割标签和所述第一结果确定第一残差，根据所述分类标签和所述第二结果确定第二残差，根据所述第一残差和所述第二残差构造联合损失函数。
具体来说，假设所述训练图像的尺寸为(2m)*(2n)，所述第一结果记做X1，所述训练图像对应的分割标签、即分割结果的真值记做Y1，按下式(1)所示，根据所述分割标签和所述第一结果确定第一残差δ1：
这里，假设第二输出端输出的第二结果记做X2，训练图像对应的分类标签、即分类结果的真值记做Y2，k为分类种类的个数；按下式(2)所示，根据所述分类标签和所述第二结果确定第二残差δ2：
这里，log为对数函数。
结合上式(1)和上式(2)，按下式(3)所示，根据所述第一残差和所述第二残差构造联合损失函数(Loss)：
这里，p为第一残差的权重，由图像识别模型的开发人员预先设置、并可以根据分割和分类的准确度进行调整。
通过本实施例提供的基于训练后的串联混合卷积神经网络获得的图像识别模型，实现一种图像局部特征的端到端(end to end)图像分类方法。所述串联混合卷积神经网络可以同时输出图像局部特征的分割结果和分类结果。其中，所述串联混合卷积神经网络的第一输出端输出图像的分割结果、即图像的局部特征，第二输出端输出局部特征的分类结果、即局部特征对应的类别。当然，根据需求设定，利用训练后的串联混合卷积神经网络识别图像后仅输出分割结果、仅输出分类结果或同时输出分割结果和分类结果。
这里，通过构造的带权重的联合损失函数(Combining Loss Function)使得训练过程中可以根据分割结果和分类结果得到同步优化；即训练过程中，输出的分割结果优化会促进分类结果的优化，而分类结果的优化反过来也会促进分割结果的优化，有利于该过程促进了网络快速收敛，且提高了分类和分割精度。
图2为本发明实施例提供的一种常用的图像分类网络的结构，如图2所示，常用的图像分类网络包括：卷积神经网络(CNN，Convolutional Neural Network) 的基础网络(Base Net)和分类器。常见的CNN的基础网络有MobileNet、 SqueezeNet、ResNet、VGG等。由于图像中局部特征在图像中所占比例较小，容易受到其他背景或者物体的干扰，例如对人脸图像中眼睛或者发型进行分类，需要大量的训练数据，且由于不容易提取出局部特征，训练往往不容易收敛。然而，采用管道(pipline)的方式，先提取出局部特征对应的图像，再做该图像的分类，即将分割和分类步骤隔离，分隔结果的好坏对分类结果造成单向的影响。
本实施例提供的图像识别模型与现有技术中常用的图像分类网络相比，本实施例的图像识别模型采用能够同时进行分割和分类的串联混合卷积神经网络，端到端的解决图像的局部特征分类问题。
图3为本发明实施例提供的一种串联混合卷积神经网络的结构示意图；如图3所示，所述串联混合卷积神经网络至少包括两部分，前半部分用于进行图像分割，输出图像的局部特征，作为分割结果；这里，可以采用全卷积网络(FCN， Fully ConvolutionalNetworks for Semantic Segmentation)。后半部分用于识别局部特征的类别；不同于已有的分类网络(例如图2所示的图像分类网络)，本实施例中无需采用复杂的基础网络(如InceptionV2等)，可根据分类问题的复杂度，仅需要2～3层简单的卷积神经网络加上一层全连接即可实现图像的精确分类。
所述串联混合卷积神经网络的输出结果也可以包含两部分，其中，第一部分输出结果为分割结果，可称为掩膜(mask)，其中，属于该局部特征的像素点的值为1，否则为0，从而标记出该局部特征所在区域；第二部分输出结果为分类结果，即为最终所需的目标输出结果、即局部特征的类别。
所述串联混合卷积神经网络同时输出图像的分割结果和分类结果，为了同时优化局部特征的分割结果及分类结果，采用的目标优化函数需涵盖这两类特征。由此，串联混合卷积神经网络的反向传播过程采用一种联合损失函数，即公式3所示的联合损失函数。
从上述公式3中可以看出，所述串联混合卷积神经网络中反向传播算法的残差由两部分组成，一部分是第一结果(即分割结果)与分割标签的残差，即δ1；另一部分是第二结果(即分类结果)与分类标签残差，即δ2。
由于图像的分割标签和分类标签是相关的，例如依据图像分割标签可以判断其所属类别，例如识别出分割结果为头发、其所述属的类别为长卷发；而所属类别也决定了分割可能的结果。依据公式3可知，通过反向传播，分割结果的残差会作用于网络后半部分的全连接网络和卷积神经网络，进而优化分类结果；而分类结果的残差也会作用于前半部分的分割网络，用于优化分类结果。因此，该联合损失函数同时优化分割结果和分类效果。图像分割的越准确，该局部特征的分类结果就越好；且分类结果的提高也会促进图像分割精度的增加。上述训练方案能够促进网络快速收敛，且提高分类的准确性。
图4为本发明实施例提供的一种训练串联混合卷积神经网络的流程示意图；如图4所示，所述训练串联混合卷积神经网络，包括：
步骤401、构建串联混合卷积神经网络。
具体地，所述步骤401，可以包括：采用图像数据库(ImageNet)等公开数据集预训练的基础网络作为分割网络(即所述串联混合卷积神经网络的第一部分)，可以为VGG、GoogleNet等；初始化分割网络的权重值，所述分割网络采用的分割算法可以为FCN等方法；采用随机初始化方法初始化该网络的其余权重；设定分类网络(即所述串联混合卷积神经网络的第二部分)，所述分类网络可以包括：2～3层的卷积神经网络及一个全连接网络。
步骤402、设置训练参数。
这里，所述训练参数，包括：学习率(lr)、Loss函数的权重(p)、优化算法、迭代最大次数、学习率衰减参数等。以上训练参数由开发人员根据开发需求、其经验等预先设置。
步骤403、获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签。
这里，所述预设数量可以为1000、2000、3000等数值。
以训练的所述串联混合卷积神经网络用于对图3所示的发型进行分类为例，所述训练图像可以为已知的彩色人脸图像，其尺寸可以设定为224*224*3。所述分割标签为一图像标签，其尺寸可以设定为112*112*3，每个像素点代表该点是否为所需提取的局部特征，如果是局部特征则像素点为1，否则像素点为0。所述分类标签根据需求进行设置，例如针对头发，可以包括：长直发、长卷发、短直发、短卷发及其他，一共5类。
步骤404、根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
具体地，所述步骤404包括：将一定数量的训练图像及其对应的分割标签和分类标签组成一个批处理(Batch)，输入到串联混合卷积神经网络，根据串联混合卷积神经网络输出的第一结果(即图3中的Output1)和第二结果(即图 3的Output2)，根据分割标签、第一结果、分类标签和第二结果计算联合损失函数L((X1，Y1)，(X2，Y2))；依据反向传播算法，得到串联混合卷积神经网络中各层的残差；根据计算得到的残差，采用反向传播算法更新串联混合卷积神经网络中的权重值。
这里，计算所述联合损失函数的方法具体可以参考上式(1)、(2)、(3)，这里不再赘述。
步骤405、返回步骤404，再次组成一个Batch训练所述串联混合卷积神经网络，直至所述预设数量的训练图像均输入串联混合卷积神经网络，并达到预设的最大迭代次数时结束，则完成了针对串联混合卷积神经网络的训练。
这里，假设获取1000张训练图像，每10张训练图像及其对应的分割标签和分类标签作为一个Batch输入到串联混合卷积神经网络进行训练，重复100 次后即可将1000张训练图像输入所述串联混合卷积神经网络；并利用所述1000 张训练图像反复训练，直至获得符合需求的串联混合卷积神经网络。
通过以上步骤获得训练后的串联混合卷积神经网络可以作为图像识别模型，用于识别目标图像，对目标图像的局部特征进行分割，并对局部特征进行分类。
图5为本发明实施例提供的一种图像局部特征的分类装置的结构示意图；如图5所示，所述装置包括：第一处理模块501和第二处理模块502。
所述第一处理模块501，用于获取目标图像；
所述第二处理模块502，用于运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
具体地，所述图像识别模型，包括：串联混合卷积神经网络；
所述装置还包括：预处理模块，用于训练所述串联混合卷积神经网络，根据训练后的所述串联混合卷积神经网络获得所述图像识别模型。
这里，所述预处理模块，具体用于获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签；
根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
具体地，所述串联混合卷积神经网络包括：第一输出端和第二输出端；
所述预处理模块，具体用于将所述训练图像、所述训练图像对应的所述分割标签和分类标签输入所述串联混合卷积神经网络，获得所述第一输出端输出的第一结果、及所述第二输出端输出的第二结果；所述第一结果表征所述串联混合卷积神经网络提取的所述训练图像包含的训练局部特征；所述第二结果表征所述串联混合卷积神经网络识别的所述训练局部特征对应的训练类别；
根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数；
根据所述联合损失函数对所述串联混合卷积神经网络进行反向传播，以更新所述串联混合卷积神经网络中的权重值。
所述第二处理模块502，具体用于将所述目标图像输入所述图像识别模型；
所述图像识别模型识别所述目标图像，提取所述目标图像的局部特征并识别所述局部特征的类别，根据所述局部特征和所述局部特征的类别获得所述目标图像的识别结果。
需要说明的是：上述实施例提供的图像局部特征的分类装置在进行图像局部特征的分类时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像局部特征的分类装置与图像局部特征的分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图6为本发明实施例提供的另一种图像局部特征的分类装置的结构示意图；所述图像局部特征的分类装置可以应用于服务器；如图6所示，所述装置 60包括：处理器601和用于存储能够在所述处理器上运行的计算机程序的存储器602；其中，所述处理器601用于运行所述计算机程序时，执行：获取目标图像；运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
在一实施例中，所述处理器601还用于运行所述计算机程序时，执行：训练所述串联混合卷积神经网络，根据训练后的所述串联混合卷积神经网络获得所述图像识别模型。
在一实施例中，所述处理器601还用于运行所述计算机程序时，执行：获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签；根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
在一实施例中，所述处理器601还用于运行所述计算机程序时，执行：将所述训练图像、所述训练图像对应的所述分割标签和分类标签输入所述串联混合卷积神经网络，获得所述第一输出端输出的第一结果、及所述第二输出端输出的第二结果；所述第一结果表征所述串联混合卷积神经网络提取的所述训练图像包含的训练局部特征；所述第二结果表征所述串联混合卷积神经网络识别的所述训练局部特征对应的训练类别；根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数；根据所述联合损失函数对所述串联混合卷积神经网络进行反向传播，以更新所述串联混合卷积神经网络中的权重值。
在一实施例中，所述处理器601还用于运行所述计算机程序时，执行：将所述目标图像输入所述图像识别模型；所述图像识别模型识别所述目标图像，提取所述目标图像的局部特征并识别所述局部特征的类别，根据所述局部特征和所述局部特征的类别获得所述目标图像的识别结果。
需要说明的是：上述实施例提供的图像局部特征的分类装置与图像局部特征的分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
实际应用时，所述装置60还可以包括：至少一个网络接口603。图像局部特征的分类装置60中的各个组件通过总线系统604耦合在一起。可理解，总线系统604用于实现这些组件之间的连接通信。总线系统604除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统604。其中，所述处理器604的个数可以为至少一个。网络接口603用于图像局部特征的分类装置60与其他设备之间有线或无线方式的通信。
本发明实施例中的存储器602用于存储各种类型的数据以支持装置60的操作。
上述本发明实施例揭示的方法可以应用于处理器601中，或者由处理器601 实现。处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器 (DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器601可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，图像局部特征的分类装置60可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行：获取目标图像；运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
在一实施例中，所述计算机程序被处理器运行时，执行：训练所述串联混合卷积神经网络，根据训练后的所述串联混合卷积神经网络获得所述图像识别模型。
在一实施例中，所述计算机程序被处理器运行时，执行：获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签；根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
在一实施例中，所述计算机程序被处理器运行时，执行：将所述训练图像、所述训练图像对应的所述分割标签和分类标签输入所述串联混合卷积神经网络，获得所述第一输出端输出的第一结果、及所述第二输出端输出的第二结果；所述第一结果表征所述串联混合卷积神经网络提取的所述训练图像包含的训练局部特征；所述第二结果表征所述串联混合卷积神经网络识别的所述训练局部特征对应的训练类别；根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数；根据所述联合损失函数对所述串联混合卷积神经网络进行反向传播，以更新所述串联混合卷积神经网络中的权重值。
在一实施例中，所述计算机程序被处理器运行时，执行：将所述目标图像输入所述图像识别模型；所述图像识别模型识别所述目标图像，提取所述目标图像的局部特征并识别所述局部特征的类别，根据所述局部特征和所述局部特征的类别获得所述目标图像的识别结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像局部特征的分类方法，其特征在于，所述方法包括：
获取目标图像；
运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
2.根据权利要求1所述的方法，其特征在于，所述图像识别模型，包括：串联混合卷积神经网络；
所述方法还包括：训练所述串联混合卷积神经网络，根据训练后的所述串联混合卷积神经网络获得所述图像识别模型。
3.根据权利要求2所述的方法，其特征在于，所述训练所述串联混合卷积神经网络，包括：
获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签；
根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
4.根据权利要求3所述的方法，其特征在于，所述串联混合卷积神经网络包括：第一输出端和第二输出端；
所述根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络，包括：
将所述训练图像、所述训练图像对应的所述分割标签和分类标签输入所述串联混合卷积神经网络，获得所述第一输出端输出的第一结果、及所述第二输出端输出的第二结果；所述第一结果表征所述串联混合卷积神经网络提取的所述训练图像包含的训练局部特征；所述第二结果表征所述串联混合卷积神经网络识别的所述训练局部特征对应的训练类别；
根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数；
根据所述联合损失函数对所述串联混合卷积神经网络进行反向传播，以更新所述串联混合卷积神经网络中的权重值。
5.根据权利要求1所述的方法，其特征在于，所述运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果，包括：
将所述目标图像输入所述图像识别模型；所述图像识别模型识别所述目标图像，提取所述目标图像的局部特征并识别所述局部特征的类别，根据所述局部特征和所述局部特征的类别获得所述目标图像的识别结果。
6.一种图像局部特征的分类装置，其特征在于，所述装置包括：第一处理模块和第二处理模块；其中，
所述第一处理模块，用于获取目标图像；
所述第二处理模块，用于运用预设的图像识别模型识别所述目标图像，获得所述目标图像的识别结果；所述识别结果包括：所述目标图像的局部特征和所述局部特征对应的类别。
7.根据权利要求6所述的装置，其特征在于，所述图像识别模型，包括：串联混合卷积神经网络；
所述装置还包括：预处理模块，用于训练所述串联混合卷积神经网络，根据训练后的所述串联混合卷积神经网络获得所述图像识别模型；
所述预处理模块，具体用于获取预设数量的训练图像，确定所述预设数量的训练图像中每个训练图像的分割标签和分类标签；
根据所述训练图像、所述训练图像对应的所述分割标签和分类标签，训练所述串联混合卷积神经网络。
8.根据权利要求7所述的装置，其特征在于，所述串联混合卷积神经网络包括：第一输出端和第二输出端；
所述预处理模块，具体用于将所述训练图像、所述训练图像对应的所述分割标签和分类标签输入所述串联混合卷积神经网络，获得所述第一输出端输出的第一结果、及所述第二输出端输出的第二结果；所述第一结果表征所述串联混合卷积神经网络提取的所述训练图像包含的训练局部特征；所述第二结果表征所述串联混合卷积神经网络识别的所述训练局部特征对应的训练类别；
根据所述分割标签、所述第一结果、所述分类标签和所述第二结果构造联合损失函数；
根据所述联合损失函数对所述串联混合卷积神经网络进行反向传播，以更新所述串联混合卷积神经网络中的权重值。
9.一种图像局部特征的分类装置，其特征在于，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
CN201811392195.3A 2018-11-21 2018-11-21 图像局部特征的分类方法、装置和存储介质 Pending CN109558904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811392195.3A CN109558904A (zh) 2018-11-21 2018-11-21 图像局部特征的分类方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811392195.3A CN109558904A (zh) 2018-11-21 2018-11-21 图像局部特征的分类方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN109558904A true CN109558904A (zh) 2019-04-02

Family

ID=65867015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811392195.3A Pending CN109558904A (zh) 2018-11-21 2018-11-21 图像局部特征的分类方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN109558904A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134695A (zh) * 2019-05-21 2019-08-16 电子科技大学 一种面向流水线结构化数据查询的数据库智能分区方法
CN110231360A (zh) * 2019-05-31 2019-09-13 华南农业大学 电镜像差的确定方法、消除方法及装置
CN110276289A (zh) * 2019-06-17 2019-09-24 厦门美图之家科技有限公司 生成匹配模型的方法和人脸特征点追踪方法
CN110503149A (zh) * 2019-08-26 2019-11-26 咪咕文化科技有限公司 一种图像中局部特征分类方法及系统
CN111914844A (zh) * 2019-05-07 2020-11-10 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN112668637A (zh) * 2020-12-25 2021-04-16 苏州科达科技股份有限公司 网络模型的训练方法、识别方法、装置及电子设备
CN113780289A (zh) * 2021-08-05 2021-12-10 网易（杭州）网络有限公司 图像识别方法及装置、存储介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496034A (zh) * 2011-11-29 2012-06-13 南京师范大学 基于直线单词的高空间分辨率遥感图像词袋分类方法
CN104318271A (zh) * 2014-11-21 2015-01-28 南京大学 一种基于适应性编码和几何平滑汇合的图像分类方法
CN105426850A (zh) * 2015-11-23 2016-03-23 深圳市商汤科技有限公司 一种基于人脸识别的关联信息推送设备及方法
US9679226B1 (en) * 2012-03-29 2017-06-13 Google Inc. Hierarchical conditional random field model for labeling and segmenting images
CN107918776A (zh) * 2017-11-01 2018-04-17 中国科学院深圳先进技术研究院 一种基于机器视觉的用地规划方法、系统及电子设备
CN108711148A (zh) * 2018-05-11 2018-10-26 沈阳理工大学 一种基于深度学习的轮胎缺陷智能检测方法
CN108805190A (zh) * 2018-05-30 2018-11-13 北京奇艺世纪科技有限公司 一种图像处理方法及装置
CN108830155A (zh) * 2018-05-10 2018-11-16 北京红云智胜科技有限公司 一种基于深度学习的心脏冠状动脉分割及识别的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496034A (zh) * 2011-11-29 2012-06-13 南京师范大学 基于直线单词的高空间分辨率遥感图像词袋分类方法
US9679226B1 (en) * 2012-03-29 2017-06-13 Google Inc. Hierarchical conditional random field model for labeling and segmenting images
CN104318271A (zh) * 2014-11-21 2015-01-28 南京大学 一种基于适应性编码和几何平滑汇合的图像分类方法
CN105426850A (zh) * 2015-11-23 2016-03-23 深圳市商汤科技有限公司 一种基于人脸识别的关联信息推送设备及方法
CN107918776A (zh) * 2017-11-01 2018-04-17 中国科学院深圳先进技术研究院 一种基于机器视觉的用地规划方法、系统及电子设备
CN108830155A (zh) * 2018-05-10 2018-11-16 北京红云智胜科技有限公司 一种基于深度学习的心脏冠状动脉分割及识别的方法
CN108711148A (zh) * 2018-05-11 2018-10-26 沈阳理工大学 一种基于深度学习的轮胎缺陷智能检测方法
CN108805190A (zh) * 2018-05-30 2018-11-13 北京奇艺世纪科技有限公司 一种图像处理方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914844A (zh) * 2019-05-07 2020-11-10 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN110134695A (zh) * 2019-05-21 2019-08-16 电子科技大学 一种面向流水线结构化数据查询的数据库智能分区方法
CN110134695B (zh) * 2019-05-21 2022-08-16 电子科技大学 一种面向流水线结构化数据查询的数据库智能分区方法
CN110231360A (zh) * 2019-05-31 2019-09-13 华南农业大学 电镜像差的确定方法、消除方法及装置
US11971368B2 (en) 2019-05-31 2024-04-30 South China Agricultural University Determination method, elimination method and apparatus for electron microscope aberration
CN110276289A (zh) * 2019-06-17 2019-09-24 厦门美图之家科技有限公司 生成匹配模型的方法和人脸特征点追踪方法
CN110276289B (zh) * 2019-06-17 2021-09-07 厦门美图之家科技有限公司 生成匹配模型的方法和人脸特征点追踪方法
CN110503149A (zh) * 2019-08-26 2019-11-26 咪咕文化科技有限公司 一种图像中局部特征分类方法及系统
CN110503149B (zh) * 2019-08-26 2022-06-14 咪咕文化科技有限公司 一种图像中局部特征分类方法及系统
CN112668637A (zh) * 2020-12-25 2021-04-16 苏州科达科技股份有限公司 网络模型的训练方法、识别方法、装置及电子设备
CN113780289A (zh) * 2021-08-05 2021-12-10 网易（杭州）网络有限公司 图像识别方法及装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN109558904A (zh) 图像局部特征的分类方法、装置和存储介质
CN109815826B (zh) 人脸属性模型的生成方法及装置
CN109145939B (zh) 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
WO2023185785A1 (zh) 一种图像处理方法、模型训练方法及相关装置
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN110414541B (zh) 用于识别物体的方法、设备和计算机可读存储介质
CN111401339B (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
CN111191526A (zh) 行人属性识别网络训练方法、系统、介质及终端
CN113095333B (zh) 无监督特征点检测方法及装置
CN110598587B (zh) 结合弱监督的表情识别网络训练方法、系统、介质及终端
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
EP3726435A1 (en) Deep neural network training method and apparatus, and computer device
CN111833236A (zh) 产生模拟用户的三维脸部模型的方法及装置
CN110598097B (zh) 一种基于cnn的发型推荐系统、方法、设备及存储介质
Liu et al. Joint graph learning and matching for semantic feature correspondence
CN115862119B (zh) 基于注意力机制的人脸年龄估计方法及装置
CN110675312B (zh) 图像数据处理方法、装置、计算机设备以及存储介质
JP7479507B2 (ja) 画像処理方法及び装置、コンピューター機器、並びにコンピュータープログラム
CN113687830B (zh) 可视化界面生成方法、系统及计算机存储介质
CN110489634A (zh) 一种造型信息推荐方法、装置、系统及终端设备
US11748943B2 (en) Cleaning dataset for neural network training
CN115205956A (zh) 左右眼检测模型训练方法、识别左右眼的方法及装置
CN114067277A (zh) 行人图像识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402