CN110647912A - 细粒度图像识别方法、装置、计算机设备及存储介质 - Google Patents

细粒度图像识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110647912A
CN110647912A CN201910751900.2A CN201910751900A CN110647912A CN 110647912 A CN110647912 A CN 110647912A CN 201910751900 A CN201910751900 A CN 201910751900A CN 110647912 A CN110647912 A CN 110647912A
Authority
CN
China
Prior art keywords
image
fine
convolutional neural
neural network
grained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910751900.2A
Other languages
English (en)
Inventor
罗茜
张斯尧
谢喜林
王思远
黄晋
文戎
张�诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jiu Ling Software Engineering Co Ltd
Original Assignee
Shenzhen Jiu Ling Software Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jiu Ling Software Engineering Co Ltd filed Critical Shenzhen Jiu Ling Software Engineering Co Ltd
Priority to CN201910751900.2A priority Critical patent/CN110647912A/zh
Publication of CN110647912A publication Critical patent/CN110647912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种细粒度图像识别方法、装置、计算机设备及存储介质，本发明中公开的方法包括：获取图像样本，并对图像分类属性进行标注；构建双线性卷积神经网络模型，将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型；从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；通过所述细粒度图像识别模型对待识别图像进行分类识别；本发明提出的方法，通过训练双线性卷积神经网络细粒度识别模型对图形进行分类，2个并联的卷积神经网络CNN A和卷积神经网络CNN B可以同时完成区域检测和特征提取，在节省人力成本的同时，提高了分类识别的准确率。

Description

细粒度图像识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及计算机图像识别技术领域，具体涉及一种细粒度图像识别方法、装置、计算机设备及存储介质。
背景技术
细粒度图像识别是目前计算机视觉领域非常热门的研究课题，细粒度图像识别的目的在于正确识别一个大类中的不同小类，例如不同类别型号的车辆、不同类别的鸟类等。细粒度图像识别的关键在于寻找存在细微差别的局部区域。相较于现有的粗粒度识别，细粒度图像识别对图像细分类识别更加精准。
目前，传统图像识别算法存在对图像细分类识别准确率不高、依赖人工标注等问题。
发明内容
本发明的主要目的是提供一种细粒度图像识别方法、装置、计算机设备及存储介质，旨在解决传统图像识别算法存在对图像细分类识别准确率不高、依赖人工标注等问题。
为实现上述目的，本发明提供一种细粒度图像识别方法，包括如下步骤：
获取图像样本，并对图像分类属性进行标注；
构建双线性卷积神经网络模型；
将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNNA和卷积神经网络CNN B、双线性池化层Bilinear pooling、归一化层LN和全连接层Fc；
从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；
通过所述细粒度图像识别模型对通过图像采集模块获取的待识别图像进行分类识别。
优选的，所述获取图像样本，并对图像分类属性进行标注与所述构建双线性卷积神经网络模型，之间还包括：
对所述图像样本做预处理，其中，所述预处理包括直方图均衡化、图像二值化。
优选的，所述将所述图像样本导入基于双线性卷积神经网络细粒度图像识别模型中训练，并获得细粒度图像识别模型，还包括：
将所述图像样本分别导入所述卷积神经网络CNN A和所述卷积神经网络CNN B，其中，所述卷积神经网络CNN A包括多个依次连接的卷池组；所述卷积神经网络CNN B也包括多个依次连接的所述卷池组；所述卷池组包括依次连接的卷积层Conv和池化层Pool；
通过所述卷积层Conv对所述图像样本进行卷积操作，并通过激活函数计算卷积的输出；
通过所述池化层Pool对完成卷积操作的图像进行下采样操作以减少图像尺寸大小；
所述卷积神经网络CNN A输出特征向量X1，所述卷积神经网络CNN B输出特征向量X2；
将所述特征向量X1和所述特征向量X2均输入所述双线性池化层Bilinearpooling；
所述双线性池化层Bilinear pooling采用外积形式将所述特征向量X1和所述特征向量X2进行融合，并得到融合后的特征向量X1 TX2；
将所述特征向量X1 TX2输入所述归一化层LN，所述归一化层LN对所述特征向量X1 TX2进行快速收敛；
将收敛后的所述特征向量X1 TX2输入全连接层Fc，所述全连接层Fc对收敛后的所述特征向量X1 TX2进行分类。
优选的，若所述卷积神经网络CNN A和所述卷积神经网络CNN B为相同的卷积神经网络，则所述特征向量X1＝所述特征向量X2；取X＝X1＝X2，则所述特征向量X1 TX2为XTX；所述全连接层Fc对收敛后的所述特征向量X1 TX2进行分类，还包括：
所述全连接层Fc计算所述特征向量X1 TX2所属各类别的分数；
其中，计算所属各类别的分数的公式为：
sk＝(vecWk)T(vecXXT)+bk
其中，Sk为所属各类别的分数，k＝1，2，...，K，K是所有的类别数，WK表示第k类的参数矩阵，bk是偏置值；XXT∈RD*D。
优选的，所述从排序和所属类别两个方面对所述细粒度图像识别模型进行约束，其中，融合损失函数表达式为：
L＝L1+λL2
Figure BDA0002167459360000031
其中，L为融合损失函数，L1为分类损失函数，L2为排序损失函数，λ是L2的权重值；n为训练数据类别的总数；M为样本属性个数；Xi表示第i张图片的特征图；
若所述图像样本为一个三元组q,
Figure BDA0002167459360000032
将距离目标图像位置近的图像设置为潜在正样本而距离较远的图像设置成负样本
Figure BDA0002167459360000034
那么在潜在的正样本中至少存在一个最佳匹配图像
Figure BDA0002167459360000035
即
Figure BDA0002167459360000036
采用弱监督排序损失函数完成对模型的训练，排序损失函数表达式为：
Figure BDA0002167459360000037
其中，l是一个转折函数l(x)＝max(x,0)，m是一个常量用来作为边界；
Figure BDA0002167459360000038
表示训练样本到潜在正样本的欧式距离。
此外，为实现上述目的，本发明还提供一种细粒度图像识别装置，应用如上述任一项所述的细粒度图像识别方法，所述细粒度图像识别装置包括：图像采集模块、图像获取模块、识别模型模块、模型约束模块和图像识别模块；
所述图像采集模块，用于获取待识别图像；
所述图像获取模块，用于获取图像样本，并对图像分类属性进行标注；
所述识别模型模块，用于构建双线性卷积神经网络模型，并将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNN A和卷积神经网络CNN B、双线性池化层Bilinear pooling、归一化层LN和全连接层Fc；
所述模型约束模块，用于从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；
所述图像识别模块，用于采用细粒度识别模型对图像进行分类识别。
此外，为实现上述目的，本发明还提供一种计算机设备，包括：存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如上述任一项所述的细粒度图像识别方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的细粒度图像识别方法的步骤。
通过上述技术方案，通过训练双线性卷积神经网络细粒度识别模型对图形进行分类，2个并联的卷积神经网络CNN A和卷积神经网络CNN B可以同时完成区域检测和特征提取，在节省人力成本的同时，提高了分类识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明细粒度图像识别方法第一实施例的流程示意图；
图2为本发明细粒度图像识别方法第四实施例中的双线性卷积神经网络模型的结构示意图；
图3为本发明细粒度图像识别装置一实施例的结构示意图；
图4为本发明计算机设备一实施例的模块结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提出一种细粒度图像识别方法、装置、计算机设备及存储介质。
请参照图1，图1为本发明细粒度图像识别方法的第一实施例的流程示意图；本方法包括如下步骤：
步骤S110：获取图像样本，并对图像分类属性进行标注。
具体的，要得到细粒度图像识别模型需要先确定学习图像样本，并将图像样本进行分类及标注。
步骤S120：构建双线性卷积神经网络模型。
步骤S130：将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNN A和卷积神经网络CNN B、双线性池化层Bilinear pooling、归一化层LN和全连接层Fc。
具体的，在本实施例中，卷积神经网络CNN A和卷积神经网络CNN B为两个不相同的卷积神经网络；卷积神经网络CNN A用于对物体进行定位，完成对目标和局部区域检测工作；卷积神经网络CNN B用来对卷积神经网络CNN A检测到的物体位置进行特征提取，两个网络相互协调作用，完成区域检测与特征提取。
相较于单个卷积神经网络，采用双线性卷积神经网络可以同时进行区域检测和特征提取，在节省人力成本的同时，提高了分类识别的准确率。在双线性卷积神经网络模型中增加归一化层，可使网络快速收敛。
步骤S140：从排序和所属类别两个方面对所述细粒度图像识别模型进行约束。
步骤S150：通过所述细粒度图像识别模型对待识别图像进行分类识别。
具体的，将数据库中的图像导入训练好的细粒度图像识别模型中，完成细粒度识别分类。
通过上述技术方案，通过训练双线性卷积神经网络细粒度识别模型对图形进行分类，2个并联的卷积神经网络CNN A和卷积神经网络CNN B可以同时完成区域检测和特征提取，在节省人力成本的同时，提高了分类识别的准确率。
在本发明提出的细粒度图像识别方法的第二实施例中，基于第一实施例，在步骤S140中，融合损失函数表达式为：
L＝L1+λL2
Figure BDA0002167459360000061
其中，L为融合损失函数，L1为分类损失函数，L2为排序损失函数，λ是L2的权重值，λ通过神经挽留过学习得到，n为训练数据类别的总数，M为样本属性个数，Xi表示第i张图片的特征图；
若所述图像样本为一个三元组
Figure BDA0002167459360000062
将距离目标图像位置近的图像设置为潜在正样本
Figure BDA0002167459360000063
而距离较远的图像设置成负样本
Figure BDA0002167459360000064
那么在潜在的正样本中至少存在一个最佳匹配图像
Figure BDA0002167459360000065
即
Figure BDA0002167459360000066
采用弱监督排序损失函数完成对模型的训练，排序损失函数表达式为：
Figure BDA0002167459360000067
其中，l是一个转折函数l(x)＝max(x,0)，m是一个常量用来作为边界，
Figure BDA0002167459360000068
表示训练样本到潜在正样本的欧式距离。
在本发明提出的细粒度图像识别方法的第三实施例中，基于第一实施例，在步骤S110和步骤S120之间还包括：
步骤S111：对所述图像样本做预处理，其中，所述预处理包括直方图均衡化、图像二值化。
具体的，对图像样本做直方图均衡化处理，通过均匀地分布各灰度值来增强图像对比度，以此提高识别模型的识别效率。
在本发明提出的细粒度图像识别方法的第四实施例中，基于第一实施例，步骤S130包括：
步骤S121：将所述图像样本分别导入所述卷积神经网络CNN A和所述卷积神经网络CNN B，其中，所述卷积神经网络CNN A包括多个依次连接的卷池组；所述卷积神经网络CNN B也包括多个依次连接的所述卷池组；所述卷池组包括依次连接的卷积层Conv和池化层Pool。
具体的，如附图2所示，附图2本实施例中的双线性卷积神经网络模型的结构示意图；在本实施例中，CNN A包括3组卷池组，分别为A卷积层Conv1和A池化层Pool1、A卷积层Conv2和A池化层Pool2、A卷积层Conv3和A池化层Pool3。
同样的，CNN B包括3组卷池组，分别为B卷积层Conv1和B池化层Pool1、B卷积层Conv2和B池化层Pool2、B卷积层Conv3和B池化层Pool3。
步骤S122：通过所述卷积层Conv对所述图像样本进行卷积操作，并通过激活函数计算卷积的输出。
步骤S123：通过所述池化层Pool对完成卷积操作的图像进行下采样操作以减少图像尺寸大小。
步骤S124：所述卷积神经网络CNN A输出特征向量X1，所述卷积神经网络CNN B输出特征向量X2。
步骤S125：将所述特征向量X1和所述特征向量X2均输入所述双线性池化层Bilinear pooling；
步骤S126：所述双线性池化层Bilinear pooling采用外积形式将所述特征向量X1和所述特征向量X2进行融合，并得到融合后的特征向量X1 TX2。
步骤S127：将所述特征向量X1 TX2输入所述归一化层LN，所述归一化层LN对所述特征向量X1 TX2进行快速收敛。
步骤S128：将收敛后的所述特征向量X1 TX2输入全连接层Fc，所述全连接层Fc对收敛后的所述特征向量X1 TX2进行分类。
具体的，卷积神经网络CNN A用于对物体进行定位，完成对目标和局部区域检测工作；卷积神经网络CNN B用来对卷积神经网络CNN A检测到的物体位置进行特征提取，两个网络相互协调作用，完成区域检测与特征提取，并生成两个特征向量X1和X2。将同一位置的两个特征向量外积得到这个位置的双线性特征X1 TX2，将融合后的特征向量输入归一化层LN快速收敛，最后输入全连接层Fc进行分类。
在本发明提出的细粒度图像识别方法的第五实施例中，基于第四实施例，若所述卷积神经网络CNN A和所述卷积神经网络CNN B为相同的卷积神经网络，则所述特征向量X1＝所述特征向量X2；取X＝X1＝X2，则所述特征向量X1 TX2为XTX；步骤S128包括：
步骤S210：所述全连接层Fc计算所述特征向量X1 TX2所属各类别的分数；
其中，计算所属各类别的分数的公式为：
sk＝(vecWk)T(vecXXT)+bk
其中，Sk为所属各类别的分数，k＝1，2，...，K，K是所有的类别数；WK表示第k类的参数矩阵；bk是偏置值，bk通过神经网络学习得到；XXT∈RD*D。
具体的，根据表示定理，最优的参数矩阵是特征的线性组合
Figure BDA0002167459360000081
其中N表示训练集大小，N根据训练集图像的多少确定；其为对阵矩阵，可对其做谱分解，根据特征值的正负分成两部分：
Figure BDA0002167459360000082
假定参数矩阵大于0和小于0的特征值个数都为
Figure BDA0002167459360000083
把所有大于0的特征值和特征向量汇总到矩阵，则
Figure BDA0002167459360000084
把所有小于0的特征值和特征向量汇总到矩阵，则
Figure BDA0002167459360000085
那么
Wk＝Uk+Uk+ T-Uk-Uk- T
即可以用参数矩阵Uk＝[Uk+ Uk-]∈RD*r近似原来的参数矩阵Wk∈RD*D，其中r是一个超参数。
因此，图像所属各个类别的分数可表示为：
Figure BDA0002167459360000091
通过对参数矩阵的近秩近似，降低了融合后特征向量的维度及分类器需要的参数量。
同时采用相同的两个卷积神经网络，可以节省运算时间，提高效率。
本发明还提供一种细粒度图像识别装置，如附图3所示，应用如上述任一项所述的细粒度图像识别方法，所述细粒度图像识别装置包括：图像采集模块150、图像获取模块110、识别模型模块120、模型约束模块130和图像识别模块140；
所述图像采集模块150，用于获取待识别图像。
所述图像获取模块110，用于获取图像样本，并对图像分类属性进行标注。
所述识别模型模块120，用于构建双线性卷积神经网络模型，并将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNN A和卷积神经网络CNN B、双线性池化层Bilinear pooling、归一化层LN和全连接层Fc。
所述模型约束模块130，用于从排序和所属类别两个方面对所述细粒度图像识别模型进行约束。
所述图像识别模块140，用于采用细粒度识别模型对图像进行分类识别。
由于本实施例细粒度图像识别装置的技术方案至少包括上述细粒度图像识别方法实施例的全部技术方案，因此至少具有以上实施例的全部技术效果，此处不再一一赘述。
此外，为实现上述目的，本发明还提供一种计算机设备，存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如上述任一实施例所述的细粒度图像识别方法的步骤。
由于本实施例计算机设备的技术方案至少包括上述细粒度图像识别方法实施例的全部技术方案，因此至少具有以上实施例的全部技术效果，此处不再一一赘述。
请参阅附图4，附图4显示的计算机设备/服务器10仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如附图4所示，计算机设备/服务器10以通用计算设备的形式表现。计算机设备/服务器10的组件可以包括但不限于：一个或者多个处理器(处理单元)11、存储器12，连接不同系统组件(包括存储器12和处理器11)的总线13。
总线表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备/服务器10典型地包括多种计算机设备可读介质。这些介质可以是任何能够被计算机设备/服务器10访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器12可以包括易失性存储器形式的计算机设备可读介质，例如随机存取存储器(RAM)14和/或高速缓存存储器15。计算机设备/服务器10可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机设备存储介质。仅作为举例，存储系统16可以用于读写不可移动的、非易失性磁介质(附图4未显示，通常称为“硬盘驱动器”)。尽管附图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线13相连。存储器12可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块17的程序/实用工具18，可以存储在例如存储器12中，这样的程序模块17包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块17通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备/服务器10也可以与一个或多个外部设备19(例如键盘、指向设备、显示器等)通信，还可与一个或者多个使得用户能与该计算机设备/服务器10交互的设备通信，和/或与使得该计算机设备/服务器10能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口20进行。并且，计算机设备/服务器10还可以通过网络适配器21与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如附图4所示，网络适配器21通过总线13与计算机设备/服务器10的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器10使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器11通过运行存储在存储器12中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法。
本领域技术人员可以理解，附图4中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述细粒度图像识别方法的第一实施例至第五实施例中任一项的步骤。
由于本实施例计算机可读存储介质的技术方案至少包括上述细粒度图像识别方法实施例的全部技术方案，因此至少具有以上实施例的全部技术效果，此处不再一一赘述。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种细粒度图像识别方法，其特征在于，包括如下步骤：
获取图像样本，并对图像分类属性进行标注；
构建双线性卷积神经网络模型；
将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNN A和卷积神经网络CNN B、双线性池化层Bilinear pooling、归一化层LN和全连接层Fc；
从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；
通过所述细粒度图像识别模型对通过图像采集模块获取的待识别图像进行分类识别。
2.如权利要求1所述的细粒度图像识别方法，其特征在于，所述获取图像样本，并对图像分类属性进行标注与所述构建双线性卷积神经网络模型，之间还包括：
对所述图像样本做预处理，其中，所述预处理包括直方图均衡化、图像二值化。
3.如权利要求1所述的细粒度图像识别方法，其特征在于，所述将所述图像样本导入基于双线性卷积神经网络细粒度图像识别模型中训练，并获得细粒度图像识别模型，还包括：
将所述图像样本分别导入所述卷积神经网络CNN A和所述卷积神经网络CNN B，其中，所述卷积神经网络CNN A包括多个依次连接的卷池组；所述卷积神经网络CNN B也包括多个依次连接的所述卷池组；所述卷池组包括依次连接的卷积层Conv和池化层Pool；
通过所述卷积层Conv对所述图像样本进行卷积操作，并通过激活函数计算卷积的输出；
通过所述池化层Pool对完成卷积操作的图像进行下采样操作以减少图像尺寸大小；
所述卷积神经网络CNN A输出特征向量X1，所述卷积神经网络CNN B输出特征向量X2；
将所述特征向量X1和所述特征向量X2均输入所述双线性池化层Bilinear pooling；
所述双线性池化层Bilinear pooling采用外积形式将所述特征向量X1和所述特征向量X2进行融合，并得到融合后的特征向量X1 TX2；
将所述特征向量X1 TX2输入所述归一化层LN，所述归一化层LN对所述特征向量X1 TX2进行快速收敛；
将收敛后的所述特征向量X1 TX2输入全连接层Fc，所述全连接层Fc对收敛后的所述特征向量X1 TX2进行分类。
4.如权利要求3所述的细粒度图像识别方法，其特征在于，若所述卷积神经网络CNN A和所述卷积神经网络CNN B为相同的卷积神经网络，则所述特征向量X1＝所述特征向量X2；取X＝X1＝X2，则所述特征向量X1 TX2为XTX；所述全连接层Fc对收敛后的所述特征向量X1 TX2进行分类，还包括：
所述全连接层Fc计算所述特征向量X1 TX2所属各类别的分数；
其中，计算所属各类别的分数的公式为：
sk＝(vecWk)T(vecXXT)+bk
其中，Sk为所属各类别的分数，k＝1，2，...，K，K是所有的类别数，WK表示第k类的参数矩阵，bk是偏置值；XXT∈RD*D。
5.如权利要求1所述的细粒度图像识别方法，其特征在于，所述从排序和所属类别两个方面对所述细粒度图像识别模型进行约束，其中，融合损失函数表达式为：
L＝L1+λL2
Figure FDA0002167459350000021
其中，L为融合损失函数，L1为分类损失函数，L2为排序损失函数，λ是L2的权重值；n为训练数据类别的总数；M为样本属性个数；Xi表示第i张图片的特征图；
若所述图像样本为一个三元组q,
Figure FDA0002167459350000031
将距离目标图像位置近的图像设置为潜在正样本而距离较远的图像设置成负样本
Figure FDA0002167459350000033
那么在潜在的正样本中至少存在一个最佳匹配图像
Figure FDA0002167459350000034
即
Figure FDA0002167459350000035
采用弱监督排序损失函数完成对模型的训练，排序损失函数表达式为：
Figure FDA0002167459350000036
其中，l是一个转折函数l(x)＝max(x,0)，m是一个常量用来作为边界；
Figure FDA0002167459350000037
表示训练样本到潜在正样本的欧式距离。
6.一种细粒度图像识别装置，其特征在于，应用如权利要求1至5中任一项所述的细粒度图像识别方法，所述细粒度图像识别装置包括：图像采集模块、图像获取模块、识别模型模块、模型约束模块和图像识别模块；
所述图像采集模块，用于获取待识别图像；
所述图像获取模块，用于获取图像样本，并对图像分类属性进行标注；
所述识别模型模块，用于构建双线性卷积神经网络模型，并将所述图像样本导入所述双线性卷积神经网络模型中训练，并获得细粒度图像识别模型，其中，所述双线性卷积神经网络模型包括依次连接的：2个并联的卷积神经网络CNN A和卷积神经网络CNN B、双线性池化层Bilinear pooling、归一化层LN和全连接层Fc；
所述模型约束模块，用于从排序和所属类别两个方面对所述细粒度图像识别模型进行约束；
所述图像识别模块，用于采用细粒度识别模型对图像进行分类识别。
7.一种计算机设备，其特征在于，包括：存储器、处理器、以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的细粒度图像识别方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的细粒度图像识别方法的步骤。
CN201910751900.2A 2019-08-15 2019-08-15 细粒度图像识别方法、装置、计算机设备及存储介质 Pending CN110647912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910751900.2A CN110647912A (zh) 2019-08-15 2019-08-15 细粒度图像识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910751900.2A CN110647912A (zh) 2019-08-15 2019-08-15 细粒度图像识别方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN110647912A true CN110647912A (zh) 2020-01-03

Family

ID=68990438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910751900.2A Pending CN110647912A (zh) 2019-08-15 2019-08-15 细粒度图像识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110647912A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191587A (zh) * 2019-12-30 2020-05-22 兰州交通大学 一种行人重识别方法及系统
CN111339363A (zh) * 2020-02-28 2020-06-26 钱秀华 图像识别方法、装置及服务器
CN111382781A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111680755A (zh) * 2020-06-11 2020-09-18 上海交通大学医学院附属第九人民医院 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN111753736A (zh) * 2020-06-24 2020-10-09 北京软通智慧城市科技有限公司 基于分组卷积的人体姿态识别方法、装置、设备和介质
CN111931823A (zh) * 2020-07-16 2020-11-13 平安科技（深圳）有限公司 一种细粒度图像分类模型处理方法和装置
CN112101437A (zh) * 2020-09-07 2020-12-18 平安科技（深圳）有限公司 基于图像检测的细粒度分类模型处理方法、及其相关设备
CN112348089A (zh) * 2020-11-10 2021-02-09 中南民族大学 工作状态识别方法、服务器、存储介质及装置
CN112766378A (zh) * 2021-01-19 2021-05-07 北京工商大学 一种专注细粒度识别的跨域小样本图像分类模型方法
CN113128380A (zh) * 2021-04-06 2021-07-16 中国农业大学 鱼体姿态的识别方法、装置、电子设备和存储介质
CN113269051A (zh) * 2021-04-30 2021-08-17 广州图匠数据科技有限公司 商品识别方法、智能终端以及存储装置
CN113449672A (zh) * 2021-07-07 2021-09-28 中国人民解放军国防科技大学 基于双线性孪生架构的遥感场景分类方法和装置
CN113486833A (zh) * 2021-07-15 2021-10-08 北京达佳互联信息技术有限公司 多模态特征提取模型训练方法、装置、电子设备
CN113486715A (zh) * 2021-06-04 2021-10-08 广州图匠数据科技有限公司 图像翻拍识别方法、智能终端以及计算机存储介质
CN113780074A (zh) * 2021-08-04 2021-12-10 五邑大学 卷纸中包质量检测方法、装置及存储介质
CN114492634A (zh) * 2022-01-25 2022-05-13 中国人民解放军国防科技大学 一种细粒度装备图片分类识别方法及系统
CN114898186A (zh) * 2022-07-12 2022-08-12 中科视语(北京)科技有限公司 细粒度图像识别模型训练、图像识别方法及装置
CN115063601A (zh) * 2022-06-28 2022-09-16 中国科学院半导体研究所 基于图像和音频双模态鸟类识别方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710847A (zh) * 2018-05-15 2018-10-26 北京旷视科技有限公司 场景识别方法、装置及电子设备
CN109086792A (zh) * 2018-06-26 2018-12-25 上海理工大学 基于检测和识别网络架构的细粒度图像分类方法
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
CN109583305A (zh) * 2018-10-30 2019-04-05 南昌大学 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法
CN109815973A (zh) * 2018-12-07 2019-05-28 天津大学 一种适用于鱼类细粒度识别的深度学习方法
CN109935337A (zh) * 2019-02-25 2019-06-25 长沙学院 一种基于相似性度量的病案查找方法及系统
CN110084284A (zh) * 2019-04-04 2019-08-02 苏州千视通视觉科技股份有限公司 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN110096962A (zh) * 2019-04-04 2019-08-06 苏州千视通视觉科技股份有限公司 基于区域卷积网络的车辆细节识别二次结构化方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710847A (zh) * 2018-05-15 2018-10-26 北京旷视科技有限公司 场景识别方法、装置及电子设备
CN109086792A (zh) * 2018-06-26 2018-12-25 上海理工大学 基于检测和识别网络架构的细粒度图像分类方法
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
CN109583305A (zh) * 2018-10-30 2019-04-05 南昌大学 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法
CN109815973A (zh) * 2018-12-07 2019-05-28 天津大学 一种适用于鱼类细粒度识别的深度学习方法
CN109935337A (zh) * 2019-02-25 2019-06-25 长沙学院 一种基于相似性度量的病案查找方法及系统
CN110084284A (zh) * 2019-04-04 2019-08-02 苏州千视通视觉科技股份有限公司 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN110096962A (zh) * 2019-04-04 2019-08-06 苏州千视通视觉科技股份有限公司 基于区域卷积网络的车辆细节识别二次结构化方法及装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191587A (zh) * 2019-12-30 2020-05-22 兰州交通大学 一种行人重识别方法及系统
CN111191587B (zh) * 2019-12-30 2021-04-09 兰州交通大学 一种行人重识别方法及系统
CN111382781A (zh) * 2020-02-21 2020-07-07 华为技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111382781B (zh) * 2020-02-21 2023-09-12 华为云计算技术有限公司 获取图像标签的方法、训练图像识别模型的方法和装置
CN111339363A (zh) * 2020-02-28 2020-06-26 钱秀华 图像识别方法、装置及服务器
CN111339363B (zh) * 2020-02-28 2020-12-15 厦门铨通网络科技有限公司 图像识别方法、装置及服务器
CN111680755B (zh) * 2020-06-11 2023-06-27 上海交通大学医学院附属第九人民医院 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN111680755A (zh) * 2020-06-11 2020-09-18 上海交通大学医学院附属第九人民医院 医学图像识别模型构建及医学图像识别方法、装置、介质及终端
CN111753736A (zh) * 2020-06-24 2020-10-09 北京软通智慧城市科技有限公司 基于分组卷积的人体姿态识别方法、装置、设备和介质
CN111931823A (zh) * 2020-07-16 2020-11-13 平安科技（深圳）有限公司 一种细粒度图像分类模型处理方法和装置
CN112101437A (zh) * 2020-09-07 2020-12-18 平安科技（深圳）有限公司 基于图像检测的细粒度分类模型处理方法、及其相关设备
CN112101437B (zh) * 2020-09-07 2024-05-31 平安科技（深圳）有限公司 基于图像检测的细粒度分类模型处理方法、及其相关设备
CN112348089B (zh) * 2020-11-10 2024-01-16 中南民族大学 工作状态识别方法、服务器、存储介质及装置
CN112348089A (zh) * 2020-11-10 2021-02-09 中南民族大学 工作状态识别方法、服务器、存储介质及装置
CN112766378A (zh) * 2021-01-19 2021-05-07 北京工商大学 一种专注细粒度识别的跨域小样本图像分类模型方法
CN112766378B (zh) * 2021-01-19 2023-07-21 北京工商大学 一种专注细粒度识别的跨域小样本图像分类模型方法
CN113128380B (zh) * 2021-04-06 2024-04-02 中国农业大学 鱼体姿态的识别方法、装置、电子设备和存储介质
CN113128380A (zh) * 2021-04-06 2021-07-16 中国农业大学 鱼体姿态的识别方法、装置、电子设备和存储介质
CN113269051A (zh) * 2021-04-30 2021-08-17 广州图匠数据科技有限公司 商品识别方法、智能终端以及存储装置
CN113486715A (zh) * 2021-06-04 2021-10-08 广州图匠数据科技有限公司 图像翻拍识别方法、智能终端以及计算机存储介质
CN113449672B (zh) * 2021-07-07 2022-08-19 中国人民解放军国防科技大学 基于双线性孪生架构的遥感场景分类方法和装置
CN113449672A (zh) * 2021-07-07 2021-09-28 中国人民解放军国防科技大学 基于双线性孪生架构的遥感场景分类方法和装置
CN113486833A (zh) * 2021-07-15 2021-10-08 北京达佳互联信息技术有限公司 多模态特征提取模型训练方法、装置、电子设备
CN113780074A (zh) * 2021-08-04 2021-12-10 五邑大学 卷纸中包质量检测方法、装置及存储介质
CN114492634A (zh) * 2022-01-25 2022-05-13 中国人民解放军国防科技大学 一种细粒度装备图片分类识别方法及系统
CN114492634B (zh) * 2022-01-25 2024-01-19 中国人民解放军国防科技大学 一种细粒度装备图片分类识别方法及系统
CN115063601A (zh) * 2022-06-28 2022-09-16 中国科学院半导体研究所 基于图像和音频双模态鸟类识别方法、装置、设备及介质
CN114898186A (zh) * 2022-07-12 2022-08-12 中科视语(北京)科技有限公司 细粒度图像识别模型训练、图像识别方法及装置

Similar Documents

Publication Publication Date Title
CN110647912A (zh) 细粒度图像识别方法、装置、计算机设备及存储介质
CN112528780B (zh) 通过混合时域自适应的视频动作分割
CN106951484B (zh) 图片检索方法及装置、计算机设备及计算机可读介质
CN108733778B (zh) 对象的行业类型识别方法和装置
US20200160124A1 (en) Fine-grained image recognition
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN110175615B (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
CN110929802A (zh) 基于信息熵的细分类识别模型训练、图像识别方法及装置
CN110705489B (zh) 目标识别网络的训练方法、装置、计算机设备和存储介质
CN111753863A (zh) 一种图像分类方法、装置、电子设备及存储介质
CN110991513A (zh) 一种具有类人连续学习能力的图像目标识别系统及方法
CN111428557A (zh) 基于神经网络模型的手写签名的自动校验的方法和装置
CN110188766B (zh) 基于卷积神经网络的图像主目标检测方法及装置
CN113869282B (zh) 人脸识别方法、超分模型训练方法及相关设备
EP4060526A1 (en) Text processing method and device
CN113408472A (zh) 目标重识别模型的训练方法、目标重识别方法及装置
CN116226785A (zh) 目标对象识别方法、多模态识别模型的训练方法和装置
CN110135428B (zh) 图像分割处理方法和装置
CN111401309A (zh) 基于小波变换的cnn训练和遥感图像目标识别方法
Pei et al. Small target detection with remote sensing images based on an improved YOLOv5 algorithm
CN113239883A (zh) 分类模型的训练方法、装置、电子设备以及存储介质
CN110796108B (zh) 一种人脸质量检测的方法、装置、设备及存储介质
CN113177479B (zh) 图像分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination