CN108647588A - 物品类别识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种物品类别识别方法、装置、计算机设备和存储介质。方法包括获取待识别物品图像，并提取所述待识别物品图像的边缘掩膜信；根据所述边缘掩膜信息，对所述待识别物品图像进行裁剪处理，根据所述裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别所述待识别物品图像的类别，并输出识别结果，所述预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型，通过经过预训练与迁移学习得到的物品类别识别模型，提高了对物品准确度的控制要求，使用物品类别识别模型对待识别物品图像进行识别，可以准确获取物品识别结果。

Description

物品类别识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种物品类别识别方法、装置、计算机设备和存储介质。

背景技术

随着科学技术的快速发展，手机的更新换代速度也越来越快，各种各样型号的手机在市面上流通，但也有不少机型的手机由于使用时间过长、配置过低或是损坏等原因，不再被用户所使用。面对各种各样外形的手机，以及众多外形与手机及其相似的物品，将手机从其中挑选出来，对人工操作来说，挑选出手机可能不是很难，但工作量确是十分的繁重。

随着人工智能技术的发展，逐渐实现了机器辅助人工操作，使用机器辅助来识别手机与非手机，虽然减轻了工作人员的工作量，但是机器进行物品识别的准确度无法得到保证，还是离不开工作人员进行把关，特别是在某些特殊的应用场景下，环境对识别结果的影响更为显著，无法获得较好的物品识别结果。

发明内容

基于此，有必要针对物品识别的准确度低的技术问题，提供一种能够提高物品识别准确度的物品类别识别方法、装置、计算机设备和存储介质。

一种物品类别识别方法，包括：

获取待识别物品图像，并提取所述待识别物品图像的边缘掩膜信息；

根据所述边缘掩膜信息，对所述待识别物品图像进行裁剪处理；

根据所述裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别所述待识别物品图像的类别，并输出识别结果，所述预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

在其中一个实施例中，所述提取所述待识别物品图像的边缘掩膜信息包括：

通过Canny边缘检测，获取待识别物品图像的边缘数据；

通过对所述边缘数据进行形态学膨胀操作，提取所述待识别物品图像的边缘掩膜信息。

在其中一个实施例中，所述提取所述待识别物品图像的边缘掩膜信息包括：

对所述图像进行高斯滤波去噪声处理，获取平滑图像；

对所述平滑图像的梯度幅值和方向信息进行处理，获取非极大值抑制图像的直方图；

根据所述非极大值抑制图像的直方图，得到所述非极大值抑制图像的阈值范围；

根据所述梯度幅值与所述阈值范围，得到边缘图像；

对所述边缘图像进行形态学膨胀操作，获取所述待识别物品图像的边缘掩膜信息。

在其中一个实施例中，所述根据所述边缘掩膜信息，对所述待识别物品图像进行裁剪处理包括：

根据所述边缘掩膜信息，对所述图像进行拓扑分析，获取拓扑信息；

根据所述拓扑信息，对所述图像进行轮廓检索；

根据检索得到的最外层轮廓，提取出所述待识别物品图像的目标区域；

根据所述目标区域对所述待识别物品图像进行裁剪处理。

在其中一个实施例中，所述根据所述裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别所述待识别物品图像的类别，并输出识别结果之前，还包括：

获取训练样本图像数据集；

根据预设的深度卷积神经网络，训练所述训练样本图像数据集，得到预训练网络模型；

对所述训练样本图像数据集中的样本图像进行裁剪处理；

根据所述预训练网络模型的权重参数，训练所述经过裁剪处理的样本图像，进行迁移学习；

根据所述迁移学习的结果，确定所述物品类别识别模型。

在其中一个实施例中，所述深度卷积神经网络包括依次连接的第一卷积模块、第一池化模块、第二卷积模块、第二池化模块、多个分立模块以及回归模块，所述根据预设的深度卷积神经网络，训练所述训练样本图像数据集，得到预训练网络模型包括：

将训练样本图像输入所述第一卷积模块，并进行补零操作，得到第一卷积结果；

将所述第一卷积结果输入所述第一池化模块，进行第一池化操作，得到第一池化结果；

将所述第一池化结果输入所述第二卷积模块，得到第二卷积结果；

将所述第二卷积结果依次输入叠加的多个所述分立模块，进行特征提取与合并处理，得到特征图像；

将所述特征图像输入所述第二池化模块，进行第二池化操作，得到第二池化结果；

将所述第二池化结果输入所述回归模块，进行线性回归与图像分类处理，得到预训练网络模型。

在其中一个实施例中，所述根据所述迁移学习结果，确定物品类别识别模型包括：

根据所述迁移学习结果，确定测试网络模型；

分别获取物品和非物品的测试样本图像数据集；

根据所述测试网络模型，测试所述物品和非物品的测试样本图像，得到测试结果；

根据所述测试结果和预设的精度要求，修改所述测试网络模型的参数，得到物品类别识别模型。

一种物品类别识别装置，包括：

边缘掩膜信息提取模块，用于获取待识别物品图像，并提取所述待识别物品图像的边缘掩膜信息；

图像裁剪模块，用于根据所述边缘掩膜信息，对所述待识别物品图像进行裁剪处理；

物品类别识别模块，用于根据所述裁剪处理的待识别物品图像和预设的物品类别识别模型，识别所述待识别物品图像的类别，并输出识别结果，所述预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取待识别物品图像，并提取待识别物品图像的边缘掩膜信息；

根据边缘掩膜信息，对待识别物品图像进行裁剪处理；

根据裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别待识别物品图像的类别，并输出识别结果，预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待识别物品图像，并提取待识别物品图像的边缘掩膜信息；

根据边缘掩膜信息，对待识别物品图像进行裁剪处理；

根据裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别待识别物品图像的类别，并输出识别结果，预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

上述物品类别识别方法、装置、计算机设备和存储介质，通过对获取的待识别物品图像进行边缘掩膜信息提取，可以根据边缘掩膜信息裁剪掉背景部分，降低复杂背景信息的物品识别的干扰，通过经过预训练与迁移学习得到的物品类别识别模型，提高了对物品准确度的控制要求，使用物品类别识别模型对待识别物品图像进行识别，可以准确获取物品识别结果。

附图说明

图1为本申请一个实施例中物品类别识别方法的流程示意图；

图2为本申请另一个实施例中物品类别识别方法的流程示意图；

图3为本申请另一个实施例中提取待识别物品图像的边缘掩膜信息步骤的流程示意图；

图4为本申请另一个实施例中根据预设的深度卷积神经网络，对训练样本图像数据集进行训练，得到预训练网络模型步骤的流程示意图；

图5为本申请另一个实施例中物品类别识别方法的流程示意图；

图6为本申请一个实施例中深度卷积神经网络的示意图；

图7为本申请一个实施例中深度卷积神经网络分立模块的示意图；

图8为本申请一个应用实例中手机与非手机的图像示例图；

图9为本申请一个应用实例中物品类别识别模型训练与测试流程示意图；

图10为本申请一个实施例中物品类别识别装置的结构框图；

图11为本申请一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，一种物品类别识别方法，包括：

步骤S200，获取待识别物品图像，并提取待识别物品图像的边缘掩膜信息。

待识别物品是指按照预设的物品类别进行识别区分的物品，举例来说，物品类别可以包括手机和非手机，可以从待识别物品识别出属于手机类别还是非手机类别，待识别物品图像是指待识别物品的图像信息，通过图像信息进行识别可以避免动态过程带来的干扰，识别过程更为简单。边缘存在于图像的不规则结构和不平稳现象中，也即存在于信号的突变点处，边缘是指图像局部特性的不连续性，例如，灰度级的突变，颜色的突变，纹理结构的突变等，广泛存在于目标与目标、物品与背景、区域与区域(含不同色彩)之间，是图像分割所依赖的重要特征。掩膜是用选定的图像、图形或物品，对处理图像的全部或局部进行遮挡，来控制图像处理的区域或处理过程。边缘掩膜信息是指根据待识别物品的图像信息，对图像的背景与待识别物品之间的突变进行识别得到的信息。

步骤S400，根据边缘掩膜信息，对待识别物品图像进行裁剪处理。

根据边缘掩膜信息，可以区分待识别物品图像中的待识别物品部分与背景部分，根据区分结果进行裁剪，筛选出需要的待识别物品部分，形成裁剪处理后的待识别物品图像。

步骤S700，根据裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别待识别物品图像的类别，并输出识别结果，预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

训练样本图像包括物品和非物品两类，训练样本图像一般是提前获取的已知类别的图片信息，待识别物品图像是实时获取的，需要进行类别判断的图片信息，预设的物品类别识别模型是指通过对训练样本图像进行训练和迁移学习得到的模型，对训练样本图像进行训练具体可以包括通过深度卷积神经网络对训练样本图像进行训练，迁移学习是指将已经学到的模型参数(或模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率的方式，通过迁移学习可以解决通过深度卷积神经网络对训练样本图像进行训练得到的模型出现过度拟合的问题，实现模型优化，得到物品类别识别模型，从而识别待识别物品图像的类别，并输出识别结果，识别结果包括待识别物品所属类别。

上述物品类别识别方法，通过对获取的待识别物品图像进行边缘掩膜信息提取，可以根据边缘掩膜信息裁剪掉背景部分，降低复杂背景信息的物品识别的干扰，通过经过预训练与迁移学习得到的物品类别识别模型，提高了对物品准确度的控制要求，使用物品类别识别模型对待识别物品图像进行识别，可以准确获取物品识别结果。

如图2所示，在其中一个实施例中，步骤S200包括：

步骤S220，通过Canny边缘检测，获取待识别物品图像的边缘数据，通过对边缘数据进行形态学膨胀操作，提取待识别物品图像的边缘掩膜信息。

Canny边缘检测基于多阶边缘算子，由于未处理待识别物品图像可能含有噪声，在原始图像上应用高斯滤波器，得到轻度平滑的图像，避免全局重要参数被单个噪声像素干扰。图像形态学是一门建立在格伦和拓扑学基础上的图像分析学科，是数学形态学图像处理的基本理论，形态学膨胀属于图像形态学运算中的一种。通过Canny边缘检测，可以消除待识别物品图像的噪声影响，获取待识别物品图像的边缘数据，并进一步对待识别物品图像的边缘数据进行形态学膨胀操作，可以确保边缘数据的正确性，获取效果较好的边缘掩膜信息。

如图3所示，在一个实施例中，步骤S220包括：

步骤S224，对图像进行高斯滤波去噪声处理，获取平滑图像。

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩膜)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，获取平滑图像。

具体地，经过高斯滤波使图像变平滑，去除噪声，根据高斯函数的形状来选择权值的线性平滑滤波器为高斯滤波器，由于噪声和边缘都集中在高频信号，噪声就容易被识别为伪边缘。应用高斯模糊去除噪声，可以降低伪边缘的识别。高斯函数数学表达式为：

G(x,y)＝f(x,y)*H(x,y) (2)

其中，x,y为空间域像素的位置；σ为高斯函数沿两个坐标轴的标准差。通过高斯函数生成矩形模板，用生成的高斯滤波矩阵的系数对待识别物品图像进行平滑处理。

步骤S228，对平滑图像的梯度幅值和方向信息进行处理，获取非极大值抑制图像的直方图。

将高斯滤波后的平滑图像经过一阶偏导有限差分计算梯度幅值和方向，采用了两个梯度算子来分别计算水平和垂直方向的梯度。其中一阶微分卷积模板如公式(3)所示：

梯度求解公式如公式(4)和公式(5)所示：

梯度的模和方向求解公式如公式(6)和公式(7)所示：

对梯度幅值进行非极大值抑制，保留梯度方向上的最大值，生成非极大值抑制图像，从而得到非极大值抑制图像的直方图。

步骤S232，根据非极大值抑制图像的直方图，得到非极大值抑制图像的阈值范围。

通过对非极大值抑制图像的直方图求解，可以得到两个不同的自适应阈值，具体地，自适应阈值包括高阈值与低阈值，高阈值与低阈值的比值在2:1到3:1 之间。

步骤S236，根据梯度幅值与阈值范围，得到边缘图像。

在非极大值抑制图像的直方图中，每个梯度幅值对应一定数量的像素点，按照梯度幅值从大到小的顺序把其对应的像素点的个数相加，当累加的个数达到图像中像素点总数的一定比例时，对应的梯度幅值即为高阈值。当一个像素点梯度幅值大于高阈值时，该像素点为边缘点，当一个像素点梯度幅值低于低阈值时，该像素点被舍弃，当一个像素梯度幅值在两个阈值之间时，若该像素与高于高阈值的像素点相连接则判断为边缘点，否则不是，高低阈值相互补充信息，得到较为清晰、连续的边缘图像。

步骤S240，对边缘图像进行形态学膨胀操作，获取待识别物品图像的边缘掩膜信息。

对边缘图像进行形态学膨胀操作，具体为，选择十字结构的滑动窗口去遍历图像中的每个像素，并用这个区域的最大值(二值图像为1)去代替窗口位于中心的像素值，具体的，可以是大小为3x3的十字结构滑动窗口。该操作把相邻的像素点连接起来，同时又能保证边缘数据正确性，从而获取待识别物品图像的边缘掩膜信息。

如图2所示，在一个实施例中，步骤S400包括：

步骤S420，根据边缘掩膜信息，对图像进行拓扑分析，获取拓扑信息。

拓扑信息是指图形元素之间相互空间上的连接、邻接关系并不考虑具体位置，这种拓扑关系是由数字化的点、线、面数据形成的以用户的查询或应用分析要求进行图形选取、叠合、合并等操作。

步骤S440，根据拓扑信息，对图像进行轮廓检索。

经拓扑分析后对图像进行轮廓检索，可以获取到较好的轮廓检索结果。

步骤S460，根据检索得到的最外层轮廓，提取出待识别物品图像的目标区域。

轮廓检索结果包括最外层轮廓，根据最外层轮廓，可以区分出背景区域，从而将背景区域与待识别物品图像的目标区域分离，提取出待识别物品图像的目标区域。

步骤S480，根据目标区域对待识别物品图像进行裁剪处理。

根据背景区域与待识别物品图像的目标区域，裁剪掉背景区域，保留待识别物品图像的目标区域。

在一个实施例中，步骤S700之前，还包括：

步骤S520，获取训练样本图像数据集。

物品和非物品的训练样本图像可以通过拍照设备如手机、照相机、扫描仪、摄像机等获取，并按照物品和非物品两类区分，分别建立图像数据集。

步骤S540，根据预设的深度卷积神经网络，对训练样本图像数据集进行训练，得到预训练网络模型。

卷积神经网络是一种深度前馈人工神经网络，人工神经元可以响应周围单元，可以进行大型图像处理，包括卷积层和池化层。深度卷积神经网络是指在卷积神经网络的基础上，通过增加网络深通过度与节点进行深度学习过程的学习网络。通过深度卷积神经网络，对物品和非物品的训练样本图像数据集进行训练，得到模型参数，从而形成预训练网络模型。

步骤S560，对训练样本图像数据集中的样本图像进行裁剪处理。

训练样本图像数据集中的样本图像，通过提取边缘掩膜信息，可以裁剪背景部分，提取出样本图像中的物品区域，减小复杂背景对图片分析产生的干扰。

步骤S580，根据预训练网络模型的权重参数，训练经过裁剪处理的样本图像，进行迁移学习。

迁移学习目标是将从一个环境中学到的知识用来帮助新环境中的学习任务的过程，通过预训练网络模型的权重参数，训练经过裁剪处理的样本图像来进行迁移学习，降低了对训练样本数量的要求，缩短了训练时间。

步骤S600，根据迁移学习的结果，确定物品类别识别模型。

通过迁移学习训练的深度卷积神经网络来确定的物品类别识别模型，泛化能力强、准确率高，即使光照条件较差，存在一定的遮挡情况的异常样本也能产生较高的准确率，克服了传统图像分类方法鲁棒性低、泛化能力差的缺点。

如图6所示，在一个实施例中，深度卷积神经网络包括依次连接的第一卷积模块、第一池化模块、第二卷积模块、第二池化模块、多个分立模块以及回归模块。如图4所示，步骤S540包括：

步骤S542，将训练样本图像输入第一卷积模块，并进行补零操作，得到第一卷积结果。

第一卷积模块包括三个卷积层，其中第一个卷积层大小为7*7，步长为2，第二个卷积层大小为5*5，步长为1，第三个卷积层大小为3*3，步长为1，且进行补零操作，将训练样本图像依次经过第一卷积模块的三个卷积层，可以得到第一卷积结果。卷积层的公式为，其中，表示输入特征的集合，表示卷积核，表示网络的层数，表示每个输出特征映射所添加的偏置，是输入的特征映射，可以由不同的卷积核卷积得到，是卷积层神经网络神经元所用的激活函数。

步骤S544，将第一卷积结果输入第一池化模块，进行第一池化操作，得到第一池化结果。

第一池化模块包括一个池化层，池化层把输入的特征图像分割为不重叠的矩形区域，从而对输入的特征映射进行采样，采样后输入特征与输出特征的特征数目不会改变，但是输出特征的大小相较于输入特征会大幅减少，具体为使用均值池化方式进行池化操作，得到第一池化结果。池化层的公式为，其中，表示池化所用的函数，和为输出特征的偏置，是输入的特征映射，表示网络的层数，与卷积层类似，为池化层神经元所用的激活函数。

步骤S546，将第一池化结果输入第二卷积模块，得到第二卷积结果。

第二卷积模块包括三个卷积层，其中三个卷积层的卷积核大小均为3x3，第一个卷积层步长为1，第二个卷积层步长为2，第三个卷积层步长为1，图像依次经过第二卷积模块的三个卷积层，可以得到第二卷积结果。

进入分立模型前的第7层的输出用作分类，输出以较小的权重加到最终的分类结果中，对训练模型进行了融合；同时，输出的结果作为反向传播的梯度信号反馈给该网络，带来了额外的正则化效果。

如图7所示，步骤S548，将第二卷积结果依次输入叠加的多个分立模块，进行特征提取与合并处理，得到特征图像。

深度卷积网络模型叠加了三个分立模块，该模块分为5条路线，利用卷积核的大小不同，在宽度上，使用四种卷积核，大小分别为1x1、3x3、5x5、7x7，以及直接使用均值池化，实现多尺度下的特征提取，并使用concat连接将张量进行连接把不同特征块合并在一起，提高模型的泛化能力。其中，考虑卷积核大小与训练速度的关系，将7x7卷积核替换成4个3x3卷积核叠加，5x5卷积核换成2个3x3卷积核叠加，不仅降低了计算量提高了训练速度，而且加深了网络深度。同时，在3x3，5x5，7x7卷积核前，均值池化层后分别加上1x1的卷积核，在不损失模型特征表示能力的前提下，降低了特征图像厚度。

步骤S550，将特征图像输入第二池化模块，进行第二池化操作，得到第二池化结果。

第二池化模块包括核大小为8*8的池化层，经过第二池化操作，得到第二池化结果。

步骤S552，将第二池化结果输入回归模块，进行线性回归与图像分类处理，得到预训练网络模型。

具体来说深度卷积网络即预训练网络模型共有19层，输入图像大小为 148x148。首先通过三个卷积层，其中第一个卷积层大小为7*7，步长为2，第二个卷积层大小为5*5，步长为1，第三个卷积层大小为3*3，步长为1，且进行了补零操作；其次，经过一次核大小为3x3的池化操作，并又通过了三个卷积层，卷积核大小均为3x3，其中第一个卷积层步长为1，第二个卷积层步长为 2，第三个卷积层步长为1；接着，该深度卷积网络模型叠加了三个分立模块，该模块分为5条路线，利用卷积核的大小不同，实现多尺度下的特征提取，并使用concat将张量进行连接把不同特征块合并在一起，提高模型的泛化能力。将卷积核过大的换成多个卷积核叠加的形式，不仅降低了计算量提高了训练速度，而且加深了网络深度。同时，在卷积前，均值池化后分别加上1x1的卷积核，在不损失模型特征表示能力的前提下，降低了特征图像厚度，最后，先经过核大小为8*8的池化层，并对输出的特征图像进行线性回归，最终进入多项逻辑回归层对图片进行分类。该深度卷积网络将进入分立模型前的第7层的输出用作分类，将输出以较小的权重加到最终的分类结果中，对训练模型进行了融合，同时，输出结果作为反向传播的梯度信号进行反馈，带来了额外的正则化效果，同时，加入深度学习，使该层的神经元和下一层随机挑选出来的神经元进行卷积等操作，保留80％的神经元，消除了神经元节点间的联合适应性，增强了泛化能力，同时防止过拟合。

在一个实施例中，步骤S600，包括：

步骤S620，根据迁移学习结果，确定测试网络模型。

在训练完成后，为进一步提高模型的识别精度，采用测试的方式对模型进行进一步优化，根据迁移学习结果，确定测试网络模型。

步骤S640，分别获取物品和非物品的测试样本图像数据集。

物品和非物品这两类测试样本，可以是通过裁剪处理，取出背景干扰的图像数据集。

步骤S660，根据测试网络模型，测试物品和非物品的测试样本图像，得到测试结果。

根据测试网络模型，对物品和非物品的测试样本图像进行测试，测试过程可多次重复进行，是对识别精度的调整过程，根据测试结果可以对模型参数进行修改。

步骤S680，根据测试结果和预设的精度要求，修改测试网络模型的参数，得到物品类别识别模型。

上述物品类别识别方法通过对获取的待识别物品图像进行边缘掩膜信息提取，可以根据边缘掩膜信息裁剪掉背景部分，降低复杂背景信息的物品识别的干扰，通过经过预训练与迁移学习得到的物品类别识别模型，提高了对物品准确度的控制要求，使用物品类别识别模型对待识别物品图像进行识别，可以准确获取物品识别结果。

如图9所示，在一个应用实例中，所述物品类别识别方法可以运用于识别区分如图8所示的手机和非手机。首先，从http://www.image-net.org/about-stats 网站下载图片建立图像数据集并分为训练集和测试集。其中，训练集包括100 类，每个类别有1300张图片，测试集共包含5000张图片，用于对深度卷积神经网络进行训练，得到预训练网络模型，用拍照设备拍摄手机和非手机图片，建立手机和非手机数据集，并将该数据集分为训练集和测试集，其中，训练集含有手机和非手机两个类别的图片，每个类别有5000张样本，共10000张，测试集含有2000张样本，每个类别1000张。将拍摄得到的手机与非手机图片提取边缘掩膜信息，去除复杂的背景干扰，裁剪得到感兴趣区域，并对裁剪后的图片进行预处理，将图片缩放到299x299或148x148大小，利用深度卷积网络模型生成的预训练权重参数，处理后的手机和非手机图片在全连接层前最后一层生成激活的瓶颈特征，并对最后的全连接层进行修改，把100分类改为2分类，就可以训练针对手机和非手机的2分类模型，经过较少的迭代次数即可在手机和非手机分类中获得很高的准确率，并将拍摄得到的训练集图片按照预训练网络模型进行迁移学习，将预训练网络模型优化为测试网络模型，并将测试集图片输入模型，实现进一步的模型参数优化，得到经过优化后的物品类别识别网络模型。利用深度卷积神经网络模型进行迁移学习，在样本数量相对少的情况下，具有训练时间短，识别准确率高的优势。同时，该发明通过边缘掩膜信息提取算法对图片中的感兴趣区域即手机和非手机物进行裁剪，降低了复杂背景信息对图像分类的干扰。经试验，使用物品类别识别网络模型对物品类别进行识别的平均分类时间可达0.07s/image，且手机非手机分类的平均正确率为 99.9％。

应该理解的是，虽然图1-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图10所示，一种物品类别识别装置，包括：

边缘掩膜信息提取模块200，用于获取待识别物品图像，并提取待识别物品图像的边缘掩膜信息。

图像裁剪模块400，用于根据边缘掩膜信息，对待识别物品图像进行裁剪处理。

物品类别识别模块700，用于根据裁剪处理的待识别物品图像和预设的物品类别识别模型，识别待识别物品图像的类别，并输出识别结果，预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

在一个实施例中，边缘掩膜信息提取模块200还用于通过Canny边缘检测，获取待识别物品图像的边缘数据；通过对待识别物品图像的边缘数据进行形态学膨胀，提取待识别物品图像的边缘掩膜信息。

在一个实施例中，边缘掩膜信息提取模块200包括：

平滑图像获取单元，用于对图像进行高斯滤波去噪声处理，获取平滑图像；

非极大值抑制图像直方图获取模块，用于对平滑图像的梯度幅值和方向信息进行处理，获取非极大值抑制图像的直方图；

阈值范围确定单元，用于根据非极大值抑制图像的直方图，得到非极大值抑制图像的阈值范围；

边缘图像获取单元，用于根据梯度幅值与阈值范围，得到边缘图像；

边缘掩膜信息获取单元，用于对边缘图像进行形态学膨胀操作，获取待识别物品图像的边缘掩膜信息。

在一个实施例中，图像裁剪模块400包括：

拓扑信息获取单元，用于根据边缘掩膜信息，对图像进行拓扑分析，获取拓扑信息；

轮廓检索单元，用于根据拓扑信息，对图像进行轮廓检索；

目标区域提取单元，用于根据检索得到的最外层轮廓，提取出待识别物品图像的目标区域；

裁剪单元，用于根据目标区域对待识别物品图像进行裁剪处理。

在一个实施例中，物品类别识别装置还包括：

训练样本获取模块，用于获取训练样本图像数据集；

预训练网络模块获取模块，用于根据预设的深度卷积神经网络，对训练样本图像数据集进行训练，得到预训练网络模型；

样本图像裁剪模块，用于对训练样本图像数据集中的样本图像进行裁剪处理；

迁移学习模块，用于根据预训练网络模型的权重参数，训练经过裁剪处理的样本图像，进行迁移学习；

物品类别识别模型确定模块，用于根据迁移学习的结果，确定物品类别识别模型。

在一个实施例中，深度卷积神经网络包括依次连接的第一卷积模块、第一池化模块、第二卷积模块、第二池化模块、多个分立模块以及回归模块，根据预设的深度卷积神经网络，对训练样本图像数据集进行训练，得到预训练网络模型包括：

将训练样本图像输入第一卷积模块，并进行补零操作，得到第一卷积结果；

将第一卷积结果输入第一池化模块，进行第一池化操作，得到第一池化结果；

将第一池化结果输入第二卷积模块，得到第二卷积结果；

将第二卷积结果依次输入叠加的多个分立模块，进行特征提取与合并处理，得到特征图像；

将特征图像输入第二池化模块，进行第二池化操作，得到第二池化结果；

将第二池化结果输入回归模块，进行线性回归与图像分类处理，得到预训练网络模型。

在一个实施例中，物品类别识别模型确定模块包括：

测试网络模型确定单元，用于根据迁移学习结果，确定测试网络模型；

测试样本获取单元，用于分别获取物品和非物品的测试样本图像数据集；

测试结果获取模块，用于根据测试网络模型，测试物品和非物品的测试样本图像，得到测试结果；

物品类别识别模型获取模块，用于根据测试结果和预设的精度要求，修改测试网络模型的参数，得到物品类别识别模型。

关于物品类别识别装置的具体限定可以参见上文中对于物品类别识别方法的限定，在此不再赘述。上述物品类别识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取待识别物品图像，并提取待识别物品图像的边缘掩膜信息。

根据边缘掩膜信息，对待识别物品图像进行裁剪处理。

根据裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别待识别物品图像的类别，并输出识别结果，预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

通过Canny边缘检测，获取待识别物品图像的边缘数据；通过对待识别物品图像的边缘数据进行形态学膨胀，，提取所述待识别物品图像的边缘掩膜信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对所述图像进行高斯滤波去噪声处理，获取平滑图像；

对所述平滑图像的梯度幅值和方向信息进行处理，获取非极大值抑制图像的直方图；

根据所述非极大值抑制图像的直方图，得到所述非极大值抑制图像的阈值范围；

根据所述梯度幅值与所述阈值范围，得到边缘图像；

对所述边缘图像进行形态学膨胀操作，获取所述待识别物品图像的边缘掩膜信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据所述边缘掩膜信息，对所述图像进行拓扑分析，获取拓扑信息；

根据所述拓扑信息，对所述图像进行轮廓检索；

根据检索得到的最外层轮廓，提取出所述待识别物品图像的目标区域；

根据所述目标区域对所述待识别物品图像进行裁剪处理。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取训练样本图像数据集；

根据预设的深度卷积神经网络，训练所述训练样本图像数据集，得到预训练网络模型；

对所述训练样本图像数据集中的样本图像进行裁剪处理；

根据所述预训练网络模型的权重参数，训练所述经过裁剪处理的样本图像，进行迁移学习；

根据所述迁移学习的结果，确定所述物品类别识别模型。

在一个实施例中，所述深度卷积神经网络包括依次连接的第一卷积模块、第一池化模块、第二卷积模块、第二池化模块、多个分立模块以及回归模块，处理器执行计算机程序时还实现以下步骤：

将训练样本图像输入所述第一卷积模块，并进行补零操作，得到第一卷积结果；

将所述第一卷积结果输入所述第一池化模块，进行第一池化操作，得到第一池化结果；

将所述第一池化结果输入所述第二卷积模块，得到第二卷积结果；

将所述第二卷积结果依次输入叠加的多个所述分立模块，进行特征提取与合并处理，得到特征图像；

将所述特征图像输入所述第二池化模块，进行第二池化操作，得到第二池化结果；

将所述第二池化结果输入所述回归模块，进行线性回归与图像分类处理，得到预训练网络模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据所述迁移学习结果，确定测试网络模型；

分别获取物品和非物品的测试样本图像数据集；

根据所述测试网络模型，测试所述物品和非物品的测试样本图像，得到测试结果；

根据所述测试结果和预设的精度要求，修改所述测试网络模型的参数，得到物品类别识别模型。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种物品类别识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待识别物品图像，并提取待识别物品图像的边缘掩膜信息。

根据边缘掩膜信息，对待识别物品图像进行裁剪处理。

根据裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别待识别物品图像的类别，并输出识别结果，预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

通过Canny边缘检测，获取待识别物品图像的边缘数据；通过对待识别物品图像的边缘数据进行形态学膨胀，，提取所述待识别物品图像的边缘掩膜信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对所述图像进行高斯滤波去噪声处理，获取平滑图像；

对所述平滑图像的梯度幅值和方向信息进行处理，获取非极大值抑制图像的直方图；

根据所述非极大值抑制图像的直方图，得到所述非极大值抑制图像的阈值范围；

根据所述梯度幅值与所述阈值范围，得到边缘图像；

对所述边缘图像进行形态学膨胀操作，获取所述待识别物品图像的边缘掩膜信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据所述边缘掩膜信息，对所述图像进行拓扑分析，获取拓扑信息；

根据所述拓扑信息，对所述图像进行轮廓检索；

根据检索得到的最外层轮廓，提取出所述待识别物品图像的目标区域；

根据所述目标区域对所述待识别物品图像进行裁剪处理。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取训练样本图像数据集；

根据预设的深度卷积神经网络，训练所述训练样本图像数据集，得到预训练网络模型；

对所述训练样本图像数据集中的样本图像进行裁剪处理；

根据所述预训练网络模型的权重参数，训练所述经过裁剪处理的样本图像，进行迁移学习；

根据所述迁移学习的结果，确定所述物品类别识别模型。

在一个实施例中，所述深度卷积神经网络包括依次连接的第一卷积模块、第一池化模块、第二卷积模块、第二池化模块、多个分立模块以及回归模块，计算机程序被处理器执行时还实现以下步骤：

将训练样本图像输入所述第一卷积模块，并进行补零操作，得到第一卷积结果；

将所述第一卷积结果输入所述第一池化模块，进行第一池化操作，得到第一池化结果；

将所述第一池化结果输入所述第二卷积模块，得到第二卷积结果；

将所述第二卷积结果依次输入叠加的多个所述分立模块，进行特征提取与合并处理，得到特征图像；

将所述特征图像输入所述第二池化模块，进行第二池化操作，得到第二池化结果；

将所述第二池化结果输入所述回归模块，进行线性回归与图像分类处理，得到预训练网络模型。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据所述迁移学习结果，确定测试网络模型；

分别获取物品和非物品的测试样本图像数据集；

根据所述测试网络模型，测试所述物品和非物品的测试样本图像，得到测试结果；

根据所述测试结果和预设的精度要求，修改所述测试网络模型的参数，得到物品类别识别模型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM (EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM 以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM (SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态 RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种物品类别识别方法，其特征在于，包括：

获取待识别物品图像，并提取所述待识别物品图像的边缘掩膜信息；

根据所述边缘掩膜信息，对所述待识别物品图像进行裁剪处理；

根据所述裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别所述待识别物品图像的类别，并输出识别结果，所述预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

2.根据权利要求1所述的物品类别识别方法，其特征在于，所述提取所述待识别物品图像的边缘掩膜信息包括：

通过Canny边缘检测，获取待识别物品图像的边缘数据；

通过对所述边缘数据进行形态学膨胀操作，提取所述待识别物品图像的边缘掩膜信息。

3.根据权利要求2所述的物品类别识别方法，其特征在于，所述提取所述待识别物品图像的边缘掩膜信息包括：

对所述图像进行高斯滤波去噪声处理，获取平滑图像；

对所述平滑图像的梯度幅值和方向信息进行处理，获取非极大值抑制图像的直方图；

根据所述非极大值抑制图像的直方图，得到所述非极大值抑制图像的阈值范围；

根据所述梯度幅值与所述阈值范围，得到边缘图像；

对所述边缘图像进行形态学膨胀操作，获取所述待识别物品图像的边缘掩膜信息。

4.根据权利要求1所述的物品类别识别方法，其特征在于，所述根据所述边缘掩膜信息，对所述待识别物品图像进行裁剪处理包括：

根据所述边缘掩膜信息，对所述图像进行拓扑分析，获取拓扑信息；

根据所述拓扑信息，对所述图像进行轮廓检索；

根据检索得到的最外层轮廓，提取出所述待识别物品图像的目标区域；

根据所述目标区域对所述待识别物品图像进行裁剪处理。

5.根据权利要求1所述的物品类别识别方法，其特征在于，所述根据所述裁剪处理后的待识别物品图像和预设的物品类别识别模型，识别所述待识别物品图像的类别，并输出识别结果之前，还包括：

获取训练样本图像数据集；

根据预设的深度卷积神经网络，对所述训练样本图像数据集进行训练，得到预训练网络模型；

对所述训练样本图像数据集中的样本图像进行裁剪处理；

根据所述预训练网络模型的权重参数，训练所述经过裁剪处理的样本图像，进行迁移学习；

根据所述迁移学习的结果，确定所述物品类别识别模型。

6.根据权利要求5所述的物品类别识别方法，其特征在于，所述深度卷积神经网络包括依次连接的第一卷积模块、第一池化模块、第二卷积模块、第二池化模块、多个分立模块以及回归模块，所述根据预设的深度卷积神经网络，训练所述训练样本图像数据集，得到预训练网络模型包括：

将训练样本图像输入所述第一卷积模块，并进行补零操作，得到第一卷积结果；

将所述第一卷积结果输入所述第一池化模块，进行第一池化操作，得到第一池化结果；

将所述第一池化结果输入所述第二卷积模块，得到第二卷积结果；

将所述第二卷积结果依次输入叠加的多个所述分立模块，进行特征提取与合并处理，得到特征图像；

将所述特征图像输入所述第二池化模块，进行第二池化操作，得到第二池化结果；

将所述第二池化结果输入所述回归模块，进行线性回归与图像分类处理，得到预训练网络模型。

7.根据权利要求5所述的物品类别识别方法，其特征在于，所述根据所述迁移学习结果，确定物品类别识别模型包括：

根据所述迁移学习结果，确定测试网络模型；

分别获取物品和非物品的测试样本图像数据集；

根据所述测试网络模型，测试所述物品和非物品的测试样本图像，得到测试结果；

根据所述测试结果和预设的精度要求，修改所述测试网络模型的参数，得到物品类别识别模型。

8.一种物品类别识别装置，其特征在于，所述装置包括：

边缘掩膜信息提取模块，用于获取待识别物品图像，并提取所述待识别物品图像的边缘掩膜信息；

图像裁剪模块，用于根据所述边缘掩膜信息，对所述待识别物品图像进行裁剪处理；

物品类别识别模块，用于根据所述裁剪处理的待识别物品图像和预设的物品类别识别模型，识别所述待识别物品图像的类别，并输出识别结果，所述预设的物品类别识别模型为通过对训练样本图像进行训练和迁移学习得到的模型。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。