CN108229430B - 一种融合注意力图的商品分类方法 - Google Patents

一种融合注意力图的商品分类方法 Download PDF

Info

Publication number
CN108229430B
CN108229430B CN201810090523.8A CN201810090523A CN108229430B CN 108229430 B CN108229430 B CN 108229430B CN 201810090523 A CN201810090523 A CN 201810090523A CN 108229430 B CN108229430 B CN 108229430B
Authority
CN
China
Prior art keywords
image
training
template
images
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810090523.8A
Other languages
English (en)
Other versions
CN108229430A (zh
Inventor
耿卫东
朱柳依
白洁明
韩菲琳
林江科
王苏振
贺林
肖强
赖章炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810090523.8A priority Critical patent/CN108229430B/zh
Publication of CN108229430A publication Critical patent/CN108229430A/zh
Application granted granted Critical
Publication of CN108229430B publication Critical patent/CN108229430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合注意力图的商品分类方法。收集一张清晰、完整的商品正面照片作为模板图像，进行扩充得到训练图像，训练图像与模板图像进行匹配获得注意力图，将RGB三通道与注意力图叠加形成四通道，组成训练数据，训练获得图像分类模型，将待分类商品图像的四通道数据输入图像分类模型，得到待分类商品图像的预测分类与对应分数。本发明方法利用能够放大商品图案细微特征对分类模型影响力、抑制图案非显著性特征的注意力图参与训练，提升了商品图像分类的正确率。

Description

一种融合注意力图的商品分类方法
技术领域
本发明涉及一种图像检测方法，尤其是涉及一种融合注意力图的商品图像分类方法。
背景技术
超市是现代社会中必不可少的购物场所，在近年来零售业蓬勃发展以及新零售概念的冲击下，超市越来越数字智能化，从人工货架管理逐渐发展为自动化智能货架管理。
目前，货架上商品信息的统计依然主要由工作人员在盘点时完成，这样可能会存在统计错误，在计数时数量数错或是将相似的商品误计数为同一类等，而对于新型的无人超市来说，没有配备理货员，这对商品信息统计的需求来说更是一个挑战。
针对这样的情况，自动化的货架图像商品检测方法是一个很有应用前景的解决方案，能够代替传统的人工统计，同时超市货架的图像可以轻松地使用手机拍摄或摄像头采集。商品检测以超市货架图像为信息来源，自动获取图像中的商品位置与种类，是商品计数和报表生成的基础并能够有效的降低劳动成本。商品检测可以分为两个步骤：商品定位和商品分类。商品定位的方法有很多，例如模板匹配。商品分类的方法目前由深度学习的卷积神经元网络占据主导地位。商品定位的目标是尽可能多的找出可能是商品的物体，减少遗漏，面向高召回率；商品分类的目标是达到尽可能高的分类正确率。
发明内容
针对超市货架图像中商品定位与分类的问题，为了提高商品分类的正确率，本发明提供了一种融合注意力图的商品分类方法。
本发明的技术方案是包括以下步骤：
1)预先设定商品的分类，分类类别根据具体需要设定，对每一类别的商品，收集一张清晰、完整的正面照片作为模板图像，正面照片中仅包含该类别的一个商品；
2)对步骤1)中每类商品的单张模板图像进行扩充，得到每类商品的数千张训练图像；
3)对步骤2)中的每张训练图像与生成训练图像的模板图像进行匹配，根据匹配关系绘制注意力图；
4)将步骤2)中训练图像的RGB三通道与步骤3)中生成的注意力图叠加形成四通道，四通道和训练图像自身带有分类标签组成训练数据，并建立以卷积神经元网络模型为基础的图像分类模型，训练获得图像分类模型；
具体实施中，训练图像均带有分类标签，训练图像输入模型时同时均将分类标签和RGB三通道或四通道连同一起输入。
5)针对待分类商品图像按照步骤2)和3)相同方式处理获得注意力图，即输入根据模板匹配方法(步骤2)和3))从超市货架图像上裁剪出来的待分类商品图像生成注意力图，将注意力图与待分类商品图像自身的RGB三通道叠加成四通道，将四通道数据输入步骤4)训练得到的图像分类模型，得到待分类商品图像的预测分类与对应分数。
本发明具体实施中，不同品牌、不同系列、不同规格的商品均可选择视为不同类别的商品，最终商品图像分类的预测类别是从收集了模板图像的商品类别中进行选择。
所述步骤2)具体是通过单张模板图像进行裁剪、亮度调整、旋转操作、透视变换方式进行扩充，得到多张训练图像。
所述步骤2)具体为：
2.1)针对单张模板图像的上、下、左、右四个边的每一边分别处理，每一边处理时分别裁去原有长度的0.04、0.06、0.08、0.1四种比例生成新图像，加上不裁剪的原始图像，使得图像数目扩充到原来的4*4+1＝17倍；
做完此步骤后，每一类的训练图像有1×17＝17张。
2.2)将步骤2.1)获得的每一张图像从RGB转换到HSV空间再调整V通道以调整亮度，对V通道分别乘以比例0.6、0.75、0.9、1.05、1.2后再转换回RGB空间生成新图像，使得图像数目继续扩充到步骤2.1)的5倍；
做完此步骤后，每一类的训练图像有17×5＝85张。
2.3)对步骤2.2)调整亮度后的每一张图像做旋转操作：将图像绕着图像中心点分别按逆时针方向旋转-15、-12、-9、-6、-3、0、3、6、9、12、15度生成新图像，使得数目扩充到步骤2.2)的11倍；
做完此步骤后，每一类的训练图像有85×11＝935张。
2.4)对步骤2.2)调整亮度后的每一张图像做透视变换：将图像所在平面分别围绕第一轴和第二轴分别转动-30、-15、0、15、30度，第一轴沿过图像平面中心的图像横向方向，第二轴沿过图像平面中心的图像纵向方向，使得图像数目扩充到步骤2.2)的5×5＝25倍；
做完此步骤后，每一类的训练图像有85×25＝2125张。
2.5)将步骤2.3)和2.4)分别对调整亮度后的图像做了二维平面旋转和三维透视变换，将步骤2.3)和2.4)生成的图像合并；
2.6)对步骤2.5)获得的所有各张图像分别添加高斯模糊和运动模糊，获得训练图像，做完此步骤后，每一类的训练图像共有3060×2＝6120张。
所述步骤3)绘制能够放大商品图案细微特征对分类模型影响力、抑制图案非显著性特征的注意力图，具体为：
3.1)提取每张训练图像和其对应的原始模板图像的SIFT特征点，利用BF(BruteForce)匹配并用RANSAC方法消除错配点后，得到匹配上的特征点列表L1，特征点列表L1中的不同行记录不同的特征点对，每一行记录特征点对的坐标和尺度；
所述的SIFT特征点具有两个向量，其中一个向量由特征点位置(x坐标，y坐标)、尺度s、方向θ(θ∈(-π,π])构成，另一向量为128维的特征描述子。
3.2)对每张训练图像，创建一张与训练图像同样大小的单通道纯黑色图像；
3.3)利用每一对特征点对创建一个圆形区域，圆心为特征点对中位于训练图像中的SIFT特征点的坐标(xtrain_img，ytrain_img)，半径R计算如下：
R＝(stemplate_max+stemplate_min-stemplate)/2
其中，stemplate_max表示训练图像对应的模板图像的所有SIFT特征点的尺度最大值，stemplate_min表示模板图像的所有SIFT特征点的尺度最小值，stemplate表示当前遍历到的特征点对中位于模板图像中的特征点的尺度值；
3.4)单通道纯黑色图像中，将步骤3.3)获得的圆形区域内的每个像素点的灰度值加1；
3.5)重复上述步骤3.3)和3.4)遍历步骤3.1)中得到的特征点列表L1中每一行代表的每一对特征点对，得到一张与训练图像同样大小的单通道的注意力图。
所述的特征点对由训练图像中一个SIFT特征点与其在模板图像中对应的一个SIFT特征点构成，特征点列表L1的每一行具体是训练图像中SIFT特征点的坐标(xtrain_img，ytrain_img)与尺度strain_img和模板图像中SIFT特征点的坐标(xtemplate，ytemplate)与尺度stemplate。
所述步骤4)是先将彩色图像RGB三通道输入到VGG-16神经网络模型或ResNet-50神经网络模型进行训练，然后再将将彩色图像RGB三通道与注意力图的单通道叠加变成四通道训练后的VGG-16神经网络模型或ResNet-50神经网络模型再次训练。
所述步骤4)融合了彩色图像与注意力图用来训练分类网络模型，具体为：
4.1)首先，将训练图像的RGB三通道和训练图像自身带有分类标签组成第一训练数据，将第一训练数据输入到ImageNet数据集上已预训练好的VGG-16神经网络模型或ResNet-50神经网络模型中进行微调(Fine-tune)针对商品数据集的网络模型参数；
微调(Fine-tune)微调是一种使现有模型适应新的数据集或者模型的一种标准的深度学习方法，它使用一个已有网络训练好的参数初始化新的网络，之后使用低的学习速率进行训练。
4.2)然后将训练图像的RGB三通道与其注意力图叠加形成四通道，四通道和训练图像自身带有分类标签组成第二训练数据，将第二训练数据输入到步骤4.1)处理后获得已微调网络模型参数的VGG-16神经网络模型或ResNet-50神经网络模型中进行训练，其中VGG-16神经网络模型或ResNet-50神经网络模型中的第一层卷积层的参数随机初始化，除了第一层卷积层以外其余层的参数采用步骤4.1)处理后获得的网络模型参数；
由于输入图片的通道数不一样，第一层卷积层的参数数量也不一样，所以对第一层卷积层的参数随机初始化。
训练过程分两阶段进行：第一阶段，只训练第一层卷积层的网络模型参数，除了第一层卷积层以外其余层的网络模型参数不训练，使用学习率(Learning Rate)为1e-3训练5～6个轮次(Epoch)；第二阶段，对模型所有层的所有网络模型参数进行训练，使用学习率(Learning Rate)至1e-5训练一个轮次(Epoch)。
本发明的有益效果是：
本发明方法可以通过手机或摄像头对超商货架拍照，从照片中定位商品、对商品进行分类，克服了超商理货员对商品人工计数耗时长、人力消耗大的困难，可用于后续对货架商品信息自动化智能管理等应用。
本发明方法通过绘制能够放大商品图案细微特征对分类模型影响力、抑制图案非显著性特征的注意力图，并融合商品彩色图像与注意力图设计卷积神经元网络结构，提高商品图像分类的准确率。
附图说明
图1为实施例输入的6种商品的模板图像示例。
图2为实施例进行训练图像扩充时的裁剪效果示意图。
图3为实施例进行训练图像扩充时的调整亮度效果示意图。
图4为实施例进行训练图像扩充时的旋转效果示意图。
图5为实施例进行训练图像扩充时的透视变换效果示意图。
图6为实施例进行训练图像扩充时的增加模糊效果示意图。
图7为实施例的训练图像与模板图像进行匹配的结果示意图。
图8为实施例的训练图像根据与模板图像的匹配关系绘制出的注意力图。
图9为实施例融合了注意力图的网络模型训练过程。
图10为实施例待分类商品图像及其注意力图。
具体实施方式
下面结合附图和实施例对本发明方法作进一步说明。
按照本发明发明内容处描述的方法实施的实施例如下：
1)本实施例对于六种食品作为六类商品，收集各自清晰、完整的正面照片一张作为模板图像。图1所示为6种商品的模板图像示例，分别为大米1、巧克力1、大米2、巧克力2、牛轧糖、咖啡的六类。
2)对步骤1)中每一类的单张模板图像进行扩充，得到每类数千张训练图像，用于训练深度学习的卷积神经元网络。
依次对训练图像做裁剪、调整亮度、二维旋转、透视变换、增加模糊后，每类的训练图像扩充到6120张。以图1左上角的大米1类别商品为例。
第一步裁剪，如图2所示为裁剪效果的四种示例。
第二步调整亮度，图3所示为调整亮度的五种效果示例。
第三步旋转操作，图4所示为旋转的五种效果示例。
第四步透视变换，图5所示为透视变换的五种效果示例。
第五步模糊增设，图6所示为增加模糊效果示例。
3)对步骤2)中的每张训练图像与生成它的原始模板图像利用BF(Brute Force)匹配并用RANSAC方法消除错配点后，得到匹配上的特征点列表L1。如图7所示，上行的三张图像为某张训练图像，下行的三张图像为对应的模板图像，左边是原图，中间画出了图像中的所有SIFT特征点，右边画出了使用BF匹配与RANSAC消除错配点后的所有匹配上的特征点。
根据匹配关系绘制出的注意力图如图8所示，为了能够看清，将注意力图的灰度值进行了缩放，使得整幅图像灰度最大值为255。实际注意力图的每个像素点的灰度值远小于255。
4)将步骤2)中训练图像的RGB三个通道与步骤3)中生成的注意力图叠加形成四通道的训练数据，训练用于图像分类的卷积神经元网络模型。
训练过程如图9所示：
4.1)首先，将训练图像的RGB三通道和训练图像自身带有分类标签组成第一训练数据，将第一训练数据输入到ImageNet数据集上已预训练好的VGG-16神经网络模型或ResNet-50神经网络模型中进行微调(Fine-tune)网络模型参数；
4.2)然后将训练图像的RGB三通道与其注意力图叠加形成四通道，四通道和训练图像自身带有分类标签组成第二训练数据，将第二训练数据输入到步骤4.1)处理后获得已微调网络模型参数的VGG-16神经网络模型或ResNet-50神经网络模型中进行训练，其中VGG-16神经网络模型或ResNet-50神经网络模型中的第一层卷积层的参数随机初始化，除了第一层卷积层以外其余层的参数采用步骤4.1)处理后获得的网络模型参数；
训练过程分两阶段进行：
第一阶段，只训练第一层卷积层的网络模型参数，除了第一层卷积层以外其余层的网络模型参数不训练，使用学习率(Learning Rate)为1e-3训练5～6个轮次(Epoch)；
第二阶段，对模型所有层的所有网络模型参数进行训练，使用学习率(LearningRate)至1e-5训练一个轮次(Epoch)。
5)输入根据模板匹配方法在超市货架图像上裁剪出来的待分类商品图像，生成其注意力图，图10所示为某张待分类商品图像及其注意力图。
再将注意图与商品图像的RGB三通道叠加成四通道，将四通道数据输入步骤4)训练得到的图像分类模型，得到商品图像的预测分类与对应分数，例如图10的商品图像及其注意力图在图1列举的6类商品上的预测分数分别为：
模板图像 大米1 巧克力1 大米2 巧克力2 牛轧糖 咖啡
预测概率 1.1×10<sup>-11</sup> 0.99998 2.5×10<sup>-11</sup> 8.9×10<sup>-8</sup> 2.3×10<sup>-10</sup> 2.7×10<sup>-11</sup>
巧克力1的预测分数最高，因此图10的商品图像最后的预测分类为“巧克力1”
本发明针对36609张图像进行了重复实施，检测准确率达到了92.19％。
由此实施例可见，本发明利用能够放大商品图案细微特征对分类模型影响力、抑制图案非显著性特征的注意力图参与训练，提升了商品图像分类的正确率。

Claims (6)

1.一种融合注意力图的商品分类方法，其特征在于包含以下步骤：
1)对每一类别的商品，收集一张清晰、完整的正面照片作为模板图像；
2)对步骤1)中每类商品的单张模板图像进行扩充，得到每类商品的训练图像；
3)对步骤2)中的每张训练图像与生成训练图像的模板图像进行匹配，根据匹配关系绘制注意力图；
4)将步骤2)中训练图像的RGB三通道与步骤3)中生成的注意力图叠加形成四通道，四通道和训练图像自身带有分类标签组成训练数据，训练获得图像分类模型，所述训练获得图像分类模型是先将彩色图像RGB三通道输入到VGG-16神经网络模型或ResNet-50神经网络模型进行训练，然后再将彩色图像RGB三通道与注意力图的单通道叠加变成四通道训练后的VGG-16神经网络模型或ResNet-50神经网络模型再次训练；
5)针对待分类商品图像按照步骤2)和3)相同方式处理获得注意力图，将注意力图与待分类商品图像自身的RGB三通道叠加成四通道，将四通道数据输入步骤4)训练得到的图像分类模型，得到待分类商品图像的预测分类与对应分数。
2.根据权利要求1所述的一种融合注意力图的商品分类方法，其特征在于：所述步骤2)具体是通过单张模板图像进行裁剪、亮度调整、旋转操作、透视变换方式进行扩充，得到多张训练图像。
3.根据权利要求1或2所述的一种融合注意力图的商品分类方法，其特征在于：所述步骤2)具体为：
2.1)针对单张模板图像的上、下、左、右四个边的每一边分别处理，每一边处理时分别裁去原有长度的0.04、0.06、0.08、0.1四种比例生成新图像，加上不裁剪的原始图像，使得图像数目扩充到原来的4*4+1＝17倍；
2.2)将步骤2.1)获得的每一张图像从RGB转换到HSV空间再调整V通道，对V通道分别乘以比例0.6、0.75、0.9、1.05、1.2后再转换回RGB空间生成新图像，使得图像数目继续扩充到步骤2.1)的5倍；
2.3)对步骤2.2)调整亮度后的每一张图像做旋转操作：将图像绕着图像中心点分别按逆时针方向旋转-15、-12、-9、-6、-3、0、3、6、9、12、15度生成新图像，使得数目扩充到步骤2.2)的11倍；
2.4)对步骤2.2)调整亮度后的每一张图像做透视变换：将图像分别围绕第一轴和第二轴分别转动-30、-15、0、15、30度，第一轴沿过图像平面中心的图像横向方向，第二轴沿过图像平面中心的图像纵向方向，使得图像数目扩充到步骤2.2)的5×5＝25倍；
2.5)将步骤2.3)和2.4)生成的图像合并；
2.6)对步骤2.5)获得的所有各张图像分别添加高斯模糊和运动模糊，获得训练图像。
4.根据权利要求1所述的一种融合注意力图的商品分类方法，其特征在于：所述步骤3)具体为：
3.1)提取每张训练图像和其对应的原始模板图像的SIFT特征点，利用BF匹配并用RANSAC方法消除错配点后，得到匹配上的特征点列表L1，特征点列表L1中的不同行记录不同的特征点对，每一行记录特征点对的坐标和尺度；
3.2)对每张训练图像，创建一张与训练图像同样大小的单通道纯黑色图像；
3.3)利用每一对特征点对创建一个圆形区域，圆心为特征点对中位于训练图像中的SIFT特征点的坐标(xtrain_img，ytrain_img)，半径R计算如下：
R＝(stemplate_max+stemplate_min-stemplate)/2
其中，stemplate_max表示训练图像对应的模板图像的所有SIFT特征点的尺度最大值，stemplate_nin表示模板图像的所有SIFT特征点的尺度最小值，stemplate表示当前遍历到的特征点对中位于模板图像中的特征点的尺度值；
3.4)单通道纯黑色图像中，将步骤3.3)获得的圆形区域内的每个像素点的灰度值加1；
3.5)重复上述步骤3.3)和3.4)遍历步骤3.1)中得到的特征点列表L1中每一行代表的每一对特征点对，得到一张与训练图像同样大小的单通道的注意力图。
5.根据权利要求4所述的一种融合注意力图的商品分类方法，其特征在于：所述的特征点对由训练图像中一个SIFT特征点与其在模板图像中对应的一个SIFT特征点构成，特征点列表L1的每一行具体是训练图像中SIFT特征点的坐标(xtrain_img，ytrain_img)与尺度strain_img和模板图像中SIFT特征点的坐标(xtemplate，ytemplate)与尺度stemplate。
6.根据权利要求1所述的一种融合注意力图的商品分类方法，其特征在于：所述步骤4)具体为：
4.1)首先，将训练图像的RGB三通道和训练图像自身带有分类标签组成第一训练数据，将第一训练数据输入到ImageNet数据集上已预训练好的VGG-16神经网络模型或ResNet-50神经网络模型中进行微调网络模型参数；
4.2)然后将训练图像的RGB三通道与其注意力图叠加形成四通道，四通道和训练图像自身带有分类标签组成第二训练数据，将第二训练数据输入到步骤4.1)处理后获得已微调网络模型参数的VGG-16神经网络模型或ResNet-50神经网络模型中进行训练，其中VGG-16神经网络模型或ResNet-50神经网络模型中的第一层卷积层的参数随机初始化，除了第一层卷积层以外其余层的参数采用步骤4.1)处理后获得的网络模型参数；
训练过程分两阶段进行：
第一阶段，只训练第一层卷积层的网络模型参数，除了第一层卷积层以外其余层的网络模型参数不训练，使用学习率为1e-3训练5～6个轮次；
第二阶段，对模型所有层的所有网络模型参数进行训练，使用学习率至1e-5训练一个轮次。
CN201810090523.8A 2018-01-30 2018-01-30 一种融合注意力图的商品分类方法 Active CN108229430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810090523.8A CN108229430B (zh) 2018-01-30 2018-01-30 一种融合注意力图的商品分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810090523.8A CN108229430B (zh) 2018-01-30 2018-01-30 一种融合注意力图的商品分类方法

Publications (2)

Publication Number Publication Date
CN108229430A CN108229430A (zh) 2018-06-29
CN108229430B true CN108229430B (zh) 2022-04-05

Family

ID=62669783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810090523.8A Active CN108229430B (zh) 2018-01-30 2018-01-30 一种融合注意力图的商品分类方法

Country Status (1)

Country Link
CN (1) CN108229430B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826481A (zh) * 2019-11-01 2020-02-21 北京云迹科技有限公司 数据处理方法、商品识别方法、服务器和存储介质
CN110991506B (zh) * 2019-11-22 2023-05-23 高新兴科技集团股份有限公司 一种车辆品牌识别方法、装置、设备及存储介质
CN111291667A (zh) * 2020-01-22 2020-06-16 上海交通大学 细胞视野图的异常检测方法及存储介质
CN111754530B (zh) * 2020-07-02 2023-11-28 广东技术师范大学 一种前列腺超声图像分割分类方法
CN111915413B (zh) * 2020-08-21 2023-04-07 支付宝(杭州)信息技术有限公司 支付实现方法、装置及电子设备
CN113610138A (zh) * 2021-08-02 2021-11-05 典基网络科技(上海)有限公司 基于深度学习模型的图像分类识别方法、装置及存储介质
CN116129201B (zh) * 2023-04-18 2023-06-20 新立讯科技股份有限公司 一种商品生物特征的提取和验证方法
CN117095811B (zh) * 2023-08-04 2024-04-19 牛津大学(苏州)科技有限公司 基于电子医疗病例数据的预测方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009049774A1 (de) * 2007-10-09 2009-04-23 Pilz Gmbh & Co. Kg Verfahren zur anpassung eines objektmodells an eine dreidimensionale punktwolke
CN102254333A (zh) * 2011-07-25 2011-11-23 浙江大学 基于图像的水墨画画风图像生成方法
CN106373162A (zh) * 2015-07-22 2017-02-01 南京大学 一种基于显著性融合与传播的显著物体检测方法
WO2017155660A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Action localization in sequential data with attention proposals from a recurrent network
CN107463946A (zh) * 2017-07-12 2017-12-12 浙江大学 一种结合模板匹配与深度学习的商品种类检测方法
CN107463945A (zh) * 2017-07-12 2017-12-12 浙江大学 一种基于深度匹配网络的商品种类识别方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009049774A1 (de) * 2007-10-09 2009-04-23 Pilz Gmbh & Co. Kg Verfahren zur anpassung eines objektmodells an eine dreidimensionale punktwolke
CN102254333A (zh) * 2011-07-25 2011-11-23 浙江大学 基于图像的水墨画画风图像生成方法
CN106373162A (zh) * 2015-07-22 2017-02-01 南京大学 一种基于显著性融合与传播的显著物体检测方法
WO2017155660A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Action localization in sequential data with attention proposals from a recurrent network
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN107463946A (zh) * 2017-07-12 2017-12-12 浙江大学 一种结合模板匹配与深度学习的商品种类检测方法
CN107463945A (zh) * 2017-07-12 2017-12-12 浙江大学 一种基于深度匹配网络的商品种类识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CNNs-based RGB-D saliency detection via cross-view transfer and multiview fusion;Junwei Han等;《IEEE Transactions on Cybernetics》;20171031;第48卷(第11期);第3171-3183页 *
Learning Multi-Attention Convolutional Neural Network for Fine-Grained Image Recognition;Heliang Zheng等;《Proceedings of the IEEE International Conference on Computer Vision (ICCV) 2017》;20171029;第5209-5217页 *
基于成分金字塔匹配的对象分类方法;朱杰等;《山东大学学报(工学版)》;20151228;第46卷(第2期);第14-21+42页 *
基于深度卷积特征的细粒度图像分类研究综述;罗建豪等;《自动化学报》;20170217;第43卷(第8期);第1306-1318页 *

Also Published As

Publication number Publication date
CN108229430A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229430B (zh) 一种融合注意力图的商品分类方法
CN107194318B (zh) 目标检测辅助的场景识别方法
Mousavian et al. Joint semantic segmentation and depth estimation with deep convolutional networks
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
CN113052835B (zh) 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN110751220B (zh) 一种基于改进卷积神经网络结构的机器视觉室内定位方法
CN109657612B (zh) 一种基于人脸图像特征的质量排序系统及其使用方法
CN111275643A (zh) 基于通道和空间注意力的真实噪声盲去噪网络模型及方法
CN110991317B (zh) 一种基于多尺度透视感知型网络的人群计数方法
AU2022202588A1 (en) Item identification and tracking system
CN110097616B (zh) 一种联合绘画方法、装置、终端设备及可读存储介质
CN111444973A (zh) 一种无人零售购物台商品检测方法
CN111311702B (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN113869211A (zh) 图像自动标注和标注质量自动评价方法及系统
CN110782466A (zh) 图片分割方法、装置和系统
CN115294356A (zh) 一种基于广域感受野空间注意力的目标检测方法
Shiri et al. Face destylization
CN108734667B (zh) 一种图像处理方法及系统
CN116664478A (zh) 一种基于深度学习的钢材表面缺陷检测算法
CN113591850A (zh) 基于计算机视觉鲁棒性目标检测的两阶段商标检测法
CN111104924A (zh) 一种有效的识别低分辨率商品图像的处理算法
CN111832508A (zh) 基于die_ga的低照度目标检测方法
CN114219757B (zh) 一种基于改进Mask R-CNN的车辆智能定损方法
CN107832773B (zh) 一种场景匹配方法及装置
CN113269808B (zh) 视频小目标跟踪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant