CN111104924A - 一种有效的识别低分辨率商品图像的处理算法 - Google Patents

一种有效的识别低分辨率商品图像的处理算法 Download PDF

Info

Publication number
CN111104924A
CN111104924A CN201911403689.1A CN201911403689A CN111104924A CN 111104924 A CN111104924 A CN 111104924A CN 201911403689 A CN201911403689 A CN 201911403689A CN 111104924 A CN111104924 A CN 111104924A
Authority
CN
China
Prior art keywords
commodity
image
algorithm
resolution
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911403689.1A
Other languages
English (en)
Other versions
CN111104924B (zh
Inventor
李泽洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pinlan Data Technology Co Ltd
Original Assignee
Shanghai Pinlan Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pinlan Data Technology Co Ltd filed Critical Shanghai Pinlan Data Technology Co Ltd
Priority to CN201911403689.1A priority Critical patent/CN111104924B/zh
Publication of CN111104924A publication Critical patent/CN111104924A/zh
Application granted granted Critical
Publication of CN111104924B publication Critical patent/CN111104924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明公开了一种有效的识别低分辨率商品图像的处理算法，涉及图像识别处理技术领域。本发明包括如下步骤：S1、通过预训练的常用图像识别算法建立大规模商品指纹库；S2、输入目标商品图像，从商品指纹库获取最相似的5张商品图像；S3、通过构建的算法模型重建步骤S2所述的目标商品图像，并结合步骤S2所述5张最相似的商品图像优化纹理信息；S4、利用步骤S3获得的重建后的商品图像进行分类，输出目标商品类别信息。本发明的最终识别准确率大幅度高于基于已知的图像识别算法获得的结果；保证了重点区域特征的纹理真实程度与实际商品差异足够小，极大降低了商品图像最终判别类别时的误分类程度。

Description

一种有效的识别低分辨率商品图像的处理算法
技术领域
本发明属于图像识别处理技术领域，特别是涉及一种有效的识别低分辨率商品图像的处理算法。
背景技术
在现有技术中，针对图像识别，尤其是商品图像识别，主要解决的是较高分辨率近景拍摄的商品图像，图像中像素信息丰富，比较容易通过常见的识别算法进行物体或图像识别。常见的大规模图像识别数据以100x100以上分辨率较为常见，但实际场景中采集的图像，尤其是通过手机等移动设备采集的商店、超市货架图像，其中的局部商品图像分辨率非常低，并且极大程度上受采集设备硬件限制，常见的图像识别技术较难处理这类图像的识别。实际应用识别结果时，识别准确度的标准通常较高，例如95％以上的识别精度。并且由于低分辨率图像本身尺寸限制，基于深度神经网络的图像识别技术很难充分发挥其对图像纹理信息、语义信息的优秀能力，因此也成为影响低分辨率商品图像识别效果的阻碍。因此针对以上问题，提供一种有效的识别低分辨率商品图像的处理算法具有重要意义。
发明内容
本发明有效的识别低分辨率商品图像的处理算法能够最终识别准确率大幅度高于基于已知的图像识别算法获得的结果；保证了重点区域特征的纹理真实程度与实际商品差异足够小，极大降低了商品图像最终判别类别时的误分类程度；降低被判别为已知商品的错误率，保证容易且快速建立和扩充已知商品图像库，通过不断迭代本发明提出的算法，有利于进一步提升低分辨率商品识别的准确率；训练算法模型的速度和效率得到最大程度的提升，在同样数据条件下，达到相同商品识别准确率前提下所需要的计算资源和时间最低，有利于提升资源利用效率。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明的一种有效的识别低分辨率商品图像的处理算法，包括如下步骤：
S1、通过预训练的常用图像识别算法建立大规模商品指纹库；
S2、输入目标商品图像，从商品指纹库获取最相似的5张商品图像；
S3、通过构建的算法模型重建步骤S2所述的目标商品图像，并结合步骤S2所述5张最相似的商品图像优化纹理信息；
S4、利用步骤S3获得的重建后的商品图像进行分类，输出目标商品类别信息。
进一步地，所述步骤S3中，目标商品图像的重建包括以下步骤：
S31.判断所述目标图像是否有商标区域，若是，则根据步骤S2所述最相似5张商品图像，恢复商标区域纹理特征；若否，则继续下一步；
S32.判断所述目标图像是否有文本区域，若是，则根据步骤S2所述最相似5张商品图像，恢复文本区域纹理特征；若否，则继续下一步；
S33.对所述目标图像的背景区域根据则根据步骤S2所述最相似5张商品图像进行重建。
进一步地，所述步骤S31、步骤S32、步骤S33中商标区域、文本区域、背景区域的定位，采用区域特征显著算法，通过有监督的回归定位学习获得。
进一步地，所述步骤S31、步骤S32、步骤S33中恢复纹理特征通过有监督的特征迁移算法实现，监督损失函数包括纹理相似性和逐像素判别函数。
进一步地，所述步骤S4中，重建后的商品图像通过区域特征显著算法提取特征向量，共提取三组特征，包括商标区域、文本区域和背景区域。
进一步地，所述步骤S4中，重建后的商品图像分类通过提取的三组特征向量，通过三元组损失、中心损失以及基于高维非线性空间的分类输出算法进行判别学习。
进一步地，所述步骤S2中，目标图像真实类别不包含在已知商品图像库时，通过提取的图像特征的度量判别，容易归纳为一个未知类别，扩充商品图像库。
本发明相对于现有技术具有的有益效果包括：
1、本发明对任何低分辨率的商品图像，最终识别准确率大幅度高于基于已知的图像识别算法获得的结果。
2、本发明在对低分辨率图像的重建中，保证了重点区域特征的纹理真实程度与实际商品差异足够小，极大降低了商品图像最终判别类别时的误分类程度。
3、本发明在当输入的目标商品图像并未包含在已知商品库时，降低被判别为已知商品的错误率，保证容易且快速建立和扩充已知商品图像库，通过不断迭代本发明提出的算法，有利于进一步提升低分辨率商品识别的准确率。
4、本发明在当商品库混合大量视觉相似的商品时，训练算法模型的速度和效率得到最大程度的提升，在同样数据条件下，达到相同商品识别准确率前提下所需要的计算资源和时间最低，有利于提升资源利用效率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种有效的识别低分辨率商品图像的处理算法的步骤图；
图2为本发明的一种具体实施例的拓扑结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-2所示，本发明的一种有效的识别低分辨率商品图像的处理算法，包括：
S1.通过预训练的常用图像识别算法建立大规模商品指纹库；
S2.输入目标商品图像，从商品指纹库获取最相似的5张商品图像；
S3.通过构建的算法模型重建步骤S2所述的目标商品图像，并结合步骤S2所述5张最相似的商品图像优化纹理信息；
S4.利用步骤S3获得的重建后的商品图像进行分类，输出目标商品类别信息。
其中，输入的目标商品图像为低分辨率图像，此处低分辨率图像通常指像素单位下图像最短边长度小于等于50像素。
其中，在步骤S2中，对采集的全量商品图像数据库进行指纹提取，此处所述指纹提取具体指通过预训练的商品图像识别算法提取的一维图像特征向量，向量长度为512；通过聚类算法获得每一个商品类别簇的簇中心，并对该类别簇中心匹配一张特征向量距离簇中心最近的代表图像；通过以上配置，完成商品图像指纹库的构建。
其中，在步骤S2中，对目标商品图像通过相同的预训练商品图像识别算法获得特征向量，并在构建的商品图像指纹库中与每一个簇中心特征向量进行距离度量，距离度量通常采用曼哈顿距离或欧式距离；获得距离最近的5个簇中心，返回5个簇中心各自的代表图像，即返回5张最相似商品图像。
其中，在步骤S3中，对目标商品图像的显著特征区域提取。针对商品图像，本发明提出3种显著特征区域，分别为商标区域，文本区域和背景区域；每一个特征区域通过本发明提出的区域特征显著算法获得定位，区域特征显著算法通过构建对卷积特征通道和卷积空间敏感的卷积神经网络完成，提出的卷积神经网络对每一个残差卷积模组(3x3x64维度卷积模块级联3x3x64维度卷积模块，叠加原始输入)输出的特征图的特征通道进行筛选，获得3个最显著特征通道，并还原到空间维度，叠加回归运算计算3个显著特征区域的坐标位置。
其中，在步骤S3中，对目标商品图像提取到的显著特征区域进行纹理和内容重建；通过对步骤S2获得的5张最相似的商品图像，依次(按照相似程度排序)输入纹理提取网络和内容提取网络；构建的纹理提取网络包含5个卷积模组，4次降采样层，提取其中4层特征图，将特征图进行尺寸伸缩，伸缩后的特征图纹理信息迁移到步骤S3所述目标图像经过卷积运算获得的特征图中，并对前述提取到的显著特征区域进行精修，精修过程通过增加局部区域监督学习损失函数的权重完成；构建的内容提取网络主要以预训练的商品识别算法完成，提取4层特征图，与纹理迁移的过程相似，将高维语义信息与步骤S3所述目标图像经过卷积运算获得的特征图进行叠加，增强语义信息，有利于进一步提高识别精度。
其中，在步骤S4中，对重建后的商品图像通过深度卷积神经网络提取特征，此处所述深度卷积神经网络采用叠加残差模组，并对残差模组中的卷积模块进行分离，拆分为多种不同尺寸的卷积核，提升深度卷积神经网络对商品图像特征的感知能力，有利于提升识别精度。
其中，在步骤S4中，所述重建后的商品图像分类通过提取的特征向量，通过三元组损失、中心损失以及基于高维非线性空间的分类输出算法进行判别学习。
其中，步骤S2中，所述目标图像真实类别不包含在已知商品图像库时，通过提取的图像特征的度量判别，容易归纳为一个未知类别，扩充商品图像库
本发明相对于现有技术包括有以下有益效果:
1、本发明对任何低分辨率的商品图像，最终识别准确率大幅度高于基于已知的图像识别算法获得的结果。
2、本发明在对低分辨率图像的重建中，保证了重点区域特征的纹理真实程度与实际商品差异足够小，极大降低了商品图像最终判别类别时的误分类程度。
3、本发明在当输入的目标商品图像并未包含在已知商品库时，降低被判别为已知商品的错误率，保证容易且快速建立和扩充已知商品图像库，通过不断迭代本发明提出的算法，有利于进一步提升低分辨率商品识别的准确率。
4、本发明在当商品库混合大量视觉相似的商品时，训练算法模型的速度和效率得到最大程度的提升，在同样数据条件下，达到相同商品识别准确率前提下所需要的计算资源和时间最低，有利于提升资源利用效率。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种有效的识别低分辨率商品图像的处理算法，其特征在于，包括如下步骤：
S1、通过预训练的常用图像识别算法建立大规模商品指纹库；
S2、输入目标商品图像，从商品指纹库获取最相似的5张商品图像；
S3、通过构建的算法模型重建步骤S2所述的目标商品图像，并结合步骤S2所述5张最相似的商品图像优化纹理信息；
S4、利用步骤S3获得的重建后的商品图像进行分类，输出目标商品类别信息。
2.根据权利要求1所述的一种有效的识别低分辨率商品图像的处理算法，其特征在于，所述步骤S3中，目标商品图像的重建包括以下步骤：
S31.判断所述目标图像是否有商标区域，若是，则根据步骤S2所述最相似5张商品图像，恢复商标区域纹理特征；若否，则继续下一步；
S32.判断所述目标图像是否有文本区域，若是，则根据步骤S2所述最相似5张商品图像，恢复文本区域纹理特征；若否，则继续下一步；
S33.对所述目标图像的背景区域根据则根据步骤S2所述最相似5张商品图像进行重建。
3.根据权利要求2所述的一种有效的识别低分辨率商品图像的处理算法，其特征在于，所述步骤S31、步骤S32、步骤S33中商标区域、文本区域、背景区域的定位，采用区域特征显著算法，通过有监督的回归定位学习获得。
4.根据权利要求2所述的一种有效的识别低分辨率商品图像的处理算法，其特征在于，所述步骤S31、步骤S32、步骤S33中恢复纹理特征通过有监督的特征迁移算法实现，监督损失函数包括纹理相似性和逐像素判别函数。
5.根据权利要求1所述的一种有效的识别低分辨率商品图像的处理算法，其特征在于，所述步骤S4中，重建后的商品图像通过区域特征显著算法提取特征向量，共提取三组特征，包括商标区域、文本区域和背景区域。
6.根据权利要求5所述的一种有效的识别低分辨率商品图像的处理算法，其特征在于，所述步骤S4中，重建后的商品图像分类通过提取的三组特征向量，通过三元组损失、中心损失以及基于高维非线性空间的分类输出算法进行判别学习。
7.根据权利要求1所述的一种有效的识别低分辨率商品图像的处理算法，其特征在于，所述步骤S2中，目标图像真实类别不包含在已知商品图像库时，通过提取的图像特征的度量判别，容易归纳为一个未知类别，扩充商品图像库。
CN201911403689.1A 2019-12-31 2019-12-31 一种识别低分辨率商品图像的处理算法 Active CN111104924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911403689.1A CN111104924B (zh) 2019-12-31 2019-12-31 一种识别低分辨率商品图像的处理算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911403689.1A CN111104924B (zh) 2019-12-31 2019-12-31 一种识别低分辨率商品图像的处理算法

Publications (2)

Publication Number Publication Date
CN111104924A true CN111104924A (zh) 2020-05-05
CN111104924B CN111104924B (zh) 2023-09-01

Family

ID=70424810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403689.1A Active CN111104924B (zh) 2019-12-31 2019-12-31 一种识别低分辨率商品图像的处理算法

Country Status (1)

Country Link
CN (1) CN111104924B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220006A (zh) * 2021-12-01 2022-03-22 广州市玄武无线科技股份有限公司 一种基于商品指纹的商品识别方法及系统
CN114373089A (zh) * 2022-01-13 2022-04-19 上海汉时信息科技有限公司 货架商品自主聚类识别方法及装置
CN114549938A (zh) * 2022-04-25 2022-05-27 广州市玄武无线科技股份有限公司 模型训练方法、图像信息管理方法、图像识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147558A1 (en) * 2002-02-07 2003-08-07 Loui Alexander C. Method for image region classification using unsupervised and supervised learning
CN104899820A (zh) * 2014-03-11 2015-09-09 腾讯科技（北京）有限公司 为图像添加标签的方法、系统和装置
CN108009629A (zh) * 2017-11-20 2018-05-08 天津大学 一种基于全卷积台标分割网络的台标分割方法
CN108109152A (zh) * 2018-01-03 2018-06-01 深圳北航新兴产业技术研究院 医学图像分类和分割方法和装置
CN109670546A (zh) * 2018-12-14 2019-04-23 武汉市哈哈便利科技有限公司 一种基于预设模板的商品匹配及数量回归识别算法
RU2703970C1 (ru) * 2018-09-28 2019-10-22 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ актуализации каталога товаров в системе распознавания товаров на изображениях
CN110458096A (zh) * 2019-08-09 2019-11-15 广州众聚智能科技有限公司 一种基于深度学习的大规模商品识别方法
CN110599454A (zh) * 2019-08-09 2019-12-20 湖北民族大学 基于区域特征显著性映射的e-tpu鞋中底缺陷检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147558A1 (en) * 2002-02-07 2003-08-07 Loui Alexander C. Method for image region classification using unsupervised and supervised learning
CN104899820A (zh) * 2014-03-11 2015-09-09 腾讯科技（北京）有限公司 为图像添加标签的方法、系统和装置
CN108009629A (zh) * 2017-11-20 2018-05-08 天津大学 一种基于全卷积台标分割网络的台标分割方法
CN108109152A (zh) * 2018-01-03 2018-06-01 深圳北航新兴产业技术研究院 医学图像分类和分割方法和装置
RU2703970C1 (ru) * 2018-09-28 2019-10-22 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ актуализации каталога товаров в системе распознавания товаров на изображениях
CN109670546A (zh) * 2018-12-14 2019-04-23 武汉市哈哈便利科技有限公司 一种基于预设模板的商品匹配及数量回归识别算法
CN110458096A (zh) * 2019-08-09 2019-11-15 广州众聚智能科技有限公司 一种基于深度学习的大规模商品识别方法
CN110599454A (zh) * 2019-08-09 2019-12-20 湖北民族大学 基于区域特征显著性映射的e-tpu鞋中底缺陷检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220006A (zh) * 2021-12-01 2022-03-22 广州市玄武无线科技股份有限公司 一种基于商品指纹的商品识别方法及系统
CN114373089A (zh) * 2022-01-13 2022-04-19 上海汉时信息科技有限公司 货架商品自主聚类识别方法及装置
CN114549938A (zh) * 2022-04-25 2022-05-27 广州市玄武无线科技股份有限公司 模型训练方法、图像信息管理方法、图像识别方法及装置

Also Published As

Publication number Publication date
CN111104924B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN111860499B (zh) 一种基于特征分组的双线性卷积神经网络的汽车品牌识别方法
CN111126379B (zh) 一种目标检测方法与装置
CN110210539B (zh) 多级深度特征融合的rgb-t图像显著性目标检测方法
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN110866896B (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN105069447B (zh) 一种人脸表情的识别方法
CN111104924B (zh) 一种识别低分辨率商品图像的处理算法
Huang et al. DeepDiff: Learning deep difference features on human body parts for person re-identification
Pei et al. Decision pyramid classifier for face recognition under complex variations using single sample per person
Jia et al. Richer and deeper supervision network for salient object detection
Chen et al. Page segmentation for historical handwritten document images using conditional random fields
Ren et al. Multi-scale deep encoder-decoder network for salient object detection
Devadethan et al. Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing
CN105956604B (zh) 一种基于两层时空邻域特征的动作识别方法
Van Hoai et al. Feeding Convolutional Neural Network by hand-crafted features based on Enhanced Neighbor-Center Different Image for color texture classification
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
Kumar et al. Automatic face detection using genetic algorithm for various challenges
CN106022310B (zh) 基于htg-hog和stg特征的人体行为识别方法
CN108564020B (zh) 基于全景3d图像的微手势识别方法
Noman et al. ELGC-Net: Efficient Local-Global Context Aggregation for Remote Sensing Change Detection
Zheng et al. Transformer-based hierarchical dynamic decoders for salient object detection
Caraka et al. Batik parang rusak detection using geometric invariant moment
Li et al. A combined feature representation of deep feature and hand-crafted features for person re-identification
CN115457581A (zh) 表格提取方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant