CN109344924A - 基于深度学习的识别商品方法及基于机器视觉的商品存储和识别系统 - Google Patents
基于深度学习的识别商品方法及基于机器视觉的商品存储和识别系统 Download PDFInfo
- Publication number
- CN109344924A CN109344924A CN201811047637.0A CN201811047637A CN109344924A CN 109344924 A CN109344924 A CN 109344924A CN 201811047637 A CN201811047637 A CN 201811047637A CN 109344924 A CN109344924 A CN 109344924A
- Authority
- CN
- China
- Prior art keywords
- commodity
- identification
- deep learning
- information
- dimensional code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 239000004744 fabric Substances 0.000 claims abstract description 47
- 238000013136 deep learning model Methods 0.000 claims description 17
- 239000000463 material Substances 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 9
- 239000003086 colorant Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004381 surface treatment Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机机器视觉和深度学习技术领域，特别是涉及基于二维码识别的海量商品的快速定位和检索和基于深度学习的准确的面料识别方法。包括(1)基于二维码识别的商品所在的仓库位置的检索和更新；(2)基于二维码识别的展厅陈列商品属性更新；(3)基于商品图片识别的客户线上下单。本发明具备以下有益效果：该识别系统能对面料的属性进行识别；对于不同尺度的同一图案检索的成功率高。
Description
技术领域
本发明涉及计算机机器视觉和深度学习技术领域，特别是涉及基于二维码识别的海量商品的快速定位和检索和基于深度学习的准确的面料识别方法。
背景技术
仓库，便利店，无人超市中的商品的快速定位和查询是非常重要的，尤其当商品的种类是海量的时候，这种需求就会格外强烈.现在市面上的大多店铺还是靠人工清点，这大大的增加了企业的运营成本，而且人工清点很容易引入错误.另一种常用的方式是使用电子标签技术.电子标签技术大大降低了清点的错误率，但如果每个单品都使用电子标签，会造成运营成本的压力非常大.业界也一直在寻找低成本，高效的解决方案。
布料的图案识别和属性识别有着广泛的应用,它可以帮助商家及终端用户准确而方便地识别面料属性,可以帮助线上平台做准确的面料检索。市场上应用图像识别技术对面料进行识别的产品还非常少见。目前市面上唯一一款使用图像识别技术进行面料识别的产品有两个缺点：(1)只能对面料上的图案进行识别,无法对面料的属性(材质,工艺等)进行识别；(2)对于不同尺度的同一图案(同一图案在不同图片中大小不同)检索的成功率低.目前市面上还没有能够同时解决这两个缺点的方案。
人工神经网络(深度学习)是目前最有效的图像识别的方法.传统的人工设计的图像描述子(如SIFT,HOG,LBP等)是对图像的分布做出各种假设，但这些假设在实践中通常无法满足.但深度学习的方法是从数据中学习到有鉴别性的非线性特征，是从数学中学习到图像的分布.而且分布的复杂性可以通过网络的深度来调整.尽管深度学习功能强大，但目前还没有针对布料识别的尺度问题进行精妙的设计.
综上所述，如何给用户提供低成本且准确的海量商品定位和检索功能，如何实现不同尺度的布料图案和属性的检索是亟待解决的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于深度学习的识别商品方法及基于机器视觉的商品存储和识别系统，解决了现有只能对面料上的图案进行识别；检索的成功率低的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于机器视觉的商品存储和识别系统，所述系统包括：
(1)基于二维码识别的商品所在的仓库位置的检索和更新：通过移动或固定的摄像头拍摄商品和货架的二维码，然后得到某个商品在某个货架上的信息，然后将这个信息上传到数据库.这样实现了商品库位信息的存储和更新，后端可以任意查询；
(2)基于二维码识别的展厅陈列商品属性更新：商铺经常需要修改商品属性信息，通过扫描商品的二维码，连接到手机的app商品属性页面进行录入或修改；
(3)基于商品图片识别的客户线上下单：顾客可以通过上传商品的图片，系统自动检索与输入图片相应的商品图片，客户在选择的商品上选择下单购买；
(4)基于二维码识别的客户线下展厅浏览：顾客在店铺或展厅浏览时，看到自己喜欢的商品时候，扫描该商品的二维码进入商品下单页面下单购买。
本发明的另一个目的是克服同一图案，不同尺度的匹配困难.数据采集。通过以下方案实现。
一种基于深度学习的识别商品方法，其特征在于，该方法包括：获取多张带标尺的商品图像及其对应属性信息的标注，生成训练集；
对训练集通过深度学习模型训练；
对完成训练的深度学习模型，通过cosine距离进行商品识别。
优选的，该方法用于识别面料商品；用于识别商品属性信息和尺度信息。
优选的，商品属性信息包括：面料上的花色、图案或者所述花色与所述图案的结合，面料的工艺属性、面料的材质属性。
优选的，所述的尺度信息为尺子毫米格子的数目。
优选的，所述训练集通过深度学习模型进行训练包括：在原有的VGG-16模型基础上增加一个loss层，对后续层的特征根据训练需求调整，完成对所述训练集通过所述VGG-16模型的训练，其中，所述VGG-16模型包含：13个卷积层，3个全连接层和1个分类层和1个回归层。
优选的，所述对完成训练的所述深度学习模型，通过cosine距离进行面料的识别包括：对完成训练的所述深度学习模型，通过cosine距离和最近邻分类器完成所述商品的识别。
(三)有益效果
本发明具备以下有益效果：
(1)、该识别系统能对面料的属性(材质,工艺等)进行识别；对于不同尺度的同一图案(同一图案在不同图片中大小不同)检索的成功率高。
(2)、该方法可以克服同一图案，不同尺度的匹配困难.数据采集：布料图像的采集(将格尺放置于布料上面)，图像属性信息(面料上的花色、图案或者所述花色与所述图案的结合，面料的工艺属性、面料的材质属性)和尺度信息(厘米格子的数目)的标注。
附图说明
图1为本发明一个实施例中的一种基于深度学习的商品属性图片识别方法的流程示意图；
图2为本发明一个实施例中的一种基于深度学习的商品存储和识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“中心”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“顶”、“底”、“内”、“外”、“轴向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接；可以是机械连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，为一个实施例中的一种基于深度学习的商品识别方法的流程示意图。具体包括以下步骤：
步骤102：获取多张商品图像及其对应图像属性信息和尺度信息的标注，生成训练集。实际应用中可以采用精细面料图片采集箱获取面料属性图片的训练集，它既可以用作训练图片的采集,也可以用在模型训练好后的各种识别场景中。例如在我们的实际应用中,本采集箱采集到的图片会自动传输到服务器，再由我们的识别系统进行图案的识别，主要识别系统里有没有类似的图案，以进行相似产品关联，识别好之后根据识别属性结果做各种应用。例如自动生成一个商品档案，并可以编辑后选择发布商品。
本实施例中，商品为面料，为了识别出面料的多种属性,我们采集的图片标注了如下信息：织法工艺(方格,横条等),底部颜色工艺(印染,色织等),表面工艺(提花,植绒等),底面工艺(双面,复合等)……。
步骤104，对训练集通过深度学习模型进行训练。
本实施例中，对训练集通过深度学习模型进行训练包括：在原有的VGG-16模型基础上增加一个loss层，对后续层的特征根据训练需求调整，完成对所述训练集通过所述VGG-16模型的训练，其中，所述VGG-16模型包含：13个卷积层，3个全连接层和1个分类层和1个回归层。
需要说明的是，为了提高模型的训练效率，没有从0开始训练模型，而是在免费开源的用于对象识别的VGG-16模型的基础上进行微调。把模型的前2层特征固定不动,因为前2层是浅层特征,对于不同的图像分类任务有很好的通用性,这样还可以降低模型训练的难度。分类层根据所有进行的分类换上自己定义的新层。除了前2层外,所有的层都进行微调。
步骤106，对完成训练的深度学习模型，通过cosine距离进行面料的识别。
本实施例中，对完成训练的深度学习模型，通过余弦距离进行面料的识别包括：对完成训练的深度学习模型，通过余弦距离和最近邻分类器完成面料的识别。由此，可以提高识别面料的效率。
本发明还公布了一个商品属性识别的方法，获取多张带标尺的商品图像及其对应属性信息的标注，生成训练集；对训练集通过深度学习模型训练；对完成训练的深度学习模型，通过cosine距离进行商品识别。该方法可以克服同一图案，不同尺度的匹配困难，解决了多种陈列商品(特指面料)属性识别的问题，包含织法工艺，底部颜色工艺，表面工艺，印花工艺，防线工艺等，尤其是我们的深度学习模型在识别布料属性的同时还可以识别出布料的尺寸信息，根据布料的属性信息和尺寸信息，可以精确的识别不同尺寸的布料。
如图2所示，为一个实施例中的一种基于机器视觉的商品存储和识别系统的结构示意图。该基于机器视觉的商品存储和识别系统包括：(1)基于二维码识别的商品所在的仓库位置的检索和更新，(2)基于二维码识别的展厅陈列商品属性更新，(3)基于商品图片识别(例如布料、地板等)的客户线上下单，(4)基于二维码识别的客户线下展厅浏览。
其中关于模块(1),我们通过移动或固定的摄像头拍摄商品和货架的二维码，然后得到某个商品在某个货架上的信息，然后将这个信息上传到数据库.这样实现了商品库位信息的存储和更新，后端可以任意查询。关于模块(2),商铺经常需要修改商品属性信息，如由于价格的变动要重新输入价格信息。我们通过扫描商品的二维码，可以连接到手机的app商品属性页面进行录入或修改.关于模块(3),顾客可以通过上传商品的图片，系统自动检索与输入图片最相似的商品图片，客户可以在选择的商品上选择下单购买。关于模块(4),顾客在店铺或展厅浏览时，看到自己喜欢的商品时候，可以扫描该商品的二维码进入商品下单页面下单购买。该系统可以克服同一图案，不同尺度的匹配困难，解决了多种陈列商品(特指面料)属性识别的问题，包含织法工艺，底部颜色工艺，表面工艺，印花工艺，防线工艺等，尤其是我们的深度学习模型在识别布料属性的同时还可以识别出布料的尺寸信息，根据布料的属性信息和尺寸信息，可以精确的识别不同尺寸的布料。
需要说明的是，在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于机器视觉的商品存储和识别系统，其特征在于，所述系统包括：
(1)基于二维码识别的商品所在的仓库位置的检索和更新：通过移动或固定的摄像头拍摄商品和货架的二维码，然后得到某个商品在某个货架上的信息，然后将这个信息上传到数据库.这样实现了商品库位信息的存储和更新，后端可以任意查询；
(2)基于二维码识别的展厅陈列商品属性更新：商铺经常需要修改商品属性信息，通过扫描商品的二维码，连接到手机的app商品属性页面进行录入或修改；
(3)基于商品图片识别的客户线上下单：顾客可以通过上传商品的图片，系统自动识别与输入图片相应的商品图片，客户在选择的商品上选择下单购买；
(4)基于二维码识别的客户线下展厅浏览：顾客在店铺或展厅浏览时，看到自己喜欢的商品时候，扫描该商品的二维码进入商品下单页面下单购买。
2.一种基于深度学习的识别商品方法，其特征在于，该方法包括：
获取多张带标尺的商品图像及其对应属性信息的标注，生成训练集；
对训练集通过深度学习模型训练；
对完成训练的深度学习模型，通过cosine距离进行商品识别。
3.根据权利要求2所述的基于深度学习的识别商品方法，其特征在于，该方法用于识别面料商品属性信息和尺度信息。
4.根据权利要求3所述的基于深度学习的识别商品方法，其特征在于，商品属性信息包括：面料上的花色、图案或者所述花色与所述图案的结合，面料的工艺属性、织法属性、纹理属性、面料的材质属性。
5.根据权利要求2所述的基于深度学习的识别商品方法，其特征在于：所述的尺度信息为尺子毫米格子的数目。
6.根据权利要求2所述的基于深度学习的识别商品方法，其特征在于：所述训练集通过深度学习模型进行训练包括：在原有的VGG-16模型基础上增加一个loss层，对后续层的特征根据训练需求调整，完成对所述训练集通过所述VGG-16模型的训练，其中，所述VGG-16模型包含：13个卷积层，3个全连接层和1个分类层和1个回归层。
7.根据权利要求2所述的基于深度学习的识别商品方法，其特征在于：所述对完成训练的所述深度学习模型，通过cosine距离进行商品的识别；包括：对完成训练的所述深度学习模型，通过cosine距离和近邻分类器完成所述商品的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811047637.0A CN109344924A (zh) | 2018-09-10 | 2018-09-10 | 基于深度学习的识别商品方法及基于机器视觉的商品存储和识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811047637.0A CN109344924A (zh) | 2018-09-10 | 2018-09-10 | 基于深度学习的识别商品方法及基于机器视觉的商品存储和识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109344924A true CN109344924A (zh) | 2019-02-15 |
Family
ID=65304611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811047637.0A Pending CN109344924A (zh) | 2018-09-10 | 2018-09-10 | 基于深度学习的识别商品方法及基于机器视觉的商品存储和识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344924A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321850A (zh) * | 2019-07-05 | 2019-10-11 | 杭州时趣信息技术有限公司 | 服装面料自动识别方法、装置、系统、设备及存储介质 |
| CN111104997A (zh) * | 2019-12-25 | 2020-05-05 | 深圳创新奇智科技有限公司 | 一种基于深度学习的商品二维码生成方法及系统 |
| WO2022138547A1 (ja) * | 2020-12-24 | 2022-06-30 | Ｂｉｒｄ ｆａｂ ｓｔｕｄｉｏ株式会社 | 生地検索装置、生地検索システム、生地検索方法およびプログラム |
-
2018
- 2018-09-10 CN CN201811047637.0A patent/CN109344924A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321850A (zh) * | 2019-07-05 | 2019-10-11 | 杭州时趣信息技术有限公司 | 服装面料自动识别方法、装置、系统、设备及存储介质 |
| CN111104997A (zh) * | 2019-12-25 | 2020-05-05 | 深圳创新奇智科技有限公司 | 一种基于深度学习的商品二维码生成方法及系统 |
| WO2022138547A1 (ja) * | 2020-12-24 | 2022-06-30 | Ｂｉｒｄ ｆａｂ ｓｔｕｄｉｏ株式会社 | 生地検索装置、生地検索システム、生地検索方法およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10546417B2 (en) | Method and apparatus for estimating body shape | |
| CN107463945B (zh) | 一种基于深度匹配网络的商品种类识别方法 | |
| JP7535124B2 (ja) | 複数の光コードを復号するシステム及び方法 | |
| Huang et al. | Single-view reconstruction via joint analysis of image and shape collections. | |
| CN107463946B (zh) | 一种结合模板匹配与深度学习的商品种类检测方法 | |
| CN102567543B (zh) | 一种服装图片的搜索方法和装置 | |
| KR102390547B1 (ko) | 이미지 특징 데이터 추출 및 사용 | |
| CN105608230B (zh) | 一种基于图像检索的商家信息推荐系统及方法 | |
| US9239943B2 (en) | Object recognition for exception handling in automatic machine-readable symbol reader systems | |
| CN100578508C (zh) | 交互式图像搜索系统和方法 | |
| CN109344924A (zh) | 基于深度学习的识别商品方法及基于机器视觉的商品存储和识别系统 | |
| CN109166147A (zh) | 基于图片的服装尺寸测量方法及装置 | |
| DE60029626T2 (de) | System und methode zur visualisierung der persönlichen erscheinung | |
| CN107730168A (zh) | 一种基于图像识别的自动售货机自动库存管理系统及方法 | |
| CN106055710A (zh) | 基于视频的商品推荐方法及装置 | |
| CN101853299A (zh) | 一种基于感性认知的图像检索结果排序方法 | |
| WO2012061945A1 (en) | System and method for object searching using spatial data | |
| CA2847652C (en) | Pattern-based design system | |
| CN108596137A (zh) | 一种基于图像识别算法的商品扫描录入方法 | |
| CN106203225A (zh) | 基于深度的图像元素删除 | |
| CN111738390B (zh) | 一种防伪图像及其生成方法和应用 | |
| CN110705363A (zh) | 一种商品规格的识别方法与装置 | |
| KR20220063601A (ko) | Ai 기반 패션 분석 엔진에 의한 인공지능 데이터셋 제작 방법 | |
| CN111080332A (zh) | 一种自助式家居用品选购系统 | |
| Xinjuan et al. | Apparel image matting and applications in e-commerce |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190215 |