CN113536018A - 基于卷积神经网络的电商客服平台图像检索方法 - Google Patents
基于卷积神经网络的电商客服平台图像检索方法 Download PDFInfo
- Publication number
- CN113536018A CN113536018A CN202110781874.5A CN202110781874A CN113536018A CN 113536018 A CN113536018 A CN 113536018A CN 202110781874 A CN202110781874 A CN 202110781874A CN 113536018 A CN113536018 A CN 113536018A
- Authority
- CN
- China
- Prior art keywords
- picture
- neural network
- convolutional neural
- commodity
- customer service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Accounting & Taxation (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Finance (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于卷积神经网络的电商客服平台图像检索方法,包括如下步骤:将买家发送的图片输入卷积神经网络模型进行图片预处理;将经过图片预处理的图片输入另一卷积神经网络进行图片特征提取;根据图片特征提取的数据在特征数据库中进行相似度匹配值计算,提取特征数据库中相似度匹配值最高且高于预设阈值的商品数据。本申请的有益之处在于提供了一种能够精细到电商平台的具体产品且便于应用到智能客服系统的基于卷积神经网络的电商客服平台图像检索方法。
Description
技术领域
本申请涉及一种电商客服平台图像检索方法,具体而言,涉及一种基于卷积神经网络的电商客服平台图像检索方法。
背景技术
在电商领域,商品图像检索已经有成熟的应用,如淘宝的拍立淘等,但这些应用的服务对象是电商平台本身,无法精准为特定商家服务,而且由于平台商品基数过大,其算法的精准度和运行效率面临极大的挑战,因而检索粒度比较粗。为了跨平台地为特定商家进行服务,提供商品级甚至SKU(最小库存单元)级的检索精度,并提高准确率,本发明提出了一种基于CNN的电商店铺图像检索系统,该系统可以嵌入到智能客服体系中。传统的智能客服大多只能处理语言文字信息,而缺乏处理图片或者多模态的输入的能力,显得并不那么“智能”,图像分类和图像检索模块的嵌入赋予了智能客服对图片的处理能力。
从商品图像检索算法在电商平台的应用来看,目前主要是平台范围内粗粒度的检索,无法提供店铺级别的细粒度检索;从智能客服的应用来看,目前的智能客服主要基于语言文字理解,对图像的处理能力还不完善。
发明内容
为了解决现有技术的不足之处,本身请提供了一种基于卷积神经网络的电商客服平台图像检索方法,包括如下步骤:将买家发送的图片输入第一卷积神经网络和第二卷积神经网络模型进行图片预处理,所述图片预处理包括商品图片的筛选和商品图片中主体部分的提取;将经过图片预处理的图片输入第三卷积神经网络进行图片特征提取;根据图片特征提取的数据在特征数据库中进行相似度匹配值计算,提取特征数据库中相似度匹配值最高且高于预设阈值的商品数据。
进一步地,所述基于卷积神经网络的电商客服平台图像检索方法还包括:在商品上架时更新所述特征数据库中的数据。
进一步地,所述在商品上架时更新所述特征数据库中的数据包括如下步骤:输入上架商品的商品数据;将上架商品的图片输入至所述第一卷积神经网络模型进行图片预处理;将经过预处理的图片输入至所述第二卷积神经网络模型进行图片特征提取;将所述商品数据、预处理后的图片和图片特征对应存储于所述特征数据库中。
进一步地,所述基于卷积神经网络的电商客服平台图像检索方法还包括:在商品下架时更新所述特征数据库中的数据。
进一步地,在商品下架时更新所述特征数据库中的数据包括如下步骤:输入下架商品的商品数据;删除所述索引数据库中对应的商品数据、商品图片以及图片特征的信息。
进一步地,在商品下架时更新所述特征数据库中的数据包括如下步骤:删除所述索引数据库中对应的索引数据。
进一步地,所述商品数据包括:商品ID信息、商品属性或/和商品链接。
进一步地,所述图片特征提取为所述第三卷积神经网络提取所述商品图片主体部分的CNN特征。
进一步地,所述第一卷积神经网络模型基于ResNet50构建模型;所述第二卷积神经网络模型基于ImageNet预训练的ResNet50网络结合semihard sampled triplet loss训练构建模型。
进一步地,根据图片特征提取的数据在特征数据库中进行相似度匹配值计算包括:计算目标图片特征向量与所述图像索引库中所有图片特征向量的欧氏距离或者余弦距离。
本申请的有益之处在于:提供了一种能够精细到电商平台的具体产品且便于应用到智能客服系统的基于卷积神经网络的电商客服平台图像检索方法。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请一种实施例的基于卷积神经网络的电商客服平台图像检索方法的步骤流程示意图。
图2是一个待处理图片集合示意图;
图3是一个买家发送的待检测的图片;
图4是进行图片检索的界面示意图;
图5是一个卷积神经网络的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示,本身请提供了一种基于卷积神经网络的电商客服平台图像检索方法,包括如下步骤:
将买家发送的图片输入第一卷积神经网络和第二卷积神经网络模型进行图片预处理,图片预处理包括商品图片的筛选和商品图片中主体部分的提取;
将经过图片预处理的图片输入第三卷积神经网络进行图片特征提取;
根据图片特征提取的数据在特征数据库中进行相似度匹配值计算,提取特征数据库中相似度匹配值最高且高于预设阈值的商品数据。
作为具体方案,图片预处理实际包括如下内容:
采用第一卷积神经网络对图片意图分类,将买家发送的图片分为商品图片以及非商品图片。通过这样的方式将图片中商品图片筛选出来。
然后将筛选出来的商品图片,输入至第二卷积神经网络进行目标检测,检测出商品图片中的主题部分,并进行哈希去从。
具体而言,基于卷积神经网络的电商客服平台图像检索方法还包括:在商品上架时更新特征数据库中的数据。
具体而言,在商品上架时更新特征数据库中的数据包括如下步骤:输入上架商品的商品数据;将上架商品的图片输入至第一卷积神经网络模型进行图片预处理;将经过预处理的图片输入至第二卷积神经网络模型进行图片特征提取;将商品数据、预处理后的图片和图片特征对应存储于特征数据库中。
具体而言,基于卷积神经网络的电商客服平台图像检索方法还包括:在商品下架时更新特征数据库中的数据。
具体而言,在商品下架时更新特征数据库中的数据包括如下步骤:输入下架商品的商品数据;删除索引数据库中对应的商品数据、商品图片以及图片特征的信息。
具体而言,在商品下架时更新特征数据库中的数据包括如下步骤:删除索引数据库中对应的索引数据。
具体而言,商品数据包括:商品ID信息、商品属性或/和商品链接。
具体而言,所述图片特征提取为所述第三卷积神经网络提取所述商品图片主体部分的CNN特征。
具体而言,第一卷积神经网络模型基于ResNet50构建模型;第二卷积神经网络模型基于ImageNet预训练的ResNet50网络结合semihard sampled triplet loss训练构建模型。
具体而言,根据图片特征提取的数据在特征数据库中进行相似度匹配值计算包括:计算目标图片特征向量与图像索引库中所有图片特征向量的欧氏距离或者余弦距离。
具体公式如下:A是目标特征向量,B是索引库内的某个特征向量。
由于索引库内有多个向量,会产生多个余弦距离(相似度),其中相似度最高且超过阈值的向量对应的商品,即为检索所得商品。
作为具体方案,本申请的方法包括两个部分。
第一部分为离线过程:
步骤1.1店铺上新商品;
步骤1.2图片预处理;
步骤1.3特征提取;
步骤1.4建立索引库并存储;
步骤2.1店铺下架商品;
步骤2.2在索引库中删除对应的商品。
第二部分为在线检索:
步骤3.1买家发送图片;
步骤3.2图片预处理;
步骤3.3特征提取;
步骤3.4相似度匹配,返回同款商品或相似度最高的产品id等数据。
作为具体方案,在步骤1.2中,图片预处理1的方法主要包括基于CNN图像分类的无关图片清洗,此分类算法基于ResNet50,将买家发送图片分为商品图片以及其他类别,筛选出其中的商品图片作为之后算法的输入;基于哈希算法的图片去重,一般选用dhash,ahash等算法,去除完全相同的图片,这边不做特别规定;以及主体目标检测算法,基于yolo系列目标检测算法,针对服装、包、鞋等不同行业进行商品目标检测,获得商品主体的检测框位置、类别、置信度。
在步骤1.3和3.3中,特征提取复用相同的基于CNN的特征抽取方法,特征抽取网络基于ImageNet预训练的ResNet50网络结合semihard sampled triplet loss训练得到,在线实施时去掉loss层获得512维(该维度不做约束,128,256等也能获得类似效果)的归一化特征表示。图5示出了一种具体的卷积神经网络模型。
在步骤1.4中,对1.3中提取的特征进行编码并以及其对应的商品生成索引库(商品id与特征值的组合对),针对每一个商家各自生成一个商品索引库,并存储在分布式系统中方便后期扩容。
在步骤3.2中,图片预处理2的方法主要包括基于CNN图像分类的无关图片清洗,主体目标检测算法,具体方法同步骤1.2。
在步骤3.4中,将3.3中得到的目标特征向量与特征库中的特征向量进行相似度匹配,通常使用欧氏距离或余弦距离通常计算目标特征向量与特征库中所有向量的欧氏距离或者余弦距离,其中与欧式距离最小(预先距离最大)的,系统返回相似度最高且高于某一阈值的商品ID等信息,后续用于同款查询和相似推荐业务。
如图2所示,将图片集合输入本申请系统按照以上方法进行处理形成数据库。
如图3所示,为买家发送的待检索图片,经过处理,提取后得到特征向量B(1*512维)。
如图4所示,左侧为买家发送的查询图片,选取其中一张,右侧是商家商品库中的商品详情页图片(检索获得,相似度最高且超过阈值),并在后台输出商品链接和商品属性。
具体而言,按照以上方法将特征向量B分别与特征库A中的所有1903个特征向量求余弦距离,得到1903个相似度,显示图片库中相似度最高的图片(0.73),如图4所示结果。
通过以上方案可以实现基于店铺的商品图像检索,可以精细到具体商品及SKU的粒度,针对商家进行服务以及可以轻松嵌入到智能客服体系中,帮助智能客服理解图像信息。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
所述基于卷积神经网络的电商客服平台图像检索方法包括如下步骤:
将买家发送的图片输入第一卷积神经网络和第二卷积神经网络模型进行图片预处理,所述图片预处理包括商品图片的筛选和商品图片中主体部分的提取;
将经过图片预处理的图片输入第三卷积神经网络进行图片特征提取;
根据图片特征提取的数据在特征数据库中进行相似度匹配值计算,提取特征数据库中相似度匹配值最高且高于预设阈值的商品数据。
2.根据权利要求1所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
所述基于卷积神经网络的电商客服平台图像检索方法还包括:
在商品上架时更新所述特征数据库中的数据。
3.根据权利要求2所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
所述在商品上架时更新所述特征数据库中的数据包括如下步骤:
输入上架商品的商品数据;
将上架商品的图片输入至所述第一卷积神经网络模型进行图片预处理;
将经过预处理的图片输入至所述第二卷积神经网络模型进行图片特征提取;
将所述商品数据、预处理后的图片和图片特征对应存储于所述特征数据库中。
4.根据权利要求1所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
所述基于卷积神经网络的电商客服平台图像检索方法还包括:
在商品下架时更新所述特征数据库中的数据。
5.根据权利要求4所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
在商品下架时更新所述特征数据库中的数据包括如下步骤:
输入下架商品的商品数据;
删除所述索引数据库中对应的商品数据、商品图片以及图片特征的信息。
6.根据权利要求5所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
在商品下架时更新所述特征数据库中的数据包括如下步骤:
删除所述索引数据库中对应的索引数据。
7.根据权利要求1至6任意一项所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
所述商品数据包括:商品ID信息、商品属性或/和商品链接。
8.根据权利要求7所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
所述图片特征提取为所述第三卷积神经网络提取所述商品图片主体部分的CNN特征。
9.根据权利要求1所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
所述第一卷积神经网络模型基于ResNet50构建模型;所述第二卷积神经网络模型基于ImageNet预训练的ResNet50网络结合semihard sampled triplet loss训练构建模型。
10.根据权利要求1所述的基于卷积神经网络的电商客服平台图像检索方法,其特征在于:
根据图片特征提取的数据在特征数据库中进行相似度匹配值计算包括:
计算目标图片特征向量与所述图像索引库中所有图片特征向量的欧氏距离或者余弦距离。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020113899995 | 2020-12-02 | ||
CN202011389999 | 2020-12-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113536018A true CN113536018A (zh) | 2021-10-22 |
Family
ID=78127354
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110781874.5A Pending CN113536018A (zh) | 2020-12-02 | 2021-07-09 | 基于卷积神经网络的电商客服平台图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113536018A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114168770A (zh) * | 2022-02-14 | 2022-03-11 | 成都四方伟业软件股份有限公司 | 一种基于深度学习的以图搜图方法及装置 |
-
2021
- 2021-07-09 CN CN202110781874.5A patent/CN113536018A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114168770A (zh) * | 2022-02-14 | 2022-03-11 | 成都四方伟业软件股份有限公司 | 一种基于深度学习的以图搜图方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3267362B1 (en) | Machine learning image processing | |
CN107330451B (zh) | 基于深度卷积神经网络的服装属性检索方法 | |
US11386639B2 (en) | System and method for classifier training and retrieval from classifier database for large scale product identification | |
US9460518B2 (en) | Visual clothing retrieval | |
CN111061890B (zh) | 一种标注信息验证的方法、类别确定的方法及装置 | |
CN109993595B (zh) | 个性化推荐商品及服务的方法、系统及设备 | |
CN106846122B (zh) | 商品数据处理方法和装置 | |
KR101832946B1 (ko) | 이미지 검색이 가능한 섬유원단 중계 시스템 및 방법 | |
US20090281925A1 (en) | Color match toolbox | |
KR20200046184A (ko) | 온라인 쇼핑몰 기반의 상품을 검색하는 방법, 상기 방법을 사용하는 장치 및 시스템 | |
CN108985285B (zh) | 一种基于机器识别的商品专利获取方法及系统 | |
US11475500B2 (en) | Device and method for item recommendation based on visual elements | |
US8254678B2 (en) | Image segmentation | |
CN102567543A (zh) | 一种服装图片的搜索方法和装置 | |
CN110413825B (zh) | 面向时尚电商的街拍推荐系统 | |
CN111310706B (zh) | 一种商品价签识别方法及装置、电子设备、存储介质 | |
US20210073890A1 (en) | Catalog-based image recommendations | |
CN109213921A (zh) | 一种商品信息的搜索方法及装置 | |
CN101950400A (zh) | 网络购物导航方法 | |
CN107533547B (zh) | 产品索引编排方法及其系统 | |
CN109146640A (zh) | 一种线上商品搜索方法及系统 | |
CN113935774A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
CN107622071B (zh) | 通过间接相关反馈在无查源下的衣服图像检索系统及方法 | |
CN113536018A (zh) | 基于卷积神经网络的电商客服平台图像检索方法 | |
CN117275011B (zh) | 一种商品识别与商品价签匹配方法、系统、终端及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230412 Address after: 104058, No. 2-10, No. 311 Huangpu Avenue Middle, Tianhe District, Guangzhou City, Guangdong Province, 510000 Applicant after: Guangzhou Tanyu Technology Co.,Ltd. Address before: 601-5, 1382 Wenyi West Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: Hangzhou Weier Network Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right |