CN115186165A - 一种移动电子商务图像搜索购物方法 - Google Patents
一种移动电子商务图像搜索购物方法 Download PDFInfo
- Publication number
- CN115186165A CN115186165A CN202210803948.5A CN202210803948A CN115186165A CN 115186165 A CN115186165 A CN 115186165A CN 202210803948 A CN202210803948 A CN 202210803948A CN 115186165 A CN115186165 A CN 115186165A
- Authority
- CN
- China
- Prior art keywords
- image
- commodity
- ranking
- low
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9532—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种移动电子商务图像搜索购物方法,涉及图像处理技术领域。本发明包括如下步骤:获取大量商品参考图像,采用边缘检测算子来提取模块图像区域中特征部分的目标边缘图像并输入对应的关键目标词;构建模板索引;上传待搜索商品图像数据进行预处理;用户框选预处理后的商品图像的特征部分以及对应的关键词输入至搜索模型进行深化对比分析;在电子商务网站上进行匹配检索并排序。本发明通过训练图片搜索模型,在待搜索的商品图像上进行框选并标注关键词数据作为模板索引,在电子商务网站上进行匹配检索,根据相似度比对算法的计算结果进行排序,推送给用户,提高了商品图像检索的准确率和检索效率。
Description
技术领域
本发明属于图像处理技术领域,特别是涉及一种移动电子商务图像搜索购物方法。
背景技术
目前,在图像识别的发展中,主要有三种识别方法:统计模式识别、结构模式识别、模糊模式识别。图像分割是图像处理中的一项关键技术,自20世纪70年代,其研究已经有几十年的历史,一直都受到人们的高度重视,至今借助于各种理论提出了数以千计的分割算法,而且这方面的研究仍然在积极地进行着。随着图像识别技术的逐渐成熟和逐步商业化,其在众多领域得到应用。而随着自媒体和信息网络的逐步发达,用户对于各种商业软件的使用方便性也提出更高的要求,将图像识别技术应用在为用户服务方面则会很好地解决这一问题。特别是,目前个人用户喜欢在网站上寻找明星或他人的穿着或物品,企业用于则需要在黄页或产品推广平台搜索日常看到的某个零部件,对于这些问题,有时用户无法准确描述其名字或特征,此时辅以图像识别就会很好的提升用户体验,不仅提升电子商务提供商的营业额,也同时提高用户的使用效率,从而实现双赢。
因此,需要一种移动电子商务图像搜索购物方法。
发明内容
本发明的目的在于提供一种移动电子商务图像搜索购物方法,通过训练图片搜索模型,在待搜索的商品图像上进行框选并标注关键词数据作为模板索引,在电子商务网站上进行匹配检索,根据相似度比对算法的计算结果进行排序,推送给用户,解决了现有的消费者网上购物文字搜索不便、影响用户消费体验的问题。
为解决上述技术问题,本发明是通过以下技术方案实现的:
本发明为一种移动电子商务图像搜索购物方法,包括如下步骤:
步骤S1:获取大量商品参考图像,采集每张图像的LBP特征向量并制作模板;
步骤S2:采用边缘检测算子来提取模块图像区域中特征部分的目标边缘图像并输入对应的关键目标词;
步骤S3:对边缘图像的特征区域图像进行二值化处理构建模板索引;
步骤S4:上传待搜索商品图像数据进行预处理;
步骤S5:用户框选预处理后的商品图像的特征部分以及对应的关键词输入至搜索模型;
步骤S6:对上传的图像数据、关键词数据以及特征部分数据信息进行深化对比分析;
步骤S7:在电子商务网站上进行匹配检索,根据相似度比对算法的计算结果进行排序,推送给用户。
作为一种优选的技术方案,所述步骤S1中,图像的LBP特征向量提取过程为:
步骤S11:将参考图像的重叠区域划分成多个子区域;
步骤S12:将每个子区域相邻的像素灰度值与其进行比较;
步骤S13:就算子每个子区域的统计直方图,并进行归一化处理;
步骤S14:将得到的每个子区域的统计直方图连接成一个特征向量。
作为一种优选的技术方案,所述步骤S3中,构建模板索引的具体步骤为:
步骤S31:对由多个信号组成的二值图像扫描行进行扫描;
步骤S32:建立自顶向下逐行、自左向右逐段的行程编码表;
步骤S33:行程编码表的每一行记录均标记存储对应的检索行号、起始列号和终止列号;
作为一种优选的技术方案,所述步骤S4中,预处理方式包括:图像颜色平衡处理、去除污渍和商品区域检测;
其中,所述图像颜色平衡吃力通过simplest color balance或gray world算法,用于提升图片质量;所述去除污渍通过掩膜重建算法,用于将图片进行降噪;所述商品区域检测通过overfeat或RCNN算法,用于统一商品图片的尺寸规则。
作为一种优选的技术方案,所述步骤S5中,搜索模型的训练流程采用步骤S1中获取的大量商品参考图像作为训练集来进行搜索模型的训练,具体流程如下:
步骤S51:经过不同预处理的图像训练组件ResNet,标签与原图像相同;
步骤S52:获取各个组件ResNet的特征层拼接到一起,对应原图像的标签;
步骤S53:添加若干层全连接层,训练人工神经网络;
步骤S54:根据整体模型分类表现,交替调整特征层和人工神经网络;
步骤S55:固定各部分的参数,将整体作为搜索模型。
作为一种优选的技术方案,所述步骤S7中,购物软件将搜索出的商品信息提取,并按照相应的排序方式展现出来,用户通过浏览购物软件中显示的产品信息,从而选择符合自己购买条件的商品,完成购物操作。
作为一种优选的技术方案,所述商品按照人气从高到低排序、人气从低到高排序、销量从高到低排序、销量从低到高排序、信用从高到低排序、信用从低到高排序、价格从高到低排序以及价格从低到高排序中的一种排序方法进行排序。
作为一种优选的技术方案,所述步骤S7中,相似度比对算法具体公式为:
式中,(i,j)表示待配准图像中与模板对应位置的子区域的左上角坐标;(x,y)为当前处理的点相对于模板原点的坐标;m和n为模板感兴趣区域的宽度和高度;fi,j(i,j)是左上角坐标为(i,j)的待配准子图像中坐标为(x,y)的像素灰度值,T(x,y)为模板中坐标值为(x,y)的像素点灰度值。
本发明具有以下有益效果:
本发明通过训练图片搜索模型,在待搜索的商品图像上进行框选并标注关键词数据作为模板索引,在电子商务网站上进行匹配检索,根据相似度比对算法的计算结果进行排序,推送给用户,提高了商品图像检索的准确率和检索效率。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种移动电子商务图像搜索购物方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本发明为一种移动电子商务图像搜索购物方法,包括一种移动电子商务图像搜索购物方法,包括如下步骤:
步骤S1:获取大量商品参考图像,采集每张图像的LBP特征向量并制作模板;
步骤S1中,图像的LBP特征向量提取过程为:
步骤S11:将参考图像的重叠区域划分成多个子区域;
步骤S12:将每个子区域相邻的像素灰度值与其进行比较;
步骤S13:就算子每个子区域的统计直方图,并进行归一化处理;
步骤S14:将得到的每个子区域的统计直方图连接成一个特征向量。
步骤S2:采用边缘检测算子来提取模块图像区域中特征部分的目标边缘图像并输入对应的关键目标词;
步骤S3:对边缘图像的特征区域图像进行二值化处理构建模板索引;
步骤S3中,构建模板索引的具体步骤为:
步骤S31:对由多个信号组成的二值图像扫描行进行扫描;
步骤S32:建立自顶向下逐行、自左向右逐段的行程编码表;
步骤S33:行程编码表的每一行记录均标记存储对应的检索行号、起始列号和终止列号;
步骤S4:上传待搜索商品图像数据进行预处理;
步骤S4中,预处理方式包括:图像颜色平衡处理、去除污渍和商品区域检测;
其中,图像颜色平衡吃力通过simplest color balance或gray world算法,用于提升图片质量;去除污渍通过掩膜重建算法,用于将图片进行降噪;商品区域检测通过overfeat或RCNN算法,用于统一商品图片的尺寸规则。
步骤S5:用户框选预处理后的商品图像的特征部分以及对应的关键词输入至搜索模型;
步骤S5中,搜索模型的训练流程采用步骤S1中获取的大量商品参考图像作为训练集来进行搜索模型的训练,具体流程如下:
步骤S51:经过不同预处理的图像训练组件ResNet,标签与原图像相同;
步骤S52:获取各个组件ResNet的特征层拼接到一起,对应原图像的标签;
步骤S53:添加若干层全连接层,训练人工神经网络;
步骤S54:根据整体模型分类表现,交替调整特征层和人工神经网络;
步骤S55:固定各部分的参数,将整体作为搜索模型。
步骤S6:对上传的图像数据、关键词数据以及特征部分数据信息进行深化对比分析;
步骤S7:在电子商务网站上进行匹配检索,根据相似度比对算法的计算结果进行排序,推送给用户。
步骤S7中,购物软件将搜索出的商品信息提取,并按照相应的排序方式展现出来,用户通过浏览购物软件中显示的产品信息,从而选择符合自己购买条件的商品,完成购物操作。商品按照人气从高到低排序、人气从低到高排序、销量从高到低排序、销量从低到高排序、信用从高到低排序、信用从低到高排序、价格从高到低排序以及价格从低到高排序中的一种排序方法进行排序。
步骤S7中,相似度比对算法具体公式为:
式中,(i,j)表示待配准图像中与模板对应位置的子区域的左上角坐标;(x,y)为当前处理的点相对于模板原点的坐标;m和n为模板感兴趣区域的宽度和高度;fi,j(i,j)是左上角坐标为(i,j)的待配准子图像中坐标为(x,y)的像素灰度值,T(x,y)为模板中坐标值为(x,y)的像素点灰度值。
实施例一
训练搜索模型,采集大量商品图像,对图像进行LBP特征向量提取并制作模板,将参考图像的重叠区域划分成多个子区域;将每个子区域相邻的像素灰度值与其进行比较;就算子每个子区域的统计直方图,并进行归一化处理;将得到的每个子区域的统计直方图连接成一个特征向量。采用边缘检测算子来提取模块图像区域中特征部分的目标边缘图像并输入对应的关键目标词,将选择的图像区域与关键目标词进行绑定。
建立模板索引,通过对由多个信号组成的二值图像扫描行进行扫描;建立自顶向下逐行、自左向右逐段的行程编码表;行程编码表的每一行记录均标记存储对应的检索行号、起始列号和终止列号;上传待搜索商品图像数据进行预处理。
实施例二
用户在进行商品图像搜索时,由于获取的图片方式不同,可以是手机直接拍摄,也可以直接从网上找的商品图片;所以待检索的图片往往不够清晰,需要进行处理;
处理时,采用图像颜色平衡吃力通过simplest color balance或gray world算法,用于提升图片质量;去除污渍通过掩膜重建算法,用于将图片进行降噪;商品区域检测通过overfeat或RCNN算法,用于统一商品图片的尺寸规则。
将处理清晰图片进行统一尺寸,用户针对图片自己画出框体并对框体内容进行文字标记,如在人物图片上框选出想要购买的“背包”并标记“背包”,在背包图片中框选出背包上的“图标”并标记“logo”等等情况,将框选标记后的图片上传至搜索模型,并将“背包”和“logo”作为模板的索引,来提高检索的效率和准确率。
系统根据对上传的图像数据、关键词数据以及特征部分数据信息进行深化对比分析;在电子商务网站上进行匹配检索,根据相似度比对算法的计算结果进行排序,推送给用户。
购物软件将搜索出的商品信息提取,并按照相应的排序方式展现出来,用户通过浏览购物软件中显示的产品信息,从而选择符合自己购买条件的商品,完成购物操作。商品按照人气从高到低排序、人气从低到高排序、销量从高到低排序、销量从低到高排序、信用从高到低排序、信用从低到高排序、价格从高到低排序以及价格从低到高排序中的一种排序方法进行排序,方便用户快速找到需要商品购物链接。
值得注意的是,上述系统实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
另外,本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种移动电子商务图像搜索购物方法,其特征在于,包括如下步骤:
步骤S1:获取大量商品参考图像,采集每张图像的LBP特征向量并制作模板;
步骤S2:采用边缘检测算子来提取模块图像区域中特征部分的目标边缘图像并输入对应的关键目标词;
步骤S3:对边缘图像的特征区域图像进行二值化处理构建模板索引;
步骤S4:上传待搜索商品图像数据进行预处理;
步骤S5:用户框选预处理后的商品图像的特征部分以及对应的关键词输入至搜索模型;
步骤S6:对上传的图像数据、关键词数据以及特征部分数据信息进行深化对比分析;
步骤S7:在电子商务网站上进行匹配检索,根据相似度比对算法的计算结果进行排序,推送给用户。
2.根据权利要求1所述的一种移动电子商务图像搜索购物方法,其特征在于,所述步骤S1中,图像的LBP特征向量提取过程为:
步骤S11:将参考图像的重叠区域划分成多个子区域;
步骤S12:将每个子区域相邻的像素灰度值与其进行比较;
步骤S13:就算子每个子区域的统计直方图,并进行归一化处理;
步骤S14:将得到的每个子区域的统计直方图连接成一个特征向量。
3.根据权利要求1所述的一种移动电子商务图像搜索购物方法,其特征在于,所述步骤S3中,构建模板索引的具体步骤为:
步骤S31:对由多个信号组成的二值图像扫描行进行扫描;
步骤S32:建立自顶向下逐行、自左向右逐段的行程编码表;
步骤S33:行程编码表的每一行记录均标记存储对应的检索行号、起始列号和终止列号。
4.根据权利要求1所述的一种移动电子商务图像搜索购物方法,其特征在于,所述步骤S4中,预处理方式包括:图像颜色平衡处理、去除污渍和商品区域检测;
其中,所述图像颜色平衡吃力通过simplest color balance或gray world算法,用于提升图片质量;所述去除污渍通过掩膜重建算法,用于将图片进行降噪;所述商品区域检测通过overfeat或RCNN算法,用于统一商品图片的尺寸规则。
5.根据权利要求1所述的一种移动电子商务图像搜索购物方法,其特征在于,所述步骤S5中,搜索模型的训练流程采用步骤S1中获取的大量商品参考图像作为训练集来进行搜索模型的训练,具体流程如下:
步骤S51:经过不同预处理的图像训练组件ResNet,标签与原图像相同;
步骤S52:获取各个组件ResNet的特征层拼接到一起,对应原图像的标签;
步骤S53:添加若干层全连接层,训练人工神经网络;
步骤S54:根据整体模型分类表现,交替调整特征层和人工神经网络;
步骤S55:固定各部分的参数,将整体作为搜索模型。
6.根据权利要求1所述的一种移动电子商务图像搜索购物方法,其特征在于,所述步骤S7中,购物软件将搜索出的商品信息提取,并按照相应的排序方式展现出来,用户通过浏览购物软件中显示的产品信息,从而选择符合自己购买条件的商品,完成购物操作。
7.根据权利要求7所述的一种移动电子商务图像搜索购物方法,其特征在于,所述商品按照人气从高到低排序、人气从低到高排序、销量从高到低排序、销量从低到高排序、信用从高到低排序、信用从低到高排序、价格从高到低排序以及价格从低到高排序中的一种排序方法进行排序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210803948.5A CN115186165A (zh) | 2022-07-07 | 2022-07-07 | 一种移动电子商务图像搜索购物方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210803948.5A CN115186165A (zh) | 2022-07-07 | 2022-07-07 | 一种移动电子商务图像搜索购物方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115186165A true CN115186165A (zh) | 2022-10-14 |
Family
ID=83517965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210803948.5A Pending CN115186165A (zh) | 2022-07-07 | 2022-07-07 | 一种移动电子商务图像搜索购物方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115186165A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113128927A (zh) * | 2021-03-23 | 2021-07-16 | 广东便捷神科技股份有限公司 | 基于双摄像头无人零售终端机库损的优化方法 |
-
2022
- 2022-07-07 CN CN202210803948.5A patent/CN115186165A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113128927A (zh) * | 2021-03-23 | 2021-07-16 | 广东便捷神科技股份有限公司 | 基于双摄像头无人零售终端机库损的优化方法 |
CN113128927B (zh) * | 2021-03-23 | 2023-12-22 | 广东便捷神科技股份有限公司 | 基于双摄像头无人零售终端机库损的优化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107861972B (zh) | 一种用户录入商品信息后显示商品全结果的方法及设备 | |
EP3267362B1 (en) | Machine learning image processing | |
US10032072B1 (en) | Text recognition and localization with deep learning | |
US10445569B1 (en) | Combination of heterogeneous recognizer for image-based character recognition | |
US9317778B2 (en) | Interactive content generation | |
Lin et al. | Rapid clothing retrieval via deep learning of binary codes and hierarchical search | |
US9171013B2 (en) | System and method for providing objectified image renderings using recognition information from images | |
CN100578508C (zh) | 交互式图像搜索系统和方法 | |
Zagoris et al. | A document image retrieval system | |
Ullah et al. | Image-based service recommendation system: A JPEG-coefficient RFs approach | |
Wu et al. | An intelligent self-checkout system for smart retail | |
US20110063468A1 (en) | Method and apparatus for retrieving label | |
KR101835333B1 (ko) | 얼굴 인식 서비스 제공 방법 | |
CN102831200A (zh) | 一种基于图像文字识别的商品推送方法和装置 | |
CN108492160A (zh) | 信息推荐方法和装置 | |
EP1889207A2 (en) | System and method for enabling the use of captured images through recognition | |
CN108717436B (zh) | 一种基于显著性检测的商品目标快速检索方法 | |
Gundimeda et al. | An automated computer vision system for extraction of retail food product metadata | |
Yamamoto et al. | PBG at the NTCIR-13 Lifelog-2 LAT, LSAT, and LEST Tasks. | |
CN115186165A (zh) | 一种移动电子商务图像搜索购物方法 | |
CN112508114A (zh) | 一种智能服装推荐系统及方法 | |
Hwang et al. | Enabling product recognition and tracking based on text detection for mobile augmented reality | |
Islam et al. | Ornament image retrieval using multimodal fusion | |
CN111159456A (zh) | 基于深度学习与传统特征的多尺度服装检索方法及系统 | |
Kuo et al. | Feature learning with rank-based candidate selection for product search |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |