CN109543057A - 基于智能收银台的商品识别方法、装置、设备及存储介质 - Google Patents

基于智能收银台的商品识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109543057A
CN109543057A CN201811383214.6A CN201811383214A CN109543057A CN 109543057 A CN109543057 A CN 109543057A CN 201811383214 A CN201811383214 A CN 201811383214A CN 109543057 A CN109543057 A CN 109543057A
Authority
CN
China
Prior art keywords
commodity
identified
merchandise news
image
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811383214.6A
Other languages
English (en)
Inventor
张量
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Comma Smart Retail Co Ltd
Original Assignee
Guangzhou Comma Smart Retail Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Comma Smart Retail Co Ltd filed Critical Guangzhou Comma Smart Retail Co Ltd
Priority to CN201811383214.6A priority Critical patent/CN109543057A/zh
Publication of CN109543057A publication Critical patent/CN109543057A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于智能收银台的商品识别方法,包括:将待识别商品的图像信息输入目标Siamese网络,提取特征信息;利用局部敏感哈希算法确定特征信息的哈希值,与图像库的哈希表进行检索,确定与待识别商品对应的预定数量个相似的商品信息进行展示。可见,在本方案中,通过Siamese网络和局部敏感哈希算法相结合来选择相似商品信息的方式,可以提高相似商品的检索速度,并且通过将预定数量个商品信息进行展示的方式,可以向用户选择正确商品信息的机会,给予用户使用智能收银台的纠错体验,提高智能收银台的识别准确度。本发明还公开了一种基于智能收银台的商品识别装置、设备及计算机可读存储介质,同样能实现上述技术效果。

Description

基于智能收银台的商品识别方法、装置、设备及存储介质
技术领域
本发明涉及图片识别技术领域,更具体地说,涉及一种基于智能收银台的商品识别方法、装置、设备及计算机可读存储介质。
背景技术
目前,随着互联网技术的发展,人们对生活的体验感急需提升,无人超市、无人便利店、三公里配送等等新零售逐渐兴起,成为了新的风口,相应的,人脸识别门禁、店内姿态识别、无人支付等等也成为需要重点发展和应用的新型技术。无人支付的智能收银是核心技术,现市场主要有五种收银方式:1)基于无人货柜的收货方式。2)基于智能收银台的收货方式。其中,基于智能收银台的收货方式中,具体包括以下三种方式:①商品逐个扫二维码;②RFID式;③基于机器视觉识别,手势、人脸、扫码支付式。智能收银台的三种方式中,最方便、成本最低的商品识别支付方式为基于视觉识别的支付方式,但基于零售店内现场环境的影响,现市场所有基于视觉的智能收银台都不能达到100%的准确识别效果,识别效果严重影响购物支付体验。
因此,如何提高智能收银台的识别准确度,是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种基于智能收银台的商品识别方法、装置、设备及计算机可读存储介质,以实现提高智能收银台的识别准确度。
为实现上述目的,本发明实施例提供了如下技术方案:
一种基于智能收银台的商品识别方法,包括:
获取待识别商品的图像信息;
将所述图像信息输入目标Siamese网络,通过所述目标Siamese网络提取所述待识别商品的特征信息;
利用局部敏感哈希算法确定所述特征信息的哈希值,并与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息;
将所述预定数量个相似的商品信息进行展示,以使用户选择与所述待识别商品对应的商品信息。
其中,所述将所述预定数量个相似的商品信息进行展示之前,还包括:
接收相似商品展示指令。
其中,所述获取待识别商品的图像信息,包括:
获取整体图像信息;
从所述整体图像信息中检测待识别商品,并从所述整体图像信息中截取与所述待识别商品对应的图像信息。
其中,所述图像库的哈希表生成方法包括:
将图像库中的每个图片输入所述目标Siamese网络,通过所述目标Siamese网络提取所述图像库中的每个图片的特征信息;
根据每个图片的特征信息及局部敏感哈希算法创建所述哈希表;所述哈希表中记载了与每个图片的特征信息对应的哈希值。
其中,所述与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息,包括:
通过K邻近法、所述图像库的哈希表和所述特征信息的哈希值,从所述图像库中选择与所述待识别商品最相似的K个商品信息。
一种基于智能收银台的商品识别装置,包括:
图像信息获取单元,用于获取待识别商品的图像信息;
特征信息提取单元,用于将所述图像信息输入目标Siamese网络,通过所述目标Siamese网络提取所述待识别商品的特征信息;
商品信息确定单元,用于利用局部敏感哈希算法确定所述特征信息的哈希值,并与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息;
商品信息展示单元,用于将所述预定数量个相似的商品信息进行展示,以使用户选择与所述待识别商品对应的商品信息。
其中,本方案还包括:
展示指令接收单元,用于接收相似商品展示指令。
其中,本方案还包括哈希表创建单元;所述哈希表创建单元包括:
特征信息提取子单元,用于将图像库中的每个图片输入所述目标Siamese网络,通过所述目标Siamese网络提取所述图像库中的每个图片的特征信息;
哈希表创建子单元,用于根据每个图片的特征信息及局部敏感哈希算法创建所述哈希表;所述哈希表中记载了与每个图片的特征信息对应的哈希值。
一种基于智能收银台的商品识别设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述基于智能收银台的商品识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于智能收银台的商品识别方法的步骤。
通过以上方案可知,本发明实施例提供的一种基于智能收银台的商品识别方法,包括:获取待识别商品的图像信息;将所述图像信息输入目标Siamese网络,通过所述目标Siamese网络提取所述待识别商品的特征信息;利用局部敏感哈希算法确定所述特征信息的哈希值,并与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息;将所述预定数量个相似的商品信息进行展示,以使用户选择与所述待识别商品对应的商品信息。
可见,在本方案中,通过Siamese网络和局部敏感哈希算法相结合来选择相似商品信息的方式,可以提高相似商品的检索速度,并且通过将预定数量个商品信息进行展示的方式,可以向用户选择正确商品信息的机会,给予用户使用智能收银台的纠错体验,提高智能收银台的识别准确度。本发明还公开了一种基于智能收银台的商品识别装置、设备及计算机可读存储介质,同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种基于智能收银台的商品识别方法流程示意图;
图2为本发明实施例公开的双支的Siamese网络结构图;
图3为本发明实施例公开的Siamese网络训练流程示意图;
图4为本发明实施例公开的特征s1的提取流程示意图;
图5为本发明实施例公开的一种图像库特征提取方法示意图;
图6为本发明实施例公开的基于Siamese网络和LSH相结合的图像检索流程示意图;
图7为本发明实施例公开的一种相似图片检索流程示意图;
图8为本发明实施例公开的基于Siamese网络与LSH结合的图像检索的人机交互智能识别整体示意图;
图9为本发明实施例公开的一种基于智能收银台的商品识别装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种基于智能收银台的商品识别方法、装置、设备及计算机可读存储介质,以实现提高智能收银台的识别准确度。
参见图1,本发明实施例提供的一种基于智能收银台的商品识别方法,包括:
S101、获取待识别商品的图像信息;
其中,所述获取待识别商品的图像信息,包括:
获取整体图像信息;从所述整体图像信息中检测待识别商品,并从所述整体图像信息中截取与所述待识别商品对应的图像信息。
具体的,在本实施例中的待识别商品的图像信息,具体是客户把所购买的商品放置在智能识别收银台上,从摄像头处获取包括待识别商品及背景的整体图像信息,该整体图像信息中可能包括多个待识别商品,为了对待识别商品进行逐一识别,需要通过目标检测算法从整体图像信息中进行检测,对整体图像信息中的商品进行画框、分类等操作,把画出框的每个商品截取出来,并进行预处理操作后,便是本实施例中的待识别商品的图像信息。
需要说明的是,本实施例中所有的图像输入目标Siamese网络之前,均需要进行预处理操作,该预处理操作可以是将原图片进行尺寸统一及归一化处理,该尺寸统一可以是将尺寸统一至Siamese网络输入大小224*224;并且,本实施例中的目标检测算法可以为基于深度学习的图像分类算法faster-
inception v2,也可以为其他算法,只要能实现从整体图像信息中截取与待识别商品对应的图像信息便可,在此并不具体限定。
S102、将所述图像信息输入目标Siamese网络,通过所述目标Siamese网络提取所述待识别商品的特征信息;
需要说明的是,目前图像检索主要分两部分,一部分为:基于标签的图像检索,主要通过其关键字和标题等文字信息检索;另一部分为:基于内容的图像的检索,主要通过提取图像的各种特征,然后匹配图像库中图像的特征,达到检索目的。其中,基于文字的图像检索,使用场景有限,而且需要大量人力标签且不一定能够准确描述,所以基于内容的图像检索就成了业界内研究的重心。在2012年深度学习未重视之前,都是就目标图像设计人工手工特征,此类特征为基础特征(颜色、纹理、形状等)具有局限性,且不能满足现实大量图像的检索的速度和准确度需求,所以深度学习是研究重点。
研究者后来就设计了一种Siamese网络,专门计算图像之间的相似性,但单纯的使用Siamese网络相当于两两图片对比,属于遍历图像库,因而检索时间慢。随着科技技术的发展,摄像电子设备琳琅满目,存储的图像呈几何式增长,从图像库中检索出与目标图像相似的难度(速度和准确度)与日俱增。因此在本实施例中,提出了一种基于Siamese网络和局部敏感哈希(Locality-Sensitive Hashing,LSH)相结合的图像检索方法,使用该方法之前,需要训练一个只有一个全连接的Siamese网络,该Siamese网络即为本实施例中的目标Siamese网络,在此提供一种目标Siamese网络的训练方法。
首选需要构建Siamese网络结构,参见图2,为本发明实施例提供的双支的Siamese网络结构图,通过该图可以看出,本发明的Siamese网络为传统的双支结构,两支共用参数。考虑到计算资源问题,本实施例中构建的Siamese网络的基础骨架为Alexnet,当然也可以用vgg、resnet等网络。在基础骨架的最后一层设计为全连接层(Fully Connected Layer,FC),这里主要是为了融合特征并且将特征维度降为128维,当然,128仅仅为神经元的个数,可根据具体需求自行设定。然后利用同类距离小,异类距离大的交叉熵损失,训练网络模型。
进一步,Siamese网络构建完成后,需要准备训练数据,由于Siamese网络是双输入结构,所以输入为图像对,其相似为同类1为标签,不相似为异类0为标签,也分别被称为正负样本。所有图片进行预处理,即:都统一输入尺寸大小,例如:224*224的大小,并且将所有的像素除以255归一化,打乱所有的图像对,并输入进上述构建的Siamese网络。
参见图3,为本发明实施例提供的Siamese网络训练流程示意图,将训练图片输入进网络,通过损失函数,让同类之间距离小,异类之间距离大。对损失函数求偏导,反馈逐层调节每一层的参数权重,循环调节,使得最终的损失不断下降,收敛到一个比较小的值。此时训练结束,此时的权重参数就构成了一个model。在测试过程中,倘若测试两张图片的相似性,那就可以直接调用双支的Siamese网络结构,和刚刚训练的好model,得到最终的结果,该结果为相似或者不相似的结果;倘若只是求其图片的特征,随着网络的越深,特征语义层度越高,所以本实施例采用最后一层全连接的特征。
在S102中,将图像信息输入上述已经训练好的目标Siamese网络,把目标Siamese网络最后一层的全连接层得到的128维特征,作为该图片信息的特征信息,该特征信息也是上述待识别商品的特征信息,在此可用s1进行表示。
可以理解的是,如果将S101及S102作为一个整体来说,参见图4,为本发明实施例提供的特征s1的提取流程示意图,也即:用户将商品放置在收银台后,获取收银台拍摄的图片,通过目标检测算法检测图片中的商品,对商品进行画框,并截出画框的每个商品后,输入目标Siamese网络,以提取待识别商品的特征s1。
S103、利用局部敏感哈希算法确定所述特征信息的哈希值,并与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息;
具体的,如果图像数据库很大,单纯应用Siamese网络作两两图像比较,遍历速度较慢,因此本方案将Siamese网络和LSH相结合,可以进行大量级的图像检索,速度快且准确度高。因此,在本实施例中,需要预先生成图像库的哈希表,该哈希表的生成方法包括:将图像库中的每个图片输入目标Siamese网络,通过目标Siamese网络提取图像库中的每个图片的特征信息;根据每个图片的特征信息及局部敏感哈希算法创建哈希表;哈希表中记载了与每个图片的特征信息对应的哈希值。
需要说明的是,在将Siamese网络和LSH相结合进行图像检索之前,需要按照与S102相似的步骤对图像库中的图像进行特征提取,参见图5,为本实施例提供的一种图像库特征提取方法,通过图5可以看出,需要将图像库中的图片输入已经训练好的目标Siamese网络,进行特征提取,并把图像库中的每个图片的特征存储在数据库中。
将图像库中的每个图片输入目标Siamese网络时,同样需要对图像库中的每个图片进行预处理,例如:进行统一尺寸和归一化处理,处理后经过单支训练好的目标Siamese网络,把网络最后一层的全连接层得到的128维特征,作为图片的检索特征,以矩阵形式存储在数据库中;其中,矩阵中的每行即为图像库中一张图片特征。进一步,将存储在数据库中的图像库中的特征用局部敏感哈希(LSH)处理,映射到哈希表中,并建立哈希表中每个哈希值与对应的图片之间的索引。
参见图6,为本实施例提供的基于Siamese网络和LSH相结合的图像检索流程示意图,通过图6可以看出,将每个待识别商品的特征信息S1与进行局部敏感哈希处理后的图像库的特征S进行检索后,便可求得预定数量个最相似的图像,具体来说,是计算待识别商品的特征s1的哈希值后,映射到对应的哈希表中,从而得到最相似的图片。
S104、将所述预定数量个相似的商品信息进行展示,以使用户选择与所述待识别商品对应的商品信息。
需要说明的是,通过上述步骤求得的预定数量个相似的商品信息,是根据相似度从高到底的顺序选择的预定数量个商品信息;在选取之后,需要将相似的商品信息进行展示,以让用户从中选择正确的商品信息。
具体来说,通过上述步骤确定的预定数量个相似的商品信息,是根据智能收银台所拍摄的照片从图像库中检索出的最相似的图片;并且,该预定数量可根据预先设定的规则进行动态变化,该预先设定的规则可以至少包括如下规则:如果检测出的相似的商品信息只有1个是最相似的,其他商品均相差较大,这时可只展示这1个商品信息便可,也就是这时的数量为1个;如果检索出的相似的商品信息的数量为多个,这时可显示预定数量个商品信息,这时数量便大于1个。
例如:用户将购买的巧克力、矿泉水放在智能收银台上后,智能收银台拍摄出包括巧克力、矿泉水的整体图像信息,并从整体图像信息中检测待识别商品,也即截取出分别包括巧克力和矿泉水的图像信息1和图像信息2,将图像信息1输入目标Siamese网络得到特征信息1,通过局部敏感哈希算法确定特征信息1的哈希值,并与图像库的哈希表进行检索,从图像库中检索出与图像信息1最相似的商品信息,该商品信息即为图像库中存储的与巧克力相对应的图像,并显示在收银台的展示界面,以供用户进行选择或者确认;图像信息2同样经过上述步骤,处理过程与图像信息1相同,在此不再赘述。
可以看出,本方案通过将Siamese网络和LSH相结合的商品识别方法,可以节省计算资源,提高识别的速度和准确度,并且应用在基于机器视觉的智能识别收银台上,可提供人机交互的方式,在不影响识别速度的基础上,提高智能识别收银台识别准确度。
基于上述实施例,在本实施例中,所述将所述预定数量个相似的商品信息进行展示之前,还包括:接收相似商品展示指令。
需要说明的是,本实施例提供的这种基于智能收银台的商品识别方法,可以单独使用,也可以与其他商品识别方法相结合使用;如果单独使用,这时可在S103检索出预定数量个相似的商品信息后,便进行展示;如果与其他商品识别方法相结合使用,也就是说,默认情况下,可通过其他的检测方式识别与待检测商品最相似的商品进行展示,如果收银台识别错误的时候,这时可提供给用户一个获取相似商品的选项,如果用户点击了该选项,便将执行S104,展示通过S101-S103步骤所识别出的预定数量个相似的商品信息,让用户进行选择。
因此在本实施例中,在将预定数量个相似的商品信息进行展示之前,只有接受到用户触发的相似商品展示指令之后,才可将预定数量个相似的商品信息进行展示。当然,如果与其他商品识别方法相结合使用,那么S101-S103可以在拍摄到整体图像信息之后便执行,只不过不执行S104,也即:先确定预定数量个相似的商品信息,如果接收相似商品展示指令,则进行展示,否则不展示;同样的,也可以在接收到相似商品展示指令之后,再执行
S101-S104,由于本方案的检索速度很快,就算接收到商品展示指令之后在执行S101-S104,也不会给用户带来不好的使用体验。
可以看出,本方案将Siamese网络与LSH相结合,不仅能够提取出识别度高的高层语义特征,还能利用大数据搜索方式(LSH)加快检索速度;将其运用到基于机器视觉的智能识别收银台上,当商品识别错误的时候,可展示出识别的预定数量个相似商品,以供客户自己选择,在客户利用智能收银台支付的时候,这整个过程给予其全新的纠错体验,准确度高,速度快。
基于上述任意方法实施例,在本实施例中,与图像库的哈希表进行检索,确定与待识别商品对应的预定数量个相似的商品信息,具体包括:通过K邻近法、图像库的哈希表和特征信息的哈希值,从图像库中选择与所述待识别商品最相似的K个商品信息。
具体的,参见图7,为本实施例提供的一种相似图片检索流程示意图,通过图7可以看出,将数据库中所有商品图片的特征S经过LSH处理映射到哈希表中建立索引,然后把待检索的特征信息s1经过LSH哈希函数计算哈希值,用K邻近算法在对应的哈希表中查找K个商品信息,这K个商品信息就是预定数量个相似的商品信息。如果接收到相似商品展示指令,则将这K个商品信息反馈至收银台,防止识别错误时候,可供客户人机交互式的选择正确的商品。
参见图8,为本实施例提供的基于Siamese网络与LSH结合的图像检索的人机交互智能识别整体示意图;通过图8可以看出,客户把所购买的商品都放置在智能识别收银台上,目标检测算法从摄像头处获取图像,进行识别检测,对其中的商品画框、分类;把画出框的每个商品截取出来,进行预处理,并将其输入进之前训练好的单支目标Siamese网络,提取全连接层128维的特征s1;进一步,对图像库中的每一个图片进行预处理,该图像库中包括商店里面所有商品的图片;之后依次将其输入之前训练好的单支目标Siamese网络中,依次提取全连接层128维的特征s;
将数据库中所有商品图片的特征s经过LSH处理映射到哈希表中建立索引,然后把截取出的商品图片的特征s1经过LSH哈希函数计算哈希值,用K邻近在对应的哈希表中查找K个商品;并K个商品反馈回收银台,防止识别错误时候,可供客户人机交互式的选择正确的商品。
可以看出,由于商店里面商品是有限的,因此本方案构建的Siamese网络考虑到计算资源问题,所构建的网络结构相对简单,参数量少,但依旧很准确。同时也考虑了在图像库中检索图片的速度问题,单纯用Siamese网络是秒级检索,所以在检索的时候用到大数据检索方法局部敏感哈希(LSH)进行检索,可将速度降到毫秒级。又基于智能识别收银台使用的目标检测算法并不能100%的识别准确,所以可将Siamese网络加LSH检索方式嵌入其中运用,提供一种人机交互的方式纠错,全新的购物方式完全不影响客户购物的体验,且会有一定的新鲜感。
下面对本发明实施例提供的商品识别装置进行介绍,下文描述的商品识别装置与上文描述的商品识别方法可以相互参照。
参见图9,本发明实施例提供的一种基于智能收银台的商品识别装置,包括:
图像信息获取单元100,用于获取待识别商品的图像信息;
特征信息提取单元200,用于将所述图像信息输入目标Siamese网络,通过所述目标Siamese网络提取所述待识别商品的特征信息;
商品信息确定单元300,用于利用局部敏感哈希算法确定所述特征信息的哈希值,并与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息;
商品信息展示单元400,用于将所述预定数量个相似的商品信息进行展示,以使用户选择与所述待识别商品对应的商品信息。
其中,本方案还包括:
展示指令接收单元,用于接收相似商品展示指令。
其中,本方案还包括哈希表创建单元;所述哈希表创建单元包括:
特征信息提取子单元,用于将图像库中的每个图片输入所述目标Siamese网络,通过所述目标Siamese网络提取所述图像库中的每个图片的特征信息;
哈希表创建子单元,用于根据每个图片的特征信息及局部敏感哈希算法创建所述哈希表;所述哈希表中记载了与每个图片的特征信息对应的哈希值。
其中,图像信息获取单元100包括:
整体图像获取子单元,用于获取整体图像信息;
图像信息截取子单元,用于从所述整体图像信息中检测待识别商品,并从所述整体图像信息中截取与所述待识别商品对应的图像信息。
其中,商品信息确定单元300,具体用于利用局部敏感哈希算法确定所述特征信息的哈希值,通过K邻近法、所述图像库的哈希表和所述特征信息的哈希值,从所述图像库中选择与所述待识别商品最相似的K个商品信息。
本发明实施例还提供了一种基于智能收银台的商品识别设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述方法实施例中基于智能收银台的商品识别方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法实施例中基于智能收银台的商品识别方法的步骤。
其中,该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于智能收银台的商品识别方法,其特征在于,包括:
获取待识别商品的图像信息;
将所述图像信息输入目标Siamese网络,通过所述目标Siamese网络提取所述待识别商品的特征信息;
利用局部敏感哈希算法确定所述特征信息的哈希值,并与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息;
将所述预定数量个相似的商品信息进行展示,以使用户选择与所述待识别商品对应的商品信息。
2.根据权利要求1所述的商品识别方法,其特征在于,所述将所述预定数量个相似的商品信息进行展示之前,还包括:
接收相似商品展示指令。
3.根据权利要求1所述的商品识别方法,其特征在于,所述获取待识别商品的图像信息,包括:
获取整体图像信息;
从所述整体图像信息中检测待识别商品,并从所述整体图像信息中截取与所述待识别商品对应的图像信息。
4.根据权利要求1至3中任意一项所述的商品识别方法,其特征在于,所述图像库的哈希表生成方法包括:
将图像库中的每个图片输入所述目标Siamese网络,通过所述目标Siamese网络提取所述图像库中的每个图片的特征信息;
根据每个图片的特征信息及局部敏感哈希算法创建所述哈希表;所述哈希表中记载了与每个图片的特征信息对应的哈希值。
5.根据权利要求4所述的商品识别方法,其特征在于,所述与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息,包括:
通过K邻近法、所述图像库的哈希表和所述特征信息的哈希值,从所述图像库中选择与所述待识别商品最相似的K个商品信息。
6.一种基于智能收银台的商品识别装置,其特征在于,包括:
图像信息获取单元,用于获取待识别商品的图像信息;
特征信息提取单元,用于将所述图像信息输入目标Siamese网络,通过所述目标Siamese网络提取所述待识别商品的特征信息;
商品信息确定单元,用于利用局部敏感哈希算法确定所述特征信息的哈希值,并与图像库的哈希表进行检索,确定与所述待识别商品对应的预定数量个相似的商品信息;
商品信息展示单元,用于将所述预定数量个相似的商品信息进行展示,以使用户选择与所述待识别商品对应的商品信息。
7.根据权利要求6所述的商品识别装置,其特征在于,还包括:
展示指令接收单元,用于接收相似商品展示指令。
8.根据权利要求6或7所述的商品识别装置,其特征在于,还包括哈希表创建单元;所述哈希表创建单元包括:
特征信息提取子单元,用于将图像库中的每个图片输入所述目标Siamese网络,通过所述目标Siamese网络提取所述图像库中的每个图片的特征信息;
哈希表创建子单元,用于根据每个图片的特征信息及局部敏感哈希算法创建所述哈希表;所述哈希表中记载了与每个图片的特征信息对应的哈希值。
9.一种基于智能收银台的商品识别设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述基于智能收银台的商品识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于智能收银台的商品识别方法的步骤。
CN201811383214.6A 2018-11-20 2018-11-20 基于智能收银台的商品识别方法、装置、设备及存储介质 Pending CN109543057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811383214.6A CN109543057A (zh) 2018-11-20 2018-11-20 基于智能收银台的商品识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811383214.6A CN109543057A (zh) 2018-11-20 2018-11-20 基于智能收银台的商品识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109543057A true CN109543057A (zh) 2019-03-29

Family

ID=65848760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811383214.6A Pending CN109543057A (zh) 2018-11-20 2018-11-20 基于智能收银台的商品识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109543057A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523910A (zh) * 2020-04-17 2020-08-11 济南浪潮高新科技投资发展有限公司 一种基于Siamese Network的茶砖识别方法及系统
CN112464684A (zh) * 2020-12-03 2021-03-09 贵州波罗丹科技有限公司 一种超市自动打价系统及方法
CN113344012A (zh) * 2021-07-14 2021-09-03 马上消费金融股份有限公司 物品识别方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN106202362A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 图像推荐方法和图像推荐装置
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
CN107273900A (zh) * 2016-04-07 2017-10-20 东芝泰格有限公司 图像处理装置及其控制方法、终端设备
US20180060684A1 (en) * 2016-08-31 2018-03-01 Beijing University Of Posts And Telecommunications Progressive vehicle searching method and device
CN108230308A (zh) * 2017-12-29 2018-06-29 武汉璞华大数据技术有限公司 一种广告单校对方法、装置和设备
CN108446661A (zh) * 2018-04-01 2018-08-24 桂林电子科技大学 一种深度学习并行化人脸识别方法
CN108776770A (zh) * 2018-04-24 2018-11-09 深圳奥比中光科技有限公司 一种智能购物车的信息处理方法及智能购物车

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
CN105095435A (zh) * 2015-07-23 2015-11-25 北京京东尚科信息技术有限公司 一种图像高维特征的相似比较方法及装置
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN107273900A (zh) * 2016-04-07 2017-10-20 东芝泰格有限公司 图像处理装置及其控制方法、终端设备
CN106202362A (zh) * 2016-07-07 2016-12-07 Tcl集团股份有限公司 图像推荐方法和图像推荐装置
CN106227851A (zh) * 2016-07-29 2016-12-14 汤平 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法
US20180060684A1 (en) * 2016-08-31 2018-03-01 Beijing University Of Posts And Telecommunications Progressive vehicle searching method and device
CN106909625A (zh) * 2017-01-20 2017-06-30 清华大学 一种基于Siamese网络的图像检索方法及系统
CN108230308A (zh) * 2017-12-29 2018-06-29 武汉璞华大数据技术有限公司 一种广告单校对方法、装置和设备
CN108446661A (zh) * 2018-04-01 2018-08-24 桂林电子科技大学 一种深度学习并行化人脸识别方法
CN108776770A (zh) * 2018-04-24 2018-11-09 深圳奥比中光科技有限公司 一种智能购物车的信息处理方法及智能购物车

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523910A (zh) * 2020-04-17 2020-08-11 济南浪潮高新科技投资发展有限公司 一种基于Siamese Network的茶砖识别方法及系统
CN112464684A (zh) * 2020-12-03 2021-03-09 贵州波罗丹科技有限公司 一种超市自动打价系统及方法
CN113344012A (zh) * 2021-07-14 2021-09-03 马上消费金融股份有限公司 物品识别方法、装置及设备

Similar Documents

Publication Publication Date Title
TWI623842B (zh) Image search and method and device for acquiring image text information
US11080918B2 (en) Method and system for predicting garment attributes using deep learning
TWI616834B (zh) Network product recommendation method and device
WO2019194986A1 (en) Automated extraction of product attributes from images
CN104573130B (zh) 基于群体计算的实体解析方法及装置
CN107169106B (zh) 视频检索方法、装置、存储介质及处理器
CN104537341B (zh) 人脸图片信息获取方法和装置
AU2018202767B2 (en) Data structure and algorithm for tag less search and svg retrieval
CN109543057A (zh) 基于智能收银台的商品识别方法、装置、设备及存储介质
US11475500B2 (en) Device and method for item recommendation based on visual elements
CN108985285B (zh) 一种基于机器识别的商品专利获取方法及系统
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
CN111026967B (zh) 一种获得用户兴趣标签的方法、装置、设备和介质
CN109712324A (zh) 一种自动售货机图像识别方法、售货方法及自动售货设备
CN105183857A (zh) 一种自动的图片训练样本提取方法及系统
Singh et al. Performance evaluation of plant leaf disease detection using deep learning models
Ishikawa et al. Audio-visual hybrid approach for filling mass estimation
CN104750775B (zh) 内容比对方法及系统
CN113537206B (zh) 推送数据检测方法、装置、计算机设备和存储介质
CN106407281A (zh) 图像检索方法及装置
CN113743382B (zh) 一种货架陈列检测方法、装置及系统
CN112307231A (zh) 信息处理、模型训练、特征库创建方法及电子设备
Bhoir et al. Transfer learning with deep neural networks for image classification in the e-commerce industry
Zhang et al. Robust sketch-based image retrieval by saliency detection
CN115035343A (zh) 神经网络训练方法、物品检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190329