CN109145816B - 商品识别方法和系统 - Google Patents

商品识别方法和系统 Download PDF

Info

Publication number
CN109145816B
CN109145816B CN201810953349.5A CN201810953349A CN109145816B CN 109145816 B CN109145816 B CN 109145816B CN 201810953349 A CN201810953349 A CN 201810953349A CN 109145816 B CN109145816 B CN 109145816B
Authority
CN
China
Prior art keywords
commodity
features
feature
unrelated
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810953349.5A
Other languages
English (en)
Other versions
CN109145816A (zh
Inventor
王耀华
刘巍
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810953349.5A priority Critical patent/CN109145816B/zh
Publication of CN109145816A publication Critical patent/CN109145816A/zh
Application granted granted Critical
Publication of CN109145816B publication Critical patent/CN109145816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种商品识别方法和系统,涉及商品识别领域。该商品识别方法包括:神经网络模块获取商品特征并将该商品特征传输到通道域注意力模块,其中,该商品特征包括商品相关特征和商品无关特征;以及该通道域注意力模块区分出该商品相关特征和该商品无关特征,并至少将该商品相关特征传输到下一个神经网络模块中。本公开可以提高商品识别的准确率。

Description

商品识别方法和系统
技术领域
本公开涉及商品识别领域,特别涉及一种商品识别方法和系统。
背景技术
随着新零售的发展,无人货柜售卖机已经成为新零售的趋势,越 来越多的无人货柜售卖机已经投入市场并正式使用。方便快捷随时可 触达的零售模式,吸引越来越多的消费者使用无人货柜售卖机购买消 费品。
随着人工智能的发展,无人货柜售卖机开始使用图像识别算法来 识别商品,同时计算价格。使用图像识别算法的无人货柜售卖机相比 传统的货道售卖机,消费者使用更加快捷方便,开门取货支付可以在 10秒内完成。而且消费者使用图像识别算法的无人货柜售卖机的体 验感更强,即开即拿,更加顺应高效率发展的时代要求。
目前无人货柜的售卖商品识别算法,仍是基于基本的深度学习网 络来识别商品图片,通过采集大量的商品图片数据,完成深度学习框 架的训练,来识别商品。
基于传统深度学习算法的商品识别算法,为了能够适应货柜放在 现实场景中,需要模拟消费者拿放商品的过程,并且采集大量的图片 来训练传统的深度学习神经网络。但是随着无人货柜的迅速扩张,场 景越来越复杂,传统的深度学习算法已经不能够完全满足需要。
发明内容
本公开的发明人发现,利用相关技术中的商品识别算法识别商品 的过程中经常受到环境因素的影响,导致识别的准确率不高。
本公开实施例解决的一个技术问题是:提供一种商品识别方法, 以提高商品识别的准确率。
根据本公开实施例的一个方面,提供了一种商品识别方法,包括: 神经网络模块获取商品特征并将所述商品特征传输到通道域注意力 模块,其中,所述商品特征包括商品相关特征和商品无关特征;以及 所述通道域注意力模块区分出所述商品相关特征和所述商品无关特 征,并至少将所述商品相关特征传输到下一个神经网络模块中。
在一些实施例中,所述通道域注意力模块区分出所述商品相关特 征和所述商品无关特征,并至少将所述商品相关特征传输到下一个神 经网络模块中的步骤包括:所述通道域注意力模块产生选择向量,将 所述选择向量与所述商品特征的各个通道特征相乘以选择出商品相关 特征并过滤商品无关特征,以及将选择出的商品相关特征传输到下一 个神经网络模块中。
在一些实施例中,所述选择向量包括元素1和0,其中所述元素1 与所述商品相关特征相乘以选择出所述商品相关特征,所述元素0与 所述商品无关特征相乘以过滤所述商品无关特征。
在一些实施例中,所述通道域注意力模块区分出所述商品相关特 征和所述商品无关特征,并至少将所述商品相关特征传输到下一个神 经网络模块中的步骤包括:所述通道域注意力模块产生权重向量,将 所述权重向量与所述商品特征的各个通道特征相乘,并将相乘后的结 果传输到下一个神经网络模块中,其中,在所述权重向量中,与所述 商品相关特征对应的权重大于与所述商品无关特征对应的权重。
在一些实施例中,所述通道域注意力模块至少将所述商品相关特 征传输到下一个神经网络模块中的步骤还包括:所述通道域注意力模 块还将未与所述权重向量相乘的所述商品特征的各个通道特征传输到 所述下一个神经网络模块中。
根据本公开实施例的另一个方面,提供了一种商品识别系统,包 括:神经网络模块,用于获取商品特征并将所述商品特征传输到通道 域注意力模块,其中,所述商品特征包括商品相关特征和商品无关特 征;以及所述通道域注意力模块,用于区分出所述商品相关特征和所 述商品无关特征,并至少将所述商品相关特征传输到下一个神经网络 模块中。
在一些实施例中,所述通道域注意力模块用于产生选择向量,将 所述选择向量与所述商品特征的各个通道特征相乘以选择出商品相关 特征并过滤商品无关特征,以及将选择出的商品相关特征传输到下一 个神经网络模块中。
在一些实施例中,所述选择向量包括元素1和0,其中所述元素1 与所述商品相关特征相乘以选择出所述商品相关特征,所述元素0与 所述商品无关特征相乘以过滤所述商品无关特征。
在一些实施例中,所述通道域注意力模块用于产生权重向量,将 所述权重向量与所述商品特征的各个通道特征相乘,并将相乘后的结 果传输到下一个神经网络模块中,其中,在所述权重向量中,与所述 商品相关特征对应的权重大于与所述商品无关特征对应的权重。
在一些实施例中,所述通道域注意力模块还用于将未与所述权重 向量相乘的所述商品特征的各个通道特征传输到所述下一个神经网络 模块中。
根据本公开实施例的另一个方面,提供了一种商品识别系统,包 括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为 基于存储在所述存储器的指令执行如前所述的方法。
根据本公开实施例的另一个方面,提供了一种计算机可读存储介 质,其上存储有计算机程序指令,该指令被处理器执行时实现如前所 述的方法的步骤。
在上述方法中,神经网络模块将商品特征传输到通道域注意力模 块;通道域注意力模块区分出商品相关特征和商品无关特征,并至少 将该商品相关特征传输到下一个神经网络模块中。由于通道域注意力 模块区分出商品相关特征和商品无关特征,因此下一个神经网络模块 在计算识别商品的过程中,可以减弱商品无关特征的影响,从而可以 提高商品识别的准确率。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开 的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同说 明书一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开, 其中:
图1是示出根据本公开一些实施例的商品识别方法的流程图;
图2是示出根据本公开另一些实施例的商品识别方法的流程图;
图3是示出根据本公开另一些实施例的商品识别方法的流程图;
图4是示出根据本公开另一些实施例的商品识别方法的流程图;
图5是示出根据本公开另一些实施例的商品识别方法的流程图;
图6是示出根据本公开一些实施例的商品识别系统的结构图;
图7是示出根据本公开另一些实施例的商品识别系统的结构图;
图8是示出根据本公开另一些实施例的商品识别系统的结构图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意 到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相 对布置、数字表达式和数值不限制本公开的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺 寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决 不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详 细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书 的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是 示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具 有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此, 一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行 进一步讨论。
本公开的发明人发现,利用相关技术中的商品识别算法识别商品 的过程中经常受到环境因素的影响,导致识别的准确率不高。在现实 场景中,不同的消费者拿放商品时,穿着的衣物、手遮挡方式等环境 因素可能都是不一样的,因此相关技术中只是基于基本的深度学习网 络来识别商品往往识别的准确率不高,而且非常容易受到干扰,从而 影响识别率。
例如,识别算法如果采集到的图片都是来源于放置于白色背景的 楼道中的货柜,新的货柜如果放置于更复杂的背景例如人来人往的街 道上,那么传统的深度学习算法是不能够理解商品与背景之间的关系, 从而会造成识别率急剧下降。
鉴于此,本公开的发明人提出一种商品识别方法,可以提高商品 识别的准确率。该商品识别方法可以应用在无人货柜售卖机中。下面 结合附图详细描述根据本公开一些实施例的商品识别方法。
图1是示出根据本公开一些实施例的商品识别方法的流程图。如 图1所示,该方法包括步骤S102~S104。
在步骤S102,神经网络模块获取商品特征并将该商品特征传输 到通道域注意力模块。
该商品特征可以包括商品相关特征和商品无关特征。例如,该商 品相关特征包括商品本身的外形、尺寸、颜色等特征。该商品无关特 征可以包括例如穿着的衣物、手遮挡方式等环境特征。
在步骤S104,通道域注意力模块区分出商品相关特征和商品无 关特征,并至少将该商品相关特征传输到下一个神经网络模块中。
这里,通道域注意力模块在区分出商品相关特征和商品无关特征 之后,至少将商品相关特征传输到下一个神经网络模块中,使得下一 个神经网络模块可以利用例如已有的算法继续识别商品。
在一些实施例中,该步骤S104可以包括:通道域注意力模块产 生选择向量,将该选择向量与商品特征的各个通道特征相乘以选择出 商品相关特征并过滤商品无关特征,以及将选择出的商品相关特征传 输到下一个神经网络模块中。这里,可以将通道域注意力模块选择商 品特征的这种方式称为直接注意力方式。
例如,该选择向量可以包括元素1和0。该元素1与商品相关特 征相乘以选择出该商品相关特征,该元素0与商品无关特征相乘以过 滤该商品无关特征。
在另一些实施例中,通道域注意力模块可以将商品相关特征和商 品无关特征均传输到下一个神经网络模块中。而且可以相对弱化商品 无关特征,这样可以尽量防止丢失一些重要信息,有利于提升商品识 别率。
在一些实施例中,该步骤S104可以包括:通道域注意力模块产 生权重向量,将该权重向量与商品特征的各个通道特征相乘,并将相 乘后的结果传输到下一个神经网络模块中。在该权重向量中,与商品 相关特征对应的权重大于与商品无关特征对应的权重。这样相比商品 无关特征,可以使得商品相关特征更加显现出来,从而可以提高商品 识别率。这里,可以将通道域注意力模块选择商品特征的这种方式称 为权重注意力方式。
在一些实施例中,该步骤S104除了包括通道域注意力模块将权 重向量与商品特征的各个通道特征相乘的结果传输到下一个神经网 络模块中的步骤之外,还可以包括:通道域注意力模块还将未与权重 向量相乘的商品特征(即原始商品特征)的各个通道特征传输到该下 一个神经网络模块中。这样可以防止商品特征在传输的过程中被权重 向量弱化。相反,这种方式可以增强商品特征,使得商品更容易识别。 这里,可以将通道域注意力模块选择商品特征的这种方式称为残余学 习注意力方式。
至此,提供了根据本公开一些实施例的商品识别方法。在该方法 中,神经网络模块将商品特征传输到通道域注意力模块;通道域注意 力模块区分出商品相关特征和商品无关特征,并至少将该商品相关特 征传输到下一个神经网络模块中。由于通道域注意力模块区分出商品 相关特征和商品无关特征,因此下一个神经网络模块在计算识别商品 的过程中,可以减弱商品无关特征的影响,因此该方法可以提高商品 识别的准确率。另外,上述方法还可以增强无人货柜售卖机系统对干 扰因素的鲁棒性。
在本公开的实施例中,可以利用已有的图片数据训练神经网络模 块和通道域注意力模块来使得这些模块具有上述商品识别的功能。例 如,在无人货柜售卖机中,为了训练神经网络(例如深度学习网络), 需要采集大量的图片数据。例如,该图片数据是模拟消费者在无人货 柜售卖机中拿取货物,通过摄像头来跟踪拍摄消费者手中的商品,将 拍摄到的包含商品的图片作为训练数据,训练深度学习神经网络来识 别货物。
图2是示出根据本公开另一些实施例的商品识别方法的流程图。 如图2所示,将一张图片数据表示为I,I是一个RH×W×C的图片特征。 这里,R表示实数集,H表示图片的高度,W表示图片的长度,C表 示图片的通道数量。例如,一张标准的RGB(红绿蓝)图片的通道 数量是3。
在深度神经网络中,每一层神经网络模块都能够提取出特定的图 片特征。例如卷积层,通过使用卷积核与上一层图片特征卷积计算, 得到新的图片特征。每一个卷积核都能在已有的通道上产生一个新的 通道。商品图片I经过有N个卷积核的卷积层之后,会产生新的特 征,这个图片特征表示为I∈RH×W×C′,卷积保持图片原有大小,C′是 新特征的通道数量,其中,C′=N·C。再比如通过池化层,商品图 片数据特征I∈RH×W×C会被采样成新的图片特征F∈RH′×W′×C。因此, 商品图片数据特征在经过若干层深度学习神经网络之后,I∈RH ×W×C会被提取出特征F∈RH′×W′×C′
在无人货柜售货机的商品识别系统中,商品图片数据经过神经网 络模块提取到特征。由于例如消费者是用手抓取货物往往会造成一定 程度的遮挡,因此深度学习神经网络模块提取出的图片特征,可以包 括两部分:一部分是商品相关特征Fp,另一部分是商品无关特征Fn
Figure BDA0001772067060000081
其中
Figure BDA0001772067060000082
是合并连接算子。
深度学习神经网络模块中的卷积层是通过不同的卷积核提取出不 同的通道信息。经过大量的实验表明,不同的卷积核提取出的图片特 征是不同的。因此不同的通道信息描述了图片不同的特征信息。例如, 在无人货柜售卖机中提取出的图片特征是由商品相关特征通道Cp和 商品无关特征通道Cn组成,即:
C′=Cp+Cn. (2)
因此,不同的特征通道表示不同的商品相关特征和商品无关特征,分 别是
Figure RE-GDA0001840548380000083
如图2所示,通道域注意力模块可以插入到神经网络模块提取出 的特征之后将商品相关特征与商品无关特征区分出来,再将两个特征 传输到下一个神经网络模块(图2中未示出)中以进行后续的计算。
在该实施例中,注意力机制是通过识别关键的商品图片特征通道, 从而加强对商品相关特征的注意,减少商品无关特征的影响。
如前所述,通道域注意力模块选择商品特征的方式可以包括:直 接注意力方式、权重注意力方式或残余学习注意力方式。下面分别结 合图3至图5详细描述这三种注意力方式。
图3是示出根据本公开另一些实施例的商品识别方法的流程图。 图3示出了通道域注意力模块的直接注意力方式。
如图3所示,通道域注意力模块产生一个M∈{0,1}C′的选择向量, 将该选择向量与上一层的商品特征的各个通道特征相乘。其中,商品 相关特征被1选择,而商品无关特征被0过滤。该直接注意力方式可 以完整的保留全部的商品相关特征信息,从而直接将商品无关特征过 滤。将注意后的商品相关特征作为下一个神经网络模块的输入。
例如,第j个通道是商品相关特征,该特征F{j}∈RH′×W′被选择作 为商品相关特征,此时M{j}=1。因为需要选择出p个通道,所以:
Figure BDA0001772067060000091
直接注意力方式传递选择出的p个通道的特征,并将这些商品相 关特征输入到下一个神经网络模块中。
图4是示出根据本公开另一些实施例的商品识别方法的流程图。 图4示出了通道域注意力模块的权重注意力方式。
如图4所示,通道域注意力模块产生一个
Figure RE-GDA0001840548380000092
的权重向量,将 该权重向量与上一层的商品特征的各个通道特征相乘。商品相关特征 与商品无关特征分别与不同的权重相乘。其中,商品相关特征对应的 权重较高,而商品无关特征对应的权重较低。即,与商品相关特征对 应的权重大于与商品无关特征对应的权重。
该权重注意力方式比较简单,而且是一个可以微分传递的学习模 块,从而可以使用端到端的训练方式来学习。这种训练更加自由,也 能够适应更多的学习场景。通过该权重注意力方式,会产生一个新的 特征F′。这个特征F′是对原有特征F每个通道赋予不同的权重,因此新 的特征F′的通道数量与原有特征F的通道数量是一致的:
F′{i}=M{i}*F{i}。 (4)
其中,M{i}表示与特征F{i}对应的权重。
图5是示出根据本公开另一些实施例的商品识别方法的流程图。 图5示出了通道域注意力模块的残余学习注意力方式。
如图5所示,残余学习注意力方式是在权重选择的基础之上,将 原始的商品特征信息与通过权重注意力方式产生的权重特征共同传 递到下一个神经网络模块中,从而能够将原始的图片特征与通过权重 注意力之后的图片特征结合在一起输入到之后的神经网络模块中。与 权重注意力方式相似的,该残余学习注意力方式也会产生一个权重向 量
Figure BDA0001772067060000093
该权重向量能够调整通道信息,并且又叠加上原始特征 信息,因此传入到下一个神经网络模块的特征是:
F{i}+F′{i}。 (5)
在本公开的实施例中,通过在无人货柜售卖机系统识别深度神经 网络中增加通道域的注意力机制,从而可以提升无人货柜售卖机系统 中的商品识别率,而且使得识别算法不受环境因素的影响,以及对消 费者的取拿方式具有鲁棒性。
图6是示出根据本公开一些实施例的商品识别系统的结构图。如 图6所示,该商品识别系统可以包括神经网络模块602和通道域注意 力模块604。
该神经网络模块602可以用于获取商品特征并将该商品特征传输 到通道域注意力模块604。该商品特征可以包括商品相关特征和商品 无关特征。
该通道域注意力模块604可以用于区分出商品相关特征和商品无 关特征,并至少将该商品相关特征传输到下一个神经网络模块中。
在该实施例的系统中,神经网络模块将商品特征传输到通道域注 意力模块;通道域注意力模块区分出商品相关特征和商品无关特征, 并至少将该商品相关特征传输到下一个神经网络模块中。由于通道域 注意力模块区分出商品相关特征和商品无关特征,因此下一个神经网 络模块在计算识别商品的过程中,可以减弱商品无关特征的影响,因 此该系统可以提高商品识别的准确率。
在一些实施例中,该通道域注意力模块604可以用于产生选择向 量,将该选择向量与商品特征的各个通道特征相乘以选择出商品相关 特征并过滤商品无关特征,以及将选择出的商品相关特征传输到下一 个神经网络模块中。
例如,该选择向量可以包括元素1和0。该元素1与商品相关特 征相乘以选择出该商品相关特征,该元素0与商品无关特征相乘以过 滤该商品无关特征。
在一些实施例中,该通道域注意力模块604可以用于产生权重向 量,将该权重向量与商品特征的各个通道特征相乘,并将相乘后的结 果传输到下一个神经网络模块中。在该权重向量中,与商品相关特征 对应的权重大于与商品无关特征对应的权重。
在一些实施例中,该通道域注意力模块还可以用于将未与权重向 量相乘的商品特征的各个通道特征传输到下一个神经网络模块中。
图7是示出根据本公开另一些实施例的商品识别系统的结构图。 该商品识别系统包括存储器710和处理器720。其中:
存储器710可以是磁盘、闪存或其它任何非易失性存储介质。存 储器用于存储图1至图5中的至少一个所对应实施例中的指令。
处理器720耦接至存储器710,可以作为一个或多个集成电路来 实施,例如微处理器或微控制器。该处理器720用于执行存储器中存 储的指令,从而可以提高商品识别的准确率。
在一些实施例中,还可以如图8所示,该商品识别系统800包括 存储器810和处理器820。处理器820通过BUS总线830耦合至存储 器810。该商品识别系统800还可以通过存储接口840连接至外部存 储装置850以便调用外部数据,还可以通过网络接口860连接至网络或者另外一台计算机系统(未标出),此处不再进行详细介绍。
在该实施例中,通过存储器存储数据指令,再通过处理器处理上 述指令,从而可以提高商品识别的准确率。
在另一些实施例中,本公开还提供了一种计算机可读存储介质, 其上存储有计算机程序指令,该指令被处理器执行时实现图1至图5 中的至少一个所对应实施例中的方法的步骤。本领域内的技术人员应 明白,本公开的实施例可提供为方法、装置、或计算机程序产品。因 此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和 硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不 限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产 品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机 程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指 令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/ 或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到 通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备 的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设 备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数 据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计 算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实 现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理 设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产 生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令 提供用于实现在流程图一个流程或多个流程和/或方框图一个方框 或多个方框中指定的功能的步骤。
至此,已经详细描述了本公开。为了避免遮蔽本公开的构思,没有 描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全 可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如,可通过软件、 硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和 系统。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的 方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。 此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程 序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而, 本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明, 但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不 是为了限制本公开的范围。本领域的技术人员应该理解,可在不脱离 本公开的范围和精神的情况下,对以上实施例进行修改。本公开的范 围由所附权利要求来限定。

Claims (8)

1.一种用于无人货柜售卖机的商品识别方法,包括:
神经网络模块获取商品特征并将所述商品特征传输到通道域注意力模块,其中,所述商品特征包括商品相关特征和商品无关特征,所述商品相关特征包括商品本身特征,所述商品无关特征包括环境特征;以及
所述通道域注意力模块区分出所述商品相关特征和所述商品无关特征,并至少将所述商品相关特征传输到下一个神经网络模块中;
其中,所述通道域注意力模块区分出所述商品相关特征和所述商品无关特征,并至少将所述商品相关特征传输到下一个神经网络模块中的步骤包括:
所述通道域注意力模块产生权重向量,将所述权重向量与所述商品特征的各个通道特征相乘,并将相乘后的结果传输到下一个神经网络模块中,其中,在所述权重向量中,与所述商品相关特征对应的权重大于与所述商品无关特征对应的权重;所述通道域注意力模块还将未与所述权重向量相乘的所述商品特征的各个通道特征传输到所述下一个神经网络模块中。
2.根据权利要求1所述的商品识别方法,其中,所述权重向量为选择向量;
所述通道域注意力模块区分出所述商品相关特征和所述商品无关特征,并至少将所述商品相关特征传输到下一个神经网络模块中的步骤包括:
所述通道域注意力模块产生选择向量,将所述选择向量与所述商品特征的各个通道特征相乘以选择出商品相关特征并过滤商品无关特征,以及将选择出的商品相关特征传输到下一个神经网络模块中。
3.根据权利要求2所述的商品识别方法,其中,
所述选择向量包括元素1和0,其中所述元素1与所述商品相关特征相乘以选择出所述商品相关特征,所述元素0与所述商品无关特征相乘以过滤所述商品无关特征。
4.一种用于无人货柜售卖机的商品识别系统,包括:
神经网络模块,用于获取商品特征并将所述商品特征传输到通道域注意力模块,其中,所述商品特征包括商品相关特征和商品无关特征,所述商品相关特征包括商品本身特征,所述商品无关特征包括环境特征;以及
所述通道域注意力模块,用于区分出所述商品相关特征和所述商品无关特征,并至少将所述商品相关特征传输到下一个神经网络模块中;
其中,所述通道域注意力模块用于产生权重向量,将所述权重向量与所述商品特征的各个通道特征相乘,并将相乘后的结果传输到下一个神经网络模块中,其中,在所述权重向量中,与所述商品相关特征对应的权重大于与所述商品无关特征对应的权重,所述通道域注意力模块还用于将未与所述权重向量相乘的所述商品特征的各个通道特征传输到所述下一个神经网络模块中。
5.根据权利要求4所述的商品识别系统,其中,所述权重向量为选择向量;
所述通道域注意力模块用于产生选择向量,将所述选择向量与所述商品特征的各个通道特征相乘以选择出商品相关特征并过滤商品无关特征,以及将选择出的商品相关特征传输到下一个神经网络模块中。
6.根据权利要求5所述的商品识别系统,其中,
所述选择向量包括元素1和0,其中所述元素1与所述商品相关特征相乘以选择出所述商品相关特征,所述元素0与所述商品无关特征相乘以过滤所述商品无关特征。
7.一种用于无人货柜售卖机的商品识别系统,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至3任意一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现如权利要求1至3任意一项所述的方法的步骤。
CN201810953349.5A 2018-08-21 2018-08-21 商品识别方法和系统 Active CN109145816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810953349.5A CN109145816B (zh) 2018-08-21 2018-08-21 商品识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810953349.5A CN109145816B (zh) 2018-08-21 2018-08-21 商品识别方法和系统

Publications (2)

Publication Number Publication Date
CN109145816A CN109145816A (zh) 2019-01-04
CN109145816B true CN109145816B (zh) 2021-01-26

Family

ID=64790437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810953349.5A Active CN109145816B (zh) 2018-08-21 2018-08-21 商品识别方法和系统

Country Status (1)

Country Link
CN (1) CN109145816B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915413B (zh) * 2020-08-21 2023-04-07 支付宝(杭州)信息技术有限公司 支付实现方法、装置及电子设备
CN113326753B (zh) * 2021-05-20 2022-04-19 同济大学 一种针对重叠问题的x射线安检违禁品检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291945A (zh) * 2017-07-12 2017-10-24 上海交通大学 基于视觉注意力模型的高精度服装图像检索方法及系统
CN107704877A (zh) * 2017-10-09 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN107729901A (zh) * 2016-08-10 2018-02-23 阿里巴巴集团控股有限公司 图像处理模型的建立方法、装置及图像处理方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965705B2 (en) * 2015-11-03 2018-05-08 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering
CN108229490B (zh) * 2017-02-23 2021-01-05 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN108182454B (zh) * 2018-01-18 2021-07-30 南栖仙策(南京)科技有限公司 安检识别系统及其控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729901A (zh) * 2016-08-10 2018-02-23 阿里巴巴集团控股有限公司 图像处理模型的建立方法、装置及图像处理方法及系统
CN107291945A (zh) * 2017-07-12 2017-10-24 上海交通大学 基于视觉注意力模型的高精度服装图像检索方法及系统
CN107704877A (zh) * 2017-10-09 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法

Also Published As

Publication number Publication date
CN109145816A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
US9317778B2 (en) Interactive content generation
US10949914B2 (en) Immersive and artificial intelligence based retail
US20160180193A1 (en) Image-based complementary item selection
CN108037823B (zh) 信息推荐方法、智能镜子及计算机可读存储介质
KR20190117584A (ko) 스트리밍 비디오 내의 객체를 검출하고, 필터링하고 식별하기 위한 방법 및 장치
US20160180441A1 (en) Item preview image generation
CN108320379A (zh) 基于图像比对的售货方法、装置和无人售货机
US20140310304A1 (en) System and method for providing fashion recommendations
CN107609945A (zh) 一种应用于实体商店的商品推荐方法和系统
CN109145816B (zh) 商品识别方法和系统
US20210035187A1 (en) Device and method for item recommendation based on visual elements
KR20220087442A (ko) 증강 현실 컴퓨터 기술을 사용한 리스팅들의 생성의 자동화
CN107609703A (zh) 一种应用于实体零售店的商品定位方法和系统
CN109544262A (zh) 物品推荐方法、装置、电子设备、系统及可读存储介质
Shadrach et al. Smart virtual trial room for apparel industry
US20240054185A1 (en) Image and video instance association for an e-commerce applications
CN113609319A (zh) 商品搜索方法、装置和设备
CN112711706A (zh) 信息交互方法、装置、可读存储介质和电子设备
KR102425057B1 (ko) 뉴럴 네트워크를 이용한 온라인 쇼핑 시스템
CN112102018A (zh) 智能试衣镜实现方法及相关装置
CN106919591A (zh) 网站的产品展示方法及装置
US20240161423A1 (en) Systems and methods for using machine learning models to effect virtual try-on and styling on actual users
US20240037869A1 (en) Systems and methods for using machine learning models to effect virtual try-on and styling on actual users
KR101740135B1 (ko) 크라우드소싱을 이용한 제품 색 평가 방법
CN112365557B (zh) 图片生成方法、模型训练方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant