CN114863141A - 无人贩售相似商品的智能辨识方法、装置及智能售货机 - Google Patents

无人贩售相似商品的智能辨识方法、装置及智能售货机 Download PDF

Info

Publication number
CN114863141A
CN114863141A CN202210490245.1A CN202210490245A CN114863141A CN 114863141 A CN114863141 A CN 114863141A CN 202210490245 A CN202210490245 A CN 202210490245A CN 114863141 A CN114863141 A CN 114863141A
Authority
CN
China
Prior art keywords
commodity
vending machine
commodities
target
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210490245.1A
Other languages
English (en)
Inventor
陈俏锋
黄超群
邱俊波
王浩
张�杰
束学璋
张元熙
郭家龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yopoint Smart Retail Technology Ltd
Original Assignee
Yopoint Smart Retail Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yopoint Smart Retail Technology Ltd filed Critical Yopoint Smart Retail Technology Ltd
Priority to CN202210490245.1A priority Critical patent/CN114863141A/zh
Publication of CN114863141A publication Critical patent/CN114863141A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本发明属于无人零售技术领域，解决了现有技术智能售货机存在相似度高的商品，引起智能售货机对商品类别识别错误，所导致用户体验效果不佳的技术问题，提供了一种无人贩售相似商品的智能辨识方法、装置及智能售货机。该方法包括:通过获取智能售货机当前操作的动作类型，确认属于商家操作还是用户操作；同时采集各基础商品的商品信息；从而确定正在操作的基础商品是否存在相似度高的其他商品，然后根据当前操作的动作类别进行相应的处理，包括不限于商家操作时分区域放置商品、不放入，以及用户操作时根据商品位置对应记录的类别确定商品类型或人工审核，避免相似商品造成误检，减少异常订单产生，提高用户体验效果。

Description

无人贩售相似商品的智能辨识方法、装置及智能售货机
技术领域
本发明涉及无人零售技术领域，尤其涉及一种无人贩售相似商品的智能辨识方法、装置及智能售货机。
背景技术
随着人工智能技术的不断发展，零售业的售卖方式也发生了巨大的变化，其中，智能售货机已经遍布在城市的各种场合，包括车站、商城、旅游景区或百货店均能发现各式各样的智能售货机，智能售货机以其无需专人看守、用户自动下单、购物结账的方式，极大便利了特殊场景用户对于商品的购物需求。
智能售货机是商家向智能售货机预先放入待销售商品，用户通过App进行扫码购物，其中，全开门智能售货机因为具有传统售货机一次选购多件商品、一次购物可多次更换商品的优势，极大满足用户购物过程的自主选择，因此全开门自能售货机具有良好的用户体验效果，深受用户青睐。由于智能售货机销售的商品均为矿泉水、饮料、咖啡等快消品，因此商家定期对智能售货机的商品进行更新，包括增加已有商品和新增商品类型；若上货的商品与智能售货机原商品为高度相似商品，则智能售货机在售卖商品时存在相似商品识别错误的情况，实际中，时有外包装以及重量相同的商品之间弄混淆而导致异常订单产生。同时，因为全开门智能售货机用户可以自主选择商品后再进行结账，常常出现用户同时拿多件商品；若用户拿到的商品为不同类且相似度高的商品时，智能售货机会出现商品类别识别错误的情况，产生异常订单，不仅为商家带来损失，也会导致用户体验效果不佳的问题。
发明内容
有鉴于此，本发明实施例提供了一种无人贩售相似商品的智能辨识方法、装置及智能售货机，用以解决现有的智能售货机存在相似度高的商品，引起智能售货机对商品类别识别错误，所导致用户体验效果不佳的技术问题。
本发明采用的技术方案是：
本发明提供了一种无人贩售相似商品的智能辨识方法，所述方法包括：
S1：获取智能售货机的当前操作的动作类别和与当前操作对应的各基础商品的商品信息，其中，所述动作类别包括商家对自动售货机新增商品的第一动作类别和用户从自动售货机挑选商品的第二动作类别；
S2：根据各基础商品的所述商品信息，确定各基础商品与智能售货机的商品区内其他商品的相似度；
S3：根据各所述目标相似度和所述动作类别，输出相似度符合要求的基础商品中目标商品的处理方式；
其中，所述处理方式包括：智能售货机上货时对应的第一处理方式和用户自动购物对应的第二处理方式。
优选地，所述S2包括：
S21：获取在多个角度同时获取的各基础商品的目标图像；
S22：对各所述目标图像进行特征提取，得到各基础商品的所述商品信息的多维特征向量；
S23：将各基础商品的所述多维特征向量与智能售货机内其他类别商品的多维特征向量进行对比，得到各基础商品与智能售货机的商品区内其他类别商品的目标相似度。
优选地，所述S23包括：
S231：获取各基础商品的多个多维度特征向量；
S232：根据各基础商品的所述多维特征向量和智能售货机内其他类别商品的所述多维特征向量，利用公式Simliar(X,Y)＝max(cos(xi,yj))计算各所述目基础商品与其他类别商品的相似度；
其中，X表示各基础商品，Y表示智能售货机内其他类别商品，
Figure BDA0003625410030000031
Figure BDA0003625410030000032
表示2个向量之间的余弦距离，xi∈X，xi代表基础商品X第i个特征向量；yj∈Y，yj代表智能售货机中其他类别商品Y第j个特征向量；0≤i,j≤n,n代表特征向量的维度。
优选地，所述S21包括：
S211：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
S212：获取在各商品区相向设置的各摄像头采集的视角范围内的基础视频；
S213：对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼接，得到各帧所述目标图像；
其中，所述物理拼接为拼接后的图像为参与拼接的所有图像的尺寸和。
优选地，若所述动作类别为第一动作类别，所述S3包括：
S310：获取不同类别的商品相似度的第一相似度阈值和第二相似度阈值，其中，第一相似度阈值小于第二相似度阈值；
S311：将所述目标相似度与所述第一相似度阈值和/或所述第二相似度阈值对比，得到所述第一动作对应的第一对比结果；
S312：若所述第一对比结果为所述目标相似度位于所述第一相似度阈值和所述第二相似度阈值之间，则输出放置目标商品的目标商品区作为所述第一处理方式；
S313：若所述第一对比结果大于等于所述第二相似度阈值，则输出禁止新增对应目标商品作为所述第一处理方式；
其中，所述目标商品区为不同于与目标商品相似的其他类别商品所在的商品区。
优选地，若所述动作类别为第二动作类别，且智能售货机中存在相目标似度大于所述第一相似度阈值小于所述第二相似度阈值，或大于所述第二相似度阈值的不同类商品时，所述S3包括：
S320：获取不同类别的商品相似度的第三相似度阈值；
S321：若所述目标相似度大于所述第三相似度阈值，则获取各所述目标商品所属商品区的第一位置信息；
S322：根据各所述第一位置信息，输出与目标商品的位置信息对应的所述第二处理方式；
其中，所述第二处理方式包括：当各所述目标商品的第一位置信息相同时，直接输出所述第一位置信息对应的商品类别作为第一结果；当各所述目标商品的第一位置信息不同时，输出各所述目标商品经人工校验后的商品类别作为第二结果。
优选地，所述S322之后还包括：
S330：获取所述第一结果或所述第二结果包含的目标商品的数量和对应的类别；
S331：根据所述目标商品的数量和类别，输出智能售货机的各商品区中剩余相似商品的目标商品信息；
其中，所述目标商品信息包括相似商品的数量、类别和所属的商品区位置。
本发明还提供了一种无人贩售相似商品的智能辨识装置，所述装置包括：
数据采集模块：用于获取智能售货机的当前操作的动作类别和与当前操作对应的各基础商品的商品信息，其中，所述动作类别包括商家对自动售货机新增商品的第一动作类别和用户从自动售货机挑选商品的第二动作类别；
相似度计算模块：用于根据各基础商品的所述商品信息，确定各基础商品与智能售货机的商品区内其他商品的相似度；
数据处理模块：用于根据各所述目标相似度和所述动作类别，输出相似度符合要求的基础商品中目标商品的处理方式；
其中，所述处理方式包括：智能售货机上货时对应的第一处理方式和用户自动购物对应的第二处理方式。
本发明还提供了一种智能售货机，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
本发明还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
综上所述，本发明的有益效果如下：
本发明提供的一种无人贩售相似商品的智能辨识方法、装置及智能售货机，通过获取智能售货机当前操作的动作类型，确认属于商家操作还是用户操作；同时采集各基础商品的商品信息；从而确定正在操作的基础商品是否存在相似度高的其他商品，然后根据当前操作的动作类别进行相应的处理，包括不限于商家操作时分区域放置商品、不放入，以及用户操作时根据商品位置对应记录的类别确定商品类型或人工审核，避免相似商品造成误检，减少异常订单产生，提高用户体验效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为实施例1中无人贩售相似商品的智能辨识方法的流程示意图；
图2为实施例1中智能售货机的结构示意图；
图3为实施例1中商品上货的流程示意图；
图4为实施例1中基于相似度的商品处理方式的流程示意图；
图5为实施例2中无人贩售相似商品的智能辨识方法的流程示意图；
图6为实施例2中智能售货机的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
请参见图1，图1为无人贩售相似商品的智能辨识方法的流程示意图，所述方法包括：
S1：获取智能售货机的当前操作的动作类别和与当前操作对应的各基础商品的商品信息，其中，所述动作类别包括商家对自动售货机新增商品的第一动作类别和用户从自动售货机挑选商品的第二动作类别；
具体的，智能售货机在正常运行时，对智能售货机的操作包括两类动作，第一类动作为商家对智能售货机的操作，该操作包括不限于向智能售货机的商品区新增商品、旧商品更换，还包括对智能售货机的设备维护、性能检测等；第二类动作为用户从智能售货机的商品区挑选商品，为便于理解，本文将商家向智能售货机的商品区新增商品和/或旧商品替换记为第一动作类别，将用户从智能售货机挑选商品记为第二动作类别；商品信息包括不限于：图像信息、商家商品或下架商品的操作信息、商品放入或取出的位置信息。
请参见图2，图2为全开门的智能售货机的结构示意图，如图2所示，智能售货机包括柜体1和柜门2，柜体1和柜门2进行转动连接，且柜门2相对于柜体1处于闭合状态时，柜门2覆盖住柜体1的所有放置商品的商品区，即无法对柜体内的商品进行拿取操作，当柜门2打开时，柜体1中的所有商品均展现在用户面前，用户可以在一次购物中心选择任意商品，同时也可以选择多件商品，既可以对选择的商品进行拿出，也可以对选择后需要放回的商品进行放回，柜体1内设有货架11，货架11可以是将柜体1分为多个商品区12的货架，其中，在柜体1的内部各商品区均设有摄像头，这样可以从过个角度获取用户从智能售货机购物的购物视频，避免单一角度采集的购物视频因为遮挡问题导致购物视频的可靠性不高的问题，图2所示的智能售货机在售货机的内部左侧壁和右侧壁均设有多个摄像头从而可以对同一商品区以相对的视角方向采集购物视频，提高视频数据的可靠性。
S2：根据各基础商品的所述商品信息，确定各基础商品与智能售货机的商品区内其他商品的相似度；
具体的，当用户从智能售货机上挑选商品或商家将商品放入智能售货机的过程中，智能售货机各商品区的摄像头以不同视角获取当前操作的各商品的图像信息，然后提取各商品的特征信息进行相似度计算，得到不同类商品之间的相似度。
在一实施例中，所述S2包括：
S21：获取在多个角度同时获取的各基础商品的目标图像；
具体的，在智能售货机商品区的不同位置设置摄像头，可以从不同角度获取商品任意时刻的图像信息，从而便于采集到同一商品更多的特征信息，提高商品检测的准确性。
在一实施例中，所述S21包括：
S211：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
具体的，智能售货机存在多层货架，将智能售货机放置商品的区域分为多个商品区，其中，商品区包括智能售货机的货柜内对应的第一区域和商品离开智能售货机的货柜外的第二区域，第二区域的区域大小根据需要自由设定，各商品区包括至少一层货架，摄像头的视角沿货架的排列方向设置，如智能售货机的货架从上至下包括多层货架，将各摄像头分别设置在智能售货机的左右侧壁上，各摄像头的视角为从左上至右下或从右上至左下或从上至下。其中，设置在同一商品区位于不同侧的摄像头，其安装高度相同。
S212：获取在各商品区相向设置的各摄像头采集的视角范围内的基础视频；
S213：对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼接，得到各帧所述目标图像；
其中，所述物理拼接为拼接后的图像为参与拼接的所有图像的尺寸和。
具体的，在用户从智能售货机开始购物或商家向智能售货机上货时，各摄像头从不同角度获取用户或商家拿取或放回商品的基础视频(该基础视频为被拿取或放回商品的直接视频，即视频中包含被拿取或放回的商品)，并将不同摄像头获取的基础视频的各帧图像按采集时序进行物理拼接，得到最终由拼接图像组成的目标视频；其中，同一事件为用户或商家一次购物或上货的全过程。
需要说明的是：物理拼接为将两张图像拼接为一张图像，拼接后的图像为参与拼接的图像尺寸和；同时，不同视频的各帧图像进行物理拼接为：第一视频的第一帧图像、第二视频的第一帧图像…第N视频的第一帧图像进行拼接，第一视频的第二帧图像、第二视频的第二帧图像…第N视频的第二帧图像进行拼接，依次类推，第一视频的第n帧图像、第二视频的第n帧图像…第N视频的第n帧图像进行拼接，得到各目标图像。
S22：对各所述目标图像进行特征提取，得到各基础商品的所述商品信息的多维特征向量；
具体的，对各基础商品进行特征提取，得到与各商品一一对应多维特征向量，如512维特征向量、256维特征向量。
S23：将各基础商品的所述多维特征向量与智能售货机内其他类别商品的多维特征向量进行对比，得到各基础商品与智能售货机的商品区内其他类别商品的目标相似度。
具体的，将各基础商品的多维特征向量与其他类别商品的多维特征向量进行对比，得到各基础商品与其他类别商品的各目标相似度；需要说明的是：每一个商品在商家进行上货时，均会提取各商品的多维特征向量并按商品的类别进行储存，同时会实时记录智能售货机中各类商品的数量及放置位置。
在一实施例中，所述S23包括：
S231：获取各基础商品的多个多维特征向量；
S232：根据各基础商品的所述多维特征向量和智能售货机内其他类别商品的所述多维特征向量，利用公式Simliar(X,Y)＝max(cos(xi,yj))计算各所述目基础商品与其他类别商品的相似度；
其中，X表示各基础商品，Y表示智能售货机内其他类别商品，
Figure BDA0003625410030000101
Figure BDA0003625410030000102
表示2个向量之间的余弦距离，xi∈X，xi代表基础商品X第i个特征向量；yj∈Y，yj代表智能售货机中其他类别商品Y第j个特征向量；0≤i,j≤n,n代表特征向量的维度。
具体的，每一帧目标图像包括多个摄像头在同一时刻对同一基础商品以不同角度拍摄的图像，因此，每一帧目标图像中同一个商品在多个区域存在，分别从各帧目标图像的各区域获取该商品的多个多维特征向量，然后利用公式
Figure BDA0003625410030000103
对各类别商品的各多维基础特征向量进行归一化处理，从而得到对应的各多维特征向量，然后将当前基础商品的多个多维特征向量以矩阵形式与其他类别的多个多维特征向量的矩阵相乘得到当前基础商品与其他类别的各相似度；具体采用公式利用公式Simliar(X,Y)＝max(cos(xi,yj))计算各所述目基础商品与其他类别商品的相似度；
其中，X表示各基础商品，Y表示智能售货机内其他类别商品，
Figure BDA0003625410030000111
Figure BDA0003625410030000112
表示2个向量之间的余弦距离，xi∈X，xi代表基础商品X第i个特征向量；yj∈Y，yj代表智能售货机中其他类别商品Y第j个特征向量；0≤i,j≤n,n代表特征向量的维度。Qk为基础商品X的第k个特征向量进行归一化处理后对应的特征向量。
S3：根据各所述目标相似度和所述动作类别，输出相似度符合要求的基础商品中目标商品的处理方式；
其中，所述处理方式包括：智能售货机上货时对应的第一处理方式和用户自动购物对应的第二处理方式。
具体的，根据当前操作的基础商品与其他类商品的目标相似度，将符合要求的目标相似度对应的基础商品进行处理，避免计算机在进行商品检测是出现误检；具体将符合要求的基础商品按当前操作的动作类型进行分类处理，如：若相似商品为商家向智能售货机上货阶段，则处理方式包括不限于将相似商品放入不同的商品区或阻止新增相似商品到智能售货机，如常见饮料“王老吉”和“加多宝”的包装相似度极高，当智能售货机内存在其中一款时，则建议不将另一商品加入售货机，或将两种商品加入售货机的不同区域，以便增加商品识别的辨识度，若相似商品为用户挑选的商品，则处理方式包括不限于获取用户同时挑选的商品类别和商品所属的商品区；若用户同时一次挑选多件商品，且该多件商品存在相似商品，则输出人工校验；若用户一次挑选的相似商品为与未被挑选中的商品互为相似商品，则根据商品所属的商品区域记载的商品信息进行输出。
在一实施例中，若所述动作类别为第一动作类别，请参见图3，所述S3包括：
S310：获取不同类别的商品相似度的第一相似度阈值和第二相似度阈值，其中，第一相似度阈值小于第二相似度阈值；
具体的，对商家向智能售货机上货的操作设置相似商品处理的第一相似度阈值和第二相似度阈值，可以进行相似商品的差异化处理。
S311：将所述目标相似度与所述第一相似度阈值和/或所述第二相似度阈值对比，得到所述第一动作对应的第一对比结果；
S312：若所述第一对比结果为所述目标相似度位于所述第一相似度阈值和所述第二相似度阈值之间，则输出放置目标商品的目标商品区作为所述第一处理方式；
S313：若所述第一对比结果大于等于所述第二相似度阈值，则输出禁止新增对应目标商品作为所述第一处理方式；
其中，所述目标商品区为不同于与目标商品相似的其他类别商品所在的商品区。
具体的，当商家向自动售货机放入商品时，若放入商品为新增类别，则判断该商品与智能售货机中已存在的商品的相似度，若相似度大于第一相似度阈值小于第二相似度阈值，则认为新增商品与已有商品存在误检可能，则将该新增商品与相似商品存放在不同商品区，以便通过商品位置来确认商品类别；若相似度大于第二相似度阈值，则认为新增商品与已有商品存在算法无法识别造成混检问题，因此将这类相似度特别高的不同类商品仅保留其一留在智能售货机中，通过该方法可以提高智能售货机的利用率。
在一实施例中，若所述动作类别为第一动作类别，所述S3包括：
S314：获取所述目标相似度对应的各类商品的历史上货信息和历史换货信息；
S315：根据所述历史上货信息和所述历史换货信息，调整所述目标相似度对应的各类商品的保有量和摆放位置作为所述第一处理方式。
具体的，当在上货时发现存在与上货商品相似的其他商品，此时获取相似度符合要求的各类商品(包括当前上货商品对应的商品类别和与该上货商品相似的其他商品对应的商品类别，如：上货商品为“王老吉”，相似商品为“加多宝”，则获取“王老吉”和“加多宝”各自的历史上货信息和历史换货信息)的历史上货信息和历史换货信息，然后来判断各类商品的受消费者喜好程度，从而将更受消费者青睐的商品放置在视线更佳的摆放位置，以及提供更大保有量的区域用于放置更受青睐的商品；其中，历史上货信息主要指商品销量好，货品不足时，进行补充的商品信息；历史换货信息主要指商品销量差，而导致商品临近保质期不得不更换新商品的商品信息。
在一实施例中，若所述动作类别为第二动作类别，且智能售货机中存在相目标似度大于所述第一相似度阈值小于所述第二相似度阈值，或大于所述第二相似度阈值的不同类商品时，请参见图4，所述S3包括：
S320：获取不同类别的商品相似度的第三相似度阈值；
具体的，当智能售货机中已经存在至少两种相似商品时，设置相似商品判断的第三相似度阈值，该第三相似度阈值为动态可变化的相似度值，如：商家上货后，商品A与商品B的相似度为小于等于0.8，且智能售货机中仅存在这一组相似商品，当用户在挑选商品时，挑选到的目标商品与其他类别的商品的相似度达到0.8时，则需要进行特殊处理；当商品A或者商品B售完，此时将取消相似度检测；当商家在下一次上货时，存在商品C与商品D相似度为0.7，商品E与商品F相似度为0.8，则第三相似度阈值为小于等于0.7；当商品C或商品D售完，商品E和商品F均还有时，则第三相似度阈值调整为小于等于0.8。
S321：若所述目标相似度大于所述第三相似度阈值，则获取各所述目标商品所属商品区的第一位置信息；
具体的，当检测到用户挑选的商品与智能售货机中其他类商品存在相似度大于第三相似度阈值，则获取用户挑选的商品所属的商品区，记为第一位置信息；如：用户只挑选了一件商品，则直接根据该商品的所在的商品区确定该商品的商品信息；若用户挑选了多件商品，且其中存在两件以上互为相似的不同类商品，则将用户挑选商品的视频发送给服务器由人工审核；两件以上互为相似的不同类商品包括不限于：用户一次拿的多件商品或用户经过多次拿商品对应的多个商品。
S322：根据各所述第一位置信息，输出与目标商品的位置信息对应的所述第二处理方式；
其中，所述第二处理方式包括：当各所述目标商品的第一位置信息相同时，直接输出所述第一位置信息对应的商品类别作为第一结果；当各所述目标商品的第一位置信息不同时，输出各所述目标商品经人工校验后的商品类别作为第二结果。
在一实施例中，所述S322之后还包括：
S330：获取所述第一结果或所述第二结果包含的目标商品的数量和对应的类别；
S331：根据所述目标商品的数量和类别，输出智能售货机的各商品区中剩余相似商品的目标商品信息；
其中，所述目标商品信息包括相似商品的数量、类别和所属的商品区位置。
采用本实施例的无人贩售相似商品的智能辨识方法，通过获取智能售货机当前操作的动作类型，确认属于商家操作还是用户操作；同时采集各基础商品的商品信息；从而确定正在操作的基础商品是否存在相似度高的其他商品，然后根据当前操作的动作类别进行相应的处理，包括不限于商家操作时分区域放置商品、不放入，以及用户操作时根据商品位置对应记录的类别确定商品类型或人工审核，避免相似商品造成误检，减少异常订单产生，提高用户体验效果。
实施例2
本发明实施例2基于实施例1的方法对应还提供了一种无人贩售相似商品的智能辨识装置，请参见图5，包括：
数据采集模块：用于获取智能售货机的当前操作的动作类别和与当前操作对应的各基础商品的商品信息，其中，所述动作类别包括商家对自动售货机新增商品的第一动作类别和用户从自动售货机挑选商品的第二动作类别；
相似度计算模块：用于根据各基础商品的所述商品信息，确定各基础商品与智能售货机的商品区内其他商品的相似度；
数据处理模块：用于根据各所述目标相似度和所述动作类别，输出相似度符合要求的基础商品中目标商品的处理方式；
其中，所述处理方式包括：智能售货机上货时对应的第一处理方式和用户自动购物对应的第二处理方式。
在一实施例中，所述相似度计算模块包括：
第一图像采集单元：获取在多个角度同时获取的各基础商品的目标图像；
第一特征提取单元：对各所述目标图像进行特征提取，得到各基础商品的所述商品信息的多维特征向量；
第一相似度对比单元：将各基础商品的所述多维特征向量与智能售货机内其他类别商品的多维特征向量进行对比，得到各基础商品与智能售货机的商品区内其他类别商品的目标相似度。
在一实施例中，所述第一相似度对比单元包括：
第一向量获取单元：获取各基础商品的多个多维度特征向量；
第一相似度计算单元：根据各基础商品的所述多维特征向量和智能售货机内其他类别商品的所述多维特征向量，利用公式Simliar(X,Y)＝max(cos(xi,yj))计算各所述目基础商品与其他类别商品的相似度；
其中，X表示各基础商品，Y表示智能售货机内其他类别商品，
Figure BDA0003625410030000161
Figure BDA0003625410030000162
表示2个向量之间的余弦距离，xi∈X，xi代表基础商品X第i个特征向量；yj∈Y，yj代表智能售货机中其他类别商品Y第j个特征向量；0≤i,j≤n,n代表特征向量的维度。
在一实施例中，所述第一图像采集单元包括：
商品区信息获取单元：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
基础视频获取单元：获取在各商品区相向设置的各摄像头采集的视角范围内的基础视频；
图像拼接单元：对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼接，得到各帧所述目标图像；
其中，所述物理拼接为拼接后的图像为参与拼接的所有图像的尺寸和。
在一实施例中，若所述动作类别为第一动作类别，所述数据处理模块包括：
第一相似度阈值获取单元：获取不同类别的商品相似度的第一相似度阈值和第二相似度阈值，其中，第一相似度阈值小于第二相似度阈值；
第一对比单元：将所述目标相似度与所述第一相似度阈值和/或所述第二相似度阈值对比，得到所述第一动作对应的第一对比结果；
第一处理单元：若所述第一对比结果为所述目标相似度位于所述第一相似度阈值和所述第二相似度阈值之间，则输出放置目标商品的目标商品区作为所述第一处理方式；
第二处理单元：若所述第一对比结果大于等于所述第二相似度阈值，则输出禁止新增对应目标商品作为所述第一处理方式；
其中，所述目标商品区为不同于与目标商品相似的其他类别商品所在的商品区。
在一实施例中，若所述动作类别为第二动作类别，且智能售货机中存在相目标似度大于所述第一相似度阈值小于所述第二相似度阈值，或大于所述第二相似度阈值的不同类商品时，所述相似度计算模块包括：
第二相似度获取单元：获取不同类别的商品相似度的第三相似度阈值；
第一位置获取单元：若所述目标相似度大于所述第三相似度阈值，则获取各所述目标商品所属商品区的第一位置信息；
第三处理单元：根据各所述第一位置信息，输出与目标商品的位置信息对应的所述第二处理方式；
其中，所述第二处理方式包括：当各所述目标商品的第一位置信息相同时，直接输出所述第一位置信息对应的商品类别作为第一结果；当各所述目标商品的第一位置信息不同时，输出各所述目标商品经人工校验后的商品类别作为第二结果。
在一实施例中，所述第三助力单元之后还包括：
类别信息获取单元：获取所述第一结果或所述第二结果包含的目标商品的数量和对应的类别；
商品信息输出单元：根据所述目标商品的数量和类别，输出智能售货机的各商品区中剩余相似商品的目标商品信息；
其中，所述目标商品信息包括相似商品的数量、类别和所属的商品区位置。
采用本实施例的无人贩售相似商品的智能辨识装置，通过获取智能售货机当前操作的动作类型，确认属于商家操作还是用户操作；同时采集各基础商品的商品信息；从而确定正在操作的基础商品是否存在相似度高的其他商品，然后根据当前操作的动作类别进行相应的处理，包括不限于商家操作时分区域放置商品、不放入，以及用户操作时根据商品位置对应记录的类别确定商品类型或人工审核，避免相似商品造成误检，减少异常订单产生，提高用户体验效果。
实施例3
本发明提供了一种智能售货机设备和存储介质，如图6所示，包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路，智能售货机为商品区位置设置有能覆盖全部商品区的柜门，该柜门为可开启和关闭的活动柜门，同时该智能售货机还包括设有摄像头、二维码、条形码等便于购物的识别设备。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例方式一中任意一种多视角图像分析的订单生成方法、基于图像拼接去重的订单生成方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
综上所述，本发明实施例提供了一种无人贩售相似商品的智能辨识方法、装置、智能售货机及存储介质。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种无人贩售相似商品的智能辨识方法，其特征在于，所述方法包括：
S1：获取智能售货机的当前操作的动作类别和与当前操作对应的各基础商品的商品信息，其中，所述动作类别包括商家对自动售货机新增商品的第一动作类别和用户从自动售货机挑选商品的第二动作类别；
S2：根据各基础商品的所述商品信息，确定各基础商品与智能售货机的商品区内其他商品的相似度；
S3：根据各所述目标相似度和所述动作类别，输出相似度符合要求的基础商品中目标商品的处理方式；
其中，所述处理方式包括：智能售货机上货时对应的第一处理方式和用户自动购物对应的第二处理方式。
2.根据权利要求1所述的无人贩售相似商品的智能辨识方法，其特征在于，所述S2包括：
S21：获取在多个角度同时获取的各基础商品的目标图像；
S22：对各所述目标图像进行特征提取，得到各基础商品的所述商品信息的多维特征向量；
S23：将各基础商品的所述多维特征向量与智能售货机内其他类别商品的多维特征向量进行对比，得到各基础商品与智能售货机的商品区内其他类别商品的目标相似度。
3.根据权利要求2所述的无人贩售相似商品的智能辨识方法，其特征在于，所述S23包括：
S231：获取各基础商品的多个多维度基础特征向量；
S232：根据各基础商品的所述多维特征向量和智能售货机内其他类别商品的所述多维特征向量，利用公式Simliar(X,Y)＝max(cos(xi,yj))计算各所述目基础商品与其他类别商品的相似度；
其中，X表示各基础商品，Y表示智能售货机内其他类别商品，
Figure FDA0003625410020000021
Figure FDA0003625410020000022
表示2个向量之间的余弦距离，xi∈X，xi代表基础商品X第i个特征向量；yj∈Y，yj代表智能售货机中其他类别商品Y第j个特征向量；0≤i,j≤n,n代表特征向量的维度。
4.根据权利要求2所述的无人贩售相似商品的智能辨识方法，其特征在于，所述S21包括：
S211：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
S212：获取在各商品区相向设置的各摄像头采集的视角范围内的基础视频；
S213：对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼接，得到各帧所述目标图像；
其中，所述物理拼接为拼接后的图像为参与拼接的所有图像的尺寸和。
5.根据权利要求1至4任一项所述的无人贩售相似商品的智能辨识方法，其特征在于，若所述动作类别为第一动作类别，所述S3包括：
S310：获取不同类别的商品相似度的第一相似度阈值和第二相似度阈值，其中，第一相似度阈值小于第二相似度阈值；
S311：将所述目标相似度与所述第一相似度阈值和/或所述第二相似度阈值对比，得到所述第一动作对应的第一对比结果；
S312：若所述第一对比结果为所述目标相似度位于所述第一相似度阈值和所述第二相似度阈值之间，则输出放置目标商品的目标商品区作为所述第一处理方式；
S313：若所述第一对比结果大于等于所述第二相似度阈值，则输出禁止新增对应目标商品作为所述第一处理方式；
其中，所述目标商品区为不同于与目标商品相似的其他类别商品所在的商品区。
6.根据权利要求1至4任一项所述的无人贩售相似商品的智能辨识方法，其特征在于，若所述动作类别为第二动作类别，且智能售货机中存在相目标似度大于所述第一相似度阈值小于所述第二相似度阈值，或大于所述第二相似度阈值的不同类商品时，所述S3包括：
S320：获取不同类别的商品相似度的第三相似度阈值；
S321：若所述目标相似度大于所述第三相似度阈值，则获取各所述目标商品所属商品区的第一位置信息；
S322：根据各所述第一位置信息，输出与目标商品的位置信息对应的所述第二处理方式；
其中，所述第二处理方式包括：当各所述目标商品的第一位置信息相同时，直接输出所述第一位置信息对应的商品类别作为第一结果；当各所述目标商品的第一位置信息不同时，输出各所述目标商品经人工校验后的商品类别作为第二结果。
7.根据权利要求6所述的无人贩售相似商品的智能辨识方法，其特征在于，所述S322之后还包括：
S330：获取所述第一结果或所述第二结果包含的目标商品的数量和对应的类别；
S331：根据所述目标商品的数量和类别，输出智能售货机的各商品区中剩余相似商品的目标商品信息；
其中，所述目标商品信息包括相似商品的数量、类别和所属的商品区位置。
8.一种无人贩售相似商品的智能辨识装置，其特征在于，所述装置包括：
数据采集模块：用于获取智能售货机的当前操作的动作类别和与当前操作对应的各基础商品的商品信息，其中，所述动作类别包括商家对自动售货机新增商品的第一动作类别和用户从自动售货机挑选商品的第二动作类别；
相似度计算模块：用于根据各基础商品的所述商品信息，确定各基础商品与智能售货机的商品区内其他商品的相似度；
数据处理模块：用于根据各所述目标相似度和所述动作类别，输出相似度符合要求的基础商品中目标商品的处理方式；
其中，所述处理方式包括：智能售货机上货时对应的第一处理方式和用户自动购物对应的第二处理方式。
9.一种智能售货机，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202210490245.1A 2022-04-29 2022-04-29 无人贩售相似商品的智能辨识方法、装置及智能售货机 Pending CN114863141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210490245.1A CN114863141A (zh) 2022-04-29 2022-04-29 无人贩售相似商品的智能辨识方法、装置及智能售货机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210490245.1A CN114863141A (zh) 2022-04-29 2022-04-29 无人贩售相似商品的智能辨识方法、装置及智能售货机

Publications (1)

Publication Number Publication Date
CN114863141A true CN114863141A (zh) 2022-08-05

Family

ID=82635340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210490245.1A Pending CN114863141A (zh) 2022-04-29 2022-04-29 无人贩售相似商品的智能辨识方法、装置及智能售货机

Country Status (1)

Country Link
CN (1) CN114863141A (zh)

Similar Documents

Publication Publication Date Title
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
CN108846621B (zh) 一种基于策略模块的库存管理系统
US20210056498A1 (en) Method and device for identifying product purchased by user and intelligent shelf system
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
CN108269371B (zh) 商品自动结算方法、装置、自助收银台
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
CN106952402A (zh) 一种数据处理方法及装置
CN112466035B (zh) 基于视觉和重力感应的商品识别方法、装置和系统
CN112381982B (zh) 一种基于深度学习构建的无人超市系统
US20090195388A1 (en) Flow line recognition system
EP4075399A1 (en) Information processing system
CN113780248B (zh) 多视角识别商品智能生成订单方法、装置及智能售货机
US20210398097A1 (en) Method, a device and a system for checkout
EP2570967A1 (en) Semi-automatic check-out system and method
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111429194B (zh) 用户轨迹确定系统、方法、装置及服务器
CN113468914A (zh) 一种商品纯净度的确定方法、装置及设备
CN113723384B (zh) 多视角采集图像后融合的智能生成订单方法及智能售货机
CN113763136B (zh) 基于商品区重量变化对视频分段处理的智能生成订单方法
CN115170999A (zh) 基于商品重量组合进行图像分析的智能生成订单方法
CN114863141A (zh) 无人贩售相似商品的智能辨识方法、装置及智能售货机
CN114358881A (zh) 自助结算方法、装置和系统
CN113727029B (zh) 多视角采集图像后合并的智能生成订单方法及智能售货机
CN113723383B (zh) 异视角同步识别同区域商品的订单生成方法及智能售货机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination