CN111353527A - 智能货柜的商品摆放方法、装置及计算设备 - Google Patents

智能货柜的商品摆放方法、装置及计算设备 Download PDF

Info

Publication number
CN111353527A
CN111353527A CN202010103436.9A CN202010103436A CN111353527A CN 111353527 A CN111353527 A CN 111353527A CN 202010103436 A CN202010103436 A CN 202010103436A CN 111353527 A CN111353527 A CN 111353527A
Authority
CN
China
Prior art keywords
commodity
placing
commodities
similarity
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010103436.9A
Other languages
English (en)
Other versions
CN111353527B (zh
Inventor
王文琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shenzhen Robotics Systems Co Ltd filed Critical Cloudminds Shenzhen Robotics Systems Co Ltd
Priority to CN202010103436.9A priority Critical patent/CN111353527B/zh
Publication of CN111353527A publication Critical patent/CN111353527A/zh
Application granted granted Critical
Publication of CN111353527B publication Critical patent/CN111353527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明实施例涉及自动销售技术领域，公开了一种智能货柜的商品摆放方法、装置及计算设备，包括：根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；根据所述摆放规则将透明商品摆放在不受颜色影响的位置；根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。通过上述方式，本发明实施例能够提高对商品检测识别的准确率，提高用户体验。

Description

智能货柜的商品摆放方法、装置及计算设备
技术领域
本发明实施例涉及自动销售技术领域，具体涉及一种智能货柜的商品摆放方法、装置及计算设备。
背景技术
智能货柜目前的视觉方案主要通过鱼眼镜头作为视觉采集器对货柜中的商品进行检测识别的，之所以选用鱼眼镜头而不是普通镜头是利用了鱼眼镜头视角大的特点，在货柜中有限层高度的条件下，仅仅使用一个镜头就可以收集到整层货柜的商品俯视图视觉信息。但是当商品以任意的方式摆放时：商品倒放、不分类的放，仅由一个鱼眼镜头会造成由于商品高矮不同，相互遮挡造成的视觉盲区；以任意方式摆放商品也不符合货柜中商品消费的行为习惯逻辑，比如一个矮商品摆放在货柜最里面时，从用户的视角很难看到这个商品，从而影响该商品的消费。
如图1中的图a，商品乱摆放，毫无规则时，最里面的商品在镜头下可以看到，但是从消费者的视角很难发现，对消费者和商品识别算法都有不利影响。即便商品看似规则的摆放，也可能存在一些问题，如图1中的图b，内侧的商品实际中比外侧的商品要高，所以把内侧的商品摆放在图b中位置时，外侧的商品被高的内侧的商品遮挡到只剩瓶盖，用目标检测算法只对一个瓶盖进行检测识别，对目标检测造成了很大影响，因为当商品种类很多时，有多种商品的瓶盖可能相似度非常高，仅凭瓶盖难以准确识别一个商品的种类。综上，为了更好的提高用户的消费体验和货柜商品识别算法的准确率，单一鱼眼镜头的智能货柜视觉方案需要一个具体的商品摆放规则。
发明内容
鉴于上述问题，本发明实施例提供了一种智能货柜的商品摆放方法、装置及计算设备，克服了上述问题或者至少部分地解决了上述问题。
根据本发明实施例的一个方面，提供了一种智能货柜的商品摆放方法，包括：根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；根据所述摆放规则将透明商品摆放在不受颜色影响的位置；根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。
在一种可选的方式中，所述根据预设的规则对智能货柜中的商品从中间向外围进行U型摆放，包括：计算鱼眼镜头离商品顶部平面的垂直距离，将商品进行高矮分类；将高类别商品放置在接近视角边缘处，将矮类别商品放置在靠近视角中间的位置处，相邻两类商品的高度差为刚好露出较高类商品露出预设高度。
在一种可选的方式中，所述根据所述摆放规则将透明商品摆放在不受颜色影响的位置，包括：将商品分为浅色商品和深色商品；将所述浅色商品摆放在所述透明商品的远离鱼眼镜头的一侧，将所述深色商品摆放在所述透明商品的靠近鱼眼镜头的一侧。
在一种可选的方式中，所述根据所述摆放规则将外观相似度高于阈值的商品分层摆放，包括：应用深度学习分类算法获取两种商品的相似度；将所述相似度与所述阈值进行比较；如果所述相似度大于所述阈值，则将两种商品摆放在不同的层。
在一种可选的方式中，所述应用深度学习分类算法获取两种商品的相似度，包括：获取两种所述商品的特征均值；应用以下关系式计算两种所述商品的相似度：Similarity2＝(V_mean_A2+V_mean_B2)/2，其中，Similarity为两种所述商品的相似度，V_mean_A为商品A的特征均值，V_mean_B为商品B的特征均值。
在一种可选的方式中，所述获取商品的特征均值，包括：采集所述商品的1张俯视图图片和4个侧面的侧视图图片；将5张所述图片分别输入到深度学习分类算法模型进行特征提取，分别输出5张所述图片的特征向量；计算5张所述图片的所述特征向量的平均值，作为所述商品的特征均值。
在一种可选的方式中，所述商品摆放方法还包括：同一列只摆放同一种商品。
根据本发明实施例的另一方面，提供了一种智能货柜的商品摆放装置，所述装置包括：U型摆放单元，用于根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；透明商品摆放单元，用于根据所述摆放规则将透明商品摆放在不受颜色影响的位置；分层摆放单元，用于根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。
根据本发明实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述智能货柜的商品摆放方法的步骤。
根据本发明实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述智能货柜的商品摆放方法的步骤。
本发明实施例的智能货柜的商品摆放方法包括：根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；根据所述摆放规则将透明商品摆放在不受颜色影响的位置；根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放；能够提高对商品检测识别的准确率，提高用户体验。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了现有技术中的智能货柜的商品摆放示意图；
图2示出了本发明实施例提供的智能货柜的商品摆放方法的流程示意图；
图3示出了本发明实施例提供的智能货柜的商品摆放方法的商品与鱼眼镜头的垂直距离计算示意图；
图4示出了本发明实施例提供的智能货柜的商品摆放方法的商品摆放示意图；
图5示出了本发明实施例提供的智能货柜的商品摆放装置的结构示意图；
图6示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的智能货柜的商品摆放方法的流程示意图，本发明实施例的智能货柜的商品摆放方法应用于带鱼眼镜头的智能货柜。如图1所示，智能货柜的商品摆放方法包括：
步骤S11：根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放。
在本发明实施例中，对整个智能货柜中的每一层设定一个基本规则：U型摆放。具体地，计算鱼眼镜头离商品顶部平面的垂直距离，将商品进行高矮分类；将高类别商品放置在接近视角边缘处，将矮类别商品放置在靠近视角中间的位置处，相邻两类商品的高度差为刚好露出较高类商品露出预设高度。商品摆满货柜的一层后，如图3所示，以消费者的视角从侧面看，是一个中间低两边高的轮廓图，但并不是完全左右对称的，因为不同种类商品高度不同。U型摆放规则可以解决高类商品遮挡住高矮类商品造成的误检漏检问题。
在本发明实施例中，根据鱼眼镜头的视角参数和智能货柜每层用于摆放商品的尺寸，来计算出商品高类别的上限高度。当商品高度超出这个高度时，该商品超出高度限制，不能摆放在智能货柜中。如图3所示为求商品高度上限，可以根据鱼眼图像视角边缘一个商品高度为例，由鱼眼镜头离商品顶部距离s和该商品在智能货柜中的摆放位置w求出镜头离该商品顶部平面的垂直距离h：h2＝s2+w2。其中，鱼眼图像视角边缘可以为货柜一层中边缘的四个角落，求出该四个角落的四个商品的高度后，取最大值为商品上限：h_limit＝max{h1,h2,h3,h4}。
商品高矮之间的差距按照如上方法计算，可定义两类高度差h_d为在镜头视角中刚好露出高商品瓶身1/5部分。
步骤S12：根据所述摆放规则将透明商品摆放在不受颜色影响的位置。
在本发明实施例中，商品按照U型摆放规则摆放的大前提下，为了解决透明商品后的商品颜色干扰的问题，需要将透明商品优先摆放在不受影响的位置。具体地，将商品分为浅色商品和深色商品；将浅色商品摆放在所述透明商品的远离鱼眼镜头的一侧，将所述深色商品摆放在所述透明商品的靠近鱼眼镜头的一侧。即在鱼眼镜头的视角下，对摆放在透明商品后面的商品进行颜色筛选，干扰较严重的深色商品不摆放在透明商品后面。其中，浅色颜色包括：白色、锡白色、鹅黄色、淡粉色、果绿色、粉绿色、淡蓝色以及淡紫色等。深色颜色包括：黑色、深蓝、墨绿、正红、紫色、咖啡色等。
步骤S13：根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。
具体地，应用深度学习分类算法获取两种商品的相似度；将所述相似度与所述阈值进行比较；如果所述相似度大于所述阈值，则将两种商品摆放在不同的层。
在本发明实施例中，首先获取两种所述商品的特征均值，然后根据两种商品的特征均值计算该两种商品的相似度。即判断商品相似度可以用深度学习分类算法对同种类单个商品多个面的照片进行特征值提取，将提取后的特征进行方差计算。具体地，在减少背景干扰的固定场景中，采集所述商品的1张俯视图图片和4个侧面的侧视图图片，以该5个图片作为该商品的特征的标准图片。然后，将5张所述图片分别输入到深度学习分类算法模型进行特征提取，分别输出5张所述图片的特征向量V＝{v1，v2，v3，v4，v5}；计算5张所述图片的所述特征向量的平均值，作为所述商品的特征均值，商品的特征均值V_mean＝V/5。
获得商品的特征均值后，应用以下关系式计算两种所述商品的相似度：
Similarity2＝(V_mean_A2+V_mean_B2)/2，
其中，Similarity为两种所述商品的相似度，V_mean_A为商品A的特征均值，V_mean_B为商品B的特征均值。当相似度Similarity大于阈值H，则视为两种商品相似度过高，摆放时将该两种商品分层摆放。
在本发明实施例中，阈值的选取可以根据实际测试结果来定，当智能货柜中两种商品非常容易识别错误时，可以计算该两种商品的相似度作为一个关于阈值相似度选取的参考。也可以遍历计算所有商品之间的相似度，对结果进行排序降序，取相似度前10％的相似度均值，作为阈值的参考。
本发明实施例将智能货柜中商品外观相似度高于阈值H的商品分层摆放，不摆在货柜的同一层中，从而避免由于镜头畸变和商品相似度高引起的商品误检问题，提高货柜中商品的检测识别率。
在本发明实施例中，确保用户在智能货柜中能够轻易确认智能货柜中是否有自己想要的商品以及顺利的拿到自己想要的商品，本发明实施例的商品摆放方法还包括：同一列只摆放同一种商品，不能在一列中混合其他种商品。
本发明实施例根据智能货柜中的环境以及智能货柜中的商品识别技术，通过分析鱼眼镜头的视角畸变规律以及智能货柜中商品的种类，设定几个摆放规则来达到提高视觉算法准确率和提高用户体验的目的。通过对鱼眼镜头的视角畸变规律进行分析发现，镜头边缘的畸变程度比视角中间畸变程度大，所以摆放规则应该让摆放在视角边缘的商品尽可能露出更多的商品特征，减少遮挡，提高算法对商品检测识别的准确率。当商品处在镜头边缘和次边缘时，如图4中图a中的百岁山41和后面的芬达橙味汽水42，由于百岁山的颜色是透明的，在鱼眼镜头的视角下，百岁山被后面的芬达汽水改变了颜色，对目标检测造成了影响，本发明实施例的商品摆放方法能够尽可能的减少这种影响。另外，当商品外形非常相似时，比如图4中图b中的王老吉43和可口可乐4，通过设定摆放规则，让图b中两个外观非常相似的商品分布在商品的不同层摆放，从而减少对商品的误检情况。商品摆放规则应该考虑用户买商品的消费习惯，能够让用户清晰的了解智能货柜中售卖的商品，方便用户拿取到自己想要的商品。
本发明实施例的智能货柜的商品摆放方法包括：根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；根据所述摆放规则将透明商品摆放在不受颜色影响的位置；根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放；能够提高对商品检测识别的准确率，提高用户体验。
图5示出了本发明实施例的智能货柜的商品摆放装置的结构示意图，如图5所示，该智能货柜的商品摆放装置包括：U型摆放单元51、透明商品摆放单元52以及分层摆放单元53。
U型摆放单元51用于根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；透明商品摆放单元52用于根据所述摆放规则将透明商品摆放在不受颜色影响的位置；分层摆放单元53用于根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。
在一种可选的方式中，U型摆放单元51用于：计算鱼眼镜头离商品顶部平面的垂直距离，将商品进行高矮分类；将高类别商品放置在接近视角边缘处，将矮类别商品放置在靠近视角中间的位置处，相邻两类商品的高度差为刚好露出较高类商品露出预设高度。
在一种可选的方式中，透明商品摆放单元52用于：将商品分为浅色商品和深色商品；将浅色商品摆放在所述透明商品的远离鱼眼镜头的一侧，将所述深色商品摆放在所述透明商品的靠近鱼眼镜头的一侧。
在一种可选的方式中，分层摆放单元53用于：应用深度学习分类算法获取两种商品的相似度；将所述相似度与所述阈值进行比较；如果所述相似度大于所述阈值，则将两种商品摆放在不同的层。
在一种可选的方式中，分层摆放单元53用于：获取两种所述商品的特征均值；应用以下关系式计算两种所述商品的相似度：Similarity2＝(V_mean_A2+V_mean_B2)/2，其中，Similarity为两种所述商品的相似度，V_mean_A为商品A的特征均值，V_mean_B为商品B的特征均值。
在一种可选的方式中，分层摆放单元53用于：采集所述商品的1张俯视图图片和4个侧面的侧视图图片；将5张所述图片分别输入到深度学习分类算法模型进行特征提取，分别输出5张所述图片的特征向量；计算5张所述图片的所述特征向量的平均值，作为所述商品的特征均值。
在一种可选的方式中，U型摆放单元51还用于：同一列只摆放同一种商品。
本发明实施例的智能货柜的商品摆放方法包括：根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；根据所述摆放规则将透明商品摆放在不受颜色影响的位置；根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放；能够提高对商品检测识别的准确率，提高用户体验。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的智能货柜的商品摆放方法。
可执行指令具体可以用于使得处理器执行以下操作：
根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；
根据所述摆放规则将透明商品摆放在不受颜色影响的位置；
根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
计算鱼眼镜头离商品顶部平面的垂直距离，将商品进行高矮分类；
将高类别商品放置在接近视角边缘处，将矮类别商品放置在靠近视角中间的位置处，相邻两类商品的高度差为刚好露出较高类商品露出预设高度。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
将商品分为浅色商品和深色商品；
将浅色商品摆放在所述透明商品的远离鱼眼镜头的一侧，将所述深色商品摆放在所述透明商品的靠近鱼眼镜头的一侧。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
应用深度学习分类算法获取两种商品的相似度；
将所述相似度与所述阈值进行比较；
如果所述相似度大于所述阈值，则将两种商品摆放在不同的层。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
获取两种所述商品的特征均值；
应用以下关系式计算两种所述商品的相似度：
Similarity2＝(V_mean_A2+V_mean_B2)/2，
其中，Similarity为两种所述商品的相似度，V_mean_A为商品A的特征均值，V_mean_B为商品B的特征均值。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
采集所述商品的1张俯视图图片和4个侧面的侧视图图片；
将5张所述图片分别输入到深度学习分类算法模型进行特征提取，分别输出5张所述图片的特征向量；
计算5张所述图片的所述特征向量的平均值，作为所述商品的特征均值。
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
同一列只摆放同一种商品。
本发明实施例本发明实施例的智能货柜的商品摆放方法包括：根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；根据所述摆放规则将透明商品摆放在不受颜色影响的位置；根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放；能够提高对商品检测识别的准确率，提高用户体验。
图6示出了本发明设备实施例的结构示意图，本发明具体实施例并不对设备的具体实现做限定。
如图6所示，该设备可以包括：处理器(processor)602、通信接口(CommunicationsInterface)604、存储器(memory)606、以及通信总线608。
其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。处理器602，用于执行程序610，具体可以执行上述智能货柜的商品摆放方法实施例中的相关步骤。
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行以下操作：
根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；
根据所述摆放规则将透明商品摆放在不受颜色影响的位置；
根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
计算鱼眼镜头离商品顶部平面的垂直距离，将商品进行高矮分类；
将高类别商品放置在接近视角边缘处，将矮类别商品放置在靠近视角中间的位置处，相邻两类商品的高度差为刚好露出较高类商品露出预设高度。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
将商品分为浅色商品和深色商品；
将浅色商品摆放在所述透明商品的远离鱼眼镜头的一侧，将所述深色商品摆放在所述透明商品的靠近鱼眼镜头的一侧。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
应用深度学习分类算法获取两种商品的相似度；
将所述相似度与所述阈值进行比较；
如果所述相似度大于所述阈值，则将两种商品摆放在不同的层。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
获取两种所述商品的特征均值；
应用以下关系式计算两种所述商品的相似度：
Similarity2＝(V_mean_A2+V_mean_B2)/2，
其中，Similarity为两种所述商品的相似度，V_mean_A为商品A的特征均值，V_mean_B为商品B的特征均值。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
采集所述商品的1张俯视图图片和4个侧面的侧视图图片；
将5张所述图片分别输入到深度学习分类算法模型进行特征提取，分别输出5张所述图片的特征向量；
计算5张所述图片的所述特征向量的平均值，作为所述商品的特征均值。
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
同一列只摆放同一种商品。
本发明实施例本发明实施例的智能货柜的商品摆放方法包括：根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；根据所述摆放规则将透明商品摆放在不受颜色影响的位置；根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放；能够提高对商品检测识别的准确率，提高用户体验。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种智能货柜的商品摆放方法，其特征在于，所述方法包括：
根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；
根据所述摆放规则将透明商品摆放在不受颜色影响的位置；
根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。
2.如权利要求1所述的轨迹生成方法，其特征在于，所述根据预设的规则对智能货柜中的商品从中间向外围进行U型摆放，包括：
计算鱼眼镜头离商品顶部平面的垂直距离，将商品进行高矮分类；
将高类别商品放置在接近视角边缘处，将矮类别商品放置在靠近视角中间的位置处，相邻两类商品的高度差为刚好露出较高类商品露出预设高度。
3.如权利要求1所述的轨迹生成方法，其特征在于，所述根据所述摆放规则将透明商品摆放在不受颜色影响的位置，包括：
将商品分为浅色商品和深色商品；
将浅色商品摆放在所述透明商品的远离鱼眼镜头的一侧，将所述深色商品摆放在所述透明商品的靠近鱼眼镜头的一侧。
4.如权利要求1所述的轨迹生成方法，其特征在于，所述根据所述摆放规则将外观相似度高于阈值的商品分层摆放，包括：
应用深度学习分类算法获取两种商品的相似度；
将所述相似度与所述阈值进行比较；
如果所述相似度大于所述阈值，则将两种商品摆放在不同的层。
5.如权利要求4所述的轨迹生成方法，其特征在于，所述应用深度学习分类算法获取两种商品的相似度，包括：
获取两种所述商品的特征均值；
应用以下关系式计算两种所述商品的相似度：
Similarity2＝(V_mean_A2+V_mean_B2)/2，
其中，Similarity为两种所述商品的相似度，V_mean_A为商品A的特征均值，V_mean_B为商品B的特征均值。
6.如权利要求5所述的轨迹生成方法，其特征在于，所述获取商品的特征均值，包括：
采集所述商品的1张俯视图图片和4个侧面的侧视图图片；
将5张所述图片分别输入到深度学习分类算法模型进行特征提取，分别输出5张所述图片的特征向量；
计算5张所述图片的所述特征向量的平均值，作为所述商品的特征均值。
7.如权利要求1所述的轨迹生成方法，其特征在于，所述商品摆放方法还包括：
同一列只摆放同一种商品。
8.一种智能货柜的商品摆放装置，其特征在于，所述装置包括：
U型摆放单元，用于根据预设的摆放规则对智能货柜中的商品从中间向外围进行U型摆放；
透明商品摆放单元，用于根据所述摆放规则将透明商品摆放在不受颜色影响的位置；
分层摆放单元，用于根据所述摆放规则将外观相似度高于参考阈值的商品分层摆放。
9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行根据权利要求1-7任一项所述智能货柜的商品摆放方法的步骤。
10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-7任一项所述智能货柜的商品摆放方法的步骤。
CN202010103436.9A 2020-02-20 2020-02-20 智能货柜的商品摆放方法、装置及计算设备 Active CN111353527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010103436.9A CN111353527B (zh) 2020-02-20 2020-02-20 智能货柜的商品摆放方法、装置及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010103436.9A CN111353527B (zh) 2020-02-20 2020-02-20 智能货柜的商品摆放方法、装置及计算设备

Publications (2)

Publication Number Publication Date
CN111353527A true CN111353527A (zh) 2020-06-30
CN111353527B CN111353527B (zh) 2023-06-16

Family

ID=71192291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010103436.9A Active CN111353527B (zh) 2020-02-20 2020-02-20 智能货柜的商品摆放方法、装置及计算设备

Country Status (1)

Country Link
CN (1) CN111353527B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182653A (ja) * 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US20180150944A1 (en) * 2016-01-18 2018-05-31 Shenzhen Arashi Vision Company Limited Method and Device For Rectifying Image Photographed by Fish-Eye Lens
CN109308630A (zh) * 2018-08-09 2019-02-05 虫极科技（北京）有限公司 一种智能货柜及其商品陈列方法
US20190188782A1 (en) * 2017-12-19 2019-06-20 Adroit Worldwide Media, Inc. Intelligent Shelf Display System

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180150944A1 (en) * 2016-01-18 2018-05-31 Shenzhen Arashi Vision Company Limited Method and Device For Rectifying Image Photographed by Fish-Eye Lens
JP2017182653A (ja) * 2016-03-31 2017-10-05 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US20190188782A1 (en) * 2017-12-19 2019-06-20 Adroit Worldwide Media, Inc. Intelligent Shelf Display System
CN109308630A (zh) * 2018-08-09 2019-02-05 虫极科技（北京）有限公司 一种智能货柜及其商品陈列方法

Also Published As

Publication number Publication date
CN111353527B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
US11574187B2 (en) Pedestrian attribute identification and positioning method and convolutional neural network system
CN108460389B (zh) 一种识别图像中对象的类型预测方法、装置及电子设备
EP3910608B1 (en) Article identification method and system, and electronic device
JP6098702B2 (ja) 複数の整理されたオブジェクトを含む画像を解析する方法、システム及びコンピュータ可読プログラム
Lu et al. Detecting citrus fruits and occlusion recovery under natural illumination conditions
US20160335490A1 (en) Method and apparatus for detecting persons, and non-transitory computer-readable recording medium
US10217083B2 (en) Apparatus, method, and program for managing articles
JP2014059875A (ja) 画像内のロゴの存在を検出する装置、及び方法
CN111401278A (zh) 安全帽识别方法、装置、电子设备及存储介质
CN111860494A (zh) 图像目标检测的优化方法、装置、电子设备和存储介质
JP2012532377A (ja) 非製品画像識別
Gothai et al. Design features of grocery product recognition using deep learning
Harbas et al. Detection of roadside vegetation using features from the visible spectrum
CN112906780A (zh) 一种果蔬图像分类系统及方法
CN111444796B (zh) 售货机器人的商品摆放判断方法及装置
Huang et al. Detecting shadows in high-resolution remote-sensing images of urban areas using spectral and spatial features
Ding et al. Semantic recognition of workpiece using computer vision for shape feature extraction and classification based on learning databases
CN113283405A (zh) 口罩检测方法、装置、计算机设备及存储介质
CN112784675A (zh) 目标检测方法及装置、存储介质、终端
CN111353527A (zh) 智能货柜的商品摆放方法、装置及计算设备
US20210166028A1 (en) Automated product recognition, analysis and management
CN114820681A (zh) 一种基于rgb相机的库位检测方法及系统
Zhao et al. Mobile-based hazmat sign detection and recognition
CN116612375A (zh) 物品识别方法、装置、存储介质及电子设备
CN114783000B (zh) 一种明厨亮灶场景下工作人员着装规范检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210129

Address after: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant