CN110837824B - 用于售货装置中的商品识别方法、售货装置及存储介质 - Google Patents

Abstract

本发明实施例涉及视觉识别领域，公开了一种用于售货装置中的商品识别方法、售货装置及存储介质。本发明中用于售货装置中的商品识别方法，售货装置包括商品放置空间，商品放置空间内放置有至少一个用于容纳商品的容纳结构，每个容纳结构设置有与各自容纳的商品相对应的标注信息，该方法包括：获取售货装置内商品放置空间的图像数据，其中，图像数据包括商品放置空间中的每个容纳结构上的标注信息；根据图像数据中的标注信息，确定从售货装置取出或放入的商品的种类和数量。通过采用本实施方式，使得售货装置可以快速且准确地进行商品的识别，提高售货装置识别商品的准确率，并降低售货装置识别商品的成本。

Description

用于售货装置中的商品识别方法、售货装置及存储介质

技术领域

本发明实施例涉及视觉识别领域，特别涉及一种用于售货装置中的商品识别方法、售货装置及存储介质。

背景技术

随着科技的不断的发展，出现了无人零售行业，无人零售主要指在无人情况下进行零售消费行为。无人零售是基于智能技术实现的无导购员和收银员值守的新零售服务，无人售货装置按具体形态从小到大可分为无人便利货架、货柜、自助贩售机等。无人售货装置可以自主识别被用户购买的商品，并进行自助扣费等操作。

发明人发现相关技术中至少存在如下问题：目前的无人售货装置通常通过重力和视觉识别的方式检测货柜内减少的商品，视觉识别是利用深度学习的方式，通过对大量的标注有商品信息的图像进行训练，得到用于进行商品识别的模型，该模型对图像中商品的识别的准确性依赖于大量精准标注有商品信息的图像，而通常商品的图像以及该商品图像中的标注信息均是由人工完成，这大大增加了商品识别的成本。

发明内容

本发明实施方式的目的在于提供一种用于售货装置中的商品识别方法、售货装置及存储介质，使得售货装置可以快速且准确地进行商品的识别，提高售货装置识别商品的准确率，并降低售货装置识别商品的成本。

为解决上述技术问题，本发明的实施方式提供了一种用于售货装置中的商品识别方法，售货装置包括商品放置空间，商品放置空间内放置有至少一个用于容纳商品的容纳结构，每个容纳结构设置有与各自容纳的商品相对应的标注信息，该方法包括：获取售货装置内商品放置空间的图像数据，其中，图像数据包括商品放置空间中的每个容纳结构上的标注信息；根据图像数据中的标注信息，确定从售货装置取出或放入的商品的种类和数量。

本发明的实施方式还提供了一种售货装置，包括：至少一个处理器；以及，至少一个图像采集装置，图像采集装置与所述处理器通信连接；与至少一个处理器通信连接的存储器；商品放置空间，商品放置空间内放置有至少一个用于容纳商品的容纳结构，每个容纳结构设置有与各自容纳的商品相对应的标注信息；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的用于售货装置中的商品识别方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的商品识别方法。

本发明实施方式相对于现有技术而言，获取商品放置空间的图像数据，该图像数据中包括了每个容纳结构上的标注信息，该容纳结构用于容纳对应的商品，根据各标注信息确定放置空间内取出或放入的商品的种类和数量；在容纳结构上标注有标注信息，使得仅需识别该标注信息，即可确定出该容纳结构内的商品所属种类，由于在确定从售货装置取出或放入的商品的种类和数量前无需进行商品识别的模型的训练，大大减少了售货装置对商品种类识别的成本；另外由于相似的商品的外形相似，往往在售货装置识别商品的种类的过程中会发生误识别的情况，本实施方式中由于只需识别容纳结构上的标注信息，而无需识别商品的外形、色彩等特征，不会误识别外形相似的商品，识别准确率高，且识别速度快。

另外，容纳结构的至少一个面标注有标注信息。标注信息可以有多个，多个标注信息可以提高识别的准确率

另外，容纳结构的至少一面为透明表面。容纳结构至少一面为透明表面，便于用户查看容纳结构内的商品，提高用户的使用体验。

另外，图像数据包括：上一次商品识别后商品放置空间的第一图像，以及当前商品放置空间的第二图像，并且，第一图像和第二图像分别包括对应的商品放置空间中的每个容纳结构上的标注信息；根据图像数据中的标注信息，确定从售货装置取出或放入的商品的种类和数量，具体包括：根据第一图像中的标注信息和第二图像中的标注信息，确定从售货装置取出或放入的商品的种类和数量。图像数据包括上一次识别后的图像和当前该放置空间的第二图像，通过两个图像中的标注信息，即可确定出从商品放置空间内取出或放入的商品的种类和数量，无需实时采集图像，简化了识别成本。

另外，根据第一图像中的标注信息和第二图像中的标注信息，确定从售货装置取出或放入的商品的种类和数量，包括：识别第一图像中的各标注信息；识别第二图像中的各标注信息；根据第一图像中的各标注信息，确定第一图像的第一识别结果，第一识别结果包括第一图像中各商品的所属种类以及每个种类的数量；根据第二图像中的各标注信息，确定第二图像的第二识别结果，第二识别结果包括第二图像中各商品的所属种类以及每个种类的数量；比对第一识别结果和第二识别结果，确定从售货装置取出或放入的商品的种类和数量。通过比对第一识别结果和第二识别结果，可以快速确定出从售货装置取出或放入的商品的种类和数量。

另外，根据第一图像中的标注信息和第二图像中的标注信息，确定从售货装置取出或放入的商品的种类和数量，包括：获取第一图像和第二图像之间的差异形成的差异图像；识别差异图像中的标注信息；根据差异图像中的标注信息，确定从售货装置取出或放入的商品的种类和数量。由于只需识别差异图像中的标注信息，加快了确定从售货装置取出或放入的商品的种类和数量的速度。

另外，在确定从所述售货装置取出或放入的商品的种类和数量之后，所述商品识别方法还包括：检测图像数据中是否存在被损坏的容纳结构；若确定存在被损坏的容纳结构，则根据被损坏的容纳结构上的标注信息，更新从售货装置内取出的商品的种类和数量。通过判断图像中各容纳结构是否破坏，进一步完善确定从售货装置内取出的商品的种类和数量，进一步提高确定的准确性。

另外，标注信息位于容纳结构的封口处，且覆盖封口处；检测图像数据中是否存在损坏的容纳结构，包括：获取图像数据中的每个容纳结构的图像；分别对每个容纳结构的图像进行如下处理：判断容纳结构上位于封口处的标注信息对应的图像是否有破损，若确定有破损，则确定容纳结构被损坏；若确定无破损，则确定容纳结构完整。将标注信息设置在容纳结构的封口处，且标注信息覆盖封口处，通过对封口处的标注信息对应的图像是否破损进行判断，即可快速确定出该容纳结构是否被损坏，提高检测图像数据中是否存在损坏的容纳结构的速度。

另外，售货装置还包括柜门；获取商品放置空间的图像数据，具体包括：在检测到柜门被开启时，则采集商品放置空间的图像，并将采集的图像作为第一图像；在检测到柜门被关闭时，则采集商品放置空间的图像，并将采集的图像作为第二图像；其中，柜门开启的次数等于柜门关闭的次数。由于在售货装置的柜门开启后，商品放置空间内的商品的种类和数量存在变化的可能，因此，将柜门的开启后采集的图像作为第一图像，以及将柜门关闭后采集的图像作为第二图像，使得获得的第一图像和第二图像较为准确，提高确定售货装置内商品的种类和数量的准确性。

另外，获取商品放置空间的图像数据，包括：在确定检测位置有用户的情况下，采集商品放置空间的图像，并将采集的图像作为第一图像，检测位置为距离商品放置空间预设距离的位置；在确定用户远离检测位置的情况下，采集商品放置空间的图像，并采集的图像作为第二图像；其中，采集得到的第一图像和采集得到的第二图像数量相同。通过检测用户的位置，采集第一图像和第二图像，使得获得的第一图像和第二图像较为准确，提高确定商品放置空间内商品的种类和数量的准确性。

另外，商品放置空间内设置有距离传感器；确定检测位置有用户，具体包括：获取距离传感器检测到的用户与商品放置空间之间的检测距离，若检测距离小于预设距离，则确定检测位置有用户。可以通过距离传感器快速确定检测位置是否有用户，方式简单。

另外，确定检测位置有用户，具体包括：获取商品放置空间周围环境的第三图像；检测第三图像中是否存在用户的特征图像，若确定存在，则确定检测位置有用户。提供另一种确定检测位置是否有用户的方式，检测灵活。

另外，售货装置包括以下任意一种：货柜、货架以及无人贩售机；标注信息包括以下的任意一种：二维码、条形码、携带种类信息的图像。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式提供的一种商品识别方法的具体流程图；

图2是根据本发明第一实施方式提供的一种商品识别方法中容纳结构的一种结构示意图；

图3是根据本发明第一实施方式提供的获取商品放置空间的图像数据的一种具体实现示意图；

图4是根据本发明第一实施方式提供的一种第一图像以及第二图像的示意图；

图5是根据本发明第一实施方式提供的另一种第一图像以及第二图像的示意图；

图6是根据本发明第二实施方式提供的一种商品识别方法的具体流程图；

图7是根据本发明第三实施方式提供的一种商品识别的装置的具体结构示意图；

图8是根据本发明第四实施方式提供的一种售货装置的具体结构示意图；

图9是根据本发明第四实施方式提供的一种售货装置中商品容纳空间的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

目前的售货装置，如：智能货架、智能货柜、自动贩售机等，通常可以识别出用户取出的商品，进而根据用户取出的商品的种类和数量进行相应的扣费操作。而售货装置识别商品是根据商品识别模型进行的，而训练商品识别模型需要大量的图像数据，另外，当放置的商品为新的商品时，存在由于训练数据中没有该商品，而导致识别商品不准确的问题，使得售货装置不能适用各种场景。

本发明的第一实施方式涉及一种用于售货装置中的商品识别方法。该商品识别方法可以应用于售货装置，还可以应用于与售货装置通信连接的服务端。该商品识别方法的具体流程如图1所示。

步骤101：获取售货装置内商品放置空间的图像数据，其中，图像数据包括商品放置空间中的每个容纳结构上的标注信息。

该售货装置包括商品放置空间，商品放置空间内放置有至少一个用于容纳商品的容纳结构，每个容纳结构设置有与各自容纳的商品相对应的标注信息。

具体的说，售货装置内可以包括多个商品放置空间，也可以只包括一个商品放置空间，每个商品放置空间用于放置多个容纳结构，例如，商品放置空间可以是货柜中每个隔层分割出的区域；还可以是货架每个层板分割出的空间。该售货装置可以包括：货架、货柜、无人贩售机等装置。货架的应用场景多种多样，例如：药店放置药品的货架，超市里放置商品的货架，仓库里用于放置货品的货架；货架的形态也有很多种，例如，货架可以包括挂钩、放置台、凹槽等用于放置(或固定)商品的部件。货柜可以是带有柜门的货柜，也可以是不带柜门的货柜等。

一个具体的实现中，该容纳结构可以用于密封容纳商品，该容纳结构可以是带盖子的盒子，如方形盒子；该容纳结构还可以是袋子，如：带密封口的袋子。该标注信息可以包括以下的任意一种：二维码、条形码、携带种类信息的图像；其中，该标注信息用于指示商品所属种类，可以利用商品所属种类生成该商品对应的标注信息。例如，若容纳结构中放置可乐，则该标注信息可以根据该可乐瓶身上的条形码生成，还可以根据条形码和容纳的可乐数量生成；也可以直接将可乐的条形码作为标注信息。

该容纳结构的至少一个面标注有标注信息；即可以在容纳结构的多个表面标注有标注信息或面向图像采集装置的一面标注有该标注信息；通常售货装置(如，智能货柜)内的图像采集装置设置在商品放置空间的顶部，俯拍商品放置空间。如图2所示，在容纳结构的顶部10和侧面20各标注了该标注信息2；标注多个标注信息可以避免发生因容纳结构之间的相互遮挡导致未拍摄到标注信息的情况。

需要说明的是，容纳结构的至少一面为透明表面。例如，将容纳结构的侧面设置为透明材质，以便于用户通过透明材质的侧面查看容纳结构内的商品，从而可以方便用户选择所需商品。此外，容纳结构中除透明表面之外的其他表面可以为不透明的表面，可以避免图像采集装置采集到无效的图像，提高对商品识别的准确性和识别速度。

一个具体的实现中，图像数据包括上一次商品识别后的商品放置空间的第一图像，以及当前商品放置空间的第二图像，并且，第一图像和第二图像分别包括对应的商品放置空间中的每个容纳结构上的标注信息。获取图像数据的方式有多种，下面分别以货柜和货架为例介绍获取图像数据的步骤。

本示例中的售货装置以货柜为例，若售货装置包括柜门，在检测到柜门被开启时，则采集商品放置空间图像，将采集的图像作为第一图像；在检测到柜门被关闭时，则采集商品放置空间的图像，将采集的图像作为第二图像；其中，柜门开启的次数等于柜门关闭的次数。

具体的说，以售货装置为货柜为例，货柜内的商品的种类和数量发生改变时必然会发生柜门被开启以及柜门被关闭的情况，因此，获取的柜门开启的次数等于柜门关闭的次数时的采集图像，可以确保采集的图像属于完整的售货过程，可以提高获取的图像数据的准确性，例如，检测到第t次柜门被开启，采集商品放置空间的第一图像；在检测到第t次柜门被关闭，则采集商品放置空间的第二图像，t为大于0的整数。由于柜门开启次数和柜门关闭次数相同，可以确保及时、准确地确定出从售货装置内取出或放入的商品的种类和数量。

需要说明的是，为了后续确定的从商品放置空间内取出或放入的商品的种类和数量的准确性，可以在检测到柜门被开启时，采集多个第一图像；在检测到柜门被关闭，采集多个第二图像。

此外，还可以保存上一次采集的第二图像，并将保存的第二图像作为第一图像，当柜门关闭时，仅获取更新的第二图像，并读取保存的第一图像即可；从而可以简化获取第一图像的步骤，减少采集成本。

值得一提的是，在货柜内的图像采集装置采集到图像数据后，可以将该图像数据传输至与货柜连接的服务端，也可以传输给货柜内的处理装置。

下面将以售货装置为货架为例，介绍获取图像数据的方式，获取商品放置空间的图像数据的具体流程如图3所示。

步骤S11：在确定检测位置有用户的情况下，采集商品放置空间的图像，并将采集的图像作为第一图像，检测位置为距离商品放置空间预设距离的位置。

确定检测位置有用户的方式有多种，一个具体实现中，获取距离传感器检测到的用户与商品放置空间之间的检测距离，若检测距离大于预设距离，则确定检测位置有用户。

具体的说，可以在商品放置空间内放置距离传感器，通过距离传感器可以检测用户与该商品放置空间之间的检测距离，若该检测距离小于预设距离，则确定检测位置有用户；若检测距离大于预设距离，表明该用户离该商品放置空间较远，则确定检测位置没有用户。预设距离可以根据需要设置，例如，预设距离为10厘米。

在另一个具体实现中，确定检测位置有用户，具体包括：获取商品放置空间周围环境的第三图像；检测第三图像中是否存在用户的特征图像，若确定存在，则确定检测位置有用户。

具体的说，商品放置空间内可以设置有识别模块，识别模块可以用于采集商品放置空间周围的第三图像，例如，识别模块可以是摄像头，摄像头可以被设置为采集与商品放置空间相距预设距离的图像。特征图像可以是用户的面部特征图像，例如，面部特征图像可以包括以下一种或多种图像：人眼的特征图像、鼻子的特征图像、嘴部特征图像。特征图像也可以是用户手部的特征图像，还可以是用户其它部分的特征图像。若检测到第三图像中存在用户的特征图像，则确定检测位置有用户；若未检测到第三图像中存在用户的特征图像，则确定检测位置没有用户。

步骤S12：在确定用户远离检测位置的情况下，采集商品放置空间的图像，并将采集的图像作为第二图像。

具体的说，与步骤S11类似，商品放置空间内放置距离传感器，在采集了第一图像后，距离传感器可以持续检测用户与该商品放置空间之间的检测距离，若检测到该用户的检测距离逐渐大于预设距离，则确定用户远离检测位置，并可以采集商品放置空间的第二图像。

另一个具体实现中，在采集了第一图像后，商品放置空间内设置的识别模块还可以持续采集图像，持续检测采集到的图像中是否存在用户的特征图像，直至未检测到该用户的特征图像后，采集商品放置空间的第二图像。

返回至图1，图1中的步骤102：根据图像数据中的标注信息，确定从售货装置取出或放入的商品的种类和数量。

根据图像数据中的标注信息，确定从售货装置取出或放入的商品的种类和数量，包括：根据第一图像中的标注信息和第二图像中的标注信息，确定从商品放置空间内取出或放入的商品的种类和数量。

一个具体实现中，根据第一图像中的标注信息和第二图像中的标注信息，确定从商品放置空间内取出或放入的商品的种类和数量，包括：获取第一图像和第二图像之间的差异形成的差异图像；识别差异图像中的标注信息；并根据差异图像中的标注信息，确定从该售货装置取出或放入的商品的种类和数量。

具体的说，将第一图像和第二图像进行做差处理，即可获取第一图像和第二图像之间差异形成的差异图像。获取该差异图像中的标注信息，并识别获取的标注信息。可以预先存储标注信息和商品所属种类之间对应的关系，根据该标注信息和预存的对应关系，即可确定出该标注信息对应的商品所属种类，统计确定出的商品所属种类以及每个种类的数量。

其中，将第一图像和第二图像进行做差时，若从第一图像中去除与第二图像重合的部分，得到该差异图像，则说明第一图像中的商品数量多，即此时的差异图像中的商品为从该售货装置中取出的商品；若是从第二图像中去除与第一图像重合的部分，得到差异图像，则表明该第二图像中的商品多，即此时的差异图像中的商品为放入该售货装置中的商品。

下面结合图4，介绍根据第一图像中的标注信息和第二图像中的标注信息，确定从商品放置空间内取出或放入的商品的种类和数量的过程。

如图4所示，a1为第一图像，a2为第二图像，第一图像中有4个标注信息分别为c1、c2、c3和c4，c1、c2、c3和c4可以分别对应商品：橙汁、牛奶、可乐和雪碧，第二图像中有2个标注信息，分别为c1和c2；从第一图像中去除与第二图像重合的部分，得到差异图像a3，该差异图像a3中包含了标注信息c3和c4，识别标注信息c3和c4，可以确定出商品的种类为可乐和雪碧，同时也确定了从该售货装置中取出了两件商品，分别为可乐和雪碧。

如图5所示，d1为第一图像，d2为第二图像，第一图像中有2个标注信息分别为b1和b2，第二图像中有4个标注信息，分别为b1、b2、b3和b4，b1、b2、b3和b4可以分别对应商品：瓜子、花生、薯片和爆米花。从第二图像中去除与第一图像重合的部分，得到差异图像d3，该差异图像d3中包含了标注信息b3和b4，识别标注信息b3和b4，可以得到商品的种类为薯片和爆米花，同时也确定了从该售货装置中放入了两件商品，分别为薯片和爆米花。

本发明实施方式相对于现有技术而言，获取商品放置空间的图像数据，该图像数据中包括了每个容纳结构上的标注信息，该容纳结构用于容纳对应的商品，根据各标注信息确定放置空间内取出或放入的商品的种类和数量；在容纳结构上标注有标注信息，使得仅需识别该标注信息，即可确定出该容纳结构内的商品所属种类，由于在确定从售货装置取出或放入的商品的种类和数量前无需进行商品识别的模型的训练，大大减少了售货装置对商品种类识别的成本；另外由于相似的商品的外形相似，往往在售货装置识别商品的种类的过程中会发生误识别的情况，本实施方式中由于只需识别容纳结构上的标注信息，而无需识别商品的外形、色彩等特征，不会误识别外形相似的商品，识别准确率高，且识别速度快。

本发明的第二实施方式涉及一种用于售货装置中的商品识别方法。第二实施方式与第一实施方式进一步改进，主要改进之处在于：在本发明第二实施方式中，该方法还包括检测图像数据中是否存在损坏的容纳结构，根据检测结果更新确定的从商品放置空间内取出的商品的种类和数量。该商品识别方法的具体流程如图6所示。

步骤201：获取售货装置内商品放置空间的图像数据。

步骤202：根据图像数据中的标注信息，确定从售货装置取出或放入的商品的种类和数量。

一个具体实现中，图像数据包括：上一次商品识别后商品放置空间的第一图像，以及当前商品放置空间的第二图像，并且，第一图像和第二图像分别包括对应的商品放置空间中的每个容纳结构上的标注信息。根据图像数据中的标注信息，确定从售货装置取出或放入的商品的种类和数量，包括：根据第一图像中的标注信息和第二图像中的标注信息，确定从商品放置空间内取出或放入的商品的种类和数量。

根据第一图像中的标注信息和第二图像中的标注信息，确定从商品放置空间内取出或放入的商品的种类和数量的具体为：识别第一图像中的各标注信息，以及识别第二图像中的各标注信息；根据第一图像中的各标注信息，确定第一图像的第一识别结果，第一识别结果包括第一图像中各商品的所属种类以及每个种类的数量；根据第二图像中的各标注信息，确定第二图像的第二识别结果，第二识别结果包括第二图像中各商品的所属种类以及每个种类的数量；比对第一识别结果和第二识别结果，确定从商品放置空间内取出或放入的商品的种类和数量。

具体的说，由于标注信息和商品所属种类对应，预存标注信息与商品的对应关系，其中，具有相同种类的商品所对应的标注信息不同。根据标注信息以及预存的对应关系，即可确定第一图像中各商品的所属种类，并统计出每个种类的数量。同理，根据第二图像中各标注信息以及预存的对应关系，确定出第二图像中各商品的所属种类，并统计出每个种类的数量。将第一识别结果和第二识别结果进行比对，即可确定出从商品放置空间取出或放入的商品种类和数量。

需要说明的是，若用户破坏容纳结构上的标注信息后放回该容纳结构，导致第二图像中该容纳结构上的标注信息无法被识别，则根据第一图像中的标注信息和第二图像中的标注信息，依然确定出该损害的标注信息对应的商品已被取出。即通过对图像中标注信息的识别，使得即使出现用户通恶意取出商品，并放回容纳结构的情况，依然可以确定用户取出的商品种类和数量，提高了识别的准确性。

步骤203：检测图像数据中是否存在损坏的容纳结构，若确定存在被损坏的容纳结构，则执行步骤204；否则，结束整个流程。

具体的说，针对存在用户将容纳结构中的商品取出后又将容纳结构放回货柜的情况，并为了提高确定用户从商品放置空间取出商品的种类和数量的准确性，在确定了从售货装置取出或放入的商品的种类和数量后，再次检测图像数据中是否存在损坏的容纳结构，若存在，则根据被损坏的容纳结构上的标注信息，更新确定从售货装置内取出的商品的种类和数量。判断图像数据中各容纳结构是否被损坏的方式有多种，例如，若容纳结构被破坏，则该容纳结构将不完整，基于此原理，可以利用图像识别技术识别每个容纳结构是否完整，若检测出容纳结构不完整，则确定该容纳结构被损坏。

另一个具体实现中，容纳结构上设置有至少一个标注信息，其中一个标注信息位于容纳结构的封口处，且覆盖封口处；检测图像数据中是否存在损坏的容纳结构，具体过程还可以为：获取图像数据中的每个容纳结构的图像，分别对每个容纳结构的图像进行如下处理：判断容纳结构上位于封口处的标注信息是否被损坏，若是，则确定容纳结构被损坏；若不是，则确定容纳结构完整。

具体的说，针对每个容纳结构的图像进行处理，若确定出有损坏的容纳结构，则确定图像数据中存在损坏的容纳结构；若确定没有损坏的容纳结构，则确定图像数据中不存在损坏的容纳结构。

由于标注信息具有容错性，因而存在用户拿出了商品后将容纳结构放回，放回的容纳结构上的标注信息有破损，但该破损的标注信息依然可以被识别的情况，基于此，可以对每个容纳结构的图像进行检测，获取该容纳结构封口处的标注信息，判断该容纳结构上位于封口处而对标注信息对应的图像是否破损，若确定有破损，则确定该容纳结构被损坏，若确定无破损，则确定该容纳结构完整。例如，若检测到标注信息对应的图像上有遮挡、有划痕，或者该标注信息对应的图像上有裂痕等，均则判定该标注信息对应的图像有破损。

需要说明的是，为了简化判断步骤，可以仅对图像数据中的第二图像进行判断，判断第二图像中是否存在被损坏的容纳结构即可。

步骤204：若确定存在被损坏的容纳结构，则根据被损坏的容纳结构上的标注信息，更新确定从售货装置内取出的商品的种类和数量。

一个具体的实现中，若确定存在被损坏的容纳结构，则表明确定的从该售货装置取出的商品种类和数量还不准确，需要进行更新。获取该被损坏的容纳结构上的标注信息，根据该标注信息，以及预存的标注信息与商品所属种类的对应关系，确定该标注信息对应的商品所属种类，进而确定该被损坏的容纳结构内的商品的所属种类；从而更新确定的从售货装置取出的商品的种类和数量。

例如，若容纳结构有2个，分别为容纳结构A和容纳结构B，标注信息a1位于容纳结构A的封口处，标注信息b1位于容纳结构B的封口处，若检测到容纳结构B中标注信息b1对应的图像中有部分遮挡，或者该标注信息b1对应的图像有划痕，则确定该容纳结构B上的标注信息b1对应的图像有破损，进而确定该容纳结构B被损坏。识别该标注信息b1，确定该容纳结构B内的商品为可乐，进而更新确定的从售货装置取出的商品的种类和数量，即增加从售货装置取出的可乐的数量。

本实施方式中提供的用于售货装置中的商品识别方法，通过比对第一识别结果和第二识别结果，可以快速确定出从商品放置空间内取出或放入的商品的种类和数量；另外，通过判断图像中个容纳结构是否破坏，进一步完善确定从商品放置空间内取出的商品的种类和数量，进一步提高确定的准确性。

本发明第三实施方式涉及一种用于售货装置中的商品识别的装置，该装置的结构如图7所示，包括：获取模块301和确定模块302；获取模块301用于获取货柜内商品放置空间的图像数据，图像数据包括每个容纳结构上标注的标注信息，每个容纳结构容纳且封闭各自对应的商品，标注信息用于指示容纳结构内商品所属种类；确定模块302用于根据图像数据中的标注信息，确定从商品放置空间内取出或放入的商品的种类和数量。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第四实施方式涉及一种售货装置，该售货装置如图8所示，包括：至少一个处理器401；以及，至少一个图像采集装置402，图像采集装置与处理器通信连接，以及，与至少一个处理器401通信连接的存储器403；商品放置空间404(图8中未示出)，商品放置空间404内放置有至少一个用于容纳商品的容纳结构1(图8中未示出)，每个容纳结构1(图8中未示出)设置有与各自容纳的商品相对应的标注信息2(图8中未示出)。

下面将以售货装置为货柜为例，图9为该货柜的示意图，图9中标注有商品放置空间404，在本示例中，该商品放置空间404可以是通过隔板分隔得到，每个商品放置空间404内放置有容纳结构1，每个容纳结构1上设置有与各自容纳的商品相对应的标注信息2，本示例中仅示意了3个商品容纳空间以及3个容纳结构，在实际应用中可以根据需要进行设置。

其中，存储器403存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器402能够执行第一实施方式或第二实施方式的商品识别方法。

其中，存储器403和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器403的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。

处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现第一实施方式或第二实施方式的商品识别方法。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (13)

1.一种用于售货装置中的商品识别方法，其特征在于，售货装置包括商品放置空间，所述商品放置空间内放置有至少一个用于容纳商品的容纳结构，每个所述容纳结构设置有与各自容纳的商品相对应的标注信息，所述标注信息是根据所述容纳结构中容纳的商品的条形码和商品数量生成，所述方法包括：

获取售货装置内商品放置空间的图像数据，其中，所述图像数据包括商品放置空间中的每个容纳结构上的标注信息；

根据所述图像数据中的标注信息，确定从所述售货装置取出或放入的商品的种类和数量；

在所述确定从所述售货装置取出或放入的商品的种类和数量之后，所述商品识别方法还包括：

检测所述图像数据中是否存在被损坏的容纳结构；

若确定存在被损坏的容纳结构，则根据所述被损坏的容纳结构上的标注信息，更新确定的从所述售货装置内取出的商品的种类和数量；

所述标注信息位于所述容纳结构的封口处，且覆盖所述封口处；

所述检测所述图像数据中是否存在损坏的容纳结构，包括：

获取所述图像数据中的每个所述容纳结构的图像；

分别对每个容纳结构的图像进行如下处理：判断所述容纳结构上位于所述封口处的标注信息对应的图像是否有破损，若确定有破损，则确定所述容纳结构被损坏；若确定无破损，则确定所述容纳结构完整。

2.根据权利要求1所述的用于售货装置中的商品识别方法，其特征在于，所述容纳结构的至少一个面标注有所述标注信息。

3.根据权利要求1所述的用于售货装置中的商品识别方法，其特征在于，所述容纳结构的至少一面为透明表面。

4.根据权利要求1至3中任一项所述的用于售货装置中的商品识别方法，其特征在于，所述图像数据包括：上一次商品识别后所述商品放置空间的第一图像，以及当前所述商品放置空间的第二图像，并且，所述第一图像和所述第二图像分别包括对应的商品放置空间中的每个容纳结构上的标注信息；

所述根据所述图像数据中的标注信息，确定从所述售货装置取出或放入的商品的种类和数量，具体包括：

根据所述第一图像中的标注信息和所述第二图像中的标注信息，确定从所述售货装置取出或放入的商品的种类和数量。

5.根据权利要求4所述的用于售货装置中的商品识别方法，其特征在于，所述根据所述第一图像中的标注信息和所述第二图像中的标注信息，确定从所述售货装置取出或放入的商品的种类和数量，包括：

识别第一图像中的各标注信息；

识别第二图像中的各标注信息；

根据第一图像中的各标注信息，确定所述第一图像的第一识别结果，所述第一识别结果包括所述第一图像中各商品的所属种类以及每个种类的数量；

根据第二图像中的各标注信息，确定所述第二图像的第二识别结果，所述第二识别结果包括所述第二图像中各商品的所属种类以及每个种类的数量；

比对第一识别结果和第二识别结果，确定从所述售货装置取出或放入的商品的种类和数量。

6.根据权利要求4所述的用于售货装置中的商品识别方法，其特征在于，所述根据所述第一图像中的标注信息和所述第二图像中的标注信息，确定从所述售货装置取出或放入的商品的种类和数量，包括：

获取所述第一图像和所述第二图像之间的差异形成的差异图像；

识别所述差异图像中的标注信息；

根据所述差异图像中的标注信息，确定从所述售货装置取出或放入的商品的种类和数量。

7.根据权利要求4所述的用于售货装置中的商品识别方法，其特征在于，所述售货装置还包括柜门；所述获取商品放置空间的图像数据，具体包括：

在检测到所述柜门被开启时，则采集所述商品放置空间的图像，并将采集的图像作为所述第一图像；

在检测到所述柜门被关闭时，则采集所述商品放置空间的图像，并将采集的图像作为所述第二图像；

其中，所述柜门开启的次数等于所述柜门关闭的次数。

8.根据权利要求4所述的用于售货装置中的商品识别方法，其特征在于，所述获取商品放置空间的图像数据，包括：

在确定检测位置有用户的情况下，采集所述商品放置空间的图像，并将采集的图像作为第一图像，所述检测位置为距离所述商品放置空间预设距离的位置；

在确定所述用户远离所述检测位置的情况下，采集所述商品放置空间的图像，并将采集的图像作为第二图像；

其中，采集得到的第一图像和采集得到的第二图像数量相同。

9.根据权利要求8所述的用于售货装置中的商品识别方法，其特征在于，所述商品放置空间内设置有距离传感器；

确定所述检测位置有用户，包括：

获取所述距离传感器检测到的用户与所述商品放置空间之间的检测距离，若所述检测距离小于预设距离，则确定所述检测位置有用户。

10.根据权利要求8所述的用于售货装置中的商品识别方法，其特征在于，所述确定所述检测位置有用户，包括：

获取所述商品放置空间周围环境的第三图像；

检测所述第三图像中是否存在用户的特征图像，若确定存在，则确定所述检测位置有用户。

11.根据权利要求1所述的用于售货装置中的商品识别方法，其特征在于，所述售货装置包括以下任意一种：货柜、货架以及无人贩售机；

所述标注信息包括以下的任意一种：二维码、条形码、携带种类信息的图像。

12.一种售货装置，其特征在于，包括：

至少一个处理器；以及，

至少一个图像采集装置，所述图像采集装置与所述处理器通信连接；

与所述至少一个处理器通信连接的存储器；

商品放置空间，所述商品放置空间内放置有至少一个用于容纳商品的容纳结构，每个所述容纳结构设置有与各自容纳的商品相对应的标注信息，其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至11任一所述的用于售货装置中的商品识别方法。

13.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的用于售货装置中的商品识别方法。

Images