CN112735030B - 售货柜的视觉识别方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请实施例涉及机器视觉技术领域，提供了一种售货柜的视觉识别方法、装置、电子设备和可读存储介质，售货柜具有至少两个摄像头，视觉识别方法包括：基于摄像头采集的图像信息，确定轨迹特征；将各摄像头的轨迹特征划分为至少一段，并确定每段的动作属性；将每个摄像头对应的每段的动作属性，投影至同一时间轴，得到时间轴上各时段的动作属性；对时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，得到整合后的动作属性；对整合后的动作属性按照同种取放类型的物品数量相加，异种取放类型的物品数量相减，得到识别结果。本申请的售货柜的视觉识别方法，可以消除部分摄像头漏拍带来的影响，实现各种场景下准确识别。

Description

售货柜的视觉识别方法、装置、电子设备和可读存储介质

技术领域

本申请涉及机器视觉技术领域，尤其涉及一种售货柜的视觉识别方法、装置、电子设备和可读存储介质。

背景技术

售货柜安装有用于采集图像的至少两个摄像头，通过分析图像可以得到用户取/放物品的轨迹特征，并通过分析轨迹特征中取/放物品的动作属性，识别到用户实际取/放的物品，最后根据识别结果，生成订单信息。

由于各摄像头的角度问题，某些摄像头可能漏拍，经常会出现各摄像头识别到的轨迹特征中取/放物品的动作属性不一致的情形。

相关技术中，在面对这一情形时，采用简单的布尔运算确定最后的识别结果，这种方式误差很大，难以适用于多种不同的场景，容易造成用户与运营商的纠纷。

发明内容

本申请提供一种售货柜的视觉识别方法、装置、电子设备和可读存储介质，以实现准确识别。

本申请提供一种售货柜的视觉识别方法，所述售货柜具有至少两个摄像头，所述方法包括：基于所述摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；将各摄像头的所述轨迹特征划分为至少一段，并确定每段的动作属性，所述动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型；将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为所述时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时间段的取放类型；对所述时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；对所述整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为所述识别结果的取放类型。

根据本申请提供的一种售货柜的视觉识别方法，在同一摄像头包括多个轨迹特征的情况下，所述确定每段的动作属性，包括：

对每段内同种取放类型的物品数量相加，异种取放类型的物品数量保留，得到每段的动作属性。

根据本申请提供的一种售货柜的视觉识别方法，所述将各摄像头的所述轨迹特征划分为至少一段，包括：

对于各摄像头，以所述轨迹特征的首尾时刻以及物品出入线时刻的中点为节点划分所述轨迹特征。

根据本申请提供的一种售货柜的视觉识别方法，所述将将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，包括：

将每个所述摄像头的每个节点均投影至同一时间轴，以相邻的两个所述节点确定一个所述时段；

基于所述轨迹特征划分为的各段的动作属性，确定所述时段的动作属性。

本申请还提供一种售货柜的视觉识别装置，所述售货柜具有至少两个摄像头，所述装置包括：

轨迹特征识别模块，用于基于所述摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；

第一确定模块，用于将各摄像头的所述轨迹特征划分为至少一段，并确定每段的动作属性，所述动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型；

第二确定模块，用于将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为所述时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时间段的取放类型；

第三确定模块，用于对所述时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；

第四确定模块，用于对所述整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为所述识别结果的取放类型。

根据本申请提供的一种售货柜的视觉识别装置，在同一摄像头包括多个轨迹特征的情况下，所述第一确定模块，还用于对每段内同种取放类型的物品数量相加，异种取放类型的物品数量保留，得到每段的动作属性。

根据本申请提供的一种售货柜的视觉识别装置，所述第一确定模块，还用于对于各摄像头，以所述轨迹特征的首尾时刻以及物品出入线时刻的中点为节点划分所述轨迹特征。

根据本申请提供的一种售货柜的视觉识别装置，所述第二确定模块，包括：

第一划分单元，用于将每个所述摄像头的每个节点均投影至同一时间轴，以相邻的两个所述节点确定一个所述时段；

第一确定单元，用于基于所述轨迹特征划分为的各段的动作属性，确定所述时段的动作属性。

本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述售货柜的视觉识别方法的步骤。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述售货柜的视觉识别方法的步骤。

本申请提供的售货柜的视觉识别方法、装置、电子设备和可读存储介质，通过对至少两个摄像头采集数据的整合，可以消除部分摄像头漏拍带来的影响，实现各种场景下的准确识别，有助于帮助售货柜准确结算。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的售货柜的视觉识别方法的流程示意图之一；

图2是本申请提供的售货柜的视觉识别方法中步骤130的实施方式的流程示意图；

图3是本申请提供的售货柜的视觉识别方法的演示图之一；

图4是本申请提供的售货柜的视觉识别方法的演示图之二；

图5是本申请提供的售货柜的视觉识别方法的演示图之三；

图6是本申请提供的售货柜的视觉识别装置的结构示意图；

图7是本申请提供的售货柜的视觉识别装置的第二确定模块的结构示意图；

图8是本申请提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

售货柜可以为智能式或者无人式。

储物柜包括柜体和门体，柜体用于放置物品，柜体具有敞开端，门体用于封闭该敞开端，门体通过门锁与柜体锁止，储物柜与服务器通信连接。用户需要从储物柜取物品时，先解锁门体，比如用户可以使用移动终端扫描储物柜上的识别码，移动终端登录服务器，移动终端将开门请求发送给服务器，该开门请求包括有储物柜的设备标识，服务器下发开门命令，储物柜解锁。

当然，还可以通过其他方式解锁门体，例如储物柜上设有扫描装置，通过扫描装置来扫描用户移动终端的识别码、扫描用户的指纹、扫描用户的掌纹、扫描用户的虹膜、扫描用户的面部等其他方式也可以解锁储物柜的门体。因此，当用户通过以上任一种方式解锁门体时，则对应的可发出开门信号。

柜体内还可以设有搁架，搁架用于放置物品(也就是待售卖的商品)。

门体开启后，用户从搁架上自助取物，当然也可能出现取物后，又重新放入的情形，售货柜具有至少两个摄像头，摄像头用于采集用户的动作图像信息，对于每层搁架，为了提高识别的准确性可以设有至少两个摄像头，比如搁架的上下均设有摄像头，或者搁架的上下左右均设有摄像头。

摄像头采集的图像可以发送给服务器，通过图像识别算法，确定在本次交易过程中，用户的取货或者运营人员的补货信息。

下面结合图1-图5描述本申请的售货柜的视觉识别方法。该方法的执行主体可以为售货柜的服务器，或者服务器的硬件设备，或者售货柜本地的处理器。

如图1所示，本申请实施例的售货柜的视觉识别方法包括：步骤110-步骤150。

步骤110、基于摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；

在该步骤中，通过图像识别算法，确定每个摄像头对应的轨迹特征，每个轨迹特征对应一个物品，从一个摄像头采集的图像信息中，可能得到多个轨迹特征。

比如，用户一次从售货柜的同一个搁架拿了2个苹果，则从对应的这个摄像头采集的图像信息中，可以得到2个轨迹特征。

需要说明的是，在该视觉识别方法中，所有的轨迹特征均是对应同一类物品，比如都是苹果的轨迹特征。

轨迹特征用于表征目标物品随时间变化时的位置变化特征，可以理解的是，轨迹特征的部分段可以表示物品被取出，轨迹特征的部分段可以表示物品被放入。

步骤120、将各摄像头的轨迹特征划分为至少一段，并确定每段的动作属性，动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型；

将轨迹特征以时间为刻度进行划分，可以分为至少一段，并确定在每段内物品对应的动作属性。在图3-图5所示的实施例中，O表示1个取出，2O表示2个取出，X表示1个放入，空白表示空。

段的划分至少要达到的一个目的是：对于一个轨迹特征的每段对应的动作属性得是明确的一个，比如某一段对应的动作属性不能既有取出又有放入。

段的划分方式有多种，比如可以用目标时间间隔来划分段，当然该目标时间间隔需要设置的较小，以防止将动作属性不同的两段划分到一段。

在一些实施例中，将各摄像头的轨迹特征划分为至少一段，包括：对于各摄像头，以轨迹特征的首尾时刻以及物品出入线时刻的中点为节点划分轨迹特征。

需要说明的是，轨迹特征中物品出入线的时刻为基于该轨迹特征判断到物品离开售货柜的时刻或者放入售货柜的时刻，比如可以以柜体的敞开端所在的平面作为分界。轨迹特征的首尾时刻为轨迹特征开始的时刻和结束的时刻。

这种划分方式可以确保每段对应的动作属性是明确的一个，且划分的段最少，便于后续计算。

在一些实施例中，在同一摄像头包括多个轨迹特征的情况下，确定每段的动作属性，包括：对每段内同种取放类型动作属性相加，异种取放类型动作属性保留，得到每段的动作属性。

以图5为例，从第一摄像头采集的图像信息中，得到了两个轨迹特征，两个轨迹特征对应的动作属性均是取出，且时间不完全同步。

整合该摄像头的两个轨迹特征时，以两个轨迹特征的首尾时刻以及物品出入线时刻的中点为节点，将整合后的轨迹特征划分为两段，第一段中由于两个轨迹对应的动作属性均为取出，第二段中第一个轨迹对应的动作属性为空，第二段中第二个轨迹对应的动作属性为取出，则整合后的第一段对应的动作属性为2个取出，第二段对应的动作属性为1个取出。

这样该视觉识别方法可以适用于一次取放多个物品的情形。

通过步骤120，可以实现单个摄像头的分段标记。

步骤130、将每个摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为得到时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时间段的取放类型；

在该步骤中，将所有摄像头对应的每段的动作属性，均投影至同一时间轴，在步骤120实现单个摄像头的分段标记的情况下，实现不同摄像头在同一时间轴上的分段标记。

需要说明的是，时间轴上各个时段的动作属性为对不同摄像头在同一时段的同种取放类型动作属性取最大值，异种取放类型动作属性相减得到的，且计算的顺序为先对同种取放类型动作属性取最大值，再用得到的最大值与异种取放类型动作属性相减。

比如，第一摄像头对应的轨迹特征在某一时段的动作属性为3个取出，第二摄像头对应的轨迹特征在该时段的动作属性为1个取出，则该时段的动作属性为3个取出。

或者，第一摄像头对应的轨迹特征在某一时段的动作属性为3个取出，第二摄像头对应的轨迹特征在该时段的动作属性为1个放入，则该时段的动作属性为2个取出。

在一些实施例中，如图2所示，步骤130、将每个摄像头对应的每段的动作属性，投影至同一时间轴，包括：

步骤131、将每个摄像头的每个节点均投影至同一时间轴，以相邻的两个节点确定一个时段；

步骤132、基于段的动作属性，确定每个时段的动作属性。

可以理解的是，在步骤120中实现单个摄像头分段标记的情况下，不同摄像头在分段时，其划分的节点不一定完全重合，在步骤131中，将不同摄像头对应的节点均投影至同一时间轴，相邻的两个节点可以确定一个时段，时段可能短于步骤120中的段。

比如第一摄像头对应轨迹特征的某一段可能对应多个时段，则第一摄像头对应轨迹特征在这些个时段的动作属性均为原段的动作属性，将基于不同摄像头投影出的动作属性按照同种取放类型动作属性取最大值，异种取放类型动作属性相减得到时段的动作属性。

这种投影方式得到的时段数量少，可以减少计算量。

通过步骤130，可以实现至少两个摄像头的分时段整合标记。

步骤140、对时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；

步骤130可以得到一时间轴上多个时段的动作属性，在该步骤中对相邻时段的同种取放类型动作属性取最大值，用于将步骤120和步骤130中的切分还原。

比如，步骤130可以得到一时间轴上四个时段的动作属性顺次为：2个取出——1个取出——1个放入——1个取出，则通过步骤140得到整合后的动作属性为：2个取出——1个放入——1个取出。

或者，步骤130可以得到一时间轴上四个时段的动作属性顺次为：2个取出——1个取出——3个取出——1个取出，则通过步骤140得到整合后的动作属性为：3个取出。

步骤150、对整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为识别结果的取放类型。

比如，步骤140得到整合后的动作属性为：2个取出——1个放入——1个取出，则步骤150的处理方式为(2-1+1)＝2个取出。

或者，步骤140得到整合后的动作属性为：3个取出，则步骤150的处理方式为3个取出。

需要说明的是，上述实施例均是以两个摄像头举例，对于更至少两个摄像头，可以采用同样的方法处理。

根据本申请实施例的售货柜的视觉识别方法，通过对至少两个摄像头采集数据的整合，可以消除部分摄像头漏拍带来的影响，实现各种场景下的准确识别，有助于帮助售货柜准确结算。

下面结合图3-图5描述三种实施例。

如图3所示，第一摄像头安装于目标搁架的上方，第二摄像头安装于目标搁架的下方，第一摄像头和第二摄像头均用于拍摄该目标搁架。

实际场景为，用户取出了一个物品，又放入，第二摄像头漏拍了放入的动作。

基于第一摄像头采集的图像信息确定的轨迹特征包括一条出线和一条入线。基于第二摄像头采集的图像信息确定的轨迹特征包括一条出线。

使用步骤120的方式，将第一摄像头的轨迹特征分为两段，第一段的动作属性为1个取出(用O标记)，第二段的动作属性为1个放入(用X标记)，两段在时间上间隔开，中间为空；将第二摄像头的轨迹特征分为一段(第三段)，该段的动作属性为1个取出(用O标记)。

使用步骤130的方式，将第一段、第二段和第三段的节点(端点)投影至同一时间轴，以相邻的两个节点确定一个时段，总计得到5个时段，这5个时段的动作属性顺次为1个取出——1个取出——1个取出——空——1个放入。

使用步骤140的方式，对时间轴上相邻时段的同种取放类型动作属性取最大值，得到整合后的动作属性：1个取出——1个放入。

使用步骤150的方式，对整合后的动作属性按照同种取放类型相加异种取放类型相减，得到识别结果空，即未取物也未补货。

如图4所示，第一摄像头安装于目标搁架的上方，第二摄像头安装于目标搁架的下方，第一摄像头和第二摄像头均用于拍摄该目标搁架。

实际场景为，用户取出了一个物品，由于犹豫又放入，最后又取出了，第一个取出以及犹豫又放入的动作在第一摄像头下可能没过线，动作未被记录，第二摄像头捕捉到犹豫又放入的动作，但是漏拍了最后的取出动作。

基于第一摄像头采集的图像信息确定的轨迹特征包括一条出线。基于第二摄像头采集的图像信息确定的轨迹特征包括出线和入线。

使用步骤120的方式，将第一摄像头的轨迹特征分为一段(第一段)，第一段的动作属性为1个取出(用O标记)；将第二摄像头的轨迹特征分为一段(第二段和第三段)，第二段的动作属性为1个取出(用O标记)，第三段的动作属性为1个放入(用X标记)。

使用步骤130的方式，将第一段、第二段和第三段的节点(端点)投影至同一时间轴，以相邻的两个节点确定一个时段，总计得到4个时段，这4个时段的动作属性顺次为1个取出——1个取出——空——1个取出。

使用步骤140的方式，对时间轴上相邻时段的同种取放类型动作属性取最大值，得到整合后的动作属性：1个取出。

使用步骤150的方式，对整合后的动作属性按照同种取放类型相加，异种取放类型相减，得到识别结果1个取出，即取出了一个该物品。

如图5所示，第一摄像头安装于目标搁架的上方，第二摄像头安装于目标搁架的下方，第一摄像头和第二摄像头均用于拍摄该目标搁架。

在相关技术中，不考虑时间轴，得到的轨迹特征为如图5(a)这样，但是该轨迹特征可能与多个实际场景对应，换言之，相关技术无法准确识别出真实的结果。

本申请在考虑时间轴的情况下，根据实际场景一，得到如图5(b)所示的轨迹特征，实际场景为，用户一次取出了2个物品，又放入1个，又取出1个，放入再取出的动作在第一摄像头下可能没过线，动作未被记录，第二摄像头记录了放入再取出的动作，但是未识别出第一次取出的是2个物品。

基于第一摄像头采集的图像信息确定了两个轨迹特征，均为一条出线。基于第二摄像头采集的图像信息确定的轨迹特征包括一条出线、一条入线和一条出线。

使用步骤120的方式，将第一摄像头的两个轨迹特征各自分为一段(第一段)，第一段的动作属性为1个取出(用O标记)，将两个第一段整合为第一子段、第二子段和第三子段，第一子段的动作属性为1个取出(用O标记)，第二子段的动作属性为2个取出(用2O标记)，第三子段的动作属性为1个取出(用O标记)；将第二摄像头的轨迹特征分为三段(第二段、第三段和第四段)，第二段的动作属性为1个取出(用O标记)，第三段的动作属性为1个放入(用X标记)，第四段的动作属性为1个取出(用O标记)。

使用步骤130的方式，将第一子段、第二子段、第三子段、第二段、第三段和第四段的节点(端点)投影至同一时间轴，以相邻的两个节点确定一个时段，总计得到7个时段，这7个时段的动作属性顺次为1个取出——1个取出——2个取出——1个取出——2个取出——1个取出——1个取出。

使用步骤140的方式，对时间轴上相邻时段的同种取放类型动作属性取最大值，得到整合后的动作属性：2个取出。

使用步骤150的方式，对整合后的动作属性按照同种取放类型相加，异种取放类型相减，得到识别结果2个取出，即取出了两个该物品。

本申请在考虑时间轴的情况下，根据实际场景二，得到如图5(c)所示的轨迹特征，实际场景为，用户取出了1个物品，又放入1个，又取出1个，第一摄像头漏拍了放入的动作。

基于第一摄像头采集的图像信息确定了两个轨迹特征，均为一条出线。基于第二摄像头采集的图像信息确定的轨迹特征包括一条出线、一条入线和一条出线。

使用步骤120的方式，将第一摄像头的两个轨迹特征各自分为一段(第一段)，第一段的动作属性为1个取出(用O标记)，两个第一段在时间轴上不重合；将第二摄像头的轨迹特征分为三段(第二段、第三段和第四段)，第二段的动作属性为1个取出(用O标记)，第三段的动作属性为1个放入(用X标记)，第二段的动作属性为1个取出(用O标记)。

使用步骤130的方式，将第一段、第二段、第三段和第四段的节点(端点)投影至同一时间轴，以相邻的两个节点确定一个时段，总计得到7个时段，这7个时段的动作属性顺次为1个取出——1个取出——1个取出——1个放入——空——1个取出——1个取出。

使用步骤140的方式，对时间轴上相邻时段的同种取放类型动作属性取最大值，得到整合后的动作属性：1个取出——1个放入——1个取出。

使用步骤150的方式，对整合后的动作属性按照同种取放类型相加，异种取放类型相减，得到识别结果1个取出，即取出了1个该物品。

通过图5中两个场景可以确定，本申请通过引入时间轴来分析，可以准确识别各种场景下的真值。

下面对本申请提供的售货柜的视觉识别装置进行描述，下文描述的售货柜的视觉识别装置与上文描述的售货柜的视觉识别方法可相互对应参照。

如图6所示，本申请实施例的售货柜的视觉识别装置包括：

轨迹特征识别模块610，用于基于摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；

第一确定模块620，用于将各摄像头的所述轨迹特征划分为至少一段，并确定每段的动作属性，所述动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型；

第二确定模块630，用于将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为所述时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时间段的取放类型；

第三确定模块640，用于对时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；

第四确定模块650，用于对所述整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为所述识别结果的取放类型。

根据本申请实施例的售货柜的视觉识别装置，通过对至少两个摄像头采集数据的整合，可以消除部分摄像头漏拍带来的影响，实现各种场景下的准确识别，有助于帮助售货柜准确结算。

在一些实施例中，在同一摄像头包括多个轨迹特征的情况下，第一确定模块620，还用于对每段内同种取放类型的物品数量相加，异种取放类型的物品数量保留，得到每段的动作属性。

在一些实施例中，第一确定模块620，还用于对于各摄像头，以轨迹特征的首尾时刻以及物品出入线时刻的中点为节点划分轨迹特征。

在一些实施例中，第二确定模块630，包括：

第一划分单元631，用于将每个摄像头的每个节点均投影至同一时间轴，以相邻的两个节点确定一个时段；

第一确定单元632，用于基于段的动作属性，确定时段的动作属性。

本申请实施例提供的售货柜的视觉识别装置用于执行上述售货柜的视觉识别方法，其实施方式与本申请提供的售货柜的视觉识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行售货柜的视觉识别方法，该方法包括：基于所述摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；将各摄像头的所述轨迹特征划分为至少一段，并确定每段的动作属性，所述动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型；将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为所述时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时间段的取放类型；对所述时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；对所述整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为所述识别结果的取放类型。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供的电子设备中的处理器810可以调用存储器830中的逻辑指令，实现上述售货柜的视觉识别方法，其实施方式与本申请提供的售货柜的视觉识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的售货柜的视觉识别方法可相互对应参照。

所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的售货柜的视觉识别方法，该方法包括：基于所述摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；将各摄像头的所述轨迹特征划分为至少一段，并确定每段的动作属性，所述动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型；将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为所述时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时间段的取放类型；对所述时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；对所述整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为所述识别结果的取放类型。

本申请实施例提供的计算机程序产品被执行时，实现上述售货柜的视觉识别方法，其实施方式与本申请提供的售货柜的视觉识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的售货柜的视觉识别方法可相互对应参照。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的售货柜的视觉识别方法，该方法包括：基于所述摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；将各摄像头的所述轨迹特征划分为至少一段，并确定每段的动作属性，所述动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型；将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为所述时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时间段的取放类型；对所述时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；对所述整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为所述识别结果的取放类型。

本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述售货柜的视觉识别方法，其实施方式与本申请提供的售货柜的视觉识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种售货柜的视觉识别方法，其特征在于，所述售货柜具有至少两个摄像头，所述方法包括：

基于所述摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；

将各摄像头的所述轨迹特征划分为至少一段，并确定每段的动作属性，所述动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型，每段的动作属性中的取放类型为取出型和放入型中的一个；

将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为所述时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时段的取放类型；

对所述时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；

对所述整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为所述识别结果的取放类型。

2.根据权利要求1所述的售货柜的视觉识别方法，其特征在于，在同一摄像头包括多个轨迹特征的情况下，所述确定每段的动作属性，包括：

对每段内同种取放类型的物品数量相加，异种取放类型的物品数量保留，得到每段的动作属性。

3.根据权利要求1或2所述的售货柜的视觉识别方法，其特征在于，所述将各摄像头的所述轨迹特征划分为至少一段，包括：

对于各摄像头，以所述轨迹特征的首尾时刻以及物品出入线时刻的中点为节点划分所述轨迹特征。

4.根据权利要求3所述的售货柜的视觉识别方法，其特征在于，所述将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，包括：

将每个所述摄像头的每个节点均投影至同一时间轴，以相邻的两个所述节点确定一个所述时段；

基于所述轨迹特征划分为的各段的动作属性，确定所述时段的动作属性。

5.一种售货柜的视觉识别装置，其特征在于，所述售货柜具有至少两个摄像头，所述装置包括：

轨迹特征识别模块，用于基于所述摄像头采集的图像信息，确定各摄像头对应的同一类物品的轨迹特征；

第一确定模块，用于将各摄像头的所述轨迹特征划分为至少一段，并确定每段的动作属性，所述动作属性用于表征物品取放类型及取放类型对应的物品数量，其中，取放类型包括取出型和放入型，每段的动作属性中的取放类型为取出型和放入型中的一个；

第二确定模块，用于将每个所述摄像头对应的每段的动作属性，投影至同一时间轴，对不同摄像头对应的动作属性在同一时段的投影依次按照同种取放类型的物品数量取最大值，再将异种取放类型的物品数量最大值相减之差的绝对值作为所述时间轴上该时段的动作属性的物品数量，且数量最多的取放类型作为该时段的取放类型；

第三确定模块，用于对所述时间轴上各时段的动作属性，若相邻时段为同种取放类型的动作属性，则保留最大值，删除相邻时段的其他同种取放类型的动作属性，得到整合后的动作属性；

第四确定模块，用于对所述整合后的动作属性按照同种取放类型的物品数量相加，再将异种取放类型的物品数量相减之差的绝对值作为识别结果的物品数量，且将数量最多的取放类型作为所述识别结果的取放类型。

6.根据权利要求5所述的售货柜的视觉识别装置，其特征在于，在同一摄像头包括多个轨迹特征的情况下，所述第一确定模块，还用于对每段内同种取放类型的物品数量相加，异种取放类型的物品数量保留，得到每段的动作属性。

7.根据权利要求5或6所述的售货柜的视觉识别装置，其特征在于，所述第一确定模块，还用于对于各摄像头，以所述轨迹特征的首尾时刻以及物品出入线时刻的中点为节点划分所述轨迹特征。

8.根据权利要求7所述的售货柜的视觉识别装置，其特征在于，所述第二确定模块，包括：

第一划分单元，用于将每个所述摄像头的每个节点均投影至同一时间轴，以相邻的两个所述节点确定一个所述时段；

第一确定单元，用于基于所述轨迹特征划分为的各段的动作属性，确定所述时段的动作属性。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述售货柜的视觉识别方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述售货柜的视觉识别方法的步骤。

Images