CN113052020A - 商品取放识别装置及商品取放识别方法 - Google Patents

Abstract

本发明提供一种商品取放识别装置及商品取放识别方法，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，商品取放识别装置包括：商品解析部，从取放视频的帧图像中解析出每一帧图像中含有的各个商品的轮廓和对应的位置信息；轮廓判定部，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品；移动轨迹形成部，将每个帧图像中同一待售商品的位置信息连接形成商品移动轨迹；以及取放判定部，至少根据商品移动轨迹判定待售商品是否被用户取放。

Description

商品取放识别装置及商品取放识别方法

技术领域

本发明属于智能售货领域，涉及智能售货柜，具体涉及一种商品取放识别装置及方法。

背景技术

智能售货柜是商业自动化的常用设备，可以布置在商场、超市、等位置，为来往的用户提供零售服务。动态图像柜是一种常见的智能售货柜，能够通过对摄像头拍摄视频来识别出被用户取出的商品，其具有生产、维护成本低、以及内部空间利用率高等特点。

然而，目前市面上的动态图像柜仍然存在很多不足，主要问题在于识别精度低，难以准确地判断视频帧中识别出的商品是否确为被用户取放的待售商品，因此容易导致商品的结算出错，往往需要依靠人工配合审单。这不仅极大地影响了用户的购物体验，而且还提升了人员管理的成本。

为了提升动态图像柜的识别准确率，现有的商品识别方法(专利201910923841.2)通过先从视频中识别出手持商品，然后对手持商品进行识别以及分类从而确定被用户拿去的待售商品。但这种方法依然存在不足：一是当用户佩戴手套、或手被衣物遮挡时就无法正确识别；二是容易将客户自带的商品错误地识别为待售商品。

除了上述这类方法之外，现有各种商品识别方法的识别精度低的主要原因普遍在于：商品被取放的过程中状态可能会发生较大的变化，如商品与摄像头的角度或者距离发生变化时，商品的面积、长宽高都会发生较大变化，进而导致识别失败。

发明内容

为解决上述问题，提供一种能够判定出视频的各个帧图像中各个被识别出的商品轮廓之间的对应关系，从而实现商品移动轨迹以及取放状态的准确识别的商品取放识别装置及方法，本发明采用了如下技术方案：

<结构一>

本发明提供了一种商品取放识别装置，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，包括：帧图像分解部，将取放视频分解为多个帧图像；商品解析部，分别从每一个帧图像中解析出该帧图像中含有的各个商品的轮廓和对应的位置信息；轮廓判定部，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品；移动轨迹形成部，将每个帧图像中同一待售商品的位置信息按照时间顺序连接形成待售商品的商品移动轨迹；以及取放判定部，至少根据商品移动轨迹判定待售商品是否被用户取放。

<结构二>

本发明还提供了一种商品取放识别方法，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，包括以下步骤：帧图像分解步骤，将取放视频分解为多个帧图像；商品解析步骤，分别从每一个帧图像中解析出该帧图像中含有的各个商品的轮廓和对应的位置信息；轮廓判定步骤，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品；移动轨迹形成步骤，将每个帧图像中同一待售商品的位置信息按照时间顺序连接形成待售商品的商品移动轨迹；取放判定步骤，至少根据商品移动轨迹判定待售商品是否被用户取放。

发明作用与效果

根据本发明提供的商品取放识别装置及商品取放识别方法，由于在获取到用户取放待售商品的取放视频后，通过对视频的各个视频帧中所有商品的轮廓以及位置进行识别，并根据预定轮廓变形范围判定规则以及预定位置移动范围判定规则，判定出相邻两个帧图像中轮廓的对应关系，最后根据该对应关系将轮廓对应的商品作为待售商品并将位置信息链接形成商品移动轨迹，因此，通过这种方式，可以准确地确定相邻两帧中哪两个轮廓属于同一商品。即使商品在取放过程中因为与摄像头的角度、距离发生改变，导致商品轮廓不断产生对应变化，也可以保证该待售商品的商品移动轨迹可以正确地被构建，最终保证了待售商品的取放识别的准确性以及稳定性。

附图说明

图1是本发明实施例一中用户画像构建装置的框图；

图2是本发明实施例一中帧图像的示意图；

图3是本发明实施例一中轮廓判定部的框图；

图4是本发明实施例一中相邻两个帧视频的对比示意图之一；

图5是本发明实施例一中相邻两个帧视频的对比示意图之二；

图6是本发明实施例一中内外分割线的示意图；

图7是本发明实施例一中商品取放识别装置的商品取放识别动作的流程图；

图8是本发明实施例二中用户画像构建装置的框图；

图9是本发明实施例二中轮廓判定部的框图；以及

图10是本发明实施例二中商品取放识别装置的商品取放识别动作的流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的商品取放识别装置以及商品取放识别方法作具体阐述。

作为一种实施形态，本发明提供了一种商品取放识别装置，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，包括：帧图像分解部，将取放视频分解为多个帧图像；商品解析部，分别从每一个帧图像中解析出该帧图像中含有的各个商品的轮廓和对应的位置信息；轮廓判定部，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品；移动轨迹形成部，将每个帧图像中同一待售商品的位置信息按照时间顺序连接形成待售商品的商品移动轨迹；以及取放判定部，至少根据商品移动轨迹判定待售商品是否被用户取放。

在第一种实施形态中，还可以具有这样的技术特征，其中，商品的轮廓为能够框选出与帧图像中该商品的图形大小相适配的范围框，位置信息为范围框在帧图像中的中心点坐标，轮廓判定部具有：轮廓设定单元，针对相邻两个帧图像，将一个帧图像中的各个轮廓设定为第一轮廓，并将另一个帧图像中的各个轮廓设定为第二轮廓；位置移动范围判断单元，根据第一轮廓以及第二轮廓的位置信息计算第一轮廓与第二轮廓之间的移动距离，并判断该移动距离是否在与第二轮廓的边长相对应的位置移动阈值以下；轮廓变形范围判断单元，判断第一轮廓的边长是否在与第二轮廓的边长相对应的轮廓变形范围内；对应关系判定单元，当第一轮廓与第二轮廓之间的移动距离在位置移动范围内，并且第一轮廓的边长在轮廓变形范围内时，将移动距离最短的第一轮廓与第二轮廓判定为具有对应关系。

在第一种实施形态中，还可以具有这样的技术特征，其中，边长为范围框的宽度值以及高度值，位置移动阈值为高度值乘以预定移动距离系数，该预定移动距离系数的取值范围在1.3至1.7之间，轮廓变形范围为边长乘以预定最小变形系数至边长乘以预定最大变形系数之间，预定最小变形系数为0.6，预定最大变形系数为1.7。

在第一种实施形态中，还可以具有这样的技术特征，其中，商品的轮廓为能够框选出与帧图像中该商品的图形大小相适配的范围框，位置信息为范围框在帧图像中的中心点坐标，轮廓判定部具有：标准边长存储单元，存储有与各个商品相对应的范围框标准边长；轮廓设定单元，针对相邻两个帧图像，将一个帧图像中的各个轮廓设定为第一轮廓，并将另一个帧图像中的各个轮廓设定为第二轮廓；商品距离计算单元，根据第二轮廓在帧图像中的边长、对应商品的范围框标准边长以及摄像头的焦距，计算得到商品与摄像头之间的商品距离；位置移动阈值计算单元，根据商品距离、焦距以及预定实际移动阈值计算得到位置预定阈值；位置移动范围判断单元，根据第一轮廓以及第二轮廓的位置信息计算第一轮廓与第二轮廓之间的移动距离，并判断该移动距离是否在位置移动阈值以下；轮廓变形范围判断单元，判断第一轮廓的边长是否在与第二轮廓的边长相对应的轮廓变形范围内；对应关系判定单元，当第一轮廓与第二轮廓之间的移动距离在位置移动范围内，并且第一轮廓的边长在轮廓变形范围内时，将移动距离最短的第一轮廓与第二轮廓判定为具有对应关系。

在第一种实施形态中，还可以具有这样的技术特征，其中，商品解析部在解析出帧图像中含有的各个商品的轮廓和对应的位置信息的同时，还解析出与轮廓相对应的各个商品的类别，轮廓判定部在判定各个帧图像中各个轮廓之间的对应关系时，对相邻两个帧图像中对应同一类别的轮廓两两进行判定。

在第一种实施形态中，还可以具有这样的技术特征，还包括：商品清单生成部，根据取放状态以及商品的类别生成含有所有被取放的待售商品的类别以及对应的取放状态的商品清单。

在第一种实施形态中，还可以具有这样的技术特征，还包括：内外分割线存储部，存储有用于在帧图像中区分智能售货柜内外的内外分割线信息，其中，取放判定部包括：移动轨迹获取单元，获取待判定的待售商品的商品移动轨迹；以及取放状态判定单元，根据内外分割线信息对商品移动轨迹中与最新的多个帧图像相对应的位置信息进行判定，当位置信息在内外分割线以外，则判定待售商品为取出状态，当位置信息在内外分割线以内，则判定待售商品为放入状态。

在第一种实施形态中，还可以具有这样的技术特征，其中，移动轨迹形成部在形成商品移动轨迹时，还根据同一待售商品的轮廓形成与商品移动轨迹相对应的轮廓变化轨迹。

作为第二种实施形态，本发明还提供了一种商品取放识别方法，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，包括以下步骤：帧图像分解步骤，将取放视频分解为多个帧图像；商品解析步骤，分别从每一个帧图像中解析出该帧图像中含有的各个商品的轮廓和对应的位置信息；轮廓判定步骤，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品；移动轨迹形成步骤，将每个帧图像中同一待售商品的位置信息按照时间顺序连接形成待售商品的商品移动轨迹；取放判定步骤，至少根据商品移动轨迹判定待售商品是否被用户取放。

<实施例一>

本实施例的商品取放识别装置为一个与智能售货柜相通信连接的处理器。其中，智能售货柜中存放有多个待售商品，能够在用户开启柜门并取放待售商品时通过摄像头进行拍摄，并在用户关闭柜门后将拍摄得到的取放视频发送给商品取放识别装置。

图1是本发明实施例一中用户画像构建装置的框图。

如图1所示，商品取放识别装置100与一个智能售货柜200相通信连接，用于对智能售货柜200发送的取放视频进行识别从而识别出该智能售货柜200中被用户取出或放入的待售商品。商品取放装置100具体包括帧图像分解部11、商品解析部12、轮廓判定部13、移动轨迹形成部14、移动轨迹存储部15、内外分割线存储部16、取放判定部17、商品清单生成部18、通信部19以及用于控制上述各部的控制部20。

一旦通信部19获取到智能售货柜200发送的取放视频，帧图像分解部11就将该取放视频按照时间顺序分解为多个帧图像。

商品解析部12存储有预先训练好的商品解析模型，用于将每一个帧图像分别输入该商品解析模型进行解析。本实施例中，商品解析模型基于ssd神经网络模型预先训练得到，该商品解析模型对帧图像进行处理后，就会输出该帧图像中含有的所有商品的解析信息。每条解析信息中包含解析出的商品的轮廓、该轮廓的位置信息、商品的类别以及解析的置信度分数(置信度分数的取值范围是0～1，表示该条解析信息的可信程度)。商品解析部12会保留置信度分数在置信度阈值(本实施例中取0.7)以上的解析信息。

其中，轮廓为能够框选出与帧图像中商品的图形大小相适配的范围框，即，范围框能够恰好框出帧图像中商品的图形。该范围框为矩形，位置信息为范围框的中心点坐标，商品解析模型同时还输出有范围框的宽度值和高度值。商品的类别为商品的商品名和规格，如500ml的可乐等。

轮廓判定部13能够基于预定轮廓变形范围判定规则以及预定位置移动范围判定规则，以及根据相邻两个帧图像含有的各个商品的轮廓和位置信息，判定出各个帧图像中各个轮廓之间的对应关系，并将具有该对应关系的轮廓所对应的商品作为同一待售商品。

图2是本发明实施例一中帧图像的示意图。

如图2所示，帧图像121中含有商品A、B和C，以商品A的轮廓122(图2中虚线矩形)为例，该轮廓122的宽度值为w、高度值为h，其位置信息为中心点c在帧图像121中的中心点坐标。

另外，本实施例中，商品解析部12解析出的各个商品的解析信息按照类别进行了分组，从而便于轮廓判定部13在判定轮廓之间的对应关系时，仅对同属于一个类别的轮廓进行判定。

图3是本发明实施例一中轮廓判定部的框图。

如图3所示，轮廓判定部13具有轮廓设定单元131、位置移动范围判断单元132、轮廓变形范围判断单元133、对应关系判定单元134以及判定控制单元135。其中，轮廓变形范围判断单元133对应于预定轮廓变形范围判定规则，位置移动范围判断单元132以及对应关系判定单元134对应于预定位置移动范围判定规则。

一旦判定控制单元135确定最开始的两个帧图像作为待判定的相邻两个帧图像，轮廓设定单元131就针对该两个帧图像，将后一个帧图像中的各个轮廓设定为第一轮廓，并将前一个帧图像中的各个轮廓设定为第二轮廓。

位置移动范围判断单元132用于根据第一轮廓以及第二轮廓的位置信息计算第一轮廓与第二轮廓之间的移动距离，并判断该移动距离是否在与第二轮廓的边长相对应的位置移动阈值以下。该位置移动阈值为范围框的高度值乘以预定移动距离系数，本实施例中，预定移动距离系数的取值优选为1.5。

轮廓变形范围判断单元133用于判断第一轮廓的边长(即宽度值w1与高度值h1)在与第二轮廓的边长(即宽度值w2与高度值h2)相对应的轮廓变形范围内。该预定变形范围是为边长乘以预定最小变形系数至边长乘以预定最大变形系数之间，本实施例中，预定最小变形系数为0.6，预定最大变形系数为1.7。

图4是本发明实施例一中相邻两个帧视频的对比示意图之一。

如图4所示，在帧图像121以及帧图像123中，分别识别出了商品A1和A2，这两个轮廓变形范围判断单元133会分别判定商品A1宽度值w1是否在商品A2宽度值w2*0.6与w2*1.7之间以及判定商品A1高度值h1是否在商品A2高度值h2*0.6与h2*1.7之间。

当位置移动范围判断单元132判断第一轮廓与第二轮廓之间的移动距离在位置移动范围内，并且轮廓变形范围判断单元133判断第一轮廓的边长在轮廓变形范围内时，对应关系判定单元134就将移动距离最短的第一轮廓与第二轮廓判定为具有对应关系，即，判定该第一轮廓与第二轮廓所对应的商品为同一待售商品。

图5是本发明实施例一中相邻两个帧视频的对比示意图之二。

本实施例中，当同一类别并且符合位置移动范围判断单元132以及轮廓变形范围判断单元133的判断条件的轮廓具有多个时，如图5所示，后一帧图像中的第一轮廓A1与前一帧图像中的第二轮廓A2、B2均符合判定条件，同样第一轮廓B1也与前一帧图像中的第二轮廓A2、B2均符合判定条件。此时，对应关系判定单元134分别根据轮廓A1、A2、B1、B2的中心点坐标计算各个第一轮廓与第二轮廓之间的距离，若A1与A2之间的距离小于A1与B2的距离，则对应关系判定单元134就判定A1与A2具有对应关系，并判定B1与B2具有对应关系。

另外，当第一轮廓仅与一个第二轮廓符合判定条件时，则对应关系判定单元134直接判定该第一轮廓与第二轮廓具有对应关系。

判定控制单元135在控制位置移动范围判断单元132、轮廓变形范围判断单元133、对应关系判定单元134完成相邻两个图像帧中所有的轮廓的对应关系的判定后，就将后一帧图像作为新的前一帧图像，并按时间顺序获取后一帧图像作为当前待判定的相邻两个帧图像，进一步控制轮廓设定单元131、位置移动范围判断单元132、轮廓变形范围判断单元133、对应关系判定单元134再次针对该两个帧图像完成所有轮廓的识别，直到所有帧图像均被处理完毕。

移动轨迹形成部14将每个帧图像中同一待售商品的轮廓和位置信息，按照时间顺序连接形成待售商品的商品轨迹信息，该商品轨迹信息对应有一个移动轨迹形成部14生成的轨迹ID。

本实施例中，商品轨迹信息包括待售商品轮廓的商品移动轨迹、轮廓变化轨迹以及轨迹未更新次数，轮廓变化轨迹由宽度值变化轨迹和高度值变化轨迹组成。

其中，商品移动轨迹由同一待售商品在不同帧图像中多个轮廓的中心点坐标组成，宽度值变化轨迹、高度值变化轨迹分别由相应多个轮廓的宽度值、高度值组成。每当轮廓判定部13判定出相邻两个帧图像中轮廓之间的对应关系后，移动轨迹形成部14就会根据该对应关系，将后一帧图像中轮廓的中心点坐标、宽度值和高度值对应地增加至商品移动轨迹、宽度值变化轨迹和高度值变化轨迹中。

轨迹未更新次数为商品轨迹信息未被移动轨迹形成部14更新的次数，该次数在轮廓判定部13每完成一次相邻两个帧图像的判定时会加一，并在移动轨迹形成部14对商品轨迹信息进行更新时归零。一旦该轨迹未更新次数超过预定未更新阈值(本实施例中该预定未更新阈值设为3)时，移动轨迹形成部14就会停止对该商品轨迹信息的更新。

另外，若轮廓判定部13判定某个第一轮廓在前一帧图像中没有对应的第二轮廓，则移动轨迹形成部15就根据该第一轮廓对应的待售商品形成一个新的商品轨迹信息，令该第一轮廓的中心点坐标作为商品移动轨迹的第一个坐标、该第一轮廓的宽度值和高度值作为宽度值变化轨迹和高度值变化轨迹的第一个值，并在新的商品轨迹信息中设定一个初始为零的轨迹未更新次数。

移动轨迹存储部15用于对移动轨迹形成部形成的待售商品的移动轨迹进行对应存储。

本实施例中，轮廓判定部13的判定控制单元135在控制轮廓设定单元131将移动轨迹存储部15中轨迹未更新次数在预定未更新阈值以下的各个轮廓变化轨迹的最新一个轮廓作为第二轮廓，即，将当前待判定的两个帧图像的前2个(预定未更新阈值减一)帧图像中的商品轮廓也作为第二轮廓进行对应关系的判定。

内外分割线存储部16存储有用于在帧图像中区分智能售货柜200内外的内外分割线信息。

取放判定部17用于根据内外分割线信息以及商品移动轨迹判定待售商品是否被用户取放。

图6是本发明实施例一中内外分割线的示意图。

如图6所示，虚线171对应于根据内外分割线存储部16存储的内外分割线信息所划分的内外分割线，在图6中虚线171的上方为柜内区域，虚线171的下方为柜外区域。取放判定部17在判定待售商品A时，获取到的待售商品A的商品移动轨迹为A2、A1、A3、A4(按时间顺序排列)，可以看出，由于商品移动轨迹A2、A1、A3从柜内区域移动到柜外区域，并且最后的位置信息A4位于柜外区域，因此取放判定部17就判定该待售商品A为被用户取出的取出状态。

若待售商品的商品移动轨迹始终在柜内区域、或者移动到柜外区域但最后的位置信息又移动回柜内区域，则取放判定部17就判定该待售商品的取放状态没有发生改变。

若待售商品的商品移动轨迹从柜外区域移动至柜内区域，则取放判定部17就判定该待售商品为被用户放入的放入状态。

商品清单生成部18用于生成商品清单，该商品清单中含有所有被取放的待售商品的类别以及对应的取放状态。

图7是本发明实施例一中商品取放识别装置的商品取放识别动作的流程图。

如图7所示，一旦智能售货柜200拍摄完取放视频，就开始商品取放识别装置100的商品取放识别动作的流程，该流程具体包括如下步骤：

步骤S1-1，通信部19接收到智能售货柜200发送的取放视频，帧图像分解部11将该取放视频按照时间顺序分解为多个帧图像，然后进入步骤S1-2；

步骤S1-2，商品解析部12通过商品解析模型对每一个帧图像分别进行解析，从而解析出该帧图像中含有的所有商品的轮廓、该轮廓的位置信息、商品的类别以及解析的置信度分数，并保留置信度分数高于置信度阈值的轮廓与对应的位置信息和类别，然后进入步骤S1-3；

步骤S1-3，判定控制单元135确定最开始的两个帧图像作为待判定的相邻两个帧图像，然后进入步骤S1-4；

步骤S1-4，轮廓设定单元131针对待判定的相邻两个帧图像，将后一个帧图像中的各个轮廓设定为第一轮廓，并将前一个帧图像中的各个轮廓设定为第二轮廓，然后进入步骤S1-5；

步骤S1-5，位置移动范围判断单元132根据第一轮廓以及第二轮廓的位置信息计算第一轮廓与第二轮廓之间的移动距离，并判断该移动距离是否在与第二轮廓的边长相对应的位置移动阈值以下，若判断为是则进入步骤S1-6，若判断为否则进入步骤S1-8；

步骤S1-6，轮廓变形范围判断单元133判断第一轮廓的边长是否在与第二轮廓的边长相对应的轮廓变形范围内，若判断为是则进入步骤S1-7，若判断为否则进入步骤S1-8；

步骤S1-7，对应关系判定单元134将移动距离最短的第一轮廓与第二轮廓判定为具有对应关系，即，判定该第一轮廓与第二轮廓所对应的商品为同一待售商品，然后进入步骤S1-8；

步骤S1-8，判定控制单元135判断是否所有帧图像均被处理完毕，若判断为否则进入步骤S1-9，若判断为是则进入步骤S1-10；

步骤S1-9，判定控制单元135将后一帧图像作为新的前一帧图像，并按时间顺序将后一帧图像作为当前待判定的相邻两个帧图像，然后进入步骤S1-4；

步骤S1-10，移动轨迹形成部14将每个帧图像中同一待售商品的轮廓和位置信息，按照时间顺序连接形成待售商品的商品轨迹信息，然后进入步骤S1-11；

步骤S1-11，取放判定部17根据内外分割线存储部16存储的内外分割线信息以及步骤S1-10形成的商品移动轨迹判定待售商品是否被用户取放，然后进入步骤S1-12；

步骤S1-12，商品清单生成部18根据步骤S1-11的判定结果以及待售商品对应的类别生成商品清单，然后进入结束状态。

通过上述过程，即可完成待售商品的取放识别并生成对应的商品清单，该商品清单不仅可以作为消费者用户的购物清单供售货系统进行金额结算，也可以作为上货员用户的上货清单让上货员统计在智能售货柜中放入了多少待售商品。

实施例一作用与效果

根据本实施例一提供的商品取放识别装置及方法，由于在获取到用户取放待售商品的取放视频后，通过对视频的各个视频帧中所有商品的轮廓以及位置进行识别，并根据预定轮廓变形范围判定规则以及预定位置移动范围判定规则，判定出相邻两个帧图像中轮廓的对应关系，最后根据该对应关系将轮廓对应的商品作为待售商品并将位置信息链接形成商品移动轨迹，因此，通过这种方式，可以准确地确定相邻两帧中哪两个轮廓属于同一商品。即使商品在取放过程中因为与摄像头的角度、距离发生变化而导致商品轮廓不断产生变化，也可以保证该待售商品的商品移动轨迹可以正确地被构建，最终保证了待售商品的取放识别的准确性以及稳定性。

在实施例一中，还由于在通过预定位置移动范围判定规则对相邻两个帧图像的第一轮廓与第二轮廓之间的移动距离进行判定时，判定该移动距离是否在与第二轮廓的边长相对应的位置移动阈值以下，该位置移动阈值通过将第二轮廓的高度值乘以预定移动距离里系数得到，通过这样的方式，可以适应商品距离相机存在的近大远小特点，更准确地判断商品的移动距离是否在预期范围内，提高精度。

在实施例一中，还由于通过轮廓变形范围判定规则对相邻两个帧图像的第一轮廓与第二轮廓的变形进行判定，因此即使待售商品相对于摄像头产生偏转、远离等状态时，也可以准确地匹配出前后两帧中的待售商品的轮廓，更好地保证了待售商品的取放识别。

在实施例一中，由于在解析出帧图像中各个商品的轮廓和位置信息时，还识别出商品的类别，并使得轮廓判定部在判定相邻两个帧图像中的轮廓时，仅对属于同一类别的轮廓两两进行判定，因此不仅可以节省轮廓对应关系判定所耗费的计算资源，还可以提高对不同类别的商品的识别准确率。

<实施例二>

本实施例二中，对于与实施例一具有同样结构的构成要素赋予同样的符号并省略相应的说明。

与实施例一相比，本实施例二为了针对一些商品的长度和宽度都相差不大的情况下(如饮料、方便面等长度和宽度都接近的商品)进行更有效的识别，其不同在于轮廓判定部通过另一种方式实现轮廓之间的对应关系的判定，具体地：

图8是本发明实施例二中用户画像构建装置的框图。

如图8所示，商品取放识别装置100’具体包括帧图像分解部11、商品解析部12、轮廓判定部13’、移动轨迹形成部14、移动轨迹存储部15、内外分割线存储部16、取放判定部17、商品清单生成部18、通信部19以及用于控制上述各部的控制部20。

图9是本发明实施例二中轮廓判定部的框图。

如图9所示，轮廓判定部13’具有标准边长存储单元136、轮廓设定单元131、商品距离计算单元137、位置移动阈值计算单元138、位置移动范围判断单元139、轮廓变形范围判断单元133、对应关系判定单元134以及判定控制单元135。

标准边长存储单元231存储有与各个商品相对应的范围框标准边长，本实施例中，该范围框标准边长为与商品的实际大小相对应的范围框的宽度值w1。

在轮廓设定单元131设定了第一轮廓以及第二轮廓后，商品距离计算单元137基于成像原理，根据第二轮廓在帧图像中的边长(宽度值w)、对应商品的范围框标准边长(宽度值w1)以及摄像头的焦距f，计算得到商品与摄像头之间的商品距离l＝(f/w)*w1。

位置移动阈值计算单元138根据商品距离l、焦距f以及预定实际移动阈值d计算得到位置预定阈值d1＝l/d*f。

本实施例中，预定实际移动阈值d为商品在相邻k帧(k<＝3)中可能移动的实际距离。

位置移动范围判断单元139根据第一轮廓以及第二轮廓的位置信息计算第一轮廓与第二轮廓之间的移动距离，并判定该移动距离是否在位置移动阈值计算单元138计算出的位置移动阈值以下。

接下来，再由轮廓变形范围判断单元133以及对应关系判定单元134进行后续处理，从而最终判定出第一轮廓以及第二轮廓之间的对应关系。

图10是本发明实施例二中商品取放识别装置的商品取放识别动作的流程图。

如图10所示，一旦智能售货柜200拍摄到取放视频，就开始商品取放识别装置100’的商品取放识别动作的流程，该流程具体包括如下步骤：

步骤S2-1，通信部19获取到智能售货柜200发送的取放视频，帧图像分解部11将该取放视频按照时间顺序分解为多个帧图像，然后进入步骤S2-2；

步骤S2-2，商品解析部12通过商品解析模型对每一个帧图像分别进行解析，从而解析出该帧图像中含有的所有商品的轮廓、该轮廓的位置信息、商品的类别以及解析的置信度分数，并保留置信度分数高于置信度阈值的轮廓与对应的位置信息和类别，然后进入步骤S2-3；

步骤S2-3，判定控制单元135确定最开始的两个帧图像作为待判定的相邻两个帧图像，然后进入步骤S2-4；

步骤S2-4，轮廓设定单元131针对待判定的相邻两个帧图像，将后一个帧图像中的各个轮廓设定为第一轮廓，并将前一个帧图像中的各个轮廓设定为第二轮廓，然后进入步骤S2-5；

步骤S2-5，商品距离计算单元137根据第二轮廓在帧图像中的边长、对应商品的范围框标准边长以及摄像头的焦距，计算得到商品与摄像头之间的商品距离，然后进入步骤S2-6；

步骤S2-6，位置移动阈值计算单元138根据商品距离、焦距以及预定实际移动阈值计算得到位置预定阈值，然后进入步骤S2-7；

步骤S2-7，位置移动范围判断单元132根据第一轮廓以及第二轮廓的位置信息计算第一轮廓与第二轮廓之间的移动距离，并判断该移动距离是否在步骤S2-6计算出的位置移动阈值以下，若判断为是则进入步骤S2-8，若判断为否则进入步骤S2-10；

步骤S2-8，轮廓变形范围判断单元133判定第一轮廓的边长在与第二轮廓的边长相对应的轮廓变形范围内，若判断为是则进入步骤S2-9，若判断为否则进入步骤S2-10；

步骤S2-9，对应关系判定单元134就将移动距离最短的第一轮廓与第二轮廓判定为具有对应关系，即，判定该第一轮廓与第二轮廓所对应的商品为同一待售商品，然后进入步骤S2-10；

步骤S2-10，判定控制单元135判断是否所有帧图像均被处理完毕，若判断为否则进入步骤S2-11，若判断为是则进入步骤S2-12；

步骤S2-11，判定控制单元135将后一帧图像作为新的前一帧图像，并按时间顺序将后一帧图像作为当前待判定的相邻两个帧图像，然后进入步骤S2-4；

步骤S2-12，移动轨迹形成部14将每个帧图像中同一待售商品的轮廓和位置信息，按照时间顺序连接形成待售商品的商品轨迹信息，然后进入步骤S2-13；

步骤S2-13，取放判定部17根据内外分割线存储部16存储的内外分割线信息以及步骤S2-12形成的商品移动轨迹判定待售商品是否被用户取放，然后进入步骤S2-14；

步骤S2-14，商品清单生成部18根据步骤S2-13的判定结果以及待售商品对应的类别生成商品清单，然后进入结束状态。

实施例二作用与效果

根据本实施例二提供的商品取放识别装置及方法，在具有与实施例一相同的技术效果的基础上，还由于轮廓判定部通过预定的范围框标准边长，根据商品的在帧图像中的范围框边长计算商品与摄像头之间的实际距离，并根据该实际距离以及预定的实际移动阈值计算商品在帧图像中对应的位置移动阈值，因此，虽然由于近大远小的原理，同一种商品从智能售货柜的不同层以相同速度拿出来，其在帧图像中移动的像素距离相差较大，本实施例二这样的方式也能够准确地根据商品与摄像头的实际距离来调整位置移动阈值，使得商品移动轨迹能够更准确地被构建。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，在上述实施例一中，商品取放识别装置为一个处理器。在本发明的其他方案中，商品取放识别装置也可以是一台服务器，与多个智能售货柜和用户持有的用户终端相通信连接，从而分别对各个智能售货柜的取放视频进行识别，并将商品清单根据用户的识别信息发送给对应的用户终端。

再例如，在上述实施例中，商品取放识别装置为针对完整的取放视频进行处理，在本发明的其他方案中，取放视频也可以通过视频流的方式发送给商品取放识别装置，让该商品取放识别装置实时地对取放视频进行识别并判定出被用户取放的待售商品。

例如，在上述实施例中，商品解析模型通过ssd神经网络模型训练得到。作为替代方案，目标识别模型也可以通过yolo、faster rcnn等其他神经网络模型训练得到。

另外，在上述实施例中，商品解析部通过商品解析模型进行商品的轮廓、位置以及类别的解析。作为替代方案，也可以通过如图像匹配等其他图像识别技术完成视频帧中商品的解析。

Claims (9)

1.一种商品取放识别装置，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，包括：

帧图像分解部，将所述取放视频分解为多个帧图像；

商品解析部，分别从每一个所述帧图像中解析出该帧图像中含有的各个商品的轮廓和对应的位置信息；

轮廓判定部，基于预定轮廓变形范围判定规则以及预定位置移动范围判定规则，以及根据相邻两个所述帧图像含有的各个所述商品的所述轮廓和所述位置信息，判定出各个所述帧图像中各个所述轮廓之间的对应关系，并将具有该对应关系的所述轮廓所对应的所述商品作为同一所述待售商品；

移动轨迹形成部，将每个所述帧图像中同一所述待售商品的所述位置信息按照时间顺序连接形成所述待售商品的商品移动轨迹；以及

取放判定部，至少根据所述商品移动轨迹判定所述待售商品是否被所述用户取放。

2.根据权利要求1所述的商品取放识别装置，其特征在于：

其中，所述商品的所述轮廓为能够框选出与所述帧图像中该商品的图形大小相适配的范围框，所述位置信息为所述范围框在所述帧图像中的中心点坐标，

所述轮廓判定部具有：

轮廓设定单元，针对相邻两个所述帧图像，将一个所述帧图像中的各个所述轮廓设定为第一轮廓，并将另一个所述帧图像中的各个所述轮廓设定为第二轮廓；

位置移动范围判断单元，根据所述第一轮廓以及所述第二轮廓的所述位置信息计算所述第一轮廓与所述第二轮廓之间的移动距离，并判断该移动距离是否在与所述第二轮廓的边长相对应的位置移动阈值以下；

轮廓变形范围判断单元，判断所述第一轮廓的所述边长是否在与所述第二轮廓的所述边长相对应的轮廓变形范围内；

对应关系判定单元，当所述第一轮廓与所述第二轮廓之间的所述移动距离在所述位置移动范围内，并且所述第一轮廓的所述边长在所述轮廓变形范围内时，将所述移动距离最短的所述第一轮廓与所述第二轮廓判定为具有所述对应关系。

3.根据权利要求2所述的商品取放识别装置，其特征在于：

其中，所述边长为所述范围框的宽度值以及高度值，

所述位置移动阈值为所述高度值乘以预定移动距离系数，该预定移动距离系数的取值范围在1.3至1.7之间，

所述轮廓变形范围为所述边长乘以预定最小变形系数至所述边长乘以预定最大变形系数之间，所述预定最小变形系数为0.6，所述预定最大变形系数为1.7。

4.根据权利要求1所述的商品取放识别装置，其特征在于：

其中，所述商品的所述轮廓为能够框选出与所述帧图像中该商品的图形大小相适配的范围框，所述位置信息为所述范围框在所述帧图像中的中心点坐标，

所述轮廓判定部具有：

标准边长存储单元，存储有与各个所述商品相对应的范围框标准边长；

轮廓设定单元，针对相邻两个所述帧图像，将一个所述帧图像中的各个所述轮廓设定为第一轮廓，并将另一个所述帧图像中的各个所述轮廓设定为第二轮廓；

商品距离计算单元，根据所述第二轮廓在所述帧图像中的边长、对应商品的所述范围框标准边长以及所述摄像头的焦距，计算得到所述商品与所述摄像头之间的商品距离；

位置移动阈值计算单元，根据所述商品距离、所述焦距以及预定实际移动阈值计算得到位置移动阈值；

位置移动范围判断单元，根据所述第一轮廓以及所述第二轮廓的所述位置信息计算所述第一轮廓与所述第二轮廓之间的移动距离，并判断该移动距离是否在所述位置移动阈值以下；

轮廓变形范围判断单元，判断所述第一轮廓的所述边长是否在与所述第二轮廓的所述边长相对应的轮廓变形范围内；

对应关系判定单元，当所述第一轮廓与所述第二轮廓之间的所述移动距离在所述位置移动范围内，并且所述第一轮廓的所述边长在所述轮廓变形范围内时，将所述移动距离最短的所述第一轮廓与所述第二轮廓判定为具有所述对应关系。

5.根据权利要求1所述的商品取放识别装置，其特征在于：

其中，所述商品解析部在解析出所述帧图像中含有的各个商品的轮廓和对应的位置信息的同时，还解析出与所述轮廓相对应的各个所述商品的类别，

所述轮廓判定部在判定各个所述帧图像中各个所述轮廓之间的对应关系时，对相邻两个所述帧图像中对应同一所述类别的所述轮廓两两进行判定。

6.根据权利要求5所述的商品取放识别装置，其特征在于，还包括：

商品清单生成部，根据所述取放状态以及所述商品的类别生成含有所有被取放的所述待售商品的所述类别以及对应的取放状态的商品清单。

7.根据权利要求1所述的商品取放识别装置，其特征在于，还包括：

内外分割线存储部，存储有用于在所述帧图像中区分所述智能售货柜内外的内外分割线信息，

其中，所述取放判定部包括：

移动轨迹获取单元，获取待判定的所述待售商品的所述商品移动轨迹；以及

取放状态判定单元，根据所述内外分割线信息对所述商品移动轨迹中与最新的多个所述帧图像相对应的所述位置信息进行判定，

当所述位置信息在所述内外分割线以外，则判定所述待售商品为取出状态，

当所述位置信息在所述内外分割线以内，则判定所述待售商品为放入状态。

8.根据权利要求1所述的商品取放识别装置，其特征在于：

其中，所述移动轨迹形成部在形成所述商品移动轨迹时，还根据同一所述待售商品的所述轮廓形成与所述商品移动轨迹相对应的轮廓变化轨迹。

9.一种商品取放识别方法，用于对用户在智能售货柜中取放待售商品时拍摄得到的取放视频进行识别，其特征在于，包括以下步骤：

帧图像分解步骤，将所述取放视频分解为多个帧图像；

商品解析步骤，分别从每一个所述帧图像中解析出该帧图像中含有的各个商品的轮廓和对应的位置信息；

轮廓判定步骤，基于预定轮廓变形范围判定规则以及预定位置信息移动范围判定规则，以及根据相邻两个所述帧图像含有的各个所述商品的所述轮廓和所述位置信息，判定出各个所述帧图像中各个所述轮廓之间的对应关系，并将具有该对应关系的所述轮廓所对应的所述商品作为同一所述待售商品；

移动轨迹形成步骤，将每个所述帧图像中同一所述待售商品的所述位置信息按照时间顺序连接形成所述待售商品的商品移动轨迹；

取放判定步骤，至少根据所述商品移动轨迹判定所述待售商品是否被所述用户取放。

Images