CN113723383B - 异视角同步识别同区域商品的订单生成方法及智能售货机 - Google Patents

Abstract

本发明属于图像处理技术领域，为解决现有技术的智能售货机存在操作繁琐或异常订单，所导致的用户体验效果不佳技术问题，提供了一种异视角同步识别同区域商品的订单生成方法及智能售货机。该方法包括：分别从第一视角方向和第二视角方向获取商品区域的第一视频数据和第二视频数据；利用目标检测模型分别对第一视频数据和第二视频数据的各帧图像进行检测，生成第一视频数据对应的第一商品信息和第二视频数据对应的第二商品信息；对比第一商品信息和第二商品信息，生成本次购物商品的商品订单。本发明还包括用于执行上述方法的装置及智能售货机。本发明可以通过从不同视角获取购物视频，避免商品被遮挡影响检测准确性，避免异常订单产生。

Description

异视角同步识别同区域商品的订单生成方法及智能售货机

技术领域

本发明涉及图像处理技术领域，尤其涉及一种异视角同步识别同区域商品的订单生成方法及智能售货机。

背景技术

随着人工智能技术的不断发展，零售业的售卖方式也发生了巨大的变化，其中智能售货机已经遍布在城市的各种场合，包括车站、商城、旅游景区或百货店均能发现各式各样的智能售货机，智能售货机以其无需专人看守、用户自动下单、购物结账的方式，极大遍历了特殊场景用户对于商品的购物需求。

然而，现有智能售货机包括全开门智能售货机和通过按键下单的智能售货机，其中，全开门智能售货机用户可以在智能售货机柜门打开时，在一次购物中可以进行多次拿放操作，同时可以一次选择多件商品后再进行统一结算，该智能售货机极大方便了用户的购物需求，但是这类智能售货机因为主要依赖购物视频进行商品订单结算，当用户在拿放商品时，商品部分特征会被遮挡，因此容易产生误检，生成异常订单的问题；另一类通过按键下单的智能售货机在用户需要购物时，需要事先确定自己需要购买的所有商品，然后购买一件进行一次结算后再进行第二件购买及结算，经过多次下单和结算才能完成所有购物，且不能回退商品，因此存在操作繁琐的问题。

发明内容

有鉴于此，本发明实施例提供了一种异视角同步识别同区域商品的订单生成方法及智能售货机，用以解决现有的智能售货机存在操作繁琐或异常订单，所导致的用户体验效果不佳技术问题。

本发明采用的技术方案是：

本发明提供了一种异视角同步识别同区域商品的订单生成方法，所述方法包括：

S1：获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；

S2：利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；

S3：对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息；

其中，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。

优选地，所述S1包括：

S11：获取沿智能售货机的货架排列方向将放置商品的商品区分为多个局部区域，分成若干局部区域；

S12：控制第一主摄像头和与所述第一主摄像头位于同侧且各自对应采集一个局部区域的第一子摄像头以第一视角采集相应局部区域的商品图像生成第一视频数据；

S13：控制第二主摄像头和与所述第二主摄像头位于同侧且各自对应采集一个局部区域的第二子摄像头以不同于第一视角的第二视角采集相应局部区域的商品图像生成第二视频数据。

优选地，所述S13包括：

S131：获取所述第一主摄像头采集商品区域生成的第一主视频、各所述第一子摄像头采集对应局部区域的商品生成的第一子视频、所述第二主摄像头采集商品区域生成的第二主视频和各所述第二子摄像头采集对应局部区域的商品生成的各第二子视频；

S132：以各所述第一子视频中各帧图像的局部区域图像替换所述第一主视频中对应各所述第一子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据；

S133：以各所述第二子视频中各帧图像的局部区域图像替换所述第二主视频中对应各所述第二子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据。

优选地，所述S13包括：

S134:分别获取所述第一主摄像头采集商品区域的第一主视频和所述第二主摄像头采集商品区域的第二主视频中在拿出或放回商品时存在重合的图像帧；

S135：根据各所述重合的图像帧，将与各重合的图像帧对应的所述第一主视频分为对应的多个第一视频段和将与各重合的图像帧对应的所述第二主视频分为对应的多个第二视频段；

S136：根据各所述第一视频段对各所述第一子视频进行删减，得到优化后的各第一优化子视频，根据各所述第二视频段对各所述第二子视频进行删减，得到优化后的各第二优化视频；

S137：以各所述第一优化子视频中各帧图像的局部区域图像替换对应的各所述第一视频段中对应各所述第一优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据，以各所述第二优化子视频中各帧图像的局部区域图像替换对应的各所述第二视频段中对应各所述第二优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据。

优选地，所述S1包括：

S14：获取用于采集商品区视频数据的摄像头的帧率和摄像头数量；

S15：根据所述帧率和所述摄像头数量，确定各摄像头开始采集对应商品区的视频数据的间隔时间；

S16：根据所述间隔时间，控制各摄像头采集所述第一视频数据和所述第二视频数据。

优选地，所述S2包括：

S21：利用所述目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，得到所述第一视频数据中的各类商品的第一检测结果和所述第二视频数据中的各类商品的第二检测结果，其中，第一检测结果和第二检测结果均包括检出次数、商品类别和对应于各商品类别的置信度；

S22：根据所述第一检测结果中的各置信度，计算各类别商品对应的第一平均置信度，根据所述第二检测结果中的各置信度，计算各类别商品对应的第二平均置信度；

S23：分别将各所述第一平均置信度和各所述第二平均置信度与置信度阈值对比，得到属于所述第一检测结果中符合要求的所述第一商品信息和属于所述第二检测结果中符合要求的所述第二商品信息。

优选地，所述S3包括：

S31：对比所述第一商品信息和所述第二商品信息，得到各待定商品和各确定商品；

S32：对比各所述待定商品对应的置信度或相对于置信度阈值的有效检出率，输出置信度大或有效检出率高的所述待定商品作为二次确定商品；

S33：根据所述确定商品和所述二次确定商品，生成所述商品订单信息；

其中，所述有效检出率为检出次数中置信度大于置信度阈值的次数与检出总次数的比值。

本发明还提供了一种异视角同步识别同区域商品的订单生成装置，所述装置包括：

视频采集模块：用于获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；

目标检测模块：用于利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；

订单生成模块：用于对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息；

其中，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。

本发明还提供了一种智能售货机，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。

本发明还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。

综上所述，本发明的有益效果如下：

本发明提供的一种异视角同步识别同区域商品的订单生成方法及智能售货机，从不同视角获取智能售货机的商品区域的视频数据，得到第一视频数据和第二视频数据，从而采集到商品完整的信息，然后分别根据第一视频数据和第二视频数据生成对应的第一商品信息和第二商品信息，对比不同角度的视频数据产生的商品订单信息，可以防止商品被遮挡引起的订单异常，提高检测准确性和用户体验效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。

图1为实施例1中异视角同步识别同区域商品的订单生成方法的流程示意图；

图2为实施例1中具有多个不同视角摄像头的智能售货机的结构示意图；

图3为实施例1中获取主视频和子视频的流程示意图；

图4为实施例1中获取第一视频数据和第二视频数据的流程示意图；

图5为实施例1中获取商品信息的流程示意图；

图6为实施例1中商品筛选的流程示意图；

图7为实施例2中异视角同步识别同区域商品的订单生成装置的结构示意图；

图8为实施例3中智能售货机的自动结算系统的结构示意图；

图9为实施例4中智能售货机的结构示意图；

图1至图9的附图标记：

1、柜体；11、货架； 12、商品区； 2、柜门； 3、摄像头。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。

实施例1

现有全开门智能售货机因为具有传统售货机的便于一次选购多件商品、一次购物中多次更换商品，同时，能够在用户完成一次复杂购物过程中快速生成订单，通过自主结算方式快速结算，相较于现有的通过一次扫码仅能购买一件商品，且购买后无法重新选择，全开门智能售货机具有操作简单，用户购物自主选择性更强的优点；然而因为全开门智能售货机在一次购物中，用户可以购买多件商品，同时可以多次进行商品的上架和下架，从而因为遮挡问题会导致大量商品在上架或下架过程中，由于遮挡位置不同，导致同一商品前后检出不同结果，造成异常订单影响用户体验效果和商家信誉。

本发明是基于从多个角度获取用户从智能售货机购物的购物视频进行可行性研究，通过在智能售货机的商品区设置从不同方向对商品区进行实时监控的摄像头，结合多个摄像头拍摄的购物视频，然后通过画面拼接、对比分析等方式，得到用户购物的订单信息，然后通过服务器进行自动结算，提高用户的购物体验，同时减少人工结算流程。

具体的，请参见图2，图2为全开门的智能售货机的结构示意图，智能售货机包括柜体1和柜门2，柜体1和柜门2进行转动连接，且柜门2相对于柜体1处于闭合状态时，柜门2覆盖住柜体1的所有放置商品的商品区，即无法对柜体内的商品进行拿取操作，当柜门2打开时，柜体1中的所有商品均展现在用户面前，用户可以在一次购物中心选择任意商品，同时也可以选择多件商品，既可以对选择的商品进行拿出，也可以对选择后需要放回的商品进行放回，柜体1内设有货架11，货架11可以是将柜体1分为多个商品区12的搁物架，其中，在柜体1的内部各商品区均设有摄像头，这样可以从过个角度获取用户从智能售货机购物的购物视频，避免单一角度采集的购物视频因为遮挡问题导致购物视频的可靠性不高的问题，图2所示的智能售货机在售货机的内部左侧壁和右侧壁均设有多个摄像头从而可以对同一商品区以相对的视角方向采集购物视频，提高视频数据的可靠性。

请参见图1，图1为本发明实施例1中异视角同步识别同区域商品的订单生成方法的流程示意图，所述方法包括：

S1：获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；

具体的，智能售货机用于放置商品的区域记为商品区域，在相对于商品区域的两个视角方向均安装有摄像头，通过不同视角获取商品区域的图像数据，便于统计商品的拿取。如智能售货机的腔体内设置有多个用于放置商品的货架，每一个商品区域至少包括一层货架对应的空间，视角方向为摄像头的镜头所朝的方向，如摄像头安装在左边，则视角方向为从左至右（包括左上至右下、左下至右上），摄像头安装在右边，则视角方向为从右至左（包括右上至左下、右下至左上），摄像头安装在顶部，则视角方向为从上至下，摄像头安装在底部，则视角方向为从下至上。

S2：利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；

具体的，利用预置的目标检测模型分别对第一视频数据和第二视频数据的各帧图像进行目标检测，得到第一视频数据中每帧图像中的各商品类型和各商品对应的置信度，记为第一商品信息，同理，得到第二视频数据中每帧图像中的各商品类型和各商品对应的置信度，记为第二商品信息。

S3：对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息；

其中，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。

具体的，将第一视频数据检测出的第一商品信息与第二视频数据检测出的第二商品信息进行对比，最终确定用户从商品区域拿出的商品，然后自动生成本次购物的商品订单；用户根据该订单进行支付。

需要说明的是：第一视频数据和第二视频数据因为是采集同一商品区域的视频数据，因此，采集第一视频数据和采集第二视频数据的摄像头的帧率相同，提高人眼观看视频的舒适度。

在一实施例中，请参见图3，所述S1包括：

S11：获取沿智能售货机的货架排列方向将放置商品的商品区分为多个局部区域，分成若干局部区域；

具体的，智能售货机的腔体内设置有多个安装货架的位置，通常货架的安装方式为从上至下，以货架为从上至下安装为例，将智能售货机的柜体分为多个商品区，每一个商品区至少包含一层货架对应的空间区域。

S12：控制第一主摄像头和与所述第一主摄像头位于同侧且各自对应采集一个局部区域的第一子摄像头以第一视角采集相应局部区域的商品图像生成第一视频数据；

S13：控制第二主摄像头和与所述第二主摄像头位于同侧且各自对应采集一个局部区域的第二子摄像头以不同于第一视角的第二视角采集相应局部区域的商品图像生成第二视频数据；

具体的，第一主摄像头和第二主摄像头相向设置，分别位于智能售货机柜体的内的左右侧壁上，为了获取的各商品区的图像更清晰，为第一主摄像头还设有对应的至少一个第一子摄像头，以及为第二主摄像头还设有对应的至少一个第二子摄像头，第一子摄像头位于第一主摄像头同侧，第二子摄像头位于第二主摄像头同侧，如将智能售货机的商品区分为上中下三个商品区，在顶部相对设有第一主摄像头和第二主摄像头，第一主摄像头的视角方向为从左往右，第二主摄像头的视角方向为从右往左，在中件商品区和下边商品区的左侧设有第一子摄像头，右侧设有第二子摄像头。第一主摄像头安装的商品区比第一子摄像头和第二子摄像头的商品区高，第一主摄像头的图像区域包括所有商品区域的画面，为了减少数据量，第一主摄像头的视角要尽可能小，各第一子摄像头对应的商品区域为第一主摄像头对应的某一商品区域，为了保证第一子摄像头采集的商品区域图像完整，第一子摄像头视角比第一主摄像头和第二主摄像头大，角度差为γ，0°＜γ＜90°，第二主摄像头和第二子摄像头的关系同第一主摄像头与第一子摄像头的关系，因此此处不再赘述。

在一实施例中，所述S13包括：

S131：获取所述第一主摄像头采集商品区域生成的第一主视频、各所述第一子摄像头采集对应局部区域的商品生成的第一子视频、所述第二主摄像头采集商品区域生成的第二主视频和各所述第二子摄像头采集对应局部区域的商品生成的各第二子视频；

S132：以各所述第一子视频中各帧图像的局部区域图像替换所述第一主视频中对应各所述第一子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据；

具体的，第一主视频对应的图像区域包括所有第一子视频对应的图像区域，因此，将各第一子视频对应的图像区域的视频数据去替换第一主视频中对应图像区域的视频数据，得到第一视频数据，例如：智能售货机包括上中下上个商品区域，上商品区域视频的各帧图像包括上商品区域的图像、中商品区域的图像和下商品区域的图像，中商品区域视频的各帧图像包括中商品区域的图像和下商品区域的图像，在将中商品区域对应的子视频的各帧头像合并到上商品区域的主视频的各帧图像中，是将中商品区域子视频各帧图像的中商品区域图像去替换上商品区域的主视频中各帧图像中的中商品区域的图像；从而使得属于各第一子视频对应的图像区域中商品在第一视频数据的成像清晰度比在第一主视频的清晰度高，可以提高目标检测的准确性，同时，当发生异常订单时，方便后端人工审核。

需要说明的是：利用第一子视频的视频数据去替换第一主视频对应的图像区域的视频数据包括不限于仅替换存在商品的区域、全部替换、替换存在商品的区域至顶部商品区域之间对应的第一子视频的视频数据。

S133：以各所述第二子视频中各帧图像的局部区域图像替换所述第二主视频中对应各所述第二子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据。

具体的，第二主视频和各第二子视频的合并方式与第一主视频和各第一子视频的方式相同，此处不再赘述。

在一实施例中，请参见图4，所述S1包括：

S14：获取用于采集商品区视频数据的摄像头的帧率和摄像头数量；

S15：根据所述帧率和所述摄像头数量，确定各摄像头开始采集对应商品区的视频数据的间隔时间；

S16：根据所述间隔时间，控制各摄像头采集所述第一视频数据和所述第二视频数据。

具体的，采集第一视频数据和第二视频数据的摄像头的帧率相同，如20帧/秒；设第一视频数据采集的开始时间与第二视频数据开始采集的时间不相同，存在间隔时间，其中，优选间隔时间为相邻两帧图像对应的时间差的整数倍，优选将采集第一视频数据对应的所有摄像头设置相同的起始时刻，记为第一起始时刻，将采集第二视频数据对应的所有摄像头设置相同的起始时刻，记为第二起始时刻，将第一起始时刻和第二起始时刻的间隔时间设置为相邻两帧图像间隔时间的1/2，从而变相提高图像帧率，保证采集到商品区域更多时刻的图像信息，以便提高检测的准确性。

在一实施例中，请参见图5，所述S2包括：

S21：利用所述目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，得到所述第一视频数据中的各类商品的第一检测结果和所述第二视频数据中的各类商品的第二检测结果，其中，第一检测结果和第二检测结果均包括检出次数、商品类别和对应于各商品类别的置信度；

S22：根据所述第一检测结果中的各置信度，计算各类别商品对应的第一平均置信度，根据所述第二检测结果中的各置信度，计算各类别商品对应的第二平均置信度；

具体的，分别对第一视频数据和第二视频数据的各帧图像进行检测，对各类商品检出的置信度、类别和检出的总次数进行统计，生成对应的检测结果；设置一置信度阈值，将置信度低的检出结果舍去，例如：在第一视频数据中A共检测出6次，各次置信度分别为0.5、0.8、0.85、0.75、0.5和0.8，则商品A对应的第一平均置信度为（0.5+0.8+0.85+0.75+0.5+0.8）/6=0.7，同理，获得第二视频数据中检出的各商品的第二平均置信度。

在一实施例中，所述S22包括：

第一步：获取商品进行有效检出次数统计对应的检出次数阈值；

具体的，采用对视频的各帧进行检测，根据各帧的检出结果确定本次订单的目标商品，对同一商品在不同图像帧中被检出设置对应的检出次数阈值，若大于等于阈值则认为该商品为真，若小于阈值则认为该商品为异常，需要后台人工审核。

第二步：将各类别的商品对应的检出次数与所述检出次数阈值对比，对符合要求的商品的各置信度计算平均值，得到各所述第一平均置信度和各所述第二平均置信度。

S23：分别将各所述第一平均置信度和各所述第二平均置信度与置信度阈值对比，得到属于所述第一检测结果中符合要求的所述第一商品信息和属于所述第二检测结果中符合要求的所述第二商品信息。

在一实施例中，请参见图6，所述S3包括：

S31：对比所述第一商品信息和所述第二商品信息，得到各待定商品和各确定商品；

S32：对比各所述待定商品对应的置信度或相对于置信度阈值的有效检出率，输出置信度大或有效检出率高的所述待定商品作为二次确定商品；

具体的，设置一置信度阈值，将置信度低的检出结果舍去，例如：待定商品为A和A1,A属于第一检测结果，A1属于第二检测结果，设置信度阈值为0.6；A共检测出6次，各次置信度分别为0.5、0.8、0.85、0.75、0.5和0.8，则对应的第一平均置信度为（0.5+0.8+0.85+0.75+0.5+0.8）/6=0.7，其中，置信度大于0.6的次数为4次，则有效检测率为4/6≈66.7%，A1共检出8次，各次置信度分别为0.5、0.8、0.85、0.7、0.75、0.8、0.5和0.8，则对应的第二平均置信度为（0.5+0.8+0.85+0.7+0.7+0.7+0.45+0.8）/8≈0.66，其中，置信度大于0.6的次数为6次，则有效检出率为6/8=75%。

S33：根据所述确定商品和所述二次确定商品，生成所述商品订单信息；

其中，所述有效检出率为检出次数中置信度大于置信度阈值的次数与检出总次数的比值。

在一实施例中，所述S13包括：

S134:分别获取所述第一主摄像头采集商品区域的第一主视频和所述第二主摄像头采集商品区域的第二主视频中在拿出或放回商品时存在重合的图像帧；

S135：根据各所述重合的图像帧，将与各重合的图像帧对应的所述第一主视频分为对应的多个第一视频段和将与各重合的图像帧对应的所述第二主视频分为对应的多个第二视频段；

具体的，对第一主视频的各帧图像进行检测，主要检测用户拿取商品部位与智能售货机的相对位置关系，如检测用户的手是否进入商品区，将手进入商品区的图像帧记为重合的图像帧，然后以该图像帧为界限，将第一主视频分为多个第一视频段，用于表示用户选择商品的多次放入、拿取操作。采用同样的方式，对第二主视频分为多个第二视频段。

在一实施例中，所述S135包括：

S1351：获取用于界定商品属于取出和放入的边界线；

具体的，在摄像头对应的图像区域设置一固定的边界线，该边界线可以为闭合的，也可以为不闭合的。

S1352：根据相邻图像帧中商品位于所述边界线的不同状态区域对所述第一主视频和/或所述第二主视频进行分段，得到至少一个拿取商品的所述视频段和/或至少一个放回商品的所述第一视频段和/或第二视频段。

具体的，根据同一商品在相邻的两帧图像中关于边界线的不同位置信息，得到该商品属于拿取还是放入，如边界线为一矩形框，该商品区位于矩形框内，当前一帧图像中的商品A属于边界线内，下一阵图像中的商品A属于边界线外，则认为本次对于商品A的操作为拿取商品，从而得到一个拿取商品的视频段，同理，当前一帧图像中的商品A属于边界线外，下一阵图像中的商品A属于边界线内，则认为本次对于商品A的操作为拿取商品，从而得到一个放回商品的视频段。

S136：根据各所述第一视频段对各所述第一子视频进行删减，得到优化后的各第一优化子视频，根据各所述第二视频段对各所述第二子视频进行删减，得到优化后的各第二优化视频；

S137：以各所述第一优化子视频中各帧图像的局部区域图像替换对应的各所述第一视频段中对应各所述第一优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据，以各所述第二优化子视频中各帧图像的局部区域图像替换对应的各所述第二视频段中对应各所述第二优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据。

具体的，根据第一主视频的每一个视频段涉及的图像区域对各第一子视频进行删减，删减掉与对应视频段无关的图像数据，删减后的各第一子视频记为第一优化子视频，利用各第一优化子视频的视频数据替换第一主视频的各视频段对应的视频数据，得到第一视频数据，以便第一视频数据中，被替换的视频数据均为存在目标商品的区域，提高视检测准确性。第二主视频和各第二子视频的合并方式与第一主视频和各第一子视频的方式相同，此处不再赘述。

在一实施例中，所述S13包括：

第一步：获取发生商品变动对应的目标商品区；

第二步：根据所述目标商品区的位置信息，确定包含所述目标商品区的所述第一子视频和/或所述第二子视频；

具体的，当用户从智能售货机那商品或放商品时，确定商品拿出或放进的位置，具体为商品放入或拿出所述的商品区域，然后确定该区域最近的子摄像头及对应的子视频，如智能售货机的商品分为上中下三个商品区，当用户从下商品区拿出商品或放入商品时，此时目标商品区域的子视频为仅能获取下商品区对应的子视频。

在一实施例中，所述根据所述目标商品区的位置信息，确定包含所述目标商品区的所述第一子视频和/或所述第二子视频包括：

首先，对所述第一主视频和/或所述第二主视频的各帧图像进行分析，确定发生商品变动对应的各图像帧；

其次，根据发生商品变动的各图像帧，将所述第一主视频和/或所述第二主视频分为多个视频段；

最后，根据各所述视频段中发生商品变动对应的目标商品区域，确定各所述视频段对应的所述第一子视频和/或所述第二子视频。

第三步：将包含所述目标商品的所述第一子视频与所述第一主视频合并，得到所述第一视频数据，将包含所述目标商品的所述第二子视频与所述第二主视频合并，得到所述第二视频数据。

具体的，通过分析第一主视频和/或第二主视频的各帧图像，确定用户每次拿放商品的位置，为每次拿放商品匹配对应的第一子视频和/或第二子视频，可以删减多余的子视频，从而减少数据处理量。

在一实施例中，将包含所述目标商品的所述第一子视频与所述第一主视频合并，得到所述第一视频数据，将包含所述目标商品的所述第二子视频与所述第二主视频合并，得到所述第二视频数据包括：

确定第一子视频中的第一目标子视频，和/或，确定第二子视频中的第二目标子视频；

首先，根据所述第一目标子视频的位置信息，确定位于所述第一目标子视频与所述第一主视频的顶部区域之间的其他所述第一子视频作为第一中间子视频，根据所述第二目标子视频的位置信息，确定位于所述第二目标子视频与所述第二主视频的顶部区域之间的其他所述第二子视频作为第二中间子视频；

其次，将所述第一主视频中非所述第一目标子视频和所述第一中间子视频对应的区域删除，得到优化后的第一视频，将所述第二主视频中非所述第二目标子视频和所述第二中间子视频对应的区域删除，得到优化后的第二视频；

最后，将所述第一目标子视频和各所述第一中间子视频与所述第一视频合并，得到所述第一视频数据，将所述第二目标子视频和各所述第二中间子视频与所述第二视频合并，得到所述第二视频数据。

具体的，将第一主视频与第一目标子视频之间的图像区域替换为对应的第一子视频的图像区域，从而保证合成后的第一视频数据图像的完整性，以便在发生异常订单时，方便后端人工审核；第二主视频和各第二子视频的合并方式与第一主视频和各第一子视频的方式相同，此处不再赘述。

在一实施例中，在所述S1之前还包括：

S01：实时获取第三摄像头采集的智能售货机当前状态的视频；

具体的，在智能售货机上还设有第三摄像头，第三摄像头用于检测智能售货机是否开启或关闭，第三摄像头可以是实时开启，也可以是用户在进行购物请求后开启。

S02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；

S03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头开启；

S04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头关闭。

具体的，当用户进行自动购物时，对售货机状态视频的各帧图像进行分析，确定售货机柜门的状态，当检测到售货机柜门开启，则开启第一主摄像头和第二主摄像头获取商品区域的视频数据，得到第一主视频和第二主视频；当检测到售货机柜门关闭，则关闭第一主摄像头和第二主摄像头。

采用本实施例的异视角同步识别同区域商品的订单生成方法，从不同视角获取智能售货机的商品区域的视频数据，得到第一视频数据和第二视频数据，从而采集到商品完整的信息，然后分别根据第一视频数据和第二视频数据生成对应的第一商品信息和第二商品信息，对比不同视频数据的商品信息，从而确定商品订单信息，通过该方式得到的商品订单信息准确性高，提高用户的体验效果。

实施例2

本发明实施例2基于实施例1的方法对应还提供了一种异视角同步识别同区域商品的订单生成装置，请参见图7，包括：

视频采集模块：用于获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；

目标检测模块：用于利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；

订单生成模块：用于对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息；

其中，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。

采用本实施例的异视角同步识别同区域商品的订单生成装置，从不同视角获取智能售货机的商品区域的视频数据，得到第一视频数据和第二视频数据，从而采集到商品完整的信息，然后分别根据第一视频数据和第二视频数据生成对应的第一商品信息和第二商品信息，对比不同视频数据的商品信息，从而确定商品订单信息，通过该方式得到的商品订单信息准确性高，提高用户的体验效果。

实施例3

本发明提供了一种智能售货机的自动结算系统，请参见图8，自动结算系统包括智能售货机、移动终端和服务器，该自动结算系统能够采用上述实施例所述的自动购物方法。用户通过移动终端识别智能售货机上的识别码，服务器建立用户的购物事件，不同视角的摄像头开始采集购物视频或者在智能售货机柜门开启后摄像头开始采集购物视频或者用户进入预设范围内摄像头开始采集购物视频，当用户离开预设购物范围内或智能售货机的柜门关闭后，摄像头停止采集购物视频并将购物视频传输给服务器，服务器根据购物视频生成用户的订单信息发送给移动终端，用户通过移动终端的订单信息进行自主结算或设置自动结算；该自动结算系统用户自主购物的选择性更好，订单准确性高，能够提高用户的购物体验。

实施例4

本发明提供了一种智能售货机设备和存储介质，如图9所示，包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令。

具体地，上述处理器可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecific Integrated Circuit，ASIC），或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器（ROM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。

处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例方式一中任意一种异视角同步识别同区域商品的订单生成方法。

在一个示例中，电子设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。

通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

综上所述，本发明实施例提供了一种异视角同步识别同区域商品的订单生成方法、装置、智能售货机及存储介质。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种异视角同步识别同区域商品的订单生成方法，其特征在于，所述方法包括：

S1：获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；

所述S1包括：

S11：获取沿智能售货机的货架排列方向将放置商品的商品区分为多个局部区域；

S12：控制第一主摄像头和与所述第一主摄像头位于同侧且各自对应采集一个局部区域的第一子摄像头以第一视角采集相应局部区域的商品图像生成第一视频数据；

S13：控制第二主摄像头和与所述第二主摄像头位于同侧且各自对应采集一个局部区域的第二子摄像头以不同于第一视角的第二视角采集相应局部区域的商品图像生成第二视频数据；

其中，所述S12和所述S13包括：

S131：获取所述第一主摄像头采集商品区域生成的第一主视频、各所述第一子摄像头采集对应局部区域的商品生成的第一子视频、所述第二主摄像头采集商品区域生成的第二主视频和各所述第二子摄像头采集对应局部区域的商品生成的各第二子视频；

S134：分别获取所述第一主摄像头采集商品区域的第一主视频和所述第二主摄像头采集商品区域的第二主视频中在拿出或放回商品时存在重合的图像帧，其中，所述重合的图像帧为：用户的手进入商品区的图像帧；

S135：根据各所述重合的图像帧，将与各重合的图像帧对应的所述第一主视频分为对应的多个第一视频段和将与各重合的图像帧对应的所述第二主视频分为对应的多个第二视频段；

S136：根据各所述第一视频段对各所述第一子视频进行删减，得到优化后的各第一优化子视频，根据各所述第二视频段对各所述第二子视频进行删减，得到优化后的各第二优化子视频；

S137：以各所述第一优化子视频中各帧图像的局部区域图像替换对应的各所述第一视频段中对应各所述第一优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据，以各所述第二优化子视频中各帧图像的局部区域图像替换对应的各所述第二视频段中对应各所述第二优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据；

S2：利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；

S3：对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息。

2.根据权利要求1所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述第一视频数据和第二视频数据的帧率相同，并且所述第一视频数据和第二视频数据的图像帧总数相等。

3.根据权利要求2所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述S1包括：

S14：获取用于采集商品区视频数据的摄像头的帧率和摄像头数量；

S15：根据所述帧率和所述摄像头数量，确定各摄像头开始采集对应商品区的视频数据的间隔时间；

S16：根据所述间隔时间，控制各摄像头采集所述第一视频数据和所述第二视频数据；

将采集第一视频数据对应的所有摄像头设置相同的起始时刻，记为第一起始时刻，将采集第二视频数据对应的所有摄像头设置相同的起始时刻，记为第二起始时刻，将第一起始时刻和第二起始时刻的间隔时间设置为相邻两帧图像间隔时间的1/2。

4.根据权利要求1至3任一项所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述S2包括：

S21：利用所述目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，得到所述第一视频数据中的各类商品的第一检测结果和所述第二视频数据中的各类商品的第二检测结果，其中，第一检测结果和第二检测结果均包括检出次数、商品类别和对应于各商品类别的置信度；

S22：根据所述第一检测结果中的各置信度和各类别商品的检出次数，计算各类别商品对应的第一平均置信度，根据所述第二检测结果中的各置信度和各类别商品的检出次数，计算各类别商品对应的第二平均置信度；

S23：分别将各所述第一平均置信度和各所述第二平均置信度与置信度阈值对比，得到属于所述第一检测结果中符合要求的所述第一商品信息和属于所述第二检测结果中符合要求的所述第二商品信息。

5.根据权利要求1至3任一项所述的异视角同步识别同区域商品的订单生成方法，其特征在于，所述S3包括：

S31：对比所述第一商品信息和所述第二商品信息，得到各待定商品和各确定商品；

S32：对比各所述待定商品对应的平均置信度或相对于置信度阈值的有效检出率，输出所述平均置信度大或有效检出率高的所述待定商品作为二次确定商品；

S33：根据所述确定商品和所述二次确定商品，生成所述商品订单信息；

其中，所述平均置信度为同一商品各次检出结果中置信度的平均值，所述有效检出率为检出次数中置信度大于置信度阈值的次数与检出总次数的比值。

6.一种异视角同步识别同区域商品的订单生成装置，其特征在于，所述装置包括：

视频采集模块，用于获取在第一视角采集商品区域得到的第一视频数据和在不同于所述第一视角的第二视角采集商品区域得到的第二视频数据；

所述视频采集模块具体用于：

获取沿智能售货机的货架排列方向将放置商品的商品区分为多个局部区域；

控制第一主摄像头和与所述第一主摄像头位于同侧且各自对应采集一个局部区域的第一子摄像头以第一视角采集相应局部区域的商品图像生成第一视频数据；

控制第二主摄像头和与所述第二主摄像头位于同侧且各自对应采集一个局部区域的第二子摄像头以不同于第一视角的第二视角采集相应局部区域的商品图像生成第二视频数据；

其中，所述控制第一主摄像头和与所述第一主摄像头位于同侧且各自对应采集一个局部区域的第一子摄像头以第一视角采集相应局部区域的商品图像生成第一视频数据，以及控制第二主摄像头和与所述第二主摄像头位于同侧且各自对应采集一个局部区域的第二子摄像头以不同于第一视角的第二视角采集相应局部区域的商品图像生成第二视频数据，具体用于：

获取所述第一主摄像头采集商品区域生成的第一主视频、各所述第一子摄像头采集对应局部区域的商品生成的第一子视频、所述第二主摄像头采集商品区域生成的第二主视频和各所述第二子摄像头采集对应局部区域的商品生成的各第二子视频；

分别获取所述第一主摄像头采集商品区域的第一主视频和所述第二主摄像头采集商品区域的第二主视频中在拿出或放回商品时存在重合的图像帧，其中，所述重合的图像帧为：用户的手进入商品区的图像帧；

根据各所述重合的图像帧，将与各重合的图像帧对应的所述第一主视频分为对应的多个第一视频段和将与各重合的图像帧对应的所述第二主视频分为对应的多个第二视频段；

根据各所述第一视频段对各所述第一子视频进行删减，得到优化后的各第一优化子视频，根据各所述第二视频段对各所述第二子视频进行删减，得到优化后的各第二优化子 视频；

以各所述第一优化子视频中各帧图像的局部区域图像替换对应的各所述第一视频段中对应各所述第一优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第一视频数据，以各所述第二优化子视频中各帧图像的局部区域图像替换对应的各所述第二视频段中对应各所述第二优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述第二视频数据；

目标检测模块，用于利用目标检测模型分别对所述第一视频数据和所述第二视频数据的各帧图像进行检测，生成与所述第一视频数据对应的第一商品信息和与所述第二视频数据对应的第二商品信息；

订单生成模块，用于对比所述第一商品信息和所述第二商品信息，生成本次若干购物商品的商品订单信息。

7.一种智能售货机，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的方法。

8.一种介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-5中任一项所述的方法。

Images