CN111626201A - 商品检测方法、装置及可读存储介质 - Google Patents

Abstract

本申请提供一种商品检测方法、装置及可读存储介质，涉及信息检测技术领域。该方法包括：通过摄像头获取多张视频帧图像，所述多张视频帧图像为所述摄像头在货柜的开关门开合过程中对所述货柜内所陈列的商品进行拍摄所获得的图像；从所述多张视频帧图像中确定目标视频帧图像，其中，所述目标视频帧图像表征所拍摄的所述货柜内陈列的商品的数量最多；对所述目标视频帧图像中的商品进行检测。该方案可实现密集周期的商品陈列检测，无需人工到现场进行检测，减少了人力资源的耗费，提升了检测的效率和实时性。

Description

商品检测方法、装置及可读存储介质

技术领域

本申请涉及信息检测技术领域，具体而言，涉及一种商品检测方法、装置及可读存储介质。

背景技术

随着经济的发展以及互联网的普及，很多零售业通过加盟合伙的方式进行运营，或者在不同的区域规划多个分销点，由管控中心按照设定的标准统一进行管理。为了便于管理，现有的无人货柜中，通常要求每个合伙加盟商按照规定的标准陈列商品，比如货柜中的每一层应该放什么商品，每一种商品之间的排列顺序等都是有设定的规则的，若是出现商品摆放不对，需要通知商户进行整改。

现有的检查方式一般是通过人工去实地检查这些商品是否陈列有误，显然这种方式费时费力。

发明内容

本申请实施例的目的在于提供一种商品检测方法、装置及可读存储介质，用以改善现有技术中采用人工的方式对商品进行检测费时费力，且实效性不足的问题。

第一方面，本申请实施例提供了一种商品检测方法所述方法包括：通过摄像头获取多张视频帧图像，所述多张视频帧图像为所述摄像头在货柜的开关门开合过程中对所述货柜内所陈列的商品进行拍摄所获得的图像；从所述多张视频帧图像中确定目标视频帧图像，其中，所述目标视频帧图像表征所拍摄的所述货柜内陈列的商品的数量最多；对所述目标视频帧图像中的商品进行检测。

在上述实现过程中，通过从拍取的多张视频帧图像中筛选出能表征拍摄的商品数量最多的目标视频帧图像，然后对目标视频帧图像中的商品进行检测，这样可无需人工到现场进行检测，节省了检测时间以及减少了人力资源耗费。

可选地，所述从所述多张视频帧图像中确定目标视频帧图像，包括：从所述多张视频帧图像中确定满足预设条件的多张关键帧图像；基于所述多张关键帧图像确定所述摄像头的多个拍摄位置，所述摄像头在一个拍摄位置对应拍摄一张关键帧图像；从所述多个拍摄位置中选择最佳拍摄位置；将所述摄像头在所述最佳拍摄位置拍摄获得的关键帧图像作为所述目标视频帧图像。

在上述实现过程中，通过基于关键帧图像确定出多个拍摄位置，然后从中选择最佳拍摄位置，从而可使得摄像头在最佳拍摄位置拍取的关键帧图像能够包含更多数量的商品。

可选地，所述基于所述多张关键帧图像确定所述摄像头的多个拍摄位置，包括：获取所述多张关键帧图像中确定的特征点的运动轨迹；基于所述特征点的运动轨迹确定所述摄像头的多个拍摄位置。

在上述实现过程中，通过基于特征点的运动轨迹确定摄像头的拍摄位置，从而可以无需对摄像头进行定位即可获得摄像头的拍摄位置，更加方便简单。

可选地，所述从所述多张视频帧图像中确定满足预设条件的多张关键帧图像，包括：

获取所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，i为大于等于2的整数；

在所述相似度小于预设阈值时，将所述第i张视频帧图像作为下一张关键帧图像，共获得多张关键帧图像。

在上述实现过程中，通过获取两张图像之间的相似度来判断图像中是否拍取了更多的商品，从而将拍取了更多商品的图像作为关键帧图像，进而便于从多张视频帧图像中筛选出关键帧图像，减少了后续商品检测过程中的计算量。

可选地，所述获取所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，包括：

将所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行特征点匹配；

基于匹配的特征点的数量确定第i张视频帧图像与上一张关键帧图像之间的相似度。

在上述实现过程中，通过基于匹配的特征点的数量来判断两张图像之间的相似度，更加方便简单。

可选地，所述获取所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，包括：

采用感知哈希算法对所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行运算，获得第i张视频帧图像与上一张关键帧图像之间的相似度。

在上述实现过程中，通过感知哈希算法来计算两张图像之间的相似度，更加准确。

可选地，所述对所述目标视频帧图像中的商品进行检测，包括：

对所述目标视频帧图像中的商品进行库存量单位SKU检测和/或商品类别检测。

在上述实现过程中，通过对商品进行SKU检测和/或类别检测，如此可检测货柜内的商品的陈列或类别是否有误，便于实现对货柜内商品的管理。

可选地，所述摄像头为多个，所述通过摄像头获取多张视频帧图像，包括：

通过每个摄像头采集所述货柜内所陈列的商品的多张初始图像；

将多个摄像头在对应时刻拍取的初始图像进行拼接融合，获得所述对应时刻的视频帧图像，共获得多个时刻对应的多张视频帧图像。

在上述实现过程中，通过将各个摄像头在各个角度拍取的图像进行拼接融合之后可获得多张视频帧图像，从而使得视频帧图像中能够包含货柜内更多的商品，以便于实现后续对货柜内更多的商品进行检测。

第二方面，本申请实施例提供了一种商品检测装置，所述装置包括：

图像获取模块，用于通过摄像头获取多张视频帧图像，所述多张视频帧图像为所述摄像头在货柜的开关门开合过程中对所述货柜内所陈列的商品进行拍摄所获得的图像；

图像筛选模块，用于从所述多张视频帧图像中确定目标视频帧图像，其中，所述目标视频帧图像表征所拍摄的所述货柜内陈列的商品的数量最多；

检测模块，用于对所述目标视频帧图像中的商品进行检测。

可选地，所述图像筛选模块，用于：

从所述多张视频帧图像中确定满足预设条件的多张关键帧图像；

基于所述多张关键帧图像确定所述摄像头的多个拍摄位置，所述摄像头在一个拍摄位置对应拍摄一张关键帧图像；

从所述多个拍摄位置中选择最佳拍摄位置；

将所述摄像头在所述最佳拍摄位置拍摄获得的关键帧图像作为所述目标视频帧图像。

可选地，所述图像筛选模块，用于获取所述多张关键帧图像中确定的特征点的运动轨迹；基于所述特征点的运动轨迹确定所述摄像头的多个拍摄位置。

可选地，所述图像筛选模块，用于获取所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，i为大于等于2的整数；在所述相似度小于预设阈值时，将所述第i张视频帧图像作为下一张关键帧图像，共获得多张关键帧图像。

可选地，所述图像筛选模块，用于将所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行特征点匹配；基于匹配的特征点的数量确定第i张视频帧图像与上一张关键帧图像之间的相似度。

可选地，所述图像筛选模块，用于采用感知哈希算法对所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行运算，获得第i张视频帧图像与上一张关键帧图像之间的相似度。

可选地，所述检测模块，用于对所述目标视频帧图像中的商品进行库存量单位SKU检测和/或商品类别检测。

可选地，所述摄像头为多个，所述图像获取模块，用于通过每个摄像头采集所述货柜内所陈列的商品的多张初始图像；将多个摄像头在对应时刻拍取的初始图像进行拼接融合，获得所述对应时刻的视频帧图像，共获得多个时刻对应的多张视频帧图像。

第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种用于执行商品检测方法的电子设备的结构示意图；

图2为本申请实施例提供的一种商品检测方法的流程图；

图3为本申请实施例提供的一种商品检测装置的结构框图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供一种商品检测方法，通过摄像头拍摄货柜中所陈列的商品的图像，然后从这些图像中找出拍摄的商品的数量最多的目标视频帧图像，基于目标视频帧图像对货柜中的商品进行检测，这样可无需人工到现场进行检测，节省了检测时间以及减少了人力资源耗费。

请参照图1，图1为本申请实施例提供的一种用于执行商品检测方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器110，例如CPU，至少一个通信接口120，至少一个存储器130和至少一个通信总线140。其中，通信总线140用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器，也可以是非易失性的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器110执行时，电子设备执行下述图2所示方法过程，例如，存储器130可用于存储拍摄的多张视频帧图像，处理器110在需要对货柜内的商品进行检测时，可以从存储器130中获取多张视频图像，然后从中找出拍摄的商品数量最多的图像，基于该图像对商品进行检测。

可以理解，图1所示的结构仅为示意，所述电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，图2为本申请实施例提供的一种商品检测方法的流程图，该方法包括如下步骤：

步骤S110：通过摄像头获取多张视频帧图像，所述多张视频帧图像为所述摄像头在货柜的开关门开合过程中对所述货柜内所陈列的商品进行拍摄所获得的图像。

其中，货柜可以是指带有开关门的货箱，用于陈列商品，如冰柜、货架等。

在具体实现过程中，摄像头可以安装在货柜的开关门上，这样有利于摄像头能更加清晰拍取到货柜内所陈列的商品的图像。货柜中可以设置一处理器，用于在检测到开关门被打开时，向摄像头发送视频拍摄指令，摄像头在接收到视频拍摄指令后，进行视频拍摄，处理器在检测到开关门关闭后，向摄像头发送停止拍摄指令，此时摄像头在接收到停止拍摄指令后可停止拍摄，如此摄像头可拍取到开关门在开合过程中货柜内所陈列的商品的图像。然后摄像头可将拍摄的视频发送给电子设备，电子设备可获取到视频中的多张视频帧图像。

当然，摄像头也可以安装在货柜的正对面的位置处，即可以不安装于货柜上，例如，可以安装在货柜对面的墙壁上或者其他货架上，使得摄像头能清晰拍摄到货柜内的商品即可。

作为一种实施方式，摄像头的数量可以不止一个，其也可以有多个，在有多个摄像头的情况下，这多个摄像头可以共同按照在货柜的开关门上或者是安装在货柜的正对面的位置处，为了实现对货柜内的商品的图像进行更全面的采集，多个摄像头可以安装在不同的角度，以使得可以通过不同角度对商品进行图像采集。在采集货柜内的商品的图像的过程中，可以先通过每个摄像头采集货柜内所陈列的商品的多张初始图像，然后将多个摄像头在对应时刻拍取的初始图像进行拼接融合，获得对应时刻的视频帧图像，如此可获得多个时刻对应的多张视频帧图像。

可以理解地，每个摄像头可按照上述图像采集方式在接收到视频拍摄指令时同时进行视频拍摄，这样每个摄像头均可以获得多张初始图像，然后可以根据这些初始图像采集的时间，将在同一时刻采集的初始图像进行拼接融合，获得这一时刻对应的视频帧图像。例如，摄像头1采集的初始图像包括图像1、图像2、图像3，摄像头2采集的初始图像包括图像4、图像5、图像6，其中，图像1和图像4为两个摄像头在第一时刻采集的，图像2和图像5为两个摄像头在第二时刻采集的，图像3和图像6为两个摄像头在第三时刻采集的，在进行图像拼接融合时，则将图像1和图像4进行拼接融合获得一张视频帧图像，将图像2和图像5进行拼接融合获得一张视频帧图像，将图像3和图像6进行拼接融合获得一张视频帧图像，如此可获得三个时刻对应的三张视频帧图像。按照该方式，可将各个摄像头在各个角度拍取的图像进行拼接融合之后可获得多张视频帧图像，从而使得视频帧图像中能够包含货柜内更多的商品，以便于实现后续对货柜内更多的商品进行检测。

另外，针对两张图像的拼接融合过程在此不详细描述，本领域技术人员可参照现有技术中的相关实现方式。

步骤S120：从所述多张视频帧图像中确定目标视频帧图像。

为了实现能够对货柜内的所有商品进行检测，在获得的多张视频帧图像后，还需从这些视频帧图像中挑选出目标视频帧图像，目标视频帧图像表征所拍摄的货柜内陈列的商品的数量最多，即图像中货柜内商品所占的区域面积最大，以保证尽可能全面且清晰地拍摄到货柜内所陈列的全部商品。可以理解地，货柜内一般存储有多种类型的商品，为了最大程度对这些类型的商品均进行检测，所以需要从中挑选出能拍到商品数量最多的图像。

在具体实现过程中，可以通过神经网络模型对每张视频帧图像中的商品进行识别，以识别每张视频帧图像中的商品，从而获得每张视频帧图像中商品的数量，然后从中挑选出数量最多的图像作为目标视频帧图像，若数量最多的图像有至少两张时，则将这至少两张图像均作为目标视频帧图像，或者任意选择一张图像作为目标视频帧图像。其中，采用神经网络模型对图像中的商品进行识别的方式可参照现有技术中的相关实现过程，在此不详细赘述。

步骤S130：对所述目标视频图像中的商品进行检测。

在确定出目标视频图像后，对目标视频图像中的商品进行检测，在具体实现过程中，可以对商品进行库存量单位(Stock Keeping Unit，SKU)陈列检测和/或商品类别检测，或者对商品的其他信息进行检测。

其中，对商品进行SKU检测可用于检测商品的品牌、型号、包装容量等信息，对商品的这些信息进行识别，可有效识别出货柜内的商品是否有缺货或者存量是否充足的情况。对商品进行类别检测，可检测货柜内是否放入了其他不属于该货柜内的商品，或者是否缺少某一类商品等信息。

需要说明的是，在进行SKU检测和/或类别检测是指可以同时对商品进行SKU检测和类别检测，也可以选择其中一种进行检测，如只进行SKU检测或类别检测。

在对商品进行上述信息检测后，可获得对应的检测结果，电子设备可基于对应的检测结果判断是否向货柜管理人员输出提示信息，如若检测出货柜内存放有不属于该货柜的其他类别的商品时，可向货柜管理人员输出提示信息，以提示货柜管理人员对商品进行整理，或者在检测到某类商品库存量不足时，提示货柜管理人员进行补货等。另外，还可以对商品的陈列进行检测，如检测各个商品之间的陈列顺序，如货柜的每一层陈列的商品类别，以及每一层陈列的各个商品之间的陈列顺序，这样可对有规定的商品陈列顺序进行检测，以检测其商品陈列顺序是否有误，在有误的情况下，也可向货柜管理人员进行提示，提示货柜管理人员对货柜内的商品的陈列顺序进行调整，或者还可以向货柜管理人员输出陈列顺序有误的商品的信息，这样货柜管理人员可以直接对陈列有误的商品进行整理，可使得货柜管理人员能针对性地对商品进行整理。

另外，需要说明的是，上述的电子设备可以安装于货柜中，电子设备也可以是服务器，不安装于货柜中，在电子设备为服务器时，上述步骤S110和步骤S120可以由货柜中的处理器执行，步骤S130则由服务器执行，当然，上述步骤也可以全部由服务器执行，上述各个步骤的执行主体在本实施例中不做具体限定。

在上述实现过程中，通过从拍取的多张视频帧图像中筛选出能表征拍摄的商品数量最多的目标视频帧图像，然后对目标视频帧图像中的商品进行检测，这样可无需人工到现场进行检测，节省了检测时间以及减少了人力资源耗费，并且还可以实现对商品的密集性周期检测，提高了检测效率和实时性。

作为一种实施方式，在从多张视频帧图像中确定目标视频帧图像时，还可以采用如下方式：从多张视频帧图像中确定满足预设条件的多张关键帧图像，然后基于多张关键帧图像确定摄像头的多个拍摄位置，摄像头在一个拍摄位置对应拍摄一张关键帧图像，从多个拍摄位置中选择最佳拍摄位置，将摄像头在最佳拍摄位置拍摄获得的关键帧图像作为目标视频帧图像。

可以理解地，由于摄像头采集的多张视频帧图像可能数量较多，如果对这些视频帧图像均进行商品检测的话可能造成工作量较大，所以，为了减少检测的工作量，节约检测时间，可以从多张视频帧图像中先筛选出满足预设条件的多张关键帧图像，然后再从这些关键帧图像中筛选出目标视频帧图像，这些关键帧图像能够表征拍摄的货柜内的商品的数量比较多。

摄像头安装在货柜的开关门上时，随着开关门的开合运动，摄像头会跟着开关门进行运动，摄像头的拍摄位置可以理解为开关门的开合角度作为摄像头的拍摄角度，或者是指摄像头距离货柜内商品陈列平面的距离，也就是说，拍摄角度和距离均可以用于表征摄像头的拍摄位置。

由于每张关键帧图像是摄像头在对应拍摄位置拍摄的，所以可获得多个拍摄位置，在从多个拍摄位置中选择最佳拍摄位置时，可以选择一个跟预设最佳位置最接近的拍摄位置作为最佳拍摄位置。其中，预设最佳位置可以是预先经过试验获得的，表示摄像头在预设最佳位置处拍摄的图像中的商品的数量最多，这样从多个拍摄位置中选择的最佳拍摄位置能够表征摄像头在该位置处拍摄的图像包含的商品的数量最多。

若以拍摄角度表征拍摄位置，在选择最佳拍摄位置时，例如，预设最佳位置为30度，多个拍摄位置包括有18度、20度、25度、28度、35度、……，则与预设最佳位置最接近的位置为28度，这样拍摄角度28度即为最佳拍摄位置，或者，在多个拍摄位置中没有与预设最佳位置相同的拍摄位置时，可以选择与预设最佳位置最接近的两个位置的平均值作为最佳拍摄位置，如上述的28度与35度的平均值为31.5度，即31.5度即为最佳拍摄位置。

当然，从多个拍摄位置中确定最佳拍摄位置的方式还可以采用其他方式，如选择多个拍摄位置的中值作为最佳拍摄位置，或者选择多个拍照位置的均值作为最佳拍摄位置等。

每张关键帧图像对应一个拍摄位置，则在确定出最佳拍摄位置后，可将最佳拍摄位置对应的关键帧图像作为目标视频帧图像，这时，最佳拍摄位置对应的关键帧图像表征该图像中所拍摄的商品的数量最多，这样在对目标视频帧图像中的商品进行检测，有利于对货柜内更多的商品进行检测。

在上述实现过程中，通过基于关键帧图像确定出多个拍摄位置，然后从中选择最佳拍摄位置，从而可使得摄像头在最佳拍摄位置拍取的关键帧图像能够包含更多数量的商品。

作为一种实施方式，上述在基于多张关键帧图像确定多个拍摄位置的过程中，还可以通过关键帧图像中的特征点的运动轨迹获得，如先获取多张关键帧图像中确定的特征点的运动轨迹，然后基于特征点的运动轨迹确定摄像头的多个拍摄位置。

其中，关键帧图像中的特征点是指能够在其他含有相同场景或模板的相似图像中以一种相同的或至少非常相似的不变形式表示图像或目标，特征点具有尺度不变性，含有丰富局部信息，经常出现在图像中拐角或纹理剧烈变化的地方。

所以，对每张关键帧图像进行特征点提取，找出相同特征点在这些关键帧图像中的运动轨迹，也即通过这些相同特征点在关键帧图像中的位置可确定特征点的运动轨迹，基于这些运动轨迹可估计摄像头的旋转角度和相对商品的陈列平面的距离变化(即位移)。在具体实现过程中，可以通过神经网络模型来基于特征点的运动轨迹确定摄像头的多个拍摄位置，例如，在对神经网络模型进行训练的过程中，可以采集大量的训练图像，这些训练图像为货柜的开关门在开合过程中对货柜内商品所拍摄的图像，然后将相同特征点在训练图像中的运动轨迹作为训练数据，将每张图像对应的拍摄位置作为标签数据输入神经网络模型中，对神经网络模型进行训练。这样在训练好神经网络模型后，可直接利用训练好的神经网络模型获得摄像头的多个拍摄位置。

在上述实现过程中，通过基于特征点的运动轨迹确定摄像头的拍摄位置，从而可以无需对摄像头进行定位即可获得摄像头的拍摄位置，更加方便简单。

另外，货柜上还可以安装有角度传感器，在摄像头拍摄图像的过程中，角度传感器也可实时采集货柜的开关门的开合角度，然后将开合角度发送给电子设备，电子设备可基于图像拍摄的时间以及开合角度采集的时间来确定每张关键帧图像对应的开关门的开合角度，如此也可以获取到摄像头的多个拍摄位置。

或者，在通过上述实施例获得摄像头的多个拍摄位置后，角度传感器采集的开合角度可用于校正多个拍摄位置的准确度，如多个拍摄位置与开合角度的差值若处于预设范围内，则表示获得的多个拍摄位置准确度较高，若差值超出预设范围，则表示获得的多个拍摄位置的准确度较低，这种情况下，可再次从新计算多个拍摄位置或者以角度传感器采集的开合角度作为多个拍摄位置，这样可使得获得的多个拍摄位置更加准确。

作为一种实施方式，上述在选择满足预设条件的多张关键帧图像的过程中，还可以先获取多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，i为大于或等于2的整数，在该相似度小于预设阈值时，将第i张视频帧图像作为下一张关键帧图像，共获得多张关键帧图像。

例如，在获取到多张视频帧图像后，可以依照时间顺序，先将第一张视频帧图像作为第一张关键帧图像，然后将第二张视频帧图像与第一张关键帧图像进行相似度对比，若相似度小于预设阈值时，表示第二张视频帧图像中的场景与第一张视频帧图像中的场景变化较大，可能拍取了货柜内更多的商品图像，所以此时可以将第二张视频帧图像作为第二张关键帧图像；若是相似度大于或等于预设阈值，则继续将第三张视频帧图像与第一张关键帧图像进行相似度对比，若相似度小于预设阈值，则将第三张视频帧图像作为第二张关键帧图像，然后继续将第四张视频帧图像与第二张关键帧图像进行相似度对比，按照该方式，则可从多张视频帧图像中挑选出多张关键帧图像。

在上述实现过程中，通过获取两张图像之间的相似度来判断图像中是否拍取了更多的商品，从而将拍取了更多商品的图像作为关键帧图像，进而便于从多张视频帧图像中筛选出关键帧图像，减少了后续商品检测过程中的计算量。

上述在进行相似度比对时，作为一种实施方式，可以将多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行特征点匹配，然后基于匹配的特征点的数量确定第i张视频帧图像与上一张关键帧图像之间的相似度。

例如，可以先对每张视频帧图像均进行特征点提取，然后在依次按照上述相似度比对的过程将两张图像进行特征点匹配，由此获得两张图像匹配的特征点的数量，基于该匹配的特征点的数量即可确定两张图像之间的相似度。匹配的特征点的数量用于表征相似度时，在匹配特征点的数量小于预设阈值时，即可将当前视频帧图像作为下一关键帧图像，例如，上一张关键帧图像的特征点的数量为100，当前视频帧图像的特征点的数量为120，两张图像匹配的特征点的数量为30，预设阈值为50，此时匹配的特征点的数量小于预设阈值，则将当前视频帧图像作为下一张关键帧图像。

或者，也可以在匹配的特征点的数量的比例小于预设阈值时，将当前视频帧图像作为下一关键帧图像，例如，当前视频帧图像提取的特征点数量为100，上一张关键帧图像提取的特征点数量为120，两张图像匹配的特征点数量为50，则匹配的特征点的数量的比例计算公式为：50/120+(100-50)＝0.294，该数值可用于表征这两张图像之间的相似度，若预设阈值设置为0.5，则此时可将当前视频帧图像作为下一关键帧图像。

在上述实现过程中，通过基于匹配的特征点的数量来判断两张图像之间的相似度，更加方便简单。

作为另一种实施方式，在进行相似度比对时，还可以采用感知哈希算法对多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行运算，获得第i张视频帧图像与上一张关键帧图像之间的相似度。

其中，感知哈希算法是指一类哈希算法的总称，其作用在于生成每张图像的指纹字符串，然后通过比较不同图像的指纹信息来判断图像的相似性，结果越接近图像越相似。感知哈希算法包括均值哈希、感知哈希和差异值哈希，具体采用这些算法计算两张图像的相似度的过程在此不过多赘述。

通过感知哈希算法可获得每张图像的指纹信息，然后将两张图像的指纹信息进行比对，在比对结果表示两张图像的指纹信息的匹配度小于预设阈值时，则表示两张图像的相似度小于预设阈值，此时可将当前视频帧图像作为下一张关键帧图像。

在上述实现过程中，通过感知哈希算法来计算两张图像之间的相似度，更加准确。

请参照图3，图3为本申请实施例提供的一种商品检测装置200的结构框图，该装置200可以是电子设备上的模块、程序段或代码。应理解，该装置200与上述图2方法实施例对应，能够执行图2方法实施例涉及的各个步骤，该装置200具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选地，所述装置200包括：

图像获取模块210，用于通过摄像头获取多张视频帧图像，所述多张视频帧图像为所述摄像头在货柜的开关门开合过程中对所述货柜内所陈列的商品进行拍摄所获得的图像；

图像筛选模块220，用于从所述多张视频帧图像中确定目标视频帧图像，其中，所述目标视频帧图像表征所拍摄的所述货柜内陈列的商品的数量最多；

检测模块230，用于对所述目标视频帧图像中的商品进行检测。

可选地，所述图像筛选模块220，用于：

从所述多张视频帧图像中确定满足预设条件的多张关键帧图像；

基于所述多张关键帧图像确定所述摄像头的多个拍摄位置，所述摄像头在一个拍摄位置对应拍摄一张关键帧图像；

从所述多个拍摄位置中选择最佳拍摄位置；

将所述摄像头在所述最佳拍摄位置拍摄获得的关键帧图像作为所述目标视频帧图像。

可选地，所述图像筛选模块220，用于获取所述多张关键帧图像中确定的特征点的运动轨迹；基于所述特征点的运动轨迹确定所述摄像头的多个拍摄位置。

可选地，所述图像筛选模块220，用于获取所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，i为大于等于2的整数；在所述相似度小于预设阈值时，将所述第i张视频帧图像作为下一张关键帧图像，共获得多张关键帧图像。

可选地，所述图像筛选模块220，用于将所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行特征点匹配；基于匹配的特征点的数量确定第i张视频帧图像与上一张关键帧图像之间的相似度。

可选地，所述图像筛选模块220，用于采用感知哈希算法对所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行运算，获得第i张视频帧图像与上一张关键帧图像之间的相似度。

可选地，所述检测模块230，用于对所述目标视频帧图像中的商品进行库存量单位SKU检测和/或商品类别检测。

可选地，所述摄像头为多个，所述图像获取模块210，用于通过每个摄像头采集所述货柜内所陈列的商品的多张初始图像；将多个摄像头在对应时刻拍取的初始图像进行拼接融合，获得所述对应时刻的视频帧图像，共获得多个时刻对应的多张视频帧图像。

本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行如图2所示方法实施例中电子设备所执行的方法过程。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：通过摄像头获取多张视频帧图像，所述多张视频帧图像为所述摄像头在货柜的开关门开合过程中对所述货柜内所陈列的商品进行拍摄所获得的图像；从所述多张视频帧图像中确定目标视频帧图像，其中，所述目标视频帧图像表征所拍摄的所述货柜内陈列的商品的数量最多；对所述目标视频帧图像中的商品进行检测。

综上所述，本申请实施例提供一种商品检测方法、装置及可读存储介质，通过从拍取的多张视频帧图像中筛选出能表征拍摄的商品数量最多的目标视频帧图像，然后对目标视频帧图像中的商品进行检测，这样可无需人工到现场进行检测，节省了检测时间以及减少了人力资源耗费。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种商品检测方法，其特征在于，所述方法包括：

通过摄像头获取多张视频帧图像，所述多张视频帧图像为所述摄像头在货柜的开关门开合过程中对所述货柜内所陈列的商品进行拍摄所获得的图像；

从所述多张视频帧图像中确定目标视频帧图像，其中，所述目标视频帧图像表征所拍摄的所述货柜内陈列的商品的数量最多；

对所述目标视频帧图像中的商品进行检测。

2.根据权利要求1所述的方法，其特征在于，所述从所述多张视频帧图像中确定目标视频帧图像，包括：

从所述多张视频帧图像中确定满足预设条件的多张关键帧图像；

基于所述多张关键帧图像确定所述摄像头的多个拍摄位置，所述摄像头在一个拍摄位置对应拍摄一张关键帧图像；

从所述多个拍摄位置中选择最佳拍摄位置；

将所述摄像头在所述最佳拍摄位置拍摄获得的关键帧图像作为所述目标视频帧图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述多张关键帧图像确定所述摄像头的多个拍摄位置，包括：

获取所述多张关键帧图像中确定的特征点的运动轨迹；

基于所述特征点的运动轨迹确定所述摄像头的多个拍摄位置。

4.根据权利要求2所述的方法，其特征在于，所述从所述多张视频帧图像中确定满足预设条件的多张关键帧图像，包括：

获取所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，i为大于等于2的整数；

在所述相似度小于预设阈值时，将所述第i张视频帧图像作为下一张关键帧图像，共获得多张关键帧图像。

5.根据权利要求4所述的方法，其特征在于，所述获取所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，包括：

将所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行特征点匹配；

基于匹配的特征点的数量确定第i张视频帧图像与上一张关键帧图像之间的相似度。

6.根据权利要求4所述的方法，其特征在于，所述获取所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像之间的相似度，包括：

采用感知哈希算法对所述多张视频帧图像中的第i张视频帧图像与上一张关键帧图像进行运算，获得第i张视频帧图像与上一张关键帧图像之间的相似度。

7.根据权利要求1所述的方法，其特征在于，所述对所述目标视频帧图像中的商品进行检测，包括：

对所述目标视频帧图像中的商品进行库存量单位SKU检测和/或商品类别检测。

8.根据权利要求1所述的方法，其特征在于，所述摄像头为多个，所述通过摄像头获取多张视频帧图像，包括：

通过每个摄像头采集所述货柜内所陈列的商品的多张初始图像；

将多个摄像头在对应时刻拍取的初始图像进行拼接融合，获得所述对应时刻的视频帧图像，共获得多个时刻对应的多张视频帧图像。

9.一种商品检测装置，其特征在于，所述装置包括：

图像获取模块，用于通过摄像头获取多张视频帧图像，所述多张视频帧图像为所述摄像头在货柜的开关门开合过程中对所述货柜内所陈列的商品进行拍摄所获得的图像；

图像筛选模块，用于从所述多张视频帧图像中确定目标视频帧图像，其中，所述目标视频帧图像表征所拍摄的所述货柜内陈列的商品的数量最多；

检测模块，用于对所述目标视频帧图像中的商品进行检测。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-8任一所述的方法。

Images