CN109308460B - 物品检测方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明实施例涉及计算机视觉识别领域，公开了一种物品检测方法、系统及计算机可读存储介质。其中，物品检测方法，包括，获取待识别区域在同一时段内、不同视角的视频图像；对不同视角的视频图像进行帧同步处理；以预设的帧数间隔对帧同步处理后的不同视角的视频图像进行图像采样，得到多个采样图像；对多个采样图像分别进行物品识别、获取各个采样图像中的物品信息作为识别结果，其中，每个采样图像对应一个识别结果，物品信息包括物品种类及各个种类的物品数量；筛选出出现频次不低于预设值的识别结果作为有效识别结果；获取有效识别结果中的所有物品种类、以及各个种类的物品的最大数量作为物品检测结果。具有提高物品识别准确率的优点。

Description

物品检测方法、系统及计算机可读存储介质

技术领域

本发明实施例涉及计算机视觉识别领域，特别涉及一种物品检测方法、系统及计算机可读存储介质。

背景技术

随着互联网和和实体经济的发展，零售业新形态的无人超市开始变得火热。对于传统的零售业，人工高、房租高是公认的两大痛点，因此，当前市场上出现了大量的无人商店、自助自贩立柜等.这些无人商店采用计算机视觉识别技术获取用户购买的商品信息，从而保证用户的正常购买。

然而，本发明的发明人发现，现有技术中的识别方法是通过采集用户购物动态视频图像，然后对视频流按帧提取图像特征，并通过算法模型对视频图像中的感兴趣目标进行检测、识别、分类、统计。这种识别方法在面对多个或多类商品时，由于外界环境等因素的干扰及自身算法模型的缺陷，导致误识别或者是漏识别，识别的准确率较低。

发明内容

本发明实施方式的目的在于提供一种物品检测方法、系统及计算机可读存储介质，提高物品识别的准确率。

为解决上述技术问题，本发明的实施方式提供了一种物品检测方法，包括以下步骤：

获取待识别区域在同一时段内、不同视角的视频图像；对不同视角的所述视频图像进行帧同步处理；以预设的帧数间隔对帧同步处理后的不同视角的所述视频图像进行图像采样，得到多个采样图像；对所述多个采样图像分别进行物品识别、获取各个采样图像中的物品信息作为识别结果，其中，每个采样图像对应一个所述识别结果，所述物品信息包括物品种类及各个种类的物品数量；筛选出出现频次不低于预设值的识别结果作为有效识别结果；获取所述有效识别结果中的所有物品种类、以及各个种类的物品的最大数量作为物品检测结果。

本发明的实施方式还提供了一种物品检测系统，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的物品检测方法。

本发明实施方式相对于现有技术而言，获取了待识别区域在同一时间段内、不同视角的多个视频图像，并对获取到的多个视频图像进行帧同步处理，然后以预设的帧数间隔对帧同步处理后的不同视角的视频图像进行图像采样，得到的多个采样图像。由于对多个视频图像进行过帧同步处理，多个视频图像中在同一时刻拍摄的帧图像为同步对应的，即同一时刻从不同视角获得了多个采样图像。对多个采样图像分别进行物品识别，获取各个采样图像中的物品信息作为识别结果，筛选出出现频次不低于预设值的识别结果作为有效识别结果，当某一个采样图像出现误识别时，由于错误的识别结果出现次数较少，因此，筛选出出现频次不低于预设值的识别结果作为有效识别结果可以有效的减少有效识别结果中错误的识别结果，提高物品识别的准确率；由于采样图像采样自多个角度采集了多个视频图像，因此，即使某一个采样图像出现错误识别被排除，同一时刻的其他角度的采样图像同样可以保证识别不出现断层，进一步的提高物品识别的准确率。此外，在获取有效识别结果之后，获取有效识别结果中的所有物品种类、以及各个种类的物品的最大数量作为物品检测结果，获取各个种类的物品的最大数量可以保证最终的物品检测结果中不会出现漏识别，进一步的提高物品识别的准确率。

另外，对不同视角的视频图像进行帧同步处理，具体为：调节不同视角的视频图像的起始时刻、终止时刻及帧速率，使得不同视角的视频图像在相同时刻采集的帧图像同步对应。

另外，对多个采样图像分别进行物品识别、获取各个采样图像中的物品信息作为识别结果，具体为：采用神经网络算法模型对多个采样图像分别进行物品识别、获取各个采样图像中的物品信息作为识别结果。

另外，采用神经网络算法模型对多个采样图像分别进行物品识别，具体包括：获取各个采样图像中的每个待识别目标；判断每个待识别目标属于各不同物品种类的概率值、并将概率值最大的物品种类作为该个待识别目标的预选物品种类；获取所有待识别目标的预选物品种类及各个预选物品种类对应的概率值，筛选出概率值不小于预设概率的预选物品种类作为有效物品种类；将有效物品种类及各个有效物品种类对应待识别目标的数量作为识别结果。首先获取各个采样图像中的每个待识别目标，即采样图像中可能是待识别物品的待识别目标，判断每个待识别目标属于各不同物品种类的概率值、并将概率值最大的物品种类作为该个待识别目标的预选物品种类，获取所有待识别目标的预选物品种类及各个预选物品种类对应的概率值，筛选出概率值不小于预设概率的预选物品种类作为有效物品种类，筛选出概率值不小于预设概率的预选物品种类作为有效物品种类，保证所有的待识别目标的准确性较高，进一步的提高物品识别的准确率。

另外，神经网络算法模型包含SSD、CNN、Faster-RCNN以及YOLO四种神经网络算法中的一种或多种。

另外，筛选出出现频次不低于预设值的识别结果作为有效识别结果，具体包括：统计采样图像的总数量以及各个识别结果的出现次数；计算出各个识别结果的出现次数与采样图像的总数量的比值；筛选出比值不小于预设值的识别结果作为有效识别结果。筛选出出现次数与采样图像的总数量的比值不小于预设值的识别结果作为有效识别结果，即将那些出现次数较少的识别结果筛除，仅保留出现次数较多的识别结果作为有效识别结果，由于出现次数较多，因此这些识别结果为正确识别结果的可能性也就越高，将其作为有效识别结果可以进一步的提升物品识别的准确率.

另外，获取物品在同一时段内、不同视角的视频图像，具体为：通过设置在物品不同方位的多个视频采集设备，获取物品在同一时段内、不同视角的视频图像。

另外，预设的帧数间隔大于或等于零。

附图说明

图1是本发明第一实施方式所提供的物品检测方法的程序流程图；

图2是本发明第二实施方式所提供的物品检测系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。

本发明的第一实施方式涉及一种物品检测方法，具体流程如图1所示，包括以下步骤：

步骤S101：获取待识别区域在同一时间段内、不同视角的视频图像。

具体的，在本步骤中，系统可以通过安装在待识别区域周围、不同位置的视频采集设备采集待识别区域在同一时间段内、不同视角的视频图像。即同时开启多个视频采集设备对待识别区域进行视频的采集。其中，视频采集设备有很多种，最常见的如摄像头。

步骤S102：对视频图像进行帧同步处理。

具体的，在本步骤中，会对步骤S101中采集到的所有视频图像进行帧同步处理。所谓帧同步，即使得所有的视频图像在相同时刻的帧图像的次序相同。例如，使得所有视频图像的第一帧图像对应的拍摄时刻相同，第二帧图像对应的拍摄时刻也相同，以此类推，直至最后一帧图像。

进一步的，在本步骤中，帧同步处理的具体步骤包括：调节不同视角的所有视频图像的起始时刻、终止时刻和帧速率均相同，由于起始时刻和终止时刻相同，使得各个视角的视频图像的时长相同，在时长相同的前提下、帧速率相同使得所有的视频图像在相同时刻的帧图像的次序相同，即使得所有的视频图像达到帧同步。

步骤S103：对视频图像进行图像采样，得到多个采样图像。

具体的，在本步骤中，在对视频图像进行图像采样时，如表1所示。会以预设的帧数间隔对帧同步处理后的不同方向的视频图像进行图像采样，得到多个采样图像。具体步骤为，从不同视角的视频图像的第N1帧起开始进行图像采样，然后每间隔预设的帧数，进行一次的图像采样，直至视频图像结束，从而获取多个采样图像。由于视频图像已经进行过帧同步处理，因此，各个视频图像中采集到的第N2帧的采样图像拍摄的时刻相同。

表1

需要说明的是，预设的帧数间隔为预先根据需要设定的采样帧数间隔，其可以为任何大于或等于零的整数，以此来减轻数据量对处理器的压力。当预设的帧数间隔为零时，如表2所示。说明采样图像为视频图像的所有帧图像。

表2

步骤S104：对采样图像进行物品识别，得到有效识别结果。

具体的，在本步骤中，首先对步骤S103中采集到的所有采样图像分别各自进行物品识别、获取每个采样图像各自包含的物品信息作为该采样图像对应的识别结果。其中，物品信息包括物品种类及各个种类的物品数量。统计采集的所有采样图像的总数量以及各个识别结果出现的次数，计算出各个识别结果的出现次数与采样图像的总数量之间的比值，筛选出比值不小于预设值的识别结果作为有效识别结果。识别结果出现的次数与采样图像总数量的比值不小于预设值，说明此识别结果的出现次数较多，为误识别的可能性较低，将这些识别结果作为有效识别结果可以有效的提升识别的准确性。例如：包含两路摄像头C1、C2，每路总计检测100帧，则C1、C2两路摄像头合计200帧，其中组合A单独出现的次数总计120次、AA组合出现的次数60次、BB组合出现的次数为108次、B出现的次数为80、C出现的次数为120次，D出现的次数为2次，BBB组合出现的次数为5次；则我们可以设定一个预设值M＝5％，则D的次数与采样图像的总数量的比值为1％，小于5％，BBB组合的出现次数与采样图像的总数量的比值为2.5％，也小于5％；因此，判定D和BBB组合为误识别；将上述误识别结果从检测结果中剔除。

优选的，在本步骤中，采用神经网络算法模型对各个视角采集的视频图像进行物品识别。可以理解的是，采用神经网络算法模型对各个视角采集的视频图像进行物品识别仅是本实施方式中提供的一种物品识别方法，为一种具体实施方式的举例，在实际的应用过程中，还可以使用其他的方法对采样图像进行识别，获取采样图像中所包含的物品信息。

更优的，在本步骤中，神经网络算法模型包含卷积神经网络中的SSD、CNN、Faster-RCNN以及YOLO四种神经网络算法中的一种或多种。可以理解的是，SSD、CNN、FNSTER以及YOLO四种神经网络算法为使用较为广泛的神经网络算法，神经网络算法模型还可以包含其他的神经网络算法。此外，神经网络算法模型中既可以是仅包含其中的一种、也可以是包含多种。神经网络算法模型中具体包含的神经网络算法的类型和数量可以根据实际需要进行灵活的选用。

下面，对本步骤中进行物品识别的步骤进行具体说明，可以理解的是，以下步骤仅为本实施方式的一种具体实现的举例说明，还可以有其他的实现方式，在此并不构成任何的限定。由于各个采样图像的物品识别过程为独立进行，因此，本例中以单个的采样图形的物品识别过程进行说明。

首先，根据采样图像中所包含的特征图像，初步获取采样图像中的每个待识别目标。

然后，判断每个待识别目标可能属于各个不同物品种类的概率值、并将概率值最大的物品种类作为待识别目标的预选物品种类。例如，采样图像中至少包含待识别目标N1、N2、N3、N4，则获取待识别目标N1、N2、N3、N4属于各个不同物品种类的概率值。例如，对于待识别目标N1，其为A物品种类的概率为P1、为B物品种类的概率为P2、为C物品种类的概率为P3，则将P1、P2、P3中最大者所对应的物品种类作为待识别目标N1的预选物品种类，例如，P1、P2、P3中最大者为P3，则将P3对应的物品种类C作为待识别目标N1的预选物品种类。以概率值最大的物品种类最为预选物品种类，可以有效的提升识别结果的准确性。

最后，获取每一帧所有待识别目标的预选物品种类及各个预选物品种类对应的概率值，筛选出概率值不小于预设概率的所述预选物品种类作为有效物品种类。例如，待识别目标N1为物品种类C的概率为P3，待识别目标N2为物品种类B的概率为P5，待识别目标N3为物品种类C的概率为P6，待识别目标N4为物品种类C的概率为P7。筛选出概率值P3、P5、P6、P7中不小于预设概率P的，例如P5、P6、P7均不小于预设概率P，则将P5、P6、P7所对应的预选物品种类B、C、C作为有效物品结果。即对于这一采样图像，其最终的有效识别结果为B一个，C两个。筛选出概率值不小于预设概率的预选物品种类作为有效物品种类，可以筛除概率值过小的预选物品种类，对应的概率值小，说明对于该待识别目标的识别准确性低，筛除掉这些识别结果，可以有效的提升最终的有效物品种类的识别准确性。

步骤S105：从有效识别结果中获取物品检测结果。

具体的，在本步骤中，获取到各个采样图像的有效识别结果中所包含的所有物品种类和各个物品种类的最大数量作为物品检测结果。

优选的，如表3所示，其中，C1、C2为不同位置的摄像头，F1、F2……Fn为采样图像，A、B、C为物品种类。先获取相同时刻的多个采样图像求并集、获得该时刻的时刻采样结果，再对所有时刻采样结果求并集，获取物品检测结果。其中，所谓求并集即为获取所有出现的物品种类和各个物品种类的最大数量。

表3

与现有技术相比，本发明的第一实施方式所提供的物品检测方法，其通过对待识别区域进行多方位的拍摄，获取不同方位的多个视频图像，然后对多个视频图像进行帧同步处理后，分别进行图像采样，获得采样图像，对各个采样图像分别进行单独的物品识别，并将识别结果进行相互对照，得出最终的物品检测方法，由于在同一时刻有多个采样图像，多个采样图像的识别结果相互对照，使得该时刻的检测结果更加准确。从而使得整个时间段内出现在待识别区域的物品检测的结果更加准确，物品识别的准确率更高。

本发明第二实施方式涉及一种物品检测系统，如图2所示，包括：至少一个处理器201；以及，与至少一个处理器201通信连接的存储器202；其中，存储器202存储有可被至少一个处理器201执行的指令，指令被至少一个处理器201执行，以使至少一个处理器201能够执行如上述物品检测方法。

其中，存储器202和处理器201采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器201和存储器202的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器201处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器201。

处理器201负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器202可以被用于存储处理器201在执行操作时所使用的数据。

本发明第三实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种物品检测方法，其特征在于，包括以下步骤：

获取待识别区域在同一时段内、不同视角的视频图像；

对不同视角的所述视频图像进行帧同步处理；

以预设的帧数间隔对帧同步处理后的不同视角的所述视频图像进行图像采样，得到多个采样图像；

对所述多个采样图像分别进行物品识别、获取各个采样图像中的物品信息作为识别结果，其中，每个采样图像对应一个所述识别结果，所述物品信息包括物品种类及各个种类的物品数量；

筛选出出现频次不低于预设值的识别结果作为有效识别结果；

获取所述有效识别结果中的所有物品种类、以及各个种类的物品的最大数量作为物品检测结果。

2.根据权利要求1所述的物品检测方法，其特征在于，所述对不同视角的所述视频图像进行帧同步处理，具体为：

调节不同视角的所述视频图像的起始时刻、终止时刻及帧速率，使得不同视角的所述视频图像在相同时刻采集的帧图像同步对应。

3.根据权利要求1所述的物品检测方法，其特征在于，所述对所述多个采样图像分别进行物品识别、获取各个采样图像中的物品信息作为识别结果，具体为：

采用神经网络算法模型对所述多个采样图像分别进行物品识别、获取各个采样图像中的物品信息作为识别结果。

4.根据权利要求3所述的物品检测方法，其特征在于，所述采用神经网络算法模型对所述多个采样图像分别进行物品识别，具体包括：

获取各个所述采样图像中的每个待识别目标；

判断每个所述待识别目标属于各不同物品种类的概率值、并将概率值最大的物品种类作为该个待识别目标的预选物品种类；

获取所有待识别目标的预选物品种类及各个预选物品种类对应的概率值，筛选出概率值不小于预设概率的所述预选物品种类作为有效物品种类；

将所述有效物品种类及各个所述有效物品种类对应待识别目标的数量作为所述识别结果。

5.根据权利要求3所述的物品检测方法，其特征在于，所述神经网络算法模型包含SSD、CNN、FNSTER以及YOLO四种神经网络算法中的一种或多种。

6.根据权利要求1所述的物品检测方法，其特征在于，所述筛选出出现频次不低于预设值的识别结果作为有效识别结果，具体包括：

统计所述采样图像的总数量以及各个识别结果的出现次数；

计算出各个识别结果的出现次数与所述采样图像的总数量的比值；

筛选出所述比值不小于预设值的识别结果作为所述有效识别结果。

7.根据权利要求1所述的物品检测方法，其特征在于，所述获取所述物品在同一时段内、不同视角的视频图像，具体为：

通过设置在所述物品不同方位的多个视频采集设备，获取所述物品在同一时段内、不同视角的视频图像。

8.根据权利要求1所述的物品检测方法，其特征在于，所述预设的帧数间隔大于或等于零。

9.一种物品检测系统，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的物品检测方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的物品检测方法。

Images