CN115497055B - 无人值守商店的商品防盗检测方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种无人值守商店的商品防盗检测方法、装置及存储介质，本发明利用图像识别以及目标跟踪的方法，来对无人值守商店内的每个顾客进行防盗检测，其中，先识别出顾客抓取的商品，然后，将顾客放下商品后的图像作为防盗检测图像，并通过对防盗检测图像进行目标跟踪，从而来判断识别出的商品是否能够在防盗检测图像中被跟踪识别到，而若在防盗检测图像中无法被跟踪识别到，则说明商品消失，顾客存在偷窃行为，此时，即可向商店的值守终端发送报警提示，同时还会在商店内播放警示语音，从而威慑偷窃人员；由此，本发明能够自动识别出商店内的偷窃行为，从而减少商品被盗风险，降低商店的损失，提高无人值守商店内商品的安全性。

Description

无人值守商店的商品防盗检测方法、装置及存储介质

技术领域

本发明属于无人值守商店的防盗技术领域，具体涉及一种无人值守商店的商品防盗检测方法、装置及存储介质。

背景技术

随着互联网和实体经济的发展，零售业新形态的无人值守商店开始变得火热，对于传统的零售业，人工高、房租高是公认的两大痛点，而无人值守商店则避免了大量的人工开支，其减少了店铺的运营成本，因此，无人值守商店逐渐蔓延到了餐饮、生活服务、图书等行业领域，受到了人们的广泛使用与认可。

目前，由于无人值守商店中没有工作人员看守，所以，需要用户自觉遵守无人值守商店内的所有交易规则，虽然无人值守商店中安装有摄像头，可起到部分的威慑作用，但是其只能实现商店监控，而无法实现偷窃检测；因此，难免会出现一些素质相对较差的用户，在存在摄像头的情况下，依旧会借助购物来盗取无人值守商店内的商品，例如，用户可能会破坏商品上的RFID标识，然后将商品藏在身上并通过结算通道带出无人值守商店等，而一旦出现偷窃行为，不仅会影响商店的收入，还会造成较为恶劣的影响，不利于无人值守商店的发展和应用；正因如此，如何实现无人值守商店内商品的防盗检测，成为无人值守商店领域中的研究热点问题。

发明内容

本发明的目的是提供一种无人值守商店的商品防盗检测方法、装置及存储介质，用以解决现有技术中的无人值守商店无法实现商品防盗检测的问题。

为了实现上述目的，本发明采用以下技术方案：

第一方面，提供了一种无人值守商店的商品防盗检测方法，包括：

获取任一顾客在无人值守商店内的购物图像集，其中，所述购物图像集包括若干RGB图像以及若干结构光图像，且若干RGB图像和若干结构光图像的采集起点时间、采集结束时间以及采集频率均相同；

对所述购物图像集中的每张RGB图像进行目标跟踪检测，并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像，以作为第一目标图像；

基于所述第一目标图像，从所述购物图像集中的若干结构光图像中，匹配出与所述第一目标图像相对应的结构光图像，以作为动作识别图像；

按照采集时间从先至后的顺序，对所述动作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别，并根据手部动作识别结果从所述动作识别图像中筛选出若干第二目标图像，其中，若干第二目标图像中的首张和末张第二目标图像中的任一顾客的手部识别结果为手指张开，处于首张和末张之间的第二目标图像中的任一顾客的手部识别结果均为手指抓取；

根据若干第二目标图像中的最后一张第二目标图像，从所述购物图像集中的若干RGB图像中，确定出防盗检测图像，其中，所述防盗检测图像是若干RGB图像中处于第三目标图像之后的图像，且所述第三目标图像为最后一张第二目标图像相对应的RGB图像；

对各个第二目标图像进行商品识别，并基于所述防盗检测图像，对识别出的商品进行目标跟踪，以基于目标跟踪结果判断识别出的商品是否存在于所述防盗检测图像中的任一防盗检测图像中；

若否，则判定所述任一顾客存在偷窃行为，并向无人值守商店的值守终端发送报警提示，以及在无人值守商店内播放警示语音。

基于上述公开的内容，本发明通过采集进入无人值守商店内任一顾客的购物图像集，然后通过对购物图像集中的每张RGB图像进行目标跟踪检测，从而识别出任一顾客在无人值守商店内停留的图像，以作为第一目标图像，其中，任一顾客停留，则说明对停留位置处的商品感兴趣，可能存在购物行为；接着，本发明从购物图像集中的若干结构光图像中，匹配出与第一目标图像相对应的结构光图像，并对匹配出的结构光图像进行手部动作识别，从而得出在任一顾客停留时，其手部存在抓取行为的图像，其中，若相邻两张图像的手部动作识别结果为手指张开和手指抓取，则说明任一顾客的手部存在抓取行为，认定其在拿取商品，因此，即可基于手部动作识别结果，从前述匹配出的结构光图像中，筛选出存在抓取行为的图像，从而作为第二目标图像；而后，即可根据第二目标图像，来从若干深度图像中，筛选出防盗检测图像，其原理为：由于最后一张第二目标图像的手部动作识别结果为手部张开，前一张为手部抓取，所以，最后两张第二目标图像表明该任一顾客存在放下商品的行为，此时，商品要么进入购物车，要么放回原位；由此，即可将若干RGB图像中处于最后一张第二目标图像对应图像之后的图像，来作为防盗检测图像；最后，对各个第二目标图像进行商品识别，识别该任一顾客抓取的商品，并在防盗检测图像中，对识别出的商品进行目标跟踪，而若在防盗检测图像中匹配跟踪到识别出的商品，说明商品并未消失，反之，若无法匹配跟踪出识别出的商品，则说明商品消失，此时，可判定该任一顾客存在偷窃行为，并可向商店的值守终端发送报警提示，以及播放语音警示，从而威慑偷窃人员，及时退还商品。

通过上述设计，本发明利用图像识别以及目标跟踪的方法，来对无人值守商店内的每个顾客进行防盗检测，其中，当检测到顾客存在抓取并放下商品的行为时，首先识别出顾客抓取的商品，然后，将顾客放下商品后的图像作为防盗检测图像，并通过对防盗检测图像进行目标跟踪，从而来判断识别出的商品是否能够在防盗检测图像中被跟踪识别到，而若在防盗检测图像中无法被跟踪识别到，则说明商品消失，顾客存在偷窃行为，此时，即可向商店的值守终端发送报警提示，从而提醒值守人员采取相应措施，同时还会在商店内播放警示语音，从而威慑偷窃人员及时退还商品；由此，本发明能够自动识别出商店内的偷窃行为，从而减少商品被盗风险，降低商店的损失，提高无人值守商店内商品的安全性，适用于在无人值守商店内广泛应用与推广。

在一个可能的设计中，按照采集时间从先至后的顺序，对所述动作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别，包括：

对于任一动作识别图像，将所述任一动作识别图像分割为若干个检测图像单元，并对每个检测图像单元进行深度突变检测，以得到每个检测图像单元中的深度突变点个数；

基于每个检测图像单元中的深度突变点个数，得到所述任一动作识别图像的总深度突变点个数；

判断所述总深度突变点个数是否大于预设阈值；

若是，则判定所述任一动作识别图像中的所述任一顾客的手部动作识别结果为手指张开，否则，则判定所述任一动作识别图像中的所述任一顾客的手部动作识别结果为手指抓取。

基于上述公开的内容，本发明公开了对每张动作识别图像进行手部动作识别的具体过程，其中，由于每张动作识别图像实质为结构光图像，而当任一顾客的手部动作变换时（如抓取或张开），会导致结构光图像内的条纹的深度值发生突变，从而出现多个深度突变点，因此，本发明则是对每张动作识别图像进行深度突变检测，从而得出每张动作识别图像中的深度突变点的个数，进而根据深度突变点的个数，来进行手部动作识别。

在一个可能的设计中，将所述任一动作识别图像分割为若干个检测图像单元，包括：

将所述任一动作识别图像进行灰度变换，得到手部灰度图像；

获取一手部标定灰度图像，并基于所述手部标定灰度图像计算到得到分割标定阈值，其中，所述手部标定灰度图像为一标定手部展开后的灰度图像；

计算所述手部灰度图像在长度方向上的像素点个数与所述分割标定阈值的商，以及计算所述手部灰度图像在宽度方向上的像素点个数与所述分割标定阈值的商，分别得到第一分割值以及第二分割值；

以所述第一分割值为行数，所述第二分割值为列数，对所述任一动作识别图像进行行列划分，以在划分完成后，得到若干个检测图像单元。

在一个可能的设计中，对每个检测图像单元进行深度突变检测，以得到每个检测图像单元中的深度突变点个数，包括：

对于任一检测图像单元，将所述任一检测图像单元进行二值化处理，得到二值化图像；

获取形态学结构元，并利用所述形态学结构元对所述二值化图像进行多次腐蚀运算，以得到腐蚀后的二值化图像；

基于所述腐蚀后的二值化图像，确定出所述腐蚀后的二值化图像中的骨架线；

统计所述骨架线中八连通区域的端点个数，以将统计的端点个数作为所述任一检测图像单元中的深度突变点个数。

基于上述公开的内容，本发明公开了深度突变检测的具体过程，即将任一动作识别图像分割为若干个检测图像单元后，对每个检测图像单元进行二值化，然后进行多次腐蚀运算，从而消除各个检测图像单元的边界点，将小于结构元的物体去除，使各个检测图像单元的边界点向内部收缩；接着，本发明再提取腐蚀后的二值化图像的骨架线，并统计骨架线中八连通区域的端点个数，该统计出的端点个数，则作为该检测图像单元的深度突变点个数。

在一个可能的设计中，基于所述腐蚀后的二值化图像，确定出所述腐蚀后的二值化图像中的骨架线，包括：

利用骨架提取算法，对所述腐蚀后的二值化图像进行骨架提取处理，得到所述腐蚀后的二值化图像中的初始骨架；

对于所述初始骨架中的第i个像素点，判断所述第i个像素点的像素值是否为1；

若是，则对第i个像素点进行单像素处理；

将i自加1，直至i等于n时，得到预选骨架，i的初始值为1，n为初始骨架中像素点的总个数；

对所述预选骨架进行去毛刺处理，以在处理后，得到所述腐蚀后的二值化图像中的骨架线。

基于上述公开的内容，本发明公开了骨架提取的具体过程，即先利用骨架提取算法，得到腐蚀后的二值化图像的初始骨架，然后对其进行单像素处理，最后，再进行去毛刺处理，如此，即可提高骨架提取的精度，从而保证深度突变点检测的准确性。

在一个可能的设计中，对第i个像素点进行单像素处理，包括：

获取所述第i个像素点的八邻域内的像素点的像素值；

判断所述第i个像素点的八邻域内像素点的像素值是否符合单像素条件；

若是，则将所述第i个像素点的像素值设置为0，否则，则将i自加1。

在一个可能的设计中，对所述购物图像集中的每张RGB图像进行目标跟踪检测，并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像，以作为第一目标图像，包括：

对每张RGB图像进行目标跟踪检测，以得到每张RGB图像中所述任一顾客的中心点坐标；

基于每张RGB图像中所述任一顾客的中心点坐标，计算出每张RGB图像中的所述任一顾客，与各自对应RGB图像的边界之间的距离，以作为每张RGB图像的停止检测距离；

判断所述若干RGB图像中，是否存在有停止检测距离相同的m张相邻的RGB图像；

若是，则将m张相邻的RGB图像作为所述第一目标图像，其中，m为大于2的正整数。

基于上述公开的内容，本发明公开了对任一顾客进行停止检测的过程，即利用目标检测，得到每张RGB图像中任一顾客所在检测框的中心点坐标，然后，计算每张RGB图像中任一顾客的中心点与各自图像边界之间的距离，接着再判断是否存在有距离相同的连续m张的RGB图像，若存在，则说明顾客的位置未发生变化，其处于停止状态。

第二方面，提供了一种无人值守商店的商品防盗检测装置，包括：

图像获取单元，用于获取任一顾客在无人值守商店内的购物图像集，其中，所述购物图像集包括若干RGB图像以及若干结构光图像，且若干RGB图像和若干结构光图像的采集起点时间、采集结束时间以及采集频率均相同；

目标跟踪单元，用于对所述购物图像集中的每张RGB图像进行目标跟踪检测，并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像，以作为第一目标图像；

图像匹配单元，用于基于所述第一目标图像，从所述购物图像集中的若干结构光图像中，匹配出与所述第一目标图像相对应的结构光图像，以作为动作识别图像；

动作识别单元，用于按照采集时间从先至后的顺序，对所述动作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别，并根据手部动作识别结果从所述动作识别图像中筛选出若干第二目标图像，其中，若干第二目标图像中的首张和末张第二目标图像中的任一顾客的手部识别结果为手指张开，处于首张和末张之间的第二目标图像中的任一顾客的手部识别结果均为手指抓取；

图像匹配单元，用于根据若干第二目标图像中的最后一张第二目标图像，从所述购物图像集中的若干RGB图像中，确定出防盗检测图像，其中，所述防盗检测图像是若干RGB图像中处于第三目标图像之后的图像，且第三目标图像为最后一张第二目标图像相对应的RGB图像；

目标跟踪单元，对各个第二目标图像进行商品识别，并基于所述防盗检测图像，对识别出的商品进行目标跟踪，以基于目标跟踪结果判断识别出的商品是否存在于所述防盗检测图像中的任一防盗检测图像中；

报警单元，用于在目标跟踪单元判断为否时，判定所述任一顾客存在偷窃行为，并向无人值守商店的值守终端发送报警提示。

第三方面，提供了另一种无人值守商店的商品防盗检测装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述无人值守商店的商品防盗检测方法。

第四方面，提供了一种存储介质，存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述无人值守商店的商品防盗检测方法。

第五方面，提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使计算机执行如第一方面或第一方面中任意一种可能设计的所述无人值守商店的商品防盗检测方法。

有益效果：

（1）本发明利用图像识别以及目标跟踪的方法，来对无人值守商店内的每个顾客进行防盗检测，其中，当检测到顾客存在抓取并放下商品的行为时，首先识别出顾客抓取的商品，然后，将顾客放下商品后的图像作为防盗检测图像，并通过对防盗检测图像进行目标跟踪，从而来判断识别出的商品是否能够在防盗检测图像中被跟踪识别到，而若在防盗检测图像中无法被跟踪识别到，则说明商品消失，顾客存在偷窃行为，此时，即可向商店的值守终端发送报警提示，从而提醒值守人员采取相应措施，同时还会在商店内播放警示语音，从而威慑偷窃人员及时退还商品；由此，本发明能够自动识别出商店内的偷窃行为，从而减少商品被盗风险，降低商店的损失，提高无人值守商店内商品的安全性，适用于在无人值守商店内广泛应用与推广。

附图说明

图1为本发明实施例提供的无人值守商店的商品防盗检测方法的步骤流程示意图；

图2为本发明实施例提供的无人值守商店的商品防盗检测装置的结构示意图；

图3为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

实施例：

参见图1所示，本实施例所提供的无人值守商店的商品防盗检测方法，利用图像识别以及目标跟踪技术，可实现对商店内各个顾客拿取商品的防盗检测，其中，本方法通过识别用户拿取并放下的商品，并对该识别出的商品进行目标跟踪，以便依据该识别出的商品在顾客放下商品后的图像中的匹配跟踪结果，来进行防盗行为的检测，若在放下商品后的图像中可匹配跟踪到前述识别出的商品，则说明商品未消失，不存在偷窃行为，反之，则说明商品消失，存在偷窃行为；如此，本方法可实现无人值守商店内商品的防盗检测，从而减少商店的损失，提高商店内商品的安全性；在本实施例中，举例该方法可以但不限于在防盗检测端侧运行，其中，举例所述防盗检测端可以但不限于为个人电脑（personal computer，PC）、平板电脑、智能手机和/或AI摄像头等，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S7所示。

S1. 获取任一顾客在无人值守商店内的购物图像集，其中，所述购物图像集包括若干RGB图像以及若干结构光图像，且若干RGB图像和若干结构光图像的采集起点时间、采集结束时间以及采集频率均相同；具体应用时，举例无人值守商店内安装有摄像头和3D结构光摄像头，且无人值守商店的门口设置有人脸识别设备，当该任一顾客通过人脸识别设备认证进入无人值守商店时，即可是识别出该任一顾客的人脸信息，此时，无人值守商店内的摄像头和3D结构光摄像头拍摄到商店内各个顾客的图像后，防盗检测端即可基于图像识别，来筛选出每个顾客各自对应的RGB图像以及结构光图像；在本实施例中，3D结构光摄像头是将具有一定结构特征的光线投射至被拍摄物体上，然后再拍摄投射有光线的被拍摄物体，拍摄完成后，即可得到结构光图像；在本实施例中，结构光图像在进行图像识别时，无需进行深度计算，可大幅降低识别成本；另外，在本实施例中，无人值守商店内的摄像头以及3D结构光摄像头的采集频率、采集时间以及采集结束时间均是同步的，如此，可保证拍摄的RGB图像与结构光图像是一一对应关系，从而便于后续商品的防盗检测。

在得到该任一顾客在无人值守商店内的购物图像集后，则可先从购物图像集中的若干RGB图像中筛选出该任一顾客处于停止状态时的RGB图像，其中，该任一顾客处于停止状态，则说明其对停止位置处的商品感兴趣，具有购买倾向，如此，在停止过程中，则会出现抓取商品的行为；所以，本实施例则在此过程中，进行防盗检测；具体实施时，则是对该筛选出的RGB图像相对应的结构光图像，进行手部动作识别，从而得出该任一顾客存在有抓取行为的结构光图像；接着，基于存在抓取行为的结构光图像，来从RGB图像中筛选出可用于商品防盗检测的图像；而后，对存在抓取行为的结构光图像中的商品进行图像识别，得出其商品种类；最后，在前述确定出的防盗检测图像中对识别出的商品进行目标跟踪，通过判断前述商品是否能够在防盗检测图像中被跟踪到，来判定该任一顾客是否存在偷窃行为；其中，对该任一顾客进行停止检测的过程如下述步骤S2所示。

S2. 对所述购物图像集中的每张RGB图像进行目标跟踪检测，并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像，以作为第一目标图像；具体应用时，可以但不限于通过计算每张RGB图像中该任一顾客的中心点与其对应图像的边界之间的距离，来判断该任一顾客是否移动或停止，其中，前述中心点的识别过程以及距离计算过程可以但不限于如下述步骤S21～S24所示。

S21. 对每张RGB图像进行目标跟踪检测，以得到每张RGB图像中所述任一顾客的中心点坐标；具体应用时，举例可以但不限于使用yolov4模型（YOLO 模型是由 JosephRedmon 等人于 2015 年提出的神经网络模型结构，yolov4则是第4版本）来进行目标跟踪检测，即将每张RGB图像输入至yolov4模型中，来输出每张RGB图像中该任一顾客的中心点坐标，其实质为，输出每张RGB图像中检测框的中心点坐标；在得到每张RGB图中该任一顾客的中心点坐标后，即可计算出每张RGB图像中该任一顾客的中心点与图像边界之间的距离，而后，即可基于计算出的距离来进行顾客停止检测，其中，检测过程可以但不限于如下述步骤S22～S24所示。

S22. 基于每张RGB图像中所述任一顾客的中心点坐标，计算出每张RGB图像中的所述任一顾客，与各自对应RGB图像的边界之间的距离，以作为每张RGB图像的停止检测距离；具体应用时，每张RGB图像的边界可通过图像坐标系得知，其中，任一RGB图像中的图像坐标系可以但不限于为：以该任一RGB图像的左下角为原点，长度方向为x轴，宽度方向为y轴，建立的图像坐标系，如此，在建立得到图像坐标系后，则可得到该任一RGB图像的四个端点的坐标；更进一步的，基于每张RGB图像中的中心点以及图像的各个端点坐标，即可得出中心点与边界之间的距离；可选的，举例中心点到图像边界之间的距离可以但不限于为：中心点与图像边界端点中的任一端点之间的距离。

在计算得到每张RGB图像中该任一顾客与各自图像边界之间的距离后，则可基于计算出的距离，来进行该任一顾客的停止检测，如下述步骤S23和步骤S24所示。

S23. 判断所述若干RGB图像中，是否存在有停止检测距离相同的m张相邻的RGB图像。

S24. 若是，则将m张相邻的RGB图像作为所述第一目标图像，其中，m为大于2的正整数；具体应用时，前述步骤S23和步骤S24的原理为：由于若干RGB图像是按照固定的采集频率采集得到的，因此，当连续m张相邻的RGB图像对应的停止检测距离未发生变化，则说明图像中该任一顾客的位置未发生变化，也就是处于停止状态，反之，则说明该任一顾客的位置发生了变化，未进行停留；可选的，为避免出现短暂停留，如停留1s等情况，在本实施例中，只有当该任一顾客停留时间大于预设时长后，才能够判定为该任一顾客处于停止状态，其反应在图像上，则是必须要连续m张相邻图像的停止检测距离相同；更进一步的，如采集频率为2s一次，可设置停留大于4s，则判定为处于停止状态，即m大于2，当然，m的值可根据实际使用而具体设定，在此不限定于前述举例。

在从若干RGB图像中确定出该任一顾客处于停止状态后的图像后，即可进行对处于停止状态的图像进行图像匹配，得出与其对应的结构光图像，以便后续基于结构光图像来快速进行所述任一顾客的手部动作识别；其中，图像匹配过程如下述步骤S3所示。

S3. 基于所述第一目标图像，从所述购物图像集中的若干结构光图像中，匹配出与所述第一目标图像相对应的结构光图像，以作为动作识别图像；具体应用时，前述就已说明两种类型图像的采集开始时间、频率以及采集结束时间均相同，因此，每个时刻都对应有一张RGB图像以及一张结构光图像，如此，本实施例则可按照第一目标图像对应的采集时刻，来从若干结构光图像中，匹配出该采集时刻对应的结构光图像，从而作为动作识别图像。

在从若干结构光图像中，匹配出与第一目标图像相对应的各个结构光图像后，即可对匹配出的结构光图像中的所述任一顾客进行手部动作识别，以便确定出该任一顾客具有抓取行为的图像；其中，手部动作识别的具体过程可以但不限于如下述步骤S4所示。

S4. 按照采集时间从先至后的顺序，对所述动作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别，并根据手部动作识别结果从所述动作识别图像中筛选出若干第二目标图像，其中，若干第二目标图像中的首张和末张第二目标图像中的任一顾客的手部识别结果为手指张开，处于首张和末张之间的第二目标图像中的任一顾客的手部识别结果均为手指抓取；具体应用时，此步骤则是识别处于停止状态时的结构光图像中该任一顾客的手部动作，以便从停止状态对应的结构光图像中，筛选出在该任一顾客存在抓取行为的图像，从而作为第二目标图像；具体的，若前一帧图像中该任一顾客的手部动作为手指张开，后一帧图像中该任一顾客的手部动作为手指抓取，那么则说明存在抓取行为，如此，本实施例则是筛选出连续的若干张动作识别图像，其中，筛选出的动作识别图像应满足以下条件，即：第一张和最后一张动作识别图像的手部动作识别结果为手指张开，而处于第一张和最后一张之间的动作识别图像的识别结果则是手指抓取；由此，步骤S4相当于筛选出了一个完整的抓取动作图像，而后，则可基于该筛选出的第二目标图像，来实现商品的防盗检测。

可选的，由于每张动作识别图像中进行手部动作识别的原理一致，下述以任一动作识别图像为例，来具体阐述手部动作识别过程，其识别过程可以但不限于如下述步骤S41～S44所示。

S41. 对于任一动作识别图像，将所述任一动作识别图像分割为若干个检测图像单元，并对每个检测图像单元进行深度突变检测，以得到每个检测图像单元中的深度突变点个数；具体应用时，基于深度突变信息来进行动作识别的原因为：由于结构光图像是3D结构光摄像头向被拍摄物体发射结构光图案，然后采集得到的，而结构光图案大多为编码条纹，因此，当被拍摄物体的形态发生变化时，会导致结构光图像中的条纹发生错位，从而导致深度突变；如此，本实施例则是利用该原理，来基于深度变化信息实现手部动作识别；具体的，应用于各个动作识别图像中该任一顾客的手部识别时，由于在整个购物过程中，该任一顾客的身体部位的形态并不会发生变化，而只有在拿取商品时，才会导致手部发生形态变化（如手部张开和握紧时），如此，相当于只有该任一顾客的手部区域才会存在大量的深度突变点，其中，在本实施例中，手部处于张开时，手部区域存在大量的深度突变信息，也就是深度突变点数量较多，而一旦该任一顾客做出抓手动作，也就是从手部张开转换为手部握紧或抓取时，那么，手部区域内的深度信息会锐减，也就是深度突变点会大量减少，所以，本实施例则是通过检测动作识别图像中深度突变点的个数，来实现手部动作识别。

在本实施例中，为保证识别的准确性以及速度，会将前述任一动作识别图像划分为若干个相同大小的检测图像单元，而后，对每个检测图像单元进行深度突变检测即可；其中，进行图像划分的过程可以但不限于如下述步骤S41a～S41d所示。

S41a. 将所述任一动作识别图像进行灰度变换，得到手部灰度图像。

S41b. 获取一手部标定灰度图像，并基于所述手部标定灰度图像计算到得到分割标定阈值，其中，所述手部标定灰度图像为一标定手部展开后的灰度图像；具体应用时，手部标定灰度图像为可预设至防盗检测端内，其中，可先统计手部标定灰度图像中的像素点总个数，然后取像素点总个数的十分之一作为标定值，最后，对该标定值进行开方，则可得到分割标定阈值。

在得到分割标定阈值后，即可进行分割值的计算，以便后续基于计算出的分割值，来进行图像的划分，其中，分割值的计算过程如下述步骤S41c所示。

S41c. 计算所述手部灰度图像在长度方向上的像素点个数与所述分割标定阈值的商，以及计算所述手部灰度图像在宽度方向上的像素点个数与所述分割标定阈值的商，分别得到第一分割值以及第二分割值；具体应用时，假设手部灰度图像的尺寸为A×B，那么手部灰度图像在长度方向上的像素点个数则为A像素，同理，手部灰度图像在宽度方向上的像素点个数则为B像素，如此，即可基手部灰度图像的像素宽度和长度，来计算出第一分割值和第二分割值，而计算得到在长度和宽度方向上的分割值后，则可进行图像划分，如下述步骤S41d所示。

S41d. 以所述第一分割值为行数，所述第二分割值为列数，对所述任一动作识别图像进行行列划分，以在划分完成后，得到若干个检测图像单元；具体应用时，假设第一分割值为r，第二分割值为t，则相当于将前述任一动作识别图像划分为r×t个检测图像单元。

在完成前述任一动作识别图像的图像划分后，则可对每个检测图像单元进行深度突变检测，其中，深度突变检测的具体过程可以但不限于如下述步骤 S41e～S41h。

S41e. 对于任一检测图像单元，将所述任一检测图像单元进行二值化处理，得到二值化图像；具体应用时，二值化处理则是将该任一检测图像单元的像素值变为1或0，即将大于二值化阈值的像素点的像素值变为1，小于二值化阈值的像素点的像素值变为0；可选的，可以但不限于采用自适应阈值二值化算法来对该任一检测图像单元进行二值化处理。

在完成前述任一检测图像单元的二值化后，即可对二值化图像进行多次腐蚀运算，以利用腐蚀运算来提取该任一检测图像单元中的深度突变信息；可选的，腐蚀运算的具体过程可以但不限于如下述步骤S41f所示。

S41f. 获取形态学结构元，并利用所述形态学结构元对所述二值化图像进行多次腐蚀运算，以得到腐蚀后的二值化图像；具体应用时，举例可以但不限于采用3×3的矩阵作为结构元，或采用5×5的矩阵作为结构元；同时，可以但不限于进行2-3次腐蚀运算，以最大程度的消除前述任一检测图像单元的边界点，将小于结构元的物体去除，使前述任一检测图像单元的边界点向内部收缩，从而凸显图像单元中的深度突变信息。

在完成对二值化图像的形态学处理后，即可提取出腐蚀后的二值化图像的骨架线，以便基于骨架线，来进行深度突变信息的识别；其中，骨架线提取过程如下述步骤S41g所示。

S41g. 基于所述腐蚀后的二值化图像，确定出所述腐蚀后的二值化图像中的骨架线；具体应用时，该步骤的作用为：在保证图像保持原有形状的前提下，去掉图像中的像素，从而去除图像中不必要的干扰信息，如去除任一顾客的手臂边缘、面部、脖颈等部位的干扰信息，从而仅保留手部信息，以最大程度的提高手部动作识别的准确性；可选的，前述骨架线的提取过程可以但不限于如下述步骤所示：

第一步：利用骨架提取算法，对所述腐蚀后的二值化图像进行骨架提取处理，得到所述腐蚀后的二值化图像中的初始骨架；具体应用时，举例骨架提取算法可以但不限于包括：中轴变换算法（一种用来确定物体骨架的细化技术）、基于烈火模拟的骨架获取算法或基于最大圆盘的骨架获取算法。

由于前述算法对图像边界敏感，在骨架提取过程中，会存在冗余的像素，从而使提取出的骨架精度较低，因此，在利用骨架提取算法得到前述腐蚀后的二值化图像中的初始骨架后，本实施例还设置有冗余点去除步骤，如下述步骤所示。

第二步：对于所述初始骨架中的第i个像素点，判断所述第i个像素点的像素值是否为1。

第三步：若是，则对第i个像素点进行单像素处理；具体应用时，对第i个像素点进行单像素处理则是先获取所述第i个像素点的八邻域内的像素点的像素值，即以该第i个像素点为中心，与之相邻的八个点组成的区域；其中，假设第i个像素点的坐标为（x，y），那么，其八邻域的像素点分别为（x，y+1）、（x-1,y）、（x，y-1）、（x+1，y）、（x-1，y）、（x+1，y+1）、（x-1，y-1）和（x+1，y-1）；在获取第i个像素点的八邻域内的像素点的像素值后，则需判断所述第i个像素点的八邻域内像素点的像素值是否符合单像素条件；在本实施例中，举例单像素条件可以但不限于为：八邻域内坐标为（x，y+1）对应像素点和坐标为（x-1,y）对应像素点的像素值为1；如此，当第i个像素点的八邻域内的像素点的像素值满足前述条件后，则将所述第i个像素点的像素值设置为0，而若不满足，则保持第i个像素点的像素值为1，且进行下一个像素点的判断，即将i自加1。

第四步：将i自加1，直至i等于n时，得到预选骨架；如此，经过前述步骤，即可实现初始骨架中每个像素点的单像素处理，从而去除多余的像素点，以提高骨架的提取精度；另外，在本实施例中，由于使用前述骨架提取算法提取出的骨架还存在毛刺，因此，为减少毛刺对骨架精度的影响，本实施例还设置有去毛刺步骤，如下述步骤所示。

第五步：对所述预选骨架进行去毛刺处理，以在处理后，得到所述腐蚀后的二值化图像中的骨架线；具体应用时，去毛刺的具体过程为：（1）对于预选骨架中的第s个像素点，判断该第s个像素点的像素值是否为1；（2）若是，则计算该任一像素点的八邻域内的所有像素点的像素值之和，得到像素值总和；（3）将s自加1，直至s等于u时，得到预选骨架中各个像素点的像素值总和，其中，s的初始值为1，且u为预选骨架中像素点的总个数；（4）将像素值总和大于3的像素点作为分支点，并记录各个分支点的位置；（5）在预选骨架中，删除步骤（4）中的分支点，得到更新后的预选骨架，其中，更新后的预选骨架内包含有标记的多个连通区域，且不同连通区域的标记不同（如四连通区域标记与八连通区域不同）；（5）计算更新后的预选骨架中各个连通区域的面积，并删除面积小于或等于面积阈值的连通区域，以得到目标预选骨架；（6）基于各个分支点的位置，在目标预选骨架中，重新标记各个分支点，以将利用分支点将目标预选骨架中的各个连通区域连接成一整体连通区域，连通完毕后，得带所述腐蚀后的二值化图像中的骨架线；如此，通过前述设计，即可有效的去除毛刺，且保持骨架的连通性，从而提高骨架的提取准确性。

在得到腐蚀后的二值化图像的骨架线后，即可基于得到的骨架线，来确定出该任一检测图像单元中的深度突变点个数，如下述步骤S41h所示。

S41h. 统计所述骨架线中八连通区域的端点个数，以将统计的端点个数作为所述任一检测图像单元中的深度突变点个数；具体应用时，前述去毛刺步骤中就已阐述，将分支点恢复后，则可将目标预选骨架中的各个连通区域连接成一整体连通区域，因此，目标预选骨架相当于是由多个标记的连通区域相互连通而成的，如此，骨架线相当于就包含有多个标记的连通区域以及各个分支点，所以，本实施例则可根据各个连通区域的标记，来确定出八连通区域，并将八连通区域的端点个数作为该任一检测图像单元的深度突变点个数。

同理，以前述同样的方法，即可得出所有检测图像单元内的深度突变点个数；而在本实施例中，由于只有手部在作出抓取动作时，才会有形态变换，因此，本实施例实质只有属于手部区域的图像单元才会存在有深度突变信息，也就是存在深度突变点；因此，为增加手部动作识别的准确性，本实施例还可先对任一动作识别图像进行图像分割，分割出任一动作图像中顾客的手部图像，然后再将手部图像划分为若干个检测图像单元，从而再进行深度突变检测，当然，其检测原理与前述相同；在得到所有检测图像单元内的深度突变点个数后，即可得到该任一动作识别图像中深度突变点总个数，如下述步骤S42所示。

S42. 基于每个检测图像单元中的深度突变点个数，得到所述任一动作识别图像的总深度突变点个数；具体应用时，可以但不限于取所有检测图像单元的深度突变点个数的均值，来作为前述任一动作识别图像的总深度突变点个数；在得到该任一动作识别图像的总深度突变点个数后，即可基于该总深度突变点个数，来得出前述任一动作识别图像中所述任一顾客的手部动作识别结果，如下述步骤S43和步骤S44所示。

S43. 判断所述总深度突变点个数是否大于预设阈值。

S45. 若是，则判定所述任一动作识别图像中的所述任一顾客的手部动作识别结果为手指张开，否则，则判定所述任一动作识别图像中的所述任一顾客的手部动作识别结果为手指抓取；具体应用时，举例预设阈值可以但不限于采用40。

如此，采用前述步骤S41～S44即可得出每张动作识别图像中该任一顾客的手部动作识别结果，而后，即可基于手部动作识别结果，来从动作识别图像中，筛选出存在抓取行为的动作识别图像，作为第二目标图像；当然，筛选出的动作识别图像的手部动作识别结果则符合前述所阐述的条件即可。

在得到前述任一顾客存在抓取行为的动作识别图像后，即可从若干RGB图像中，来筛选出该任一顾客放下商品后的图像，以便基于放下商品后的图像（即下述的防盗检测图像），来进行商品防盗检测；其原理为：该任一顾客存在抓取行为时，则说明拿取了商品，而最后两张第二目标图像的动作识别结果为手指抓取和手指张开，此时，则表明该任一顾客存在放下商品的行为，因此，放下商品后，商品要么进入购物车，要么放回原位；所以，本实施例即可基于放下商品后的图像，来对抓取的商品进行目标跟踪，其中，若能够在放下商品后的图像中匹配跟踪到抓取的商品，说明商品并未消失，反之，则说明商品消失，存在偷窃行为；具体实施时，防盗检测步骤如下述步骤S5和步骤S6所示。

S5. 根据若干第二目标图像中的最后一张第二目标图像，从所述购物图像集中的若干RGB图像中，确定出防盗检测图像，其中，所述防盗检测图像是若干RGB图像中处于第三目标图像之后的图像，且所述第三目标图像为最后一张第二目标图像相对应的RGB图像；具体应用时，则是从若干RGB图像中，筛选出处于最后一张第二目标图像对应RGB图像之后的图像，如，最后一张第二目标图像对应的RGB图像的采集时刻为10点，那么则将10点之后的RGB图像，作为防盗检测图像。

在得到防盗检测图像后，即可进行商品跟踪检测，如下述步骤S6所示。

S6. 对各个第二目标图像进行商品识别，并基于所述防盗检测图像，对识别出的商品进行目标跟踪，以基于目标跟踪结果判断识别出的商品是否存在于所述防盗检测图像中的任一防盗检测图像中；具体应用时，可以但不限于采用Deepsort算法对各个第二目标图像中的商品进行识别，并在防盗检测图像中，对识别出的商品进行目标跟踪；在本实施例中，Deepsort算法可对不同图像上的同一目标进行跟踪，并赋予独特的id来标识，从而完成不同图像中同一目标的跟踪识别，其中，该算法是基于Sort目标跟踪进行的改进，它引入深度学习模型，在实时目标跟踪过程中，提取目标的外观特征进行最近邻近匹配，并采用级联匹配以及IOU匹配，来实现前后帧图像中同一目标的识别与跟踪；因此，当在防盗检测图像中，可匹配出在第二目标图像中的各个识别出的商品，那么则说明，商品未消失，处于购物车、购物篮或货架上；而若在防盗检测图像中，无法匹配出前述识别出的商品，则说明商品消失，不存在于购物车、购物篮或货架上，此时，则可认定商品被盗，该任一顾客存在偷窃行为；在本实施例中，认定偷窃行为发生时，则可采取如下制止措施，如下述步骤S7所示。

S7. 若否，则判定所述任一顾客存在偷窃行为，并向无人值守商店的值守终端发送报警提示，以及在无人值守商店内播放警示语音；具体应用时，则可向商店的值守终端发送报警提示，从而提醒值守终端处的工作人员，商店内的商品被偷窃，从而采取相应的措施，如进行监控的查看，报警等；同时，还会在店内播放警示语音，从而提醒该任一顾客及时退还偷窃的商品；可选的，在本实施例中，还可将该任一顾客的人脸识别信息（该信息是在步骤S2中进行目标跟踪检测得到的）加入至商店黑名单中，从而关闭该任一顾客的进店权限（即下一次使用人脸认证进入商店时，不予通过）；另外，还可在识别出该任一顾客存在偷窃行为时，关闭商店大门，从而防止偷窃者逃跑；当然，具体的反制措施可根据实际使用而具体设定，在此不限定于前述举例。

由此通过前述步骤S1～S7所详细描述的无人值守商店的商品防盗检测方法，本发明利用图像识别以及目标跟踪技术，能够自动识别出商店内的偷窃行为，从而减少商品被盗风险，降低商店的损失，提高无人值守商店内商品的安全性，适用于在无人值守商店内广泛应用与推广。

如图2所示，本实施例第二方面提供了一种实现实施例第一方面中所述的无人值守商店的商品防盗检测方法的硬件装置，包括：

图像获取单元，用于获取任一顾客在无人值守商店内的购物图像集，其中，所述购物图像集包括若干RGB图像以及若干结构光图像，且若干RGB图像和若干结构光图像的采集起点时间、采集结束时间以及采集频率均相同。

目标跟踪单元，用于对所述购物图像集中的每张RGB图像进行目标跟踪检测，并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像，以作为第一目标图像。

图像匹配单元，用于基于所述第一目标图像，从所述购物图像集中的若干结构光图像中，匹配出与所述第一目标图像相对应的结构光图像，以作为动作识别图像。

动作识别单元，用于按照采集时间从先至后的顺序，对所述动作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别，并根据手部动作识别结果从所述动作识别图像中筛选出若干第二目标图像，其中，若干第二目标图像中的首张和末张第二目标图像中的任一顾客的手部识别结果为手指张开，处于首张和末张之间的第二目标图像中的任一顾客的手部识别结果均为手指抓取。

图像匹配单元，用于根据若干第二目标图像中的最后一张第二目标图像，从所述购物图像集中的若干RGB图像中，确定出防盗检测图像，其中，所述防盗检测图像是若干RGB图像中处于第三目标图像之后的图像，且第三目标图像为最后一张第二目标图像相对应的RGB图像。

目标跟踪单元，对各个第二目标图像进行商品识别，并基于所述防盗检测图像，对识别出的商品进行目标跟踪，以基于目标跟踪结果判断识别出的商品是否存在于所述防盗检测图像中的任一防盗检测图像中。

报警单元，用于在目标跟踪单元判断为否时，判定所述任一顾客存在偷窃行为，并向无人值守商店的值守终端发送报警提示。

本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

如图3所示，本实施例第三方面提供了另一种无人值守商店的商品防盗检测装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的无人值守商店的商品防盗检测方法。

具体举例的，所述存储器可以但不限于包括随机存取存储器（random accessmemory，RAM）、只读存储器（Read Only Memory ，ROM）、闪存（Flash Memory）、先进先出存储器（First Input First Output，FIFO）和/或先进后出存储器（First In Last Out，FILO）等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机（reduced instruction setcomputer,RISC）微处理器、X86等架构处理器或集成嵌入式神经网络处理器（neural-network processing units，NPU）的处理器；所述收发器可以但不限于为无线保真（WIFI）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。

本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第四方面提供了一种存储包含有实施例第一方面所述的无人值守商店的商品防盗检测方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的无人值守商店的商品防盗检测方法。

其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的无人值守商店的商品防盗检测方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人值守商店的商品防盗检测方法，其特征在于，包括：

获取任一顾客在无人值守商店内的购物图像集，其中，所述购物图像集包括若干RGB图像以及若干结构光图像，且若干RGB图像和若干结构光图像的采集起点时间、采集结束时间以及采集频率均相同；

对所述购物图像集中的每张RGB图像进行目标跟踪检测，并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像，以作为第一目标图像；

基于所述第一目标图像，从所述购物图像集中的若干结构光图像中，匹配出与所述第一目标图像相对应的结构光图像，以作为动作识别图像；

按照采集时间从先至后的顺序，对所述动作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别，并根据手部动作识别结果从所述动作识别图像中筛选出若干第二目标图像，其中，若干第二目标图像中的首张和末张第二目标图像中的任一顾客的手部识别结果为手指张开，处于首张和末张之间的第二目标图像中的任一顾客的手部识别结果均为手指抓取；

根据若干第二目标图像中的最后一张第二目标图像，从所述购物图像集中的若干RGB图像中，确定出防盗检测图像，其中，所述防盗检测图像是若干RGB图像中处于第三目标图像之后的图像，且所述第三目标图像为最后一张第二目标图像相对应的RGB图像；

对各个第二目标图像进行商品识别，并基于所述防盗检测图像，对识别出的商品进行目标跟踪，以基于目标跟踪结果判断识别出的商品是否存在于所述防盗检测图像中的任一防盗检测图像中；

若否，则判定所述任一顾客存在偷窃行为，并向无人值守商店的值守终端发送报警提示，以及在无人值守商店内播放警示语音。

2.根据权利要求1所述的方法，其特征在于，按照采集时间从先至后的顺序，对所述动作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别，包括：

对于任一动作识别图像，将所述任一动作识别图像分割为若干个检测图像单元，并对每个检测图像单元进行深度突变检测，以得到每个检测图像单元中的深度突变点个数；

基于每个检测图像单元中的深度突变点个数，得到所述任一动作识别图像的总深度突变点个数；

判断所述总深度突变点个数是否大于预设阈值；

若是，则判定所述任一动作识别图像中的所述任一顾客的手部动作识别结果为手指张开，否则，则判定所述任一动作识别图像中的所述任一顾客的手部动作识别结果为手指抓取。

3.根据权利要求2所述的方法，其特征在于，将所述任一动作识别图像分割为若干个检测图像单元，包括：

将所述任一动作识别图像进行灰度变换，得到手部灰度图像；

获取一手部标定灰度图像，并基于所述手部标定灰度图像计算到得到分割标定阈值，其中，所述手部标定灰度图像为一标定手部展开后的灰度图像；

计算所述手部灰度图像在长度方向上的像素点个数与所述分割标定阈值的商，以及计算所述手部灰度图像在宽度方向上的像素点个数与所述分割标定阈值的商，分别得到第一分割值以及第二分割值；

以所述第一分割值为行数，所述第二分割值为列数，对所述任一动作识别图像进行行列划分，以在划分完成后，得到若干个检测图像单元。

4.根据权利要求2所述的方法，其特征在于，对每个检测图像单元进行深度突变检测，以得到每个检测图像单元中的深度突变点个数，包括：

对于任一检测图像单元，将所述任一检测图像单元进行二值化处理，得到二值化图像；

获取形态学结构元，并利用所述形态学结构元对所述二值化图像进行多次腐蚀运算，以得到腐蚀后的二值化图像；

基于所述腐蚀后的二值化图像，确定出所述腐蚀后的二值化图像中的骨架线；

统计所述骨架线中八连通区域的端点个数，以将统计的端点个数作为所述任一检测图像单元中的深度突变点个数。

5.根据权利要求4所述的方法，其特征在于，基于所述腐蚀后的二值化图像，确定出所述腐蚀后的二值化图像中的骨架线，包括：

利用骨架提取算法，对所述腐蚀后的二值化图像进行骨架提取处理，得到所述腐蚀后的二值化图像中的初始骨架；

对于所述初始骨架中的第i个像素点，判断所述第i个像素点的像素值是否为1；

若是，则对第i个像素点进行单像素处理；

将i自加1，直至i等于n时，得到预选骨架，其中，i的初始值为1，n为初始骨架中像素点的总个数；

对所述预选骨架进行去毛刺处理，以在处理后，得到所述腐蚀后的二值化图像中的骨架线。

6.根据权利要求5所述的方法，其特征在于，对第i个像素点进行单像素处理，包括：

获取所述第i个像素点的八邻域内的像素点的像素值；

判断所述第i个像素点的八邻域内像素点的像素值是否符合单像素条件；

若是，则将所述第i个像素点的像素值设置为0，否则，则将i自加1。

7.根据权利要求1所述的方法，其特征在于，对所述购物图像集中的每张RGB图像进行目标跟踪检测，并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像，以作为第一目标图像，包括：

对每张RGB图像进行目标跟踪检测，以得到每张RGB图像中所述任一顾客的中心点坐标；

基于每张RGB图像中所述任一顾客的中心点坐标，计算出每张RGB图像中的所述任一顾客，与各自对应RGB图像的边界之间的距离，以作为每张RGB图像的停止检测距离；

判断所述若干RGB图像中，是否存在有停止检测距离相同的m张相邻的RGB图像；

若是，则将m张相邻的RGB图像作为所述第一目标图像，其中，m为大于2的正整数。

8.一种无人值守商店的商品防盗检测装置，其特征在于，包括：

图像获取单元，用于获取任一顾客在无人值守商店内的购物图像集，其中，所述购物图像集包括若干RGB图像以及若干结构光图像，且若干RGB图像和若干结构光图像的采集起点时间、采集结束时间以及采集频率均相同；

目标跟踪单元，用于对所述购物图像集中的每张RGB图像进行目标跟踪检测，并根据目标跟踪检测结果从若干RGB图像中确定出所述任一顾客处于停止状态时的RGB图像，以作为第一目标图像；

图像匹配单元，用于基于所述第一目标图像，从所述购物图像集中的若干结构光图像中，匹配出与所述第一目标图像相对应的结构光图像，以作为动作识别图像；

动作识别单元，用于按照采集时间从先至后的顺序，对所述动作识别图像中的每张动作识别图像内的所述任一顾客进行手部动作识别，并根据手部动作识别结果从所述动作识别图像中筛选出若干第二目标图像，其中，若干第二目标图像中的首张和末张第二目标图像中的任一顾客的手部识别结果为手指张开，处于首张和末张之间的第二目标图像中的任一顾客的手部识别结果均为手指抓取；

图像匹配单元，用于根据若干第二目标图像中的最后一张第二目标图像，从所述购物图像集中的若干RGB图像中，确定出防盗检测图像，其中，所述防盗检测图像是若干RGB图像中处于第三目标图像之后的图像，且第三目标图像为最后一张第二目标图像相对应的RGB图像；

目标跟踪单元，对各个第二目标图像进行商品识别，并基于所述防盗检测图像，对识别出的商品进行目标跟踪，以基于目标跟踪结果判断识别出的商品是否存在于所述防盗检测图像中的任一防盗检测图像中；

报警单元，用于在目标跟踪单元判断为否时，判定所述任一顾客存在偷窃行为，并向无人值守商店的值守终端发送报警提示，以及在无人值守商店内播放警示语音。

9.一种无人值守商店的商品防盗检测装置，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的无人值守商店的商品防盗检测方法。

10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的无人值守商店的商品防盗检测方法。

Images