CN118097094A - 一种物品入侵识别方法、装置及智能购物车 - Google Patents

Abstract

本发明提出一种物品入侵识别方法、装置及智能购物车，包括：以目标容器的物品出入口所在平面为标定面，对设置在物品出入口上方的TOF传感器模块进行标定。通过TOF传感器模块对检测空间进行持续检测，若检测到像素点的深度信息发生变化，且深度信息发生变化的像素点的个数大于预设的阈值，则确定目标容器存在物品入侵。该方案成本低、检测速度快且易于部署及扩展。

Description

一种物品入侵识别方法、装置及智能购物车

技术领域

本发明涉及计算机技术领域，具体涉及一种物品入侵识别方法、装置及智能购物车。

背景技术

物品入侵识别是指识别目标空间内是否有物品进入。物品入侵识别在很多业务场景都得以应用，例如：仓储管理、购物车内商品结算等。然而，现有技术中多采用基于深度学习模型的识别方案，该类方案需要大量样本数据来训练识别模型，成本高昂，且部署时对设备的算力要求较高，不易扩展。

发明内容

发明目的：本发明旨在克服以上技术问题，提出一种物品入侵识别方法、装置及智能购物车，该方案成本低、检测速度快且易于部署及扩展。

发明内容：为实现上述目的，本发明提出以下技术方案：

第一方面，提供了一种物品入侵识别方法，该方法包括：

以目标容器的物品出入口所在平面为标定面，对设置在所述物品出入口上方的TOF传感器模块进行标定，包括：在所述物品出入口放置一块与所述物品出入口相适配的标定模板，通过所述TOF传感器模块采集所述标定模板的TOF图像；基于所述标定模板的TOF图像上的像素点的原始深度信息，标定所述TOF传感器模块的检测空间；所述像素点的原始深度信息为标定时该像素点与所述TOF传感器模块之间的距离；

通过所述TOF传感器模块对所述检测空间进行持续检测，若检测到所述像素点的深度信息发生变化，且深度信息发生变化的所述像素点的个数大于预设的阈值，则确定所述目标容器存在物品入侵。

作为第一方面所述方法的一种可选实施方式，在上述物品入侵识别方法中，所述物品入侵是指物品从所述物品出入口进入所述目标容器。

作为第一方面所述方法的一种可选实施方式，在上述物品入侵识别方法中，所述TOF传感器模块确定检测到的所述像素点的深度信息发生变化，具体包括：

所述TOF传感器模块在每一次检测时，针对每一个所述像素点，获取所述像素点与所述TOF传感器模块之间的距离信息，并将所述距离信息与所述像素点的原始深度信息进行比对，若所述距离信息小于相应的原始深度信息，则确定所述像素点的深度信息发生变化。

第二方面，提供了一种物品入侵识别装置，该装置包括：TOF传感器模块和识别模块；

所述TOF传感器模块设置于目标容器的物品出入口的上方，用于对所述物品出入口所在平面进行标定，包括：在所述物品出入口放置一块与所述物品出入口相适配的标定模板，通过所述TOF传感器模块采集所述标定模板的TOF图像；基于所述标定模板的TOF图像上的像素点的原始深度信息，标定所述TOF传感器模块的检测空间；所述像素点的原始深度信息为标定时该像素点与所述TOF传感器模块之间的距离；

所述TOF传感器模块还用于对所述检测空间进行持续检测，并将检测结果传输至所述识别模块；

所述识别模块用于基于所述TOF传感器模块的检测结果确定是否存在物品入侵，包括：若检测到所述像素点的深度信息发生变化，且深度信息发生变化的所述像素点的个数大于预设的阈值，则确定所述目标容器存在物品入侵。

第三方面，提供了一种商品入侵识别方法，适用于智能购物车，该方法包括：

以智能购物车的物品出入口所在平面为标定面，对设置在所述物品出入口上方的TOF传感器模块进行标定，包括：在所述智能购物车的商品出入口放置一块与所述商品出入口相适配的标定模板，通过所述TOF传感器模块采集所述标定模板的TOF图像；基于所述标定模板的TOF图像上的像素点的原始深度信息，标定所述TOF传感器模块的检测空间；所述像素点的原始深度信息为标定时该像素点与所述TOF传感器模块之间的距离；

通过所述TOF传感器模块对所述检测空间进行持续检测，若检测到所述像素点的深度信息发生变化，且深度信息发生变化的所述像素点的个数大于预设的阈值，则确定所述智能购物车存在商品入侵。

作为第三方面所述方法的一种可选实施方式，在上述商品入侵识别方法中，所述商品入侵是指商品从所述物品出入口进入所述智能购物车的车框。

作为第三方面所述方法的一种可选实施方式，在上述商品入侵识别方法中，所述TOF传感器模块确定检测到的所述像素点的深度信息发生变化，具体包括：

所述TOF传感器模块在每一次检测时，针对每一个所述像素点，获取所述像素点与所述TOF传感器模块之间的距离信息，并将所述距离信息与所述像素点的原始深度信息进行比对，若所述距离信息小于相应的原始深度信息，则确定所述像素点的深度信息发生变化。

第四方面，提供了一种智能购物车，包括：

设置于智能购物车的商品出入口的上方的TOF传感器模块，用于根据上述的商品入侵识别方法进行商品入侵识别，并在识别出所述智能购物车存在商品入侵时，发出第一触发信号；

设置于所述智能购物车车框底部的重力传感器模块，用于检测所述车框内商品的重量，并在所述车框内商品的重量发生变化时，发出第二触发信号；

图像采集模块，配置为响应于所述第一触发信号，采集所述智能购物车车框内的商品图像；以及，响应于所述第二触发信号，停止采集所述智能购物车车框内的商品图像；

结算模块，用于基于所述图像采集模块采集的商品图像，识别商品的类别；基于所述重力传感器模块检测出的所述车框内商品的重量变化值，与所述商品的类别，确定所述商品的数量；基于所述商品的类别及数量，确定所述商品的金额。

有益效果：与现有技术相比，本发明具有以下优势：

1、本发明提出的物品入侵识别方法及装置，能够快速、准确地识别物品入侵，相较于现有的AI识别技术，本方案不需要采用大量样本数据来训练模型，降低了成本，易于部署和扩展。

2、本发明提出的商品入侵识别方法及智能购物车，可以适用于智能购物车自动结算场景中，该方法能够快速识别智能购物车车框中的商品入侵，从而触发图像采集模块采集商品图像，再结合设置于智能购物车车框底部的重力传感器模块，可以快速识别智能购物车车框内商品重量的变化，并触发图像采集装置停止采集。基于此，图像采集模块能够仅采集有效图像，而不需要持续采集图像，所需能耗和算力较低，成本低，易于部署在智能购物车上。

附图说明

图1为实施例涉及的一种物品入侵识别方法的流程示意图。

图2为实施例涉及的一种物品入侵识别装置的结构示意图。

图3为实施例涉及的一种用于对智能购物车的车框进行商品入侵识别的方法的流程示意图。

图4为实施例涉及的一种智能购物车的结构示意图。

图5为实施例涉及的一种智能购物车的标定原理示意图。

图6为实施例涉及的一种智能购物车的商品入侵识别原理示意图。

图7为实施例涉及的一种智能购物车的商品智能结算流程示意图。

具体实施方式

下面将结合附图和具体实施例对本发明作更进一步的说明。但应当理解的是，本发明可以以各种形式实施，以下在附图中出示并且在下文中描述的一些示例性和非限制性实施例，并不意图将本发明限制于所说明的具体实施例。

应当理解的是，在技术上可行的情况下，以上针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外的实施例。此外，本发明所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。

请参考图1，本实施例提出一种物品入侵识别方法，其流程包括以下步骤：

S100：TOF传感器模块标定。

TOF传感器的工作原理为：给目标连续发送光脉冲，然后用TOF传感器接收从物体返回的光。通过探测光脉冲的飞行（往返）时间来得到目标物的距离。具体来说，TOF传感器发射一束脉冲光波，通过光学快门快速精确获取照射到三维物体后反射回来的光波的时间差t，由于光速c已知，只要知道发射光和接收光的时间差，这一光束来回的距离就可以通过公式D=t·c来计算，进而可以计算出目标物与TOF传感器之间的距离d = t/2·c，TOF传感器的精度可达毫米级。

本步骤中，利用TOF传感器的上述原理，将TOF传感器模块设置在目标容器的物品出入口的上方。在TOF传感器模块工作之前，需要先对TOF传感器模块的检测范围进行标定。具体来说，TOF传感器模块的标定过程如下：

以目标容器的物品出入口所在平面为标定面，然后制作一个与物品出入口大小相适配且有厚度的标定模板，这个标定模板的厚度可以根据需求设置，通常选择厚度大于TOF传感器模块的检测精度的标定模板。

将标定模板放置在目标容器的物品出入口，再通过TOF传感器模块采集标定模板的TOF图像。在TOF传感器模块捕获的TOF图像中，每个像素都可以视为一个点，这些像素点记录了从相机到场景中对应位置的距离信息，因此每个像素点都代表了场景中的一个特定位置及其对应的深度信息。模板标定时只需记录下标定模板在TOF图像中每个像素点的深度信息，这些像素点对应的深度信息为有效信息，这些像素点也被称为有效像素点，标定模板外的像素点的深度信息为无效信息，不做记录。例如A是有效像素点，A的坐标为（x1,y1），A的深度信息为d1，B是有效像素点，B的坐标为（x2,y2）B的深度信息为d2等。TOF传感器模块的标定就是获取这些有效像素点的深度信息和坐标数据并存储在TOF传感器里，本方案将这种利用光学原理在特定范围内形成的带有深度空间的区域称为检测区域。

S102：物品入侵识别。

在完成TOF传感器模块的标定后，即可通过TOF传感器模块对上述标定时确定的检测空间进行持续检测，若检测到存在像素点的深度信息发生变化，且深度信息发生变化的像素点的个数大于预设的阈值，则确定上述的目标容器存在物品入侵。

具体来说，TOF传感器模块在工作时的每一帧都会检测每个有效像素点的深度信息，每秒可达1-60帧，帧数可以根据需求设定，当有物品进入前期标定的检测区域时，必然会对有效像素点产生遮挡，使得被遮挡的有效像素点的深度信息变小。基于此特性，

TOF传感器模块在检测到的每一帧中都对每个有效像素点的深度信息进行检测，并与标定时存储的原始深度信息对比，当某个有效像素点最新检测到的深度信息dx<标定的深度信息d时，该有效像素点会被标记或者记录，当被标记的有效像素点的个数达到设定的阈值时，则可以确定上述的目标容器存在物品入侵。此处的阈值设置是为了避免误判，阈值的具体数值可以根据场景和需要的灵敏度来自行设定，本实施例对此不做限制。例如，考虑到识别精度问题，可以设置当某个有效像素点最新检测到的深度信息dx小于标定的深度信息d的值达到预设的阈值区间时，该有效像素点会被标记或者记录。

需要说明的是，上述的物品入侵是指物品从目标容器的物品出入口进入目标容器。

与上述物品入侵识别方法相对应地，本实施例还提出一种物品入侵识别装置，该装置可以独立设置，也可以集成到具体业务场景的硬件系统中，以实现上述的物品入侵识别方法。请参考图2，该装置包括：TOF传感器模块201和识别模块202。

TOF传感器模块201设置于目标容器的物品出入口的上方，用于对物品出入口所在平面进行标定，包括：在物品出入口放置一块与物品出入口相适配的标定模板，通过TOF传感器模块采集标定模板的TOF图像；基于标定模板的TOF图像上的像素点的原始深度信息，标定TOF传感器模块的检测空间；像素点的原始深度信息为标定时该像素点与TOF传感器模块之间的距离。

TOF传感器模块还用于对通过上述标定过程确定的检测空间进行持续检测，并将检测结果传输至识别模块。

识别模块202用于基于TOF传感器模块的检测结果确定是否存在物品入侵，包括：若检测到像素点的深度信息发生变化，且深度信息发生变化的像素点的个数大于预设的阈值，则确定目标容器存在物品入侵。

需要说明的是，识别模块202判定的物品入侵可以是物品从目标容器的物品出入口进入目标容器，也可以是物品从目标容器的物品出入口离开目标容器。

具体来说，在标定过程中， TOF传感器模块采集标定模板的TOF图像，在TOF传感器模块捕获的TOF图像中，每个像素都可以视为一个点，这些像素点记录了从相机到场景中对应位置的距离信息，因此每个像素点都代表了场景中的一个特定位置及其对应的深度信息。识别模块202可以记录下标定模板在TOF图像中每个像素点的深度信息，这些像素点对应的深度信息为有效信息，这些像素点也被称为有效像素点，标定模板外的像素点的深度信息为无效信息，不做记录。

识别模块202在判断是否存在物品入侵时，可以获取TOF传感器模块在检测到的每一帧中每个有效像素点的深度信息，并与标定时存储的原始深度信息对比，当某个有效像素点最新检测到的深度信息dx<标定的深度信息d时，该有效像素点会被标记或者记录，当被标记的有效像素点的个数达到设定的阈值时，则识别模块202可以确定上述的目标容器存在物品入侵。

上述的物品入侵识别方法可以应用于不同业务场景，下面仅以智能购物车为例，来对上述的物品入侵识别方法在具体应用场景中的使用原理进行说明。请参考图3，图3示出了一种用于对智能购物车的车框进行商品入侵识别的方法的流程图，该流程包括：

S300：以智能购物车的物品出入口所在平面为标定面，对设置在物品出入口上方的TOF传感器模块进行标定。

具体来说，上述的标定过程可以包括：在智能购物车的商品出入口放置一块与商品出入口相适配的标定模板，通过TOF传感器模块采集标定模板的TOF图像；基于标定模板的TOF图像上的像素点的原始深度信息，标定TOF传感器模块的检测空间；像素点的原始深度信息为标定时该像素点与TOF传感器模块之间的距离；

S302：对智能购物车车框内的商品入侵情况进行识别。

通过TOF传感器模块对检测空间进行持续检测，若检测到像素点的深度信息发生变化，且深度信息发生变化的像素点的个数大于预设的阈值，则确定智能购物车存在商品入侵。

需要说明的是，上述的智能购物车存在商品入侵具体是指商品从智能购物车的物品出入口进入智能购物车的车框。

上述TOF传感器模块确定检测到的像素点的深度信息发生变化，具体包括：

TOF传感器模块在每一次检测时，针对拍摄的每一帧中的每一个像素点，获取该像素点与TOF传感器模块之间的距离信息，并将距离信息与该像素点的原始深度信息进行比对，若距离信息小于相应的原始深度信息，则确定该像素点的深度信息发生变化。

上述的商品入侵识别方法还可以应用于智能购物车的自动结算场景中，请参考图4，图4示出了一种智能购物车，该智能购物车包括：购物车智能终端1、车框4和重力传感器，其中，购物车智能终端1包括图像采集模块和TOF传感器3。

在一些可实现的实施方式中，图像采集模块可以通过RGB相机2实现，重力传感器可以通过电子秤5实现，下面结合具体实施方式对该智能购物车的工作原理进行阐述。

如图4所示，购物车智能终端1设置于智能购物车的车框4的上方，购物车智能终端1的RGB相机2和TOF传感器3均对准车框4的开口处。电子秤5设置在车框4的底部，用于对车框4内的物品进行称重。电子秤5与购物车智能终端1之间通信连接，电子秤5将称重结果通过与购物车智能终端1之间的通信链路发送给购物车智能终端1。

在使用之前，需要对购物车智能终端1的TOF传感器3的检测空间进行标定。标定的原理如图5所示。首先将车框4的开口所在平面作为标定平面，并确定标定平面中各个位置点的坐标。然后取一块与车框4的开口大小相适配的标定模板6，标定模板6中将标定模板6放置在车框4的开口处，通过TOF传感器3采集标定模板6的TOF图像，得到TOF图像中每个像素点的深度信息。最后将TOF图像中每个像素点的位置坐标和深度信息保存，以作为标定参考数据。基于上述过程，即可构建出TOF传感器3到标定平面之间的检测空间7。

在完成TOF传感器的标定之后，就可以开始进行商品入侵识别，其原理如图6所示，TOF传感器持续对检测空间7进行检测，并对检测到的每一帧图像中的像素点进行深度信息计算。当某商品进入检测空间7时，检测空间7当中必然存在某些像素点被遮挡，以A像素点为例，在未被遮挡时，A像素点的深度信息为标定时的原始深度信息d1，而当A像素点被遮挡时，A像素点的深度信息会变小，即TOF传感器检测到的A像素点的当前深度信息d1x<d1，基于此原理，只需要将TOF传感器检测到的每一帧图像中的像素点的深度信息与标定时对应位置点的原始深度信息进行比对，即可发现是否存在商品入侵（包括商品进入车框4和商品从车框4中取出）。为了避免误判，还可以设置一阈值，即当TOF传感器检测到的图像中存在某个像素点的深度信息发生变化，则记录或标定该像素点，若该图像中深度信息变化的像素点的数量大于等于预设的阈值，则确定车框4存在商品入侵。

基于上述的商品入侵识别，可以进行商品智能结算，其流程如图7所示：

TOF传感器3对检测空间7进行持续检测，当识别出智能购物车的车框4存在商品入侵时，发出第一触发信号。购物车智能终端1响应于第一触发信号，触发RGB相机2对车框4内的物品进行拍摄。

电子秤5持续对车框4内的物品重量进行检测，当检测到物品重量发生变化时，则表示有物品落入车框4，此时电子秤5发出第二触发信号；购物车智能终端1响应于第一触发信号，控制RGB相机2停止拍摄。这段时间拍摄出的视频才是购物车智能终端1需要处理的有效图像数据。

购物车智能终端1会将该数据进行本地抽帧运算或者将抽帧的图片通过网络上传云服务器以进行云计算，抽帧出来的是商品落入车框4中的过程的图像。可以通过AI识别技术识别出上述有效图像中的商品类别，根据商品的类别，可以在预先构建商品检索库（收录所有上架商品的详细数据，例如商品类别/名称、单价、重量等）中检索该商品的标准重量，再结合电子秤5在商品落入车框4之前的称重值以及商品落入车框4之后的称重值，即可确定商品的数量。基于识别出的所述商品的类别及数量，即可确定商品的金额，实现商品智能结算。

若识别出的商品类别对应的称重值与该商品的标准重量不匹配，则购物车智能终端1生成告警信息，提醒相关人员进行人工查看，确定是否存在夹带，或者是否为AI识别错误或商品检索库中该商品的相关数据出现错误。若确定是AI识别错误，则重新收集该商品的样本数据，来对AI识别模型进行优化训练。若确定是商品检索库中该商品的相关数据出现错误，则更新商品检索库中该商品的相关数据。

上述的智能购物车搭载TOF传感器以实现商品入侵检测的优势在于：

1、本方案可以根据购物车车框的形状标定或者标定任何想要的检测区域，区域外的行为不受影响。

2、同批次智能购物车只需做一次标定，参数共用，其它购物车无需再额外标定，提高智能购物车部署实施效率。

3、TOF传感器的检测工作是独立的，不影消耗智能终端的其它性能。

4、TOF传感器体积小、功耗低。

5、通过以上实施方案，有效减少95%的AI计算处理量，或者减小网络上传带宽压力，降低了智能终端的功耗。减小了设备的采购成本和商超的运营成本，延长设备使用寿命。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种物品入侵识别方法，其特征在于，包括：

以目标容器的物品出入口所在平面为标定面，对设置在所述物品出入口上方的TOF传感器模块进行标定，包括：在所述物品出入口放置一块与所述物品出入口相适配的标定模板，通过所述TOF传感器模块采集所述标定模板的TOF图像；基于所述标定模板的TOF图像上的像素点的原始深度信息，标定所述TOF传感器模块的检测空间；所述像素点的原始深度信息为标定时该像素点与所述TOF传感器模块之间的距离；

通过所述TOF传感器模块对所述检测空间进行持续检测，若检测到所述像素点的深度信息发生变化，且深度信息发生变化的所述像素点的个数大于预设的阈值，则确定所述目标容器存在物品入侵。

2.如权利要求1所述的方法，其特征在于，所述物品入侵是指物品从所述物品出入口进入所述目标容器。

3.如权利要求1所述的方法，其特征在于，所述TOF传感器模块确定检测到的所述像素点的深度信息发生变化，具体包括：

所述TOF传感器模块在每一次检测时，针对每一个所述像素点，获取所述像素点与所述TOF传感器模块之间的距离信息，并将所述距离信息与所述像素点的原始深度信息进行比对，若所述距离信息小于相应的原始深度信息，则确定所述像素点的深度信息发生变化。

4.一种物品入侵识别装置，其特征在于，包括：TOF传感器模块和识别模块；

所述TOF传感器模块设置于目标容器的物品出入口的上方，用于对所述物品出入口所在平面进行标定，包括：在所述物品出入口放置一块与所述物品出入口相适配的标定模板，通过所述TOF传感器模块采集所述标定模板的TOF图像；基于所述标定模板的TOF图像上的像素点的原始深度信息，标定所述TOF传感器模块的检测空间；所述像素点的原始深度信息为标定时该像素点与所述TOF传感器模块之间的距离；

所述TOF传感器模块还用于对所述检测空间进行持续检测，并将检测结果传输至所述识别模块；

所述识别模块用于基于所述TOF传感器模块的检测结果确定是否存在物品入侵，包括：若检测到所述像素点的深度信息发生变化，且深度信息发生变化的所述像素点的个数大于预设的阈值，则确定所述目标容器存在物品入侵。

5.一种商品入侵识别方法，适用于智能购物车，其特征在于，包括：

以智能购物车的物品出入口所在平面为标定面，对设置在所述物品出入口上方的TOF传感器模块进行标定，包括：在所述智能购物车的商品出入口放置一块与所述商品出入口相适配的标定模板，通过所述TOF传感器模块采集所述标定模板的TOF图像；基于所述标定模板的TOF图像上的像素点的原始深度信息，标定所述TOF传感器模块的检测空间；所述像素点的原始深度信息为标定时该像素点与所述TOF传感器模块之间的距离；

通过所述TOF传感器模块对所述检测空间进行持续检测，若检测到所述像素点的深度信息发生变化，且深度信息发生变化的所述像素点的个数大于预设的阈值，则确定所述智能购物车存在商品入侵。

6.如权利要求5所述的方法，其特征在于，所述商品入侵是指商品从所述物品出入口进入所述智能购物车的车框。

7.如权利要求5所述的方法，其特征在于，所述TOF传感器模块确定检测到的所述像素点的深度信息发生变化，具体包括：

所述TOF传感器模块在每一次检测时，针对每一个所述像素点，获取所述像素点与所述TOF传感器模块之间的距离信息，并将所述距离信息与所述像素点的原始深度信息进行比对，若所述距离信息小于相应的原始深度信息，则确定所述像素点的深度信息发生变化。

8.一种智能购物车，其特征在于，包括：

设置于智能购物车的商品出入口的上方的TOF传感器模块，用于根据权利要求5至7任一项所述的方法进行商品入侵识别，并在识别出所述智能购物车存在商品入侵时，发出第一触发信号；

设置于所述智能购物车车框底部的重力传感器模块，用于检测所述车框内商品的重量，并在所述车框内商品的重量发生变化时，发出第二触发信号；

图像采集模块，配置为响应于所述第一触发信号，采集所述智能购物车车框内的商品图像；以及，响应于所述第二触发信号，停止采集所述智能购物车车框内的商品图像；

结算模块，用于基于所述图像采集模块采集的商品图像，识别商品的类别；基于所述重力传感器模块检测出的所述车框内商品的重量变化值，与所述商品的类别，确定所述商品的数量；基于所述商品的类别及数量，确定所述商品的金额。