CN112541940A - 物品检测方法及系统 - Google Patents

Abstract

本申请公开了一种物品检测方法及系统。方法包括：检测针对物品取放柜进行物品取放操作的操作点；基于操作点的检测结果确定物品取放的进出属性及物品取放时刻；获取物品取放柜在物品取放时刻的图像；对图像进行物品的种类识别，基于种类识别结果及物品取放的进出属性得到初始物品信息，初始物品信息包括物品种类和数量；对操作点进行定位和图像映射，得到操作点在图像中的位置；基于操作点在图像中的位置对初始物品信息进行筛选，得到针对物品取放柜的物品取放信息。通过仅对物品取放时刻的图像进行物品的种类识别，有效减少图像识别的计算量；利用空间信息定位及图像映射，得到操作点在图像中的位置，据此筛选出的物品取放信息精度更高。

Description

物品检测方法及系统

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种物品检测方法及系统。

背景技术

随着人工智能的发展，无人物品取放柜逐渐被广泛应用。无人物品取放柜用于存放物品，可以从该无人物品取放柜中将物品取出，后续还可以由管理人员向该无人物品取放柜中补充物品。因此，如何实现物品检测，是一个比较关键的问题。

相关技术提供了一种无人货柜系统，其通过视频分析识别用户的物品取放动作及其取放的物品种类和数量，从而判断取放的物品种类和数量，达到物品检测的目的。

然而，该方法需要对视频进行处理，对系统计算能力有很高的要求，计算量大，导致检测效率较低。

发明内容

本申请实施例提供了一种物品检测方法及系统，可用于解决相关技术中的问题。所述技术方案如下：

一方面，本申请实施例提供了一种物品检测方法，所述方法包括：

检测针对物品取放柜进行物品取放操作的操作点；

基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻；

获取所述物品取放柜在所述物品取放时刻的图像；

对所述图像进行物品的种类识别，基于种类识别结果及所述物品取放的进出属性得到初始物品信息，所述初始物品信息包括物品种类和数量；

对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置；

基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选，得到针对所述物品取放柜的物品取放信息。

可选地，所述物品取放柜的出入口具有空间定位装置及图像采集装置；

所述检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻；

所述获取所述物品取放柜在所述物品取放时刻的图像，包括：基于所述图像采集装置采集所述物品取放柜在所述物品取放时刻的图像；

所述对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置，包括：基于所述操作点的位置信息确定所述操作点的三维空间坐标信息，基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置。

可选地，所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中之前，还包括：

获取所述图像采集装置的内参；

基于所述空间定位装置建立三维空间坐标系；

基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系。

可选地，所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系，包括：

基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标；

基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵，得到所述空间定位装置与所述图像采集装置之间的空间关系。

可选地，所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系，包括：

基于所述三维空间坐标系确定标记球在不同位置的世界坐标系坐标；

通过所述图像采集装置采集所述标记球在每个位置的标记球图像，在所述标记球图像中提取所述标记球的中心点，得到所述标记球的图像坐标系坐标；

基于所述标记球的世界坐标系坐标及图像坐标系坐标得到所述空间定位装置与所述图像采集装置之间的空间关系。

可选地，所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置，包括：

获取所述操作点的世界坐标系；

将所述操作点空间外延，得到空间立方体；

将所述空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影，得到所述空间立方体各个顶点在图像中的坐标，基于所述空间立方体各个顶点在图像中的坐标得到所述操作点在所述图像中的位置。

可选地，所述空间定位装置包括红外对射单元，所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：

获取所述红外对射单元发射的红外信号；

基于所述红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。

可选地，所述空间定位装置包括深度相机；所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：

基于所述深度相机获取所述物品取放柜的出入口所在平面的深度值信息；

分析所述物品取放柜的出入口所在平面的深度值信息，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。

还提供了一种物品检测系统，所述物品检测系统包括：

空间定位装置，用于检测针对物品取放柜进行物品取放操作的操作点；

处理单元，用于基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻；

图像采集装置，用于获取所述物品取放柜在所述物品取放时刻的图像；

所述处理单元，还用于对所述图像进行物品的种类识别，基于种类识别结果及所述物品取放的进出属性得到初始物品信息，所述初始物品信息包括物品种类和数量；对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置；基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选，得到针对所述物品取放柜的物品取放信息。

可选地，所述物品取放柜的出入口具有空间定位装置及图像采集装置；

所述空间定位装置，用于检测针对物品取放柜进行物品取放操作的操作点；

所述处理单元，用于基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻；

所述图像采集装置，用于基于采集所述物品取放柜在所述物品取放时刻的图像；

所述处理单元，还用于基于所述操作点的位置信息确定所述操作点的三维空间坐标信息，基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置。

可选地，所述装置还包括：标定单元，用于获取所述图像采集装置的内参；基于所述空间定位装置建立三维空间坐标系；基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系。

可选地，所述标定单元，用于基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标；基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵，得到所述空间定位装置与所述图像采集装置之间的空间关系。

可选地，所述标定单元，用于基于所述三维空间坐标系确定标记球在不同位置的世界坐标系坐标；通过所述图像采集装置采集所述标记球在每个位置的标记球图像，在所述标记球图像中提取所述标记球的中心点，得到所述标记球的图像坐标系坐标；基于所述标记球的世界坐标系坐标及图像坐标系坐标得到所述空间定位装置与所述图像采集装置之间的空间关系。

可选地，所述处理单元，用于获取所述操作点的世界坐标系；将所述操作点空间外延，得到空间立方体；将所述空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影，得到所述空间立方体各个顶点在图像中的坐标，基于所述空间立方体各个顶点在图像中的坐标得到所述操作点在所述图像中的位置。

可选地，所述空间定位装置包括红外对射单元，所述处理单元，用于获取所述红外对射单元发射的红外信号；基于所述红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。

可选地，所述空间定位装置包括深度相机；所述处理单元，用于基于所述深度相机获取所述物品取放柜的出入口所在平面的深度值信息；分析所述物品取放柜的出入口所在平面的深度值信息，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。

还提供了一种物品检测系统，所述物品检测系统包括：空间定位装置、处理单元和图像采集装置；

所述空间定位装置及所述图像采集装置分别设置于物品取放柜的出入口，且所述空间定位装置及所述图像采集装置均与所述处理单元进行通信；

其中，所述图像采集装置为一个，一个图像采集装置的监测区域覆盖所述物品取放柜的整个出入口；或者，所述图像采集装置为多个，多个图像采集装置安装在所述物品取放柜的不同位置，且每个图像采集装置的监测区域覆盖所述物品取放柜的出入口的一部分，所述多个图像采集装置的监测区域覆盖所述物品取放柜的整个出入口。

还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令在被所述处理器执行时实现如上任一所述的物品检测方法。

还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令在被执行时实现如上任一所述的物品检测方法。

本申请实施例提供的技术方案至少带来如下有益效果：

检测针对物品取放柜进行物品取放操作的操作点，确定物品取放的进出属性及物品取放时刻，获取物品取放柜在该物品取放时刻的图像，仅对物品取放时刻的图像进行物品的种类识别，从而能够有效减少图像识别的计算量；另外，利用空间信息进行定位及图像映射，得到操作点在图像中的位置后，据此对初始物品信息进行筛选，从而使得获取的物品取放信息更为准确，提高了物品检测的精确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的物品检测系统的实施环境示意图；

图2是本申请实施例提供的物品检测方法流程图；

图3是本申请实施例提供的红外网格示意图；

图4是本申请实施例提供的物品取放柜的出入口平面俯视的深度示意图；

图5是本申请实施例提供的相机在世界坐标系中RT的标定流程图；

图6是本申请实施例提供的世界坐标系示意图；

图7是本申请实施例提供的世界坐标系坐标的标定示意图；

图8是本申请实施例提供的确定操作点在图像中的位置的方法流程图；

图9是本申请实施例提供的操作点在世界坐标系和投影至像素坐标系的示意图；

图10是本申请实施例提供的物品检测过程示意图；

图11是本申请实施例提供的物品检测系统的示意图；

图12是本申请实施例提供的物品检测设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种物品检测方法，该方法针对物品取放柜进行物品检测，在对本申请实施例提供的方法进行说明之前，先对该方法的实施环境进行介绍。如图1所示，该物品检测的实施环境为一种物品检测系统，该物品检测系统包括：处理单元、空间定位装置和图像采集装置。其中，空间定位装置用于对物品取放柜的物品取放操作进行空间定位，图像采集装置用于采集物品取放柜在物品取放时刻的图像；空间定位装置提供空间信息，该空间信息可用于产生触发信号、确定物品取放的进出属性、提供操作点的空间位置；处理单元对空间定位装置提供的空间信息进行处理分析后，确定是否检测到操作点，即是否触发物品取放操作。如果检测到操作点，则触发图像采集装置采集物品取放时刻的图像，然后由处理单元进行图像中物品的识别、对操作点进行从三维空间到二维图像的映射等，从而实现利用空间信息进行图像获取、物品定位，从而检测得到物品取放信息。其中，处理单元可以是处理器，处理器可以布局在终端或服务器中，本申请实施例不对处理单元的产品形态进行限定。

在实施本申请实施例提供的方法之前，先来布局实施环境中的图像采集装置及空间定位装置。例如，在物品取放柜的出入口安装一个或多个图像采集装置。图像采集装置用于采集物品取放柜的出入口的图像，如果有多个图像采集装置，多个图像采集装置分别安装在物品取放柜的出入口的不同位置，从而减少因物品之间相互遮挡而导致物品未被所有图像采集装置采集到的情况。

可选地，该图像采集装置包括相机，如果有一个图像采集装置，即在物品取放柜的出入口设置一个相机，则该一个相机的监测区域覆盖物品取放柜的整个出入口。因此，通过一个相机可拍摄物品取放柜的整个出入口的图像，从而避免因漏检测某个物品而导致取放检测不准确。也就是说，通过相机的视角能够覆盖整个出入口，从而保证任意位置的取放操作都能够被采集到的图像呈现出来，进而避免漏检测。

可选地，还可以布局多个图像采集装置，即在物品取放柜的出入口设置多个相机，通过多个相机防止由于一次取拿多个物品时，物品之间相互遮挡或者物品被手遮挡，导致单个相机不能拍摄到全部物品，从而漏掉某件物品。多个相机可以从不同角度拍摄操作点，从而防止漏掉物品。要求每个摄像头覆盖的是整个货柜出入口，而不是只覆盖一部分。

如果物品取放柜的出入口区域较大，单个相机的监测区域难以覆盖整个出入口区域，则每个相机的监测区域覆盖物品取放柜的出入口的一部分，多个相机的监测区域覆盖物品取放柜的整个出入口，且每个相机的监测区域不重叠。例如，根据物品取放柜的出入口的大小和相机的视角范围，确定相机的数量，保证检测用到的相机的监测区域之和能够覆盖物品取放柜的整个出入口。

需要说明的是，若物品取放柜的出入口设置多个相机，则每个相机均将采集到的当前图像传输至处理单元。此外，每个相机采集图像需要保持同步，使得处理单元获取到的当前图像是同一时刻的图像，从而使得当前图像能够反应物品取放柜的出入口在同一时刻的情况，以提高检测结果的准确性。

此外，本申请实施例仅以将图像采集装置与物品取放柜相连为例进行说明，该图像采集装置可以设置在物品取放柜的出入口一定范围内，从而保证能够采集出入口的图像。可选地，该图像采集装置也可以与物品取放柜分离设置。例如，图像采集装置设置在物品取放柜对面，正对该物品取放柜的出入口，能够采集该出入口的图像即可。本申请实施例不对图像采集装置的具体设置数量及位置进行限定。

在本申请实施例中，除了设置图像采集装置，还需要设置空间定位装置，该空间定位装置包括但不限于红外对射单元或深度相机，通过红外对射单元或者深度相机提供的数据，控制图像采集装置进行图像抓取操作。在应用本申请实施例提供的方法时，空间定位装置选择红外对射单元或深度相机中的一种即可。

以空间定位装置包括红外对射单元为例，红外对射单元包括：红外发射端和红外接收端。红外发射端发射红外线，红外接收端接收红外线，当中间有物体遮挡时，对应位置的红外接收端无法接收红外线，输出被遮挡点坐标。可选地，红外发射端和红外接收端可分别位于物品取放柜的出入口两侧，如两组(一组为多个红外对射装置对，以一定间隔并排排列)红外对射装置垂直在同一平面内排布，即为二维红外对射单元。红外发射端每隔一定时间间隔发射一条红外光线，同时红外接收端按照同样的间隔接收红外信号，从而形成覆盖出入口的红外对射光幕。例如，可在物品取放柜的上、下、左、右分别布局红外对射单元，以形成红外网格，从而对物品取放操作的操作点进行进出判断及定位。

考虑到物品取放柜有可能会设置于室外，在室外阳光照射的情况下，为了避免阳光中的红外线部分可能会干扰红外接收端的信号，因此，作为一种可选方式，可以将红外发射端设置于物品取放柜的出入口下侧(下沿)，将红外接收端设置于物品取放柜的出入口上侧(上沿)。此外，如图1所示，除了采用上下两侧设置红外接收端和发射端之外，还将在物品取放柜的左侧设置红外接收端，在物品取放柜的右侧设置红外发射端。由此在物品取放柜的出入口所在平面形成一个红外线网格。

作为一种可选实施例，该网格的最小分辨率为该物品取放柜中存放的最小物品和取放对象之中较小者的尺寸。例如，取放对象为用户的手时，当物品取放柜中存放的最小物品或者手通过该平面时，能同时遮挡水平和垂直红外对射单元中的至少各一对光线。由此可定位哪个位置的光线被遮挡，从而确定操作点。

也就是说，当有物体进入物品取放柜取放物品时，遮挡进入位置处的红外光线，使接收端对应位置无法接收到红外光线，产生红外截断信号，当检测到红外截断区域的数量有变化时，可以确定物品取放柜处于物品取放状态。例如，有一只手开始进入物品取放柜内，则产生了红外截断区域，红外截断区域的数量是从0到1的，数量发生了变化，表明物品取放柜内出现操作点。当物品取放柜再进去一只手，另一位置也出现一个红外截断区域，则红外截断区域的数量由1个变为2个，则该种情况下红外截断区域的数量也发生变化，表明物品取放柜内操作点增加。因此，基于红外截断区域的数量变化可确定物品取放柜处于物品取放状态(物品取放状态包括：操作点进入、增加、减少、消失)。基于红外光线的截断时刻与截断区域便能够获得物体进入物品取放柜的时刻与位置，基于红外光线截断区域数量的变化，可以判断物品的进出属性。

除了采用红外对射单元实现空间定位的功能外，该空间定位装置还可以采用深度相机来实现。深度相机是通过不同技术原理获得空间深度信息的装置，通过空间深度信息同样能够实现对物品取放操作的操作点进行定位。如图1所示，该深度相机可设置于物品取放柜的出入口上侧。

接下来，结合图1所示的实施环境，对本申请实施例提供的物品检测方法进行说明，该方法可应用于上述物品检测的实施环境的处理单元中。如图2所示，该方法包括如下几个步骤。

步骤201，检测针对物品取放柜进行物品取放操作的操作点。

可选地，物品取放柜的出入口具有空间定位装置及图像采集装置；检测针对物品取放柜进行物品取放操作的操作点，包括：基于空间定位装置检测针对物品取放柜进行物品取放操作的操作点。又由于空间定位装置包括但不限于红外对射单元或深度相机，因此，基于空间定位装置检测针对物品取放柜进行物品取放操作的操作点包括但不限于如下两种检测方式：

检测方式一：空间定位装置包括红外对射单元；基于空间定位装置检测针对物品取放柜进行物品取放操作的操作点，包括：获取红外对射单元发射的红外信号；基于红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点。

示例性地，处理单元判断当前时刻红外对射单元是否有红外光线被遮挡，在该物品取放柜的出入口平面中，所有相邻联通的遮挡点被定义为一个操作点。当红外发射端与红外接收端之间有物体阻挡时，红外接收端相应位置无法接收红外线，可输出相应遮挡信号和具体遮挡哪一对红外光。如该物品取放柜的出入口平面内有多个非联通的区域，则表明有多个操作点。如图3中，在物品取放柜的上下两侧设置的红外发射端可发射10条红外光线，在物品取放柜的左右两侧设置的红外发射端可发射12条红外光线。黑点表示红外对射装置中红外接收端接收到的被遮挡的红外光线点的位置，白点表示基于被遮挡的红外光线点的位置确定的物品取放柜的出入口平面中操作点的位置。

检测方式二：空间定位装置包括深度相机；基于空间定位装置检测针对物品取放柜进行物品取放操作的操作点，包括：基于深度相机获取物品取放柜的出入口所在平面的深度值信息；基于物品取放柜的出入口所在平面的深度值信息确定物品取放柜进行物品取放操作的操作点。

示例性地，通过深度相机获得物品取放柜的出入口所在平面前后多个平面的深度值信息。通过跨线检测的方式，在物品取放柜的门框底部划出虚拟线，将物品取放柜的门框平面内深度值小于该虚拟线的联通区域定义为一个操作点。如图4所示，黑色部分表示该位置存在物体，且深度值小于物品取放柜的门框底部的深度值。例如，图4中的情况定义为两个操作点。此外，基于深度相机可以根据深度值信息获得各个操作点在世界坐标系下的坐标值。

步骤202，基于操作点的检测结果确定物品取放的进出属性及物品取放时刻。

检测到针对物品取放柜进行物品取放操作的操作点后，分析操作点的检测结果，基于分析结果获取操作点的进出属性、位置信息及物品取放时刻。

针对上述检测方式一中空间定位装置包括红外对射单元的情况，基于操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：分析操作点的检测结果，基于分析结果获取操作点的进出属性、位置信息及物品取放时刻。

针对上述检测方式二中空间定位装置包括深度相机的情况，基于操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：分析物品取放柜的出入口所在平面的深度值信息，基于分析结果获取操作点的进出属性、位置信息及物品取放时刻。

无论是上述哪种情况，结合对前后帧图像检测的遮挡情况，比较该时刻相较于前一时刻，操作点个数是增加还是减少，来判断是否有物体进入或者离开物品取放柜。具体的判断方式如下：

设当前时刻操作点个数为Nc，前一时刻操作点个数为Np，当Nc>Np，且Np＝0，则该时刻有物体进入物品取放柜。当Nc>Np，且Np≠0，则表示物品取放柜中已有操作点，此刻另一个操作点进入物品取放柜。当Nc<Np，且Nc＝0，则该时刻有物体离开物品取放柜。当Nc<Np，且Nc≠0，则该时刻有物体离开物品取放柜，且物品取放柜内仍有操作点。只要在某一时刻有操作点进/出物品取放柜，都将该信号提供给处理单元，确定物品取放时刻。此外，将该信号同时提供给图像采集装置，触发图像采集装置进行抓图操作，即采集物品取放柜在物品取放时刻的图像。

步骤203，获取物品取放柜在物品取放时刻的图像。

获取物品取放柜在物品取放时刻的图像，包括：基于图像采集装置采集物品取放柜在物品取放时刻的图像。

需要说明的是，如果物品取放柜的出入口设置有多个图像采集装置，则确定物品取放时刻之后，触发多个图像采集装置采集物品取放柜在物品取放时刻的图像。

步骤204，对图像进行物品的种类识别，基于种类识别结果及物品取放的进出属性得到初始物品信息，初始物品信息包括物品种类和数量。

该步骤中，可以采用图像识别技术，对图像中的物品进行识别，识别出图像中包含哪些种类的物品，且识别出图像中包含的每种物品的数量。

由于物品取放操作的次数可能会有多次，因而可基于每次物品取放操作的图像中的物品进行识别，将每次识别的物品的数量进行叠加，得到物品种类和数量。将基于图像识别得到的物品种类和数量，作为初始物品信息。

又由于图像中除了物品取放操作涉及的物品，还可能包括除物品取放区域之外的其他区域的物品，因此，在得到初始物品信息之后，还可以进一步进行筛选，以剔除非取放操作的物品，提高确定的物品取放信息的准确性，对初始物品信息进行筛选的过程可参见下面的后续步骤。

步骤205，对操作点进行定位和图像映射，得到操作点在图像中的位置。

示例性地，对操作点进行定位和图像映射，得到操作点在图像中的位置，包括：基于空间定位装置确定操作点的三维空间坐标信息，基于空间定位装置与图像采集装置之间的空间关系将操作点的三维空间坐标信息转换投影到图像中，得到操作点在图像中的位置。

可选地，基于空间定位装置与图像采集装置之间的空间关系将操作点的三维空间坐标信息转换投影到图像中之前，还包括如下建立空间定位装置与图像采集装置之间的空间关系的过程，示例性地，如图5所示，包括如下几个步骤：

步骤501：获取图像采集装置的内参；

每个相机的内参可以通过相机内参标定方法获得，例如用张正友标定法，标定过程如下：

11、打印一张棋盘格，将该棋盘格贴在一个平面上，作为标定物。

12、通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。

13、从照片中提取棋盘格角点。

14、估算无畸变的情况下，相机系统的五个内参和六个外参。

15、估算实际存在径向畸变下的畸变系数。

16、极大似然法，优化估计，提升估计精度。

其中在拍摄多张棋盘格照片后，后面的内外参及畸变系数求取，均可以用现有的多种软件工具简单操作获得，如Matlab工具箱中的Camera Calibration应用程序，如openCV中也有相应的标定工具。按操作输入相应图片，可以自动求取相机的内参及畸变系数。

步骤502：基于空间定位装置建立三维空间坐标系；

如以二维红外对射单元左上角作为世界坐标系的原点，建立世界坐标系，以竖直红外对射单元作为世界坐标系的X轴，方向竖直向下，以水平红外对射单元作为世界坐标系的Y轴，方向水平向右，则Z轴为垂直物品取放柜的出入口平面向里，如图6所示。

以水平红外对射单元中有10对对射光线，竖直红外对射单元有12对对射光线为例，各接收点均匀间距排列。通过测量各个接收点与原点的距离，可以获得各个接收点在世界坐标系下的坐标。当该平面中存在物体对红外对射单元发射的红外信号进行遮挡时，通过分析被遮挡的XY光点的坐标，即可获得物体在世界坐标系中的坐标。

步骤503：基于图像采集装置的内参及三维空间坐标系标定空间定位装置与图像采集装置之间的空间关系。

以图像采集装置为相机，建立相机坐标系与世界坐标系之间的联系为例，获取相机在世界坐标系下的旋转矩阵R和平移矩阵T。下面分别介绍使用棋盘格和使用标记球的两种标定方式。

标定方式1、用棋盘格标定相机在世界坐标系中的RT

可选地，基于图像采集装置的内参及三维空间坐标系标定空间定位装置与图像采集装置之间的空间关系，包括：基于三维空间坐标系标定棋盘格各角点的世界坐标系坐标；基于棋盘格标定图像采集装置在世界坐标系的旋转和平移矩阵，得到空间定位装置与图像采集装置之间的空间关系。示例性地，包括但不限于如下几个子步骤：

子步骤1.1标定棋盘格各角点的世界坐标系坐标。

将棋盘格水平放置，与物品取放柜的门框平面垂直，使其中一行角点正好在物品取放柜的门框平面内(通过对红外光点的遮挡，或者目测都可以)，多个角点均可被各个相机拍摄到。棋盘格的放置方式如图7所示，棋盘格水平放置后，由于棋盘格有一定厚度，挡住了竖直光幕的第x号红外接收端，则该棋盘格中每个角点的世界坐标系X坐标值均为x。同时，棋盘格第二行角点与红外对射单元在同一平面内，则第二行所有角点的世界坐标系Z坐标为0。设棋盘格每个方格边长为a，则棋盘格中每个角点的坐标均可计算得到。例如图7中的角点P，其空间坐标为(x，4a，-2a)。

子步骤1.2通过棋盘标定各相机在世界坐标系的RT。

棋盘格与相机之间的RT标定，即为一般的相机外参标定。因为通过上述步骤501已知各相机的内参，仅需拍摄一张已知空间坐标的棋盘格图像，通过各个角点的空间坐标即可计算得每个相机的外参，即旋转矩阵R和平移矩阵T。由于棋盘格角点是在世界空间坐标系下的坐标值，相应的相机的RT即为相对于世界坐标系的RT。相应的转换公式为Xc＝RXw+T，其中，Xc为各角点的相机坐标系坐标，为已知值，Xw为各角点在世界坐标系的坐标值，也为已知值，通过多个角点联立上述等式，即可求得R和T。

标定方式2、用标记球标定相机在世界坐标系中的RT

可选地，基于图像采集装置的内参及三维空间坐标系标定空间定位装置与图像采集装置之间的空间关系，包括：基于三维空间坐标系确定标记球在不同位置的世界坐标系坐标；通过图像采集装置采集标记球在每个位置的标记球图像，在标记球图像中提取标记球的中心点，得到标记球的图像坐标系坐标；基于标记球的世界坐标系坐标及图像坐标系坐标得到空间定位装置与图像采集装置之间的空间关系。示例性地，包括但不限于如下几个子步骤：

子步骤2.1确定标记球的世界坐标系坐标。

首先，选取一个大小适中的标记球，如选取一个恰好能遮挡一束红外对射光束的发光小球或是可见光高反小球，使得在相机采集的图像中相较于其他背景具有较明显的对比度。其次，使该标记球在物品取放柜的门框面内运动，随机选取一些空间位置，使得标记球刚好能同时挡住水平和竖直红外对射单元的一对光束，且尽量使标记球的中心对准两束光。然后，通过读取水平和竖直光束的被遮挡点的坐标，可以获得该标记球在空间坐标系中的坐标值，同时进行相机图像采集。

子步骤2.2在相机图像中提取标记球中心点，获得标记球在二维图像中的坐标。

在标记球每一次遮挡水平和竖直红外对射单元发射的红外光线的同时，利用相机拍摄上述操作中的图像，在获取的图像中，可以明显看到标记球。利用普通的圆提取算法，获得该圆的中心点坐标。因此，即可得到同一个标记球同一时刻在世界坐标系和图像坐标系中的坐标。

子步骤2.3多次重复上述子步骤2.1和子步骤2.2，获取标记球在至少三个位置下的世界坐标系坐标和图像坐标系坐标。三组位置值即可通过求解方程获得相机与世界坐标系间的RT。为了获得更精确的优化结果，也可以输入更多组的标记球位置坐标，本申请实施例不对获取的标记球所在不同位置的数量加以限定。

可选地，在上述建立空间定位装置与图像采集装置之间的空间关系基础上，基于空间定位装置与图像采集装置之间的空间关系将操作点的三维空间坐标信息转换投影到图像中，得到操作点在图像中的位置，包括：获取操作点的世界坐标系；将操作点空间外延，得到空间立方体；将空间立方体顶点坐标依次按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影，得到空间立方体各个顶点在图像中的坐标，基于空间立方体各个顶点在图像中的坐标得到操作点在图像中的位置。示例性地，投影过程参见图8，步骤如下：

步骤801、获取操作点在世界坐标系中的坐标，基于操作点在世界坐标系中的坐标确定因物品取放操作而被遮挡的区域。

获取二维红外对射单元发射的红外信号中，当前操作点所遮挡的光点的坐标，对于X轴红外对射单元，遮挡点的对应坐标分别为A(Xa,0,0)->C(Xa+n,0,0)，对于Y轴红外对射单元，遮挡点的对应坐标分别为A(0,Ya,0)->B(0,Ya+m,0)。也即世界坐标系中，A(Xa,Ya,0)，B(Xa,Ya+m,0)，C(Xa+n,Ya,0)，D(Xa+n,Ya+m,0)四点所包围的区域为因物品取放操作而被遮挡的区域，如图9所示。

步骤802、将操作点空间外延，获得一个在世界坐标系中的空间立方体。

例如，将该区域沿着Z轴的反方向进行扩展，以垂直于物品取放柜因物品取放操作而被遮挡的区域向外，扩展长度参考一般物品的长度和一般拿取物品的速度来确定。

步骤803、将空间立方体中各个顶点按照世界坐标系、相机坐标系、图像坐标系、像素坐标系的方式进行投影，获取该空间立方体各个顶点在对应相机图像上的坐标，得到操作点在图像中的位置。

如图9中的右图，一般投影可连接成一个最大多边形。该多边形区域即为本次操作关联区域，仅在该区域内或者与该区域具有一定程度重叠的物品，才为本次取放的物品。

示例性地，上述从世界坐标系投影至图像的过程为：以世界坐标系中的点A(Xa,Ya,0)为例。首先利用下式将点A从世界坐标系下的坐标Xw转换至相机坐标系下坐标Xc：

Xc＝RXw+T；

其中，Xc(x,y,1)为点A在相机坐标系中的坐标值，R为相机相对于世界坐标系的旋转矩阵，T为相机相对于世界坐标系的平移矩阵，R和T均在上述相机标定过程中已经求得。再按下式将Xc(x,y,1)从相机坐标系转至图像坐标系(u,v,1)：

之后，将点A从图像坐标系转换至像素坐标系，转换公式如下：

由此即可获得世界坐标系中任意空间点在图像中的像素位置坐标(x，y)。通过空间立方体各个顶点在图像中的坐标即可得到操作点在图像中的位置。

因此，对于该物品取放系统，可以提前标定好参数并存储。示例性地，存储的数据包括以空间定位装置建立的世界坐标系下，图像采集装置的旋转矩阵R，平移矩阵T，以及该图像采集装置的内部矩阵参数，包括相机焦距f，像素长dx，像素宽dy，以及图像采集装置的主点坐标(u₀，v₀)。

步骤206，基于操作点在图像中的位置对初始物品信息进行筛选，得到针对物品取放柜的物品取放信息。

在对图像识别得到初始物品信息，以及通过上述步骤205确定本次物品取放操作的操作点在图像中的位置的基础上，通过操作点在图像中的位置对初始物品信息进行筛选，以进一步确认本次物品取放操作所取放的物品，从而排除因为用户手持或者放在物品取放柜外，但被相机图像拍到的非本次取拿操作的物品。通过筛选，可以大大提高图像识别分析出的物品种类和数量的准确性。

需要说明的是，当一次物品取放操作中有多个图像采集装置进行采集时，每个图像采集装置采集的图像经过筛选后都会有相应的物品种类和数量结果，此时，可以选择所有图像采集装置采集的图像结果的并集作为本次触发操作的结果。例如1号相机检测结果为A商品a件，B商品b件，C商品c件，2号相机检测结果为A商品a+1件，B商品b件，则最终结果为取两者种类和数量较大的那个结果，即A商品a+1件，B商品b件，C商品c件。

此外，需要说明的是，如果针对物品取放柜的柜门打开的一次时间范围内有多次物品取放操作，则可以按照上述物品检测的方式，对每次物品取放操作取放的物品进行检测，从而将一次开关门期间检测到的所有的取放物品的物品信息进行合并，即可得到本次购买行为用户取拿的所有物品。将结果输出给中央控制系统，完成后续的订单显示、支持等功能。

上述物品检测的整体流程可参见图10，通过空间定位装置采集数据，基于空间定位装置采集的数据确定操作点个数。如果操作点个数有变化，即有针对物品取放柜的进出操作。之后，根据操作点个数来确定物体进出属性，确定物品取放时刻，触发图像采集装置采集图像，对图像中的物品进行识别，基于识别结果及进出属性得到初始物品信息。此外，还将确定操作点的空间坐标，基于空间定位装置与相机标定的空间关系来将操作点的三维空间坐标映射投影到二维图像，得到操作点在二维图像中的位置。然后基于操作点在二维图像中的位置来对初始物品信息进行筛选，得到最终的物品取放信息。

通过上述过程不难看出，本申请实施例提供的方法基于空间定位装置，利用空间映射来提高纯图像方法进行物品种类和数量识别的准确性，去除非本次取拿操作的物品，从而提高物品检测准确性。示例性地，为进一步提高物品检测的准确性，还可结合如重量变化等其他信息，进行图像识别结果的复核或者计算。例如，基于上述过程得到针对物品取放柜的物品取放信息，即得到了取放的物品种类和数量。如果物品取放柜上还设置有重量采集单元，通过重量采集单元采集该物品取放柜在取放操作前后的重量变化值来确定取放操作所取放的物品重量。然后基于检测得到的物品种类和数量确定检测出的物品重量。如果基于重量采集单元确定的物品重量与基于上述检测方法所检测得到的物品重量之间的误差在参考范围内，则该检测结果准确。如果基于重量采集单元确定的物品重量与基于上述检测方法所检测得到的物品重量之间的误差超过参考范围，则可以采用其他方式进一步进行校正，以使得检测结果更为准确。例如，在确定误差超过参考范围的情况下，发出报警，以提示进行人工校验。

综上所述，本申请实施例提供的方法，检测针对物品取放柜进行物品取放操作的操作点，基于操作点确定物品取放时刻后，获取物品取放柜在该物品取放时刻的图像，仅对物品取放时刻的图像进行物品的种类识别，确定进出属性，从而能够有效减少图像识别的计算量；另外，利用空间信息进行定位及图像映射，得到操作点在图像中的位置后，据此对初始物品信息进行筛选，从而使得获取的物品取放信息更为准确，提高了物品检测的精确度。

本申请实施例提供了一种物品检测系统，参见图11，该物品检测系统包括：

空间定位装置111，用于检测针对物品取放柜进行物品取放操作的操作点；

处理单元112，用于基于操作点的检测结果确定物品取放的进出属性及物品取放时刻；

图像采集装置113，用于获取物品取放柜在物品取放时刻的图像；

处理单元112，还用于对图像进行物品的种类识别，基于种类识别结果及物品取放的进出属性得到初始物品信息，初始物品信息包括物品种类和数量；对操作点进行定位和图像映射，得到操作点在图像中的位置；基于操作点在图像中的位置对初始物品信息进行筛选，得到针对物品取放柜的物品取放信息。

可选地，物品取放柜的出入口具有空间定位装置及图像采集装置；

空间定位装置111，用于检测针对物品取放柜进行物品取放操作的操作点；

处理单元112，用于基于空间定位装置111检测针对物品取放柜进行物品取放操作的操作点，分析操作点的检测结果，基于分析结果获取操作点的进出属性、位置信息及物品取放时刻；

图像采集装置113，用于采集物品取放柜在物品取放时刻的图像；

处理单元112，还用于基于操作点的位置信息确定操作点的三维空间坐标信息，基于空间定位装置与图像采集装置之间的空间关系将操作点的三维空间坐标信息转换投影到图像中，得到操作点在图像中的位置。

可选地，该装置还包括：标定单元，用于获取图像采集装置的内参；基于空间定位装置建立三维空间坐标系；基于图像采集装置的内参及三维空间坐标系标定空间定位装置与图像采集装置之间的空间关系。

可选地，标定单元，用于基于三维空间坐标系标定棋盘格各角点的世界坐标系坐标；基于棋盘格标定图像采集装置在世界坐标系的旋转和平移矩阵，得到空间定位装置与图像采集装置之间的空间关系。

可选地，标定单元，用于基于三维空间坐标系确定标记球在不同位置的世界坐标系坐标；通过图像采集装置采集标记球在每个位置的标记球图像，在标记球图像中提取标记球的中心点，得到标记球的图像坐标系坐标；基于标记球的世界坐标系坐标及图像坐标系坐标得到空间定位装置与图像采集装置之间的空间关系。

可选地，处理单元112，用于获取操作点的世界坐标系；将操作点空间外延，得到空间立方体；将空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影，得到空间立方体各个顶点在图像中的坐标，基于空间立方体各个顶点在图像中的坐标得到操作点在图像中的位置。

可选地，空间定位装置包括红外对射单元，处理单元112，用于获取红外对射单元发射的红外信号；基于红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点，分析操作点的检测结果，基于分析结果获取操作点的进出属性、位置信息及物品取放时刻。

可选地，空间定位装置包括深度相机；处理单元112，用于基于深度相机获取物品取放柜的出入口所在平面的深度值信息；分析物品取放柜的出入口所在平面的深度值信息，基于分析结果获取操作点的进出属性、位置信息及物品取放时刻。

需要说明的是，上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例中实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令。所述至少一条指令经配置以由一个或者一个以上处理器执行，以实现上述任一种物品检测方法。

图12是本申请实施例提供的一种物品检测设备的结构示意图。该设备可以为终端，例如可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端包括有：处理器1201和存储器1202。

处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的物品检测方法。

在一些实施例中，终端还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、触摸显示屏1205、摄像头1206、音频电路1207、定位组件1208和电源1209中的至少一种。

外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置终端的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端的不同表面或呈折叠设计；在再一些实施例中，显示屏1205可以是柔性显示屏，设置在终端的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。

定位组件1208用于定位终端的当前地理位置，以实现导航或LBS(Location BasedService，基于位置的服务)。定位组件1208可以是基于美国的GPS(Global PositioningSystem，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源1209用于为终端中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于：加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。

加速度传感器1211可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号，控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1212可以检测终端的机体方向及转动角度，陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端的3D动作。处理器1201根据陀螺仪传感器1212采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1213可以设置在终端的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端的侧边框时，可以检测用户对终端的握持信号，由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时，由处理器1201根据用户对触摸显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1214用于采集用户的指纹，由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份，或者，由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1201授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时，指纹传感器1214可以与物理按键或厂商Logo集成在一起。

光学传感器1215用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1215采集的环境光强度，控制触摸显示屏1205的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1205的显示亮度；当环境光强度较低时，调低触摸显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1217采集的环境光强度，动态调整摄像头组件1206的拍摄参数。

接近传感器1216，也称距离传感器，通常设置在终端的前面板。接近传感器1216用于采集用户与终端的正面之间的距离。在一个实施例中，当接近传感器1216检测到用户与终端的正面之间的距离逐渐变小时，由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态；当接近传感器1216检测到用户与终端的正面之间的距离逐渐变大时，由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图12中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令在被计算机设备的处理器执行时实现上述任一种物品检测方法。

在本申请的可能实施方式中，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种物品检测方法，其特征在于，所述方法包括：

检测针对物品取放柜进行物品取放操作的操作点；

基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻；

获取所述物品取放柜在所述物品取放时刻的图像；

对所述图像进行物品的种类识别，基于种类识别结果及所述物品取放的进出属性得到初始物品信息，所述初始物品信息包括物品种类和数量；

对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置；

基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选，得到针对所述物品取放柜的物品取放信息。

2.根据权利要求1所述的方法，其特征在于，所述物品取放柜的出入口具有空间定位装置及图像采集装置；

所述检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻；

所述获取所述物品取放柜在所述物品取放时刻的图像，包括：基于所述图像采集装置采集所述物品取放柜在所述物品取放时刻的图像；

所述对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置，包括：基于所述操作点的位置信息确定所述操作点的三维空间坐标信息，基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置。

3.根据权利要求2所述的方法，其特征在于，所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中之前，还包括：

获取所述图像采集装置的内参；

基于所述空间定位装置建立三维空间坐标系；

基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系。

4.根据权利要求3所述的方法，其特征在于，所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系，包括：

基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标；

基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵，得到所述空间定位装置与所述图像采集装置之间的空间关系。

5.根据权利要求3所述的方法，其特征在于，所述基于所述图像采集装置的内参及所述三维空间坐标系标定所述空间定位装置与所述图像采集装置之间的空间关系，包括：

基于所述三维空间坐标系确定标记球在不同位置的世界坐标系坐标；

通过所述图像采集装置采集所述标记球在每个位置的标记球图像，在所述标记球图像中提取所述标记球的中心点，得到所述标记球的图像坐标系坐标；

基于所述标记球的世界坐标系坐标及图像坐标系坐标得到所述空间定位装置与所述图像采集装置之间的空间关系。

6.根据权利要求2-5任一所述的方法，其特征在于，所述基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置，包括：

获取所述操作点的世界坐标系；

将所述操作点空间外延，得到空间立方体；

将所述空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影，得到所述空间立方体各个顶点在图像中的坐标，基于所述空间立方体各个顶点在图像中的坐标得到所述操作点在所述图像中的位置。

7.根据权利要求2所述的方法，其特征在于，所述空间定位装置包括红外对射单元，所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：

获取所述红外对射单元发射的红外信号；

基于所述红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。

8.根据权利要求2所述的方法，其特征在于，所述空间定位装置包括深度相机；所述基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻，包括：

基于所述深度相机获取所述物品取放柜的出入口所在平面的深度值信息；

分析所述物品取放柜的出入口所在平面的深度值信息，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。

9.一种物品检测系统，其特征在于，所述物品检测系统包括：

空间定位装置，用于检测针对物品取放柜进行物品取放操作的操作点；

处理单元，用于基于所述操作点的检测结果确定物品取放的进出属性及物品取放时刻；

图像采集装置，用于获取所述物品取放柜在所述物品取放时刻的图像；

所述处理单元，还用于对所述图像进行物品的种类识别，基于种类识别结果及所述物品取放的进出属性得到初始物品信息，所述初始物品信息包括物品种类和数量；对所述操作点进行定位和图像映射，得到所述操作点在所述图像中的位置；基于所述操作点在所述图像中的位置对所述初始物品信息进行筛选，得到针对所述物品取放柜的物品取放信息。

10.根据权利要求9所述的系统，其特征在于，所述物品取放柜的出入口具有空间定位装置及图像采集装置；

所述空间定位装置，用于检测针对物品取放柜进行物品取放操作的操作点；

所述处理单元，用于基于所述空间定位装置检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻；

所述图像采集装置，用于采集所述物品取放柜在所述物品取放时刻的图像；

所述处理单元，还用于基于所述操作点的位置信息确定所述操作点的三维空间坐标信息，基于所述空间定位装置与所述图像采集装置之间的空间关系将所述操作点的三维空间坐标信息转换投影到所述图像中，得到所述操作点在所述图像中的位置。

11.根据权利要求10所述的系统，其特征在于，所述系统还包括：

标定单元，用于获取所述图像采集装置的内参；基于所述空间定位装置建立三维空间坐标系；基于所述图像采集装置的内参及所述三维空间坐标系确定所述空间定位装置与所述图像采集装置之间的空间关系。

12.根据权利要求11所述的系统，其特征在于，所述标定单元，用于基于所述三维空间坐标系标定棋盘格各角点的世界坐标系坐标；基于所述棋盘格标定所述图像采集装置在世界坐标系的旋转和平移矩阵，得到所述空间定位装置与所述图像采集装置之间的空间关系。

13.根据权利要求11所述的系统，其特征在于，所述标定单元，用于基于所述三维空间坐标系确定标记球在不同位置的世界坐标系坐标；通过所述图像采集装置采集所述标记球在每个位置的标记球图像，在所述标记球图像中提取所述标记球的中心点，得到所述标记球的图像坐标系坐标；基于所述标记球的世界坐标系坐标及图像坐标系坐标得到所述空间定位装置与所述图像采集装置之间的空间关系。

14.根据权利要求10-13任一所述的系统，其特征在于，所述处理单元，用于获取所述操作点的世界坐标系；将所述操作点空间外延，得到空间立方体；将所述空间立方体顶点坐标按照世界坐标系、图像采集装置坐标系、图像坐标系、像素坐标系的方式进行投影，得到所述空间立方体各个顶点在图像中的坐标，基于所述空间立方体各个顶点在图像中的坐标得到所述操作点在所述图像中的位置。

15.根据权利要求10所述的系统，其特征在于，所述空间定位装置包括红外对射单元，所述处理单元，用于获取所述红外对射单元发射的红外信号；基于所述红外对射单元发射的红外信号检测针对物品取放柜进行物品取放操作的操作点，分析所述操作点的检测结果，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。

16.根据权利要求10所述的系统，其特征在于，所述空间定位装置包括深度相机；所述处理单元，用于基于所述深度相机获取所述物品取放柜的出入口所在平面的深度值信息；分析所述物品取放柜的出入口所在平面的深度值信息，基于分析结果获取所述操作点的进出属性、位置信息及物品取放时刻。

17.一种物品检测系统，其特征在于，所述物品检测系统包括：空间定位装置、处理单元和图像采集装置；

所述空间定位装置及所述图像采集装置分别设置于物品取放柜的出入口，且所述空间定位装置及所述图像采集装置均与所述处理单元进行通信；

其中，所述图像采集装置为一个，一个图像采集装置的监测区域覆盖所述物品取放柜的整个出入口；或者，所述图像采集装置为多个，多个图像采集装置安装在所述物品取放柜的不同位置，且每个图像采集装置的监测区域覆盖所述物品取放柜的出入口的一部分，所述多个图像采集装置的监测区域覆盖所述物品取放柜的整个出入口。

Images