CN113494803B - 智能冰箱及冰箱门体内储物的存取操作检测方法 - Google Patents

Abstract

本申请公开了一种智能冰箱及冰箱门体内储物的存取操作检测方法。本申请中，当所述冰箱门体被打开时，获取所述冰箱门体的开启角度；基于所述开启角度确定目标监控区域在冰箱坐标系中的监控范围，所述目标监控区域为所述冰箱门体内物体的存取操作的发生区域；根据所述冰箱坐标系与深度相机坐标系的转换关系，确定所述监控范围在所述深度相机坐标系中的三维投影空间；对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别。通过仅对三维投影空间内的深度数据进行分析，而不是对整幅深度图像进行分析，能够有效的过滤掉无需处理的数据，进而节省了计算机处理资源的占用。

Description

智能冰箱及冰箱门体内储物的存取操作检测方法

技术领域

本申请涉及智能家居技术领域，特别涉及一种智能冰箱及冰箱门体内储物的存取操作检测方法。

背景技术

在家用智能冰箱领域，为了帮助用户能够更好的管理智能冰箱内的食材，智能冰箱需要自动识别出智能冰箱内的食材及食材所存放位置。

相关技术中，对于冰箱门体存储的食材进行识别主要存在两种方式，方式一：通过拍摄用户对食物存取前后冰箱门体的静态图像，并通过对于两幅静态图像的识别，从而确定出存取的食物类别，但由于冰箱门体存放的食材种类多且存放的很满，因此导致识别难度大且识别结果不准确。方式二：通过识别用户的动态存取动作，实时监测用户存取的食材，但由于冰箱门体具有很大的活动性，因此导致进行存取动作识别时，会占用大量的计算机处理资源。

因此，如何提高冰箱门体的食材存取管理的智能化，是智能冰箱领域亟待解决的问题。

发明内容

本申请示例性的实施方式中提供一种智能冰箱及冰箱门体内储物的存取操作检测方法，以提高食材存储管理的智能化。

根据示例性的实施方式中的一方面，提供一种智能冰箱，包括：

箱体，所述箱体包括储藏室，所述储藏室具有开口；

冰箱门体，与所述箱体活动连接，用于遮挡所述开口；

深度相机，设置在所述箱体的顶板上，用于对所述冰箱门体的活动区域进行图像采集；

存储器，用于存储可被处理器执行的计算机程序；

所述处理器，分别与所述深度相机和所述存储器连接，被配置为；

当所述冰箱门体被打开时，获取所述冰箱门体的开启角度；

基于所述开启角度确定目标监控区域在冰箱坐标系中的监控范围，所述目标监控区域为所述冰箱门体内物体的存取操作的发生区域；

根据所述冰箱坐标系与深度相机坐标系的转换关系，确定所述监控范围在所述深度相机坐标系中的三维投影空间；

对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别。

一些可能的示例方式中，所述目标监控区域为以检测平面为基准的空间区域，所述检测平面为所述冰箱门体的储物盒的远离所述冰箱门体一侧的平面；

所述处理器，被配置为对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别时，具体执行：

采用预设的目标人体部位的形状特征或预先构建的神经网络模型，对所述三维投影空间内的深度数据进行目标人体部位识别；

若识别到目标人体部位，则进行存取操作识别。

一些可能的示例方式中，所述智能冰箱还包括：

彩色相机，与所述深度相机并排设置在所述箱体的顶板上，用于对所述冰箱门体的活动区域进行图像采集；

所述处理器，还被配置为：

采用彩色相机采集所述目标监控区域内的彩色图像；

所述处理器，被配置为进行存取操作识别时，具体执行：

在目标人体部位进入所述监控范围和离开所述监控范围时，分别执行：

获取所述彩色相机采集的彩色图像；

对获取的所述彩色图像内的物体进行分类识别；

根据所述目标人体部位进入所述监控范围和离开所述监控范围时各自的分类识别结果，确定所述存取操作的操作类型，所述操作类型包括：存放物体的存放操作和取出物体的取出操作。

一些可能的示例方式中，所述处理器，还被配置为：

根据以下方法确定所述目标人体部位进入和离开所述监控范围的时机：

分析所述目标人体部位与所述检测平面的相对位置关系；

若所述目标人体部位的顶部的运动趋势为逐步靠近所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第一长度时，则确定所述目标人体部位进入所述监控范围；

若所述目标人体部位的顶部的运动趋势为逐步远离所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第二长度时，则确定所述目标人体部位离开所述监控范围。

一些可能的示例方式中，所述对获取的所述彩色图像内的物体进行分类识别之前，所述处理器，还被配置为：

识别所述存取操作在所述深度相机坐标系中的触发区域；

根据所述深度相机坐标系与彩色相机坐标系之间的转换关系，确定所述触发区域在所述彩色相机坐标系中的二维投影区域；

所述处理器，被配置为对获取的所述彩色图像内的物体进行分类识别时，具体执行：

从所述彩色图像中截取所述二维投影区域内的图像块；

对所述图像块内的物体进行分类识别。

一些可能的示例方式中，所述智能冰箱还包括：

角度传感器，设置在所述冰箱门体与所述箱体连接的铰接处，用于检测冰箱门体的开启角度；

所述处理器，还与所述角度传感器连接，被配置为：

当所述冰箱门体被打开时，通过接收所述角度传感器检测的开启角度，获取到所述冰箱门体的开启角度。

一些可能的示例方式中，所述深度相机与所述彩色相机的图像采集范围均包括所述冰箱门体在任意开启角度时的所述冰箱门体的位置区域。

一些可能的示例方式中，所述处理器，还被配置为：

对所述物体的信息进行管理操作。

根据示例性的实施方式中的另一方面，提供一种冰箱门体内储物的存取操作检测方法，包括：

当所述冰箱门体被打开时，获取所述冰箱门体的开启角度；

基于所述开启角度确定目标监控区域在冰箱坐标系中的监控范围，所述目标监控区域为所述冰箱门体内物体的存取操作的发生区域；

根据所述冰箱坐标系与深度相机坐标系的转换关系，确定所述监控范围在所述深度相机坐标系中的三维投影空间；

对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别。

一些可能的示例方式中，所述目标监控区域为以检测平面为基准的空间区域，所述检测平面为所述冰箱门体的储物盒的远离所述冰箱门体一侧的平面；

所述对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别，包括：

采用预设的目标人体部位的形状特征或预先构建的神经网络模型，对所述三维投影空间内的深度数据进行目标人体部位识别；

若识别到目标人体部位，则进行存取操作识别。

一些可能的示例方式中，所述方法还包括：

采用彩色相机采集所述目标监控区域内的彩色图像；

所述进行存取操作识别，包括：

在目标人体部位进入所述监控范围和离开所述监控范围时，分别执行：

获取所述彩色相机采集的彩色图像；

对获取的所述彩色图像内的物体进行分类识别；

根据所述目标人体部位进入所述监控范围和离开所述监控范围时各自的分类识别结果，确定所述存取操作的操作类型，所述操作类型包括：存放物体的存放操作和取出物体的取出操作。

一些可能的示例方式中，所述方法还包括：

根据以下方法确定所述目标人体部位进入和离开所述监控范围的时机：

分析所述目标人体部位与所述检测平面的相对位置关系；

若所述目标人体部位的顶部的运动趋势为逐步靠近所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第一长度时，则确定所述目标人体部位进入所述监控范围；

若所述目标人体部位的顶部的运动趋势为逐步远离所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第二长度时，则确定所述目标人体部位离开所述监控范围。

一些可能的示例方式中，所述对获取的所述彩色图像内的物体进行分类识别之前，所述方法还包括：

识别所述存取操作在所述深度相机坐标系中的触发区域；

根据所述深度相机坐标系与彩色相机坐标系之间的转换关系，确定所述触发区域在所述彩色相机坐标系中的二维投影区域；

所述对获取的所述彩色图像内的物体进行分类识别，包括：

从所述彩色图像中截取所述二维投影区域内的图像块；

对所述图像块内的物体进行分类识别。

一些可能的示例方式中，所述方法还包括：

当所述冰箱门体被打开时，通过接收角度传感器检测的开启角度，获取到所述冰箱门体的开启角度。

一些可能的示例方式中，所述深度相机与所述彩色相机的图像采集范围均包括所述冰箱门体在任意开启角度时的所述冰箱门体的位置区域。

一些可能的示例方式中，所述方法还包括：

对所述物体的信息进行管理操作。

本申请的实施例提供的技术方案至少带来以下有益效果：

本申请提供一种智能冰箱及冰箱门体内储物的存取操作检测方法。本申请中，当所述冰箱门体被打开时，获取所述冰箱门体的开启角度；基于所述开启角度确定目标监控区域在冰箱坐标系中的监控范围，所述目标监控区域为所述冰箱门体内物体的存取操作的发生区域；根据所述冰箱坐标系与深度相机坐标系的转换关系，确定所述监控范围在所述深度相机坐标系中的三维投影空间；对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别。通过深度相机采集的深度数据识别冰箱门体内的存取操作，从而提高了对于冰箱门体的物体存取的识别的准确度，通过仅对三维投影空间内的深度数据进行分析，而不是对整幅深度图像进行分析，能够有效的过滤掉无需处理的数据，进而节省了计算机处理资源的占用。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本申请各较佳实施例。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a为本申请实施例中的智能冰箱关闭状态的示意图；

图1b为本申请实施例中的智能冰箱打开状态的示意图；

图2为本申请实施例中智能冰箱的处理器的功能结构示意图；

图3为本申请实施例提供的冰箱门体内储物的存取操作检测方法的流程示意图；

图4为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之一；

图5为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之二；

图6为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之三；

图7为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之四；

图8为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之五；

图9为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之六；

图10为本申请实施例提供的冰箱门体内储物的存取操作检测方法的另一流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语″中心″、″上″、″下″、″前″、″后″、″左″、″右″、″竖直″、″水平″、″顶″、″底″、″内″、″外″等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，″/″表示或的意思，例如，A/B可以表示A或B；文本中的″和/或″仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，″多个″是指两个或多于两个。

以下，术语″第一″、″第二″仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有″第一″、″第二″的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，″多个″的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语″安装″、″相连″、″连接″应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

在家用智能冰箱领域，为了帮助用户能够更好的管理智能冰箱内的食材，智能冰箱需要自动识别出智能冰箱内的食材及食材所存放位置。针对相关技术中对于冰箱门体存储区域的食物存取识别不准确以及难度大的问题，本申请提供一种智能冰箱及冰箱门体内储物的存取操作检测方法。

下面结合附图对本申请实施进行详细的说明。

图1a和图1b示例性示出了本申请实施例提供的一种智能冰箱的结构。

如图1a所示，智能冰箱包括箱体10、制冷部(未在图中示出)以及其他附件(比如箱体内可设置照明灯、温度计等，未在图中示出)。制冷系统中主要组成有压缩机、冷凝器、蒸发器和毛细管节流器等部件，自成一个封闭的循环系统。其中，蒸发器可安装在智能冰箱内部的上方，其他部件安装在智能冰箱的背面。例如，存储器和处理器，未在图中示出。

箱体10安装有门体20，门体20上可进一步设置有显示屏60，显示屏60与处理器耦接(如通过电路连接)。

如图1b所示，智能冰箱上箱体10的顶板上还可设置深度相机30、彩色相机40、角度传感器50，其中深度相机30用于对门体20的深度数据信息进行采集，彩色相机40用于对门体20的彩色图像进行采集，角度传感器50用于获取冰箱门体的开启角度。以便于智能冰箱能够对采集的深度数据信息进行存取操作的识别，并通过彩色图像进行存取的物体识别。由此，实现对门体20的物体存取进行精确识别。以箱体10的前侧面为第一平面，箱体10前侧区域至少包括以第一平面为基准，向智能冰箱外方向扩展一定距离的区域，深度相机和彩色相机可采集该区域的图像，即能够拍摄到门体20被打开任意角度的图像。

在一些实施例中，深度相机30和彩色相机40还可设置在箱体10的上方，可采集箱体区域内的图像，以便能够采集用户向智能冰箱中存入的食材的图像或采集用户从智能冰箱中取出的食材的图像；角度传感器50，设置在所述冰箱门体与所述箱体连接的铰接处，用于检测冰箱门体的开启角度。

需要说明的是，图1a和图1b所示的智能冰箱的结构仅为一种示例，本申请实施例对智能冰箱的大小、以及对门体的数量(比如可以是单个门体，也可以是多个门体)以及其他附件的数量和类型等不做限制。比如，在一些实施例中，智能冰箱中设置有射频识别(Radio Frequency Identification，RFID)读写器，可用来读取食材包装上的RFID标签，以获取食材的种类和数量等信息。在另一些实施例中，智能冰箱还具有语音功能，能够识别输入的语音，以获取用户通过语音方式输入的食材的种类和数量等信息。

图2示例性示出了一种智能冰箱中的处理器的结构示意图，如图所示，处理器200与深度相机30、彩色相机40相连接。该处理器200可包括：角度获取模块201、监控范围确定模块202、三维投影空间确定模块203、存取操作识别模块204。

角度获取模块201，用于当所述冰箱门体被打开时，获取所述冰箱门体的开启角度；

监控范围确定模块202，用于基于所述开启角度确定目标监控区域在冰箱坐标系中的监控范围，所述目标监控区域为所述冰箱门体内物体的存取操作的发生区域；

三维投影空间确定模块203，用于根据所述冰箱坐标系与深度相机坐标系的转换关系，确定所述监控范围在所述深度相机坐标系中的三维投影空间；

存取操作识别模块204，用于对深度相机30采集的所述三维投影空间内的深度数据进行所述存取操作识别。

一些可能的示例方式中，所述目标监控区域为以检测平面为基准的空间区域，所述检测平面为所述冰箱门体的储物盒的远离所述冰箱门体一侧的平面；

所述存取操作识别模块204，用于对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别时，具体用于：

采用预设的目标人体部位的形状特征或预先构建的神经网络模型，对所述三维投影空间内的深度数据进行目标人体部位识别；

若识别到目标人体部位，则进行存取操作识别。

一些可能的示例方式中，所述处理器200还用于：

采用彩色相机40采集所述目标监控区域内的彩色图像；

所述存取操作识别模块204，用于进行存取操作识别时，具体用于：

在目标人体部位进入所述监控范围和离开所述监控范围时，分别执行：

获取所述彩色相机采集的彩色图像；

对获取的所述彩色图像内的物体进行分类识别；

根据所述目标人体部位进入所述监控范围和离开所述监控范围时各自的分类识别结果，确定所述存取操作的操作类型，所述操作类型包括：存放物体的存放操作和取出物体的取出操作。

一些可能的示例方式中，所述处理器还用于：

根据以下单元确定所述目标人体部位进入和离开所述监控范围的时机：

分析单元，用于分析所述目标人体部位与所述检测平面的相对位置关系；

所述存取操作识别模块204，还用于若所述目标人体部位的顶部的运动趋势为逐步靠近所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第一长度时，则确定所述目标人体部位进入所述监控范围；

若所述目标人体部位的顶部的运动趋势为逐步远离所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第二长度时，则确定所述目标人体部位离开所述监控范围。

一些可能的示例方式中，所述对获取的所述彩色图像内的物体进行分类识别之前，所述处理器200，还包括：

识别单元，用于识别所述存取操作在所述深度相机坐标系中的触发区域；

二维投影区域确定单元，用于根据所述深度相机坐标系与彩色相机坐标系之间的转换关系，确定所述触发区域在所述彩色相机坐标系中的二维投影区域；

所述存取操作识别模块204，用于对获取的所述彩色图像内的物体进行分类识别时，具体用于：

从所述彩色图像中截取所述二维投影区域内的图像块；

对所述图像块内的物体进行分类识别。

一些可能的示例方式中，所述智能冰箱还包括：

角度传感器50，设置在所述冰箱门体与所述箱体连接的铰接处，用于检测冰箱门体的开启角度；

所述处理器200，还与所述角度传感器50器连接，被配置为：

当所述冰箱门体被打开时，通过接收所述角度传感器50检测的开启角度，获取到所述冰箱门体的开启角度。

一些可能的示例方式中，所述深度相机30与所述彩色相机40的图像采集范围均包括所述冰箱门体在任意开启角度时的所述冰箱门体的位置区域。

一些可能的示例方式中，所述处理器200，还被配置为：

对所述物体的信息进行管理操作。

在家用智能冰箱领域，由于冰箱门体运动范围比较大，在需要通过视觉对门体内的储物空间进行取放操作行为判断时，很难精确设定监控的区域。目前，相关技术中对于冰箱门体的存储的识别主要包含静态计算机视觉方式和动态计算机视觉方式，但发明人发现，静态计算机视觉识别方式存在识别难度大且识别结果不准确的问题，动态计算机视觉识别方式存在需要大量的计算处理资源且对硬件平台成本要求高的问题。

有鉴于此，本申请提供一种智能冰箱及冰箱门体内储物的存取操作检测方法，参阅图3，为本申请一实施例提供的一种冰箱门体内储物的存取操作检测方法的流程示意图，包括以下步骤：

步骤S301：当所述冰箱门体被打开时，获取所述冰箱门体的开启角度。

实施时，可通过将角度传感器安装在冰箱门体铰链连接处，用于检测冰箱门体的开启角度，然后由于角度传感器与处理器连接，因此处理器可接收角度传感器检测的开启角度，从而获取冰箱门体的开启角度。例如，参阅图4，为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之一，当冰箱门体被打开时，角度传感器会将检测到的开启角度返回给如图2所示的处理器200。需要说明的是，图4中示出的为冰箱门体数量为两个的实施例，因此分别在两个门体的铰链处按照角度传感器，两个门体的方法构思是相同的，此后仅以其中一侧门体作为示例进行说明。此外，本申请对于门体的数量不限定，市面上存在的各种结构的冰箱都适应于本申请提供的方法，各个冰箱门体的实施方式同理。

步骤S302：基于所述开启角度确定目标监控区域在冰箱坐标系中的监控范围，所述目标监控区域为所述冰箱门体内物体的存取操作的发生区域。

实施时，目标监控区域例如为深度相机可监控到的区域，其监控范围的大小根据冰箱门体的开启角度确定；即当冰箱门体的开启角度较大时，则目标监控区域在冰箱坐标系中的监控范围则较大。

步骤S303：根据所述冰箱坐标系与深度相机坐标系的转换关系，确定所述监控范围在所述深度相机坐标系中的三维投影空间。

实施时，参阅图5，为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之二，其中，冰箱尺寸、角度传感器与深度相机的相对位置均为已知的；并且，在冰箱门体上可预先设置多个标志性目标点，例如冰箱门体上各储物盒的边角点等。假设冰箱门体开启角度为α，已知如图5中冰箱门体的中间储物盒的一个边角点A，得知其在以角度传感器为原点确定的冰箱坐标系中的三维坐标假设为(Xa，Ya，Za)，一种实施方式中，根据以下公式确定其在冰箱坐标系下的三维坐标值：

Xa＝L*cos(α) 公式1

Ya＝-D 公式2

Za＝L*sin(α) 公式3

其中，D为根据该点A与冰箱门体上边缘之间距离确定，L为根据该点A与冰箱门体的门轴之间的距离确定的。

一种可能的实施方式为，冰箱坐标系为以角度传感器所在位置为原点建立的坐标系，因此根据角度传感器与深度相机之间的相关位置关系，确定冰箱坐标系与深度相机坐标系之间的转换关系；从而将确定的冰箱门体上预先设置的多个标志性目标点在冰箱坐标系中的三维坐标，然后根据转换关系得到目标点在深度相机坐标系中的三维坐标。例如，前述的目标点A在冰箱坐标系中的三维坐标值为(Xa，Ya，Za)，则其转换到深度相机坐标系中的三维坐标值可表示为(Xa’，Ya’，Za’)。

得到目标点在深度相机坐标系中的三维坐标之后，则可根据三维坐标值确定所述冰箱门体在深度相机视野下的空间位置，从而实现更准确的对冰箱门体内储物的存取操作检测。

步骤S304：对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别。

实施时，采用预设的目标人体部位的形状特征或预先构建的神经网络模型，对所述三维投影空间内的深度数据进行目标人体部位识别；若识别到目标人体部位，则进行存取操作识别。

上述实施方式，例如目标人体部位为手部，在构建神经网络模型时，通过对于大量手部在深度相机视野下的特征信息进行标注和特征提取，再通过神经网络模型进行训练得到针对手部特征的识别的神经网络模型。通过该神经网络模型实现对于目标人体部位的识别，从而进一步识别存取操作，例如是存储物体的操作还是取出物体的操作，操作的物体分类等。

一种可能的实施方式中，目标监控区域为以检测平面为基准的空间区域，所述检测平面为所述冰箱门体的储物盒的远离所述冰箱门体一侧的平面。参阅图6，为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之三，实施时，检测平面的一种可能的确定方式为：通过冰箱门体的储物盒远离冰箱门体的一侧两个边缘点，如图6中的两个对应的边角点A、B；然后，分别根据A、B在冰箱坐标系下的三维坐标转换到深度相机坐标系得到的三维坐标，假设为A(Xa’，Ya’，Za’)、B(Xb’，Yb’，Zb’)确定的竖直平面作为该检测平面。

在进行存取操作识别时，可选的，确定目标人体部位进入和离开所述监控范围的时机，包括以下步骤：

步骤A1：分析所述目标人体部位与所述检测平面的相对位置关系。

步骤A2：若所述目标人体部位的顶部的运动趋势为逐步靠近所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第一长度时，则确定所述目标人体部位进入所述监控范围。

参阅图7，为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之四，其中，如图7中的进入对应的示意图，可确定手部的运动趋势为向冰箱门体运动，由此识别到该存取操作为″存″；并且，为了保证准确度，避免由于用户进行冰箱其他位置的储物的误识别，当手部的顶部穿过检测平面第一长度时，才确定为目标人体部位进入的时机，并且触发″进入″信号，以便于进一步分析存取物体的种类。

步骤A3：若所述目标人体部位的顶部的运动趋势为逐步远离所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第二长度时，则确定所述目标人体部位离开所述监控范围。

与步骤A2中的实施过程类似，该步骤是为了确定当手部的运动趋势为逐步远离冰箱门体时，如图7中的离开对应的示意图，当手部的顶部穿过检测平面第二长度时，确定为目标人体部位离开的时机，并且触发″离开″信号。需要说明的是，此处的″第一″、″第二″长度仅是为了区分，两个长度可相同也可不同，可根据实际场景确定，本申请对此不限定。

在通过深度相机识别到用户的存取操作的触发时机之后，在基于深度相机存取操作识别的实施方式中，还可根据深度相机采集的深度数据实现对于该存取操作中包含的物体的分类识别。

在深度相机视野中，相比于直接通过彩色相机获取的二维彩色图像，可通过存取操作对应的深度数据信息，以实现区分存取操作的物体与冰箱门体上存储的物体之间的分离，相当于可更好的区分前景和后景信息，从而在对目标物体进行目标检测时，更容易提取目标物体的特征，从而使得对于存取操作中物体的分类识别更加准确。

为了更加准确的识别该存取操作对应的物体，另一种可能的实施方式中，还可通过彩色相机采集目标监控区域内的彩色图像进行识别；其中，彩色相机与所述深度相机并排设置在所述箱体的顶板上，其安装位置可选的如图4中所示。

根据前述实施方式确定目标人体部位进入监控范围和离开监控范围时，处理器还执行以下步骤：

步骤B1：获取所述彩色相机采集的彩色图像。

步骤B2：对获取的所述彩色图像内的物体进行分类识别。

步骤B3：根据所述目标人体部位进入所述监控范围和离开所述监控范围时各自的分类识别结果，确定所述存取操作的操作类型，所述操作类型包括：存放物体的存放操作和取出物体的取出操作。

通过检测到进入监控范围和离开监控范围的指令时获取彩色图像，由于此时存取的物体尚未放置到冰箱门体上或者已从冰箱门体上拿出，因此，此时获取的彩色图像中对于存取操作中的物体的识别受冰箱门体的其他储物背景的影响较小，更容易进行前后景的剥离。

又一种可能的实施方式中，为更加容易精准的进行存取操作的物体识别，实施时，还可识别所述存取操作在所述深度相机坐标系中的触发区域；根据所述深度相机坐标系与彩色相机坐标系之间的转换关系，确定所述触发区域在所述彩色相机坐标系中的二维投影区域。其中，确定存储操作的触发区域相当于从目标监控区域中仅关注ROI(region ofinterest，感兴趣区域)，在这个实施例下，仅需对ROI进行存取操作的分析，以及仅需对彩色相机采集的该区域对应的图像进行物体识别，因此减少了计算机处理资源的占用，并且由于受冰箱门体背景信息的影响极大地减少，因此识别的结果更加精准。

其中，深度相机坐标系与彩色相机坐标系之间的转换关系同样根据深度相机与彩色相机之间的相对位置关系确定，参阅图8，为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之五，沿用前述实施例中的目标点A假设的三维坐标值，则目标点A的三维坐标值转换到彩色相机坐标系中的三维坐标可表示为A”(Xa”，Ya”，Za”)，得到各目标点转换到彩色坐标系中的三维坐标之后，则可根据三维坐标值确定触发区域在彩色相机下的二维投影区域。

需要说明的是，为了保证冰箱门体在任意开启角度时的所述冰箱门体的位置区域都能被深度相机和彩色相机采集到，用于实现深度数据的采集以及物体的分类识别，因此深度相机与彩色相机的图像采集范围均能涵盖所述冰箱门体在任意开启角度时的所述冰箱门体的位置区域。

上述实施方式中，从所述彩色图像中截取所述二维投影区域内的图像块，对所述图像块内的物体进行分类识别，能够实现仅对感兴趣区域进行分类识别，对无关的图像区域不用处理，故而能够减少对处理资源的消耗。

参阅图9，为本申请实施例提供的一种智能冰箱的冰箱门体内储物的存取操作检测方法的平面示意图之六，一种可能的实施方式中，当处理器检测到″进入″信号或″退出″信号时，则获取此时的彩色图像；其中，图9中示出的为检测到″进入″信号时，彩色相机获取二维投影区域对应的图像块的示意图。通过该实施方式，使得进行物体识别时的图像中对于目标人体部分在图像信息中的占比提高，即进行物体识别中的背景信息少，因此提高了物体识别的准确性。

此外，在对存取操作识别以及物体分类识别之后，还可实施对所述物体的信息进行管理操作。一种可能的实施方式中，若所述存取操作识别结果为存储物体时，根据所述物体的分类识别结果，确定所述物体的推荐存储位置，并控制所述输出装置输出所述物体的推荐存储位置。例如，在检测到存取操作时候根据识别的物体分类为酸奶，则根据酸奶的推荐存储位置为冷藏室左门第一层输出应将其存储到冷藏室左门第一层的提示信息，从而实现对于物体信息的有序管理。此外，若检测到用户针对该物体的存储位置与推荐存储位置不同，还可以及时通过语音或终端手机等方式进行提醒，用于提醒用户正确的存储位置等。

另一种可能的实施方式中，通过分析所述冰箱门体上已有物体的存储时间以及各物体对应的保质期，在所述冰箱门体被打开时，针对指定时长内会过期的食材发出告警信息。例如，在检测到存储操作时，将确定该存取操作对应的分类之后，将其存取时间以及位置信息进行存储，并且周期性监测该物体与保质期的对应情况，当食材快过期或已过期的时候进行提醒，从而实现对于冰箱门体的物体信息的有序管理。

又一种可能的实施方式中，根据指定物体的数量低于预设数量阈值时，通过指定方式进行购买或发出提醒信息。例如，通过记录食材数量情况，在食材快用完时候根据预先存储的方式进行自动下单或发出语音或短信等方式的提醒，以提醒用户及时购买。

为更好地理解本申请，参阅图10，为本申请实施例提供的一种冰箱门体内储物的存取操作检测方法的另一流程示意图，包括：

步骤S1001：获取冰箱门体的开启角度信息。

步骤S1002：根据开启角度信息确定冰箱门体在冰箱坐标系下的空间位置。

步骤S1003：根据冰箱坐标系与深度相机坐标系的转换关系，确定冰箱门体在深度相机视野下的空间位置。

步骤S1004：确定该开启角度下的以检测平面为基准的目标监控区域。

步骤S1005：通过该检测平面对存取操作进行识别。

步骤S1006：确定存取操作的操作类型并标记，以及识别该存取操作的触发区域。

步骤S1007：基于深度相机坐标系与彩色相机坐标之间的转换关系确定该触发区域在彩色相机视野下的空间位置。

步骤S1008：获取彩色相机采集的该触发区域的二维彩色影像。

步骤S1009：对二维彩色影像中的存取操作进行物体分类识别，确定物体类别。

步骤S1010：对所述物体的信息进行管理操作。

通过本申请实施例提供的方法，通过冰箱门体的开启角度，并且结合深度相机获取深度数据信息进行存取操作的识别，以及还可借助彩色相机获取二维图像信息进行物体分类的更加精准的识别，从而实现了对于冰箱门体的储物存取操作的识别，并且提高了识别的准确性。实施时，通过考虑深度数据信息实现了受冰箱门体的背景信息较少影响的特点，从而使得特征提取、分析及识别的结果更加准确；并且通过仅对三维投影空间内的深度数据进行分析，而不是对整幅深度图像进行分析，能够有效的过滤掉无需处理的数据，进而节省了计算机处理资源的占用。

在一些可能的实施方式中，本申请提供的一种冰箱门体内储物的存取操作检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种冰箱门体内储物的存取操作检测方法中的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(RAM)、只读计算机存储介质(ROM)、可擦式可编程只读计算机存储介质(EPROM或闪存)、光纤、便携式紧凑盘只读计算机存储介质(CD-ROM)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。

本申请的实施方式的用于智能冰箱内的抽屉状态检测的程序产品可以采用便携式紧凑盘只读计算机存储介质(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如″C″语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络一一包括局域网(LAN)或广域网(WAN)一连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、CD-ROM、光学计算机存储介质等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中，使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种智能冰箱，其特征在于，包括：

箱体，所述箱体包括储藏室，所述储藏室具有开口；

冰箱门体，与所述箱体活动连接，用于遮挡所述开口，所述冰箱门体上设置有多个标志性目标点；

角度传感器，位于所述箱体与所述冰箱门体铰接处的上方；

深度相机，设置在所述箱体的顶板上，用于对所述冰箱门体的活动区域进行图像采集；

存储器，用于存储可被处理器执行的计算机程序；

输出装置，用于输出物体的推荐存储位置；

所述处理器，分别与所述深度相机和所述存储器连接，被配置为：

当所述冰箱门体被打开时，获取所述冰箱门体的开启角度；

基于所述开启角度确定目标监控区域在冰箱坐标系中的监控范围，所述目标监控区域为所述冰箱门体内物体的存取操作的发生区域；

根据以所述角度传感器作为原点建立冰箱坐标系、所述角度传感器与深度相机之间的相关位置关系以及所述冰箱坐标系与深度相机坐标系的转换关系，确定所述监控范围在所述深度相机坐标系中的三维投影空间；其中，所述确定所述监控范围在所述深度相机坐标系中的三维投影空间，包括：

根据以下公式确定所述三维投影空间：

Xa＝L*cos(α)；

Ya＝-D；

Za＝L*sin(α)；

其中，D为任一一个标志性目标点与所述冰箱门体上边缘之间的距离，L为所述任一一个标志性目标点与所述冰箱门体的门轴之间的距离，α为所述冰箱门体开启角度；三维投影空间为(Xa，Ya，Za)；

对所述深度相机采集的所述三维投影空间内的深度数据进行存取操作识别；

若所述存取操作的识别结果为存储物体，则根据所述物体的分类识别结果确定所述物体的推荐存储位置，并控制所述输出装置输出所述物体的推荐存储位置。

2.根据权利要求1所述的智能冰箱，其特征在于，所述目标监控区域为以检测平面为基准的空间区域，所述检测平面为所述冰箱门体的储物盒的远离所述冰箱门体一侧的平面；

所述处理器，被配置为对所述深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别时，具体执行：

采用预设的目标人体部位的形状特征或预先构建的神经网络模型，对所述三维投影空间内的深度数据进行目标人体部位识别；

若识别到目标人体部位，则进行存取操作识别。

3.根据权利要求2所述的智能冰箱，其特征在于，所述智能冰箱还包括：

彩色相机，与所述深度相机并排设置在所述箱体的顶板上，用于对所述冰箱门体的活动区域进行图像采集；

所述处理器，还被配置为：

采用所述彩色相机采集所述目标监控区域内的彩色图像；

所述处理器，被配置为进行存取操作识别时，具体执行：

在目标人体部位进入所述监控范围和离开所述监控范围时，分别执行：

获取所述彩色相机采集的彩色图像；

对获取的所述彩色图像内的物体进行分类识别；

根据所述目标人体部位进入所述监控范围和离开所述监控范围时各自的分类识别结果，确定所述存取操作的操作类型，所述操作类型包括：存放物体的存放操作和取出物体的取出操作。

4.根据权利要求3所述的智能冰箱，其特征在于，所述处理器，还被配置为：

根据以下方法确定所述目标人体部位进入和离开所述监控范围的时机：

分析所述目标人体部位与检测平面的相对位置关系；

若所述目标人体部位的顶部的运动趋势为逐步靠近所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第一长度时，则确定所述目标人体部位进入所述监控范围；

若所述目标人体部位的顶部的运动趋势为逐步远离所述冰箱门体，且在穿过所述检测平面后距离所述检测平面第二长度时，则确定所述目标人体部位离开所述监控范围。

5.根据权利要求3所述的智能冰箱，其特征在于，所述对获取的所述彩色图像内的物体进行分类识别之前，所述处理器，还被配置为：

识别所述存取操作在所述深度相机坐标系中的触发区域；

根据所述深度相机坐标系与彩色相机坐标系之间的转换关系，确定所述触发区域在所述彩色相机坐标系中的二维投影区域；

所述处理器，被配置为对获取的所述彩色图像内的物体进行分类识别时，具体执行：

从所述彩色图像中截取所述二维投影区域内的图像块；

对所述图像块内的物体进行分类识别。

6.根据权利要求1所述的智能冰箱，其特征在于，所述智能冰箱还包括：

角度传感器，设置在所述冰箱门体与所述箱体连接的铰接处，用于检测冰箱门体的开启角度；

所述处理器，还与所述角度传感器连接，被配置为：

当所述冰箱门体被打开时，通过接收所述角度传感器检测的开启角度，获取到所述冰箱门体的开启角度。

7.根据权利要求3所述的智能冰箱，其特征在于，所述深度相机与所述彩色相机的图像采集范围均包括所述冰箱门体在任意开启角度时的所述冰箱门体的位置区域。

8.根据权利要求1所述的智能冰箱，其特征在于，所述处理器，还被配置为：

对所述物体的信息进行管理操作。

9.一种如权利要求1-8任一项所述的冰箱门体内储物的存取操作检测方法，其特征在于，包括：

当所述冰箱门体被打开时，获取所述冰箱门体的开启角度；

基于所述开启角度确定目标监控区域在冰箱坐标系中的监控范围，所述目标监控区域为所述冰箱门体内物体的存取操作的发生区域；

根据以所述角度传感器作为原点建立冰箱坐标系、所述角度传感器与深度相机之间的相关位置关系以及所述冰箱坐标系与深度相机坐标系的转换关系，确定所述监控范围在所述深度相机坐标系中的三维投影空间；其中，所述冰箱门体上设置有多个标志性目标点；所述确定所述监控范围在所述深度相机坐标系中的三维投影空间，包括：

根据以下公式确定所述三维投影空间：

Xa＝L*cos(α)；

Ya＝-D；

Za＝L*sin(α)；

其中，D为任一一个标志性目标点与所述冰箱门体上边缘之间的距离，L为所述任一一个标志性目标点与所述冰箱门体的门轴之间的距离，α为所述冰箱门体开启角度；三维投影空间为(Xa，Ya，Za)；

对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别；

若所述存取操作的识别结果为存储物体，则根据所述物体的分类识别结果确定所述物体的推荐存储位置，并控制输出装置输出所述物体的推荐存储位置。

10.根据权利要求9所述的方法，其特征在于，所述目标监控区域为以检测平面为基准的空间区域，所述检测平面为所述冰箱门体的储物盒的远离所述冰箱门体一侧的平面；

所述对深度相机采集的所述三维投影空间内的深度数据进行所述存取操作识别，包括：

采用预设的目标人体部位的形状特征或预先构建的神经网络模型，对所述三维投影空间内的深度数据进行目标人体部位识别；

若识别到目标人体部位，则进行存取操作识别。

Images