CN113465252B - 智能冰箱及智能冰箱内的抽屉状态检测方法 - Google Patents

Abstract

本申请提供智能冰箱及智能冰箱内的抽屉状态检测方法。该方法包括：控制深度相机进行图像采集，得到深度图像；所述深度相机用于对所述抽屉的活动区域进行图像采集；对所述深度图像进行物体检测；当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；将识别的几何形状与预设的抽屉形状进行比对；由此，通过深度相机进行图像采集即可完成对抽屉的状态的识别，智能冰箱内将不需要每个抽屉都安装压力传感器和/或磁敏接触式传感器，以此解决了现有技术中智能冰箱结构复杂的问题。

Description

智能冰箱及智能冰箱内的抽屉状态检测方法

技术领域

本申请涉及智能终端技术领域，特别涉及一种智能冰箱及智能冰箱内的抽屉状态检测方法。

背景技术

在家用智能冰箱领域，为了帮助用户能够更好的管理智能冰箱内的食材，智能冰箱需要自动识别出智能冰箱内的食材及食材所存放位置。主要是通过识别用户的动态取放动作来实时监测用户放入的食材和用户取出的食材。但是此方案需要确定出每个抽屉的开关状态，以便于判别食材是放入了哪一个智能冰箱或者从哪一个抽屉中取出，帮助用户达到精确的食材管理。

相关技术中，确定抽屉的开关状态是通过压感传感器和/或磁敏接触式传感器。但是，每个抽屉都要增加传感器部件，使得智能冰箱结构设计复杂。因此，急需一种新的方法来解决上述问题。

发明内容

本申请提供一种智能冰箱及智能冰箱内的抽屉状态检测方法，用于解决相关技术中智能冰箱结构复杂的问题。

第一方面，本申请提供一种智能冰箱，包括：

箱体，所述箱体内设置有抽屉；

深度相机，设置在所述箱体的顶板上，用于对所述抽屉的活动区域进行图像采集；

存储器，用于存储可被处理器执行的计算机程序；

所述处理器，分别与所述深度相机和所述存储器连接，被配置为：

控制所述深度相机进行图像采集，得到深度图像；

对所述深度图像进行物体检测；

当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；

将识别的几何形状与预设的抽屉形状进行比对；

根据比对结果，确定所述抽屉的开关状态。

本申请的一些实施例中，所述智能冰箱还包括：

彩色相机，与所述深度相机并排设置在所述箱体的顶板上，用于对所述抽屉的活动区域进行图像采集；

所述处理器执行所述根据比对结果，确定所述抽屉的开关状态时，被配置为：

若识别的几何形状与所述预设的抽屉形状匹配时，获取所述彩色相机采集的彩色图像；

对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果；

综合所述几何形状与所述预设的抽屉形状的比对结果以及所述抽屉特征检测结果，确定所述抽屉的开关状态。

本申请的一些实施例中，所述处理器还被配置为：

在所述确定抽屉处于开启状态时，根据所述几何形状的边界识别所述抽屉的拉出长度。

本申请的一些实施例中，所述处理器执行所述根据所述几何形状的边界识别所述抽屉的拉出长度时，被配置为：

在所述深度相机的坐标系中，获取所述几何形状的目标边界的边界位置；所述目标边界为所述几何形状的远离所述箱体的前侧面的边界；

将所述目标边界的边界位置转换到智能冰箱坐标系下，得到所述目标边界在所述智能冰箱坐标系中的位置；

在所述智能冰箱坐标系中，确定所述目标边界的初始位置和所述目标边界的位置之间的差值，得到所述抽屉的拉出长度；其中所述初始位置为所述抽屉处于关闭状态时的位置。

本申请的一些实施例中，所述处理器执行所述对所述深度图像进行几何形状识别时，被配置为：

根据所述活动区域在所述深度相机的坐标系内的位置信息，从所述深度图像中截取所述活动区域的图像区域；

对所述图像区域进行几何形状识别；

所述处理器执行所述对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果时，被配置为：

在所述彩色相机的坐标系中识别出与所述图像区域对应的图像范围；

在所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果。

本申请的一些实施例中，所述处理器在执行所述在彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果时，被配置为：

从所述彩色图像中截取所述图像范围内的图像块；

将所述图像块输入到用于检测抽屉的开关状态的神经网络，得到抽屉特征检测结果；

其中，所述神经网络是根据以下方法训练得到的：

获取训练样本，所述训练样本包括彩色图像以及标注的抽屉的开关状态；

根据所述训练样本训练所述神经网络。

本申请的一些实施例中，所述处理器执行所述对所述深度图像进行物体检测时，被配置为：

在所述深度图像中检测手部特征；

若检测到所述手部特征则表示在所述深度图像中检测到物体。

第二方面，本申请提供一种智能冰箱内的抽屉状态检测方法，所述方法包括：

控制深度相机进行图像采集，得到深度图像；所述深度相机用于对所述抽屉的活动区域进行图像采集；

对所述深度图像进行物体检测；

当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；

将识别的几何形状与预设的抽屉形状进行比对；

根据比对结果，确定所述抽屉的开关状态。

本申请的一些实施例中，若识别的几何形状与所述预设的抽屉形状匹配时，获取彩色相机采集的彩色图像；所述彩色相机用于对所述抽屉的活动区域进行图像采集；

对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果；

综合所述几何形状与所述预设的抽屉形状的比对结果以及所述抽屉特征检测结果，确定所述抽屉的开关状态。

本申请的一些实施例中，在所述确定抽屉处于开启状态时，根据所述几何形状的边界识别所述抽屉的拉出长度。

本申请的一些实施例中，在所述深度相机的坐标系中，获取所述几何形状的目标边界的边界位置；所述目标边界为所述几何形状的远离所述智能冰箱的箱体的前侧面的边界；

将所述目标边界的边界位置转换到智能冰箱坐标系下，得到所述目标边界在所述智能冰箱坐标系中的位置；

在所述智能冰箱坐标系中，确定所述目标边界的初始位置和所述目标边界的位置之间的差值，得到所述抽屉的拉出长度；其中所述初始位置为所述抽屉处于关闭状态时的位置。

本申请的一些实施例中，根据所述活动区域在所述深度相机的坐标系内的位置信息，从所述深度图像中截取所述活动区域的图像区域；

对所述图像区域进行几何形状识别；

所述对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果，包括：

在所述彩色相机的坐标系中识别出与所述图像区域对应的图像范围；

在所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果。

本申请的一些实施例中，所述在彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果，包括：

从所述彩色图像中截取所述图像范围内的图像块；

将所述图像块输入到用于检测抽屉的开关状态的神经网络，得到抽屉特征检测结果；

其中，所述神经网络是根据以下方法训练得到的：

获取训练样本，所述训练样本包括彩色图像以及标注的抽屉的开关状态；

根据所述训练样本训练所述神经网络。

本申请的一些实施例中，所述对所述深度图像进行物体检测，包括：

在所述深度图像中检测手部特征；

若检测到所述手部特征则表示在所述深度图像中检测到物体。

本申请的实施例提供的技术方案至少带来以下有益效果：

本申请提供一种智能冰箱及智能冰箱内的抽屉状态检测方法。在本申请中智能冰箱中增设深度传感器对抽屉的活动区域进行图像采集，得到深度图像；基于深度图像进行物体检测；当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；然后将识别的几何形状与预设的抽屉形状进行比对；最后根据比对的结果，确定抽屉的开关状态。由此，通过深度相机进行图像采集即可完成对抽屉的状态的识别，智能冰箱内将不需要每个抽屉都安装压力传感器和/或磁敏接触式传感器，以此解决了现有技术中智能冰箱结构复杂的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a-图1b为根据本申请一个实施例中的智能冰箱的结构示意图；

图2为根据本申请一个实施例的智能冰箱中的处理器的结构示意图；

图3为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的流程示意图之一；

图4a为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的平面示意图之一；

图4b为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法平面图之二；

图5为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的平面示意图之三；

图6为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的平面示意图之四；

图7为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的平面示意图之五。

图8a为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的平面示意图之六；

图8b为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的平面示意图之七；

图9为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的平面示意图之八；

图10为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的平面示意图之九；

图11为根据本申请一个实施例的智能冰箱内的抽屉状态检测方法的流程图之二。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语″中心″、″上″、″下”、″前″、″后″、″左″、″右″、″竖直″、″水平″、″顶″、″底″、″内″、″外″等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

术语″第一″、″第二″仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐合指明所指示的技术特征的数量。由此，限定有″第一″、″第二″的特征可以明示或者隐合地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，″多个″的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语″安装″、″相连″、″连接″应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

针对相关技术中，由于智能冰箱内的每个抽屉都要增加传感器部件，使得智能冰箱结构设计复杂。此外，相关技术中只能识别抽屉的开关两种状态，无法精确定位抽屉的开关程度。由此，本申请实施例中提供一种智能冰箱及智能冰箱内的抽屉状态检测方法。

下面结合附图对本申请实施进行详细的说明。

图1a和图1b示例性示出了本申请实施例提供的一种智能冰箱的结构。

如图1a所示，智能冰箱包括箱体10、制冷部(未在图中示出)以及其他附件(比如箱体内可设置照明灯、温度计等，未在图中示出)。制冷系统中主要组成有压缩机、冷凝器、蒸发器和毛细管节流器等部件，自成一个封闭的循环系统。其中，蒸发器可安装在智能冰箱内部的上方，其他部件安装在智能冰箱的背面。例如，存储器和处理器，未在图中示出。

箱体10安装有门体20，门体20上可进一步设置有显示屏60，显示屏60与处理器耦接(如通过电路连接)。

如图1b所示，智能冰箱上箱体10的顶板上还可设置深度相机30、彩色相机40和抽屉50，其中深度相机10用于对抽屉50的深度图像进行采集，彩色相机11用于对抽屉50的彩色图像进行采集。以便于智能冰箱能够对采集的图像进行几何形状识别，并与抽屉形状进行匹配。由此，实现对抽屉50进行精确定位。以箱体10的前侧面为第一平面，箱体10前侧区域至少包括已第一平面为基准，向智能冰箱外方向扩展一定距离的区域，深度相机和彩色相机可采集该区域的图像，即能够拍摄到抽屉50被拉出时的图像。

在一些实施例中，深度摄像机30和彩色相机40还可设置在箱体10的上方，可采集箱体区域内的图像，以便能够采集用户向智能冰箱中存入的食材的图像或采集用户从智能冰箱中取出的食材的图像。

智能冰箱的箱体10还包括储藏室60。储藏室60中可包括多个隔层(如图中的隔层60a至隔层60e)，以方便用户对不同食材进行分类存储。其中有些隔层为半开放式(如图中的隔层60a至60c)有些隔层为封闭式(如图中的60d至60e)。在一些实施例中，还可以在隔层设置重量传感器(未在图中示出)，以用来检测所在隔层中的食材的重量。

需要说明的是，图1a和图1b所示的智能冰箱的结构仅为一种示例，本申请实施例对智能冰箱的大小、以及对门体的数量(比如可以是单个门体，也可以是多个门体)以及其他附件的数量和类型等不做限制。比如，在一些实施例中，智能冰箱中设置有射频识别(Radio Frequency Identification，RFID)读写器，可用来读取食材包装上的RFID标签，以获取食材的种类和数量等信息。在另一些实施例中，智能冰箱还具有语音功能，能够识别输入的语音，以获取用户通过语音方式输入的食材的种类和数量等信息。

图2示例性示出了一种智能冰箱中的处理器的结构示意图，该处理器用于确定抽屉的开关状态、甚至可以识别抽屉的拉出长度。如图所示，处理器200与深度相机相连接。该处理器200可包括：深度图像采集模块201、物体检测模块202、深度图像识别模块203、抽屉状态确定模块204。

深度图像采集模块201，用于控制所述深度相机进行图像采集，得到深度图像；所述深度相机用于对所述抽屉的活动区域进行图像采集；

物体检测模块202，用于对所述深度图像进行物体检测；

深度图像识别模块203，用于当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；

抽屉状态确定模块204，用于根据比对结果，确定所述抽屉的开关状态。

本申请一些实施例中，所述处理器还包括：

彩色图像获取模块205，用于若识别的几何形状与所述预设的抽屉形状匹配时，获取所述彩色相机采集的彩色图像；

抽屉特征检测模块206，用于对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果；

所述抽屉状态确定模块204，还用于：

综合所述几何形状与所述预设的抽屉形状的比对结果以及所述抽屉特征检测结果，确定所述抽屉的开关状态。

本申请一些实施例中，所述处理器还包括：

长度确定模块207，用于在确定所述抽屉处于开启状态时，根据所述几何形状的边界识别所述抽屉的拉出长度。

本申请一些实施例中，所述长度确定模块207，还用于：

在所述深度相机的坐标系中，获取所述几何形状的目标边界的边界位置；所述目标边界为所述几何形状的远离所述箱体的前侧面的边界；

将所述目标边界的边界位置转换到智能冰箱坐标系下，得到所述目标边界在所述智能冰箱坐标系中的位置；

在所述智能冰箱坐标系中，确定所述目标边界的初始位置和所述目标边界的位置之间的差值，得到所述抽屉的拉出长度；其中所述初始位置为所述抽屉处于关闭状态时的位置。

本申请一些实施例中，所述深度图像识别模块203，还用于：

根据所述活动区域在所述深度相机的坐标系内的位置信息，从所述深度图像中截取所述活动区域的图像区域；

对所述图像区域进行几何形状识别；

所述抽屉特征检测模块206，还用于：

在所述彩色相机的坐标系中识别出与所述图像区域对应的图像范围；

在所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果。

在本申请一些实施例中，所述抽屉特征检测模块206，还用于：

从所述彩色图像中截取所述图像范围内的图像块；

将所述图像块输入到用于检测抽屉的开关状态的神经网络，得到抽屉特征检测结果；

其中，所述神经网络是根据以下方法训练得到的：

获取训练样本，所述训练样本包括彩色图像以及标注的抽屉的开关状态；

根据所述训练样本训练所述神经网络。

在本申请一些实施例中，所述物体检测模块202，还用于：

在所述深度图像中检测手部特征；

若检测到所述手部特征则表示在所述深度图像中检测到物体。

如图3所示，图3为本申请中的一种抽屉的状态检测方法的流程示意图，可包括以下步骤：

步骤301：控制所述深度相机进行图像采集，得到深度图像；

步骤302：对所述深度图像进行物体检测；

在一个实施例中，在所述深度图像中检测手部特征，若检测到所述手部特征则表示在所述深度图像中检测到物体。由此，当检测到手部特征时，需要对所述深度图像进行几何形状识别。

步骤303：当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；

步骤304：将识别的几何形状与预设的抽屉形状进行比对；

步骤305：根据比对结果，确定所述抽屉的开关状态。

需要说明的是：当所述识别的几何形状与预设的抽屉形状不匹配时，则确定所述抽屉处于关闭状态；当所述识别的几何形状与预设的抽屉形状匹配时，则确定所述抽屉处于开启状态。

由此，本申请通过将智能冰箱中增设深度传感器对抽屉的活动区域进行图像采集，得到深度图像；基于深度图像进行物体检测；当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；然后将识别的几何形状与预设的抽屉形状进行比对；最后根据比对的结果，确定抽屉的开关状态。由此，通过深度相机进行图像采集即可完成对抽屉的状态的识别，智能冰箱内将不需要每个抽屉都安装压力传感器和/或磁敏接触式传感器，以此解决了现有技术中智能冰箱结构复杂的问题。

由于深度相机的分辨率比较低，并且噪声比较大，所以本申请引入了彩色相机进行二次检测。以提高抽屉状态检测的准确率。其中，深度相机与彩色相机视野如图4a所示。图4a为深度相机和彩色相机在智能冰箱正面的视野范围。图4b为智能冰箱的侧视图中深度相机和彩色相机的视野范围，视野范围包括抽屉的活动区域。

若将本申请上述的几何形状确定为抽屉把手和抽屉开口构成的上表面的形状，则当智能冰箱拉出时，深度相机和彩色相机分别对该几何形状进行图像采集，由于抽屉的开口过大，随着抽屉被拉出，可能采集到的抽屉储物空间内图像的形状是不相同。由此，会影响抽屉的状态检测结果。所以，在本申请实施例中，前文所述的几何形状在本申请实施例中，为所述抽屉的把手的轮廓。由于智能冰箱一般是规则的长方体，并且尺寸不是很大，所以当智能冰箱拉出时，不管拉出的长度是多少，都能采集到抽屉把手的形状。由此，可以提高抽屉状态检测的准确率。

下面以抽屉把手为例，对确定抽屉的活动区域进行详细的说明：

如图5所示，以智能冰箱箱体前侧面的中轴线与智能冰箱的箱体上边缘的交点为原点建立智能冰箱坐标系。其中，冰箱平行智能冰箱的顶板的平面构成XOZ平面，O为智能冰箱坐标系的原点。X轴为智能冰箱坐标系的横坐标轴，Y轴为智能冰箱坐标系的竖坐标轴，Z轴为智能冰箱坐标系的纵坐标轴。根据抽屉把手的四个特征点(如抽屉把手的顶点)位置坐标，确定抽屉把手的运动区域，可以将抽屉把手的在抽屉开关状态之间的运动区域确定为智能冰箱的抽屉的活动区域。即为图5中灰色的区域。由此，通过仅对抽屉的活动区域进行检测，减小检测的数据量，可以节省计算资源。

在一个实施例中，由于深度相机的深度数据噪声较多，故此为了提高检测结果的准确性，可以进一步结合彩色图像的对抽屉的状态进行检测。可实施为：若识别的几何形状与所述抽屉形状匹配时，获取所述彩色相机采集的彩色图像；所述彩色相机用于对所述抽屉的活动区域进行图像采集；对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果；在一个可能的实施例中，综合两张图像的结果确定抽屉状态，可具体实施为：

方式一：当几何形状(即为抽屉把手轮廓)与预设的抽屉形状(预设的抽屉把手轮廓)的比对结果和抽屉特征检测结果不同时，将基于彩色相机的识别结果作为抽屉状态检测的最终结果。例如，若几何形状与预设的抽屉形状的比对结果为未识别到抽屉。但是抽屉特征检测结果为识别到抽屉，则抽屉状态的检测结果为确定抽屉为打开状态。

方式二：当几何形状与预设的抽屉形状的比对结果为匹配度时，抽屉特征检测结果为识别到抽屉特征的可信度时，则将匹配度和可信度分别与各自的权重进行相乘后，进行作加法运算得到的结果作为最终的匹配数值，若最终的匹配数值符合指定匹配数值范围，则确定识别到抽屉。

可根据公式(1)计算最终的匹配数值W：

W＝A*a+B*b.........(1)；

其中，A为匹配度，a为匹配度A的权重；B为可信度，b为可信度B的权重。

例如，几何形状与预设的抽屉形状的匹配度为60％，识别到抽屉的可信为80％，若匹配度的权重为0.4。可信度的权重为0.6，则根据上述公式(1)确定出最终的匹配数值W为72％，若指定匹配数值范围为大于55％，则确定出最终的匹配数值在指定范围内，则确定识别到抽屉。

由此，本申请通过综合所述几何形状与所述预设的抽屉形状的比对结果以及所述抽屉特征检测结果，来确定抽屉的识别结果。可以使得抽屉的识别结果更加准确。

在本申请一些实施例中，前文所述的对所述深度图像进行几何形状识别，可具体实施为：根据所述活动区域在所述深度相机的坐标系内的位置信息，从所述深度图像中截取所述活动区域的图像区域；对所述图像区域进行几何形状识别。如图6所示，其中，601为深度相机，602为抽屉把手的活动区域，603为抽屉把手的上表面。604为截图的活动区域的图像区域。由此，通过截取识别的区域来减少计算量，可以节省计算资源。

在一个实施例中，所述的对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果，可具体实施为：在所述彩色相机的坐标系中识别出与所述图像区域对应的图像范围；在所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果。

由此，通过缩减图像检测范围来减小计算量，可以节省计算资源。

前文所述抽屉特征检测结果可以通过神经网络得到，在一个实施例中，从所述彩色图像中截取所述图像范围内的图像块；将所述图像块输入到用于检测抽屉的开关状态的神经网络，得到抽屉特征检测结果。

其中，神经网络是根据以下方法训练得到的：

获取训练样本，所述训练样本包括彩色图像以及标注的抽屉的开关状态；

根据所述训练样本训练所述神经网络。

由此，可以通过训练神经网络来得到抽屉特征检测结果。

本申请在确定所述抽屉处于开启状态时，还可以进一步根据所述几何形状的边界识别所述抽屉的拉出长度，可实施为：

在所述深度相机的坐标系中，获取的所述几何形状目标边界的边界位置坐标；所述目标边界为所述几何形状的远离所述智能冰箱的箱体的前侧面的边界；例如，图7为抽屉把手在深度相机坐标系中的平面图，其中，箱体的前侧面为X轴与Y轴所组成的平面。其中，701为深度相机。702为抽屉把手的上表面。抽屉把手的目标边界为图中的AB边(或阴影区域)。X′为深度相机坐标系中的横坐标轴，Y′为深度相机坐标系中的竖坐标轴，Z′为深度相机坐标系中的纵坐标轴。

将所述目标边界的边界位置坐标转换到智能冰箱坐标系下，得到所述目标边界在所述智能冰箱坐标系中的位置；如图8a所示，图8a为抽屉把手在智能冰箱坐标系中的平面图，其中X轴表示智能冰箱坐标系的横坐标轴，Y轴表示智能冰箱坐标系的竖坐标轴，Z轴表示智能冰箱坐标系的纵坐标轴。其中，由于Y轴与智能冰箱的顶板所在平面垂直(图中未示出)。其中，801为抽屉把手。图8b为抽屉把手在智能冰箱坐标系中的立体图。在所述智能冰箱坐标系中、其中AB边为抽屉把手的边界(即目标边界)。以抽屉处于关闭状态时目标边界的位置为目标边界的初始位置，然后确定所述目标边界AB的初始位置和所述目标边界在位置之间的差值，得到所述抽屉拉出的长度。

需要说明的是，之所以要将深度相机的坐标系中的目标边界的位置转换至智能冰箱坐标系中，是因为智能冰箱坐标系与深度相机的坐标系存在偏转角度，如图9所示，图9中在智能冰箱坐标系中的A点坐标对应深度相机的坐标系中的A′点。

下面以抽屉把手为例，对确定智能冰箱拉出的长度进行详细的说明，可包括以下两种方式：

方式一：获取抽屉把手的目标边界中的任意一点A′在深度相机的坐标系中的位置为(Xa′，Yb′，Zc′)。然后将该位置进行坐标系转换，得到与该点在智能冰箱坐标系相对应点A的位置(Xa，Yb，Zc)。并确定A点的在智能冰箱坐标系中的初始位置。例如，初始位置为(Xa，Yb，Zc₁)。然后将位置与初始位置的差值确定为抽屉的拉出长度，即L＝Zc-Zc₁。

方式二：获取目标边界中的指定数量的点在深度坐标系中的位置。然后将指定数量的点的位置进行坐标系转换，得到指定数量的点在智能冰箱坐标系中的位置。并确定指定数量的点的位置的均值。然后确定各点在智能冰箱坐标系中的初始位置，并确定各点的初始位置的均值。将位置的均值与初始位置的均值确定为抽屉拉出的长度。其中，指定数量的点的位置可以通过等距采样的方式获取。可以更好的消除误差。例如，可以在图7中的AB边中进行等距采样，可以得到执行数量的点的位置。例如，如图10所示，可以得到12个点的位置。

由此，本申请通过确定抽屉的目标边界在智能冰箱坐标系中的目标边界与初始目标边界的差值，确定抽屉拉出的长度。由此，可以精确定位抽屉拉出的长度。

下面，结合图11，对本申请实施例进行详细的介绍，可包括以下步骤：

步骤1101：控制所述深度相机进行图像采集，得到深度图像；

步骤1102：在所述深度图像中是否检测到物体；

步骤1103：当在深度图像中未检测到物体时，则返回执行步骤1101；

步骤1104：当在所述深度图像中检测到物体时，根据所述活动区域在所述深度相机的坐标系内的位置信息，从所述深度图像中截取所述活动区域的图像区域；

步骤1105：识别所述几何形状与所述预设的抽屉形状是否匹配；

步骤1106：不匹配，则返回执行步骤1101；

步骤1107：匹配，则获取所述彩色相机采集的彩色图像；

步骤1108：在所述彩色相机的坐标系中识别出与所述图像区域对应的图像范围；

步骤1109：在所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果；

步骤1110综合所述几何形状与所述预设的抽屉形状的比对结果以及所述抽屉特征检测结果，确定所述抽屉的开关状态；

步骤1111：当确定所述抽屉处于开启状态时，在所述深度相机的坐标系中，获取所述几何形状的目标边界的边界位置；所述目标边界为所述几何形状的远离所述智能冰箱的箱体的前侧面的边界；

步骤1112：将所述目标边界的边界位置转换到智能冰箱坐标系下，得到所述目标边界在所述智能冰箱坐标系中的位置；

步骤1113：在所述智能冰箱坐标系中，确定所述目标边界的初始位置和所述目标边界的位置之间的差值，得到所述抽屉的拉出长度。

在一些可能的实施方式中，本申请提供的一种智能冰箱内的抽屉状态检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种智能冰箱内的抽屉状态检测方法中的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取计算机存储介质(RAM)、只读计算机存储介质(ROM)、可擦式可编程只读计算机存储介质(EPROM或闪存)、光纤、便携式紧凑盘只读计算机存储介质(CD-ROM)、光计算机存储介质件、磁计算机存储介质件、或者上述的任意合适的组合。

本申请的实施方式的用于智能冰箱内的抽屉状态检测的程序产品可以采用便携式紧凑盘只读计算机存储介质(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如″C″语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘计算机存储介质、CD-ROM、光学计算机存储介质等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读计算机存储介质中，使得存储在该计算机可读计算机存储介质中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种智能冰箱，其特征在于，包括：

箱体，所述箱体内设置有抽屉；

深度相机，设置在所述箱体的顶板上，用于对所述抽屉的活动区域进行图像采集；

彩色相机，与所述深度相机并排设置在所述箱体的顶板上，用于对所述抽屉的活动区域进行图像采集；

存储器，用于存储可被处理器执行的计算机程序；

所述处理器，分别与所述深度相机和所述存储器连接，被配置为：

控制所述深度相机进行图像采集，得到深度图像；

对所述深度图像进行物体检测；

当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；

将识别的几何形状与预设的抽屉形状进行比对；

根据比对结果，确定所述抽屉的开关状态；

若识别的几何形状与所述预设的抽屉形状匹配时，获取所述彩色相机采集的彩色图像；

对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果；

当所述几何形状与预设的抽屉形状的比对结果与所述抽屉特征检测结果不匹配时，则基于所述彩色相机的识别结果确定所述抽屉的开关状态；

当所述几何形状与预设的抽屉形状的比对结果为匹配，且匹配结果包括匹配度，抽屉特征检测结果为识别到抽屉特征的可信度时，则将所述匹配度和所述可信度分别与各自的权重进行相乘后，进行作加法运算得到的结果作为最终的匹配数值，并基于所述匹配数值确定所述抽屉的开关状态。

2.根据权利要求1所述的智能冰箱，其特征在于，所述处理器还被配置为：

在确定所述抽屉处于开启状态时，根据所述几何形状的边界识别所述抽屉的拉出长度。

3.根据权利要求2所述的智能冰箱，其特征在于，所述处理器执行所述根据所述几何形状的边界识别所述抽屉的拉出长度时，被配置为：

在所述深度相机的坐标系中，获取所述几何形状的目标边界的边界位置；所述目标边界为所述几何形状的远离所述箱体的前侧面的边界；

将所述目标边界的边界位置转换到智能冰箱坐标系下，得到所述目标边界在所述智能冰箱坐标系中的位置；

在所述智能冰箱坐标系中，确定所述目标边界的初始位置和所述目标边界的位置之间的差值，得到所述抽屉的拉出长度；其中所述初始位置为所述抽屉处于关闭状态时的位置。

4.根据权利要求1所述的智能冰箱，其特征在于，所述处理器执行所述对所述深度图像进行几何形状识别时，被配置为：

根据所述活动区域在所述深度相机的坐标系内的位置信息，从所述深度图像中截取所述活动区域的图像区域；

对所述图像区域进行几何形状识别；

所述处理器执行所述对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果时，被配置为：

在所述彩色相机的坐标系中识别出与所述图像区域对应的图像范围；

在所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果。

5.根据权利要求4所述的智能冰箱，其特征在于，所述处理器在执行所述彩色图像的所述图像范围内进行抽屉特征检测，得到抽屉特征检测结果时，被配置为：

从所述彩色图像中截取所述图像范围内的图像块；

将所述图像块输入到用于检测抽屉的开关状态的神经网络，得到抽屉特征检测结果；

其中，所述神经网络是根据以下方法训练得到的：

获取训练样本，所述训练样本包括彩色图像以及标注的抽屉的开关状态；

根据所述训练样本训练所述神经网络。

6.根据权利要求1所述的智能冰箱，其特征在于，所述处理器执行所述对所述深度图像进行物体检测时，被配置为：

在所述深度图像中检测手部特征；

若检测到所述手部特征则表示在所述深度图像中检测到物体。

7.一种智能冰箱内的抽屉状态检测方法，其特征在于，所述方法包括：

控制深度相机进行图像采集，得到深度图像；所述深度相机用于对所述抽屉的活动区域进行图像采集；

对所述深度图像进行物体检测；

当在所述深度图像中检测到物体时，对所述深度图像进行几何形状识别；

将识别的几何形状与预设的抽屉形状进行比对；

根据比对结果，确定所述抽屉的开关状态；

若识别的几何形状与所述预设的抽屉形状匹配时，获取彩色相机采集的彩色图像；所述彩色相机用于对所述抽屉的活动区域进行图像采集；

对所述彩色图像进行抽屉特征检测，得到抽屉特征检测结果；

当所述几何形状与预设的抽屉形状的比对结果与所述抽屉特征检测结果不匹配时，则基于所述彩色相机的识别结果确定所述抽屉的开关状态；

当所述几何形状与预设的抽屉形状的比对结果为匹配，且匹配结果包括匹配度，抽屉特征检测结果为识别到抽屉特征的可信度时，则将所述匹配度和所述可信度分别与各自的权重进行相乘后，进行作加法运算得到的结果作为最终的匹配数值，并基于所述匹配数值确定所述抽屉的开关状态。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

在确定所述抽屉处于开启状态时，根据所述几何形状的边界识别所述抽屉的拉出长度。

Images