CN113091390A - 一种冰箱 - Google Patents

Abstract

本发明公开一种冰箱，冰箱包括：机壳；至少一个冰箱门；感知模组包括相机组件，用于拍摄存取开口对应的检测区域的第一图像；控制器与相机组件和外置相机电连接，外置相机用于拍摄冰箱前侧的第二图像；控制器被配置为：根据外置相机发送的第二图像，识别第二图像中是否仅有目标对象；如果第二图像中仅有目标对象，则追踪目标对象的是否位于存取操作区域；如果目标对象位于存取操作区域，响应于接收到的开门指令，控制相机组件启动；根据相机组件发送的第一图像，识别目标对象的操作类型以及食物种类；如果操作类型为取操作，并且食物种类为特定食物时，进行行为限制处理。本发明实现了对目标对象从冰箱内拿取特定食物的行为检测，检测准确性高。

Description

一种冰箱

技术领域

本发明涉及智能家电技术领域，尤其涉及一种冰箱。

背景技术

冰箱是生活中常用的电器设备，通过对食物进行制冷，比如冷藏或冷冻，实现食物的保鲜储存。用户可以将食物存放入冰箱，也可以从冰箱中取出所需的食物，然而申请人在实践过程中发现，目前的智能冰箱尚无法实现对“目标对象拿取特定食物”这一行为的检测，例如，在其中一种应用场景中，很多冰箱中会存放冰淇淋、雪糕、碳酸饮料等食物，在无监护人陪同或限制的情况下，儿童可以随时开冰箱门取出这类食物，而如果儿童过多地摄入这类食物，将不益于身体健康，即这种应用场景对应的目标对象为儿童，特定食物为不利于儿童健康的食物。

发明内容

本发明提供一种冰箱，以实现对目标对象拿取特定食物的行为检测。

本发明提供一种冰箱，包括：

机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；

至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；

设置在所述机壳上的感知模组，所述感知模组包括相机组件，用于拍摄所述存取开口对应的检测区域的第一图像；

控制器，所述控制器与所述相机组件和外置相机电连接，所述外置相机用于拍摄冰箱前侧的第二图像，所述控制器被配置为：

根据所述外置相机发送的第二图像，识别所述第二图像中是否仅有目标对象；

如果所述第二图像中仅有目标对象，则追踪所述目标对象的是否位于存取操作区域；

如果所述目标对象位于存取操作区域，响应于接收到的开门指令，控制所述相机组件启动；根据所述相机组件发送的第一图像，识别所述目标对象的操作类型以及食物种类，其中，所述操作类型为存操作或取操作；如果所述操作类型为取操作，并且所述食物种类为特定食物时，进行行为限制处理。

在第一种可能的实现方式中，所述相机组件包括彩色相机和深度相机，所述第一图像包括所述彩色相机拍摄的彩色图像以及所述深度相机拍摄的深度图像，则所述控制器被进一步配置为：

在所述彩色图像中提取感兴趣区域，并从所述感兴趣区域中识别食物种类；

根据所述深度图像，识别所述目标对象的操作类型。

在第二种可能的实现方式中，所述控制器被配置为按照如下方式识别所述目标对象的操作类型；

从所述深度图像中提取手部特征区域；

对所述手部特征区域中的各像素点进行聚类，得到手部质心；

追踪所述手部质心的运动轨迹；

根据所述运动轨迹的方向和食物种类识别结果，确定所述目标对象的操作类型。

在第三种可能的实现方式中，所述控制器被配置为按照如下方式追踪所述目标对象的是否位于存取操作区域：

从所述第二图像中提取所述目标对象的人体区域框；

追踪所述人体区域框的位置变化；

如果所述人体区域框的中心点进入所述存取操作区域内，确定所述目标对象位于所述存取操作区域。

在第四种可能的实现方式中，所述控制器被进一步配置为：

判断所述目标对象是否位于所述第二图像的画面边缘；

如果所述目标对象位于所述第二图像的画面边缘，则确定连续若干帧第二图像中所述目标对象的相对位置偏差是否满足追踪条件；

如果连续若干帧第二图像中所述目标对象的相对位置偏差不满足追踪条件，则结束对当前人体区域框的追踪。

在第五种可能的实现方式中，所述控制器被配置为按照如下方式确定连续若干帧第二图像中所述目标对象的相对位置偏差是否满足追踪条件：

对连续若干帧中每相邻两帧第二图像中的人体区域框进行交运算；

对连续若干帧中每相邻两帧第二图像中的人体区域框进行并运算；

根据交运算和并运算的运算结果，计算交并比；

判断所述交并比是否大于预设阈值；

如果所述交并比大于预设阈值，则确定不满足追踪条件。

在第六种可能的实现方式中，所诉控制器被进一步配置为：

接收所述外置相机在人脸注册模式下发送的人脸图像；

获取与所述人脸图像对应的特定食物信息；

存储所述人脸图像以及所述人脸图像与所述特定食物信息的对应关系。

在第七种可能的实现方式中，所述冰箱还包括操作面板和锁定模块，所述操作面板和锁定模块分别与所述控制器电连接，所述控制器被配置为按照如下方式进行行为限制处理：控制所述锁定模块将所述操作面板锁定。

在第八种可能的实现方式中，所述感知模组还包括扬声器，所述扬声器与所述控制器电连接，所述控制器被配置为按照如下方式进行行为限制处理：控制所述扬声器播报第一提示信息。

在第九种可能的实现方式中，所述冰箱还包括通信器，所述通信器与所述控制器电连接，所述控制器被配置为按照如下方式进行行为限制处理：通过所述通信器，向与所述目标对象有关的关联用户的终端设备发送第二提示信息。

在第十种可能的实现方式中，所述感知模组还包括语音输入设备和驱动机构，所述语音输入设备和所述驱动机构分别与所述控制器电连接，所述相机组件、所述扬声器和所述语音输入设备集成在同一个感知模块中，所述感知模块与所述驱动机构连接，所述感知模块初始位置在冰箱的顶部，则所述控制器被进一步配置为：

响应于接收到的开门指令，控制所述驱动机构将所述感知模块输送到所述检测区域对应的位置；以及，响应于接收到的关门指令，控制所述驱动机构将所述感知模块复位到所述初始位置；

其中，所述开门指令为根据开门动作生成的高电平信号，或者为在识别出用户通过语音输入设备输入的开门指示信息后生成的开门信号；

所述关门指令为根据关门动作生成的低电平信号，或者为在识别出用户通过语音输入设备输入的关门指示信息后生成的关门信号。

本发明提供的技术方案具备如下有益效果：利用外置相机拍摄冰箱前侧空间的画面，即第二图像，控制器通过第二图像确定是否有目标对象进入到存取操作区域；当打开冰箱门时，即打开了存取开口，存取开口所处的位置对应于检测区域，当目标对象的手部进出检测区域时，相机组件可以拍摄第一图像，控制器通过第一图像可以识别食物种类，并且识别目标对象的操作类型，当操作类型为取操作，并且取出的食物种类为特定食物时，即满足于冰箱内拿取特定食物。当满足目标对象进入存取操作区域，同时满足于冰箱内拿取特定食物，即检测出目标对象从冰箱内拿取特定食物这一行为成立，控制器可以给出相应的限制处理方式。本发明可以实现冰箱对目标对象从冰箱内拿取特定食物的行为检测，并且检测准确性高，扩展了冰箱的功能，并且增强了用户与冰箱之间的交互体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例示出的冰箱整体结构俯视图；

图2为本发明实施例示出的冰箱门关闭时冰箱的正面结构示意图；

图3为本发明实施例示出的冰箱门打开时冰箱的正面结构示意图；

图4为本发明实施例示出的冰箱侧面结构示意图；

图5为本发明实施例示出的感知模块的仰视图；

图6为本发明实施例示出的相机组件的FOV范围示意图；

图7为本发明实施例示出的冰箱结构连接框图；

图8为本发明实施例示出的冰箱进行目标对象拿取特定食物的行为检测原理图；

图9为本发明实施例示出的目标对象进入存取操作区域的检测流程图；

图10为本发明实施例示出的手部跟追算法的原理图；

图11为本发明实施例示出的一种冰箱的控制方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的关键在于实现冰箱对目标对象拿取特定食物的行为检测，目标对象可以是家庭成员中对从冰箱中拿取食物有特殊限制的人，比如包括但不限于儿童、病人、老人或者孕妇等。这里所述的特定食物是与目标对象对应的食物种类，可以是不利于目标对象身体健康的食物，比如对于儿童，可以预设其对应的特定食物信息包括冰淇淋、雪糕、碳酸饮料等；又比如，对于孕妇，可以预设其对应的特定食物信息包括螃蟹、薏米、山楂等。

本申请主要基于图像采集和图像处理等技术实施上述行为的检测，为便于识别拿取食物的用户是否为目标对象，可以在冰箱系统中建立人脸数据库，通过相机采集家庭成员的人脸图像，并将人脸图像录入和存储在人脸数据库中，便于后续的人脸识别。对于家庭成员中的目标对象，可以由与其有关的关联用户选择特定食物，比如目标对象为儿童时，所述关联用户可以是该儿童的监护人。

在具体实现中，冰箱上可以设置有显示屏60，显示屏60中可以显示食物库、当前冰箱内存放的食物、食物存放位置和存放时间等信息，方便用户了解冰箱内食物的存储状态。显示屏60可以支持触屏操作，关联用户可以通过冰箱上的显示屏60在食物库中选取对应的特定食物，或者用户可以通过输入按键来输入特定食物的名称，又或者，对于支持语音识别的冰箱，用户可以通过语音输入特定食物的名称。需要说明的是，特定食物的预设方式不限于本实施例所列举的几种方式。当特定食物选择完成时，可以生成特定食物信息，并在人脸数据库中保存目标对象的人脸图像与特定食物信息的对应关系。

如图1～图4所示，冰箱可以放置在厨房等室内空间中，冰箱整体上至少包括机壳10、冰箱门20、感知模组30和控制器50。本发明中冰箱需要配备一个外置相机40，外置相机40安装在厨房墙体上，其安装位置要适应于拍摄到冰箱前侧区域内的场景图像，即本实施例中所述的第二图像。

其中，机壳10内包括储藏室101，储藏室101可以具体规划为冷藏室和冷冻室，冷藏室和冷冻室可以上下分布或左右分布，冷藏室和冷冻室的容量配比不作限定。对于冷藏室和冷冻室，其室内空间比如可以沿竖直方向设置多个置物架，从而将室内空间划分多个层位，便于用户对食物进行分类放置和管理。需要说明的是，冰箱储藏室的结构和空间利用方式不限于本实施例所述。储藏室101的前侧，即储藏室101与冰箱门20的连接侧设置有存取开口102，通过存取开口可以方便用户从储藏室内存放或取出食物。

冰箱门20与机壳10连接，比如可采用枢转连接等方式，以使冰箱门20能够沿与机壳10的连接端转动，实现冰箱门20的开合，从而打开或关闭存取开口102，便于用户存取食物，并且保证冰箱的储藏室101的密封性。冰箱门20的数量至少为一个，冰箱门20的数量和安装位置应适应于储藏室的规划。

感知模组30包括感知模块301和驱动机构302，感知模块301和驱动机构302之间机械连接，如图5所示，感知模块301中集成有相机组件301A、扬声器301B和语音输入设备301C等设备，相机组件301A、扬声器301B、语音输入设备301C和驱动机构302分别与控制器50电连接，实现控制器对各电器设备的电控制。其中，语音输入设备301C可以是麦克风，麦克风可采用线性4麦，即在感知模块301的底部上均匀分布4个麦克风孔，扬声器301B可以设置在感知模块301的侧面，以增加麦克风与扬声器301B之间的距离。

相机组件301A可以采用常规的彩色相机，或者，可选地，相机组件301A可以包括彩色相机301A-1和深度相机301A-2，彩色相机301A-1和深度相机301A-2的视窗都设置在感知模块301的底部，使得两个相机的视野范围朝下，即拍摄出的图像是视野内场景的俯视图，感知模组30可以设置在冰箱的顶部，当冰箱门20处于关闭状态时，感知模块301位于初始位置，所述初始位置可以是冰箱顶部的中央，这时彩色相机301A-1和深度相机301A-2的拍摄视野会被遮挡，从而可以保证用户的隐私安全。驱动机构302可以由电机驱动运转，驱动机构302可以采用履带式驱动机构，即通过履带的传动来输送感知模块301，从而调节感知模块301的位置，驱动机构302不限于本实施例所述，比如还可采用弹动式，控制感知模块301弹出至指定的工作位置。

具体地，控制器50响应于接收到的开门指令，控制驱动机构302将感知模块301输送到检测区域对应的位置，即感知模块301是在冰箱门20打开时才会达到检测区域对应的位置，以使相机组件301A启动第一图像的拍摄工作，便于后续进行食物种类和操作类型的识别；以及，控制器50响应于接收到的关门指令，控制驱动机构302将感知模块301复位到所述初始位置，即在冰箱门20关闭时，感知模块301要位于初始位置处，起到隐藏感知模组30的目的，这样既可以保证冰箱外观的美观性，还可以保证用户的隐私安全。

开门指令和关门指令可以是根据用户的开关门动作生成电平信号，比如可以在冰箱门20上设置感应器，用以感应用户的开关门动作，开门指令为根据开门动作生成的高电平信号，关门指令为根据关门动作生成的低电平信号；或者，开门指令和关门指令也可以由用户通过语音进行控制生成，冰箱中还可包括语音识别系统，语音输入设备将音频信号发送给语音识别系统，并由语音识别系统对音频信号进行识别，则开门指令为在识别出用户通过语音输入设备输入的开门指示信息后生成的开门信号，关门指令为在识别出用户通过语音输入设备输入的关门指示信息后生成的关门信号，比如用户对准麦克风说出“开门”，则语音识别系统识别后生成开门指令，并将指令发给控制器50，控制器50根据开门指令控制驱动机构302将感知模块301移动至检测区域的位置，同时控制冰箱门20打开，通过语音控制冰箱门20启闭时，可以在冰箱门20上设置门控装置，控制器50给门控装置发送控制指令，则门控装置根据控制指令即可控制冰箱门20打开或关闭。

当冰箱门20被打开时，控制器50控制驱动机构302工作，驱动机构302会带动感知模块301移动至冰箱前侧且位于存取开口102上方的位置，这时相机组件301A的视野没有遮挡，可以拍摄检测区域的第一图像，这里所述的检测区域是对应于存取开口102一定范围内的空间区域，也即相机组件301A的拍摄视野范围对应的区域，如图6所示，示出了冰箱正面和侧面视向下，相机组件301A的FOV(Field Of View，视场角)范围，冰箱正面视向下，FOV为角度α，视野可以涵盖存取开口102和冰箱门20内侧的大部分区域；冰箱侧面视向下，FOV为角度β，视野可以涵盖储藏室101的部分区域以及冰箱前侧一定高度范围内的区域。可选地，可以在感知模组30中设置反射光路，提高α和β的角度值，以增大相机组件301A的视野范围，降低相机组件301A的拍摄盲区，有利于提高检测的准确性。

当相机组件301A包括彩色相机301A-1和深度相机301A-2时，相机组件301A相当于RGBD相机，则本实施例所述的第一图像包括所述彩色相机301A-1拍摄的彩色图像以及所述深度相机301A-2拍摄的深度图像，即相机组件301A同一时刻可以输出一帧彩色图像以及一帧与彩色图像对应的深度图像。

其中，彩色相机301A-1可以拍摄彩色图像，彩色相机301A-1可以采用RGB相机等，通过对彩色图像进行处理和计算，可以准确地识别手部存取的食物种类，在手部进出存取开口102时，彩色相机301A-1拍摄检测区域的彩色图像，在彩色图像中提取ROI(Region OfInteres t，感兴趣区域)，ROI对应于手部和食物的区域，通过提取ROI的区域图像可以降低计算量和传输的数据量，也能提升食物识别的实时性、准确性和效率，ROI可以根据实际经验和硬件参数等进行设定；在提取出彩色图像的ROI后，可以采用现有的一些食材识别算法来识别存取食物的种类，比如使用基于CNN模型进行识别，CNN也叫Convnet，中文名称为卷积神经网络,是计算机视觉领域常用的一种深度学习模型，具体可参照相关现有技术，本实施例不再赘述。需要说明的是，食物种类识别的算法不作限定。

深度相机301A-2可以拍摄出深度图像，深度相机301A-2比如可以选取TOF(TimeOf Fl ight，飞行时间)相机或双目结构光深度相机等，深度图像(depth image)也被称为距离影像，是指将图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状，深度图像经过坐标转换可以计算为三维点云数据。由于深度图像中具有场景的深度信息，可以更利于准确捕捉和追踪手部的运动轨迹，从而提高目标对象操作类型识别的准确性，这里所述的操作类型包括存操作和取操作，存操作是指人向冰箱内存放食物的操作，取操作是指人从冰箱内取出食物的操作。

外置相机40与控制器50电连接，外置相机40可以采用RGB相机，参照图1，外置相机40可固定安装在厨房的墙体上，并适应性调节外置相机40的安装高度，以使外置相机40的FOV能够较好地覆盖冰箱前侧的空间区域，从而便于人脸识别以及人体运动追踪，该空间区域要包括存取操作区域。

外置相机40可以设置两种工作模式，第一种是常规工作模式，用于拍摄冰箱前侧的第二图像，以便通过第二图像识别进入外置相机40拍摄视野内的用户是否为目标对象，以及追踪目标对象的运动位置变化，从而确定目标对象是否进入存取操作区域，如图1所示，存取操作区域为冰箱前侧，便于用户进行存取操作时的站立空间区域，比如可以通过用户与冰箱门20的表面之间的距离来衡量存取操作区域的范围，存取操作区域可以根据实际情况进行设定。当目标对象进入存取操作区域，即认为目标对象可能有意愿从冰箱存取食物。

第二种为人脸注册模式，在这种工作模式下，外置相机40可以拍摄家庭成员的人脸图像，控制器50接收外置相机40在人脸注册模式下发送的人脸图像，就可以将人脸图像和面部数据等信息预先录入到人脸数据库中，以便后续为人脸识别提供数据支撑。如果家庭成员中存在目标对象，则控制器50获取与人脸图像对应的特定食物信息，特定食物信息的获取可以来源于关联用户通过显示屏60在食物库中选取对应的特定食物，或者用户通过输入按键输入的特定食物的名称，又或者用户通过语音输入的特定食物的名称等方式，然后可以在人脸数据库中存储人脸图像以及人脸图像与特定食物信息的对应关系，这样当识别出第二图像中有目标对象存在时，即可确定该目标对象对应有哪些特定食物是不可以从冰箱中拿取的。

本实施例中所述的控制器50为冰箱的总控制系统，如图7所示，控制器50分别与外置相机40、感知模组中的相机组件301A、扬声器301B、语音输入设备301C和驱动机构302电连接，可用于对彩色图像、深度图像、音频数据等信息进行处理，从而检测“目标对象从冰箱内拿取特定食物”的行为检测，并在这一行为成立时，给出行为限制处理，同时控制器50还可承担人脸数据库、与外部终端设备通讯等功能。

如图8所示，本申请行为检测的原理为：通过感知模组30获取的数据(包括第一图像和通过语音输入设备301C输入的音频数据等)，检测事件1“从冰箱内取出特定食物”；通过外置相机40获取的第二图像，检测事件2“目标对象进入存取操作区域”。事件1和事件2同时成立，则认为目标事件“目标对象从冰箱内拿取特定食物”成立，则给出行为限制处理方式。

具体地，所述控制器被配置为：

(a)根据所述外置相机发送的第二图像，识别所述第二图像中是否仅有目标对象。

控制器50可以从第二图像中提取进入拍摄视野范围的用户的人脸区域，然后基于人脸数据库，进行人脸识别，人脸识别是比较成熟的技术，可以参照现有的人脸识别方法进行计算，本发明不作限定。通过人脸识别可以识别出第二图像中的人脸数量以及人脸是否为目标对象，如果人脸识别的结果是人脸数量为一个，并且人脸区域的人脸特征符合预设的目标对象的人脸特征，则说明第二图像中仅有目标对象，这种情况下，目标对象没有关联用户陪同和约束，可能因缺乏自制能力、饮食常识或者误拿取等因素而取出了对应的特定食物，从而有必要在目标事件成立的条件下，由冰箱给出行为限制处理。

(b)，如果所述第二图像中仅有目标对象，则追踪所述目标对象的是否位于存取操作区域。

(a)和(b)为确定事件2是否成立的步骤。在识别出外置相机40的拍摄区域内只有目标对象进入后，需要对目标对象进行运动追踪，实时获得目标对象在厨房中的位置，从而确定目标对象是否进入存取操作区域，具体来说，可以根据目标对象的脸部和身体的空间位置几何关系，比如人脸的宽高、人脸倾角斜度等，从第二图像中提取目标对象的人体区域框，所述人体区域框是将第二图像中目标对象的脸部和身体部分框定，人体区域框可以是矩形框等形式，然后根据外置相机40发送的第二图像，不断追踪人体区域框的位置变化，并实时判断人体区域框的中心点是否进入存取操作区域；如果人体区域框的中心点进入所述存取操作区域内，则确定目标对象位于存取操作区域内，即事件2成立。

如图9所示，本实施例具体提供一种目标对象进入存取操作区域的检测流程，即确定事件2是否成立的方法流程，该流程配置于控制器50中，包括：

步骤S1，接收外置相机发送的图像数据。如果外置相机40处于常规工作模式，则所述图像数据即为第二图像，进入步骤S2；如果外置相机40处于人脸注册模式，则所述图像数据为待录入人脸数据库的人脸图像，执行步骤S8和步骤S9。

步骤S2，对第二图像进行人脸识别。

步骤S3，判断第二图像中是否仅有目标对象。如果第二图像中具有并且仅有目标对象，则执行步骤S4；反之，则返回步骤S2，继续识别第二图像中的人脸。

步骤S4，追踪初始化。在识别出第二图像中的目标对象后，提取人体区域框，以该人体区域框对追踪算法进行初始化，即开启对目标对象的人体区域框的追踪，以便确定目标对象在厨房内的实时位置。

步骤S5，追踪人体区域框的位置变化。

步骤S6，判断目标对象是否位于存取操作区域内；如果目标对象是否位于存取操作区域内，则进入步骤S7；反之，则返回步骤S5继续追踪。

步骤S7，确定事件2成立。

步骤S8，采集人脸图像。如果尚未建立人脸数据库，则可以根据采集的人脸图像建立人脸数据库，使得以后每次启动人脸注入模式时，将新增的人脸图像存储在人脸数据库中；如果已经建立了人脸数据库，则可将采集的人脸图像直接存储在人脸数据库中，实现人脸数据库的更新。

步骤S9，获取与人脸图像对应的特定食物信息，并在人脸数据库中存储人脸图像以及人脸图像与特定食物信息的对应关系。在录入人脸图像时，如果未获取到对应的特定食物信息，即认为该人脸图像对应的用户为非目标对象。

申请人发现，在对目标对象人体区域框的追踪过程中，不确定目标对象是否还在外置相机40的拍摄视野内，也就是说，当目标对象走出外置相机40拍摄视野的边缘位置时，即目标对象实际上已经不在第二图像中，仍会以目标对象在视野边缘处的人体矩形框继续进行追踪，显然这种追踪是无效的。对此，在步骤S5之后，上述方法还包括：

步骤S10，判断目标对象是否位于第二图像的画面边缘。如果目标对象位于第二图像的画面边缘，则进入步骤S11；反之，则说明目标对象还在外置相机40的拍摄视野区域内，则执行步骤S6，以根据实时追踪到的目标对象的人体区域框位置，确定目标对象是否进入了存取操作区域内。

步骤S11，确定连续若干帧第二图像中目标对象的相对位置偏差是否满足追踪条件。如果连续若干帧第二图像中目标对象的相对位置偏差不满足追踪条件，说明目标对象、已经走出外置相机40的拍摄视野，执行步骤S12；反之，满足追踪条件，则执行步骤S6，以根据实时追踪到的目标对象的人体区域框位置，确定目标对象是否进入了存取操作区域内。

其中，所述相对位置偏差包括但不限于使用交并比(Intersect ion-Over-Union，IOU)，本实施例以采用交并比为例，说明步骤S11的一种实现方式。

步骤S11进一步包括：对连续若干帧中每相邻两帧第二图像中的人体区域框进行交运算；对连续若干帧中每相邻两帧第二图像中的人体区域框进行并运算；根据交运算和并运算的运算结果，计算交并比；判断所述交并比是否大于预设阈值；如果所述交并比大于预设阈值，则确定不满足追踪条件。即需要对连续n帧第二图像中每相邻两帧的人体区域框分别进行交、并运算，以计算交并比，这里的交并比用于衡量相邻两帧的人体区域框的交合程度，如果交合比大于预设阈值，则认为连续n帧第二图像中人体区域框是静止的，这种情形下，目标对象既进入了画面边缘的位置，并且连续n帧里目标对象都没有运动位置的变化，即认为用户可能已经不在外置相机40的拍摄视野区域内，为了避免无效追踪，则有必要结束当前追踪过程。

步骤S12，结束对当前人体区域框的追踪。即结束对当前目标对象的运动追踪，返回步骤S2，重新进行人脸识别，并在再次识别到目标对象时，重新对追踪进行初始化。

(c)如果所述目标对象位于存取操作区域，响应于接收到的开门指令，控制所述相机组件启动；根据所述相机组件发送的第一图像，识别所述目标对象的操作类型以及食物种类，其中，所述操作类型为存操作或取操作。

步骤(c)为确定事件1是否成立的步骤，即检测“从冰箱内取出特定食物”是否成立。当目标对象位于存取操作区域时，控制器响应到开门指令，即认为是目标对象开的冰箱门20，那么接下来就需要确定开门后目标对象是向冰箱内存放食物(存操作)还是从冰箱中取出食物(取操作)，以及如果是取操作，目标对象取出的是否为特定食物，如果是特定食物，即认为事件1成立，这样事件1和事件2同时成立，说明目标对象完成了从冰箱内拿取特定食物的行为。

控制器响应于开门指令时，冰箱门20打开，同时需要启动相机组件301A的拍摄，控制器50控制驱动机构302将感知模块301移动至冰箱顶部前侧，这样相机组件301A的拍摄视野不会被遮挡，可以拍摄到第一图像，具体地，通过相机组件中的彩色相机301A-1拍摄彩色图像，从彩色图像中提取出包括手部的ROI，进而确定ROI区域中是否具有食物以及食物种类，这样即可识别目标对象存取的食物种类，通过将识别出的食物种类与目标对象对应的特定食物信息进行比较，如果识别出的食物种类包含于特定食物信息中，即可确定食物种类为特定食物。这里所述的食物种类可以是例如肉、水果、冷饮、水这种大类别，或者是每个大类别中更细化的食物名称，比如牛肉、苹果、雪糕、可口可乐等等。

如图10所示，通过相机组件中的深度相机301A-2可以拍摄深度图像，形成深度视频流，然后利用深度视频流进行手部跟踪，具体地，手部跟踪可以分别三个步骤：

①手部的3D特征提取：根据深度图像中手部区域的三维点云数据，建立起基于深度信息的手部特征表达方法，提取深度图像中的三维手部特征，训练手部特征区域识别模块，从而从深度图像中提取手部特征区域；

②质心聚类：根据手部特征区域的像素级识别结果，对手部特征区域中的各像素点进行聚类，得到手部质心，质心聚类的方法可以参照相关现有技术的记载，本实施例不再赘述；

③质心追踪：追踪手部质心的运动轨迹，连续的运动轨迹可以看作由多段向量组成，实时分析手部质心的轨迹向量，结合彩色图像中食物种类识别情况，便可确定所述目标对象的操作类型。

具体来说，比如，冰箱门20打开后，追踪到手部质心的运动方向为从冰箱前侧的存取操作区域向内移动至存取开口102处，并且在移动至存取开口102的时刻拍摄的彩色图像中，识别到手部拿有食物，则说明目标对象是向冰箱内存放食物，即目标对象的操作类型为存操作。

又比如，追踪到手部质心的运动方向为从储藏室101内部向外移动至存取开口102处，并且在移动至存取开口102的时刻拍摄的彩色图像中，识别到手部拿有特定食物，则说明目标对象是从冰箱内取出了特定食物，即目标对象的操作类型为取操作，食物种类为特定食物。

(d)如果所述操作类型为取操作，并且所述食物种类为特定食物时，进行行为限制处理。

当操作类型为取操作，并且食物类型为特定食物时，事件1成立。在确定事件1和事件2同时成立时，如图8所示，触发冰箱端控制器50配置的几种行为限制处理方式。

在一种可能的实现方式中，如图7所示，所述冰箱还包括操作面板70和锁定模块80，操作面板70和锁定模块80分别与控制器50电连接，所述控制器50被配置为按照如下方式进行行为限制处理：控制锁定模块80将操作面板70锁定。冰箱的操作面板70一般设置在冰箱门20的表面，用户可以通过操作面板70进行一些基本操作，比如调节冷冻室和冷藏室的温度，或者调节操作面板70的锁定/解锁模式等。

例如，这里所述的锁定模块80可以为儿童锁，当目标对象为儿童时，儿童开关冰箱门20时，会使得操作面板70亮屏，儿童可能因玩心而乱摁操作面板70上的按键，导致冰箱储藏室温度被乱调，不利于食物储存，这时可以通过控制器50控制儿童锁将操作面板70锁定，操作面板70上可以显示被锁定的状态，这样儿童就无法对操作面板70进行操作，防止冰箱温度被乱调，用户可以通过操作面板70上的模式调节来实现儿童锁的解锁，比如长按预设时间进行解锁等方式，预设时间比如是3S，需要说明的是，锁定模块80的解锁方式不限于本实施例所述。

在另一种可能的实现方式中，控制器50被配置为按照如下方式进行行为限制处理：控制扬声器301B播报第一提示信息。第一提示信息为语音信息，语音信息可以预置为“目标对象从冰箱取出了特定食物”，比如扬声器301B播报“儿童A从冰箱拿取了冰淇淋”，如果监护人听到了外放的语音信息，即可获知儿童A拿取了冰淇淋，从而及时对该饮食行为进行约束。

在其他可能的实现方式中，如图7所示，所述冰箱还包括通信器90，通信器90与控制器50电连接，所述控制器50被配置为按照如下方式进行行为限制处理：通过通信器90，向与所述目标对象有关的关联用户的终端设备100发送第二提示信息。通信器90可以采用WIFI模块、蓝牙模块等无线通信模块，实现冰箱端与用户终端之间的通信交互，所述终端设备100可以是智能手机、智能手环、平板电脑等移动终端，或者笔记本电脑、台式电脑等设备，本实施例对此不作限定。第二提示信息可以是文字信息或者语音信息等形式，关联用户通过终端设备100接收到第二提示信息后，可以查看第二提示信息，从而获知目标对象从冰箱拿取特定食物的行为，从而对目标对象进行约束。

需要说明的是，控制器50不限于配置上述几种行为限制处理方式，当事件1和事件2同时成立时，可以触发至少一种行为限制处理。此外，冰箱的结构不限于本实施例所述，在实际中冰箱还应包括制冷系统、供电电源、温度控制系统等必要的电器结构，这部分电器结构可以参照现有冰箱结构进行配置，本实施例不再赘述。本实施例提供的冰箱。可以实现对目标对象从冰箱内拿取特定食物的行为检测，并且检测准确性高，并能给出行为限制处理方式，扩展了冰箱的功能，并且增强了用户与冰箱之间的交互体验。

如图11所示，本实施例还提供一种冰箱的控制方法，该控制方法是通过控制器50来实现，所述方法包括：

步骤S101，根据外置相机发送的第二图像，识别所述第二图像中是否仅有目标对象；

步骤S102，如果所述第二图像中仅有目标对象，则追踪所述目标对象的是否位于存取操作区域；

步骤S103，如果所述目标对象位于存取操作区域，响应于接收到的开门指令，控制相机组件启动；

步骤S104，根据所述相机组件发送的第一图像，识别所述目标对象的操作类型以及食物种类，其中，所述操作类型为存操作或取操作；

步骤S105，如果所述操作类型为取操作，并且所述食物种类为特定食物时，进行行为限制处理。

所述控制方法还包括前述冰箱实施例中控制器50被配置执行的其他程序步骤，本实施例这里不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。具体实现中，本发明还提供一种存储介质110，其中，该存储介质110可存储有程序，该程序执行时可包括本发明提供的冰箱及其控制方法中的部分或全部步骤。所述存储介质110可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，并不构成对本发明保护范围的限定。本发明的真正范围和精神由所附的权利要求指出。

本说明书中各个实施例之间相同相似的部分互相参照即可。

Claims (11)

1.一种冰箱，其特征在于，包括：

机壳，所述机壳内设有储藏室，所述储藏室前侧设有存取开口；

至少一个冰箱门，与所述壳体连接，用于打开或关闭所述存取开口；

设置在所述机壳上的感知模组，所述感知模组包括相机组件，用于拍摄所述存取开口对应的检测区域的第一图像；

控制器，所述控制器与所述相机组件和外置相机电连接，所述外置相机用于拍摄冰箱前侧的第二图像，所述控制器被配置为：

根据所述外置相机发送的第二图像，识别所述第二图像中是否仅有目标对象；

如果所述第二图像中仅有目标对象，则追踪所述目标对象的是否位于存取操作区域；

如果所述目标对象位于存取操作区域，响应于接收到的开门指令，控制所述相机组件启动；根据所述相机组件发送的第一图像，识别所述目标对象的操作类型以及食物种类，其中，所述操作类型为存操作或取操作；如果所述操作类型为取操作，并且所述食物种类为特定食物时，进行行为限制处理。

2.根据权利要求1所述的冰箱，其特征在于，所述相机组件包括彩色相机和深度相机，所述第一图像包括所述彩色相机拍摄的彩色图像以及所述深度相机拍摄的深度图像，则所述控制器被进一步配置为：

在所述彩色图像中提取感兴趣区域，并从所述感兴趣区域中识别食物种类；

根据所述深度图像，识别所述目标对象的操作类型。

3.根据权利要求2所述的冰箱，其特征在于，所述控制器被配置为按照如下方式识别所述目标对象的操作类型；

从所述深度图像中提取手部特征区域；

对所述手部特征区域中的各像素点进行聚类，得到手部质心；

追踪所述手部质心的运动轨迹；

根据所述运动轨迹的方向和食物种类识别结果，确定所述目标对象的操作类型。

4.根据权利要求1所述的冰箱，其特征在于，所述控制器被配置为按照如下方式追踪所述目标对象的是否位于存取操作区域：

从所述第二图像中提取所述目标对象的人体区域框；

追踪所述人体区域框的位置变化；

如果所述人体区域框的中心点进入所述存取操作区域内，确定所述目标对象位于所述存取操作区域。

5.根据权利要求4所述的冰箱，其特征在于，所述控制器被进一步配置为：

判断所述目标对象是否位于所述第二图像的画面边缘；

如果所述目标对象位于所述第二图像的画面边缘，则确定连续若干帧第二图像中所述目标对象的相对位置偏差是否满足追踪条件；

如果连续若干帧第二图像中所述目标对象的相对位置偏差不满足追踪条件，则结束对当前人体区域框的追踪。

6.根据权利要求5所述的冰箱，其特征在于，所述控制器被配置为按照如下方式确定连续若干帧第二图像中所述目标对象的相对位置偏差是否满足追踪条件：

对连续若干帧中每相邻两帧第二图像中的人体区域框进行交运算；

对连续若干帧中每相邻两帧第二图像中的人体区域框进行并运算；

根据交运算和并运算的运算结果，计算交并比；

判断所述交并比是否大于预设阈值；

如果所述交并比大于预设阈值，则确定不满足追踪条件。

7.根据权利要求1所述的冰箱，其特征在于，所诉控制器被进一步配置为：

接收所述外置相机在人脸注册模式下发送的人脸图像；

获取与所述人脸图像对应的特定食物信息；

存储所述人脸图像以及所述人脸图像与所述特定食物信息的对应关系。

8.根据权利要求1所述的冰箱，其特征在于，所述冰箱还包括操作面板和锁定模块，所述操作面板和锁定模块分别与所述控制器电连接，所述控制器被配置为按照如下方式进行行为限制处理：控制所述锁定模块将所述操作面板锁定。

9.根据权利要求1所述的冰箱，其特征在于，所述感知模组还包括扬声器，所述扬声器与所述控制器电连接，所述控制器被配置为按照如下方式进行行为限制处理：控制所述扬声器播报第一提示信息。

10.根据权利要求1所述的冰箱，其特征在于，所述冰箱还包括通信器，所述通信器与所述控制器电连接，所述控制器被配置为按照如下方式进行行为限制处理：通过所述通信器，向与所述目标对象有关的关联用户的终端设备发送第二提示信息。

11.根据权利要求9所述的冰箱，其特征在于，所述感知模组还包括语音输入设备和驱动机构，所述语音输入设备和所述驱动机构分别与所述控制器电连接，所述相机组件、所述扬声器和所述语音输入设备集成在同一个感知模块中，所述感知模块与所述驱动机构连接，所述感知模块初始位置在冰箱的顶部，则所述控制器被进一步配置为：

响应于接收到的开门指令，控制所述驱动机构将所述感知模块输送到所述检测区域对应的位置；以及，响应于接收到的关门指令，控制所述驱动机构将所述感知模块复位到所述初始位置；

其中，所述开门指令为根据开门动作生成的高电平信号，或者为在识别出用户通过语音输入设备输入的开门指示信息后生成的开门信号；

所述关门指令为根据关门动作生成的低电平信号，或者为在识别出用户通过语音输入设备输入的关门指示信息后生成的关门信号。

Images