CN114882057A - 特定轮廓食材管理方法、存储介质以及冰箱 - Google Patents

Abstract

本发明提供了一种冰箱内特定轮廓食材管理方法、存储介质以及冰箱，其中，冰箱内特定轮廓食材管理方法包括：控制图像采集模块采集预定区域内存放的所述食材的图像；对所述图像进行边缘检测获取所述食材的边缘轮廓线；识别所述边缘轮廓线中未遮挡食材的闭环轮廓线，以及与所述闭环轮廓线相连的被遮挡食材轮廓线；通过预训练的机器学习模型分析所述被遮挡食材轮廓线对应的遮挡面积；若与闭环轮廓线相连的被遮挡食材轮廓线中，遮挡面积大于预设面积的个数大于预设值，则将所述闭环轮廓线对应的食材标记为上层食材，否则，将所述闭环轮廓线对应的食材标记为下层食材；输出所述预定区域内食材存储状态提示信息。

Description

特定轮廓食材管理方法、存储介质以及冰箱

技术领域

本发明涉及智能家电领域，尤其是一种冰箱内特定轮廓食材管理方法、存储介质以及冰箱。

背景技术

在家庭生活中，冰箱已经成为一种不可或缺的家用电器，用户往往会在冰箱内存储大量的食材。为了方便用户进行食材管理，部分冰箱上设置有图像采集模块，通过采集食材存储图像获取食材的数量。但是对于鸡蛋、苹果、橘子等特定轮廓的食材，在冰箱内存储时往往会进行堆叠存放，食材可能被遮挡，通过采集到的相关图像很难准确判断食材的数量。

发明内容

为了解决上述问题，本发明提出了一种冰箱内特定轮廓食材管理方法，能够判断预定区域内存储的特定轮廓食材是否存在堆叠。

为实现上述发明目的之一，本发明一实施方式提供了一种冰箱内特定轮廓食材管理方法，包括：

控制图像采集模块采集预定区域内存放的所述食材的图像；

对所述图像进行边缘检测获取所述食材的边缘轮廓线；

识别所述边缘轮廓线中未遮挡食材的闭环轮廓线，以及与所述闭环轮廓线相连的被遮挡食材轮廓线；

通过预训练的机器学习模型分析所述被遮挡食材轮廓线对应的遮挡面积；

若与闭环轮廓线相连的被遮挡食材轮廓线中，遮挡面积大于预设面积的个数大于预设值，则将所述闭环轮廓线对应的食材标记为上层食材，否则，将所述闭环轮廓线对应的食材标记为下层食材；

输出所述预定区域内食材存储状态提示信息。

作为本发明一实施方式的进一步改进，所述冰箱内特定轮廓食材管理方法还包括：

若所述预定区域存放的食材包括上层食材，则输出食材充足的提示信息。

作为本发明一实施方式的进一步改进，所述冰箱内特定轮廓食材管理方法还包括：

将与所述闭环轮廓线相连的遮挡面积大于预设面积的被遮挡食材轮廓线对应的食材标记为下层食材。

作为本发明一实施方式的进一步改进，所述冰箱内特定轮廓食材管理方法还包括：

若闭环轮廓线对应的食材均为下层食材，则将每个食材边缘轮廓线对应的食材标记为下层食材。

作为本发明一实施方式的进一步改进，所述冰箱内特定轮廓食材管理方法还包括：

识别与所述闭环轮廓线相连的非严重遮挡轮廓线，以及与所述非严重遮挡轮廓线相连的被遮挡食材轮廓线；

通过预训练的机器学习模型分析与所述非严重遮挡轮廓线遮挡的所述被遮挡食材轮廓线的面积；

若与所述非严重遮挡廓线相连的被遮挡轮廓线中，被所述非严重遮挡轮廓线遮挡的面积大于预设面积的数量大于预设值，则将所述非严重遮挡轮廓线对应的食材标记为上层食材，否则，将所述非严重遮挡轮廓线对应的食材标记为下层食材。

作为本发明一实施方式的进一步改进，控制图像采集模块采集预定区域内存放的所述食材的图像”包括：

控制图像采集模块采集预定区域内存放的所述食材的鸟瞰图。

“对所述图像进行边缘检测获取所述食材的边缘轮廓线”包括：

采用预先训练的机器学习模型在所述鸟瞰图中分割出与每个所述食材对应的检测框；

在所述检测框内进行边缘检测识别所述食材的边缘轮廓线。

作为本发明一实施方式的进一步改进，所述冰箱内特定轮廓食材管理方法，还包括：

分别获取被标记为上层食材和被标记为下层食材的边缘轮廓线数量；

输出上层食材和下层食材的数量信息。

作为本发明一实施方式的进一步改进，所述特定轮廓食材为蛋类；

“在所述检测框内进行边缘检测识别所述食材的边缘轮廓线”包括：

在所述检测框内进行边缘检测识别符合类圆形特征的边缘轮廓线。

为实现上述发明目的之一，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的冰箱内特定轮廓食材管理方法中的步骤。

为实现上述发明目的之一，本发明一实施方式提供一种冰箱，所述冰箱内设置有储物间室，所述储物间室内具有用于存放所述特定轮廓食材的预定区域，以及用采集所述预定区域的图像采集模块，所述冰箱还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一实施方式的冰箱内特定轮廓食材管理方法中的步骤。

本发明提供的冰箱内特定轮廓食材管理方法，通过图像获取食材的边缘轮廓线，分析边缘轮廓线被遮挡情况，从而获取预定区域内特定轮廓食材的存储状态，快速准备的判断其是否堆叠，从而判断数量是否充足，便于用户进行食材管理。

附图说明

图1为本发明一实施方式的冰箱内特定轮廓食材管理方法流程图；

图2为本发明一实施方式的俯瞰图示意图；

图3为本发明一实施方式的冰箱内各模块示意图。

具体实施例

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明一实施方式提供一种冰箱100，冰箱100包括箱体以及用于开闭箱体的门体。箱体内形成有用于存储食材的存储空间，门体上可安装有若干的用于存放食材的瓶座200。门体上还可安装有摄像头等图像采集模块，图像采集模块可安装在其中一个瓶座200上方以采集瓶座200内的食材存储图像，当然也可以在每个瓶座200上方均安装图像采集模块。

在本实施方式中，图像采集模块可以包括两个分别安装于瓶座200左右两侧的摄像头，可以获取瓶座200内存储食材的鸟瞰图，图像采集模块也可以包括分别安装于瓶座200左右中三个位置的摄像头。摄像头可安装于上层瓶座200的底部，垂直向下拍摄。当安装有多个摄像头，可以将多个摄像头采集到的图像信息均传输至图像处理模块，通过预先设定的算法对多个图像进行预先修正处理，获得最佳的鸟瞰图。

设置有图像采集模块的瓶座200可以形成用于存储特定轮廓食材的预定区域，每个预定区域内可仅存储一种特定轮廓食材。特定轮廓食材可以为鸡蛋等禽蛋类食材，也可以为橘子、苹果等食材。该特定区域待存储的特定轮廓食材可以可为冰箱100出厂时预先设定的食材，如此，可以在冰箱100内设置预训练的机器学习模型和处理模型等，以便于根据食材的轮廓特点准确识别食材的边缘轮廓线。

本发明一实施方式提供的冰箱100，还可以在门体上设置有显示屏，通过显示屏可以显示冰箱100内的食材信息，如显示拍摄到的相关食材的图像信息，也可以对图像信息进行预先处理分析获取食材存储信息后通过显示屏显示。冰箱100上还可以设置语音模块等交互模块，或者可以设置WiFi模块，通过WiFi模块可以将冰箱100与云端服务器或者手机等移动终端通信连接，从而将相关信息发送至云端进行处理，或者发送至手机等移动端便于用户查看管理。

参见图1，本发明一实施方式提供了一种冰箱100内特定轮廓食材的管理方法可用于上述冰箱100。冰箱100内特定轮廓食材管理方法可包括：

控制图像采集模块采集预定区域内存放的食材的图像；

对图像进行边缘检测获取食材的边缘轮廓线；

识别边缘轮廓线中未遮挡食材的闭环轮廓线，以及与闭环轮廓线相连的被遮挡食材轮廓线；

通过预训练的机器学习模型分析遮挡轮廓线对应的遮挡面积；

若与闭环轮廓线相连的遮挡轮廓线中，遮挡面积大于预设面积的个数大于预设值，则将闭环轮廓线对应的食材标记为上层食材，否则，将闭环轮廓线对应的食材标记为下层食材；

输出预定区域内食材存储状态提示信息。

在本实施方式中，可以通过Canny边缘检测算法等常规边缘检测算法识别鸟瞰图中食材的边缘轮廓线，通过预先训练的机器学习模型进行处理，获取与食材对应的边缘轮廓线。

以特定轮廓食材为蛋类作为示例，食材的特定轮廓呈圆形或者椭圆形等类圆形。在获取食材的边缘轮廓线后，可以进一步的根据预定的特定轮廓的特征识别其中未遮挡食材的闭环轮廓线，以及与该闭环轮廓线相连的被遮挡食材的遮挡轮廓线。其中，未遮挡食材的闭环轮廓线的形状可为完整的类圆形，被遮挡食材的遮挡轮廓线可具有部分不连续且完整的类圆形特征。与闭环轮廓线相连的被遮挡食材轮廓线对应的食材，可为被该闭环轮廓线对应的食材部分遮挡。

在本实施方式中，被遮挡食材的遮挡面积可以为被与其相连的闭环轮廓线遮挡的面积，通过预先训练的机器学习模型可以将被遮挡食材的轮廓线还原，从而可计算出被遮挡食材轮廓线还原后的完整面积、以及被与相连的闭环轮廓线遮挡的遮挡面积。预设面积可以为完整面积的一定比例，如可以为完整面积的四分之一，预设面积也可以为一个固定值。

当检测到遮挡面积大于预设面积时，可以判定该被遮挡食材对应的食材被严重遮挡。当一个闭环轮廓线相连的被遮挡食材轮廓线中被严重遮挡的数量大于1个，如具有两个或者两个以上，也就是该闭环轮廓线对应的食材严重遮挡了至少两个食材，根据食材存放时的堆叠情况可以判定预定区域内的食材存在堆叠存放的情况，该闭环轮廓线对应的食材堆叠于其他食材上方，该闭环轮廓线对应的食材为上层食材，其对下层食材造成了严重遮挡。否则，该闭环轮廓线对应的食材为下层食材。

如此，可以获取预定区域内食材存储状态，并可通过显示屏、语音模块等交互模块输出预定区域内食材存储状态提示信息，以便于用户进行管理。其中，食材存储状态提示信息可以为食材存在堆叠或者不存在堆叠情况、食材存储有一层或者两层等，也可为具体的数量信息等，从而用户可以了解相关食材的存储情况。

进一步的，在本发明一实施方式中，冰箱100内特定轮廓食材管理方法还包括：

若预定区域内存放的食材包括上层食材，则输出食材充足的提示信息。

在本实施方式中，若预定区域内存放的食材包括上层食材，可以判定预定区域内的食材存在堆叠存放的情况，因此，可以判定该区域内存储有较多的食材，因而，可以直接输出食材充足的提示信息，方便用户直观了解相关食材的数量信息。

进一步的，在本发明一实施方式中，冰箱100内特定轮廓食材管理方法还包括：

将与闭环轮廓线相连的遮挡面积大于预设面积的被遮挡食材轮廓线对应的食材标记为下层食材。

在本实施方式中，当闭环轮廓线对应的食材为上层食材时，遮挡面积大于预设面积的被遮挡食材轮廓线对应的食材被该闭环轮廓线对应的食材严重遮挡，可以理解，该闭环轮廓线对应的食材堆叠于被其严重遮挡的食材上方，被其严重遮挡的食材可为下层食材。

当闭环轮廓线对应的食材为下层食材时，可以理解，被其严重的遮挡的食材至少部分位于该闭环轮廓线对应的食材下方，因此，被其严重遮挡的食材也为下层食材。

如此，可以根据边缘轮廓线的特征进一步确认预定区域内存储的食材的堆叠状态，便于更准确的获取并提示预定区域内食材存储状态信息。

参见图2，为本发明一实施方式的具体示例中的俯瞰图。冰箱100门体的瓶座200上存储有若干鸡蛋，通过对俯瞰图进行分析可以得出内部鸡蛋的边缘轮廓图，其中，鸡蛋A和鸡蛋B为未遮挡鸡蛋，具有闭环轮廓线。与鸡蛋A的闭环轮廓线相连的被遮挡食材轮廓线为鸡蛋A1、A2、A3、A4、A5、A6的轮廓线。通过预先训练的机器学习模型可以计算出鸡蛋A1、A2、A3、A4、A5、A6的轮廓线被鸡蛋A的轮廓线遮挡的面积，以及其还原后的整体面积，若其中A1、A5、A6被遮挡面积均大于其对应的整体面积的四分之一，为严重遮挡，而A2、A3被A的遮挡的面积小于整体面积的四分之一，为非严重遮挡，因被严重遮挡的鸡蛋个数大于1，因此，可以将鸡蛋A标记为上层鸡蛋，鸡蛋A1、A5、A6被标记为下层食材。

同样，对于鸡蛋B，与其相连的被遮挡食材轮廓线为鸡蛋B1的轮郭线，鸡蛋B1被遮挡鸡蛋B遮挡的面积小于四分之一，可以判定鸡蛋B为下层鸡蛋。此时，因存在上层鸡蛋，因此，可以判定鸡蛋存在堆叠现象，可提示鸡蛋数量充足。

进一步的，在本发明一实施方式中，冰箱100内特定轮廓食材管理方法还包括：

若闭环轮廓线对应的食材均为下层食材，则将每个食材边缘轮廓线对应的食材标记为下层食材。

在本实施方式中，若所有闭环轮廓线对应的食材均为下层食材，可以认为所有完全裸露于外侧的未遮挡食材均为下层食材，此时，预定区域内存储的食材不存在堆叠状态，可以将所有食材边缘轮廓线对应的食材标记为下层食材，此时，也可发出食材数量不足的提示信息，或者发出食材仅剩有一层的提示信息。

进一步的，在本发明一实施方式中，冰箱100内特定轮廓食材管理方法，还包括：

获取与所述闭环轮廓线相连的非严重遮挡轮廓线，非严重遮挡轮廓线的遮挡面积小于或等于预设面积；

识别与该非严重遮挡轮廓线相连的被遮挡食材轮廓线；

通过预训练的机器学习模型分析被该非严重遮挡轮廓线遮挡的被遮挡轮廓线的遮挡面积；

若与非严重遮挡轮廓线相连的被遮挡轮廓线中，遮挡面积大于预设面积的数量大于预设值，则将非严重遮挡轮廓线对应的食材标记为上层食材，遮挡面积大于预设面积的被遮挡食材轮廓线对应的食材标记为下层食材。否则，可以将该非严重遮挡轮廓线对应的食材标记为下层食材。

具体示例可继续参见图3，对于非严重遮挡的鸡蛋B1，可以获取与其轮廓相连的被其遮挡的被遮挡食材轮廓线，也就是鸡蛋B11、B12、B13的轮廓线，通过重复上述算法，可以计算出鸡蛋B11、B12、B13的轮廓线被鸡蛋B1轮廓线遮挡的遮挡面积，因其遮挡面积均大于四分之一，数量超过一个，因此，可以判定鸡蛋B1为上层鸡蛋，而鸡蛋B11、B12、B13为下层鸡蛋。

如此，可以进一步确认食材的分布位置，并获取上层食材和下层食材的数量，给予用户更精准的数量提示。

若预定区域内存放的食材包括上层食材，识别边缘轮廓线中对应的上层食材的数量、下层食材的数量以及遮挡面积小于或等于预设面积的遮挡轮廓线数量，输出数量提示信息。

在本实施方式中，可以以闭环轮廓线为基础进行计算，先统计闭环轮廓线的数量以及与闭环轮廓线相连的严重遮挡的食材数量，对于一个被遮挡食材轮廓线若同时被多个轮廓线遮挡则在计数时进行去重处理。或者，可以统计被标记为上层食材的食材数量和被标记为下层食材的食材数量，以及未被标记的食材数量，对于其中被多次标记的食材，进行去重处理。

进一步的，在本发明一实施方式中，若闭环轮廓线对应的食材均为下层食材，可判定预定区域的食材不存在堆叠情况，食材对应的边缘轮廓线的个数可直接判定为食材数量。

进一步的，在本发明一实施方式中，冰箱100内特定轮廓食材管理方法中，“对图像进行边缘检测获取食材的边缘轮廓线”包括：

采用预先训练的机器学习模型在鸟瞰图中分割出每个食材对应的检测框；

在检测框内进行边缘检测识别食材的边缘轮廓线。

在本实施方式中，检测框可根据食材的轮廓确定，如当食材为鸡蛋时，检测框可以为矩形框，每个检测框红可对应一个食材。通过先将图像信息处理分割出检测框，再在每个检测框内进行边缘检测识别，能够提升识别的准确度。

当食材为蛋类时，“在检测框内进行边缘检测识别所述食材的边缘轮廓线”包括：

在检测框内进行边缘检测识别符合类圆形特征的边缘轮廓线。

如此，根据食材的特定轮廓特征，在检测框内识别与之相符合的边缘轮廓线，可以避免识别错误，提升识别准确度。

综上所述，本发明提供的冰箱100内特定轮廓食材管理方法，通过检测识别食材的边缘轮廓线，并根据轮廓线相互遮挡的面积和数量判断堆叠状态，从而能够准确的判断预定区域的食材存储状态，便于用户进行管理。

参见图3，本发明一实施方式还提供一种冰箱100，包括存储器102和处理器101，存储器102和处理器101通过通信总线104通信连接。存储器102上存储有可在处理器101上运行的计算机程序，所述处理器101执行所述计算机程序时，实现上述实施方式中的冰箱控制方法中的步骤。冰箱还包括与通信总线104连接的通信接口103，用于与冰箱100的其他设备通信。

本发明一实施方式还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施方式中的冰箱控制方法中的步骤。

应当理解，虽然本说明书按照实施例加以描述，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施例。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施例的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施例或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种冰箱内特定轮廓食材管理方法，其特征在于，包括：

控制图像采集模块采集预定区域内存放的所述食材的图像；

对所述图像进行边缘检测获取所述食材的边缘轮廓线；

识别所述边缘轮廓线中未遮挡食材的闭环轮廓线，以及与所述闭环轮廓线相连的被遮挡食材轮廓线；

通过预训练的机器学习模型分析所述被遮挡食材轮廓线对应的遮挡面积；

若与闭环轮廓线相连的被遮挡食材轮廓线中，遮挡面积大于预设面积的个数大于预设值，则将所述闭环轮廓线对应的食材标记为上层食材，否则，将所述闭环轮廓线对应的食材标记为下层食材；

输出所述预定区域内食材存储状态提示信息。

2.如权利要求1所述的冰箱内特定轮廓食材管理方法，其特征在于，还包括：

若所述预定区域存放的食材包括上层食材，则输出食材充足的提示信息。

3.如权利要求1所述的冰箱内特定轮廓食材管理方法，其特征在于，还包括：

将与所述闭环轮廓线相连的遮挡面积大于预设面积的被遮挡食材轮廓线对应的食材标记为下层食材。

4.如权利要求1所述的冰箱内特定轮廓食材管理方法，其特征在于，还包括：

若闭环轮廓线对应的食材均为下层食材，则将每个食材边缘轮廓线对应的食材均标记为下层食材。

5.如权利要求1所述的冰箱内特定轮廓食材管理方法，其特征在于，还包括：

获取与所述闭环轮廓线相连的非严重遮挡轮廓线，所述非严重遮挡轮廓线被所述闭环轮廓线遮挡的遮挡面积小于或等于所述预设面积；

识别与所述非严重遮挡轮廓线相连的被遮挡食材轮廓线；

通过预训练的机器学习模型分析被所述非严重遮挡轮廓线遮挡的被遮挡食材轮廓线的遮挡面积；

若与所述非严重遮挡廓线相连的被遮挡轮廓线中，遮挡面积大于预设面积的数量大于预设值，则将所述非严重遮挡轮廓线对应的食材标记为上层食材，否则，将所述非严重遮挡轮廓线对应的食材标记为下层食材。

6.如权利要求1所述的冰箱内特定轮廓食材管理方法，其特征在于，“控制图像采集模块采集预定区域内存放的所述食材的图像”包括：

控制图像采集模块采集预定区域内存放的所述食材的鸟瞰图；

“对所述图像进行边缘检测获取所述食材的边缘轮廓线”包括：

采用预先训练的机器学习模型在所述鸟瞰图中分割出与每个所述食材对应的检测框；

在所述检测框内进行边缘检测识别所述食材的边缘轮廓线。

7.如权利要求6所述的冰箱内特定轮廓食材管理方法，其特征在于，还包括：

分别获取被标记为上层食材和被标记为下层食材的边缘轮廓线数量；

输出上层食材和下层食材的数量信息。

8.如权利要求1所述的冰箱内特定轮廓食材管理方法，其特征在于，所述特定轮廓食材为蛋类；

“在所述检测框内进行边缘检测识别所述食材的边缘轮廓线”包括：

在所述检测框内进行边缘检测识别符合类圆形特征的边缘轮廓线。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述的冰箱内特定轮廓食材管理方法中的步骤。

10.一种冰箱，所述冰箱内设置有储物间室，所述储物间室内具有用于存放所述特定轮廓食材的预定区域，以及用采集所述预定区域的图像采集模块，其特征在于，还包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-8任意一项所述的冰箱内特定轮廓食材管理方法中的步骤。

Images