CN108332504A - 食品热量检测方法和冰箱 - Google Patents

Abstract

本发明公开了一种食品热量检测方法和冰箱，接收并基于主摄像头拍摄的第一食品图像判断食品种类，接收并基于设置于每个冰箱隔层的隔板边沿下端的压力传感器获取的重量信息判断发生重量变化的冰箱隔层，进而根据食品种类和重量信息确定发生重量变化的冰箱隔层的食品热量。相比现有技术中在冰箱等设备中安装专门的称重台，本申请以冰箱现有的隔层结构为基础，采用在冰箱隔层下安装压力传感器获取食品重量的方式，结合主、从摄像设备识别每个隔层食品的种类，能够针对每个冰箱隔层统计出每个隔层放置的食品种类、重量以及热量，用户采用惯用方式使用冰箱，无需专门拿取食物称重，实现的是一种结构简单、成本低且检测步骤简便的食品热量检测方式。

Description

食品热量检测方法和冰箱

技术领域

本发明属于冰箱技术领域，具体地说，是涉及一种食品热量检测方法和冰箱。

背景技术

食品热量的测量主要包括食品的种类识别和食品的重量检测，之后再根据食品单位重量的热量来计算结果。

冰箱是家庭保存食品的主要装置，在冰箱中增加食品热量测量，能够使用户了解食品的热量，给健康生活提供参考。现有的一种在冰箱中增加食品热量检测的一种方式是：在冰箱中设置专门的称重台获取食品的重量，并在称重台周围安装扫描设备或摄像设备，采用扫描设备扫描食品上的条码获取食品的类别，或者采用摄像设备获取食品图像，继而根据食品图像识别食品种类；每次需要检测食品热量时，将食品放置在称重台上，由称重台获知食品的重量，基于扫描设备或摄像设备获知食品的种类，继而根据食品种类和食品重量计算食品热量。

现有的这种检测方式，用户若想获知食品热量，需要手动将食品放置在专用的称重台上，即麻烦又增加了冰箱结构设计的复杂度和成本。

发明内容

本申请提供了一种食品热量检测方法和冰箱，以冰箱现有的隔层结构为基础，在每个隔层边沿设置重量传感器获取所在隔层放置食品的重量，并结合主、从摄像设备识别每个隔层食品的种类，实现的是一种结构简单、成本低且检测步骤简便的食品热量检测方式。

为实现上述技效果，本申请采用以下技术方案予以实现：

提出一种食品热量检测方法，包括：接收主摄像头拍摄的第一食品图像，并基于所述第一食品图像判断食品种类；接收并基于压力传感器获取的重量信息判断发生重量变化的冰箱隔层；基于判断的食品种类和所述重量信息，确定发生重量变化的冰箱隔层的食品热量；其中，所述压力传感器设置于每个冰箱隔层的隔板边沿下端。

进一步的， 若基于所述第一食品图像无法判断出食品种类，则所述方法还包括：接收发生重量变化的冰箱隔层中安装的从摄像头获取第二食品图像；并基于所述第二食品图像判断所述食品的食品种类。

进一步的，在确定发生重量变化的冰箱隔层的食品热量之后，所述方法还包括：统计冰箱食品热量列表并显示食品热量信息；其中，所述冰箱食品热量列表包括每个冰箱隔层的食品热量数据，所述食品热量数据包括食品种类、每类食品重量和每类食品的热量。

进一步的，在接收主摄像头拍摄的第一食品图像之后，所述方法还包括：基于所述第一食品图像判断食品的进出情况；则在确定发生重量变化的冰箱隔层的食品热量之后，所述方法还包括：接收主摄像头拍摄的第三食品图像，并基于所述第三食品图像判断食品种类和食品进出情况；判断基于所述第三食品图像判断的食品种类与基于所述第一食品图像判断的食品种类是否相同；若是，判断基于所述第三食品图像判断的食品进出情况与基于所述第一食品图像判断的食品进出情况是否相反；若是，判断连续两次发生的重量变化是否相同；若是，则确定冰箱食品总热量不变。

进一步的，基于所述第二食品图像判断所述食品的食品种类，具体包括：获取发生重量变化的冰箱隔层在发生重量变化前，置于其内的从摄像头拍摄的第四食品图像；基于所述第二食品图像和所述第四食品图像的差值确定食品变化区域；基于所述食品变化区域的图像判断所述食品的食品种类。

提出一种冰箱，包括冰箱箱体内用于放置食品的若干冰箱隔层和安装于冰箱上的主摄像头，所述若干冰箱隔层中，在每个冰箱隔层的隔板边沿下端设置有用于获取所在冰箱隔层重量信息的压力传感器；所述冰箱还包括食品种类判断模块、重量变化判断模块和热量计算模块；所述食品种类判断模块，用于接收所述主摄像头拍摄的第一食品图像，并基于所述第一食品图像判断食品种类；所述重量变化模块，用于接收并基于所述压力传感器获取的重量信息判断发生重量变化的冰箱隔层；所述热量计算模块，用于基于判断的食品种类和所述重量信息，确定发生重量变化的冰箱隔层的食品热量。

进一步的，每个所述冰箱隔层内都安装有从摄像头；所述食品种类判断模块，还用于在基于所述第一食品图像无法判断出食品钟来时，接收发生重量变化的冰箱隔层中安装的从摄像头获取的第二食品图像，并基于所述第二食品图像判断所述食品的食品种类。

进一步的，所述冰箱还包括冰箱食品热量统计模块和显示模块；所述冰箱食品热量统计模块，用于在所述热量计算模块确定发生重量变化的冰箱隔层的食品热量之后，统计冰箱食品热量列表；所述显示模块，用于显示食品热量信息；其中，所述冰箱食品热量列表包括每个冰箱隔层的食品热量数据，所述食品热量数据包括食品种类、每类食品重量和每类食品的热量。

进一步的，所述冰箱还包括食品进出情况判断模块和冰箱食品总热量判断模块；所述食品种类判断模块，还用于在所述热量计算模块确定发生重量变化的冰箱隔层的食品热量之后，接收所述主摄像头拍摄的第三食品图像，并基于所述第三食品图像判断食品种类；所述食品进出情况判断模块，用于基于所述第一食品图像判断食品的进出情况，以及基于所述第三食品图像判断食品的进出情况；所述冰箱食品总热量判断模块，用于判断基于所述第三食品图像判断的食品种类与基于所述第一食品图像判断的食品种类是否相同；若是，判断基于所述第三食品图像判断的食品进出情况与基于所述第一食品图像判断的食品进出情况是否相反；若是，判断连续两次发生的重量变化是否相同；若是，则确定冰箱食品总热量不变。

进一步的，所述食品种类判断模块包括食品变化区域确定单元和食品种类判断单元；所述食品变化区域确定单元，用于获取发生重量变化的冰箱隔层在发生重量变化前，置于其内的从摄像头拍摄的第四食品图像；并基于所述第二食品图像和所述第四食品图像的差值确定食品变化区域；所述食品种类判断单元，用于基于所述食品变化区域的图像判断所述食品的食品种类。

与现有技术相比，本申请的优点和积极效果是：本申请提出的食品热量检测方法和冰箱中，在冰箱内的每个冰箱隔层的隔板边沿下方设置压力传感器，能够获取所在隔层置于隔板上的食品的重量，基于食品重量的变化能够确定隔层中新置入或拿出的食品的重量，通过主摄像头获取用户放入或拿取食品的第一食品图像，对第一食品图像采用识别算法识别出食品的种类，在主摄像头无法识别出食品种类时，还能够结合置于隔层内的从摄像头获取的第二食品图像识别出食品种类，从而能够根据食品重量和食品种类计算出放入或者拿取出的食品的热量，相比现有技术中在冰箱等设备中安装专门的称重台，本申请以冰箱现有的隔层结构为基础，采用在冰箱隔层下安装压力传感器获取食品重量的方式，并结合主、从摄像设备识别每个隔层食品的种类，能够针对每个冰箱隔层统计出每个隔层放置的食品种类、每类食品重量以及每类食品的食品热量，对用户而言，采用惯用方式使用冰箱即可，无需用户专门拿取食物称重，实现的是一种结构简单、成本低且检测步骤简便的食品热量检测方式，提高了用户使用体验。

结合附图阅读本申请实施方式的详细描述后，本申请的其他特点和优点将变得更加清楚。

附图说明

图1 为本申请提出的食品热量检测方法的方法流程图；

图2为本申请提出的冰箱的功能架构图。

具体实施方式

下面结合附图对本申请的具体实施方式作进一步详细地说明。

本申请提出的食品热量检测方法，应用于例如冰箱、冷柜、保险柜等存储食物的装置中，如图1所示，包括如下步骤：

步骤S11：接收主摄像头拍摄的第一食品图像，并基于第一食品图像判断食品种类。

以冰箱中采用该食品热量检测方法为例，在冰箱的门体上方等位置安装主摄像头，当用户打开冰箱门体向冰箱中放入或者从冰箱拿取食品时，以打开门为启动信号，主摄像头拍摄图像得到第一食品图像，该第一食品图像中包含有用户手持食品的影像。

获取到第一食品图像后，利用深度学习训练和识别种类，采用SSD（Single ShotMultiBox Detector，）算法定位和识别获知食品的种类。

步骤S12：接收并基于压力传感器获取的重量信息判断发生重量变化的冰箱隔层。

冰箱中通常采用若干隔板将存储空间分隔成若干个隔层，每个隔板通常搁置在冰箱内壁上的支撑条或支撑架上，本申请实施例中，在每个隔板边沿的下方，也即支撑每个隔板的支撑条或支撑架与隔板之间设置有压力传感器，当隔板上放置食品后，食品的重量由压力传感器检测到。

用户在开启冰箱门体后，或者向隔层中放入新的食品，或者从隔层中拿取食品，不论放入还是拿出，压力传感器会检测到重量的变化，且重量变化即为食品的重量，增多量为新放入食品的重量，减少量为拿出食品的重量。

每个隔层中的压力传感器都存在对应关系，根据发生重量变化的情况可以确定哪个冰箱隔层放入或者拿出了食品。

步骤S13：基于判断的食品种类和重量信息，确定发生重量变化的冰箱隔层的食品热量。

根据卡路里=食品单位卡路里*食品重量，在确定了食品种类和食品重量后，可以计算出放入或者拿出的食品对应的热量值。

步骤S14：统计冰箱食品热量列表；以及步骤S15：显示食品热量信息。

本申请实施例中，冰箱食品热量列表包括每个冰箱隔层的食品热量数据，其中，食品热量数据包括但不限定于食品种类、每类食品重量和每类食品的热量，冰箱门体每开启一次或者主摄像头每获取一次第一食品图像之后，就重新统计一次冰箱食品热量列表，例如表一所示的冰箱食品热量列表，包括每个冰箱隔层中食品的种类、每类食品的重量和每类食品的热量，以及冰箱内食品总热量：

表一

在冰箱的门体外部设置显示器，向用户显示食品热量信息，该食品热量信息包括但不受限于上述统计的冰箱食品热量列表中相关的食品热量信息、用户最新拿取或者放入的食品种类、重量、热量等信息和向用户推荐的最佳热量获取食品清单等等，使得用户能够基于这些信息合理安排健康饮食。

在步骤S11中， 若基于第一食品图像无法判断出食品种类，本申请实施例还可以以辅助手段继续识别食品种类，具体的，步骤S16：接收发生重量变化的冰箱隔层中安装的从摄像头获取第二食品图像；步骤S17：基于第二食品图像判断食品的食品种类。

在每个冰箱隔层中安装从摄像头，在主摄像头拍摄的第一食品图像无法识别出食品种类时，启动发生重量变化的冰箱隔层内的从摄像头，拍摄到第二食品图像，根据该第二食品图像进行定位和识别，得到食品的种类。

具体的，在获取到放入或拿取出食品后拍摄的第二食品图像后，继续获取发生重量变化的冰箱隔层在发生重量变化前，置于其内的从摄像头拍摄的第四食品图像，该第四食品图像为食品重量发生变化前，该冰箱隔层内的食品图像，为实现获取并存取的，例如上一次食品重量发生变化后获取的食品图像；基于第二食品图像和第四食品图像的差值确定食品变化区域；也即，将两幅图像做帧差，可以定位食品变化的区域，从而将该区域作为识别算法的输入，基于食品变化区域的图像判断食品的食品种类，可以减少计算时间，提高识别效率。

本申请实施例中，在接收主摄像头拍摄的第一食品图像之后，还可以基于第一食品图像判断食品的进出情况；具体的，主摄像头以设定频率相继获取至少两帧第一食品图像：第一食品前帧图像和第一食品后帧图像，根据两帧图像检测框内的位移矢量，可以判断用户是向冰箱中放入食品还是从冰箱拿取出食品，也即判断出食品的进出情况。

基于对食品进出情况的判断，本申请还能够判断用户整理冰箱内食品放置位置的动作，在这种情况下，食品只是更换了位置或者隔层空间，但并没有拿出冰箱，故冰箱内的食品总热量并没有发生变化。

具体的，在步骤S13之后，步骤S18：接收主摄像头拍摄的第三食品图像，并基于第三食品图像判断食品种类和食品的进出情况；接着步骤S19：判断基于第三食品图像判断的食品种类与基于第一食品图像判断的食品种类是否相同，若不相同，则代表发生两次食品放入或者拿取动作，若相同，则有可能存在食品更换隔层的动作；此时，继续步骤S20：判断基于第三食品图像判断的食品进出情况与基于第一食品图像判断的食品进出情况是否相反，若相同，则代表发生两次食品放入或拿出的动作，若相反，则代表两次动作事件中，包括一进一出，有可能是用户将同一食品拿出后又重新放入，故继续步骤S21：判断连续两次发生的重量变化是否相同，若相同，例如第一隔层的减少重量与第二隔层的增加重量相同，则代表这一进一出中的主体是同一食品，其仅是放置位置或隔层发生变化，对于冰箱而言，总的食品没有发生变化，则确定冰箱内食品总热量不变，在进行冰箱食品热量列表的统计时，食品的总热量是不发生变化的。

虽然，通过从摄像头对隔层内食品图像的获取，同样能够分析判断出对于同一食品仅是发生了位置或隔层的变化，但是相比基于对从摄像头获取的食品图像进行定位和识别等分析，以及进行食品热量的减、加等运算，本申请中基于食品进出情况结合重量变化的判断方式运算量小，判断更简便更高效。

上述可见，相比现有技术中在冰箱等设备中安装专门的称重台，本申请以冰箱现有的隔层结构为基础，采用在冰箱隔层下安装压力传感器获取食品重量的方式，并结合主、从摄像设备识别每个隔层食品的种类，能够针对每个冰箱隔层统计出每个隔层放置的食品种类、每类食品重量以及每类食品的食品热量，对用户而言，采用惯用方式使用冰箱即可，无需用户专门拿取食物称重，实现的是一种结构简单、成本低且检测步骤简便的食品热量检测方式，提高了用户使用体验。

基于上述提出的食品热量检测方法，本申请还提出一种冰箱，如图2所示，包括冰箱箱体内用于放置食品的若干冰箱隔层和安装于冰箱上的主摄像头22，若干冰箱隔层中，在每个冰箱隔层的隔板边沿下端设置有用于获取所在冰箱隔层重量信息的压力传感器23；所述冰箱还包括食品种类判断模块24、重量变化判断模块25和热量计算模块26。

食品种类判断模块24用于接收主摄像头22拍摄的第一食品图像，并基于第一食品图像判断食品种类；重量变化模块25用于接收并基于压力传感器23获取的重量信息判断发生重量变化的冰箱隔层；热量计算模块26用于基于判断的食品种类和重量信息，确定发生重量变化的冰箱隔层的食品热量。

如图2所示，每个冰箱隔层21内都安装有从摄像头27；食品种类判断模块24还用于在基于第一食品图像无法判断出食品种类时，接收发生重量变化的冰箱隔层中安装的从摄像头获取的第二食品图像，并基于第二食品图像判断食品的食品种类。

所述冰箱还包括冰箱食品热量统计模块28和显示模块29；冰箱食品热量统计模块28用于在热量计算模块确定发生重量变化的冰箱隔层的食品热量之后，统计冰箱食品热量列表；显示模块29用于显示食品热量信息；其中，冰箱食品热量列表包括每个冰箱隔层的食品热量数据，食品热量数据包括食品种类、每类食品重量和每类食品的热量。

所述冰箱还包括食品进出情况判断模块30和冰箱食品总热量判断模块31；食品种类判断模块24还用于在热量计算模块确定发生重量变化的冰箱隔层的食品热量之后，接收主摄像头拍摄的第三食品图像，并基于第三食品图像判断食品种类；食品进出情况判断模块30用于基于第一食品图像判断食品的进出情况，以及基于第三食品图像判断食品的进出情况；冰箱食品总热量判断模块31用于判断基于第三食品图像判断的食品种类与基于第一食品图像判断的食品种类是否相同；若是，判断基于第三食品图像判断的食品进出情况与基于第一食品图像判断的食品进出情况是否相反；若是，判断连续两次发生的重量变化是否相同；若是，则确定冰箱食品总热量不变。

本申请实施例中，食品种类判断模块24包括食品变化区域确定单元241和食品种类判断单元242；食品变化区域确定单元241用于获取发生重量变化的冰箱隔层在发生重量变化前，置于其内的从摄像头拍摄的第四食品图像；并基于第二食品图像和第四食品图像的差值确定食品变化区域；食品种类判断单元242用于基于食品变化区域的图像判断食品的食品种类。

具体的所述冰箱检测食品热量的方法已经在上述提出的食品热量检测方法中详述，此处不予赘述。

上述本申请提出的食品热量检测方法和冰箱，在冰箱内的每个冰箱隔层的隔板边沿下方设置压力传感器，能够获取所在隔层置于隔板上的食品的重量，基于食品重量的变化能够确定隔层中新置入或拿出的食品的重量，通过主摄像头获取用户放入或拿取食品的第一食品图像，对第一食品图像采用识别算法识别出食品的种类，在主摄像头无法识别出食品种类时，还能够结合置于隔层内的从摄像头获取的第二食品图像识别出食品种类，从而能够根据食品重量和食品种类计算出放入或者拿取出的食品的热量，相比现有技术中在冰箱等设备中安装专门的称重台，本申请以冰箱现有的隔层结构为基础，采用在冰箱隔层下安装压力传感器获取食品重量的方式，并结合主、从摄像设备识别每个隔层食品的种类，能够针对每个冰箱隔层统计出每个隔层放置的食品种类、每类食品重量以及每类食品的食品热量，对用户而言，采用惯用方式使用冰箱即可，无需用户专门拿取食物称重，实现的是一种结构简单、成本低且检测步骤简便的食品热量检测方式，提高了用户使用体验。

应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (10)

1.食品热量检测方法，其特征在于，包括：

接收主摄像头拍摄的第一食品图像，并基于所述第一食品图像判断食品种类；

接收并基于压力传感器获取的重量信息判断发生重量变化的冰箱隔层；

基于判断的食品种类和所述重量信息，确定发生重量变化的冰箱隔层的食品热量；

其中，所述压力传感器设置于每个冰箱隔层的隔板边沿下端。

2.根据权利要求1所述的食品热量检测方法，其特征在于， 若基于所述第一食品图像无法判断出食品种类，则所述方法还包括：

接收发生重量变化的冰箱隔层中安装的从摄像头获取第二食品图像；并基于所述第二食品图像判断所述食品的食品种类。

3.根据权利要求1所述的食品热量检测方法，其特征在于，在确定发生重量变化的冰箱隔层的食品热量之后，所述方法还包括：

统计冰箱食品热量列表并显示食品热量信息；其中，所述冰箱食品热量列表包括每个冰箱隔层的食品热量数据，所述食品热量数据包括食品种类、每类食品重量和每类食品的热量。

4.根据权利要求1所述的食品热量检测方法，其特征在于，在接收主摄像头拍摄的第一食品图像之后，所述方法还包括：基于所述第一食品图像判断食品的进出情况；则在确定发生重量变化的冰箱隔层的食品热量之后，所述方法还包括：

接收主摄像头拍摄的第三食品图像，并基于所述第三食品图像判断食品种类和食品进出情况；

判断基于所述第三食品图像判断的食品种类与基于所述第一食品图像判断的食品种类是否相同；若是，

判断基于所述第三食品图像判断的食品进出情况与基于所述第一食品图像判断的食品进出情况是否相反；若是，

判断连续两次发生的重量变化是否相同；若是，则

确定冰箱食品总热量不变。

5.根据权利要求2所述的食品热量检测方法，其特征在于，基于所述第二食品图像判断所述食品的食品种类，具体包括：

获取发生重量变化的冰箱隔层在发生重量变化前，置于其内的从摄像头拍摄的第四食品图像；

基于所述第二食品图像和所述第四食品图像的差值确定食品变化区域；

基于所述食品变化区域的图像判断所述食品的食品种类。

6.冰箱，包括冰箱箱体内用于放置食品的若干冰箱隔层和安装于冰箱上的主摄像头，其特征在于，所述若干冰箱隔层中，在每个冰箱隔层的隔板边沿下端设置有用于获取所在冰箱隔层重量信息的压力传感器；所述冰箱还包括食品种类判断模块、重量变化判断模块和热量计算模块；

所述食品种类判断模块，用于接收所述主摄像头拍摄的第一食品图像，并基于所述第一食品图像判断食品种类；

所述重量变化模块，用于接收并基于所述压力传感器获取的重量信息判断发生重量变化的冰箱隔层；

所述热量计算模块，用于基于判断的食品种类和所述重量信息，确定发生重量变化的冰箱隔层的食品热量。

7.根据权利要求6所述的冰箱，其特征在于，每个所述冰箱隔层内都安装有从摄像头；

所述食品种类判断模块，还用于在基于所述第一食品图像无法判断出食品钟来时，接收发生重量变化的冰箱隔层中安装的从摄像头获取的第二食品图像，并基于所述第二食品图像判断所述食品的食品种类。

8.根据就权利要求6所述的冰箱，其特征在于，所述冰箱还包括冰箱食品热量统计模块和显示模块；

所述冰箱食品热量统计模块，用于在所述热量计算模块确定发生重量变化的冰箱隔层的食品热量之后，统计冰箱食品热量列表；

所述显示模块，用于显示食品热量信息；

其中，所述冰箱食品热量列表包括每个冰箱隔层的食品热量数据，所述食品热量数据包括食品种类、每类食品重量和每类食品的热量。

9.根据权利要求6所述的冰箱，其特征在于，所述冰箱还包括食品进出情况判断模块和冰箱食品总热量判断模块；

所述食品种类判断模块，还用于在所述热量计算模块确定发生重量变化的冰箱隔层的食品热量之后，接收所述主摄像头拍摄的第三食品图像，并基于所述第三食品图像判断食品种类；

所述食品进出情况判断模块，用于基于所述第一食品图像判断食品的进出情况，以及基于所述第三食品图像判断食品的进出情况；

所述冰箱食品总热量判断模块，用于判断基于所述第三食品图像判断的食品种类与基于所述第一食品图像判断的食品种类是否相同；若是，判断基于所述第三食品图像判断的食品进出情况与基于所述第一食品图像判断的食品进出情况是否相反；若是，判断连续两次发生的重量变化是否相同；若是，则确定冰箱食品总热量不变。

10.根据权利要求7所述的冰箱，其特征在于，所述食品种类判断模块包括食品变化区域确定单元和食品种类判断单元；

所述食品变化区域确定单元，用于获取发生重量变化的冰箱隔层在发生重量变化前，置于其内的从摄像头拍摄的第四食品图像；并基于所述第二食品图像和所述第四食品图像的差值确定食品变化区域；

所述食品种类判断单元，用于基于所述食品变化区域的图像判断所述食品的食品种类。